Feedback

Gevonden zoektermen

Zoekresultaat - inzien document

ECLI:NL:GHDHA:2018:2612

Instantie
Gerechtshof Den Haag
Datum uitspraak
09-10-2018
Datum publicatie
19-11-2018
Zaaknummer
200.244.449/01
Rechtsgebieden
Aanbestedingsrecht
Bijzondere kenmerken
Hoger beroep
Inhoudsindicatie

Uitleg van aanbestedingsstukken volgens de CAO-norm. Op grond van deze uitleg stelt het hof vast dat in het geval van testen die opnieuw zijn uitgevoerd, alleen de laatste testresultaten bepalend zijn.

Vindplaatsen
Rechtspraak.nl
Verrijkte uitspraak

Uitspraak

GERECHTSHOF DEN HAAG

Afdeling Civiel recht

Zaaknummer : 200.244.449/01

Zaaknummer rechtbank : C/09/553028/ KG ZA 18/477

arrest van 9 oktober 2018

inzake

Saab Technologies B.V.,

gevestigd te Apeldoorn,

appellante,

hierna te noemen: Saab,

advocaat: mr. J.W.A. Meesters te Amsterdam,

tegen

1. de Staat der Nederlanden, meer in het bijzonder Rijkswaterstaat, onderdeel van het ministerie van Infrastructuur en Waterstaat,

zetelend te Den Haag,

geïntimeerde,

hierna te noemen: Rijkswaterstaat,

advocaat: mr. A.C.M. Remmé te Utrecht,

2 In-Innovative Navigation GmbH,

gevestigd te Kornwestheim (Duitsland),

geïntimeerde,

hierna te noemen: Innovative,

advocaat: mr. I.M.C.A. Reinders Folmer te Amsterdam.

1 De procedure in hoger beroep

1.1.

Bij (turbo)spoedappeldagvaardingen van 14 augustus 2018 met producties is Saab in hoger beroep gekomen van een vonnis van de voorzieningenrechter in de rechtbank Den Haag van 31 juli 2018, gewezen tussen Saab en de Staat met Innovative als tussenkomende partij. In het appelexploot heeft Saab twaalf grieven aangevoerd. Bij afzonderlijke memories van antwoord hebben Rijkswaterstaat en Innovative de grieven bestreden. Rijkswaterstaat heeft bij memorie van antwoord nog een productie overgelegd.

1.2.

Vervolgens hebben partijen op 3 september 2018 de zaak doen bepleiten, Saab door haar advocaat en mr. M. van Wanroij, advocaat te Amsterdam, Rijkswaterstaat door haar advocaat en mr. F.J. Lewis, advocaat te Utrecht en Innovative door haar advocaat en mr. C.F. van der Vlis, advocaat te Amsterdam, allen aan de hand van overgelegde pleitnotities.

1.3.

Bij brief van 17 september 2018 heeft Rijkswaterstaat arrest gevraagd.

2 Feiten

2.1.

Het gaat in deze zaak om het volgende.

2.2.

Rijkswaterstaat heeft een niet-openbare Europese aanbesteding georganiseerd voor

de levering, het beheer en onderhoud van een radardoelvolgsysteem (hierna: RDV-systeem) voor het hoofdvaarwegennet. Het systeem zal worden gebruikt om radardata om te zetten naar een verkeersbeeld dat de verkeersleiders van Rijkswaterstaat kunnen gebruiken bij hun werkzaamheden. De aanbestedingsprocedure bestaat uit een selectiefase en een gunningsfase.

2.3.

In de selectiefase bepaalt Rijkswaterstaat aan de hand van uitsluitingsgronden,

geschiktheidseisen en selectiecriteria welke gegadigden worden toegelaten tot de

gunningsfase. De randvoorwaarden en criteria voor de selectiefase zijn opgenomen in het

Selectiedocument.

2.4.

Uit het Selectiedocument blijkt dat gegadigden aan drie kerncompetenties moeten voldoen om te worden toegelaten tot de gunningsfase. Bij brief van 1 november 2017 heeft Rijkswaterstaat aan Saab bericht dat zij voldoet aan kerncompetenties 2 en 3. Saab is uitgenodigd om deel te nemen aan een ‘Proof of Ability’ (hierna: PoA) om aan te tonen dat zij ook voldoet aan kerncompetentie 1. Twee andere gegadigden, waaronder Innovative, zijn ook uitgenodigd voor de PoA.

2.5.

Kerncompetentie 1 luidt als volgt: “Het kunnen leveren van Radardoelvolgsysteem (RDV) dat voldoet aan de gestelde eisen voor een drukbevaren rivierengebied in het beheersgebied van Rijkswaterstaat”. De PoA houdt in dat de gegadigden moeten aantonen dat hun systemen voldoen aan de gestelde eisen in een ‘Site Acceptance Test’ (hierna: SAT), waarbij de systemen van de gegadigden op eenzelfde testlocatie worden onderworpen aan 29 testen die nader zijn omschreven in de ‘Software Test Description’. Het testtraject is nader omschreven in het ‘Systeem Test Plan’ (hierna: STP). Van de STP bestaan verschillende versies, in het Nederlands en in het Engels. Volgens het Selectiedocument is de Nederlandse taal leidend.

2.6.

STP versie 1.2 van 16 augustus 2017 is opgesteld in het Nederlands en vermeldt onder meer het volgende:

(…)

1.3.1

Doel van het STP

Dit document is het PoA testplan en legt de basis voor het gehele testproces en de daaruit voortvloeiende testdocumenten.(…)

Dit document beschrijft de opzet, doel en gang van zaken tijdens de PoA.

Dit document heeft tot doel de deelnemers te informeren over de planning en gang van zaken tijdens de PoA.(…)

1.3.2

Aanwijzingen voor het lezen

Het document is een groeidocument en kan en zal gedurende de PoA worden aangepast.

4.1

Teststrategie

4.1.1.

Testsoorten

Het testtraject, beschreven in dit STP, beslaat de volgende toets- en testsoorten:

  • -

    Pre-SAT (fase VI), test waarbij alle testcases worden uitgevoerd maar waarbij de testresultaten niet tellen voor aantonen van de ‘ability’.

  • -

    SAT (fase VIII), test waarbij alle testcases worden uitgevoerd zodat deelnemers kunnen aantonen of hun VTS-systeem geschikt is (toevoeging hof: VTS is een afkorting van ‘Vessel Traffic Services’ en, naar het hof begrijpt, een andere aanduiding voor een RDV-systeem).

  • -

    SAT II (fase X) Na herstel van bevindingen door deelnemer, zal RWS de SAT herhalen (geheel of gedeeltelijk).

(…)

5.1

Activiteitenoverzicht

Fase

Start

Einde

Week

Activiteit

(…)

(…)

(…)

(…)

(…)

VI

06-11-17

24-11-17

45-47

Pre-SAT

(…)

(…)

(…)

(…)

VIII

08-01-18

26-01-18

2

SAT I

IX

Herstel bevindingen

X

19-02-18

09-03-18

8-10

Hertest/SAT II

(…)

(…)

(…)

(…)

(…)

5.1.1.

Uitwerking fasen

(…)

Fase VIII - SAT I

Rijkswaterstaat voert testen uit om te verifiëren of systeem van de deelnemers aan minimum eisen voldoet. Voor deze fase zullen een Testplan en Testprotocol worden uitgewerkt.

Fase IX - Herstel bevindingen

Indien er bevindingen zijn uit de SAT krijgt de deelnemer gelegenheid deze op te lossen.

Fase X – Hertest SAT II

Na herstel van bevindingen door deelnemer zal RWS de SAT herhalen (geheel of gedeeltelijk).

(…)

2.7.

In STP versie 1.3 van 23 november 2017, opgesteld in het Engels, staat onder meer het volgende (van deze versie bestaat geen Nederlandstalige tekst; de laatste Nederlandstalige versie is de hiervoor geciteerde versie 1.2):

“(…)

1.3.1

Objective of the STP

This document constitutes the PoA test plan and lays the foundation for the entire test procedure and the resulting test documents. (…)

This document describes the design, objective and process during the PoA.

The purpose of this document is to inform the participants on the schedule and the process of the PoA.(…)

1.3.2

Notes for readers

This is a developing document that can and will be changed during the PoA. Changes to this document about the tests itself and the way tests are done will be discussed with all participants before the change is implemented and parties will be given opportunity to give their point of view about the changes before the changes are finalized.

(…)

4.1.

Test strategy

4.1.1.

Test species

The test process, described in this STP, includes the following trial and test types;

  • -

    Pre-SAT (stage VI), test in which all test cases are carried out but where the test results are not considered for demonstrating the ‘ability’.

  • -

    SAT (stage VIII), test in which all test cases are carried out to enable participants to demonstrate the suitability of their VTS system.

  • -

    SAT II (stage X). After remedying the findings by the participant, Rijkswaterstaat will repeat the SAT (wholly or partly).

(…)

5.1

List of activities

Stage

Start

End

Week

Activity

(…)

(…)

(…)

(…)

(…)

VI

04-12-17

49-51

Pre-SAT

(…)

(…)

(…)

(…)

(…)

VIII

05-02-18

23-02-18

6-8

SAT I

IX

Bug fixing (if necessary)

X

19-03-18

06-04-18

12-14

Retest SAT II (if necessary)

(…)

(…)

(…)

(…)

(…)

5.1.1

Detailing Stages

(…)

Stage VIII – SAT I

Rijkswaterstaat carries out tests to verify whether the system of the participants satisfies the minimum requirements.

A Test Plan and a Test Protocol will be detailed for this stage.

Stage IX – Resolving findings

If findings result from the SAT, the participant will be given the opportunity to resolve them.

Stage X – Retest SAT II

After retesting the findings by the participant, Rijkswaterstaat will repeat the SAT (in full or partly). Only if necessary!

(…)

2.8.

In december 2017 is de pre-SAT gehouden.

2.9.

In een ‘Memo Beslisprocedure’ van 16 januari 2018 van Rijkswaterstaat (hierna: Memo Beslisprocedure) staat onder meer het volgende:

“(…)

Inleiding

Dit document geeft de criteria en procedure aan waarmee kan worden besloten

om één of meerdere testen uit SAT 1 in SAT 2 uit te voeren.

De LUV-VTS POA kent 2 SAT periodes (SAT I en SAT II), zoals beschreven in het

STP document (paragraaf 5.1, fases VIII en X). Alle SAT testen worden verdeeld

over de 2 periodes (I en II). Daarnaast is er een reserve SAT periode, waarin

hertesten plaats kunnen vinden. Dat wil zeggen dat de SAT hertest periode alleen

gebruikt wordt als dit noodzakelijk wordt geacht naar aanleiding van de

uitkomsten en/of testuitvoering van één of meerdere testen in de SAT, of als door

omstandigheden de testen in de SAT niet volledig konden worden afgerond.

Tussen de 2 SAT periodes zullen de voorlopige testresultaten worden verstrekt

aan de leveranciers en zal de mogelijkheid worden geboden om eventuele

afwijkingen op te lossen.

De resultaten uit beide SAT periodes (SAT I en SAT II) zullen worden meegenomen in de definitieve vaststellen van de SAT resultaten.

POA

SAT I

periode

Herstel

periode

SAT II

periode

Bevindingen

SAT I and II & evaluatie

(reserve)

hertest SAT periode

Definitieve

vaststelling van SAT resultaten

Stage

VIII

Stage

IX

Stage

X

Uitgangspunt voor hertest

Als uitgangspunt voor een herhaling van een test uitgevoerd in SAT I en of in SAT II, geldt dat er gerede twijfel is over de validiteit van de test. Dit kan bijvoorbeeld voorkomen als de testuitvoer niet op een juiste manier heeft kunnen plaatsvinden, of dat het testproces of de technische infrastructuur (achteraf) voor een ongelijke situatie heeft gezorgd. Twijfel over een test kan worden aangedragen door alle deelnemende partijen, ook door de leveranciers van radarsystemen (in de vorm van een bezwaar n.a.v. een betreffende test of testen).

Als er een test als niet valide wordt beschouwd zal alléén die bewuste test in SAT 2 worden herhaald. Bij een hertest zullen altijd alle leveranciers meedoen.

(…)

Als besloten is tot een hertest in de hertest SAT periode worden de bijbehorende resultaten van de eerste testuitvoering (waarover dus gerede twijfel bestaat) buiten beschouwing gelaten.

(…)

2.10.

In een ‘Memo Beoordeling Gebreken’ van 22 januari 2018 van Rijkswaterstaat (hierna: Memo Beoordeling Gebreken) is onder meer het volgende opgenomen:

Inleiding

Voor het project LUV-VTS wordt in het kader van de PoA (Proof Of Ability) een

SAT georganiseerd, waarvoor een Software Test Document (STD) is opgesteld. In

het STD worden de testen beschreven, waarmee beoordeeld wordt of de geteste

systemen voldoen aan de gestelde minimum eisen. Niet voldoen aan de gestelde

minimum eisen resulteert in een gebrek.

Ernstklassen

Eventuele gebreken worden vervolgens door een expertteam beoordeeld, welke

aan elk gebrek een ernstklasse geeft. Hiervoor worden de ernstklassen gebruikt

die zijn gedefinieerd in de IEEE STD 829-2008, namelijk:

• Mission Critical - Application will not function or system fails;

• Major - Severe problems but possible to work around;

• Minor - Does not impact the functionality or usability of the process but is not according to requirements/design specifications.

(…)

Maximaal toegelaten gebreken

Per ernstklasse is een maximum toegestane aantal gebreken vastgesteld. Als een

systeem meer gebreken vertoond in de gegeven ernstklasse, resulteert dat in een

NO-GO besluit voor de POA, wat betekend dat de relevante leverancier niet

voldoet aan kerncompetitie 1 (zie selectiedocument paragraaf 5.3.3.1).

Het maximum toegestane aantal gebreken per ernstklasse is ais volgt:

• Geen Mission Critical gebreken zijn toegestaan; 1 of meer Mission

Critical gebreken resulteert in een NO-GO besluit;

• 2 Major gebreken zijn toegestaan; 3 of meer Major gebreken resulteert

in een NO-GO besluit;

• 7 Minor gebreken zijn toegestaan; 8 of meer Minor gebreken resulteert

in een NO-GO besluit.

(…)

2.11.

Het Memo Beslisprocedure en het Memo Beoordeling Gebreken zijn op 31 januari 2018 via TenderNed gepubliceerd. Gegadigden zijn daarbij verzocht om nog dezelfde week te reageren met eventuele opmerkingen en/of bezwaren tegen deze memo’s. Er zijn geen (relevante) opmerkingen of bezwaren gemaakt.

2.12.

In februari 2018 is SAT I uitgevoerd. Het testrapport met bevindingen van deze SAT is bij e-mail van 8 maart 2018 door Rijkswaterstaat aan Saab gezonden. Uit dit testrapport blijkt dat het systeem van Saab in SAT I niet heeft voldaan aan de minimumeisen van tests 23, 25 en 26. In de e-mail deelt Rijkswaterstaat Saab mede dat nieuwe uitvoeringen van tests 23 en 26 zijn gepland. (De e-mail noemt ook test 24, maar deze betreft slechts het verzamelen van data die worden geanalyseerd in test 26.) In de e-mail schrijft Rijkswaterstaat onder meer het volgende:

(…)

Attached you will find the overall testlog of the results so far.

Disclaimer:

1) The test is not final, the results of the coming tests will be add to these results

2) The severity of software anomalies will be discussed in the expertgroup after all tests are done.

(…)

On this moment the following testcases are planned (subject to change

Datum

26-3-2018

27-3-2018

28-3-2018

Test

Analyse

Analyse

Testen met vaartuigen, Analyse

Testcase

24,26 (#3.1)

26 (#3.2)

23 (#3), 26 (#3,3)

No more run’s of testcase 25.

(…)

2.13.

Innovative heeft ook een testrapport ontvangen. In het geval van Innovative bleek uit het testrapport dat zij voor alle 29 testen uitgevoerd in SAT I was geslaagd.

2.14.

Bij e-mail van 20 maart 2018 heeft Rijkswaterstaat het volgende medegedeeld aan de gegadigden:

(…)

At the request of Saab test 25 will be repeated once. The test will take place next Wednesday 28th of March. This will increase the reliability of the test results of this test.

(…)”.

2.15.

Daarop heeft Saab bij e-mail van 23 maart 2018 gereageerd als volgt:

“(…)

Bedankt dat test 25 herhaald kan worden. Dit geeft ons de gelegenheid om onze verbetering aan te tonen. Wat ik niet begrijp is waarom de test maar 1x herhaald wordt en niet zoals bij SAT-1 3x. Om een goede vergelijking te maken van de verbeteringen die uitgevoerd zijn, lijkt het me goed om de test op dezelfde manier uit te voeren.

(…)”.

2.16.

Dit heeft geleid tot de volgende reactie van Rijkswaterstaat, bij e-mail van 26 maart 2018:

“(…)

De test is geen herhaling maar een extra test. De voorwaarden waaronder we testen herhalen/hertesten staan beschreven in de memo 20180131 inrichting POA SAT van d.d. 16 januari 2018 (toevoeging hof: het Memo Beslisprocedure).

Zoals reeds aangegeven tellen de resultaten van SAT 1 mee. De betrouwbaarheid van test 25 wordt met deze extra test verhoogd, doordat nu 4x10 runs worden gedaan ipv 3x10 runs.

(…)

2.17.

Saab heeft daar weer op gereageerd als volgt, bij e-mail van 26 maart 2018:

(…)

Dat de resultaten van de SAT 1 meegenomen hebben we nooit zo begrepen. Ons inziens is dat ook vreemd, omdat we verbeteringen aan de software hebben aangebracht.

Om een vergelijking te geven:

Stel voor dat we een auto hadden moeten leveren die 110 km/u kan rijden en in de eerste testronde halen we 100 km/u. We passen de auto aan zodat deze in de tweede testronde 115 km/u haalt. Het resultaat is dus een auto die aan de eis voldoet.

Maar omdat de resultaten van beide test gemiddeld worden, is de conclusie dat de auto niet voldoet.

Op dit moment zullen de testen wel volgens planning uitgevoerd worden en zal hier niets aan gewijzigd worden.

(…)”

2.18.

Van de zijde van Innovative is bij e-mail van 20 maart 2018 als volgt gereageerd op het bericht van Rijkswaterstaat dat test 25 opnieuw zal worden uitgevoerd:

(…)

Thank you for the information. Does this mean, that all participants have to repeat test 25, even those that have passed it already?

Could you please explain the reason for the decision to rerun the test? (…)

Could you please explain the SAT outcome, if we would fail this particular rerun (after already passing the three official test executions, and all other SAT tests)? From “20180131 richtlijnen ernstklassen ENG.pdf” (toevoeging hof: het Memo Beoordeling Gebreken) I understand that test 25 is rated “mission critical”. Failure would result in a NO-GO assessment. We hope you agree, that this clearly cannot be the decision on our systems performance based on an – in our opinion – unnecessary rerun.

(…)”.

2.19.

Rijkswaterstaat heeft daarop onder meer het volgende geantwoord, bij e-mail van 21 maart 2018:

“(…)

The results of the tests in both SAT periods (SAT I and SAT II) will be taken into account in the final determination of SAT results. I understand this extra test introduces a risk, however you can also be challenged to demonstrate the stability of the IN radar detection system and competence of IN to be able to supply a radar target tracking system (RDV) that satisfies the predetermined requirements for a busy inland waterway area within the management area of Rijkswaterstaat.

(…)

2.20.

Op 27 en 28 maart 2018 is SAT II uitgevoerd voor testen 23, 25 en 26, waarbij iedere test één keer is uitgevoerd.

2.21.

Bij brief van 7 mei 2018 heeft Rijkswaterstaat de (voorlopige) selectiebeslissing aan Saab bekendgemaakt. In de brief staat dat Saab met één bevinding die ‘mission critical’ is en twee bevindingen in de ernstklasse ‘major’ niet voldoet aan de gestelde eisen voor kerncompetentie 1. Ook bij brief van 7 mei 2018 heeft Rijkswaterstaat aan Innovative bekendgemaakt dat zij zal worden uitgenodigd voor de gunningsfase van de aanbesteding.

3 Vorderingen en beoordeling in eerste aanleg

3.1.

Saab vorderde in eerste aanleg, zakelijk weergegeven:

primair:

- Rijkswaterstaat te veroordelen om de afwijzing van de aanmelding van Saab ongedaan te maken en Saab alsnog toe te laten tot de gunningsfase van de aanbesteding, althans Rijkswaterstaat op te dragen om voor de tests (23, 25 en 26) die in SAT II zijn betrokken alleen de resultaten van SAT II in aanmerking te nemen bij de beoordeling van kerncompetentie 1, althans om het resultaat van de (her-)SAT te beoordelen op een wijze die in overeenstemming is met de vooraf bekendgemaakte beoordelingssystematiek en met de aanbestedingsrechtelijke beginselen, en met inachtneming daarvan een nieuwe selectiebeslissing te nemen;

subsidiair:

- Rijkswaterstaat te gebieden om de selectiebeslissing in te trekken, de lopende aanbesteding te staken en gestaakt te houden en om, voor zover hij de opdracht nog wil verstrekken, daarvoor een nieuwe Europese aanbesteding uit te schrijven;

alles met veroordeling van Rijkswaterstaat in de kosten van het geding.

3.2.

Innovative vorderde in eerste aanleg, zakelijk weergegeven:

  • -

    Saab niet-ontvankelijk te verklaren, althans haar vorderingen af te wijzen;

  • -

    Rijkswaterstaat te bevelen de testresultaten van de aanvullende vierde testronde van test 25 buiten beschouwing te laten en niet mee te laten wegen bij de beoordeling van de testresultaten van de PoA;

  • -

    Rijkswaterstaat te bevelen de gunningsfase van de aanbesteding overeenkomstig zijn besluit van 7 mei 2018 te continueren, Innovative toe te laten tot de gunningsfase van de aanbesteding en uit te nodigen tot het doen van een inschrijving, voor zover Rijkswaterstaat nog steeds voornemens is tot gunning van de opdracht over te gaan;

  • -

    Rijkswaterstaat te verbieden een ander dan Innovative toe te laten tot de gunningsfase van de aanbesteding;

alles met veroordeling van Saab in de kosten van de procedure.

3.3.

De voorzieningenrechter heeft de vorderingen van Saab en Innovative afgewezen, Innovative veroordeeld in de kosten wat betreft haar vorderingen tegen Rijkswaterstaat (aan de zijde van Rijkswaterstaat begroot op nihil) en Saab veroordeeld in de overige proceskosten. De voorzieningenrechter heeft tot uitgangspunt genomen dat het geschil tussen partijen er in wezen om gaat of op grond van de aanbestedingsstukken de testresultaten uit SAT I en SAT II gemiddeld moeten worden (zoals Rijkswaterstaat en Innovative stellen) of dat bij de tests die ook in SAT II zijn uitgevoerd, alleen het resultaat in SAT II telt (zoals Saab stelt). In het eerste geval heeft Saab voor testen 23, 25 en 26 onvoldoende resultaat behaald om te voldoen aan de vereisten voor kerncompetentie 1. In het tweede geval zou Saab wel aan die vereisten voldoen. Naar het oordeel van de voorzieningenrechter blijkt voor een behoorlijk geïnformeerde en normaal oplettende gegadigde voldoende duidelijk uit het Memo Beslisprocedure dat de resultaten uit beide SATs zullen worden meegenomen bij de vaststelling van de definitieve resultaten. Uit de Software Test Description blijkt verder dat telkens het gemiddelde resultaat van de verschillende ‘runs’ van testen 23, 25 en 26 in aanmerking wordt genomen. Het feit dat in het STP staat dat gegadigden na SAT I de mogelijkheid krijgen om tot ‘bug fixing’ over te gaan is ontoereikend om aan te nemen dat SAT II als een herkansing is bedoeld. Verder is het Memo Beslisprocedure naar het oordeel van de voorzieningenrechter geen ontoelaatbare wezenlijke wijziging van de aanbestedingsdocumenten. Als Saab er bezwaar tegen had dat het Memo pas in een laat stadium beschikbaar is gekomen, dan had zij daarover moeten klagen. Door dat na te laten heeft zij, gelet op het Grossman-arrest van het Hof van Justitie (arrest van 12 februari 2004, zaak C-230/02), haar recht verwerkt dat na afronding van de SAT en bekendmaking van de selectiebeslissing alsnog te doen. Nu de vorderingen van Saab worden afgewezen, heeft Innovative geen belang meer bij haar vorderingen.

4 Vorderingen in hoger beroep

4.1.

In hoger beroep vordert Saab vernietiging van het vonnis van de voorzieningenrechter en toewijzing van haar vorderingen in eerste aanleg, met dien verstande dat zij als onderdeel van haar primaire vordering in plaats van een bevel tot beoordeling van de (her-)SAT in overeenstemming met de beoordelingssystematiek en de aanbestedingsrechtelijke beginselen, thans vordert een bevel de resultaten van SAT I niet zwaarder te laten wegen dan de resultaten van SAT II bij de beoordeling van kerncompetentie 1, en op basis daarvan een nieuwe selectiebeslissing te nemen. Verder vordert Saab veroordeling van Rijkswaterstaat en Innovative in de kosten van beide instanties, te vermeerderen met de nakosten en wettelijke rente.

4.2.

Saab beoogt met haar grieven het geschil in volle omvang aan het hof voor te leggen. De grieven keren zich met verschillende argumenten tegen het oordeel van de voorzieningenrechter dat Rijkswaterstaat de resultaten van de SATs heeft beoordeeld conform de vooraf aan gegadigden bekendgemaakte beoordelingssystematiek, die voor een behoorlijk geïnformeerde en normaal oplettende gegadigde voldoende duidelijk was uit de aanbestedingsstukken. Volgens Saab volgt uit de aanbestedingsstukken dat voor de testen die in SAT II opnieuw zijn uitgevoerd (testen 23, 25 en 26) uitsluitend de resultaten uit SAT II in aanmerking moeten worden genomen. In dat geval voldoet Saab aan de eisen van kerncompetentie 1 en moet zij tot de gunningsfase worden toegelaten. Als Rijkswaterstaat de resultaten van SAT I en SAT II al mocht middelen, dan had hij afzonderlijke gemiddelden moeten berekenen voor SAT I en SAT II en die met elkaar moeten middelen. In dat geval zou Saab alsnog aan de eisen hebben voldaan voor kerncompetentie 1, en moet zij eveneens tot de gunningsfase worden toegelaten. Subsidiair stelt Saab zich op het standpunt dat een heraanbesteding plaats moet vinden, omdat niet ondubbelzinnig uit de aanbestedingsstukken volgt dat het gemiddelde moet worden berekend door de testresultaten uit SAT I en SAT II op te tellen en te delen door het aantal uitvoeringen, zoals Rijkswaterstaat heeft gedaan. De aanbestedingstukken zijn in dat opzicht multi-interpretabel, waardoor er sprake is van een transparantiegebrek. Voor het geval het hof van oordeel zou zijn dat het Memo Beslisprocedure in dat opzicht wèl duidelijk is, dan is sprake van een wijziging van de beoordelingssystematiek die niet in overeenstemming met de procedurevoorschriften is doorgevoerd. In beide gevallen heeft Rijkswaterstaat het transparantiebeginsel en het beginsel van gelijke behandeling geschonden en is een heraanbesteding vereist. Ten slotte kan volgens Saab van rechtsverwerking conform het Grossmann-arrest geen sprake zijn, omdat de wijze waarop Rijkswaterstaat invulling heeft gegeven aan de PoA, onvoldoende kenbaar was uit de aanbestedingsstukken en dus ook niet van Saab kon worden verwacht dat zij daar eerder tegen protesteerde dan zij heeft gedaan.

4.3.

Rijkswaterstaat en Innovative voeren verweer en concluderen tot bekrachtiging van het vonnis van de voorzieningenrechter en afwijzing van de vorderingen van Saab, met veroordeling van Saab in de kosten, te vermeerderen met wettelijke rente (Rijkswaterstaat) dan wel de nakosten (Innovative).

4.4.

Volgens Rijkswaterstaat en Innovative is SAT II niet bedoeld als herkansing, maar om testen uit te voeren die in SAT I niet volledig waren uitgevoerd. In het Memo Beslisprocedure staat duidelijk dat de resultaten uit beide SATs meegenomen worden in de definitieve vaststelling van de resultaten. Een hertest vindt volgens het Memo uitsluitend plaats als er twijfel is over de validiteit van een testuitvoering. Dat heeft zich niet voorgedaan. Saab heeft niet tijdig geprotesteerd tegen de wijze van beoordeling vastgelegd in het Memo Beslisprocedure en daarmee het recht verwerkt dat alsnog te doen.

Het Memo Beslisprocedure is geen wijziging maar een verduidelijking van het STP, dat niet ingaat op de wijze van beoordeling van de testresultaten. Deze verduidelijking hoefde niet op voorhand aan de gegadigden te worden voorgelegd op grond van paragraaf 1.3.2 van het STP. Die paragraaf heeft betrekking op wijzigingen in testen en testuitvoeringen. De wijze van beoordeling van testresultaten valt daarbuiten. Als het Memo Beslisprocedure toch op deze grond buiten beschouwing moet worden gelaten, dan moet ook het Memo Beoordeling Gebreken buiten beschouwing worden gelaten. Ook dat Memo is niet vooraf aan de gegadigden voorgelegd. Dat zou betekenen dat geen enkele afwijking van de minimumeisen is toegestaan. In dat geval zou Saab evenmin kwalificeren voor de gunningsfase.

Volgens de Software Test Description zouden testen 23 en 26 tenminste één keer en niet meer dan drie keer worden uitgevoerd. Van testen 23 en 26 hebben twee testuitvoeringen in SAT I plaatsgevonden. SAT II is gebruikt voor een derde testuitvoering. De uitvoeringen van deze testen zijn verdeeld over SAT I en SAT II om de systemen van de gegadigden te kunnen testen in verschillende weer- en verkeeromstandigheden. Doordat testen opnieuw werden uitgevoerd in SAT II, kregen gegadigden de mogelijkheid een score in SAT I te verbeteren, maar dat was niet de reden waarom testen opnieuw werden uitgevoerd. Dat in SAT II twee testen (testen 23 en 26) opnieuw zijn uitgevoerd waarbij het systeem van Saab in SAT I tekortkomingen vertoonde, berust op toeval. In het geval van de derde gegadigde zijn testen waarbij zijn systeem in SAT I niet voldeed aan de minimum eisen, niet opnieuw uitgevoerd in SAT II. Test 25 is opnieuw uitgevoerd op verzoek van Saab, die had aangegeven dat de aanpassingen die zij in haar systeem zou aanbrengen na SAT I, ook van invloed zouden zijn op de resultaten van test 25. Daarbij is aangegeven dat het ging om een extra testuitvoering, waarbij de resultaten van SAT I zouden meetellen.

Dat de resultaten van de uitvoeringen van de testen in SAT I en SAT II even zwaar meetellen, is niet vastgelegd in de Software Test Description. Dit is echter de meest logische en gebruikelijke wijze van beoordeling, die te verwachten viel voor een normaal oplettende en behoorlijk geïnformeerde inschrijver.

5 Beoordeling in hoger beroep

5.1.

De vragen die voorliggen hebben betrekking op de beoordeling van de resultaten van testen 23, 25 en 26 uitgevoerd in SAT I en SAT II in het licht van de aanbestedingstukken. Als eerste moet de vraag worden beantwoord of ten aanzien van deze testen: (i) het gemiddelde genomen moet worden van de resultaten behaald in SAT I en SAT II (het standpunt van Rijkswaterstaat en Innovative), dan wel (ii) alleen de resultaten behaald in SAT II tellen (het standpunt van Saab). Als het gemiddelde genomen moet worden van de resultaten behaald in SAT I en SAT II, dan rijst de vraag hoe dat gemiddelde moet worden bepaald: (i) door het gemiddelde te berekenen van de resultaten van alle uitvoeringen van deze testen in SAT I en SAT II tezamen, waarbij alle resultaten even zwaar wegen (het standpunt van Rijkswaterstaat en Innovative), dan wel (ii) door eerst voor SAT I en SAT II afzonderlijk gemiddelden te berekenen en vervolgens deze resultaten te middelen, waarbij beide resultaten even zwaar wegen (het standpunt van Saab).

5.2.

Het hof stelt voorop dat op grond van het transparantiebeginsel, op de aanbestedende dienst de verplichting rust om alle voorwaarden en modaliteiten in het kader van een aanbestedingsprocedure op een zodanig duidelijke, precieze en ondubbelzinnige wijze te formuleren dat alle behoorlijk geïnformeerde en normaal oplettende inschrijvers de juiste draagwijdte kunnen begrijpen en deze op dezelfde manier interpreteren (HvJ EU 29 april 2004, Succhi de Frutta, ECLI:EU:C:2004:236). Daarbij moeten de bepalingen van de aanbestedingstukken, binnen de grenzen van het transparantiebeginsel, worden uitgelegd aan de hand van de zogenaamde CAO-norm, waarbij de bewoordingen van de desbetreffende bepalingen, gelezen in het licht van de gehele tekst van de aanbestedingstukken, in beginsel van doorslaggevende betekenis zijn (vgl. het arrest van de Hoge Raad van 20 januari 2004, DSM/Fox, ECLI:NL:HR:2004:AO1427).

5.3.

Hiervan uitgaande overweegt het hof als volgt met betrekking tot de uitleg van de aanbestedingstukken. Het Selectiedocument verwijst voor het testtraject naar het STP. Het STP bevat een beschrijving van opzet, doel en gang van zaken tijdens de PoA. Het STP legt de basis voor het gehele testproces en de daaruit voortvloeiende documenten. Daaruit leidt het hof af dat het STP voor het testtraject in beginsel leidend is. Andere documenten kunnen het STP wel aanvullen of verduidelijken, maar niet zonder meer wijzigen. Wijzigingen moeten met alle deelnemers worden besproken voordat zij worden geïmplementeerd. Dat laatste volgt uit de Engelse tekst van versie 1.3 van het STP. Weliswaar is de Nederlandse taal leidend, maar omdat deze meest recente versie uitsluitend in het Engels is opgesteld, gaat het hof van deze versie uit.

5.4.

Het STP onderscheidt drie testsoorten: de pre-SAT, SAT I en SAT II. De pre-SAT is in dit verband niet van belang. Uit het STP blijkt dat in SAT I alle testen worden uitgevoerd. Vervolgens worden de testen geheel of gedeeltelijk herhaald in SAT II, na herstel van bevindingen door de deelnemers (in het Engels: “after remedying the findings by the participant”; herstel van bevindingen wordt daarbij omschreven als “bug fixing’’). Volgens de planning zitten er meerdere weken tussen SAT I en SAT II, gedurende welke de deelnemers de bevindingen (‘bugs’) uit SAT I op kunnen lossen. Daarna wordt SAT II uitgevoerd.

5.5.

De gang van zaken beschreven in het STP is dus dat deelnemers na SAT I de gelegenheid krijgen tekortkomingen die in SAT I zijn geconstateerd, te herstellen, en dat de systemen van de deelnemers vervolgens opnieuw worden getest in SAT II. Naar het oordeel van het hof heeft een behoorlijk geïnformeerde en normaal oplettende inschrijver hieruit kunnen afleiden dat als in zijn geval bij bepaalde testen tekortkomingen in SAT I zijn geconstateerd en hij die tekortkomingen zodanig heeft hersteld dat zijn systeem in SAT II die testen wel doorstaat, de resultaten behaald in SAT II bepalend zijn ten aanzien van die testen. Het feit dat het scoren van een onvoldoende in SAT I niet wordt genoemd als reden om de test te herhalen doet hier niet aan af omdat deze reden in de systematiek van SAT I en SAT II besloten ligt.

5.6.

Het hof vindt in de aanbestedingstukken onvoldoende steun voor de uitleg van Rijkswaterstaat en Innovative, waarbij de resultaten behaald in SAT I blijven meetellen, ook ten aanzien van testen die in SAT II zijn herhaald nadat de gelegenheid is geboden om tekortkomingen geconstateerd in SAT I te herstellen. Uitgaande van het testtraject beschreven in de STP ligt deze uitleg niet voor de hand. Een behoorlijk geïnformeerde en normaal oplettende inschrijver hoeft immers uitgaande van dit testtraject niet te verwachten dat hij nog wordt afgerekend op testresultaten die zijn achterhaald doordat hij verbeteringen in zijn systeem heeft aangebracht.

5.7.

Rijkswaterstaat en Innovative baseren hun uitleg op het Memo Beslisprocedure, waarin staat dat de resultaten uit SAT I en SAT II meegenomen zullen worden in de definitieve vaststelling van de SAT resultaten. Deze tekst sluit echter de hiervoor aan de STP gegeven uitleg niet uit. Het meenemen van resultaten uit beide SATs kan immers ook betekenen dat in geval van testen die opnieuw zijn uitgevoerd in SAT II nadat een onvoldoende score is behaald in SAT I, de resultaten uit SAT II meegenomen worden, terwijl in geval van testen die uitsluitend in SAT I zijn uitgevoerd, de resultaten uit SAT I meegenomen worden. Ook het feit dat in de Software Test Description bij een aantal tests als “acceptance criterion” is opgenomen dat wordt gelet op de “average time” sluit die uitleg niet uit, omdat dit betrekking kan hebben op het gemiddelde van resultaten behaald in SAT I óf SAT II. Indien Rijkswaterstaat beoogde met het Memo Beslisprocedure de procedure beschreven in het STP aldus te wijzigen dat ook bij testen die in SAT II opnieuw werden uitgevoerd de resultaten in SAT I bleven meetellen, dan had Rijkswaterstaat de deelnemers daarop moeten wijzen, gelet op het belang van deze wijziging en in het licht van de bepaling in STP versie 1.3 dat deelnemers vooraf zullen worden geconsulteerd over wijzigingen (vgl. r.o. 2.7 van dit arrest). Het hof verwerpt het betoog van Rijkswaterstaat dat deze bepaling uitsluitend ziet op wijzigingen in de testen en testuitvoeringen, en niet op de beoordeling van de testresultaten. De bepaling is algemeen geformuleerd en strekt zich uit tot alle wijzigingen van het STP. Nu Rijkswaterstaat het Memo Beslisprocedure slechts aan de deelnemers heeft toegezonden zonder aan te geven dat in dit opzicht een wijziging van de procedure was beoogd, mocht een behoorlijk geïnformeerde en normaal oplettende inschrijver uitgaan van een uitleg van het Memo Beslisprocedure die in overeenstemming was met het STP. Dat geldt temeer nu in het Memo Beslisprocedure is herhaald dat tussen de twee SATs de voorlopige testresultaten zullen worden verstrekt en de mogelijkheid geboden zal worden om eventuele afwijkingen op te lossen.

5.8.

Hieraan doet niet af dat in het Memo Beslisprocedure uitsluitend ten aanzien van een hertest uitgevoerd in geval van gerede twijfel over de validiteit van een test, is bepaald dat de resultaten van de eerste testuitvoering buiten beschouwing worden gelaten. Deze hertest was een aanvulling op het STP, waarin niet in een hertest van invalide testen was voorzien, en is dus iets anders dan de testen in SAT I en SAT II.

5.9.

Ook het feit dat in het STP is opgenomen dat een “retest” in SAT II alleen zou plaatsvinden “if necessary” maakt het voorgaande niet anders, reeds omdat die noodzakelijkheid ook kan slaan op een onvoldoende score. Daarvoor pleit tevens dat de woorden “if necessary” ook zijn geplaatst achter de woorden “bug fixing”.

5.10.

Er bestond voor Saab gelet op het voorgaande geen aanleiding om bezwaar te maken tegen het Memo Beslisprocedure. Van rechtsverwerking op grond van het Grossmann-arrest door het achterwege laten van zodanig bezwaar kan dus geen sprake zijn.

5.11.

Overigens pleit voor de uitleg van Saab dat de testen die opnieuw zijn uitgevoerd in SAT II, juist die testen zijn ten aanzien waarvan Saab in SAT I niet aan de minimumeisen had voldaan. In dat geval ligt het des te meer voor de hand om ten aanzien van die testen uit te gaan van de resultaten behaald in SAT II. De stelling van Rijkswaterstaat en Innovative, dat SAT II is bedoeld om een spreiding van de testen in de tijd mogelijk te maken teneinde de systemen in verschillende weer- en verkeersomstandigheden te kunnen testen, is niet overtuigend. Daartoe had een langere periode voor SAT I volstaan, en was een tweede SAT, na een tussenperiode van enkele weken voor het herstel van tekortkomingen, niet nodig geweest. Dat het een kwestie van toeval is geweest dat in SAT II alleen die testen zijn uitgevoerd waarbij Saab in SAT I niet aan de minimumeisen had voldaan, acht het hof niet geloofwaardig. Rijkswaterstaat heeft nog aangevoerd dat testen waarbij een derde gegadigde in SAT I niet aan de minimumeisen had voldaan, in SAT II niet opnieuw zijn uitgevoerd. Die stelling heeft Rijkswaterstaat echter tegenover de betwisting door Saab niet onderbouwd, terwijl hij dat gemakkelijk had kunnen doen door aan te geven welke testen het betrof, en waarom die testen niet, en testen 23, 25 en 26 wél opnieuw zijn uitgevoerd in SAT II. Aan deze stelling zal het hof dus voorbijgaan.

5.12.

Op grond van het voorgaande oordeelt het hof dat uit de aanbestedingsstukken volgt dat in het geval van testen 23, 25 en 26 alleen de resultaten behaald door Saab in SAT II in aanmerking genomen kunnen worden. Tussen partijen is niet in geschil dat Saab in dat geval aan de minimumeisen voldoet en tot de gunningsfase moet worden toegelaten. Dat betekent dat de grieven slagen. Voor nadere bewijslevering is binnen de grenzen van dit kort geding geen ruimte. Bij deze stand van zaken komt het hof niet toe aan de vraag hoe de resultaten behaald in SAT I en SAT II moeten worden gemiddeld. Het hof zal het vonnis van de voorzieningenrechter vernietigen en opnieuw rechtdoende, de primaire vordering van Saab toewijzen zoals hierna vermeld. Als de in het ongelijk gestelde partijen zullen Rijkswaterstaat en Innovative in de kosten in beide instanties worden veroordeeld. In het geval van Innovative zullen deze kosten aan de zijde van Saab worden begroot op nihil, nu niet is gebleken dat Saab als gevolg van de deelname van Innovative aan deze procedure extra kosten heeft moeten maken.

6 Beslissing

Het hof:

- vernietigt het tussen partijen gewezen vonnis van de voorzieningenrechter in de rechtbank Den Haag van 31 juli 2018;

en opnieuw rechtdoende,

- veroordeelt Rijkswaterstaat om de afwijzing van de aanmelding van Saab ongedaan te maken en Saab alsnog toe te laten tot de gunningsfase van de aanbesteding;

- veroordeelt Rijkswaterstaat en Innovative in de kosten van het geding in beide instanties;

- begroot deze kosten voor zover het betreft de door Innovative ingestelde vorderingen aan de zijde van Saab op nihil;

- veroordeelt Rijkswaterstaat tot betaling van de overige proceskosten, aan de zijde van Saab in eerste aanleg begroot op € 1.687,- waarvan € 81,- aan explootkosten, € 626,- aan griffierecht en € 980,- aan salaris advocaat, en in hoger beroep begroot op € 4.119,58, waarvan € 171,58 aan explootkosten, € 726,- aan griffierecht en € 3.222- aan salaris advocaat, en op € 157,- aan nasalaris voor de advocaat, nog te verhogen met € 82,- indien niet binnen 14 dagen in der minne aan dit arrest is voldaan en vervolgens betekening van dit arrest heeft plaatsgevonden, en bepaalt dat deze bedragen binnen 14 dagen na de dag van de uitspraak dan wel, wat betreft het bedrag van € 82,-, na de datum van betekening moeten zijn voldaan, bij gebreke waarvan deze bedragen worden vermeerderd met de wettelijke rente als bedoeld in artikel 6:119 BW vanaf het einde van genoemde termijn van 14 dagen;

- wijst de vorderingen af voor het overige;

- verklaart dit arrest uitvoerbaar bij voorraad.

Dit arrest is gewezen door mrs. P. Glazener, J.J. van der Helm en H.J.M. Burg en is uitgesproken ter openbare terechtzitting van 9 oktober 2018 in aanwezigheid van de griffier.