Aanbestedingen zijn duur: voor opdrachtgevers en zeker ook voor tenderende marktpartijen. Het beoordelen van offertes is foutgevoelig, wat voor alle betrokkenen de kosten verder kan opdrijven. Daarom groeit de aandacht voor betere beoordelingsmethoden en -technologie. Die kunnen in potentie veel faalkosten en belastinggeld besparen. Als de methoden maar eerlijk zijn voor zowel aanbesteder als aanbieder; consistent en consequent in accurate gunningsbeslissingen resulteren (robuust); en de efficiëntie van het beoordelingsproces bevorderen.

Binnen deze discussie zet ik in twee blogs het onderscheid centraal tussen het beoordelen via consensusdiscussies, versus het hanteren van gemiddelde scores binnen een beoordelingscommissie. Hoe deze twee aanpakken zich in de praktijk tot elkaar verhouden besprak ik in deel één van dit blog. In dit tweede deel beschrijf ik hoe verschillende methodieken én een beoordelingstechnologie kunnen helpen bij het eerlijk, robuust en efficiënt beoordelen van offertes.

1: Een uniform referentiekader bij consensusdiscussies én gemiddelde scores

Of beoordelaars nou in discussie tot gedragen scores komen of dat het gemiddelde van hun scores wordt genomen; als zij met een uniform referentiekader werken, maakt dat de beoordelingen niet alleen sneller maar ook betrouwbaarder. Vanuit het principe ‘goed communiceren is zo dicht mogelijk langs elkaar heen praten’, helpt een gedeeld referentiekader interpretatieverschillen verkleinen.

Met het Meerkleurig Argumentatief ReferentieKader (M.A.R.K.) van Rijkswaterstaat maken beoordelaars eenduidig onderscheid tussen de verschillende soorten standaardargumenten die altijd en overal in offertes gebruikt worden. Dit referentiekader stroomlijnt de manier waarop beoordelaars offerteteksten lezen, begrijpen en waarderen. Het vereenvoudigt complexiteit, bespaart tijd bij het individueel beoordelen en brengt individuele scores dichter bij elkaar.

Dus als je kiest voor gemiddelde scores, dan maakt een uniform referentiekader de scores betrouwbaarder dankzij kleinere interpretatieverschillen. En als je met consensusdiscussies werkt, dan komt daar nog bij dat consensus sneller tot stand komt doordat beoordelaars minder langs elkaar heen praten. De MARK-methodiek is domeinonafhankelijk, uitgebreid getest en landelijk geïmplementeerd bij de GWW-aanbestedingen van Rijkswaterstaat.

2: De kracht van de Delphi-methode: verminderen van Ruis bij beoordelingen

Ga je dan voor die gemiddelde scores (liefst met extra tijdwinst en robuustheid dankzij de MARK-methodiek), dan bestaat een manier om die gemiddelden nóg betrouwbaarder te maken: de Delphi-methode. Deze methode is verrassend simpel en bovendien wijds beproefd in uiteenlopende contexten van besluitvorming. Lennartz en Van der Linden breken een lans voor gebruik van de Delphi-methode bij beoordelingen van offertes. Zij stellen dat het fenomeen ‘Ruis’ in menselijke besluitvorming bij uitstek optreedt bij consensusdiscussies. Hiërarchische verhoudingen binnen de beoordelingscommissie, het effect van de eerstgenoemde individuele score, en ook beperkte professionele expertise kunnen een gedegen beoordeling danig in de weg zitten.

De Delphi-methode kan dergelijke ruis verregaand dempen. Volgens de methode worden de individuele scores van de beoordelaars anoniem gedeeld binnen de commissie, waarna de leden de kans krijgen om de eigen scores te herzien voordat die nogmaals worden gedeeld. Dit wordt in meerdere rondes herhaald, al of niet inclusief geschreven toelichtingen zoals motiveringen van de beoordelaars en reacties daarop. Het resultaat is een lijst met gemiddelden van scores die de beoordelaars in meerdere rondes hebben heroverwogen, liefst met hun motiveringen erbij, die veel minder zijn beïnvloed door de ruis van sociale dynamieken en individuele bias.

3: De digitale Versnellingskamer: motiveringen, draagvlak en tijdwinst door digitalisering

Het is al heel wat om een overwogen keuze te maken tussen consensusdiscussies of gemiddelden; de juiste toepassing van de gekozen aanpak is al helemaal een uitdaging. Hoe zorg je er bijvoorbeeld voor dat:

• alle beoordelaars de criteria en aandachtspunten van het beoordelingskader consistent toepassen;
• je efficiënt overzicht houdt van alle individuele scores, waarderingen en motiveringen; of
• motiveringen voor de definitieve scores efficiënt worden opgesteld in bewoordingen die aanbieders begrijpelijk, transparant en eerlijk vinden?