Het niveau van de Nederlandse theorie-examens staat wereldwijd goed aangeschreven. Maar hoe zorgt het CBR ervoor dat deze kwaliteit gewaarborgd blijft? Het toverwoord hierbij is ‘betrouwbaarheidsindicatoren’. “We kijken bijvoorbeeld in welke mate een vraag goed wordt beantwoord door iemand die uiteindelijk is geslaagd. En fout is beantwoord door iemand die zakt”, legt Sjoerd Boot van het CBR uit. “Ook besteden we veel aandacht aan fraude-maatregelen.”

Boot is tegenwoordig hoofd Productmanagement van de divisie Rijvaardigheid bij het CBR. Veel rijschoolhouders zullen hem nog kennen als coördinator Rijbewijsbeleid bij het ministerie van Infrastructuur en Milieu. Hij was onder meer belast met de invoering van 2toDrive.

Theorievraag

“Een theorievraag bij het examen kan het best een betrouwbaarheidsindicatie hebben van tussen 0,6 en 0,8”, vertelt Boot. “Als veel mensen die zakken voor het theorie-examen – en dus onvoldoende kennis hebben – toch een specifieke vraag heel vaak juist beantwoorden, kan het zijn dat hij te makkelijk is.”

Vragen met sterk afwijkende goedkeuringsindicaties of uitschietende individuele slagingspercentages worden door het CBR opgemerkt. Deze worden geanalyseerd en eventueel uit het examen gehaald en vervangen door een nieuwe vraag.

Nieuwe vraag opstellen

De procedure van een nieuwe vraag opstellen is als volgt. Een interne CBR-commissie (bestaande uit de productmanagers) bepaalt het onderwerp en stelt een vraag op. “Het taalgebruik moet hierbij aansluiten op de doelgroep. Dat betekent iedereen van 15 tot 100 jaar”, legt Boot uit. “Het niveau staat gelijk aan VMBO+.”

Vervolgens gaat de vraag naar voor advies een extern college van deskundigen, zoals onder meer vertegenwoordigers van Cito, SWOV, een Neerlandicus, politie en defensie. Hierbij kijkt iedereen vanuit zijn eigen vakgebied naar de vraag. Vervolgens verwerken de CBR-productmanagers alle adviezen en wordt de vraag met antwoord eventueel opgenomen in de vragenbank.

Patronen

Belangrijk bij het opstellen van theorievragen is voorkomen dat er vaste patronen ontstaan, vertelt Boot. “Zo proberen we bijvoorbeeld continu hetzelfde antwoord bij een bepaalde soort vraag te vermijden. Want dan kan leiden tot patronen. Of patronen vermijden als ‘Bevat de vraag het woordje ‘nooit’? Dan is het antwoord ‘nee’. Dat kwam voorheen wel eens voor.”

“Ezelsbruggetjes om kennis te onthouden is prima”, vindt Boot. “Zo heb ik wel eens gehoord: ‘Kijk je hem in zijn oor, dan gaat hij voor’. Daar is niets mis mee, als het wordt gebruikt om verkeersregels te onthouden en toe te passen. Het gaat om beoordeling van de kennis en het inzicht van de kandidaat.”

Databank

Ieder jaar worden er honderden vragen vernieuwd of toegevoegd aan de CBR-databank (niet openbaar). Die bevat zo’n 4.000 theorievragen, onderverdeeld per onderwerp. Uit de vragenbank worden geautomatiseerd zogenaamde ‘series’ samengesteld, die gebruikt worden voor een examen. In iedere ‘serie’ komen vragen uit de verschillende onderwerpen volgens de exameneisen naar voren. Het is belangrijk dat alle sets hetzelfde niveau vragen van de kandidaat.

“We meten goedkeuringspercentages per serie, goedkeuringspercentages per vraag en de betrouwbaarheidsindicatoren per vraag”, legt Boot uit. “Achteraf meten we met behulp van CITO-software de betrouwbaarheid per examen. We zijn continu bezig om de uitschieters eruit te halen en te analyseren. Zo voorkomen we dat sommige series of vragen makkelijker of moeilijker kunnen zijn dan andere.”

Fraude

Naast de kwaliteit van de theorie-examens zelf, zet het CBR ook zwaar in op fraude-maatregelen. Als er fraude wordt gepleegd, slagen mensen voor het theorie-examen, zonder dat ze over het gewenst kennisniveau beschikken. Dan is er geen sprake van een ‘eerlijke’ uitslag van het examen.

Boot: “We hebben in iedere examenzaal goed getrainde surveillanten. Zij zijn zeer streng met de identificatie en letten goed op het gedrag van mensen. Ook hebben we op een aantal locaties kluisjes, waar kandidaten hun gsm, jas, tas en pet in moeten leggen. Het gebruik van elektrische apparatuur is dus niet toegestaan in de examenzaal.”

Scanners

Verder gebruikt het CBR tegenwoordig ook scanners die openstaande gsm-verbindingen opsporen. “Verbindingen blokkeren mag wettelijk gezien niet”, weet Boot. “Maar zodra een surveillant via de scan-apparatuur merkt dat er een openstaande gsm-verbinding is, en er dus mogelijk fraude wordt gepleegd, wordt het examen niet gestart.”

Ook mag er tegenwoordig alleen nog maar gebruik gemaakt worden van goedgekeurde en geregistreerde tolken. Dit om te voorkomen dat een tolk antwoorden voorzegt, wat in het verleden is voorgekomen.

Betrouwbaarheid

“Het is een illusie dat je fraude helemaal kunt uitbannen. Maar door steeds nieuwe maatregelen te nemen, proberen we het wel zo lastig mogelijk te maken”, aldus Boot. “We zijn dus continu bezig de kwaliteit en betrouwbaarheid van het theorie-examen zo hoog mogelijk te houden.”

Bart Pals