Geen voorspelbaarheid in theorie-examens voor beroepsvervoer

Het is onmogelijk om de theorie-examens voor het beroepsvervoer succesvol af te leggen zonder de benodigde kennis. Dat is de conclusie van het onderzoek dat het CBR heeft laten uitvoeren naar de voorspelbaarheid van deze theorie-examens. Voorspelbaarheden die zijn gevonden, zijn inmiddels verwijderd. 

Het onderzoek is uitgevoerd door Research Center voor Examinering en Certificering (RCEC), een samenwerkingsverband van de Universiteit Twente en Cito, dat al eens eerder de vragenbank van het CBR heeft doorgelicht. RCEC heeft speciale programmatuur om ongewenste voorspelbaarheid in grote databanken te detecteren. Dat kan niet of nauwelijks met het blote oog.

Er is tijdens dit onderzoek gekeken naar de vragenbanken van theorie-examens voor vrachtautochauffeur en buschauffeur (RV1, V2C, V3C, V2D, V3D), Taxi (TVT), T-rijbewijs (T-TH) en gevaarlijke stoffen (ADRB). De data-analyse had betrekking op de hele vragenbank voor deze acht examens, die bestaan uit in totaal ruim 4.200 opgaven.

Voorspelbaarheid

“Van de 9000 specifieke kenmerken die in de verschillende vragenbanken voorkomen, bleek dat er kenmerken voorspelbaar kunnen zijn”, meldt het CBR. “Maar de bevindingen zijn niet per se bruikbaar bij het maken van het theorie-examen. De meeste voorspelbaarheden zijn nogal vergezocht en leiden zelfs naar het verkeerde antwoord. Daarnaast is voorspelbaarheid niet altijd ongewenst.”

Het CBR heeft de ongewenste voorspelbaarheden inmiddels verwijderd. “Het onderzoek geeft het CBR handvatten om in de toekomst ongewenste voorspelbaarheid te voorkomen.” Het onderzoek wordt elke twee jaar herhaald.

Vragenbank

Het CBR heeft voor de theorie-examens duizenden vragen in de vragenbank. Er komen nog steeds wekelijks vragen bij. Deze vragen komen pas na goedkeuring door externe deskundigen in aanmerking om opgenomen te worden in de examens.

“De validiteit van het examen waarborgen we met een vragenbank met voldoende items in combinatie met een juiste representatie van de examenstof”, vertelt woordvoerster van het CBR. “Beide zijn aanwezig bij het CBR. Ongewenste voorspelbaarheid ga je tegen door de examens continu te veranderen, antwoordvolgordes te randomiseren, nieuwe vraagtypes te gebruiken zoals de sleepvraag en steeds nieuwe items en afbeeldingen op te nemen in het examen.”

Trucjes

Het RCEC heeft vorig jaar ook onderzoek gedaan naar de theorie-examens bij de kleine rijbewijzen, nadat bleek dat er verbanden in het examen zaten waardoor met behulp van trucjes vragen goed beantwoord konden worden. Uit onderzoek van RTL Nieuws beek dat zeker 22 instanties leerlingen trucjes aanleren om hen door het theorie-examen te loodsen. Niet met betrekking tot het leren van de stof, maar met zaken als: ‘zit het woord ‘invloed’ in de vraag, dan is het antwoord altijd ‘ja’.’ Naar aanleiding van het onderzoek van RCEC heeft het CBR vorig jaar zo’n 250 vragen geschrapt of aangepast.

Lees ook: Flinke reeks vragen geschrapt uit theorie-examen CBR na onderzoek

Auteur: Nadine Kieboom

Nadine Kieboom is de vaste journalist van RijschoolPro.nl

Reageer ook

Nog maximaal tekens

Log in via een van de volgende social media partners om je reactie achter te laten.

Geen voorspelbaarheid in theorie-examens voor beroepsvervoer | RijschoolPro

Geen voorspelbaarheid in theorie-examens voor beroepsvervoer

Het is onmogelijk om de theorie-examens voor het beroepsvervoer succesvol af te leggen zonder de benodigde kennis. Dat is de conclusie van het onderzoek dat het CBR heeft laten uitvoeren naar de voorspelbaarheid van deze theorie-examens. Voorspelbaarheden die zijn gevonden, zijn inmiddels verwijderd. 

Het onderzoek is uitgevoerd door Research Center voor Examinering en Certificering (RCEC), een samenwerkingsverband van de Universiteit Twente en Cito, dat al eens eerder de vragenbank van het CBR heeft doorgelicht. RCEC heeft speciale programmatuur om ongewenste voorspelbaarheid in grote databanken te detecteren. Dat kan niet of nauwelijks met het blote oog.

Er is tijdens dit onderzoek gekeken naar de vragenbanken van theorie-examens voor vrachtautochauffeur en buschauffeur (RV1, V2C, V3C, V2D, V3D), Taxi (TVT), T-rijbewijs (T-TH) en gevaarlijke stoffen (ADRB). De data-analyse had betrekking op de hele vragenbank voor deze acht examens, die bestaan uit in totaal ruim 4.200 opgaven.

Voorspelbaarheid

“Van de 9000 specifieke kenmerken die in de verschillende vragenbanken voorkomen, bleek dat er kenmerken voorspelbaar kunnen zijn”, meldt het CBR. “Maar de bevindingen zijn niet per se bruikbaar bij het maken van het theorie-examen. De meeste voorspelbaarheden zijn nogal vergezocht en leiden zelfs naar het verkeerde antwoord. Daarnaast is voorspelbaarheid niet altijd ongewenst.”

Het CBR heeft de ongewenste voorspelbaarheden inmiddels verwijderd. “Het onderzoek geeft het CBR handvatten om in de toekomst ongewenste voorspelbaarheid te voorkomen.” Het onderzoek wordt elke twee jaar herhaald.

Vragenbank

Het CBR heeft voor de theorie-examens duizenden vragen in de vragenbank. Er komen nog steeds wekelijks vragen bij. Deze vragen komen pas na goedkeuring door externe deskundigen in aanmerking om opgenomen te worden in de examens.

“De validiteit van het examen waarborgen we met een vragenbank met voldoende items in combinatie met een juiste representatie van de examenstof”, vertelt woordvoerster van het CBR. “Beide zijn aanwezig bij het CBR. Ongewenste voorspelbaarheid ga je tegen door de examens continu te veranderen, antwoordvolgordes te randomiseren, nieuwe vraagtypes te gebruiken zoals de sleepvraag en steeds nieuwe items en afbeeldingen op te nemen in het examen.”

Trucjes

Het RCEC heeft vorig jaar ook onderzoek gedaan naar de theorie-examens bij de kleine rijbewijzen, nadat bleek dat er verbanden in het examen zaten waardoor met behulp van trucjes vragen goed beantwoord konden worden. Uit onderzoek van RTL Nieuws beek dat zeker 22 instanties leerlingen trucjes aanleren om hen door het theorie-examen te loodsen. Niet met betrekking tot het leren van de stof, maar met zaken als: ‘zit het woord ‘invloed’ in de vraag, dan is het antwoord altijd ‘ja’.’ Naar aanleiding van het onderzoek van RCEC heeft het CBR vorig jaar zo’n 250 vragen geschrapt of aangepast.

Lees ook: Flinke reeks vragen geschrapt uit theorie-examen CBR na onderzoek

Auteur: Nadine Kieboom

Nadine Kieboom is de vaste journalist van RijschoolPro.nl

Reageer ook

Nog maximaal tekens

Log in via een van de volgende social media partners om je reactie achter te laten.