Samen met Cito en onze vaststellingcommissies zorgen we er als College voor Toetsen en Examens (CvTE) voor dat de centrale toetsen en examens tot stand komen zoals bedoeld in de wet. De validiteit van dit proces is van groot belang voor de kwaliteit van de examens. Daarom laten we de totstandkoming van de examens periodiek onderzoeken.
In 2022 is het onderzoeksrapport van onafhankelijk onderzoeksinstituut ResearchNed opgeleverd waarin de validiteit van het toetsproces van twee maatschappijgerichte centrale examens is onderzocht. Na de examenperiode van 2022 is dit rapport intern besproken. De hoofdvraag van het onderzoek luidde: ‘Voldoen de procedures die het CvTE en Cito bij de borging van de inhoudsvaliditeit van de maatschappijgerichte examens hanteren aan (inter)nationale kwaliteitsstandaarden?’
Positieve conclusie
In het onderzoek zijn de centrale examens economie havo en geschiedenis vmbo gl/tl uit het eerste tijdvak van 2021 onderzocht. Op basis van het onderzoek wordt bovengenoemde onderzoeksvraag positief beantwoord. Beide examens voldoen in hele grote mate aan internationale kwaliteitsstandaarden.
De validiteit wordt onder andere gerealiseerd door het grote aantal vakexperts dat betrokken is in de toetscyclus. Dit geldt zowel voor het opstellen van de syllabi als voor de ontwikkeling en samenstelling van de centrale examens. Ook is bij de vaststelling van de onderzochte examenopgaven een inschatting gemaakt van de moeilijkheid door een onafhankelijke groep van experts. Deze betrokkenheid door diverse vakexperts is een belangrijke waarborg voor de validiteit van de toetsscores volgens de Amerikaanse standaarden.
Bovendien gebruiken we een wetenschappelijke methode voor de normhandhaving en worden opgaven na afname op kwaliteit beproefd, voordat de definitieve uitslag aan kandidaten wordt gegeven.
Aanbevelingen verkennen
We zijn blij met de positieve conclusies uit het rapport. Toch doen de onderzoekers ook een aantal aanbevelingen die we graag gaan verkennen.
Zo bevelen de onderzoekers aan om voor het examen economie havo de beheersingsniveaus van Bloom (of Romiszowski) op te nemen in de syllabus of in ieder geval in de toetsmatrijs. Dit kan als hulpmiddel dienen om de cognitief erg moeilijke opgaven in het stadium van constructie al op te sporen en te vermijden. Nu wordt nog een eenvoudiger indeling van beheersingsniveaus gebruikt om toetsenmakers creatieve ruimte te geven bij de constructie van examenvragen. We gaan deze aanbeveling bespreken met Cito.
Een andere aanbeveling is het (laten) opstellen van een kort verantwoordingsdocument per examen in de evaluatiefase van de toetscyclus. Daarin wordt expliciet beargumenteerd welke keuzes in de verschillende fasen van de toetscyclus zijn gemaakt. Het opstellen van zo’n verantwoordingsdocument is enkele jaren geleden binnen het CvTE besproken met als uitkomst om hiermee een experiment te doen. De bijzondere examenmaatregelen in de afgelopen jaren verhinderden echter dit experiment. Mogelijk ontstaat hiervoor wel ruimte in komende examenjaren.
Daarnaast geven de onderzoekers ter overweging om voor open vragen de oordelen van zowel de eerste als de tweede corrector onafhankelijk te registreren. Ondanks dat deze informatie heel nuttig kan zijn, kleven er ook nadelen aan. We gaan dan ook verkennen in hoeverre dit wenselijk is.
In het onderzoeksrapport worden ook andere zaken genoemd die niet direct als conclusie of aanbeveling zijn opgenomen. Zo houdt het rapport ons een spiegel en geeft het ons een goed zicht op waar verbetering mogelijk is.