Regels en afspraken
Het normeringsproces begint met een aantal basisafspraken. De basisafspraken worden verwoord in uitgangspunten en regels. Deze worden door het College voor Toetsen en Examens (CvTE), in samenspraak met Stichting Cito (Cito), opgesteld. Aan de hand hiervan vindt de normering plaats:
Uitgangspunt 1: Aan leerlingen worden van jaar tot jaar bij eenzelfde vak in hetzelfde schooltype dezelfde eisen gesteld.
Uitgangspunt 2: Leerlingen mogen niet de dupe worden van fouten in het examen.
Vaak worden fouten in een centraal examen meteen na afname ontdekt. De fout wordt dan hersteld met een aanvulling op het correctievoorschrift. Soms worden fouten pas ontdekt op het moment dat de correctie al in een vergevorderd stadium is. In dat geval kan er voor een fout gecompenseerd worden via de n-term. We gaan hier dieper op in bij punt 10.
Uitgangspunt 3: Een score van 0% correspondeert met het cijfer 1, een score van 100% met het cijfer 10 en elk gescoord punt leidt (in principe) tot een hoger cijfer.
De uitgangspunten voor de normering zijn vastgelegd in wet- en regelgeving. Zie ook: Regeling omzetten scores in cijfers.
Bronnen voor normering
Als het examen Engels dit jaar beter wordt gemaakt dan vorig jaar, dan kunnen er drie dingen spelen: het examen kan makkelijker zijn dan vorig jaar of de leerlingen hebben beter gepresteerd. Of misschien wel allebei. Om te weten wat er aan de hand is, verzamelt het CvTE samen met Cito informatie over de moeilijkheidsgraad van de examens in vergelijking met oude examens.
We maken gebruik van verschillende methoden om de moeilijkheidsgraad te bepalen:
- Pretest, posttest of anchor in package
- Diverse standaardbepalingen
- Uitgevoerd door de vaststellingscommissie van het CvTE
- uitgevoerd door een groep experts onder leiding van Stichting Cito
- uitgevoerd door correctoren van de staatsexamens
- Docentenoordeel
- Historische n-termen
- vergelijking tijdvak 2 met tijdvak 1 op basis van de resultaatverbetering van kandidaten die in het eerste tijdvak een onvoldoende hadden
Als met behulp van deze gegevens de moeilijkheidsgraad van de nieuwe examens bepaald is, kunnen we ook de vaardigheid van de leerlingen vergelijken met de vaardigheid in eerdere jaren.
Scores leerlingen
Een belangrijke stap in het normeringsproces is het verzamelen van de scores van de leerlingen. Docenten leveren deze gegevens aan via Wolf nadat zij het werk van hun kandidaten hebben gecorrigeerd en beoordeeld. Bij de digitale centrale examens die in Facet worden afgenomen worden de scores automatisch via Facet aangeleverd. Cito gebruikt deze gegevens voor de technische analyse (zie punt 4).
Technische analyse
Zodra de scores van de leerlingen binnen zijn, stelt Cito aan de hand van de beschikbare gegevens een toets- en itemanalyse op (TIA). Deze analyse geeft een beeld hoe het examen als geheel en hoe elke vraag afzonderlijk is gemaakt.
Cito berekent wat de technische n-term zou moeten zijn volgens de afgesproken uitgangspunten. Hiervoor combineert het de verschillende bronnen voor normering met de scores van de leerlinge zodanig dat de n-term precies corrigeert voor het verschil in moeilijkheid met eerdere examens. Een moeilijker examen krijgt een hogere n-term en een makkelijker examen krijgt een lagere n-term. Dit heeft tot gevolg dat een hogere vaardigheid leidt tot een hoger cijfer en vice versa.
De technische n-term is nog niet de definitieve n-term. Hoe we tot de definitieve n-term komen wordt beschreven bij de punten 10 en 11. We beschikken immers over nog meer relevante gegevens. Dat beschrijven we bij de punten 5 t/m 9.
Examenlijn
Wanneer docenten bij het nakijken een fout in het centraal examen constateren, kunnen zij die melden aan de Examenlijn van het College voor Toetsen en Examens (CvTE).
Zoals beschreven bij punt 1 is een uitgangspunt dat leerlingen niet de dupe mogen worden van fouten in het examen.. De manier waarop daarvoor wordt gezorgd, is afhankelijk van het moment in het examenproces waarop de fout wordt ontdekt. We kunnen kiezen voor:
- Een inhoudelijke aanvulling op het cv.
- Het neutraliseren of schrappen van een (deel van een) vraag.
- De fout compenseren via de n-term.
Overige meldingen, zoals bijvoorbeeld over de lengte van de examens, wegen we later in het normeringsproces mee (zie punt 10).
LAKS
Leerlingen melden na afname van het examen hun opmerkingen bij de klachtenlijn van het LAKS. Deze inhoudelijke meldingen bij het LAKS spelen een rol bij de normering. Het LAKS verzamelt alle klachten van leerlingen en legt de inhoudelijke meldingen voor aan het College voor Toetsen en Examens (CvTE). De meldingen van het LAKS worden op dezelfde manier behandeld als de meldingen aan de Examenlijn (zie punt 5).
Examenbesprekingen door vakverenigingen
Elk jaar organiseren veel vakverenigingen direct na de afname van het centraal examen een bespreking van de opgaven en het correctievoorschrift. Na afloop van de bespreking sturen vakverenigingen opmerkingen door aan het College voor Toetsen en Examens (CvTE) via de Examenlijn. De meldingen van de vakverenigingen worden meegewogen in de normering, op dezelfde manier als de overige meldingen aan de Examenlijn (zie punt 5).
Quick scan
Direct na het uitvoeren van de eerste correctie wordt docenten gevraagd naar hun mening over de moeilijkheid en de lengte van het examen en de aansluiting van het examen op het gegeven onderwijs. Ook wordt aan hen gevraagd welk rapportcijfer zij aan dit centraal examen geven. De resultaten van deze bevraging (de Quickscan) worden meegenomen bij de normering. Na afloop van de examenperiode zijn de resultaten terug te vinden op de examenpagina’s op Examenblad.
Toetstechnisch advies Cito
Op basis van de gegevens uit de technische analyse (zie punt 4) onderzoekt Cito of er een aanleiding is om af te wijken van de technische n-term. Dat kan bijvoorbeeld zijn omdat de toets- en itemanalyse aanwijzingen geeft dat veel kandidaten in tijdnood zijn gekomen . Dat kan dan aanleiding zijn om aan het College voor Toetsen en Examens (CvTE) te adviseren af te wijken van de technische n-term.
Inhoudelijke analyse CvTE
Als alle gegevens verzameld zijn, zijn de vaststellingscommissies van het College voor Toetsen en Examens (CvTE) aan zet. Een vaststellingscommissie bestaat uit docenten die les geven aan de examenkandidaten waar het examen voor bedoeld is. De vaststellingscommissie heeft het examen (na constructie) vastgesteld en adviseert het CvTE over de uiteindelijke n-term van een centraal examen. Hierbij maakt de vaststellingscommissie gebruik van alle kwantitatieve én kwalitatieve gegevens die er zijn. Belangrijk hierbij is de vraag of er in het examen zaken zijn aangetroffen waardoor leerlingen in onvoldoende mate konden laten zien wat ze kunnen. Als dat zo is, kan de vaststellingscommissie daar rekening mee houden in haar normeringsadvies.
Besluit CvTE
Het normeringsteam van het College voor Toetsen en Examens (CvTE) neemt het definitieve besluit over de n-termen. Dit doet het in overleg met normeringsdeskundigen van Cito, die daarbij adviseren. In deze stap worden ook de door de vaststellingscommissie geadviseerde n-term en de technische n-term meegenomen.
Als de vaststellingscommissie adviseert om de n-term aan te passen weegt het CvTE de argumenten. Als een advies van een vaststellingscommissie niet afwijkt van het technisch normeringsadvies en er zijn geen andere aanwijzingen dat er bijzondere dingen met het examen aan de hand zijn, dan wordt de technische n-term als definitieve n-term vastgesteld.
Definitieve n-term
Ten slotte worden de n-termen om 8.00 uur ’s ochtends op Examenblad gepubliceerd op de dag die daarvoor in de Activiteitenplanning is aangewezen. Op dat moment gaat er ook een mailing naar de scholen. De scholen zetten de behaalde scores van hun leerlingen om in een cijfer en stellen vast welke leerlingen zijn geslaagd en welke niet.