Misschien ken je het nog wel: je antwoorden van een examen opschrijven, meenemen, hup op de fiets naar huis en snel de computer aanzetten. Ongeduldig druk je op de F5-button; “wanneer komen de antwoorden nou online?”. Als daar eindelijk het verlossende correctievoorschrift op internet staat, kijk je snel de antwoorden na. 29 van de 55 punten, het zal erom spannen. Afhankelijk van de normering, heb je een cijfer behaald tussen de 4,7 en 6,7. En je hebt toch echt een voldoende nodig om te slagen. Op dat moment vraag je jezelf af: hoe wordt de normering bepaald?
Normeringsprocedure
De totstandkoming van een normering is een lang proces. Allereerst voert Cito de analyse uit, vervolgens wordt er een advies opgesteld door de vaksectie. Daarna verzamelt CvTE (College van Toetsen en Examens) alle adviezen, en beslissen zij over de definitieve normering. Ik zal het proces beschrijven dat binnen Cito wordt uitgevoerd om het technisch normeringsadvies op te stellen.
Equivalering
Om de eerlijkheid te waarborgen tussen examens voor hetzelfde vak, maar in verschillende jaren, worden de toetsen aan elkaar gelijkgesteld (ook wel geëquivaleerd genoemd). Er wordt een statistische analyse gedraaid om te bepalen welke score gelijk staat aan een bepaalde score op het referentie-examen. Hierbij wordt rekening gehouden met de moeilijkheid van een examen. Zo kan het bijvoorbeeld voorkomen dat 29 punten van de 55 bij het ene examen een 5,0 oplevert en bij een moeilijker examen een 6,7. Deze analyse kan op verschillende manieren gedaan worden.
Pre- of posttesten
Aan de hand van pre- of posttesten kan bekeken worden hoe moeilijk de vragen zijn van het examen ten opzichte van het referentie-examen. Voor de vragen van het referentie-examen is bekend welke vaardigheid een examenkandidaat nodig heeft om de vraag goed te beantwoorden. Aangezien dit bekend is, kan ook berekend worden welke vaardigheid nodig is om vragen uit het nieuwe examen correct te beantwoorden. Indien examenkandidaten vaardiger dienen te zijn om de vragen van het nieuwe examen goed te beantwoorden, wordt de normering hoger. Zo wordt er gecorrigeerd voor de moeilijkheid (dus de benodigde vaardigheid) van het examen.
Absoluut equivaleren
Als er geen data beschikbaar is van pre- of posttesten is het moeilijker om te vergelijken tussen twee verschillende examens. Zo zijn er nog meer manieren om hier toch een oplossing voor te vinden. Ik bespreek er hier twee. Ten eerste kan er gekeken worden hoe hoog de normering is om hetzelfde percentage leerlingen te laten slagen ten opzichte van het referentie-examen. Ten tweede kan gekeken worden hoe de normering dient te zijn om hetzelfde gemiddelde cijfer te halen als het referentie-examen. In beide gevallen wordt aangenomen dat de populaties even vaardig zijn.
Tweede tijdvak normering
Zelf kijk ik naar het model van het tweede tijdvak (herkansingen). In principe wordt hierbij dezelfde normering aangehouden als bij het eerste tijdvak. Er wordt namelijk aangenomen dat de twee examens nauwelijks van elkaar verschillen in moeilijkheid omdat ze in hetzelfde toetsconstructie-proces worden gemaakt. Indien ze toch verschillen in moeilijkheid, wordt de normering alleen aangepast als het examen in het tweede tijdvak moeilijker is. De bepaling of een examen moeilijker is in het tweede tijdvak, is een ingewikkeld proces.
Vertroebeld beeld
In eerste instantie zou je denken, voer dezelfde analyse uit als in het eerste tijdvak. Helaas gaat dit niet op, en dat heeft zijn redenen. De belangrijkste reden is dat de deelnemers van het eerste tijdvak een representatief beeld geven van de populatie, terwijl deelnemers van het tweede tijdvak voornamelijk herkansers zijn, naast een paar ‘profielverbeteraars’ en zieken. Om toch het verschil te berekenen in moeilijkheid tussen de twee examens dient met nog twee aspecten rekening gehouden te worden. Het eerste aspect is het regressie-effect. Kort samengevat, als je de eerste keer ver van de gemiddelde score af zit, is de kans groot dat je bij een tweede keer dichter bij het gemiddelde zit. Het tweede aspect is de leerwinst, omdat deelnemers van het tweede tijdvak hun cijfer willen verbeteren en vaak maar een vak kunnen herkansen gaan ze hard studeren voor het vak. In sommige gevallen volgen ze zelfs een examentraining. Door al deze aspecten is het lastig de resultaten van de twee examens met elkaar te vergelijken. Daarom is er een ingewikkeld statistisch model gebouwd, die ik nu analyseer en eventueel wil verbeteren.
Wil je meer weten over het proces van normeren? Bezoek dan deze website!
Is jouw interesse gewekt en wil jij data ook omzetten naar bruikbare modellen? Bekijk dan eens onze vacatures voor het traineeship Business Analytics en Data Science!
