De toetsmatrijs is een blauwdruk van een toets. Het is een matrix waarin je aangeeft hoe de toetsvragen en -opdrachten in een toets zijn verdeeld over de te beoordelen eindtermen. In de toetsmatrijs maak je inzichtelijk welke vragen/opgaven bij welke eindtermen horen en op welk niveau we deze eindtermen toetsen (b.v. feiten of begrip; reproductie of productie). Een paar voordelen van het gebruik van een toetsmatrijs: je zorgt voor een evenwichtige verdeling van type vragen en opdrachten passend bij de eindtermen, je zorgt voor voldoende differentiatie tussen toetsen over dezelfde eindtermen voor leerlingen uit verschillende leerwegen en je zorgt dat bij de constructie van twee toetsen over dezelfde leerstof voor gelijkwaardigheid tussen die toetsen. Zo meet je met de herkansingstoets hetzelfde en is de toets van eenzelfde niveau ook al stel je andere vragen.
Aan de hand van de toetsmatrijs stel je de toets samen. De toets bestaat altijd uit ten minste 3 onderdelen: de vragen en/of opdrachten, een instructie voor de leerlingen en een beoordelingsmodel. Belangrijke kwaliteitseisen bij toetsconstructie zijn validiteit, betrouwbaarheid, transparantie en uitvoerbaarheid;
Nadat je een toets hebt ontwikkeld, moet deze worden vastgesteld. Dit gebeurt vaak door de ‘vaststellers’. Aan de hand van een checklist controleert de vaststeller de kwaliteit van de toets. Hij bekijkt hierbij of de toets is opgesteld volgens de toetsmatrijs, of de inhoud van de vragen juist is, of de toetsvragen/-opdrachten toetstechnisch goed zijn opgesteld en of in het beoordelingsmodel een juiste cesuur is vastgesteld. Aan de hand van zijn bevindingen stelt de toetsconstructeur de toets bij.
Bij de afname van toetsen is het belangrijk om na te denken over de afnamecondities en deze vast te leggen in een afnameprotocol. De betrouwbaarheid en validiteit van toets resultaten kan beïnvloed worden door de instructie die de leerlingen krijgen, hulpmiddelen die wel of niet gebruikt mogen worden of de ruimte waarin de toets wordt afgenomen. Voor de betrouwbaarheid van een toets is het belangrijk dat de afname-omstandigheden voor iedere leerling gelijk zijn. Daarnaast moet u ter voorbereiding over de afname goed nadenken over de rolscheiding tussen de docent, de begeleider en de beoordelaar/examinator.
Nadat de toetsafname, beoordeelt u de toets aan de hand van een beoordelingsmodel. Het is belangrijk dat alle betrokkenen zich bewust zijn van de rolscheiding tussen docent, begeleider en beoordelaar/examinator. De beoordelaar moet in staat zijn om de leerling objectief en integer te beoordelen. Beoordelaars moeten kennis hebben van zgn. beoordelaarseffecten: het ‘eerste-indruk’-effect (“ik zie al in 1 oogopslag of dit überhaupt iets gaat worden”), het ‘halo’-effect (“hij heeft zo zijn best gedaan, dat zit wel goed”), het ‘sympathie’-effect (“hij wil er echt voor gaan, dat moet ik belonen”) en het ‘centrale tendentie’-effect (“een tien halen bestaat niet, het gaat om een 7 of een 8”).Wanneer meerdere beoordelaars leerlingen beoordelen is het belangrijk om aandacht te besteden aan de manier waarop men de beoordelingsformulieren interpreteert. Examinatoren bespreken met elkaar hoe zij de verschillende beoordelingscriteria hanteren/gehanteerd hebben.