Context / probleemstelling of aanleiding

Context/probleemstelling of aanleiding:

De wijze waarop de examencommissie invulling geeft aan haar wettelijke taak om de toetskwaliteit te borgen, verandert wezenlijk bij invoering van programmatisch toetsen. De traditionele borgingsinstrumenten, zijn ontoereikend voor het borgen van de kwaliteit bij programmatisch toetsen en de nadruk moet verplaatsen naar de procedures en de naleving ervan (Leenknecht & Heeneman, 2022).

Beschrijving van de interventie/innovatie:

Er is een Quality Assurance of Programmatic Assessment tool (QUAPA-tool) ontwikkeld die de traditionele kwaliteitsnormen behoudt en nieuwe benaderingen toevoegt die aansluiten bij de holistische aard van programmatisch toetsen. In overleg met de examencommissie zijn er twee doelen gesteld voor de QUAPA-tool: het moet gebruiksvriendelijk zijn en de informatie makkelijk te analyseren.

De QUAPA-tool bestaat uit zes entiteiten die samen de toetsing vormen: programma van datapunten, high-stakes beslissing, low-stakes datapunten, toetsbekwaamheid, toetsorganisatie en toetsbeleid (van Schilt-Mol, 2022).

Elke entiteit bevat de in het toetsbeleid beschreven kwaliteitscriteria, waarbij vragen zijn geformuleerd op basis van literatuur om de toetskwaliteit te onderzoeken. Aan elke vraag is een bron gekoppeld, op basis waarvan de gebruiker de vraag kan beantwoorden. De entiteit high-stakes beoordeling bevat bijvoorbeeld het kwaliteitscriterium betrouwbaarheid. Een vraag daarbij is of de kalibratiesessies hebben plaatsgevonden, waarop het antwoord gevonden kan worden in de rapportage van de besliscommissie (bron).

Als alle vragen in de QUAPA-tool beantwoord zijn, wordt automatisch een overzicht per entiteit gemaakt met de bijbehorende kwaliteitscriteria. De examencommissie kan vervolgens per entiteit een oordeel geven over kwaliteiten en ontwikkelpunten van de toetsing.

Ervaringen/analyse van de implementatie:

Bij de implementatie is eerst de volgorde van beoordeling bepaald voor de entiteiten en daarna de volgorde van de bronnen. Voor het bekijken van een bron vond er een training plaats van onderwijskundigen. Nadat de examencommissie de bron heeft beoordeeld, is het resultaat nabesproken en het gebruik geëvalueerd met de onderwijskundigen.

De QUAPA-tool is een gedegen instrument gebleken, dat makkelijk is in gebruik en handvatten biedt voor een nieuwe en gestructureerde manier van kwaliteitsborging bij programmatisch toetsen.

Lessons learned (implicaties voor de praktijk):

Feedback van een externe toetsexpert zorgt voor een completer borgingsinstrument.
Neem alleen processen en afspraken op in het borgingsinstrument die zijn beschreven in beleidsdocumenten.
Bepaal de volgorde van borging van entiteiten op basis van belangrijkheid en urgentie.
Goede samenwerking tussen onderwijskundigen en de examencommissie bij de ontwikkeling en implementatie zorgt voor professionalisering.

Referenties (max. 2):

Leenknecht, M., & Heeneman, S. (2022, 13 april 2022). Holistisch beslissen en de borging van kwaliteit door een examencommissie, hoe dan? Holistisch beslissen en de borging van kwaliteit door een examencommissie, hoe dan? – Platform Leren van Toetsen

van Schilt-Mol, T. (2022). Van piramide naar toetsweb:

de (door)ontwikkeling van een kwaliteitszorginstrument om de kwaliteit van toetsing inzichtelijk te maken. Examens, 2022(3), 13- 22.