Context / probleemstelling of aanleiding

Context/probleemstelling of aanleiding:

De voortgangstoets (VGT) Geneeskunde werd jarenlang afgenomen als identieke toets voor alle geneeskundestudenten, bestaande uit 200 meerkeuzevragen (1). In deze conventionele VGT kregen jongerejaars studenten vragen voorgelegd die ver aflagen van hun kennisniveau, hetgeen de betrouwbaarheid van de toets verlaagde. Computerized adaptive testing (CAT) maakt het mogelijk toetsen af te stemmen op het niveau van de student. Tijdens afname selecteert een algoritme vragen op basis van de gegeven antwoorden. Zo kan het kennisniveau betrouwbaarder worden gemeten met minder vragen (2). Daarnaast is er een simultane toetsafname niet langer nodig. Voordat deze nieuwe vorm van toetsing de conventionele VGT met grote impact op de voortgang van vele studenten kon vervangen, werden studentprestaties op de conventionele VGT en CAT vergeleken en zijn de studentervaringen en uitvoerbaarheid van de adaptieve VGT onderzocht.

Beschrijving van de interventie/innovatie:

In mei 2022 namen geneeskundestudenten van drie medische faculteiten deel aan zowel de conventionele VGT als de CAT onder studiecondities, waarbij het beste resultaat meetelde. In de andere vier medische faculteiten werd niet voldaan aan de studiecondities en telde slechts het resultaat op de papieren VGT, maar kon een aantal studenten de CAT maken. Deze studenten zijn wel geïncludeerd bij analyse van studentervaringen en uitvoerbaarheid. Deelname aan de conventionele papieren VGT was verplicht, terwijl de digitale CAT vrijwillig was. De CAT bestond uit 120 gekalibreerde vragen. Studenten werden gestratificeerd om te starten met de conventionele VGT of de CAT, gebaseerd op de beschikbaarheid van tijdsloten per toetsmoment. Tussen afname van beide toetsen zat maximaal zeven dagen. Na de CAT werden er digitale vragenlijsten afgenomen onder alle deelnemende studenten.

Ervaringen/analyse van de implementatie:

1432 studenten namen deel aan beide toetsen onder studiecondities en 526/1658 studenten hebben de vragenlijst ingevuld. Er was een sterke correlatie tussen de studentscores op beide toetsen (r=0.834, n=1432). Er waren geen problemen met het digitale toetssysteem. Ondanks dat studenten de CAT moeilijker vonden en onzekerder waren over hun prestatie, waren ze gemotiveerd om goed te presteren op de CAT.

Lessons learned (implicaties voor de praktijk):

Onze positieve bevindingen ondersteunden de implementatie van een landelijke CAT in het medisch onderwijs per september 2022. Aangezien er sprake kan zijn van meer onzekerheid onder studenten, was een goede voorbereiding en voorlichting hierbij van groot belang.

Referenties (max. 2):

Tio RA, Schutte B, Meiboom AA, Greidanus J, Dubois EA, Bremers AJA, et al. The progress test of medicine: the Dutch experience. Perspect Med Educ. 2016 Feb;5(1):51–5.

Rice N, Pêgo JM, Collares CF, Kisielewska J, Gale T. The development and implementation of a computer adaptive progress test across European countries. Comput Educ Artif Intell. 2022 Jan 1;3:100083.