Context / probleemstelling of aanleiding

Context/probleemstelling of aanleiding:

Simulatiepatiënten (SPs) worden vaak ingezet bij het toetsen van consultvaardigheden in gezondheidszorgopleidingen waarbij de docent beoordeelt hoe een student een consult voert. Problemen die kunnen optreden bij directe observatie waardoor het oordeel vertekend kan worden zijn o.a. variatie in de moeilijkheid van de casus, ervaring van de beoordelaar en interpretatie van de beoordelingscriteria.¹ Daarom houden we bij de opleiding Technische Geneeskunde (TG) aan de Universiteit Twente voorafgaand aan de toetsmomenten calibratiesessies met docenten en hebben we roltraining voor simulatiepatiënten waarbij bijv. de moeilijkheidsgraad en interpretatie van de casus worden afgestemd. Hiermee willen we ervoor zorgen dat iedere student gelijke kansen heeft tijdens de toets en de uiteindelijke beoordeling vooral gebaseerd is op wat de student doet en zo min mogelijk door variaties in SPs en beoordelaars en de moeilijkheidsgraad van de casuïstiek. Dit leidde tot onze vraagstelling: in welke mate beïnvloeden de casus, simulatiepatiënt en beoordelaar de beoordeling van consulten van studenten technische geneeskunde?

Beschrijving van de interventie/innovatie:

We hebben de scores van 650 consulten als onderdeel van de toetsing (inclusief herkansingen) van 513 tweedejaars studenten TG in de jaren 2018-2023 geanalyseerd. Voor de toetsing zijn in totaal 30 SPs ingezet, 16 casussen gebruikt, waarbij het voor 2 van de casussen (12,5%) een heteroanamnese betrof, en 14 docenten hebben de consulten beoordeeld. Er zijn heatmaps gemaakt en visueel geïnspecteerd om patronen in de verdeling van de scores (5, 7 en 9) te onderzoeken. Een nadere statistische analyse volgt nog.

Ervaringen/analyse van de implementatie:

SPs werden gemiddeld 23 keer ingezet (range=2-49). Docenten beoordeelden gemiddeld 46 consulten (range=5-94). Op basis van de heatmaps zien we geen afwijkende scoreverdeling bij de SPs, maar wel bij de cases en docenten. Bij de cases is er één afwijkende casus die vaak samenhangt met de score 5. Daarnaast zien we dat twee docenten vaker een score 5 geven dan de overige docenten. In welke mate dit statistisch significante verschillen zijn wordt nog onderzocht.

Lessons learned (implicaties voor de praktijk):

Hoewel er geen systematische verschillen zijn gevonden tussen SPs in de scores van de consulten geven de docenten tijdens de toetsing wel aan dat zij ongewenste verschillen ervaren tussen SPs. Het ontbreken van een invloed daarvan op de scores wijst er mogelijk op dat docenten al tijdens het beoordelen compenseren voor een afwijkende SP. Mogelijk dat overcompensatie een rol speelt waardoor er ongewenst verschillen ontstaan tussen de beoordelingen van docenten onderling. Vervolgonderzoek naar het gebruik van compensatiestrategieën door docenten kan meer inzicht geven in het creëren van gelijke kansen bij toetsing van consultvaardigheden.

Referenties (max. 2):

1 Berendonk C, Stalmeijer R.E., Schuwirth L.W.T. Expertise in performance assessment: assessors’ perspectives. Adv In Health Sci Educ. 2013;18:559-571.