Context / probleemstelling of aanleiding

Probleemstelling (inclusief theoretische onderbouwing en onderzoeksvraag/vragen):
Na decennia van nadruk op objectiviteit in toetsing heeft het besef van het belang van expertoordelen in de klinische opleidingspraktijk geleid tot erkenning van de waarde van subjectiviteit.¹ Met de komst van toetsing gericht op toevertrouwen van professionele activiteiten (entrustment decisions) rezen ook validiteitsvragen. Is subjectiviteit wel valide? Een validiteitsmodel kan helpen. Kane’s model ziet validiteit als een serie gevolgtrekkingen (‘inferences’), van enkelvoudige observaties via meervoudige observaties tot een generalistisch eindoordeel. In de gezondheidszorg impliceert afronden van een opleiding dat voorbehouden handelingen toevertrouwd kunnen worden, een beslissing valt aan het einde van Kane’s keten van inferenties. Dit principe geldt ook voor kleinere beslissingen, voor individuele taken. Die vergen hogere-orde inferenties. Waar competentie-beoordeling zich traditioneel beperkt tot scoring en generalisatie van geobserveerde prestaties, vereisen entrustment decisions een extrapolatie inferentie (voorspelling van toekomstig gedrag) en implicatie inferentie (wat betekent dit voor autonomie?).² Dit vereist diepere denkprocessen waarbij subjectiviteit—persoonlijke inschattingen van toekomstige gereedheid gebaseerd op begeleiderervaring—een uitgebreidere rol speelt dan bij directe observaties. Expertoordelen zijn echter niet perfect en er kan bias insluipen. De vraag is nu hoe legitieme subjectieve oordeelsvorming onderscheiden kan worden van ongewenste bias. Dit leidt tot de onderzoeksvraag:
Wat betekent subjectiviteit in het expertoordeel voor entrustment decisions in de klinische praktijk, en hoe is bias te onderscheiden van legitieme subjectiviteit?
Methode:
We voerden een conceptuele analyse uit op basis van literatuuronderzoek, ingebed in Kane’s validiteitsraamwerk. Door inzichten uit beoordelingstheorie, psychometrie en literatuur over bias in het gezondheidszorgonderwijs te integreren, ontwikkelden we een model dat subjectiviteit in entrustment decisions in de klinische praktijk structureert. Het model maakt onderscheid tussen legitieme subjectiviteit en bias, en categoriseert bias langs twee dimensies: impliciet versus expliciet, en systemisch versus individueel gericht.
Resultaten (en conclusie):
Het ontwikkelde conceptuele model onderscheidt vier categorieën binnen beoordelaarssubjectiviteit. <b>Legitieme subjectiviteit</b> omvat construct-relevante factoren, bijdragend aan de entrustment decisions in de klinische praktijk: (1) impliciete ‘gut feelings’ die moeilijk onder woorden te brengen zijn maar relevante overtuigingen beïnvloeden, en (2) expliciete, beredeneerde oordelen gebaseerd op expertise. <b>Bias</b> omvat construct-irrelevante factoren: (1) impliciete systemische bias door onbewuste structuren die ongelijke groepsoordelen creëren; (2) impliciete individuele bias door onbewuste impressies over individuele lerenden; (3) expliciete systemische bias door bewuste structuren die ongelijkheid veroorzaken; (4) expliciete individuele bias door bewuste construct-irrelevante individuele oordelen.
Het model toont dat inter-observervariabiliteit niet uitsluitend als meetfout beschouwd moet worden, maar deels legitieme expertise-gedreven verschillen weerspiegelt.
Discussie (beschouwing resultaten en conclusie in het kader van de theorie):
Het model biedt een genuanceerd perspectief op subjectiviteit in entrustment decisions in de klinische praktijk en onderzoek is nodig om de houdbaarheid van dit model te toetsen. Als gedachtenexercitie is het model echter nuttig. Door legitieme subjectiviteit te onderscheiden van bias kunnen opleidingsprogramma’s gerichtere interventies ontwikkelen. Praktische implicaties zijn onder meer: training van beoordelaars in het herkennen van het verschil tussen legitieme subjectiviteit en bias, programmatische beoordeling met meerdere informatiebronnen, en teamdeliberatie om legitieme subjectieve input te wegen en bias te beperken. Het model biedt een theoretisch kader, maar een beperking is dat niet alle construct-irrelevante invloeden zijn meegenomen, zoals hiërarchische machtsverhoudingen of juridische beperkingen. Verder onderzoek is nodig om te toetsen of teamdeliberatie daadwerkelijk leidt tot minder bias en meer valide beslissingen.
Referenties:
Ten Cate O, Regehr G. The power of subjectivity in the assessment of medical trainees. Acad Med. 2019;94:333–337.
Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane’s framework. Medical education. 2015; 49:560–75.