Samenvatting

Inleiding:In deze studie staat de kwestie centraal of simulatiepatiënten, die getraind zijn in het spelen van de rol van patiënt tijdens examens maar niet medisch geschoold zijn, in staat zijn kandidaten bij een stationsexamen te beoordelen. De context waarbinnen dit onderzoek plaatsvond was de toetsing van medische competenties van buitenlandse artsen via het zogenaamde Dutch Clinical Skills Assessment (DCSA). De hoofdvraag was: wat is de overeenstemming in de door simulatiepatiënten gegeven beoordelingen van kandidaten bij het DCSA?

Methode: Voor het beantwoorden van de onderzoeksvraag zijn zowel de beoordelingen gebruikt van 445 koppels van twee simulatiepatiënten als de beoordelingen van 17 koppels van een simulatiepatiënt en een arts. Om na te gaan in hoeverre er consistentie was in de beoordelingen van een koppel zijn voor anamnese, lichamelijk onderzoek en communicatieve vaardigheden Cohen’s kappa-coëfficiënten (K) berekend.

Resultaten: Uit de resultaten blijkt dat de beoordelaarsovereenstemming op anamnesevaardigheden en lichamelijk onderzoek redelijk tot hoog is. Wat betreft de communicatieve vaardigheden bleek de overeenstemming een stuk lager te zijn. Overigens waren er geen verschillen wat betreft de consistentie van de beoordelingen tussen koppels van simulatiepatiënten en koppels van een simulatiepatiënt en een arts.

Conclusie/Discussie: Hoewel de resultaten gebaseerd zijn op een steekproef van beperkte omvang, wijzen de resultaten van dit onderzoek erop dat beoordelingen van medische competenties op een efficiënte wijze kunnen worden verzameld door simulatiepatiënten als beoordelaars in te schakelen. (Pelgrim EAM, Denessen EJPG, Hettinga AM, Postma CT. De kwaliteit van beoordelingen door simulatiepatiënten in een Objective Structured Clinical Examination (OSCE): een analyse van interbeoordelaarsovereenstemming. Tijdschrift voor Medisch Onderwijs 2009;28(6):253–260.)

Summary

Introduction: Standardized patients are trained to portray the role of a patient in a standardized and consistent way. An important question is whether standardized patients are capable of scoring the medical competencies of candidates in an examination setting. In this study we assessed the reliability of the scoring of history taking, physical examination and communication skills by standardized patients in a high stakes examination of foreign medical graduates. The main question was: What is the consensus in judgment among standardized patient in the Dutch Clinical Skills Assessment (DCSA)?

Methods: The data used in this research were judgments of 445 dyads of two standardized patients and 17 dyads of a standardized patient and a physician. Inter-rater agreement was assessed to examine the consistency of judgments regarding history taking, physical examination and communication skills.

Results: The results showed that the dyads reached relatively high levels of inter-rater agreement on all three test domains, although the agreement on communication skills was lower than the consensus on history taking and physical examination. No significant differences were observed between the levels of agreement of the dyads of two standardized patients compared to the dyads of a standardized patient and a physician.

Conclusion/Discussion: Although the size of our sample was fairly small – especially concerning the dyads of a standardized patient and a physician – the results of this study point at the possibility of using standardized patients as raters of medical competencies in examination settings. This could contribute to the efficiency of examination procedures. (Pelgrim EAM, Denessen EJPG, Hettinga AM, Postma CT. The quality of assessment by standardized patients in an Objective Structured Clinical Examination (OSCE): an analysis of observer agreement. Dutch Journal of Medical Education 2009;28(6):253–260.)