Context / probleemstelling of aanleiding
Probleemstelling (inclusief theoretische onderbouwing en onderzoeksvraag/vragen):
De mening van kandidaten over selectiemethoden kan van invloed zijn op hun deelname, motivatie en prestaties [1]. Dit heeft mogelijk vooral negatieve effecten voor kandidaten met niet-traditionele achtergronden. Subgroepverschillen in kandidaatpercepties van selectiemethoden zijn echter nog niet onderzocht. In deze studie onderzochten we de percepties van kandidaten van verschillende veelgebruikte selectiemethoden, de argumentatie achter deze percepties en subgroepverschillen. Organizational justice theory, die kenmerken van selectieprocedures beschrijft die de perceptie van kandidaten kunnen beïnvloeden, werd als theoretisch raamwerk gebruikt.
Methode:
In 2020 vulden 704 kandidaten (response 21%) die deelnamen aan de selectieprocedures van vijf Nederlandse medische bacheloropleidingen (drie geneeskunde, één farmacie en één technische geneeskunde) een vragenlijst in over achtergrondkenmerken (geslacht, migratieachtergrond, vooropleiding en eerste-generatie-hoger-onderwijsstatus) en kandidaatpercepties [1]. Elf veelgebruikte selectiemethoden werden voorgelegd: cognitieve capaciteitentoets, curriculum vitae (CV), proefstudeertoets, interview, motivatiebrief, persoonlijkheidsvragenlijst, schoolcijfers, situational judgement test, vaardighedentoets, gewogen loting en ongewogen loting. Kandidaten beoordeelden justice dimensies voor iedere methode (7-punts Likertschaal) en konden opmerkingen toevoegen.
Resultaten (en conclusie):
Kandidaten waarderen de proefstudeertoets (M=5.32, 95% CI [5.24, 5.40]) en de vaardighedentoets (M=5.13, [5.05, 5.22]) het meest, en gewogen loting (M=3.05, [2.93, 3.17]) en ongewogen loting (M=2.97, [2.83, 3.10]) het minst.
Kwalitatieve contentanalyse van opmerkingen van kandidaten liet een voorkeur voor het gebruik van een combinatie van selectiemethoden zien, omdat kandidaten een verscheidenheid aan vaardigheden relevant vonden. Tegelijkertijd benoemden kandidaten dat rekening gehouden moet worden met hun welzijn en dat een combinatie van methoden veel stress kan opleveren. Bovendien vonden kandidaten dat er ruimte moet zijn om vaardigheden (verder) te ontwikkelen tijdens de opleiding en deze vaardigheden niet al een maat moeten zijn vóór de opleiding start. Aangezien ze hun selectie-uitkomst zelf willen beïnvloeden, gaven kandidaten de voorkeur aan beoordeling van hun huidige kennis en vaardigheden in plaats van retrospectieve data (bv. eerder behaalde cijfers). Tegelijkertijd benoemden ze nadelen van momentopnames. Kandidaten deelden daarnaast hun zorgen over gelijke kansen in de voorbereiding (bv. toegang tot bijles, coaching en een medisch netwerk) en consistentie in metingen.
Uit een linear mixed model kwam naar voren dat subgroepen van kandidaten verschillende selectiemethoden grotendeels vergelijkbaar beoordelen. De meest opvallende subgroepverschillen in percepties waren: mannelijke kandidaten (29% van de steekproef) beoordeelden ongewogen loting negatiever dan vrouwen (M=2.57 versus M=3.12, B=-0.55). Kandidaten met een niet-Westerse migratieachtergrond (26%) beoordeelden het CV positiever dan kandidaten zonder migratieachtergrond (M=4.32 versus M=3.80, B=0.50), terwijl hun beoordeling van interviews juist negatiever was (M=4.74 versus M=5.15, B=-0.42). Kandidaten met alternatieve vooropleidingen (23%) hadden een sterkere voorkeur voor niet-cognitieve methoden (bv. persoonlijkheidsvragenlijsten) boven cognitieve methoden (bv. cijfers) dan kandidaten die doorstroomden uit het vwo. Er werden geen verschillen in percepties gevonden op basis van een Westerse migratieachtergrond (9%) en eerste-generatie-hoger-onderwijsstatus (25%).
Discussie (beschouwing resultaten en conclusie in het kader van de theorie):
De bevindingen laten zien dat kandidaten een voorkeur hebben voor selectiemethoden waarop ze meer dan alleen cognitieve capaciteiten kunnen laten zien en waarbij ze een gevoel van controle hebben. Verder lijken achtergrondkenmerken van kandidaten een rol te spelen in percepties van selectiemethoden, maar de verschillen zijn erg klein en qua praktische relevantie mogelijk beperkt. De kwalitatieve resultaten laten echter zien dat kandidaten zich zorgen maken over gelijke kansen voor bepaalde subgroepen. Tot slot maken de kwalitatieve resultaten enkele dilemma’s zichtbaar, zoals de behoefte aan een combinatie van methoden en zorgen om welzijn van de kandidaat, iets wat nog ontbreekt in organizational justice theory. Vanwege deze tegenstrijdige behoeftes en fricties tussen kandidaatpercepties en andere indicatoren van validiteit pleiten we voor een duidelijkere en transparantere communicatie over selectiemethoden en aanpassingen binnen methoden.
Referenties:
[1] De Leng WE, Stegers-Jager KM, Born MP, Themmen APN. Influence of response instructions and response format on applicant perceptions of a situational judgement test for medical school selection. BMC Med Educ. 2018;18(1):1-10. doi:10.1186/s12909-018-1390-0
