De discussie over wat kwaliteit van onderwijs is, verstomt nooit. Op dit moment (voorjaar 2007) wordt bij de medische vervolgopleidingen volop gediscussieerd over de wijze waarop de kwaliteit van de nieuwe opleidingen bepaald moet worden. Als, zoals bij mij, de belangrijkste toetsen die je hebt afgelegd al ver achter je liggen, krijg je zo nu en dan het gevoel dat dingen zich beginnen te herhalen. Kijk je echter goed naar dat proces dan blijkt de discussie toch weer allerlei nieuwe aspecten te bevatten. Dat houdt het academische leven leuk. Ervaringen uit het verleden (wat mij betreft noem je dat expertise) zijn erg handig bij dergelijke discussies.
Naar aanleiding van De Groots motto ‘kwaliteit moet blijken’ werd in de jaren tachtig in het Nederlandse Hoger Onderwijs in de aanloop naar het visitatiesysteem uitgebreid gediscussieerd over kwaliteit van onderwijs.1- 2 Zo herinner ik me dat de ene persoon argumenteerde dat er verschillende kwaliteiten waren en de andere fel reageerde met “wat een nonsens, kwaliteit is kwaliteit”. Niks meervoud dus. De uitkomst was natuurlijk een compromis; we bepaalden diverse aspecten van kwaliteit. Nog steeds worden initiële opleidingen bij visitaties beoordeeld op 11 aspecten van kwaliteit.3
Eén van deze 11 aspecten is de manier waarop de interne kwaliteitszorg is geregeld. Ook daarover kan je discussiëren: wordt het onderwijsproces beoordeeld (voorbeelden hiervan zijn de vele satisfactielijsten die studenten voorgelegd krijgen) of het product (een recent voorbeeld hiervan is de vergelijking tussen faculteiten betreffende prestaties op voortgangstoetsen)?4
Internationaal wordt vaak verwezen naar het evaluatiemodel van Kirkpatrick.5- 8 Kirkpatrick onderscheidt vier niveaus van evaluatie. Het eerste niveau is het reactieniveau; het gaat hierbij om de meningen van de onderwijsdeelnemers over allerlei aspecten van het onderwijsprogramma. Het tweede niveau is het leerniveau; op dit niveau wordt bijvoorbeeld gemeten wat de studenten geleerd hebben, of hun vaardigheden voldoende zijn. Het gaat erom op dit niveau te meten of de leerdoelen van het onderwijsprogramma bereikt zijn. Het derde niveau is het gedragsniveau; heeft het onderwijs geleid tot een gedragsverandering in de werksituatie? Het gaat hierbij om transfer van het geleerde naar andere, nieuwe situaties. Het vierde niveau is het resultaatniveau; leidt de opleiding/training tot een hogere productie, gereduceerde kosten, minder burn-out en grotere patiënttevredenheid? Sommige onderzoekers van (medisch) onderwijs hebben de neiging vooral het vierde niveau belangrijk te vinden. Kirkpatrick is het daar, terugblikkend op zijn carrière, in 1996 niet mee eens.9 Alle niveaus zijn belangrijk, ook het reactieniveau. Als de deelnemers het programma niet aanstaat, is er weinig kans dat er iets geleerd word. Tegelijkertijd is het natuurlijk ook zo dat alleen een meting op reactieniveau (bijvoorbeeld de score op de PHEEM, een instrument om de kwaliteit van de klinische leeromgeving te meten)10 niet alles zegt over de kwaliteit van de opleiding. In de literatuur zijn diverse aanpassingen van het model van Kirkpatrick te vinden;11 de basisgedachte is echter onveranderd gebleven.
In dit nummer van TMO rapporteren Oosterhout en Dekker een onderzoek op reactieniveau naar het aanbod van metamedica onderwijs in de basisopleiding geneeskunde. Brendel et al. beschrijven een onderzoek naar de realiteitsbeleving bij simulatieonderwijs in acute zorg. Hun vraagstellingen liggen zowel op reactieals op leerniveau. Het onderzoek van Beullens et al. is gericht op de effecten van probleemoplossingsgerichte klinische colleges op het klinisch redeneren, leerniveau dus.
De redactie van TMO is geïnteresseerd in evaluatieartikelen op alle niveaus van Kirkpatrick en rekent de komende tijd op een gevarieerd aanbod van evaluatieonderzoek. Wij staan nog steeds pal achter Adriaan de Groot: kwaliteit moet blijken – en blijven.
