Context / probleemstelling of aanleiding
Context/probleemstelling of aanleiding:
Binnen de faculteit der geneeskunde (FdG) van de Universiteit van Amsterdam (UvA) is de wens om interactief en gepersonaliseerd onderwijs te geven met veel feedback. Deze wens is op basis van veelvuldig onderzoek dat aantoont dat feedback zeer effectief is voor het leerproces (o.a. Hattie & Timperley, 2007). Studenten geven in meerdere enquêtes en evaluaties ook aan behoefte te hebben aan meer feedback.
Vaak en uitgebreid feedback geven is echter zeer arbeidsintensief. De afgelopen jaren is heuristische natural language processing en automated writing evaluation (AWE) getest om geschreven werken van studenten van feedback te voorzien (Steiss et al., 2023). Deze methodiek vereist echter specifieke training per setting/taak en heeft wisselend en matig succes in het geven van nuttige feedback.
Met de introductie van ChatGPT3.5 in november 2022 werd duidelijk dat de nieuwe generatieve artificiële intelligentie (AI) goed kan omgaan met o.a. geschreven tekst, medische vragen, programmeeropdrachten en feedback geven (Steiss et al. 2023).
Beschrijving van de interventie/innovatie:
Binnen de FdG-UvA zijn we bezig om AI bruikbare beoordelingscriteria en rubrics te ontwikkelen voor debachelorthesis Geneeskunde. Hiermee gaan we een AI feedbackbot opzetten op basis van ChatGPT4 om studenten te helpen in hun leerproces door vaker en uitgebreider feedback te bieden op wetenschappelijk schrijven dan nu mogelijk is binnen de huidige kaders.
Ervaringen/analyse van de implementatie:
De AI feedback gaan we beoordelen op kwaliteit en vergelijken met humane feedback van de huidige pool onafhankelijke tweede beoordelaars. We zullen de kwaliteit van de feedback beoordelen op 5 criteria aangepast van Hattie en Timperley (2007). Het criterium tijdige feedback nemen we niet mee aangezien de AI feedback altijd instantaan zal zijn en dus sneller dan humane feedback.
Lessons learned (implicaties voor de praktijk):
Tijdens de NVMO sessie zullen we:
-De ontworpen AI bruikbare beoordelingscriteria presenteren.
-De beoordeling van de kwaliteit van de AI-feedback bespreken.
-De vergelijking met de humane feedback behandelen.
-Tips en ervaringen delen voor het zelf ontwikkelen van dergelijke AI bruikbare rubrics.
Referenties (max. 2):
Referenties:
1. Hattie, J., & Timperley, H. (2007). The Power of Feedback. The Review of Educational Research, 77(1). DOI: https://doi.org/10.3102/003465430298
2. Steiss, J., Tate, T., Graham, S., Cruz, J., Hebert, M., Wang, J., Moon, Y., Tseng, W., & Warschauer, M. (2023). Comparing the quality of human and ChatGPT feedback on students’ writing. EdArxiv Preprints. DOI: 10.35542/osf.io/ty3em
