Context / probleemstelling of aanleiding

Context/probleemstelling of aanleiding:

Onder studenten van de UvA bachelorthesis geneeskunde is er meer behoefte aan feedback, een onderdeel dat ook onmisbaar is in het leerproces van studenten. Echter is het geven van feedback een arbeidsintensief proces en hebben niet alle studenten gelijke kansen op goede en tijdige feedback. Sinds de introductie van ChatGPT in november 2022 zijn er verkennende studies gedaan waarin ChatGPT goede feedback gaf op o.a. middelbare school verslagen (Steiss et al., 2024). Deze ontwikkeling biedt kansen op goede en eerlijke feedback op wetenschappelijk schrijven van studenten.

Beschrijving van de interventie/innovatie:

Binnen de FdG hebben we een generatieveAI (GenAI) feedbacktool opgezet op basis van het taalmodel GPT4. Studenten kunnen tijdens 3 georganiseerde lesmomenten, in verschillende fasen van het schrijven van hun bachelorthesis, gebruikmaken van de feedbacktool. Vooraf zullen studenten uitleg krijgen over het verantwoord gebruik van de feedbacktool en de noodzaak om de feedback kritisch te beschouwen. Het uitgangspunt is dat de feedbacktool aanvullend is en dat humane feedback leidend blijft.

Ervaringen/analyse van de implementatie:

De GenAI feedbacktool is geëvalueerd op reproduceerbaarheid, repliceerbaarheid en vergeleken met humane feedback. Gebaseerd op deze evaluaties zijn we tot 36 criteria gekomen waarop de tool goede en correcte feedback geeft en 12 criteria waarop de tool feedup geeft. Na afloop van de lesmomenten vullen studenten een vragenlijst in en volgen er groepsgesprekken om mondeling door te kunnen vragen. We gaan de leerinterventie evalueren aan de hand van de 4 niveaus van het New World Kirkpatrick model (Kirkpatrick & Kirkpatrick, 2016).

– Reactie: wat vinden studenten van het gebruik van de feedbacktool?

– Leren:

wat is het effect van de feedbacktool op zelf gerapporteerde competenties in wetenschappelijk schrijven?

– Gedrag:

wat heeft de student gedaan met de feedback uit de tool?

– Resultaat:

wat is het effect van de feedbacktool op zowel de zelf gerapporteerde als gemeten eindresultaten?

Lessons learned (implicaties voor de praktijk):

Tijdens de presentatie zullen we ingaan op: 1) Welke criteria werken wel en niet binnen een GenAI feedbacktool. 2) Hoeveel studenten de GenAI feedbacktool gebruikt hebben en de mate waarin ze ervan gebruik gemaakt hebben. 3) De ervaren effectiviteit van een GenAI feedbacktool. 4) De toegevoegde waarde van een GenAI feedbacktool ten opzichte van peerfeedback en humane feedback. 5) Het effect van een GenAI feedbacktool op het eindresultaat.

Referenties (max. 2):

Kirkpatrick, J. D., & Kirkpatrick, W. K. (2016). Kirkpatrick’s four levels of training evaluation. ATD Press. http://search.ebscohost.com/login.aspx?direct=true&scope=site&db=nlebk&db=nlabk&AN=1364594

Steiss, J., Tate, T., Graham, S., Cruz, J., Hebert, M., Wang, J., Moon, Y., Tseng, W., Warschauer, M., & Olson, C. B. (2024). Comparing the quality of human and ChatGPT feedback of students’ writing. Learning and Instruction, 91, 101894. https://doi.org/10.1016/j.learninstruc.2024.101894