Context / probleemstelling of aanleiding
Context/probleemstelling of aanleiding:
In de competentiegerichte masteropleiding geneeskunde aan de Universiteit Maastricht is het toets- en feedbacksysteem vormgegeven volgens de principes van programmatisch toetsen (van der Vleuten, Schut et al. 2018) met focus op formatieve toetsing ingebed in het leren. Veel verschillende feedbackgevers genereren in uiteenlopende leertaken rijke, narratieve en geïndividualiseerde feedback, om het leerproces van de student te sturen. Studenten verzamelen deze feedback en geven betekenis hieraan om vervolgens in samenspraak met de mentor hun voortgang te bespreken en nieuwe leerdoelen te formuleren. Eerdere studies laten zien dat interpretatie van geaggregeerde, longitudinale en soms uiteenlopende feedback zeer lastig en tijdrovend kan zijn voor studenten en hun mentoren. Onvolledige of onjuiste interpretatie van narratieve feedback ontneemt de student kansen om te leren.
Beschrijving van de interventie/innovatie:
Met mentoren, studenten en de portfoliobeoordelingscommissie is in kaart gebracht hoe zij narratieve feedback in het portfolio gebruiken en interpreteren en hoe geautomatiseerde ondersteuning daarbij mogelijk is. Op basis hiervan is Sum-up ontwikkeld, een tool die met textmining (Moonen-van Loon, Govaerts et al. 2022) automatisch overzichten genereert van alle feedback, per onderwerp, i.e. competentiedomein, aandachtsgebied en beroepsactiviteit. Tevens wordt van deze feedback het sentiment (positief, neutraal of negatief), getoond. Hierdoor krijgen gebruikers beter en sneller inzicht in de feedback, op welke onderwerpen eventueel nog feedback ontbreekt, en de door feedbackgevers gesignaleerde sterktes en zwaktes, daarmee ondersteuning gevend aan het reflectie-, leer- en begeleidingsproces.
Ervaringen/analyse van de implementatie:
De eerste terugkoppeling van gebruikers op data uit studentenportfolio’s suggereert dat Sum-up helpt bij de interpretatie van de feedback. Sum-up vergemakkelijkt het gebruik van de feedback van het gehele portfolio. De categorisatie en presentatie van de feedback ondersteunen het bepalen van sterktes, zwaktes en hiaten in het functioneren van studenten. Sum-up wordt geïntegreerd in het e-portfolio van studenten, waardoor de overzichten op elk moment beschikbaar en actueel zijn.
Lessons learned (implicaties voor de praktijk):
De belangrijkste uitdaging bij de ontwikkeling van de tool is dat de toewijzing van sommige feedback aan onderwerpen en de waarde van het sentiment enige ambivalentie bevat. Dit heeft enerzijds te maken met hoe het algoritme gevoed wordt door de keuze van kernwoorden (seeds) per onderwerp en anderzijds met de inhoud van de feedback in het portfolio. De algoritmes blijven in ontwikkeling tijdens het leren omgaan met onderwijs gerelateerde feedback.
Resultaten van een grootschaligere pilot (eind 2023 / begin 2024) worden tijdens het congres gedeeld.
Referenties (max. 2):
Moonen-van Loon, J. M. W., Govaerts, M., Donkers, J., & van Rosmalen, P. (2022). Towards automatic interpretation of narrative feedback in competency-based portfolios. IEEE Transactions on Learning Technologies, 15(2), 179-189. https://doi.org/10.1109/TLT.2022.3159334
van der Vleuten, C. P. M., Schut, S., & Heeneman, S. (2018). Programmatisch toetsen als motor voor professioneel leren in het hoger onderwijs. In D. Sluijsmans & M. Seegers (Eds.), Toetsrevolutie (pp. 124-135). Phronese.
