Context / probleemstelling of aanleiding

Context/probleemstelling of aanleiding:
Er wordt veel onderzoek gedaan naar studentenwelzijn, maar opvallend genoeg ontbreekt een eenduidige definitie van dit concept. We hebben een scoping review opgezet met als doel een integratieve definitie en conceptualisatie van studentenwelzijn te formuleren.
Tijdens het screeningsproces kwam een methodologisch knelpunt naar voren: Title/Abstract (TiAb) screening bleek onvoldoende selectief. Doordat definities doorgaans pas in de introductie van artikelen worden beschreven, werden alle abstracten die het begrip studentenwelzijn noemden geïncludeerd. Dit leidde tot een hoog aantal artikelen voor volledige tekstscreening (n=1.595).
Als oplossing voor dit probleem introduceerden wij de tool ASReview [1], waarmee we middels Active Learning introducties hebben beoordeeld in een extra screeningsstap.
Beschrijving van de interventie/innovatie:
De review volgt de PRISMA-ScR richtlijn. De zoekopdracht leverde 13.725 artikelen op; na TiAb- screening bleven er 1.595 over. Uit deze artikelen zijn introducties geëxtraheerd en is een pilot uitgevoerd (n=78) om de toepasbaarheid van de inclusiecriteria te toetsen. Deze pilot diende ook als trainingsset voor ASReview.
ASReview is een open-source tool die gebruikmaakt van Active Learning, een vorm van machine learning [1], waarbij op basis van eerdere beslissingen wordt voorspeld welke artikelen het meest relevant zijn. Dit gebeurt volgens het human-in-the-loop principe: de software bepaalt de volgorde, maar de onderzoeker neemt de beslissing.
Om te voorkomen dat alle artikelen beoordeeld moeten worden, worden vooraf stopregels opgesteld. Deze worden zo opgesteld dat men redelijkerwijs kan verwachten dat op dat moment alle relevante artikelen zijn geïncludeerd. Hiervoor hebben we kozen voor twee stopregels, conform de SAFE-procedure [2] en het SYMBALS-protocol: (1) stoppen bij het bereiken van het verwachte aantal inclusies, berekend op basis van de trainingsset, en (2) stoppen wanneer het aantal opeenvolgende irrelevante artikelen 1% van de totale dataset benadert. Daarna volgde volledige-tekstscreening van de resterende artikelen.
Ervaringen/analyse van de implementatie:
Het gebruik van ASReview in een aanvullende screeningsstap bleek effectief: de Active Learning modellen prioriteerden artikelen op basis van de aanwezigheid van een relevante definitie en conceptualisatie. Hierdoor nam de effectiviteit toe en de werklast bij de volledige tekstscreening aanzienlijk af. Praktische uitdagingen waren onder andere het extraheren van de introductieteksten en de wisselende kwaliteit van die extracties.
Lessons learned (implicaties voor de praktijk):
Wanneer in de context van literatuuronderzoek de onderzoeksvraag vraagt om screening van een specifiek onderdeel van een artikel, zoals introductie of methode, kan Active Learning uitkomst bieden in een extra screeningsstap. Een open-source tool zoals ASReview kan gebruikt worden om de efficiëntie van screening te vergroten, mits randvoorwaarden zoals betrouwbare tekstextractie en vooraf vastgelegde stopregels zijn geborgd.
Referenties (max. 2):
[1] van de Schoot R, et al. An open-source machine learning framework for systematic reviews. <i>Nat Mach Intell</i>. 2021.
[2] Boetje J, et al. The SAFE procedure. <i>Syst Rev</i>. 2024.