Samenvatting
Inleiding: Er lijkt bij veel docenten een gewoonte te bestaan om in studietoetsen vierkeuzevragen te stellen. In de literatuur wordt echter geadviseerd driekeuzevragen te hanteren, omdat het in de praktijk vaak moeilijk is om drie of meer plausibele alterna tieven te formuleren. De definitie van een ‘implausibele afleider’, namelijk een afleider die door 5% of minder van de studenten wordt gekozen, lijkt niet helemaal toereikend. In een retrospectieve studie is onderzocht of met een strengere definitie het advies om te kiezen voor driekeuzevragen nog steeds houdbaar is.
Methode: Op grond van de itemanalyses van 935 vragen in 21 meerkeuzetoetsen die in 2006/2007 afgelegd zijn door studenten geneeskunde van het UMC Utrecht, werden alle implausibele afleiders geïdentificeerd. Een implausibele afleider werd gedefinieerd als a) door 5% of minder van het aantal deelnemers gekozen en b) ten minste met een factor 4 minder vaak gekozen dan de meest gekozen afleider.
Resultaten: Van de vier- en vijfkeuzevragen bleek 55.9% respectievelijk 66.6% minstens één implausibele afleider te bevatten. Bijna een kwart respectievelijk een vijfde van deze afleiders werd door geen enkele deelnemer gekozen. Van de driekeuzevragen bevatte 18.8% een implausibele afleider en werd 16.7% van deze afleiders door niemand gekozen.
Discussie en Conclusie: Om een vraag betrouwbaarder en niet te eenvoudig te maken gaat de voorkeur uit naar meerdere keuzemogelijkheden. Echter, de afleiders moeten dan ongeveer even plausibel zijn, wat blijkens dit onderzoek lang niet altijd lukt. Onze bevindingen ondersteunen dan ook het advies aan driekeuzevragen de voorkeur te geven boven vragen met vier of vijf keuzemogelijkheden. (Paes EC, Cate O ten. Meerkeuzevragen met drie, vier of vijf alternatieven: wat is beter? Tijdschrift voor Medisch Onderwijs 2009;28(3):124–129.)
Summary
Aim: Many teachers seem to prefer the use of four-option items in closed format tests. In the literature three-option items are recommended because it is considered difficult to formulate more than three plausible distractors. However, the common definition of an implausible distractor, i.e. one that is selected by 5% or less of candidates, may not be fully adequate. We examined the validity of this recommendation in a retrospective study, using a stricter definition of an implausible distractor.
Method: The results of 21 multiple choice tests (935 items) of medical students at UMC Utrecht in 2006–2007 were examined to identify all the items with one or more implausible distractors. An aimplausible distractor was defined as a distractor selected by 5% or less of the candidates and with a frequency of selection that was lower by a factor 4 than that of the most frequently selected distractor.
Results: Of all four option items 55.9% contained at least one implausible distractor of which 25% was not selected by any of the participants. For five-option items the corresponding percentages were 66.6% and 20% and for three items they were 18.8% and 16.7%.
Discussion and Conclusion: Items with many distractors are generally considered preferable because they are assumed to enhance test reliability and ensure that test items are not too easy. All distractors must be equally plausible but this study showed that this was not the case. Our study supports the recommendation to use three-option items rather than four- or five-option items. (Paes EC, Ten Cate O. Multiple choice questions with three, four of five answer options: which is preferable? Dutch Journal of Medical Education 2009;28(3):124–129.)
