Community
Papers eerlijk beoordelen
Hoe beoordeel je papers zo eerlijk en objectief mogelijk?28 november 2019
Kennistags: Assessment
Reacties
U moet ingelogd zijn om te reageren, gebruik het formulier aan de linkerkant om in te loggen met uw solis gegevens.
1
Het betrouwbaar nakijken van essays is een complexe klus. Van een betrouwbare beoordeling is sprake wanneer verschillende beoordelaars hetzelfde product met hetzelfde cijfer beoordelen. Je kunt ook naar de interne betrouwbaarheid van een beoordelaar kijken: ben je zelf consequent in het hanteren van je standaarden, of ben je (onbewust) strenger voor de ene student dan voor de andere, ook als ze soortgelijke prestaties laten zien? Door met twee of meer beoordelaars hetzelfde essay na te kijken en samen overeenstemming over de beoordeling te zoeken, verhoog je de betrouwbaarheid. Maar in deze tijden van enorme werkdruk is dat niet altijd een haalbare oplossing.
Een veelgebruikte manier om de betrouwbaarheid van beoordelingen te verhogen is een rubric. In een rubric worden niet alleen de criteria genoemd waaraan een product moet voldoen, maar wordt ook per beoordelingsniveau beschreven wat een student moet laten zien om ‘voldoende’ of ‘goed’ op een bepaald criterium te scoren (Brookhart, 2018; van Strien & Joosten-ten Brinke, 2016). Zo blijft er minder ruimte over voor interpretatie, en voor de invloed van zogenoemde stokpaardjes en bias van beoordelaars. Dat biedt een basis voor een valide en betrouwbare beoordeling.
Rubrics zijn echter niet onomstreden onder docenten. In het recente verleden heeft er op de TAUU-website nog een levendige, kritische discussie over rubrics plaatsgevonden. Toegegeven, een goede rubric maken is niet eenvoudig en het is zeker geen wondermiddel (bestaan er überhaupt wondermiddelen in het onderwijs?). Een goede rubric is het resultaat van een discussie binnen een docententeam over wat men verwacht van studenten: wat is het minimale wat een student moet laten zien, en wanneer is het goed? Hoewel dat proces intensief kan zijn, levert zo’n discussie vaak wel belangrijke inzichten en consensus op over wat men van de student verwacht.
Los van de methode die je gebruikt: beoordelen is mensenwerk, en over het algemeen geldt: hoe complexer de vaardigheid, hoe complexer de beoordeling. En hoewel een perfecte betrouwbare beoordeling wellicht een illusie is, is het wel belangrijk om te streven naar een zo betrouwbaar mogelijke beoordeling, zodat de beoordeling van een student niet afhangt van de beoordelaar, maar van de prestatie die de student daadwerkelijk heeft geleverd.
Johan van Strien
Onderwijskundig adviseur en trainer bij Onderwijsadvies & Training
Referenties
Brookhart, S. M. (2018). Appropriate criteria: key to effective rubrics. Frontiers in Education, 3:22.
Van Strien, J.L.H., & Joosten-ten Brinke, D. (2016). Het beoordelen van de kwaliteit van rubrics. Examens, 9(1), 33-37.
Een (goede) rubric kan daar inderdaad bij helpen. Wat ook kan helpen is een zogenaamde kalibratie-sessie. Tijdens zo’n sessie kijk je met het gehele docententeam hetzelfde verslag na, bespreekt deze beoordeling en probeert tot een consensus te komen. Deze beoordeling gebruik je dan als “gouden standaard” voor het beoordelen van de andere verslagen.
Ik kijk alleen na bij vakken waar ook andere mensen nakijken. Wat wij meestal doen is van tevoren met z’n allen één stuk nakijken. Op die manier kan je met elkaar op één lijn komen. Dat is eigenlijk hetzelfde wat Jet zegt.
Verder is het ook accepteren dat er kleine verschillen zitten tussen docenten en binnen jezelf. De ene keer beoordeel je hetzelfde stuk met een 7 en de andere keer met een 7.5. Dat is ook oké en onderdeel van zoiets subjectiefs als een stuk beoordelen. Het is wel belangrijk dat de verschillen niet te groot worden en dat bij grensgevallen (5 of 5.5) geen twijfel bestaat.