Community
Toetsen op afstand
Gesurveilleerde summatieve tentamens zullen tot en met 20 april niet afgenomen worden. We moeten dus kijken naar andere manieren van toetsen. Wie heeft er al een plan voor toetsen op afstand en wil dat delen?
24 april 2020
Kennistags: Assessment / Lesgeven op afstand
Reacties
U moet ingelogd zijn om te reageren, gebruik het formulier aan de linkerkant om in te loggen met uw solis gegevens.
4
Ik ga een hertentamen thuis laten afnemen. Vragen zullen meer toepassings- en inzichtsgericht zijn. Kennisvragen beperken. Tijd om het te maken beperkt, zodat risico op opzoeken/samenwerking beperkt blijft. Maar dat risico uitsluiten lijkt me onmogelijk.
Beste Martijn, dat risico uitsluiten is inderdaad op dit moment heel moeilijk. Naar mijn mening zouden we af moeten stappen van de wens om het kennistentamen dat tot voor kort op de campus kon worden afgenomen, op afstand af te nemen zonder dat er fraude kan worden gepleegd. Ik zou een pleidooi willen houden om te zoeken naar alternatieve toetsen waarbij het juist van belang is om op te zoeken en samen te werken. Dominique Sluijsmans en collega’s hebben dat mooi verwoord in hun stuk op Science Guide ( zie https://www.scienceguide.nl/2020/03/toolgericht-of-doelgericht/ )
Beste Martijn, bij de opleiding Frans (GW, TLC) hebben we bij het tweede deeltentamen van het vak Taalkunde 2 ‘Perspectives Linguistiques’ vastgehouden aan kennis- en lichte toepassingsvragen. Om dit op een gecontroleerde manier te doen hebben we individuele mondeling tentamens gehouden van 15 minuten via Teams met een gereduceerd aantal randomly selected vragen.
Bij elk tentamen waren er twee docenten aanwezig en werden door de docenten ook notities genomen. Studenten moesten hun webcam aanzetten en hun scherm delen. Dit is vrij vlekkeloos verlopen en was qua tijdsinvestering voor de docenten vergelijkbaar met een standaard tentamen. Dit kan uiteraard anders liggen bij grotere opleidingen (Frans heeft groepen van 20 tot 25 studenten).
Ook raadde een andere docent me aan om studenten een verklaring op eer te laten ondertekenen dat ze het tentamen individueel en zonder opzoeken maken. Uit onderzoek blijkt dat zo’n papieren beloftes wel degelijk een verschil maken.
Ik vind dit ook wel lastig voor blok 3 heb ik gelukkig al een toets achter de rug dus kan deeltoets 2 als een open boek toets. Om dan te zorgen dat ze niet teveel samenwerken of alles opzoeken heb ik de tijd naar 1 uur ipv 2 uur gezet. Ik zal de studenten dus iets meer onder tijdsdruk laten werken zodat het alleen te doen is als je de basiskennis goed in je hoofd hebt zitten.
Wat ik lastig vind is dat als ik tegen de studenten zeg dat het een open boek tentamen is ze er toch anders voor gaan leren ben ik bang en ze focussen op maar alle info binnen bereik te hebben dan op het leren van de stof. Iemand tips om dat goed aan de studenten uit te leggen?
Voor blok 4 hoop ik dat de UU als eerste de toetsen weer fysiek mogelijk maakt. Of online proctoring maar dat is lastig met veel studenten tegelijk.
Voor het wiskundevak waarin ik open-boek tentamens gaf (ik doe het nu anders: ik laat ze zelf een A4-reference sheet maken wat ze mee mogen nemen) waarschuwde ik de studenten altijd met een verwijzing naar het verleden: dat ik de eerste keren soms zag dat studenten heel veel tijd gingen besteden aan het zoeken naar een vergelijkbare voorbeeld-opgave, en daardoor vergaten zelf na te denken over hoe ze hun bestaande kennis op een nieuwe manier konden combineren om deze nieuwe opgave op te lossen. Ik geloof dat dat wel indruk maakte, want het werd wel minder.
Binnen onze opleiding hebben we nu ervoor gekozen om de geplande toetsen aan het einde van blok 3 te veranderen in take home tentamens. De meeste toetsen in blok 3 waren een combinatie van meerkeuze en gesloten vragen, dus de aard van de toets verandert daar wel wat mee. We hebben hierover afgestemd met de examencommissie en studenten zijn hierover inmiddels geïnformeerd. We maken voor studenten ook een soort proeftoets beschikbaar, zodat ze zich ook kunnen voorbereiden op deze vorm van toetsing. We maken de tentamens beschikbaar via Blackboard en laten studenten de door hen gemaakte toets inleveren via SafeAssignment. Doordat er dus op plagiaat wordt gecontroleerd en doordat we een tijdslimiet voor de toets hanteren (bv. 2-2,5 uur) verminder je de kans dat er uitgebreid overleg gaat ontstaan tussen de studenten tijdens de toets, al kun je dit natuurlijk nooit geheel uitsluiten. Het wordt verder zaak om toetsvragen te bedenken die bijvoorbeeld meerdere goede antwoorden kunnen hebben of waarom het vooral gaat om de argumentatie van de student. Dan denk ik vooral aan vragen die aansluiten bij de cognitieve processen ‘analyseren’ en ‘evalueren’ uit de gereviseerde taxonomie van Bloom.
We krijgen inderdaad vragen over het gebruik van online proctoring, waar Laurens naar verwijst. We verkennen momenteel de mogelijkheden daartoe, meer informatie volgt binnenkort. Wel weten we nu al dat niet alle toetsen aan de UU door online proctoring vervangen zullen kunnen worden (i.v.m. de technische capaciteit), dus we raden je voor de tussentijd aan om te verkennen of een andere toetsvorm mogelijk is (zie de reacties van de anderen daarvoor).
Het niet door laten gaan van tentamens aan het einde van dit kwartaal is desastreus voor de motivatie van zowel docenten als studenten om online onderwijs te blijven geven en volgen. Dit zegt Timo Kos – Lid CvB Saxion in zijn opiniestuk “Toetsen tijdens een ‘lockdown’, #hoedan?” https://www.scienceguide.nl/2020/03/toetsen-tijdens-een-lockdown-hoedan/
Hij pleit voor: Alternatieve toetsvormen aanbieden aan kleine groepen of Take-home-examens voor grote groepen.
Het valt me op dat er in de reacties over het beperken van het risico op fraude vooral wordt gedacht aan samenwerken, overleggen en opzoeken. Dat kan dan bijvoorbeeld door het inperken van de tijd of door gebruik te maken van een uitgebreide vragen-pool zodat elke student zijn eigen vragen krijgt. Maar zonder vorm van proctoring is er natuurlijk ook een veel eenvoudiger en effectiever vorm van fraude mogelijk: een student kan in feite heel gemakkelijk iemand anders (bijvoorbeeld een hogerejaars die het vak al gehaald heeft, of een goede medestudent die het tentamen zowel voor zichzelf als voor een ander maakt) namens hem/haar laten inloggen en het tentamen maken. Het lijkt me dat daar heel weinig aan te doen is met alle alternatieven die ik tot nu toe heb gehoord, behalve wellicht het verplicht werken in het zicht van een webcam, maar daar zitten ernstige privacy-issues aan…
De Dub schreef een artikel over toetsen op afstand: Studenten toetsen als ze thuis zitten? Hoe doe je dat?
‘Hoe weet ik dat een student de toets alleen heeft gemaakt?’ en ‘Als straks blijkt dat de toets abnormaal goed is gemaakt, mag ik dan de normering strenger maken?’ Didactisch adviseur Melvin van Puffelen zag behoorlijk wat spanning bij de Utrechtse docenten toen zij te horen hadden gekregen dat niet alleen hun onderwijs, maar ook hun toetsing van blok 3 online moest plaatsvinden.
Vanuit Educate-It verzorgt Van Puffelen dit voorjaar een aantal webinars waar docenten terecht kunnen met vragen over online toetsing. Bij de afgelopen vier bijeenkomsten waren 120 docenten vanuit huis aanwezig. “Aanvankelijk kregen we vooral veel vragen over hoe je als docent je studenten in de gaten kunt houden. Naar mijn idee hebben we kunnen helpen om de onrust over dat aspect grotendeels weg te nemen.”
(…)
Ondertussen is er steeds de vraag of de docenten het allemaal nog wel volhouden. Meer inzichtvragen betekent bijvoorbeeld al snel meer nakijkwerk. Het universiteitsbestuur heeft al aangegeven dat docenten in deze tijd niet gehouden zijn aan de nakijktermijn van maximaal tien werkdagen. Janssen: “We hebben de cursuscoördinatoren op het hart gedrukt dat de tentamens fair moeten zijn voor studenten, maar vooral ook behapbaar voor docenten. Dan maar zes in plaats van tien vragen.”
Lees het hele artikel: Studenten toetsen als ze thuis zitten? Hoe doe je dat?
Ik ben docent bij Bestuurs- en Organisatiewetenschap en ben vorig blok begonnen met een project waarbij studenten in groepen een podcast maken. Dit vind ik ook een hele relevante vorm voor toetsen van onderwijs op afstand!
We hebben de studenten gevraagd een podcast te maken waar verschillende elementen uit de cursus in terug moesten komen. De podcast werd ondersteund door een script van ongeveer 1200 woorden, waarin ze gemaakte keuzes moesten onderbouwen. In het script kwamen ook connecties met de literatuur terug.
Aan het begin van de cursus kregen de studenten een opdrachtbeschrijving, waarin precies stond wat we van ze verwachtten en op basis van welke criteria we de podcast en het script beoordeelden.
Nadat de podcast was ingeleverd hebben we een dag georganiseerd waar in de ochtend iedereen de verschillende podcasts kon luisteren, in de middag was er een meet-up. Wij hebben dit face-to-face gedaan, maar je kunt dit natuurlijk ook heel goed via Microsoft Teams doen. Tijdens de meet-up hebben we met elkaar de inhoud, maar ook de vorm van de verschillende podcasts besproken. Als docent had ik hiervoor uit elke podcast één of meerdere fragmenten geselecteerd, waarover we in gesprek zijn gegaan.
Het leuke aan deze vorm van toetsen is dat studenten echt met elkaar in discussie gaan. Er wordt nu over de doelgroep nagedacht en ze stemmen daar het verhaal op af. Bij schriftelijke opdrachten kijken studenten soms teveel naar wetenschappelijke aspecten of blijven ze juist heel erg in hun rol als student. De podcast dwingt tot een meer professioneel-persoonlijke invulling. Ze vinden het ook leuker om voorbereid naar de meet-up te komen, omdat ze nieuwsgierig zijn naar elkaars podcasts en je de podcast overal kan luisteren. Ook merkte ik bij de nabespreking dat het energieniveau erg hoog was, wat bijdroeg aan een divers en verdiepend lerend eindgesprek.
Hier vind je het evaluatierapport dat we hebben gemaakt op basis van dit facultair USO-project.
Ik vond de podcast een erg fijne en creatieve manier van werken. Het toewerken naar een coherent verhaal over actualiteit en literatuur dwingt je er toe om echt diep de stof in te duiken en er met elkaar over in gesprek te gaan. Het zorgt er daarnaast voor dat het begrijpen van de stof alleen niet voldoende is, maar je moet de stof zo goed onder de knie hebben om het begrijpelijk en behapbaar te maken voor iemand die er volkomen buiten staat. In papers en ander soortgelijke toetsvormen kan je vaak terugvallen op vakjargon, in een podcast echter niet. Daar moet je de literatuur op die manier begrijpen dat je dat binnen enkele zinnen duidelijk kan maken. En dat vond ik wel echt een groot verschil. Het niveau waarop je met de literatuur bezig was. Het bespreken ervan met elkaar. In discussie gaan over interpretaties van stukken. Alles om uiteindelijk een zo scherp mogelijke podcast neer te zetten.
Daarnaast is de afwisseling van toetsvormen ook erg prettig. Het maken van een podcast had ik zelf nog niet gedaan, maar het motiveerde mij enorm. Omdat het iets nieuws was, iets waarin ik literatuur, interpretatie, actualiteit, discussie en groepsdynamiek in kon verwerken. Ik luister zelf ook veel podcasts (en velen met mij) dus ik had ook al meteen een scala aan creatieve ideeën. En volgens mij heb je dan al een aantal belangrijke punten te pakken die wij op de universiteit moeten leren. Iedereen ervaart dit proces echter anders en de gezamenlijke nabespreking na het inleveren van de podcast zorgde ervoor dat je het proces van anderen ook kon horen. Ervaringen die ik eerder wellicht nog niet had getypeerd waren voor anderen cruciaal en dit bracht met zich mee dat ik daar ook veel van opstak.
In mijn ogen is het vervolgens belangrijk om wanneer we op een wetenschappelijke wijze te werk gaan, op wat voor manier dan ook, dat we kunnen laten zien waar we onze argumenten, interpretaties en standpunten vandaan halen. Het ondersteunende document was een document waarin de gehele podcast werd toegelicht op basis van de gevonden literatuur. Allen argumenten werden uitgeschreven met daarbij de verwijzingen naar andere papers en stukken Daardoor wordt de betrouwbaarheid en validiteit van de podcast verhoogd. En dat vind ik erg belangrijk. (Ruben Heining – Student)
Surf heeft van een flink aantal instellingen op een rijtje gezet wat zij doen met toetsen op afstand. Dit biedt een handig overzicht!
https://communities.surf.nl/artikel/toetsen-en-beoordelen-op-afstand
Marieke den Otter, docent bij Methoden en Statistiek, nam een grote digitale-toets-op-afstand af en deelt haar ervaringen op intranet.
Over hoe om te gaan met fraude zegt ze: “Met meerkeuzevragen en korte invulvragen zit daar wel een risico. We hebben allereerst met een bericht op Blackboard een moreel appel gedaan op de studenten, waarin we aangaven dat wij allemaal hard werken om te voorkomen dat zij studievertraging oplopen, en dat we daarbij rekenen op hun medewerking om een eerlijke toets te kunnen afnemen. Ook hebben we aangegeven dat meedoen aan de toets betekent dat je daarmee verklaart niet te zullen overleggen of ongeoorloofde hulpmiddelen te gebruiken.” Studenten die de verleiding om te ‘spieken’ desondanks niet konden weerstaan, hadden het lastig. “Ze kregen de vragen in een random volgorde op hun scherm, en bovendien hadden ze maar kort tijd om een antwoord te formuleren. Dat maakte het moeilijk om te overleggen.” Het blijft echter een lastige balans, vindt Marieke. “Wat kun je vragen van docenten om fraude te voorkomen, en hoe verhoudt zich dat tot de werkdruk? Zo’n grote groep kun je geen uitgebreide take-hometoets laten maken of essayvragen laten beantwoorden, dat zou sowieso te veel werk zijn.”