Tom Slöetjes

Een peer review systeem met ondersteuning van een Docent Evaluatie Vragenlijst als kwaliteitsimpuls voor onderwijs

Dit artikel is een reactie op het artikel “Jij bent een slechte docent, want jij hebt een lage cursusevaluatie…” van Floris van der Burg, waarin hij treffend het verantwoorden van de kwaliteit van het onderwijs door het systeem van cursusevaluaties ter discussie stelt.

In mijn ogen beschrijft Floris een probleem: verantwoording van de kwaliteit van onderwijs; en een mogelijke oplossing; cursusevaluaties herzien en investeren in startende docenten door goede begeleiding aan te bieden in een peer review systeem. Voor mij en mijn collega’s is dit een herkenbaar probleem, aangezien wij hier de afgelopen jaren mee hebben geworsteld. Opvallend genoeg zijn wij op dezelfde oplossing uitgekomen. In dit artikel sta ik stil bij onze ervaringen met als doel inzicht te geven in een oplossing voor het probleem.

Als startende docent had ik de behoefte om te weten hoe ik het deed en wat ik beter kon doen. Voor feedback op mijn eigen functioneren keek ik in eerste instantie naar het systeem (cursusevaluaties en leidinggevenden) in plaats van naar de werkvloer (studenten, mezelf en collega’s).

Waarbij de cursusevaluaties weinig bruikbare informatie opleveren. Van de 15 vaste items zijn er namelijk vier die direct samenhangen met het functioneren van een docent: 4 de hoorcolleges waren als onderdeel van deze cursus… 5 de inbreng van de docent in de werkgroepbijeenkomst was… 6 de leerstofbehandeling en uitleg door de werkgroepdocent was… 7 de feedback op de gemaakte opdrachten was… Waarbij item 4 weinig informatiewaarde heeft als je niet (alle) hoorcolleges hebt gegeven. Daarnaast zijn er de variabele items 16 tot 30 die door de cursuscoördinator ingevuld kunnen worden. In mijn ervaring worden deze vooral gebruikt om feedback te ontvangen op specifieke cursusaanpassingen die voor dat jaar relevant zijn. Tot slot is er de geschreven feedback, waarin studenten vooral aangeven wat er beter kan aan de cursus. Kortom leverde de cursusevaluaties me een zeer beperkt beeld van hoe ik het deed en geen beeld van hoe ik het beter kon doen.

Naast de cursusevaluaties keek ik naar mijn leidinggevende voor feedback. In mijn geval had ik een keer per jaar een B&O gesprek, waarvoor mijn leidinggevende éénmaal tijdens een door mij geleide bijeenkomst was komen kijken. Het gesprek leverde me meer informatie op over hoe ik het deed, en wat ik beter kon doen. Zei het voornamelijk op basis van het bespreken van mijn zelfreflectie en wederom de cursusevaluaties. Daarom vond ik nog steeds dat de basis voor dit oordeel over mijn functioneren niet breed genoeg was. Bovendien merkte ik dat ik als startende docent veel frequenter behoefte had aan feedback, dan de B&O gesprekken opleveren.

Om toch een beeld te krijgen van mijn eigen functioneren probeerde ik mezelf te vergelijken met mijn directe collega’s. Helaas kwam dit weinig verder dan sparren. Wat weliswaar concrete tips opleverde, maar geen duidelijk beeld van mijn functioneren.

Samenvattend leverde de cursusevaluatie, B&O gesprekken een beperkt beeld van hoe ik het deed en geen frequent beeld van hoe ik het beter kon doen. Sparren met collega’s leverde me wel concrete tips op. Desondanks bleef door een gebrek aan informatie en vergelijkingsmateriaal de onzekerheid over mijn eigen functioneren hangen. Ik vroeg me af: ben ik hierin de enige?

Het antwoord bleef niet lang uit. Gedurende het studiejaar 2014-2015 heb ik samen met mijn directe collega’s (15 junior docenten psychologie) een training gevolgd onder leiding van Ignace Hooge (Docent van het Jaar 2015). In deze training hebben we de gezamenlijke problemen gediagnosticeerd die kwaliteitsverbetering van ons onderwijs in de weg staan en vervolgens gebrainstormd over oplossingen.

De grootste problemen waren: de gebrekkige begeleiding van startende docenten, de weinig informatieve resultaten van de cursusevaluaties als het aankomt op ons functioneren en de hieruit voortkomende onzekerheid over het eigen functioneren. We vonden het verhelderend om te ontdekken dat deze problemen gedeeld werden en schokkend dat de meer ervaren collega’s zeiden: zo werkt het hier nu eenmaal.

Uit de brainstormsessie kwamen meerdere oplossingen. Ten eerste een aanvulling op de verplichte inwerkweek in augustus. In deze week bereiden alle docenten gezamenlijk inhoudelijk het jaar voor. De aanvulling bestond uit begeleiding in functionele teamvorming door een organisatiepsycholoog. Bij functionele teamvorming worden de kaders geschetst waarbinnen een team samenwerkt en worden deze concreet uitgewerkt in werkafspraken. Ten tweede een aanscherping van het bestaande peer review systeem. Dit bestond uit intervisie en het een-op-een koppelen van ervaren junior docenten aan een startende docent als sparringpartner (buddy-systeem). De aanscherping zit in de structurering van de intervisie zowel in tijd (anderhalf uur per maand, in groepen van vijf) als in procedure (vast format). Ten derde het ontwikkelen van een docent evaluatie vragenlijst, die gericht is op een helder beeld ontwikkelen op de kwaliteiten en verbeterpunten van de docent. Deze kunnen worden besproken in zowel het peer review systeem, als de B&O gesprekken. Gevolg hiervan is dat de cursusevaluaties niet (of slechts ter aanvulling) worden meegenomen in de B&O gesprekken, aangezien die minder informatie bevatten over het docent functioneren. De cursusevaluaties worden nog steeds ingezet en besproken in cursusvergaderingen. Deze zijn alleen losgekoppeld van het functioneren van de specifieke docent, maar niet van het functioneren van het docententeam.

Na een gesprek met onze leidinggevenden bleek dat de eerste twee oplossingen konden worden opgenomen in het onderwijsprogramma en onze taakstellingen. De derde optie zou vanuit de organisatie moeilijk worden om te realiseren. Vervolgens hebben wij als docenten onszelf afgevraagd: wie is er verantwoordelijk voor de ontwikkeling van docenten? En geconcludeerd: dat zijn wij, dus we pakken zelf de ontwikkeling van de vragenlijst op.

Het resultaat: de Docent Evaluatie Vragenlijst (DEV, zie figuur 1) bestaat uit 15 stellingen, 4 open vragen en is binnen 10-15 minuten digitaal af te nemen bij studenten. De vragenlijst meet het construct docent functioneren aan de hand van vier dimensies: feedback van de docent (vraag 1 en 2), inhoudelijke rol (vraag 3,4,5,7), stimulering van professionele houding student (vraag 6,10,12,14) en begeleidende rol (vraag 8,9,11). Voor meer informatie over de ontwikkeling van de vragenlijst zie bijlage 1.

Uiteindelijk kreeg iedere docent zijn eigen data (kwalitatief en kwantitatief) waarbij de kwantitatieve data per vraag (zie figuur 2) en per dimensie (zie figuur 3) is afgezet tegen het gemiddelde van alle docenten en in het geval van het begeleiden van meerdere werkgroepen, worden deze ook tegen elkaar afgezet (zie figuur 4). De kwalitatieve data ontvangen docenten als ruwe data.

Terugblikkend werken we nu vier jaar met een verplichte inhoudelijke inwerkweek en een peer review systeem bestaande uit intervisie en een buddy systeem. Sinds augustus 2015 hebben we aan de inhoudelijke inwerkweek de procesgerichte functionele teamvorming toegevoegd, de intervisie gestructureerd en de DEV afgenomen. Tot dusverre zijn wij als docententeam zeer tevreden met wat het ons oplevert. De inwerkweek zorgt voor een solide inhoudelijke basis. De functionele teamvorming zorgt voor meer en concretere werkafspraken. De aanscherping van het peer review systeem en de aanvulling van de DEV zorgt voor ruim voldoende feedback om van te leren door (zelf)reflectie, het bespreken hiervan met collega’s (intervisie, buddy systeem) en leidinggevenden (o.a. in het B&O gesprek). Deze werkwijze creëert een helder beeld van ons functioneren, met veel leerkansen en heeft daardoor de kwaliteit van ons onderwijs een impuls gegeven.

Concluderend deel ik (op basis van mijn ervaringen) de mening van Floris als het aankomt op het inzetten van een peer review systeem als speerpunt om de kwaliteit van het onderwijs te verbeteren. Hetzelfde geldt voor een revisie van het evaluatiesysteem, met als concrete aanvulling: start met het scheiden van cursus- en docentenevaluaties en ontwikkel simpele adaptieve instrumenten, zodat ieder(e) docent(team) deze kan inrichten naar eigen behoefte. Want beter onderwijs start bij een betere docent.

Figuur 1. Docent Evaluatie Vragenlijst

Figuur 2. Resultaat individuele docent vergeleken met docententeam per vraag.

Figuur 1. Resultaat individuele docent vergeleken met docententeam per dimensie.

Figuur 1. Resultaat individuele docent per vraag, waarbij er twee werkgroepen worden vergeleken.

Bijlage 1: Achtergrond Docent Evaluatie Vragenlijst

De Docent Evaluatie Vragenlijst (DEV, zie figuur 1) bestaat uit 15 stellingen, 4 open vragen en is binnen 10-15 minuten digitaal af te nemen bij studenten. Deze vragenlijst het afgelopen jaar afgenomen bij de laatste cursusbijeenkomst van elk blok, in het eerste jaar van de opleiding psychologie (N = 1103). Met deze data zijn analysen uitgevoerd om een inschatting te maken van de waarde van de vragenlijst. Uit de resultaten van de factoranalyse bleek dat er slechts een factor overbleef, deze hebben we docent functioneren genoemd. Uit de resultaten kwam ook dat de samenhang tussen de vragen hoog is (Cronbach’s Alpha = .86). Dit geeft aan dat de DEV een statistisch betrouwbaar beeld van het functioneren van een docent geeft.

Aangezien het construct docent functioneren inhoudelijk nog te breed was om te differentiëren, is er gekeken of er dimensies konden worden gevormd op basis van de inhoud en samenhang van de vragen, los van de factoranalyse. Op basis van inter-item correlaties hebben we dimensies benoemd als: feedback van de docent (vraag 1 en 2), inhoudelijke rol (vraag 3,4,5,7), stimulering van professionele houding student (vraag 6,10,12,14) en begeleidende rol (vraag 8,9,11). Hier hebben we de resultaten van de factoranalyse, die geen aanleiding geven voor het onderscheiden van dimensies, genegeerd. In de discussie die leidde tot deze beslissing gaf een praktische reden de doorslag, namelijk: het creëren van meer overzicht over de samenhangende taken die onder het construct docent functioneren vallen.