De jury heeft deze vijf inzendingen genomineerd voor de Prijs voor Examens 2017:

1. Renske Bouwer, Maarten Goossens, Marije Lesterhuis, Roos Van Gasse, San Verhavert, Sven De Maeyer (Universiteit Antwerpen), Anneleen Mortier (UGent), Camille Reynders & Tanguy Coenen (imec)
   DPAC: beoordelen van competenties door paarsgewijze vergelijkingen.
2. Martijn Leenknecht (HZ University of Applied Sciences) & Anne Potters (Hogeschool Rotterdam)
   Platform Leren van Toetsen.
3. Dominique Sluijsmans (Zuyd Hogeschool), Daan Andriessen (Hogeschool Utrecht), Mirjam Snel (Hogeschool Utrecht), Alexandra Jacobs (Zuyd Hogeschool)
   Beoordelen is mensenwerk 2.0 – Een protocol om een afstudeerprogramma in het hbo samen en samenhangend te ontwerpen.
4. Inge Lauret (Stichting Praktijkleren) & Jane Groenendijk (Prove2Move)
   Master Toetsdeskundige.
5. Hester Brenninkmeijer (eX:plain)
   Data Forensics

De genominieerden zullen een pitch verzorgen tijdens Hét Examencongres. De jury heeft inmiddels een winnaar gekozen, maar er is nóg een prijs: de Publieksprijs. Wie deze prijs in de wacht mag slepen bepalen de deelnemers aan het congres. Hieronder de samenvattingen van de inzendingen voor De Prijs voor Examens 2017. Kom naar Hét Examencongres en breng je stem uit op één van onderstaande genomineerden!

1. DPAC: beoordelen van competenties door paarsgewijze vergelijkingen. door Renske Renske Bouwer, Maarten Goossens, Marije Lesterhuis, Roos Van Gasse, San Verhavert, Sven De Maeyer (Universiteit Antwerpen), Anneleen Mortier (UGent), Camille Reynders & Tanguy Coenen (imec).

D-PAC is een digitaal platform voor de comparatieve beoordeling van competenties (www.d-pac.be). In deze innovatieve beoordelingstool wordt het werk van studenten automatisch in paren verdeeld en beoordelaars hoeven daarbij enkel aan te geven welke van de twee van hogere kwaliteit is. Op basis van deze paarsgewijze vergelijkingen kan het werk gerangschikt worden naargelang de kwaliteit. Als er eenmaal een stabiele rangorde is gecreëerd kunnen er cijfers aan producten worden gegeven of kunnen nieuwe producten op efficiënte wijze op de bestaande schaal worden geplaatst. Ook kan er feedback gegeven worden op elk van de producten in een vergelijking. Studenten kunnen deze feedback gebruiken voor het verbeteren van hun huidige werk.Sinds de ontwikkeling in 2014 is volop onderzoek gedaan naar de betrouwbaarheid, validiteit en bruikbaarheid van D-PAC door onderzoekers aan de Universiteit Antwerpen, Universiteit Gent en imec. Dit onderzoek laat zien dat deze manier van beoordelen eenvoudig, snel en valide is. Ook blijkt uit een meta-analyse in het lager, middelbaar en hoger onderwijs dat D-PAC leidt tot betrouwbare oordelen voor zeer verschillende competenties, zelfs wanneer de vergelijkingen worden gemaakt door medestudenten of ongetrainde beoordelaars. D-PAC is hiermee een antwoord op de vraag hoe we complexe competenties kunnen beoordelen op een kwaliteitsvolle manier. Het heeft in korte tijd zijn weg gevonden naar het toetsen en examineren in Nederland en Vlaanderen. De betaversie van D-PAC is momenteel open source. Daarnaast werken we aan een gebruiksvriendelijke versie die het mogelijk maakt voor docenten om zelf een assessment op te kunnen zetten.

2. Platform Leren van Toetsendoor Martijn Leenknecht & Anne Potters (University of Applied Sciences).

In het Platform Leren van Toetsen slaan verschillende hogescholen de handen ineen om meer aandacht te vragen voor de leerwaarde van toetsen. De leden van het platform initiëren praktijkgericht onderzoek, kennisdeling en uitwisseling van praktijken. De website (www.lerenvantoetsen.nl) vormt hierbij letterlijk een platform voor resultaten uit onderzoek, opiniestukken en praktijkvoorbeelden. Het jaarlijkse symposium vormt een ontmoetingsplaats waarbij leren van elkaar centraal staat.
De kracht van het Platform Leren van Toetsen zit hem in de bottom-up kennisdeling. Het platform en haar leden openen een brede discussie over toetskwaliteit en in het bijzonder over de leerwaarde van toetsen en beoordelen. Hierbij wordt een brug geslagen tussen onderzoek en praktijk, en tussen sectoren (bijv. voortgezet onderwijs, medische sector, middelbaar beroepsonderwijs). Professionals uit uiteenlopende contexten weten de weg naar het Platform Leren van Toetsen te vinden, om waardevolle inspiratie op te doen voor de eigen praktijk.

3. Beoordelen is Mensenwerk 2.0:Een protocol om een afstudeerprogramma in het hbo samen en samenhangend te ontwerpen door Dominique Sluijsmans (Zuyd Hogeschool), Daan Andriessen (Hogeschool Utrecht), Mirjam Snel (Hogeschool Utrecht) & Alexandra Jacobs (Zuyd Hogeschool).

In het hbo worden jaarlijks duizenden studenten opgeleid tot startende professionals. Om studenten in staat te stellen aan deze berepsbekwaamheid te werken en aan te tonen, is een sterk en samenhangend afstudeerprogramma nodig. Tot nu toe ontbrak er echter een helder stappenplan voor het ontwerp van een dergelijk afstudeerprogramma, maar ook de handvatten hoe kwaliteit van een dergelijk programma en de wijze van beoordelen daarbinnen kan worden geborgd. Met plezier dienen wij daarom het protocol afstuderen in het hbo – Beoordelen is Mensenwerk 2.0 – in als voordacht voor de Prijs voor Examens 2017. Het protocol bestaat uit een conceptueel model voor het ontwerp van een afstudeerprogramma in het hbo en acht onderliggende open hulpvragen die een hbo-opleiding stimuleren tot het ontwerp van een afstudeerprogramma. Het protocol is gebaseerd op recente inzichten over goed beoordelen en laat zien dat de wijze van beoordelen verankerd zit in het ontwerp van je onderwijs als geheel. Bovendien is het protocol in nauwe samenwerking met het werkveld tot stand gekomen: 13 opleidingen van zeven verschillende opleidingssectoren verspreid over het hele land, werkten onder leiding van twee lectoren intensief samen aan het opsellen van het protocol. Er is in dit ontwerpproces niet alleen aandacht geweest voor het ontwikkelen van inhoudsdeskundigheid (Wat is goed beoordelen in het hbo? Hoe beoordelen we eindkwalificaties?), maar ook voor ontwerpdeskundigheid (Hoe ontwerp je een afstudeerprogramma) en het teamleren (Hoe doe je dat als team waarin alle relevante actoren zijn betrokken en met elkaar vanuit de eigen verantwoordelijkheid samenwerken?). Er is naast het protocol ook een handreiking geschreven voor het veranderproces dat onlosmakelijk verbonden is aan het herontwerpen van een afstudeerprogramma.

4. Master Toetsdeskundige.Inge Lauret (Stichting Praktijkleren) & Jane Groenendijk (Prove2Move).

Desirée Joosten-ten Brinke is (samen met een team van vakkundige docenten) de motor achter de opleiding die door Fontys en RCEC (Research Center voor Examinering en Certificering) samen is ontwikkeld. School- en opleidingstoetsen zijn een essentieel en onmisbaar onderdeel van het onderwijssysteem. Het leerproces kan alleen dan goed en succesvol worden ingericht als er een degelijk evaluatieproces aan is gekoppeld. In het beroep van toetsdeskundige vervul je als professional en ‘change agent’ een voortrekkersrol om in complexe organisaties de toets- en beoordelingspraktijk te innoveren en te verbeteren.

Het is uniek dat de masteropleiding niet is toespitst op een specifieke sector, maar alle sectoren van het onderwijs raakt; po, vo, mbo, hbo, wo, de private onderwijs en examensector, brancheorganisaties en de overheid. Toetsdeskundigen wordt geleerd om kritisch na te denken over alle facetten van toetsing en examinering in alle onderwijsvormen in Nederland, maar ook over de grenzen heen. Desirée en haar team van deskundigen runnen een opleiding die voorziet in deze behoefte. Er zijn mensen nodig met een visie op toetsen en examinering; adviseurs, ontwerpers, analytici, constructeurs en kritische, innovatieve, creatieve meedenkers.
De opleiding draagt er aan bij dat leerlingen, studenten en ouders erop mogen vertrouwen dat het onderwijs en de examinering op een school/opleiding goed zijn en leiden tot rechtvaardige beslissingen over kennis, houding en vaardigheden van studenten.

5. Data Forensics door Hester Brenninkmeijer (eX:plain)

Examenfraude is een bedreiging voor de betrouwbaarheid van een examen en kan imagoschade veroorzaken. Onderzoek heeft aangetoond dat examenfraude regelmatig voorkomt. Elk jaar verschijnen er wel berichten in de media over fraude bij examens. Gelukkig laten examenfraudeurs in veel gevallen sporen achter in hun examendata door de afwijkende manier waarop zij examen doen. De door eX:plain ontwikkelde data forensics spoort examenfraude op door het traceren van deze afwijkende patronen.

eX:plain heeft, in samenwerking met de Universiteit Twente, diverse algoritmen ontwikkeld om logdata van examens te analyseren en mogelijke examenfraude op te sporen. De ontwikkelde algoritmen zijn gericht op het opsporen van examenfraude bij zowel individuen als groepen en scoren op afwijkingen in responsietijden, p-waarden en Guttman errors. De ontwikkelde algoritmen zijn ook toepasbaar op random getrokken examens, waarbij iedere kandidaat een uniek examen uit de itembank krijgt. Vooralsnog is de toepassing van data forensics op gerandomiseerde examens uniek in de wereld.

Bij inzet van data forensics zal een psychometrist van eX:plain een uitgebreide analyse maken van de aangeleverde examendata. Vervolgens wordt in overleg met een fraudedeskundige een uitgebreide en vertrouwelijke rapportage opgemaakt. Deze rapportage zal daarna in een persoonlijk gesprek worden toegelicht. eX:plain ziet in dataforensics een mogelijkheid om de betrouwbaarheid van examens in de toekomst nog verder te versterken.

Sponsor van het Examencongres 2017: