Lerarenopleidingen Science en Wiskunde/Rekenen

Promotie Filip Moons

Semi-automated assessment of handwritten mathematics tasks. Atomic, reusable feedback for assessing student tests by teachers and exams by a group of assessors

Promotie Filip Moons, Universiteit van Antwerpen, 6 september 2023, 17:00 u

mathsa.uantwerpen.be (livestream en pdf proefschrift)

Feedback is de krachtigste motor van elk leerproces. In de wiskundedidactiek wordt daarom uitgebreid onderzocht hoe men beoordelingen kan automatiseren. Dat is niet evident voor leerlingen: zich wiskundig uitdrukken is moeilijk op een computer en leersystemen kunnen vaak enkel de uitkomst verwerken en niet de oplossingsmethode. Digitale testen blijken zich veelal te beperken tot procedurele kennis ten koste van inzichtelijke denkvragen. Digitale wiskundetests ontwikkelen is een tijdrovende klus en daarnaast zijn leraars erg sceptisch om ze in te zetten, waardoor pen-en-papier het wiskundeonderwijs nog steeds domineert. Eén van de karakteristieken van wiskundig beoordelingswerk is dat foute antwoorden in een klasgroep patronen vertonen. Bijgevolg moeten leerkrachten hun feedback en punten meermaals herhalen. Dat brengt ons op het idee van semi-automatisch beoordelen: door handgeschreven leerlingenoplossingen
digitaal te beoordelen, kan feedback bewaard en vervolgens hergebruikt worden. Dat kan uitgebreidere feedback, tijdswinst en verhoogde interbeoordelaarsbetrouwbaarheid opleveren. In dit proefschrift werden twee semi-automatische beoordelingsmethoden ontwikkeld en onderzocht.

Samenvatting in pdf

Feedback is the most powerful engine of any learning process. In the field of Mathematics Education, the possibilities to assess automatedly are therefore being thoroughly explored. However, students face difficulties expressing themselves mathematically on a computer and learning systems can often only assess the outcome and not the solving method. Research indicates that automated tests focus too much on procedural fluency, at the expense of mathematical thinking questions. It takes much effort to develop digital tests and teachers are sceptical of using automated assessments, meaning that paper-and-pencil tests still dominate the math class. One of the characteristics of mathematical assessment is that wrong answers tend to exhibit patterns among the student population. Consequently, teachers often repeat their feedback and marks.

This brings us to the idea of semi-automated feedback and assessment: by correcting handwritten tasks digitally, feedback can be saved and re-used. This could lead to more elaborate feedback and interesting time savings, but also opens up possibilities to extensively monitor the individual learning process of students, and to apply adaptive differentiated instruction using Bayesian networks. A Bayesian network is a probabilistic graphical model of a student’s proficiency. We want to focus on the learning gains that semi-automated evaluation systems can offer, but also explore the reliability, time savings and acceptance levels of such systems.

Verwijzingen

  • Moons, F. (2023). Semi-automated assessment of handwritten mathematics tasks. Atomic, reusable feedback for assessing student tests by teachers and exams by a group of assessors (PDF): University of Antwerp.

ELWIeR en Ecent als één STEM