Lerarenopleidingen Science en Wiskunde/Rekenen

Evaluating the quality of inquiries: an approach for self-evaluation of accuracy, reliability and validity in school science inquiries by pre-university students

Van der Jagt, S. (2016). Evaluating the Quality of Inquiries. An approach for self-evaluation of accuracy, reliability and validity in school science inquiries by pre-university students., Vrije Universiteit, Amsterdam.

Bespreking door Ed van den Berg

Website met bronnen

Naast het leren van begrippen en theorie en verklaringen van natuurverschijnselen is het ook van belang dat leerlingen inzicht krijgen in hoe die kennis gegenereerd en gevalideerd wordt. Dat is essentiële vakkennis, maar ook gewone science literacy opdat toekomstige burgers informatie leren beoordelen op validiteit en betrouwbaarheid en o.a. fake news beter kunnen herkennen. De examenprogramma’s voor vmbo, havo, en vwo beogen dan ook dat (havo-formulering) de kandidaat kan in contexten instructies voor onderzoek op basis van vraagstellingen uitvoeren en conclusies trekken uit onderzoeksresultaten. De kandidaat maakt daarbij gebruik van consistente redeneringen en relevante rekenkundige en wiskundige vaardigheden. Bij vwo wordt ook geëist dat de kandidaat vraagstellingen zelf kan vertalen naar een opzet voor onderzoek.

De essentiële vraag daarbij is in hoeverre leerlingen inzicht krijgen in de kwaliteit van onderzoek, of ze dat kritisch kunnen beoordelen, of ze daarbij kwaliteitscriteria zoals de concepts of evidence (Gott & Duggan, 1995) kunnen toepassen, en daarmee Nauwkeurigheid, Betrouwbaarheid en Validiteit (NBV) kunnen beoordelen. De volgende vraag is natuurlijk hoe je dat inzicht in kwaliteit van onderzoek door leerlingen kunt ontwikkelen. Over deze vragen gaat het proefschrift van Saskia van der Jagt, sinds 2004 biologie docente aan het Coornhert Gymnasium in Gouda en gepromoveerd aan de VU in december 2016.

Saskia ontwikkelde hulpmiddelen waarmee leerlingen zelf leren nadenken over de kwaliteit van eigen onderzoek. Haar Evaluation of Quality of Inquiry (EQI) instrument bestaat uit de volgende onderdelen: a) een NBV kaart met de kenmerken van nauwkeurigheid, betrouwbaarheid, en validiteit, een soort van bladwijzer die steeds binnen bereik ligt tijdens onderzoek, b) 12 kwaliteitskenmerken die elk op een hiërarchische schaal met 5 niveau rubrieken kunnen worden beoordeeld waarbij elke rubriek naast een beschrijving voorzien is van een concreet voorbeeld uit leerling onderzoek, en c) een checklist met 17 aandachtspunten voor een onderzoeksplan en 15 voor uitvoering. Een vroege versie van de EQI werd uitgebreid getest met leerlingen die een onderzoek uitvoerden en dit resulteerde in een aangepast instrument en adviezen voor gebruik in de klas (hoofdstuk 3).

In de hoofdstudie voerden 27 bovenbouw vwo-leerlingen (vrijwilligers) gedurende 6 middagen achtereenvolgens 3 onderzoeken uit naar afkoeling van koffie (natuurkunde), smaak (biologie), en snelheid en remafstand in verkeer (natuurkunde) en tijdens een 7de middag werden ze uitgebreid getest. De EQI vragenlijst werd op verschillende momenten in elk onderzoek gebruikt voor zelfevaluatie (onderzoeksduo vult zelf de EQI in), peerevaluatie (medeleerlingen evalueren met EQI), en docent evaluatie (de docent vult voor elk groepje de EQI in). De onderzoeker fungeerde als docent en kon dus consistent haar NBV-visie implementeren in onderzoeken uit verschillende vakken. Elke les werd geobserveerd door 2 experts en video- en audio-materiaal uit de lessen werd door 2 andere experts beoordeeld op een aantal karakteristieken. Een batterij instrumenten werd gebruikt om de EQI (hoofdstuk 4), de lessen (hoofdstuk 5), de leerling resultaten (hoofdstuk 6) te evalueren, waaronder expert observatie, video/audio, en individuele interviews met alle leerlingen. Bovendien werd leerlingen tijdens de 7de middag gevraagd om individueel twee verslagen van voor hen nog onbekend leerling onderzoek te evalueren op NBV kenmerken. Daarmee kon hun eindniveau in het toepassen van deze begrippen worden bepaald met de EQI-rubrieken en vergeleken kon worden met EQI-resultaten van het eerste onderzoek dat ze hadden gedaan. Natuurlijk is er het probleem dat vooruitgang gemeten moest worden via leerling beoordeling van onderzoeksverslagen over een andere inhoud (chocolade onderzoek, tandbederf) dan het eerste onderzoek (afkoelen van koffie). Begrip van inhoud zal vast interfereren met onderzoeksvaardigheden. Niet voor niets gebruikt de onderzoeker 2 verschillende onderwerpen als eindtoets.

Elk leerling onderzoek is anders, vergelijk maar een onderzoek naar het afkoelen van koffie onder verschillende omstandigheden met een onderzoek naar gedrag van dieren door observatie in de dierentuin. En toch wil je een generieke manier ontwikkelen waarmee leerlingen hun eigen onderzoek en dat van anderen kunnen evalueren op kwaliteit. Dat vereist enorme abstractie om begrippen als betrouwbaarheid en validiteit toe te passen op onderzoeken uit verschillende disciplines. Het EQI instrument was het middel om leerlingen daarbij te helpen, om ze te trainen in het analyseren van NBV aspecten van onderzoek. En na de aanpassingen in de pilotstudie bleek het instrument inderdaad bruikbaar door leerlingen en konden ze het toepassen op de onbekende onderzoeksverslagen die hen in de 7de sessie werden voorgeschoteld.

In het begin moet EQI gebruik afgedwongen worden. Later gebruiken leerlingen de EQI vanzelf, maar je moet opletten dat het geen routinegebruik wordt met alleen goedkope leerling reacties zoals: “je had je meting moeten herhalen”, of “je had een grotere sample moeten gebruiken”. Er moet nagedacht worden over NBV, de metacognitie moet aan het werk worden gezet. Zohar & Barzilai (2013) in een review van metacognitie in science education benadrukken de rol van metacognitie van leerlingen in het leren onderzoeken (science inquiry), bij onderzoek moeten ze echt nadenken over hun eigen proces van kennisverwerving. Dat kost veel inspanning van docenten en leerlingen.

Leerlingen verbeterden hun voorstellen met behulp van de EQI, maar keken niet kritisch terug met EQI na afronding van hun onderzoek. Dus niet nog even nadenken en nog enkele aspecten nalopen, bv een controlemeting doen, of de instelling van een meetapparaat controleren. Als je wilt dat ze zich aan het eind nog bezinnen op NBV dan moet dat via een opdracht worden afgedwongen. Er zijn ook andere manieren. Een auteur in The Physics Teacher wisselde onderzoeksverslagen uit. Groepjes kregen dan de taak om het onderzoek van een ander groepje te herhalen puur werkend aan de hand van het verslag. Het betrof onderzoekjes over dezelfde onderzoeksvraag maar met verschillende zelfgekozen methoden.  Zo’n replicatieoefening gaat ten koste van onderzoekstijd voor een nieuw onderwerp maar kan veel opleveren voor NBV. Lisette van Rens (2005) pakte die eind-verbeterfase nog rigoureuzer aan.  Er werd peer review gepleegd op verslagen door leerlingen van andere scholen en er was een heuse conferentie. Deze van Rens methode past op een eindwerkstuk zoals een profielwerkstuk maar kan ook met een parallelklas geregeld worden. Een laagdrempelig (in termen van organisatie) alternatief is presentaties met publiek (ouders), daarmee kun je veel extra voorbereiding van leerlingen afdwingen.

Saskia’s aanpak werd uitgevoerd tijdens 7 middagen. Het is een groot voordeel bij leren onderzoeken om de 45 minuten bel te kunnen omzeilen. Op sommige scholen zijn roosters flexibel genoeg om gezamenlijk (bio/natk/sk) intensieve tijd te creëren tijdens enkele maanden van het schooljaar. Dat kan dan een intensieve onderzoekstraining zijn die gevolgd wordt door een profielwerkstuk. Een alternatief voor de meeste scholen zal zijn om de criteria voor goed onderzoek – de items van het EQI instrument – geleidelijk te introduceren in een practicum programma met een normaal rooster. Dit kan beginnen in de onderbouw in overleg tussen biologie, natuurkunde, en scheikunde.

Onderzoeksvaardigheden zijn complex. In het verleden hebben veel scholen ingezet op het trainen van deelvaardigheden (bijvoorbeeld grafieken maken) via typische, bekende practica. Uiteindelijk bleken leerlingen toch onvoldoende voorbereid op een profielwerkstuk. Van Merriënboer et al (2002) ontwikkelden een ontwerp voor het onderwijzen van complexe vaardigheden, bijvoorbeeld voor medische beroepen. Na korte training van deelvaardigheden worden die steeds direct toegepast in de complexe taak, in ons geval in een leerling onderzoek in plaats van een routine practicum. Een leerlijn bestaat dan uit segmenten met in elk segment training van deelvaardigheden gevolgd door toepassing daarvan in een compleet onderzoekje. De moeilijkheid met complexe vaardigheden is niet de beheersing van de deelvaardigheden maar juist de toepassing van verschillende deelvaardigheden tegelijk in een complexe situatie. Vandaar ook dat Saskia direct begon met complete onderzoekjes. Maar het is natuurlijk wel mogelijk om binnen de context van complete onderzoekjes, een geleidelijk uitbreidende checklist van NBV aspecten te gebruiken en training in deelvaardigheden te integreren. In de 7 middagen was er vooruitgang in het kunnen toepassen van EQI in zelf evaluatie, maar transfer naar nieuwe onderzoekscontexten was beperkt. Daar heb je een veel langere leerlijn voor nodig.

Gebruik van de EQI rubrieken kan lastig zijn met 5 niveaus maar gebruik van de EQI checklist is een stuk eenvoudiger en praktischer. Verder kun je denken aan het variëren van een arsenaal aan gebruikte methodieken voor zelf- en peerevaluatie die in dit proefschrift gebruikt zijn:

  • Zelf een eigen onderzoeksvoorstel nalopen met de rubrieken en/of met de checklist.
  • Groepen elkaars voorstellen en eindverslagen te laten bekritiseren.
  • Plenair kritisch doorlichten van veel gemaakte fouten in onderzoeksvoorstellen.
  • Gebruik van een formulier voor onderzoeksvoorstellen helpt enorm om belangrijke aandachtspunten in het voorstel te krijgen (bv onafhankelijke en afhankelijke variabelen) en om als docent snel feedback te geven. Ik heb daar zelf goede ervaringen mee zowel in de basisschool als met studenten in lerarenopleiding. Vervolgens kan een EQI gebruikt worden om de voorstellen te evalueren.

Er zijn andere manieren om aan NBV te werken. Bijvoorbeeld, in The Physics Teacher las ik ooit een artikel waarin studenten onderzoek deden met dezelfde onderzoeksvraag. Ze kwamen uiteraard allemaal met verschillende opzetten en onderzoekjes. Na data verzameling werden verslagen uitgewisseld en moest elk groepje het onderzoek van een ander groepje experimenteel verifiëren. Dan loopt je natuurlijk tegen NBV problemen aan. Herhalen van onderzoek is niet zo motiverend, je kunt het dus niet vaak doen met dezelfde groep, maar met een competitie element is er wat van te maken.

Lisette van Rens (2005) organiseerde een jaarlijkse competitie voor vwo leerlingen waarin een compleet wetenschappelijk proces werd gesimuleerd van onderzoeksvraag tot en met conferentie of internet symposium en publicatie. Startend met een zwak wetenschappelijk artikel dat bekritiseerd moest worden, formuleerden leerlingen hun eigen onderzoekvragen en methoden, deden eigen onderzoek, en schreven verslagen. Die verslagen werden vervolgens tussen scholen uitgewisseld en bekritiseerd.

Het gemakkelijkst overdraagbare resultaat van dit proefschrift is het EQI instrument (van der Jagt & Pilot, 2018). Als docent zou ik eerst een vereenvoudigde en verkorte versie gebruiken (in de onderbouw) en die in een leerlijn uitbreiden tot uiteindelijk het gehele instrument gebruikt wordt (eind bovenbouw). Er zijn ook andere instrumenten zoals VROO (van Keulen & Slot, 2014), een docent observatielijst ontwikkeld voor het primair onderwijs maar zeer bruikbaar in de onderbouw van het secundair onderwijs. De docent observatielijst kan geconverteerd worden in een checklist voor zelfevaluatie.

Kortom, Saskia’s onderzoek is een waardevolle bijdrage aan het leren onderzoeken die recht doet aan de complexiteit van het onderwerp. Haar training van onderzoeksvaardigheden is uitvoerbaar op scholen met flexibele roosters of roostermakers, maar is ook in en aan te passen in een langere onderzoeksleerlijn waarin training van deelvaardigheden steeds wordt afgewisseld met complete onderzoekjes en gebruik van EQI. Het EQI instrument is het meest overdraagbare product van het onderzoek en is bruikbaar elke leerlijn onderzoeken.

Gott, R., Duggan, S. (1995). Investigative work in the science curriculum. Open University Press.

Jagt, S. Van der, Pilot, A. (2018). Leren evalueren van de kwaliteit van onderzoek. NVOX, 43(1), 22-23.

Rens, L. van (2005). Effectief scheikundeonderwijs voor “leren onderzoeken” in de tweede fase van het vwo. Een chemie van willen, weten en kunnen. Amsterdam: Proefschrift, onderwijscentrum, VU.

Van Keulen, H., Slot, E. (2014). Excellentiebevordering door middel van onderzoekend en ontwerpend leren: Vaardigheden rubrics onderzoeken en ontwerpen (VROO). https://www.uu.nl/sites/default/files/fsw_ot_vaardigheden_rubrics_onderzoeken_en_ontwerpen_vroo_.pdf

Van Merriënboer, J.J.G., Clark, R.E., de Croock, M.B.M. (2002). Blueprints for Complex Learning: The 4C/ID-model. ETR&D, 50(2), 39-64.

Zohar, A., Barzilai, S. (2013). A review of research on metacognition in science education: current and future directions. Studies in Science Education, 49(2), 212-169. DOI:10.1080/03057267.2013.847261

ELWIeR en Ecent heten u welkom op deze nieuwe gezamenlijke website