Monitoronderzoek invoering vernieuwde examenprogramma’s

In hoeverre wordt de beoogde bètavakvernieuwing – zoals ingevoerd met de nieuwe examenprogramma’s havo en vwo voor biologie, natuurkunde en scheikunde – geïmplementeerd en gerealiseerd in de onderwijspraktijk? Dat is de hoofdvraag van het onderzoek dat SLO heeft uitgevoerd conform het invoeringsplan (Michels,2010).

Binnen deze onderzoeksvraag is een antwoord gezocht op vier deelvragen:

1. Wat vinden docenten van de beoogde bètavakvernieuwing?
2. Welke maatregelen worden op bovenklasniveau genomen om de invoering van de vernieuwde examenprogramma’s te faciliteren?
3. Hoe vertalen docenten en examenmakers de beoogde vernieuwing naar de onderwijspraktijk?
4. Hoe ervaren leerlingen vernieuwde biologie, natuurkunde en scheikunde?

Voor vraag 1, 2 en het docentengedeelte van vraag 3 zijn vragenlijsten afgenomen onder docenten. Voor vraag 4 zijn vragenlijsten afgenomen onder leerlingen. Voor het examengedeelte van vraag 3 zijn eindexamens geanalyseerd en gesprekken gevoerd met docenten en examenmakers.

Wat kan een lerarenopleider of docent eraan hebben?

Nadenken over vakvernieuwingen en wat daar in de praktijk van terecht komt, heeft voor een docent (in opleiding) meestal niet de hoogste prioriteit. Maar het is daarom niet onbelangrijk om in de opleiding aan de orde te stellen, want het hoort ook bij het beroep van leraar.  Dat kan op de volgende manieren.

1. Diagrammen over de vernieuwing (uit de publicatie over het vragenlijstonderzoek) voorleggen en studenten hun (toekomstige) praktijk daaraan laten spiegelen, zoals bijvoorbeeld het onderstaande diagram over de denkvaardigheden bij biologie (eindterm A11 t/m A14);
2. Informatie over de inrichting van het onderwijs uit die publicatie (bijvoorbeeld over het gebruik van verschillende manieren van beoordelen) als basis gebruiken voor een discussie daarover.
3. Examens / examenopgaven bespreken met oog op hun weergave van de vernieuwingskenmerken (toetsen in contexten, actualiteit en relevantie, samenhang en denk- en werkwijzen) en dat vergelijken met oordelen uit de publicatie over de eerste examens.

Vragenlijstonderzoek onder docenten en leerlingen

Het onderzoek naar de opvattingen van leerlingen is in twee fasen uitgevoerd: een voormeting in 2012/13 vóór de invoering van de nieuwe examens en een eindmeting in 2016/17 na de invoering. Het onderzoek onder de docenten had dezelfde opzet, maar omvatte ook een tussenmeting, in 2014/15 net na de invoering. In de eindmeting hebben 85 docenten biologie, 91 docenten natuurkunde, 114 docenten scheikunde en 2703 leerlingen, uit de vijfde en zesde klas, de vragenlijst ingevuld.

Uit het  onderzoek komt een beeld naar voren waar de vernieuwingscommissies enigszins tevreden over kunnen zijn. De nieuwe onderwerpen en de versterking van actualiteit en relevantie komen er gunstig uit in de resultaten. Hieronder een impressie van de resultaten, voor een volledig overzicht kunt u de volledige publicatie downloaden:

• Plezier Voor alle drie de vakken geeft ruim 80% van de docenten aan dat het nieuwe programma best te doen is in de klas. In alle vakken wordt door de overgrote meerderheid (80-90%) met plezier lesgegeven.
• Tijdsbelasting Wel geeft een grote groep aan dat de invoering een zware belasting was voor de sectie was (biologie 47%, natuurkunde 62%, scheikunde 48%). 85% van de ondervraagde docenten heeft dan ook vrije tijd in de vernieuwing gestoken en dit was ook veruit de grootste bron van tijd die voor de vernieuwing beschikbaar was. Slechts weinig docenten zijn gefaciliteerd in tijd door de schoolleiding.
• Nascholing Biologiedocenten hebben behoefte aan nascholing voor het ontwikkelen van les- en toetsmateriaal bij de concept-contextbenadering en bij vakinhoudelijk nieuwe onderwerpen; de natuurkundigen voor kwantummechanica en het ontwikkelen van toetsen en practica; de scheikundigen voor nieuwe onderwerpen (zoals groene chemie), contexten en toetsen.
• Contexten Docenten geven aan contexten regelmatig te gebruiken. Dat gebeurt in ten minste een kwart van de lessen bij 75% van de docenten biologie, 85% van de docenten natuurkunde en 70% van de docenten scheikunde (leerlingen geven hier iets lagere percentages voor, maar zien het ook het meest bij natuurkunde en het minst bij scheikunde). In alle vakken worden contexten vooral gebruikt om de stof te introduceren en te illustreren. Sommige docenten denken onterecht dat het verplicht is om in de les met de concept-context methode te werken. Hoeveel dat er zijn, verschilt wel sterk per vak. Bij biologie denkt 45% dat, bij natuurkunde maar 14%; scheikunde valt daartussen met 34%.
• Overladenheid 70% van de docenten biologie en natuurkunde en bijna twee derde van de scheikundedocenten vindt het CE-gedeelte niet te doen in 60% van de studielast. 70% bij biologie, 42% bij natuurkunde en scheikunde vindt de SE-onderdelen niet te doen in 40% van de studielast. Om de overladenheid het hoofd te bieden, bezuinigen leraren vooral op practica en tijdrovende werkvormen als groepswerk (alle vakken), SE-onderdelen (natuurkunde) en contexten (scheikunde).
• Leerlingtevredenheid Meer dan 80% van de leerlingen vindt zijn of haar bètadocent deskundig en de lessen vinden zij vaak interessant (67% bij biologie, 60% bij natuurkunde, 52% bij scheikunde) toch blijven de bètavakken moeilijk: 60% van de leerlingen vindt biologie een moeilijk vak, bij natuurkunde en scheikunde is dat 72%.

Analyse van examens

Om te onderzoeken of de centrale examens in de drie bètavakken de beoogde vernieuwing reflecteren zijn een aantal stappen uitgevoerd:

• Door SLO zijn de eerste twee examens met het nieuwe examenprogramma, dus 2015 en 2016 voor de havo en 2016 en 2017 voor het vwo, gescoord op een aantal kenmerken van de vernieuwing zoals toetsen in context, actualiteit en het gebruik van natuurwetenschappelijke denk- en werkwijzen. Dit is puur descriptief. Een uitkomst hierbij is bijvoorbeeld: in 76% van de vragen van het vwo-examen natuurkunde in 2017 wordt getoetst in context.
• Vervolgens zijn deze uitkomsten genormeerd door focusgroepen met daarin docenten (zowel pilot als niet-pilot), de vernieuwingscommissies en het CvTE. Dit houdt in dat deze focusgroep beoordeelt of een bepaald aspect te veel, te weinig of voldoende in het examen aanwezig is. Bijvoorbeeld: 76% toetsen in context is voldoende.
• Als laatste stap zijn deze normeringen besproken met het Cito en het CvTE om na te gaan of en hoe deze normeringen invloed kunnen hebben op de komende examens. Daarbij is het belangrijk om op te merken dat bij het maken van examens (veel) meer eisen gesteld worden dan alleen het reflecteren van de vakvernieuwingen, zoals bijvoorbeeld de mogelijkheid van het maken van een eenduidig antwoordmodel.

Hieronder een impressie van de resultaten, voor een volledig overzicht kunt u de volledige publicatie downloaden:

• Toetsen in context In alle drie de vakken de vakken zijn de focusgroepen positief over toegenomen contextrijkheid van de examens. Bij biologie en natuurkunde zouden de focusgroepen die nog wel graag verder zien stijgen. Het cito onderschrijft die wens, maar geeft aan dat dit lastig zal zijn. Bij het maken van goede toetsopgaven in context komt bijvoorbeeld al snel veel tekst kijken en liggen stapelvragen (vragen die niet goed beantwoord kunnen worden als een leerling de vorige vraag niet kon beantwoorden) op de loer.
• Actualiteit en relevantie De focusgroepen zijn positief over de mate waarin actualiteit en relevantie terugkomen in de examens.
• Samenhang De focusgroepen geven aan dat samenhang tussen de verschillende vakken in de examens achterblijft bij de wensen van de vernieuwingscommissie. Iedereen is het er echter over eens dat dit niet gerepareerd kan worden in de examens omdat deze samenhang ook niet in de examenprogramma’s zit.
• Denk- en werkwijzen In alle drie de examens komen de natuurwetenschappelijke denk- en werkwijzen – onderzoeken, ontwerpen en modelleren – volgens de focusgroepen meer dan voorheen, maar toch te weinig terug. Het Cito zou hier graag meer aandacht aan besteden, maar geeft aan dat dat in de praktijk lastig is. Het is namelijk lastig een correctievoorschrift te maken dat zowel recht doet aan het denken dat van de leerling gevraagd wordt als eenduidig is bij het nakijken.

Vervolg

De uitkomsten van het monitoronderzoek zijn in april 2018 besproken met de stuurgroep (uitgevers, (niet-)pilot-docenten, lerarenopleiders, vakverenigingen, examenmakers, ambtenaren) om te kijken welke vervolgstappen ondernomen kunnen worden. Omdat tegengaan van de overladenheid een belangrijk doel was van de vernieuwing, zijn de resultaten op dat gebied zorgelijk. SLO voert daarom in 2019 onderzoek uit naar mogelijke bronnen van deze overladenheid.

Bronnen

Folmer, E. (2018). Centrale examens als drager van de bètavakvernieuwing, Analyse van centrale examens biologie, natuurkunde en scheikunde voor havo/vwo op kenmerken van de beoogde vernieuwing, Enschede: SLO.

Michels, B. (2010). Van pilot naar praktijk, Invoeringsplan nieuwe bèta-examenprogramma’s, Enschede: SLO.

Ottevanger, W., Folmer, E., & Heijnen, M. (2018).Monitoring en evaluatie invoering bètavernieuwing, Eindmeting docenten en leerlingen 2016-2017. Enschede SLO.

Verwijzingen

Zie voor meer informatie over de rol van contexten en concepten de volgende links:

http://natuurentechniek.slo.nl/trend-concept-contextbenadering

https://elbd.sites.uu.nl/category/concept-context/