Recent onderzoek naar leren van multimediatoepassingen komt uit de hoek van de cognitieve psychologie. Ontwerpprincipes die uit dat onderzoek volgden zijn echter zelden in de onderwijspraktijk getest. Muller koppelt leertheorieën aan het leren van tekst- en beeldcombinaties in onderwijssituaties, om ontwerpprincipes te ontwikkelen voor effectieve multimediatoepassingen voor leren.

Muller maakt gebruik van een aantal theorieën: Cognitive load en dual coding, constructivisme en multimedia leren.

Cognitieve leertheorieën gaan uit van een beperkte capaciteit (cognitieve load) van het werkgeheugen, waarin tijdelijk informatie kan worden vastgehouden tijdens informatieverwerking. Effectieve leerstrategieën zorgen voor een duurzame opbouw van kennis in het lange termijn geheugen. Muller maakt gebruik van deze theorie om de verwerking van beeld en tekst door de hersenen te beschrijven. Daarbij verwijst hij naar de dual coding theorie (DCT; Paivio, 1986), die beschrijft hoe tekst- en beeldstimuli via verschillende zintuigen binnenkomen en in verschillende, interacterende, cognitieve systemen worden verwerkt.

Muller bouwt in algemene zin voort op het onderwijskundige constructivisme, dat leren beschouwt als kennisopbouw door de inpassing van nieuwe informatie in bestaande kaders en voorkennis. Daarnaast maakt Muller gebruik van the cognitive theory of multimedia learning (CTML), zoals die is ontwikkeld door Richard E. Mayer (2001, 2005). Dual coding, cognitive load en constructivisme zijn daarin opgenomen. Ook bouwt CTML voort op voorgaand onderzoek naar leren met technologieën. Het benutten van de twee kanalen waarlangs stimuli kunnen worden verwerkt (verbaal en non-verbaal) geeft mogelijkheden om de cognitieve belasting van het geheugen te verlagen. CTML beschrijft de mentale processen die een lerende moet doorlopen om van multimedia toepassingen te kunnen leren, zoals:

• het selecteren van relevante woorden en beelden
• deze beelden en woorden organiseren in samenhangende mentale modellen
• links leggen tussen deze modellen
• deze modellen verbinden met relevante voorkennis

Hoofdvraag
De hoofdvraag van het onderzoek was: “Hoe produceert men effectieve multimediatoepassingen voor natuurwetenschappelijk onderwijs?”

Multimedia refereert hier aan elke vorm van presentatie waarin (gesproken of geschreven) woord en beeld gecombineerd zijn, om een samenhangend verhaal te vormen.

Onderzoeksmethoden
In vooronderzoek is de perceptie van een populaire natuurwetenschappelijke video onderzocht, waaruit vragen voor verdergaand onderzoek zijn geformuleerd.
Het onderzoek is opgezet volgens de design experiment methodologie. Hierin wordt gebruik gemaakt van diverse datacollecties, analysetechnieken en een iteratieve cyclus van ontwerpen, ontwikkelen, implementeren, analyseren en herontwerpen. Doel van dit type onderzoek is om op basis van theorie effectieve interventies te ontwikkelen in authentieke contexten (hier: het klaslokaal).

Eerste interventie
Twee video´s over kwantumtunneling zijn ontwikkeld en getest. Deze video´s zijn ontworpen naar aanleiding van een vergelijkend onderzoek naar hoorcolleges over kwantummechanica. Deze colleges bleken gedegen gebruik te maken van multimediatoepassingen, maar waren weinig interactief. Evaluatie van de leeropbrengsten van deze colleges liet zien dat bij de studenten veel alternatieve opvattingen bleven bestaan.
Van de twee gemaakte video’s was er één opgezet als een lezing waarin alleen de juiste informatie werd gegeven (exposition). De andere video bevatte een dialoog tussen student en docent waarin verschillende misconcepten waren opgenomen (dialogue).

Tweede interventie
Om de resultaten uit de eerste interventie te kunnen veralgemeniseren, zijn vergelijkbare video’s ontwikkeld en getest over de eerste en tweede wet van Newton. Aan de twee video’s werd, in lijn met de uitleg-video, een langere video toegevoegd waarin uitgebreidere uitleg werd gegeven (extended exposition). In lijn met de dialoog-video werd een video toegevoegd waarin een enkele spreker misconcepten behandelde (refutationary treatment).

Derde interventie
Voor een derde interventie werden wederom video’s ontwikkeld en getest, over vier Newtoniaanse mechanicalessen. De uitgebreide uitleg video werd vervangen door een video waarin belangrijke details werden herhaald om numerieke problemen op te lossen (worked examples). In dit experiment werd de cognitieve activiteit direct gemeten.

Eerste interventie
Studenten die de dialoog-video zagen scoorden significant hoger op de post-tests dan studenten die de uitleg-video zagen.

Tweede interventie
Beide video’s waarin misconcepten werden behandeld (de dialoog-video en video met één spreker) leverden betere leerresultaten op dan de uitleg-video’s (zowel de korte als de lange video). Dit bevestigt de voordelen van het opnemen van alternatieve opvattingen.

Derde interventie
De video’s waarin alternatieve opvattingen werden behandeld bleken meer cognitieve activiteit te vragen, en wederom een beter leerresultaat op te leveren.

De studenten leerden beter van multimediatoepassingen waarin uitleg voorafgegaan wordt door een dialoog of de weerlegging van een misconcept, dan van media die alleen uitleg geven.

In multimediatoepassingen die voor onderwerpen worden ingezet waarbij misconcepten voorkomen, moeten daarom misconcepten worden besproken. Traditionele lecture-style presentaties waarin dit ontbreekt zijn ineffectief en zelfs schadelijk gebleken voor de opbouw van juiste kennis. Misconcepten blijven bestaan en lerenden zien ze zelfs bevestigd worden in de presentaties. Het vooraf bestuderen van teksten waarin een juiste uitleg wordt gegeven is vergelijkbaar ineffectief en schadelijk, om dezelfde redenen.