Waarom “wat werkt” niet (altijd) werkt, zeker niet in het onderwijs (gedeeltelijk gebaseerd op Biesta, 2007) Joost Meijer Kohnstamm Instituut Universiteit van Amsterdam

Why “what works” won’t work (Gert Biesta, Educational Theory, 2007) “ Effectiviteit” is afhankelijk van hetgeen men in het onderwijs wenselijk vindt. Waarvoor of voor wie is een interventie effectief en wie bepaalt dat? Bij effectieve interventies is er een zekere relatie tussen de interventie (als oorzaak) en de resultaten (als gevolgen).

Maar de vraag blijft: effectief voor wat? Zonder het gewenste effect te definiëren, is het gebruik van de term “effectieve interventie” zinledig. In het onderwijs gaat het er niet alleen om wat er mogelijk is, maar vooral wat er wenselijk is. Er is altijd de vraag of bepaalde interventies wenselijk zijn

Evidence-based practice brengt een technologisch model van professioneel handelen met zich mee. Onderwijs is echter geen proces van fysieke interactie, maar bestaat uit symbolisch gemedieerde interactie. Onderwijs is meer een morele praktijk dan een technologische onderneming. Evidence based education ontneemt mensen in de praktijk van het onderwijs de mogelijkheid om niet in overeenstemming met evidence te handelen, als ze de beoogde doelen van de interventie niet wenselijk vinden

John Dewey: “evidence” verschaft ons geen regels hoe te handelen, maar slechts hypothesen voor het op intelligente wijze oplossen van problemen. Met andere woorden: onderzoek laat slechts zien wat er gewerkt heeft, niet wat er werkt

Cultuur en techniek Onderzoek heeft zowel een technische als een culturele rol. De technische rol bestaat uit middelen, strategieën en technieken om bepaalde doelen te bereiken. De culturele rol verwijst naar het verschaffen van alternatieve wijzen om de sociale werkelijkheid te begrijpen en voor te stellen

Onderwijs en democratie In een democratische samenleving vervult onderzoek echter zowel een culturele als een technische rol. Als er aan doelstellingen van het onderwijs niet langer getwijfeld kan worden, kan onderzoek alleen nog maar haar technische rol vervullen. In die zin zijn de eenzijdige technologische verwachtingen over evidence-based practice zorgelijk (De Vries, 1990)

De “What Works Clearinghouse” (WWC) Amerikaans ministerie van onderwijs. Selectie van interventies voor Middle School Mathematics; grades 6 to 9 (11 tot 14 jaar, grofweg Junior High School). Voorwaarde: computerondersteuning maakt belangrijk deel uit van de interventie

9 InterventieBeschrijvingEffectenIndex UniversityComputer Algebra Geen-6% Of ChicagoSystem Math AlgebraGrafische rekenmachine AcceleratedIndividueleGeen+4% Mathopdrachten(-3% +7%) Cognitive TutorAI leerling-modelPotentieel+15% Algebrapositief DestinationSequentiële stap-Geen of onvergelijkbare Mathvoor-stap instructiecontrolegroep I CAN learnSelf-paced masteryPositief+5% (pre)algebra(-7 +16%)

InterventieBeschrijvingEffectenIndex Math inRealistische Interventie gecontamineerd ContextwiskundeOnvergelijkbare controlegroep Wiskundeprestaties geen afhankelijke variabele Odyssey mathIndividuele instructie Effecten niet per se gevolg van en toetsing; rapporteninterventie; geen controlegroep; voor lerarensteekproef ongeschikt The expert Logo programmerenPotentieel+14% Mathematicianpositief

Een verbetering van circa 15% ten opzichte van het gemiddelde (het sterkste effect in de database over wiskundeprogramma’s) komt overeen met een gestandaardiseerde effectgrootte d van ongeveer Bij d=0.2 spreekt men van een klein effect (circa 8%); bij d=0.5 van een medium effect (circa 19%).

Is een gerandomiseerd experimenteel design terecht de standaard voor het vergaren van kennis over onderwijs? Een experiment met aselecte toewijzing is geschikt voor het evalueren van het effect van een interventie. Voorbeeld van kennis verwerven door observatie is het inzicht krijgen in denkprocessen door het interpreteren van hardopdenk-protocollen.

Kennis uit observatie: Minnie Mouse (Renee Baillargeon)

Bron: NRC Handelsblad, 1 juli 2000

Let wel: het opklappen van het scherm is ook een interventie. De observatie van het effect: de reactie van de baby. Er is echter geen sprake van aselecte toewijzing. Er is sprake van hypothesetoetsing, maar niet van toetsing van de effectiviteit van de interventie; uitsluitend het gevolg ervan. Bij evidence based practice gaat het om utiliteitsdenken.

Deze experimenten van Baillargeon zijn niet gericht op het versnellen van de cognitieve ontwikkeling van kinderen, maar op het begrijpen van deze ontwikkeling. Er zouden eventueel programma’s ter stimulatie van de cognitieve ontwikkeling op kunnen worden gebaseerd. Maar dat vereist nog wel enig extra denkwerk.

Formuleren theorie 2.Kennis opdoen door exploratie, systematische observatie 3.Formuleren hypothesen door afleiding uit theorie en exploraties of observaties 4.Toetsen, eventueel in randomized control trials 5.Eventueel bijstellen of verwerpen theorie Er is niets nieuws onder de zon. Dit is de empirische cyclus (A.D. de Groot)