Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Brug tussen beleidsuitvoering en beleidsonderzoek Marc van der Steeg (CPB/TIER)

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Innovatie impuls Onderwijs Voorgeschiedenis: FES-voorstel Doel: bestrijding lerarentekort door verhoging arbeidsproductiviteit onderwijs Middel: innovaties 20 miljoen euro beschikbaar Eis voor financiering: experimentele opzet + goede effectevaluaties

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Typische evaluatievraagstukken Betere leerprestaties door kleinere klassen? Hoger inkomen door meer onderwijs? Betere leerprestaties door gebruik van ICT? Betere kans op werk door training voor werklozen?

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Het evaluatieprobleem Wat zou er gebeurd zijn als interventie niet was toegepast? Voor- en nameting behandelde personen fout ► Invloed andere factoren buiten interventie –Ander tegelijktijdig beleid –Conjunctuur: voortijdig schoolverlaten Vergelijken uitkomsten wel behandelde en niet behandelde personen is vaak niet correct mensen/scholen kiezen zelf bewust voor een bepaalde treatment: geen toeval Verschillen in niet geobserveerde kenmerken! ► kwaliteit leraar / school / student ► motivatie

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Wat houdt een experiment in? Experimentele groep EN controlegroep Experimentele groep krijgt wel bepaalde interventie, controlegroep niet (business as usual) Toewijzing scholen/klassen aan groepen aselect: loting! Effect = verschil in (verandering) uitkomsten tussen experimentele en controlegroep

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Waarom experimenteel onderzoek? Convenanten tegen voortijdig schoolverlaten ► Financiele prikkel voor regio’s: 2000 euro per voortijdig schoolverlater minder ► Alleen in bepaalde regio’s ingevoerd ► Resultaat: daling aantal voortijdig schoolverlaters in convenantsregio’s met 3 procent in 1 jaar ► Regio’s: “we hebben doelstelling ruimschoots gehaald” ► Ministerie: “convenanten succesvol!” en “we gaan deze aanpak uitbreiden naar alle regio’s” ► Onderzoek CPB: daling in vergelijkbare niet- convenantsregio’s even groot! ► Conclusie CPB: convenanten hebben geen effect gehad…….

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Bezwaren tegen experimenteel onderzoek Te kostbaar ► alleen hogere onderzoekskosten vanwege toevoeging controlegroepen ► interventies invoeren waarvan je niet overtuigend weet of het werkt kost veel meer geld! Te hoge belasting voor scholen ► Met name voor scholen in controlegroep ► gebruik maken van reeds beschikbare gegevens (onderwijsnummer, cito-scores) Onethisch ► Is blootstelling aan niet werkende medicijnen ethisch? ► Introductie nieuwe medicijnen kan alleen als werking experimenteel aangetoond

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Experimenten bij Innovatie Impuls Wat is effect van e-learning? Wat is effect van leerpleinen? Wat is effect van vervangen deel taken van leraar door onderwijsassistenten? Wat is effect van video-conferencing? Effecten op: ► Productiviteit leraar –Aantal leerlingen per FTE aan leraren –Aantal leerlingen gedeeld door totale onderwijstijd leraren ► Productiviteit school ► Onderwijskwaliteit: toetsscores, slaagpercentages ► Werkdruk leraar

Beleidsuitvoering vs onderzoek Utrecht Jan 2010 Gevolgen voor scholen Nulmetingen Vervolgmetingen