Evaluatie Bètavakvernieuwing: Nieuwe Scheikunde Wilmad Kuiper, Elvira Folmer, Wout Ottevanger en Lucia Bruning Bijeenkomst Nieuwe Scheikunde KNAW, Amsterdam 22 september

22 Aanleiding en context Noodzaak herziening scheikundeprogramma havo en vwo: meer relevantie meer samenhang minder overladenheid/versnippering betere aansluiting onderbouw – tweede fase inhoudelijke vernieuwing (micro-macro, molecuulconcept) meer practica en eigen onderzoek

33 Aanleiding en context Examenexperiment nieuwe scheikunde ( ): voorstel nieuw examenprogramma havo en vwo (2010), gebaseerd op context-concept beproeving in pilot van 12 havo- en 8 vwo-scholen examenprogramma 2007 op hoofdlijnen (werkversie) 60% centraal geëxamineerd, door CVE gespecificeerd in syllabus SE-programma toegelicht in handreiking SLO eerste havo-examen in 2009, eerste vwo-examen in 2010 onafhankelijke, meerjarige evaluatie op initiatief stuurgroep, in opdracht OCW en door SLO

44 Hoofdvraag In hoeverre heeft de in gang gezette vernieuwing geresulteerd in voor docenten en leerlingen uitvoerbare en toetsbare programma’s?

55 Wat evalueren we? Beoogd Imaginair Basisvisie: ’Chemie tussen context en concept’ (2003) Geschreven Intenties uitgewerkt in examenprogramma, syllabus,richtlijnen, modules Geïmplementeerd Geïnterpreteeerd Interpretaties door gebruikers (pilotdocenten) Uitgevoerd ‘Programma-in-actie’ Bereikt Ervaren Leerervaringen van pilotleerlingen Getoetst Programma zoals getoetst (CE, modules); vernieuwing herkenbaar? Geleerd Leerlingprestaties (CE), i.s.m. CVE en CITO Tegen achtergrond van werkwijze/aanpak

66 Focus Context-concept – als model voor en visie op herschikking/vernieuwing van doelen/inhouden – als didactisch model c.q. visie op leren en onderwijzen van het vak Relevantie, belangstelling en aantrekkelijkheid Diepgang en niveau Onderwijsbaarheid en haalbaarheid programma modules, tijd (overladenheid), lesuitvoering, toetsing, belasting, moeilijkheidsgraad, helderheid, vrije ruimte, vereiste vakdidactische kennis en vaardigheden, ondersteuning, randvoorwaarden Toetsbaarheid programma op moduleniveau op niveau centrale examens: inhoud (incl. type opgaven, niveau), proces, leerresultaten

77 4havo/vwo5havo/vwo6vwo 07/08 examenprogramma (1e cyclus) 08/09 examenprogramma (1e cyclus) examen (1e cyclus) 09/10 examenprogramma (3e cyclus) examenprogramma (1e cyclus) examen (1e cyclus) In schema

Hoe evalueren we? Interviews/gesprekken met Stuurgroep NiSk, pilotdocenten, vaksectie CVE, leden syllabuscommissies, CITO-collega’s Analyse curriculumdocumenten Vragenlijsten voor pilotdocenten en pilotleerlingen Schoolbezoeken Cijfermatige analyse prestaties pilotleerlingen op centrale examens

9 Resultaten Programma: –vraagt veel (85% 5hv-1), flinke uitdaging (69% 5hv-1) –impliceert andere manier van lesgeven: gebruik van contexten en didactiek (5h-1: 71%, 5v-1: 17%) –voldoende toegerust (77% 5hv-1, 100% 4hv-3) –voldoende duidelijk wat van mij als docent verwacht wordt (85% 5hv-1, 67% 4hv-3) –flinke taakverzwaring (77% 5hv-1, 67% 4hv-3), ‘maar hebben ‘t er graag voor over’ (83% 4hv-3) –veel tijd aan lesvoorbereiding (69% 5hv-1, 82% 4hv-3)

10 Resultaten Context-concept: –geschikte manier voor ordening doelen en inhouden (91% 5hv-1) –bevordert aantrekkelijkheid van scheikunde (55% 5hv-1), spreekt leerlingen meer aan (interviews), vereist een actievere rol van leerlingen (interviews) –nieuwe zit ‘m in gebruik van contexten (82% 5hv-1) en didactiek (82% 5hv-1), niet in inhoud (25% 4hv-3) –contexten geen doel op zich maar middel tot conceptontwikkeling (72% 5hv-1)

11 Resultaten Overladenheid: –nieuwe programma niet minder overladen dan oude (77% 5hv-1) –examenprogramma niet haalbaar in beschikbare tijd (62% 5hv-1, 67% 4hv-3) –syllabus niet te doen in beschikbare tijd (62% 5hv-1, 67% 4hv-3); bevat te groot aantal concepten (75% 4hv-3) –modules niet haalbaar in beschikbare tijd (54% 5hv-1, 8% 4hv-3): “meer lessen nodig”, “nieuwe didactiek vereist meer contacttijd” –aantal SLU’s ontoereikend (83% 4hv-3) –leerlingen klagen over gebrek aan structuur en onduidelijkheid over wat ze moeten kennen en kunnen

12 Resultaten Modules: –prima bruikbaar (69% 5hv-1, 92% 4hv-3) –nogal variërend in kwaliteit (69% 5hv-1, 33% 4hv-3) –voldoende ondersteuning (69% 5hv-1, 92% 4hv-3) –geen tijd voor brugmodules (interviews)

13 Resultaten Samenhang: –gebruik contexten bevordert samenhang binnen NiSk (64% 5hv-1, 58% 4hv-3) –voldoende samenhang tussen concepten binnen NiSk (42% 4hv-3) –voldoende aanknopingspunten in examenprogramma om te komen tot samenhang met andere bètavakken (92% 4hv-3) –er is voldoende samenhang tussen examenprogramma en examenprogramma’s van andere bètavakken (25% 4hv-3)

14 Resultaten Toetsing en examinering: –onduidelijk hoe nieuwe programma via CE geëxamineerd gaat worden (82% 5hv-1, 42% 4hv-3) –qua moeilijkheidsgraad minstens zo zwaar als oude programma (75% 4hv-3) –mijn leerlingen vinden NiSk moeilijk (100% 4hv-3)

15 Resultaten Wat pilotleerlingen er van vinden: –vaak practicum, werken in groepjes, veel zelf uitzoeken, geen boek –‘lessen zijn interessant’ (vindt 44%; 54% van dat niet) –‘leuk vak’, geen ‘heel vervelend vak’ –je leert bij scheikunde ‘best veel’ en ‘iets waar je later wat aan hebt’ –scheikundelessen gaan vaak over ‘alledaagse dingen’ en ‘aansprekende voorbeelden uit de praktijk’ –‘we weten nooit precies wat we moeten leren voor een toets’ en ‘toets is altijd weer een verrassing’ –‘laat samenhang tussen bètavakken zien’ (minder dan helft)

16 Resultaten Centrale pilotexamens 2010: –pilotleerlingen havo (n=386): 4 p-punten minder vaardig op overlap dan reguliere kandidaten (p=56 vs p=60) en vergelijkbaar op specifiek NiSk en overlap (p=55 vs p=56) –pilotleerlingen vwo (n=311): 6 p-punten minder vaardig op overlap dan reguliere kandidaten (p=51 vs. p=57) en 13 p-punten minder vaardig op specifiek NiSk vs overlap (p=38 vs p=51) –examens weerspiegelen examenprogramma’s (2007) vrij behoorlijk, maar meer uitlijning nodig tussen syllabus, lesuitvoering en examens –knel/actiepunten: eigenaarschap vakvernieuwing, communicatie en interactie tussen actoren, en specificatie van beoogde vernieuwing

“If the first challenge of change is to ensure that it’s desirable and the second challenge to make it doable, then the biggest challenge of all is to make it durable and sustainable” (Hargreaves & Fink, 2006)

Gecombineerde strategie Invoering bètavakvernieuwing Van onderop Van bovenaf Van opzij