Het learner report als onderzoeksinstrument Tanja Janssen ILO, 17-2-2011

Vooruitblik Wat is een learner report? Theoretische achtergrond Constructie van learner report Analyse van learner reports (+ opdracht) Een interpretatiekader (+ opdracht) Betrouwbaarheid & validiteit Het learner report

Wat is een learner report? Zelfrapportage-instrument om leereffecten te achterhalen die niet of moeilijk objectief te toetsen zijn (bijv. attitudes, zelfkennis, zelfinzicht) Basisvorm: Ik heb geleerd dat (ik) …. Ik heb geleerd hoe (ik) …. Het learner report

Waarvoor te gebruiken? voor onderzoek: Doelstellingenonderzoek Evaluatie-onderzoek Ontwerp-onderzoek in onderwijs: (Zelf)evaluatie instrument Didactisch instrument (reflectie, coaching) Het learner report

Theoretische achtergrond: A.D. de Groot Dilemma: Wat objectief meetbaar is, is niet altijd relevant Wat relevant is, is niet altijd eenvoudig te meten Dekkingsprobleem: Hoe zorg je ervoor dat wat je meet, dekkend is voor de complexe doelen die in onderwijs worden nagestreefd? Het learner report

Wat zijn onderwijsdoelstellingen voor ‘dingen’? Gewenste onderwijsleereffecten Niet gelijk te stellen aan eindgedrag Iets wat de leerling van onderwijs meeneemt, als geestelijk bezit: - mentale programma’s - disposities tot gedrag Waar de leerling bewust en vrij over beschikt Alle leereffecten kunnen in principe door leerling gerapporteerd worden Het learner report

3 soorten onderwijsleereffecten afvraagbaar demonstreerbaar alleen rapporteerbaar Het learner report

Domeinen van leerervaringen volgens De Groot (1980) Leren van regels en uitzonderingen op regels Leren over de wereld en leren over jezelf Het learner report

In schema: regels uitzonderingen wereld zelf Feiten mbt de wereld, dingen die altijd zo zijn Nieuwe dingen, verrassingen mbt wereld Regels mbt mijzelf Verrassingen mbt mijzelf wereld zelf Het learner report

Regels leren A. Regels mbt de wereld: “Ik heb geleerd dat … (X=Y)” Ik weet nu wat fotosynthese is Ik heb geleerd dat veel schrijvers een nare jeugd hadden C. Regels mbt mijzelf “Ik heb geleerd dat ik (altijd) …..” Ik heb gemerkt dat ik makkelijk schrijf Ik heb geleerd dat ik het fijn vind om samen te werken Het learner report

Uitzonderingen leren B. Uitzonderingen mbt de wereld: “Ik heb geleerd dat het niet waar is dat…” Ik heb geleerd dat walvissen helemaal geen vissen zijn, zoals ik altijd dacht D. Uitzonderingen mbt mijzelf “Ik heb geleerd dat het niet waar is dat ik….” Ik heb gemerkt dat ik best goed ben in wiskunde, terwijl ik altijd dacht ik dat ik ‘t niet kon Het learner report

Constructie van een learner report Open vorm of gesloten vorm Het learner report

Open vorm Met dit Learner Report willen we erachter komen wat jij van de lessen ‘Mens en Machine’ geleerd hebt, wat jij vindt dat je er aan gehad hebt. Met ‘leren’ bedoelen we niet alleen ‘meer kennis gekregen hebben’, maar ook wat je door de lessen over jezelf geleerd hebt.   Nu is het niet zo eenvoudig om zomaar even op te schrijven wat je allemaal geleerd hebt. Daarom hebben we een manier bedacht waarop je dit wat gemakkelijker kunt doen. Deze manier gaat ervan uit dat er vier soorten van leren zijn: leren over dingen die altijd zo zijn leren over dingen die anders zijn dan je dacht leren over jezelf leren over dingen van jezelf die anders zijn dan je dacht. Op deze 4 gebieden zijn we benieuwd wat je van de lessen Mens en Machine geleerd hebt. De toelichting staat op de volgende bladzijden. Er zijn geen goede of foute antwoorden: het gaat er om wat jij vindt. We willen dus graag dat jij persoonlijk de zinnen opschrijft, en het niet samen doet met een medeleerling. Het learner report

Aandachtspunten bij open vorm de term “leren” voorbeeldzinnen geven of niet? volgorde van rubrieken, volgorde-effecten (‘leeg schrijven’) sociale wenselijkheid: hoe dit tegengaan? verklaringen / toelichtingen uitlokken (“want, omdat, door….”) … Het learner report

Gesloten vorm 1. Ik heb meer zelfvertrouwen gekregen door de lessen. □ Zeer eens □ Eens □ Oneens □ Zeer oneens   2. Ik heb geleerd beter samen te werken. Het learner report

Gesloten vorm: voor- en nadelen Voordelen: doet geen beroep op schrijfvaardigheid eenvoudiger af te nemen / in te vullen bruikbaar bij het vergelijken van groepen analyse veel minder bewerkelijk Nadelen: lln rapporteren misschien méér dan zij feitelijk hebben geleerd Verder: zelfde nadelen als gesloten vragenlijst Het learner report

Analyseren van open learner reports: een opdracht In drie- of tweetallen: Bekijk 3 learner reports van leerlingen (5 havo/vwo) Bedenk een manier waarop je dergelijke reports zou kunnen analyseren Bepaal eerst je analyse-eenheid, baken deze af. Bijvoorbeeld: analyseer je per zin? per rubriek? per leerling? Probeer je analyse-eenheden te typeren / categoriseren Het learner report

Aandachtspunten bij analyse Kwalitatief of kwantitatief? Atomistisch of holistisch? Wat is je eenheid van analyse? Hoe categoriseer je? (op basis van theorie of materiaal zelf?) Hoe betrouwbaar is je analyse en hoe stel je dat vast? Interpretatie: valt het mee of valt het tegen? Het learner report

Een interpretatiekader wenselijke leerervaringen feitelijk gerapporteerde leerervaringen verwachte leerervaringen Rijlaarsdam & Janssen (1996) Het learner report

Opdracht Neem een les of lessenserie in gedachten die jij zelf hebt gegeven of die je wil geven; Bedenk welke leerervaringen jij het liefste zou willen zien in learner reports van leerlingen; Formuleer een paar van die wenselijke leerervaringen in de ik-vorm (“Ik heb geleerd dat (ik)….”) Het learner report

Docentwensen versus feitelijk gerapporteerd Het learner report

Docentverwachtingen versus feitelijk gerapporteerd Het learner report

Betrouwbaarheid en validiteit Betrouwbaarheid = geeft herhaalde afname hetzelfde resultaat? Validiteit = meet je eigenlijk wel leeropbrengsten of misschien toch iets anders? Leerervaringen zijn subjectief (alleen domein A kan men objectief meten) Zijn leerlingen wel in staat hun fundamentele leerervaringen te rapporteren? Hoe meer leerzinnen = hoe meer geleerd? Het learner report

vond bij herhaalde afname een redelijke mate van consistentie Van der Kamp (1980): vond bij herhaalde afname een redelijke mate van consistentie aantal leerervaringen bleek niet samen te hangen met taalvaardigheid Janssen & Rijlaarsdam (1996) betrouwbaarheid van analyse: overeenstemming van 88 % gevonden tussen 2 beoordelaars bij indelen van ca. 500 leerzinnen in 6 categorieën inhoud van learner reports verschilt per docent: er zijn duidelijke docenteffecten op wat leerlingen en oud-leerlingen in hun leerverslag rapporteren Het learner report

Dank je wel voor je aandacht Verder lezen? De Groot, 1978, 1980 Van der Kamp, 1980 Van Kesteren, 1993 Janssen, 2000 Het learner report