Het learner report als onderzoeksinstrument

Presentatie over: "Het learner report als onderzoeksinstrument"— Transcript van de presentatie:

1 Het learner report als onderzoeksinstrument
Tanja Janssen ILO,

2 Vooruitblik Wat is een learner report? Theoretische achtergrond
Constructie van learner report Analyse van learner reports (+ opdracht) Een interpretatiekader (+ opdracht) Betrouwbaarheid & validiteit Het learner report

3 Wat is een learner report?
Zelfrapportage-instrument om leereffecten te achterhalen die niet of moeilijk objectief te toetsen zijn (bijv. attitudes, zelfkennis, zelfinzicht) Basisvorm: Ik heb geleerd dat (ik) …. Ik heb geleerd hoe (ik) …. Het learner report

4 Waarvoor te gebruiken? voor onderzoek: Doelstellingenonderzoek
Evaluatie-onderzoek Ontwerp-onderzoek in onderwijs: (Zelf)evaluatie instrument Didactisch instrument (reflectie, coaching) Het learner report

5 Theoretische achtergrond: A.D. de Groot
Dilemma: Wat objectief meetbaar is, is niet altijd relevant Wat relevant is, is niet altijd eenvoudig te meten Dekkingsprobleem: Hoe zorg je ervoor dat wat je meet, dekkend is voor de complexe doelen die in onderwijs worden nagestreefd? Het learner report

6 Wat zijn onderwijsdoelstellingen voor ‘dingen’?
Gewenste onderwijsleereffecten Niet gelijk te stellen aan eindgedrag Iets wat de leerling van onderwijs meeneemt, als geestelijk bezit: - mentale programma’s - disposities tot gedrag Waar de leerling bewust en vrij over beschikt Alle leereffecten kunnen in principe door leerling gerapporteerd worden Het learner report

7 3 soorten onderwijsleereffecten
afvraagbaar demonstreerbaar alleen rapporteerbaar Het learner report

8 Domeinen van leerervaringen volgens De Groot (1980)
Leren van regels en uitzonderingen op regels Leren over de wereld en leren over jezelf Het learner report

9 In schema: regels uitzonderingen wereld zelf
Feiten mbt de wereld, dingen die altijd zo zijn Nieuwe dingen, verrassingen mbt wereld Regels mbt mijzelf Verrassingen mbt mijzelf wereld zelf Het learner report

10 Regels leren A. Regels mbt de wereld: “Ik heb geleerd dat … (X=Y)”
Ik weet nu wat fotosynthese is Ik heb geleerd dat veel schrijvers een nare jeugd hadden C. Regels mbt mijzelf “Ik heb geleerd dat ik (altijd) …..” Ik heb gemerkt dat ik makkelijk schrijf Ik heb geleerd dat ik het fijn vind om samen te werken Het learner report

11 Uitzonderingen leren B. Uitzonderingen mbt de wereld:
“Ik heb geleerd dat het niet waar is dat…” Ik heb geleerd dat walvissen helemaal geen vissen zijn, zoals ik altijd dacht D. Uitzonderingen mbt mijzelf “Ik heb geleerd dat het niet waar is dat ik….” Ik heb gemerkt dat ik best goed ben in wiskunde, terwijl ik altijd dacht ik dat ik ‘t niet kon Het learner report

12 Constructie van een learner report
Open vorm of gesloten vorm Het learner report

13 Open vorm Met dit Learner Report willen we erachter komen wat jij van de lessen ‘Mens en Machine’ geleerd hebt, wat jij vindt dat je er aan gehad hebt. Met ‘leren’ bedoelen we niet alleen ‘meer kennis gekregen hebben’, maar ook wat je door de lessen over jezelf geleerd hebt. Nu is het niet zo eenvoudig om zomaar even op te schrijven wat je allemaal geleerd hebt. Daarom hebben we een manier bedacht waarop je dit wat gemakkelijker kunt doen. Deze manier gaat ervan uit dat er vier soorten van leren zijn: leren over dingen die altijd zo zijn leren over dingen die anders zijn dan je dacht leren over jezelf leren over dingen van jezelf die anders zijn dan je dacht. Op deze 4 gebieden zijn we benieuwd wat je van de lessen Mens en Machine geleerd hebt. De toelichting staat op de volgende bladzijden. Er zijn geen goede of foute antwoorden: het gaat er om wat jij vindt. We willen dus graag dat jij persoonlijk de zinnen opschrijft, en het niet samen doet met een medeleerling. Het learner report

14 Aandachtspunten bij open vorm
de term “leren” voorbeeldzinnen geven of niet? volgorde van rubrieken, volgorde-effecten (‘leeg schrijven’) sociale wenselijkheid: hoe dit tegengaan? verklaringen / toelichtingen uitlokken (“want, omdat, door….”) … Het learner report

15 Gesloten vorm 1. Ik heb meer zelfvertrouwen gekregen door de lessen.
□ Zeer eens □ Eens □ Oneens □ Zeer oneens 2. Ik heb geleerd beter samen te werken. Het learner report

16 Gesloten vorm: voor- en nadelen
Voordelen: doet geen beroep op schrijfvaardigheid eenvoudiger af te nemen / in te vullen bruikbaar bij het vergelijken van groepen analyse veel minder bewerkelijk Nadelen: lln rapporteren misschien méér dan zij feitelijk hebben geleerd Verder: zelfde nadelen als gesloten vragenlijst Het learner report

17 Analyseren van open learner reports: een opdracht
In drie- of tweetallen: Bekijk 3 learner reports van leerlingen (5 havo/vwo) Bedenk een manier waarop je dergelijke reports zou kunnen analyseren Bepaal eerst je analyse-eenheid, baken deze af. Bijvoorbeeld: analyseer je per zin? per rubriek? per leerling? Probeer je analyse-eenheden te typeren / categoriseren Het learner report

18 Aandachtspunten bij analyse
Kwalitatief of kwantitatief? Atomistisch of holistisch? Wat is je eenheid van analyse? Hoe categoriseer je? (op basis van theorie of materiaal zelf?) Hoe betrouwbaar is je analyse en hoe stel je dat vast? Interpretatie: valt het mee of valt het tegen? Het learner report

19 Een interpretatiekader
wenselijke leerervaringen feitelijk gerapporteerde leerervaringen verwachte leerervaringen Rijlaarsdam & Janssen (1996) Het learner report

20 Opdracht Neem een les of lessenserie in gedachten die jij zelf hebt gegeven of die je wil geven; Bedenk welke leerervaringen jij het liefste zou willen zien in learner reports van leerlingen; Formuleer een paar van die wenselijke leerervaringen in de ik-vorm (“Ik heb geleerd dat (ik)….”) Het learner report

21 Docentwensen versus feitelijk gerapporteerd
Het learner report

22 Docentverwachtingen versus feitelijk gerapporteerd
Het learner report

23 Betrouwbaarheid en validiteit
Betrouwbaarheid = geeft herhaalde afname hetzelfde resultaat? Validiteit = meet je eigenlijk wel leeropbrengsten of misschien toch iets anders? Leerervaringen zijn subjectief (alleen domein A kan men objectief meten) Zijn leerlingen wel in staat hun fundamentele leerervaringen te rapporteren? Hoe meer leerzinnen = hoe meer geleerd? Het learner report

24 vond bij herhaalde afname een redelijke mate van consistentie
Van der Kamp (1980): vond bij herhaalde afname een redelijke mate van consistentie aantal leerervaringen bleek niet samen te hangen met taalvaardigheid Janssen & Rijlaarsdam (1996) betrouwbaarheid van analyse: overeenstemming van 88 % gevonden tussen 2 beoordelaars bij indelen van ca. 500 leerzinnen in 6 categorieën inhoud van learner reports verschilt per docent: er zijn duidelijke docenteffecten op wat leerlingen en oud-leerlingen in hun leerverslag rapporteren Het learner report

25 Dank je wel voor je aandacht
Verder lezen? De Groot, 1978, 1980 Van der Kamp, 1980 Van Kesteren, 1993 Janssen, 2000 Het learner report