AOS docentonderzoek bijeenkomst 7 Dataverzameling: instrumenten, ontwerp

Data verzamelen Gericht: moet bijdragen aan beantwoorden onderzoeksvraag. Instrumenten: middelen die je helpen om op eenduidige wijze data te verzamelen Bestaande instrumenten of zelf instrument maken

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Het interview De vragenlijst Toets Bezoeken

Tekstbronnen bestuderen Kijkkader met concreet omschreven kijkpunten (vragend of stellend geformuleerd). Bijv: lesmateriaal bestuderen op multiculturaliteit. Kijkpunten: in hoeverre komt voor: - personen van niet-Nederlandse komaf; - situaties buiten Nederland; - situaties waarin interculturele communicatie plaatsvindt…

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Het interview De vragenlijst Toets Bezoeken

Observeren (1) Doelgericht kijken naar situaties in de onderwijspraktijk Opbrengst: inzicht in wat er daadwerkelijk gebeurt in de praktijk Nadeel: tijdsintensief; objectviteit? Onderzoeksvraag (waarom je observeert) is leidend voor wat, wie en op welke manier

Observeren (2) Eenmalig (eenmalige situatie) Vaker (verschillende tijdstippen, situaties, verloop over tijd) Participerend (validiteit +; objectiviteit -) Niet-participerend (validiteit -; objectiviteit +) Direct (directe registratie) Indirect (opname maken) Gestructureerd (concrete aspecten turven) Minder/Niet gestructureerd (beschrijving maken)

Observatie-instrumenten Minder gestructureerd: - observatieschema met observatiedoel en observatiepunten. Gestructureerd: observatiecategorieën en punten: Of iets voorkomt: per tijdseenheid registreren; Hoe vaak iets voorkomt: elke keer dat gedrag voorkomt turven; Hoe lang iets duurt: gedrag + duur ervan; In welke mate of hoe intens iets voorkomt: beoordelingsschalen (betrouwbaarheid en objectiviteit -).

Observatieverslag Doel aangeven Observatiepunten aangeven Geef informatie over plaats, datum, tijd, situatie Beschrijf waarneembaar gedrag Vermijd interpretaties en waarderingen Beschrijf wat vooraf gaat aan gedrag en wat erop volgt (stimuluscondities).

Opdrachten Opdracht 4 op pagina 221 Een minder gestructureerd observatieverslag

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Toets Het interview De vragenlijst Toets Bezoeken

Bevragen (1) Vragenlijsten, interviews. Aandachtspunten: Begrippen en aanduidingen (veel, goed) kunnen verschillend geïnterpreteerd worden Mogelijke invloed van aanwezige personen, plaats, tijdstip, context van het onderzoek Vraagstelling; niet suggestief! Non-verbale communicatie; lichaamshouding

Bevragen (2) Onderzoeksvraag (waarom je bevraagt) is leidend voor wat, wie en op welke manier Wat: onderwerp in kaart brengen; gevoelens, meningen bevragen; ideeën, adviezen; kennis. Wie: leerlingen, leraren, directie, ouders… Allemaal of steekproef: - Reputatiemethode (specialist; evt. sneeuwbalsysteem) - Aspectenmethode (per aspect een vertegenwoordiger) - Steekproeftrekking (toeval: representatief beeld).

Bevragen (3) Op welke wijze: - Eenmalig of vaker Minder tot zeer gestructureerd (voordeel voor analyse; nadeel: gegevens missen) Mondeling: individueel (gevoelig thema, geen beïnvloeding) of groepsinterviews (reacties op elkaar, verschillende perspectieven) Schriftelijk: vragenlijst/enquête (voordeel: tijd; nadeel: verschillende interpretaties, niet doorvragen)

Een voorbeeld ter analyse Bekijk de vragenlijst en bepaal wat de hoofdvraag van het onderzoek zou kunnen zijn. Zou je deze vragenlijst afnemen met een interview of een enquête? Op welke punten behoeft de vragenlijst verbetering?

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Het interview De vragenlijst Toets Bezoeken

Soorten interviews Informatie verzamelend Journalistiek Onderzoekinterviews Selectie Determineren Inhuren van mensen Overtuigend interview Verkopen van producten Verkopen van diensten Probleemoplossend Counseling Therapeutisch Bron: Radboud Unviersiteit Nijmegen. (2005) Onderzoeksmethoden: Interviewen. Geraadpleegd op: http://cs.ru.nl/~tomh/onderwijs/om2%20(2005)/om2_files/syllabus/interviewen.pdf

http://www. universiteitvannederland http://www.universiteitvannederland.nl/college/hoe-doe-je-goed-en-betrouwbaar-wetenschappelijk-onderzoek/

Het interview (1) Interviewleidraad (stappenplan) met: Doel, manier van vastleggen, afspraken met respondenten (anonimiteit, terugkoppeling); Opbouw: welke onderwerpen/thema’s in welke volgorde. Logische ordening: van algemeen naar specifiek (trechterstructuur) of andersom. Inleiding (kennismaking), kern, slot (dank).

Het interview (2) Soorten interviewvragen Inleidend (kun je me iets vertellen over….) Vervolg (inzoomen; meer informatie krijgen) Verdiepend (kun je nog iets meer daarover vertellen) Specificerend (concreter maken) Direct (thema direct bevragen) Indirect (hoe denk je dat de leerlingen dit zien…) Structurerend (iets afsluiten, met nieuw thema beginnen) Interpreterend (klopt het dat…; bedoelde je dat …)

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Het interview De vragenlijst Toets Bezoeken

Vragenlijst (1) Al bestaande vragenlijst of eigen vragenlijst opstellen. Opbouw Informatie vooraf (doel, anonimiteit…) Instructie over hoe in te vullen; antwoordmogelijkheden (1 of meerdere antwoorden) Niet te lang (dan minder nauwkeurig ingevuld) Pilot: uitproberen bij enkele respondenten.

Vragenlijst (2) De vragen Blokken van vragen die bij elkaar horen Van algemeen naar specifiek (trechter) Antwoordmogelijkheid: weet ik niet, niet van toepassing, geen mening Filtervragen (overslaan indien niet van toepassing) Eenduidig en helder formuleren (enkelvoudige vragen, heldere zinsbouw, vermijd moeilijke woorden; geen dubbele ontkenningen)

Vragenlijst (3) Vraagtypen: Open vragen: diverse antwoorden; moeilijker te analyseren Gesloten vragen: Enkelekeuzevragen (1 mogelijkheid kiezen) Meerderekeuzevragen (meerdere mogelijkheden kiezen; uitputtend of: anders, namelijk……) Vragen met getal als antwoord (vergelijkbaarheid) Schaalvragen: stelling op schaal zetten Rangordevragen: antwoorden in volgorde zetten

Opdracht Een docentonderzoeker doet onderzoek naar differentiëren op basis van leerstijl in de biologieles. Hiervoor heeft ze een eerste versie van een vragenlijst gemaakt. Ga in tweetallen na hoe je deze vragenlijst nog zou kunnen verbeteren. Opdracht in Dropbox.

Qualtrics Software voor online enquêtes Beschikbaar gesteld door Tilburg University Qualtrics

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Het interview De vragenlijst Toets Bezoeken

Toets Kennis of vaardigheden Onderzoeksvraag: Zijn leerdoelen gehaald? ontwikkeling; leervorderingen; leereffect van een aanpak. Methodegebonden of onafhankelijke toetsen. Zelf toets maken: doel vaststellen; inhoud erop afstemmen; nauwkeurig formuleren (kort, zakelijk); voldoende opdrachten, tijd. Vraagvormen: open (mondeling; essay; opdrachten; van tevoren beoordelingscriteria opstellen) gesloten (ja/nee; meerkeuze; matching).

Instrumenten Tekstbronnen bestuderen Observeren Bevragen Het interview De vragenlijst Toets Bezoeken

Bezoeken Doel van bezoek (welke deelvraag) Plannen: wanneer, wie, wat, hoe (bestuderen, observeren, bevragen) Contact leggen en afspraken maken (bijv over wat er met resultaten gebeurt; anonimiteit) Verslaglegging: kort na je bezoek (vers); geef context van school/instelling

Stappenplan voor instrument: voorbeeld enquête Doel Kernbegrip Deelaspecten Kijkpunten Observatiepunten Vragen/stellingen Vaststellen van waardering groepswerk door leerlingen Organisatie van samenwerking Samenstelling van groepen Ik zit in een fijne groep. Verdeling van taken Ik moet veel meer doen dan anderen in deze groep. Opbrengst van samenwerking Kennis delen Samen weten we meer dan elk alleen. Ieders expertise gebruiken We kunnen in deze groep van elkaar leren. …

Stappenplan voor het maken van een instrument Uitgangspunt: doel van het instrument Lijst met kernbegrippen Opsplitsing van kernbegrippen in deelaspecten Omzetten van kernbegrippen en deelaspecten in kijkpunten, observatiepunten, vragen/stellingen. Keuze van de kijkpunten/observatiepunten/vragen die het beste passen bij het doel Ordening aanbrengen. Voorleggen aan anderen en pilot.

Aan de slag Doel Kernbegrip Deelaspecten Kijkpunten Observatiepunten Vragen/stellingen doel Kernbegrip 1 Deelaspect 1.1 Deelaspect 1.2 Kernbegrip 2 Deelaspect 2.1 Deelaspect 2.2 Deelaspect 2.3