Observeren en interviewen xxxxxxxxxxxxxxx 4/8/2017 Observeren en interviewen 12 februari 2015, Ari de Heer, Hans Poorthuis, Nicolien Montessori xxxxxxxxxxxxx

Opbouw van de middag Terugblik startreview Rondje hoe staat het met het onderzoek Theorie omgaan met onderzoeksinstrumenten Data verzamelen Zelf werken met onderzoeksinstrumenten Aandacht voor data analyse

interviewen

Een interview Staat in het kader van je probleemoriëntatie xxxxxxxxxxxxxxx 4/8/2017 Een interview Staat in het kader van je probleemoriëntatie Wat wil je vragen? Denk aan je onderzoeksvragen, en de verkenning van het praktijkprobleem Wie wil je bevragen? Denk aan de direct betrokkenen / experts op jouw school / collega’s of leerlingen die veel te maken hebben met het probleem of vraagstuk dat ten grondslag ligt aan je opdracht Een interview is niet altijd makkelijk.. Linkje over interviews met bondscoaches xxxxxxxxxxxxx

Het maken van een interviewleidraad xxxxxxxxxxxxxxx 4/8/2017 Het maken van een interviewleidraad Zie hand-out Alle onderdelen schrijf je voor je eigen interview volledig uit in de leidraad Hand-out met het format voor een leidraad staat op de site xxxxxxxxxxxxx

Welke vragen ga je stellen? Bepaal welke vragen je wilt stellen (par. 6.1 Van der Donk) Doel van het interview kernbegrip deelaspecten (Bij bevragen: ) vragen en / of stellingen Na afloop heb ik data waaruit blijkt of leerlingen nadenken over de betekenis van het vak Nederlands in hun vervolgopleiding Begrip 1 Kennis van leerstof Nederlands. Deelaspect 1 Leerstof in het boek Deelaspect 2 Begrip 2 vervolgopleiding Soort stappenplan maak je voor het uitvoeren van een interview. Kernbegrippen ontleen je aan de beschrijving van het praktijkprobleem, de onderzoeksvraag, literatuurstudie.

De volgorde van je vragen Van algemeen naar specifiek of: Van specifiek naar algemeen

Soorten vragen Let op: stel geen suggestieve vragen Je vindt het zeker niet leuk om huiswerk te maken? Wat vind je ervan om huiswerk te maken? Open / gesloten vragen Hoe ziet je ochtend eruit? Hoe laat zet je ‘s ochtends de wekker? Bekijk p. 205 van Van der Donk voor meer soorten vragen

Verdere voorbereidingen 1. Nodig je gesprekspartners ruim van tevoren uit! Wees helder over de bedoeling en lengte van het interview 2. Kies een rustige locatie uit Geen geluidsoverlast Niet tussendoor binnenlopen 3. Zorg voor goede opnameapparatuur Voicerecorder – vaak ook op je mobiel! 4. Laat je interviewleidraad door een ander bekijken Volgende week: meenemen eerste versie

Tijdens het interview Wees aandachtig. Concentreer je op de ander en laat je niet afleiden. Neem een luisterende houding aan. Verdraag stiltes. Praat zelf niet te veel. Stiltes kunnen ook strategisch worden gebruikt om de ander tot spreken te stimuleren. Vraag door bij wanneer je meer informatie wilt.

observeren

Wat is observeren? In je vooronderzoek kun je ook de ‘observatie’ inzetten als dataverzamelingstechniek ‘Observeren’ betekent het kijken naar gedrag en hier zo nauwkeurig mogelijk verslag van doen Observatoren en onderzoeker hoeft niet dezelfde persoon te zijn! Over het algemeen heeft observatie de voorkeur bij onderzoek naar gedrag – enquêtes en interviews zijn meer gericht op motieven en houdingen

Observeren: verschillende vormen Open versus verborgen observatie Participanten weten dat zij geobserveerd worden Participanten weten dit niet – na de observatie wordt toestemming gevraagd Participerende en niet-participerende observatie Verschil tussen observeren tijdens een vakgroepvergadering en tegelijkertijd deelnemen Of achterin de klas zitten

observeren Directe versus indirecte observatie Zonder tussenkomst van apparatuur of niet Ongestructureerde observatie of gestructureerde observatie vrije waarneming – gevaar: selectieve perceptie Observatie aan de hand van een observatieschema (of ‘codeerschema’)

Een observatieschema: verschillende soorten xxxxxxxxxxxxxxx 4/8/2017 Een observatieschema: verschillende soorten Bekijk een voorbeeld van een open observatieschema (semi-gestructureerd) Bekijk een voorbeeld van een gesloten observatieschema (voorgestructureerd) Bespreek de verschillende varianten Voor schema zie site xxxxxxxxxxxxx

Het maken van een observatieschema Bepaal welke vragen je wilt stellen (par. 6.1 Van der Donk) Doel van de observatie kernbegrip deelaspecten (Bij observeren ) observatiepunten Na afloop heb ik data waaruit blijkt of collega’s aan ‘samenwerkend leren’ doen tijdens hun lessen Begrip 1 Samenwerkend leren Deelaspect 1 Deelaspect 2 Vergelijk schema interviewen

Data-analyse: aanpak Top-down (deductief) of bottom- up (inductief)? Kwalitatief of kwantitatief?

Data analyse kwalitatief Bottom-up: Inductieve analyse van de data (e.g. Miles & Huberman, 1994) Holistische benadering Grounded theory (Glaser & Strauss) > Start met ‘sensitizing concepts’ > open codering > theoretisch coderen

Document analyse Thematisch: per thema een overzicht maken wat de respondenten hebben gezegd of wat er in het document staat Coderen: Open coderen (vanuit de data codes bepalen) Gesloten coderen (vanuit theorie codes bepalen)

Operationaliseren Aanscherpen van je onderzoeksdoelen door het toevoegen van: A) definiëren en benoemen van indicatoren B) Meet- of monitor handelingen om de opbrengsten in beeld te brengen en te evalueren

Operationaliseren (constructvaliditeit) =het concreet maken van je begrippen Indicatoren Enquêtevragen Culturele belangstelling Bezoek toneel-voorstellingen Hoe vaak bent u in het afgelopen jaar naar een toneelvoorstelling geweest? Bezoek klassieke concerten Hoe vaak bent u in het afgelopen jaar naar een klassiek concert geweest? Literatuur lezen Hoeveel literaire romans hebt u in de afgelopen drie maanden gelezen? Operationalisering van het begrip ‘culturele belangstelling’ (Baarda et al., 2007)

Data analyse: drie fasen Voorbereiding: onderzoeksvraag; sample; codeerregels Analyse: aanpak, wie, tools Rapportage: tabellen, grafieken, fragmenten, beschrijvingen

Data-analyse: aanpak Top-down (deductief) of bottom- up (inductief)? Kwalitatief of kwantitatief?

Voorbeeld inductief coderen Problemen lln. Cognitief Laag tempo Concentratie Gebrek aan onderzoeksvaardigheden Te moeilijk Sociaal Gebrek aan sociale vaardigheden Samenwerkingsproblemen Inzet Dominantie Meeliften Problemen lk. Organisa- torisch Rumoer Onrust Tijd Begeleiding Weinig zicht op proces Ander voorbeeld: Als je onderzoek gericht is op taalproblemen van leerlingen in de klas, zouden kerncategorieen kunnen zijn: begrijpen van taal met subcodes: gesproken taal, schriftelijke teksten), produceren van taal (met subcodes: gesproken taal, geschreven taal), achtergronden van taalproblemen met als subcodes: Nederlands als tweede taal, interactie in het gezin, migratie-achtergrond. 24

Coderen 1. Bepalen hoe je gaat coderen Top Down vanuit de theorie/deductief Bottom-up vanuit de data/ inductief Combinatie van deductief en inductief 2. Codeerschema ontwikkelen 3. Fragmenten selecteren Vaste fragmenten Fragmenten worden bepaald door toekennen codes

Inductief coderen Lezen van de tekst in achterhoofd houden van thema’s Creeren van codes of thema’s. Algemene categorieeen. Specifieke categoreen (door meerdere malen de tekst te lezen). een fragment kan meerdere categoerieen hebben, het kan ook voorkomen dat tekst geen code krijgt. Zoek binnen elke categorie naar sub-topics

Voorbeel deductief coderen

Software Word eerst regels nummeren, in de kantlijn coderen, evt printen, knippen, sorteren Excell, per fragment coderen AtlasTi - maar vergunning nodig Nvivo (tip: gebruik You Tube voor tutorials) http://www.youtube.com/watch?v=HDMxcHpMSOs

Deductief coderen Imprecise Precise (1) Recalls   Imprecise Precise (1) Recalls “I go to the library after class” (personal level);  “This school has 134 students” (school level) “I did three activities on reading”;   “I changed the classroom distribution twice”. (2) Appraisals (Both positive and negative) “The teaching plan for the activity was ok”   “I have noticed the students liked the lesson” “The round of questions was difficult because the students had not reviewed the contents” (3) Rules “It is better for kids to split the activity” “It is important that pupils understand the story plot by associating each character with a single attribute”. (4) Artefacts “I would repeat that explanation next time”… “I would repeat the explanation at least twice: one at the beginning of the class and another one once they have done the exercises” (5) Practical justifications “I called the pupil”… “I called the pupil by name during the lesson, because it was the only possible way to gain her attention.” Deductief coderen ACTTEA, 2014

Methoden van dataverzameling xxxxxxxxxxxxxxx 4/8/2017 Methoden van dataverzameling Logboek Veldnotities Leerling logboek Documentenanalyse Toetsen Observatie Interview Vragenlijsten De kracht van observatie: Je kunt 1000 mensen vragen welk schilderij ze het mooist vonden, je kunt ook kijken waar de vloerbedekking de meeste slijtage vertoont. Waarschuw voor vragenlijsten: ze zijn zeer moeilijk te construeren. Wanneer zet je welke methode in? Bespreek interactief. Gebruik altijd minstens twee methoden – triangulatie! Om je resultaten betroubaarder te maken. xxxxxxxxxxxxx

Operationaliseren kernbegrippen Dimensie indicator Werkdruk Definitie: De mate van fysieke en psychische druk die als gevolg van het werk wordt ervaren Fysiek Lichamelijk gespannen Vermoeidheid Pijn Kwetsuur …. Psychisch Ontbreken plezier in werk Niet aan iets anders kunnen denken Lusteloosheid … Begrip zoals bedoeld Operationalisatie

Even terughalen: Altijd eerst de onderzoeksvraag!! Wat wil je weten? Wat wil je met je onderzoek bereiken? (functie) Welke gegevens moet je daartoe verzamelen? Bij wie of wat? Op welke manier? Kiezen methode/instrument Data analyse Consistentie!

Triangulatie Vanuit meerdere perspectieven naar je onderzoeksdata kijken Je kunt trianguleren mbt Onderzoeksbronnen (theorie), onderzoeksinstrumenten (interview, observatie, enquete) en data. Je kunt dit gelaagd doen: bijv. eerst een enquete en dan een (diepte) interview op grond van uitkomsten van de enquete.

“Trustworthiness” vergroten Zie “Alternative quality standards in qualitative research?” Poortman & Schildkamp, 2012 Bv. Member checking, zelfde soort format gebruiken, meerdere bronnen (triangulatie)

Betrouwbaarheid Inter-beoordelaarsovereenstemming Cohen’s Kappa (SPSS) Programma’s voor berekening Cohen’s kappa: SPSS – crosstabs/statistics http://en.wikipedia.org/wiki/Cohen's_kappa

Onderzoeksmethodologie literatuur Baarda, D.B., de Goede, M.P.M. & Teunissen, J. (2005). Basisboek Kwalitatief onderzoek: Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek. Houten: Stenfert Kroese. Baarda, D.B., de Goede, M.P.M. & Kalmijn, M. (2007). Basisboek Enquêteren: Handleiding voor het maken van een vragenlijst en het voorbereiden en afnemen van enquêtes. Groningen: Wolters-Noordhoff. Guba, E.G. (1981). Criteria for assessing the trustworthiness of naturalistic inquiries. Educational Technology Research and Development. 29(2), 75-91. Van de Sande, J.P. (1999). Gedragsobservatie: Een inleiding tot systematisch observeren. Houten: Matrinus Nijhoff. Poortman, C. L., & Schildkamp, K. (2012). Alternative quality standards in qualitative research?. Quality & Quantity, 46(6), 1727-1751. Slotboom, A. (2001). Statistiek in woorden: De meest voorkomende termen en technieken. Groningen: Wolters-Noordhoff.