Methoden & Technieken Hogeschool Rotterdam, Collegejaar 2011-2012 college 5 Hogeschool Rotterdam, Opleiding Vastgoed & Makelaardij drs. ing. M.M.A. Scheepers m.m.a.scheepers@HR.nl www.med.HR.nl/scmma

Inhoud Gegevens verzamelen College 5: Hoofdstuk 6: Operationalisatie en Steekproef Hoofdstuk 7: Gegevens verzamelen

Voorbereiding van de dataverzameling Operationalisatie  de begrippen uit je ontwerp omzetten in ‘meetbare instrumenten’, bijvoorbeeld vragen Populatie afbakenen  over welke groep wil je uiteindelijk uitspraken doen? Steekproef trekken  je benadert slechts een deel van je populatie. Hoe ga je dit doen? Wat kun je nu al zeggen over de bruikbaarheid van de resultaten? © Verhoeven – Boom Lemma uitgevers

Operationaliseren I Van theorie naar praktijk Van begrip naar meetinstrument Goede operationalisatie = de juiste afbakening begrippen Wat valt er wél onder, maar ook wat valt er níet onder Operationalisatie: bepalen welke vragen je gaat stellen om deze begrippen daadwerkelijk te meten © Verhoeven – Boom Lemma uitgevers

Een goede surveyvraag Is: Bruikbaar Helder en leesbaar Eenduidig en enkelvoudig Compleet Zuiver (meet wat je meten wilt) Neutraal, objectief, onafhankelijk Niet te lang En: Het bevat geen dubbele ontkenning © Verhoeven – Boom Lemma uitgevers

Een goede vragenlijst Heeft (een) gelijke: En: Structuur Formulering Antwoordmogelijkheden En: Is niet te lang Heeft niet teveel open vragen Heeft een logische volgorde Heeft blokken met vragen over hetzelfde onderwerp Heeft een inleiding voor ieder blok © Verhoeven – Boom Lemma uitgevers

Goede antwoordcategorieën Zijn: Herkenbaar In een logische volgorde geplaatst Uitputtend Uitsluitend Meetbaar Bron: myhome.iolfree.ie © Verhoeven – Boom Lemma uitgevers

Kwalitatieve interviews Onderwerpslijst = topiclijst Uitgangspunt is centrale onderzoeksvraag Vraagstelling is a.d.h.v. onderwerpen  ruimte voor interpretatie door de geïnterviewde Belang van volgorde van de vragen Belang van proefinterview © Verhoeven – Boom Lemma uitgevers

Antwoordmogelijkheden Enkelvoudig: slechts één antwoord mogelijk Schaal (meerpunts): zoals bij de items van ‘werktevredenheid’ Lijst: één antwoord uit een lijst kiezen Open antwoord: zelf het antwoord geven Half open antwoord: de mogelijkheid ‘overig’ Meervoudige antwoorden: meerdere antwoorden mogelijk © Verhoeven – Boom Lemma uitgevers

Meerpuntsschaal Bekend geworden door Likert (1932) Serie oplopende antwoorden voor ieder item Meestal oneven: 3, 5 of 7 Van ‘helemaal mee oneens’ tot en met ‘helemaal mee eens’ Soms even: 4 of 6 mogelijkheden  meetfouten voorkomen van mensen die ‘neutraal’ als ‘weet niet’ interpreteren © Verhoeven – Boom Lemma uitgevers

Diepte-interviews Topiclijst (onderwerpslijst) Uitgangspunt is centrale vraagstelling Belang van de betekenis die geïnterviewde aan onderwerpen geeft Belang van de volgorde waarin de vragen worden gesteld  bepaalt verloop van het gesprek Raadzaam: proefinterview  probeer je vragen (en de volgorde) uit! © Verhoeven – Boom Lemma uitgevers

Populatie en steekproef Populatie: het geheel van ‘eenheden’ waarover je een uitspraak wilt doen  domein bv. middelbareschoolleerlingen in Nederland Operationele populatie: afgebakend deel van je populatie bv. Havo/VWO-leerlingen in de tweede fase Steekproef: dat (aselecte) deel van je populatie waarover je gegevens verzamelt Steekproefkader: lijst waaruit de steekproef getrokken wordt © Verhoeven – Boom Lemma uitgevers

Survey-onderzoek Onderzoekspopulatie + Steekproef Universum Populatie Steekproef Respons Bruikbare respons

Vuistregels steekproef Representativiteit: op aantal kenmerken is je steekproef gelijk aan de populatie bv. Geslacht, leeftijdscategorie, burgerlijke staat Willekeurig: je steekproef wordt bij voorkeur aselect getrokken elke ‘eenheid’ (persoon) heeft een berekenbare kans om in je steekproef terecht te komen Omvang: je steekproef moet voldoende groot zijn, afhankelijk van de gewenste nauwkeurigheid. TIP: houd bij het trekken van je steekproef rekening met de verwachte respons! © Verhoeven – Boom Lemma uitgevers

Aselecte steekproeven Enkelvoudig aselect iedere eenheid in het steekproefkader heeft een berekenbare, gelijke kans om in de steekproef te komen Systematisch met aselect begin Iedere 10e of 15e eenheid komt in de steekproef; de eerste wordt aselect getrokken Cluster Een gehele, bestaande groep (bv. klas) zit in de steekproef. De groepen worden in z’n geheel aselect getrokken Gestratificeerd Aselecte steekproef uit bv. geografische strata (deelpopulaties)  woonwijken Getrapt Verschillende steekproeflagen, bv. eerst cluster, dan enkelvoudig aselect © Verhoeven – Boom Lemma uitgevers

Selecte steekproeven Quota Zelfselectie Doelgericht Van een bepaald kenmerk een maximaal aantal eenheden selecteren, bv. geslacht (50 mannen, 50 vrouwen) Zelfselectie Proefpersonen kunnen zich aanmelden indien ze aan bepaalde voorwaarden voldoen Doelgericht Personen selecteren op bepaalde kenmerken, bv. experts Praktisch bruikbaar Iedere ‘voorbijganger’ wordt gevraagd Sneeuwbal Dataverzameling begint met één persoon uit de populatie (bv. eigen netwerk). Vervolgens vraag je hem/haar naar personen die mogelijk mee kunnen doen aan het onderzoek © Verhoeven – Boom Lemma uitgevers

Kwaliteit = betrouwbaarheid Mate waarin ‘toevallige’ fouten worden gemaakt Verhogen betrouwbaarheid door: Steekproefomvang Interbeoordelaarbetrouwbaarheid Triangulatie Test-hertest Proefinterview Peer examination Rapportage en verantwoording © Verhoeven – Boom Lemma uitgevers

Kwaliteit = validiteit Mate waarin ‘systematische’ fouten worden gemaakt  Interne validiteit: zijn we in staat om de juiste conclusies te trekken? Externe validiteit (populatievaliditeit): zijn we in staat om onze conclusies te generaliseren naar de populatie? Begripsvaliditeit: meten we wat we meten willen? Predictieve validiteit: in welke mate kunnen scores ándere scores voorspellen? (bijv. IQ-test en schoolprestaties © Verhoeven – Boom Lemma uitgevers

Kwaliteit = bruikbaarheid Is onderzoek niet altijd betrouwbaar of valide? Is het dan in ieder geval ‘bruikbaar’ voor de opdrachtgever? Zie bv. Hawthorne-effect Opdrachtgevers nauw bij onderzoek betrekken De juiste vragen maken Het juiste jargon gebruiken Vaste contactpersoon bij de opdrachtgever Goede communicatie © Verhoeven – Boom Lemma uitgevers

Hoofdstuk 7 Gegevens verzamelen Enquêtes afnemen: Schriftelijk (post), elektronisch (internet, e-mail), telefonisch en/of persoonlijk (Open) interviews: telefonisch, of persoonlijk Vóórdat je gaat beginnen met het veldwerk: LAATSTE CHECK OF VRAGEN GOED AANSLUITEN BIJ CENTRALE VRAAGSTELLING!!

Gegevens verzamelen Argumenten Schriftelijk Telefonisch Persoonlijk Tijd veel weinig Variabel Geld variabel duur Aantal vragen Veel Aard vragen gesloten Gesloten/ beperkt open Open Plaatjes ja nee Ja Verwachte respons Niet erg hoog Vrij hoog Risico sociale Wenselijkheid Niet erg groot Vrij groot Aandacht voor relatie Niet veel

Gegevens verzamelen Voordelen: Niet of nauwelijks fouten in de Argumenten On-line Tijd Variabel Geld In verhouding goedkoop Aantal vragen Veel Aard vragen Gesloten (beperkt open) Acceptatiegraad Wisselend Plaatjes Ja Verwachte respons vrij hoog Risico sociale Wenselijkheid Niet erg groot Aandacht voor relatie nee Voordelen: Niet of nauwelijks fouten in de dataverwerking Langere vragenlijsten zijn mogelijk d.m.v. filters en routing Nadelen: Je bereikt alleen maar respondenten met een internetaansluiting Beschikbaarheid van E-mail adressen

Het echte veldwerk begint! Begin met een pilot (proefinterview) Fouten uit de vragenlijst halen Fouten in de routing / filters (bij enquêtes) Herformulering van vragen / antwoorden slechtlopende zinnen, onduidelijke vragen, begrippen die beter gedefinieerd moeten worden, antwoordenlijsten die niet compleet zijn Aanpassing structuur van de vragenlijst Timing van de vragenlijst Hoe lang duurt een interview, hoeveel tijd heeft de respondent nodig om de vragenlijst in te vullen? Met een slordige vragenlijst straal je als onderzoeker geen professionaliteit uit, en daarmee wordt ook de validiteit aangetast!

Veldwerk! Respondenten uitnodigen: Doel, vraagstelling en opbouw van het onderzoek uitleggen en het belang (van antwoorden van) respondent aangeven. Vermelden dat alle gegevens vertrouwelijk behandeld worden. Herhalingen: Een onderzoeker/ enquêteur moet “moeite” doen om een respondent te bereiken (niet direct naar nieuwe respondenten grijpen! Dit leidt tot Systematische steekproeffouten! Dus: Schriftelijke vragenlijst: sturen van een “reminder” Telefonisch onderzoek: opnieuw proberen bij geen gehoor, afspraak inplannen om op later tijdstip terug te bellen. (indien mogelijk) aanbieden om de vragenlijst schriftelijk of via internet af te ronden. Internet / e-mail: sturen van een reminder.

Survey respons Respons van een onderzoek: Redenen non-respons: Het aantal volledig ingevulde vragenlijsten dat daadwerkelijk informatie oplevert. Redenen non-respons: Niet thuis (geen gehoor) Niet in staat om mee te werken (ziekte, handicap, etc.) Geen zin Behoort niet tot doelgroep … Risico: de respons vertegenwoordigt een specifieke groep personen…→ nagaan of de steekproef nog dezelfde kenmerken bezit als de populatie waarover je uitspraken wilt doen!

Survey respons Item-non-respons: Één of meerdere vragen zijn niet ingevuld: Men heeft de vraag niet begrepen Vraag is niet van toepassing op de respondent Respondent heeft geen zin om vraag te beantwoorden, weet het antwoord niet, of heeft geen mening Antwoord dat men wilde geven, staat niet in de antwoordenlijst Vraag niet gezien (achterkant van een bladzijde, fout in filters en/of routing van de vragenlijst) Dit heeft negatieve gevolgen voor de betrouwbaarheid van de resultaten en de validiteit van de vragenlijst!

Interviews Let op de structuur en opbouw van het interview, relevantie van de vragen Statistische generalisatie is bij kwalitatief onderzoek niet zo belangrijk: Beperkt aantal respondenten: na een aantal interviews treed een verzadigingspunt op: je krijgt geen nieuwe informatie meer. Gesprek opnemen: van tevoren toestemming vragen!! Gevolg kan zijn dat respondenten zich minder prettig voelen en daardoor zich minder vrij opstellen in het gesprek.