Vragenlijst en Vraagformulering Bregje Holleman B.holleman@let.uu.nl College Ma 11-13: UCU 2.15 Do 9-11: UCU 2.14

Cursushandleiding Beschikbaar via website en in collegemap www.let.uu.nl/~bregje.holleman/personal/

Doel van de cursus Onderzoek naar formuleringseffecten in vragenlijsten naar tekstbegrip en tekstwaardering

Voorbeeld formuleringseffect Rugg (1941): Hoe meet je de publieke opinie t.a.v. openbare toespraken tegen democratie?? Do you think the government should forbid public speeches against democracy? no 39 % Do you think the government should allow public speeches against democracy? yes 21 % Je kunt vragen: Hoe sta je tegenover x.. Wat vind je van x.. Maar ook vragen naar een actie: vind je dat de overheid x moet verbieden/toelaten? Komt veel voor in beleidsvragenlijsten Rugg was 1e die dit onderzocht, in pre-statistiek tijdperk Hoe? Split ballot Zie collegestof deze weeek Dus meer nee v dan ja t Waarom is dit erg? Gevolg  conclusies verschillen Maar kun je nu iets zeggen over alle v/t vragen? Alle tegengestelde vragen? Alle formuleringsvariatie? En welke vraag is nou beter? moet je iets voor weten over oorzaak óf je moet andere criteria hanteren, bijv…? Suggesties?

Structuur van de cursus Week 1+2: inlezen over (onderzoek naar) vragenlijsten, formuleringseffecten, tekstwaarderingsonderzoek Week 3+4: probleemstelling en vragenlijst Week 5: dataverzameling, datainvoer Week 6+7: analyse en verslaglegging Week 8: presentatie, evaluatie

Procedures Samenwerken in groepjes Toetsing Iemand van groepje is altijd aanwezig bij colleges Max. 2x afwezig, meld je vooraf af via mail aan mij Zorg voor eerlijke taakverdeling Toetsing 2x groepsopdracht: probleemstelling (20%) en eindverslag (50%) 1x individuele toets (30%, min 4.0) Toets is individueel. Gaat over collegestof en gelezen literatuur (dus artikelen en slides). Niet over extra literatuur. Daarna werk je in groepjes aan 2 groepsopdrachten, maar die voorbereiding begint al meteen te lopen Dus aan ‘t eind van de pauze bij dit college: indelen ingroepjes van 3 (of soms 2 pp). Max 10 groepjes Eerlijke taakverdeling: iedereen houdt overzicht over ‘t geheel, niemand drukt zich systematisch, meld problemen bijtijds (in vertrouwen) Elke student mag max 2x afwezig zijn. Meld je wel vooraf af bij mij, via email.

Structuur van het onderzoek Tekstwaarderingsonderzoek bij bestaande tekst of website Tekst in 2 varianten: goede vs slechte Met vragenlijst in 2 of 3 varianten: positief vs negatief vs semantisch differentiaal om Effect van vraagvariatie te onderzoeken Generalisatie van eerder onderzoek naar contrastieve vragen Zoeken naar beste vraagformulering 2 of 3 varianten: in ekl geval: pos vs neg vragen. Liefst ook: sem diff. Aantal respondenten: ca 50 per ‘cel’ (en ook ca 50 per student…) Keuze voor de tekst of website: vrij. Bij website vaak ook: websurvey. Kies iets waarvoor je denkt gemakkelijk respondenten te kunnen vinden, dus tekst niet te lang, makkelijke en brede of goed bereikbare doelgroep.

Tekstwaardering: bij welke tekst? Web of tekst mag allebei Bij webtekst ook websurvey! Kies niet te lange tekst Kies tekst met brede doelgroep en/of goed te bereiken doelgroep Kies tekst die goed of slecht kan zijn op dimensies van Maes/Hoeken/Ummelen Zie alvast vragenlijst Maes/Hoeken/Ummelen

Hoe kun je attitudes meten? Tekstanalyse Observatie ‘unobtrusive’ Direct participerend Interview Gestandaardiseerd vs ongestandaardiseerd Kwantitatief vs kwalitatief Open vs gesloten Mondeling vs papier vs digitaal

Triangulatie Elke onderzoeksmethode heeft zijn eigen voor- en nadelen. Daarom: combineer verschillende methoden om dezelfde vraagstelling te onderzoeken! = triangulatie

Voor – en nadelen van gestandaardiseerde gesloten vragenlijsten Voordelen Vergelijkbaarheid van de antwoorden Gemakkelijke/snelle analyse Snelle afname Respondenten coderen hun eigen antwoorden. Nadelen Respondenten kunnen individuele ei niet kwijt Zelfde vraag meet bij verschillende personen niet per se hetzelfde

Waar worden surveys gebruikt? Sociaal-wetenschappelijk onderzoek Beleidsonderzoek, opinieonderzoek Marketingonderzoek Tekstevaluatie Referenda

Donderdag a.s. (1) Doorlezen over formuleringseffecten (Molenaar) Bekijken van formuleringsadvies in de praktijk (Korzilius en Bartelds) Denk na: Hoe sluiten de adviezen aan bij het onderzoek? Verschillen de adviezen tussen K. en B.? Doen: maak korte samenvattingen van alle gelezen literatuur, formuleer kritische/begripsvragen Doen: analyseer vragenlijst

Donderdag a.s. (2) Analyse uitgedeelde vragenlijst Zie ook Emans Hfdst 8 Wat is de onderzoeksvraag? Dwz, wat meet de vragenlijst als geheel? In welke subdimensies=theoretische variabelen (clusters vragen) is dat opgedeeld? Is dat adequaat? (Tip: inhoudelijk bijeenbehorende vragen staan al bij elkaar). Naar welke vragen= ruwe variabelen is/zijn die theoretische variabelen omgezet? Is dat handig? Zijn ‘t er genoeg? Welke concrete vormgeving/formulering v/d vragen/antwoordopties is gekozen? Is die adequaat? Hoe is de rest van de vragenlijst vormgegeven? Is die adequaat?

Volgende week: meer lezen over: Onderzoek naar contrastieve vragen Onderzoek naar tekstwaardering Toewerken naar onderzoeksvraag + design