Is dit onderzoek belangrijk? Is dit onderzoek onbelangrijk?

Presentatie over: "Is dit onderzoek belangrijk? Is dit onderzoek onbelangrijk?"— Transcript van de presentatie:

1 Is dit onderzoek belangrijk? Is dit onderzoek onbelangrijk?
Eva Rijk Esther Laskewitz Roos Kouwenhoven

2 Opbouw presentatie: Methode Resultaten - Formuleringseffecten
- Is de manipulatie geslaagd? - Welke setje vragen is het meest betrouwbaar? - Interactie-effecten - De relatie tussen de schaalvragen en de ‘ware’ mening Conclusie/discussie

3 Methode: Gemanipuleerd op tekststructuur;
2 X 2 ontwerp of factorieël ontwerp: Type tekst Goede tekst Slechte tekst Gemanipuleerd op tekststructuur; Weglaten van de kopjes uit de tekst Alinea’s werden achter elkaar geplaatst. Verwachting: Invloed op de begrijpelijkheid en aantrekkelijkheid van de tekst. Type vraag-formulering Vraag 1= positief Vraag 2= positief Vraag 3= negatief Groep 1 Groep 3 Groep 2 Groep 4 Vraag 1= negatief Vraag 2= negatief Vraag 3= positief Het ontwerp van dit onderzoek leek het meest op een factorieël ontwerp, waarbij twee onafhankelijke variabelen en één afhankelijke variabele worden onderscheiden. Het onderzoeksontwerp ziet er in schema als volgt uit. (leg schema uit) De test werd gemanipuleerd op de tekststructuur; de kopjes uit de tekst waren weggelaten en de alinea’s waren achter elkaar geplaatst, zodat er geen witruimte meer was. De verwachting was dat de “slechte” tekst invloed zou hebben op een (negatieve) mening van de respondent over de begrijpelijkheid en aantrekkelijkheid van de tekst. Zo stellen bijvoorbeeld Spyridakis & Sandal (1987) dat kopjes, net als andere structuuraanduiders zoals connectieven en signaalzinnen, een positief effect hebben op de tekstbegrip.

4 Tekst 1: Goede tekst Vrijwilligerswerk, iets voor jou? Zo...dus jij wilt wel een verzorgingshuis op stelten zetten? Of misschien jongeren van de straat houden? Toch liever de natuur in, of wil je totaal iets anders? Als vrijwilliger kun je eigenlijk van alles doen! Er zijn genoeg mensen, projecten of organisaties die wel wat extra hulp kunnen gebruiken. Denk bijvoorbeeld aan ouderen. Die hebben vaak wat extra zorg en aandacht nodig. En daar is niet altijd tijd voor. Hetzelfde geldt voor jongeren, sportverenigingen en natuur en milieu. Ook daar kunnen ze wel wat helpende handen gebruiken. Zo zijn er nog veel meer mogelijkheden om aan de slag te gaan als vrijwilliger. Test wat je wilt! Via de site kun je allerlei informatie vinden over vrijwilligerswerk. Over de verschillende klussen die je kunt doen, de mensen die je hulp nodig hebben en de organisaties en verenigingen waaraan jij je steentje kunt bijdragen. Op onze site vind je een link naar een handige test, waarmee je binnen vijf minuten weet wat voor soort vrijwilligerswerk het beste bij jou past. We stellen je een aantal vragen en aan de hand van jouw antwoorden ontdek je wat voor vrijwilligerswerk je kunt doen. Als je het weet, dan klik je door naar onze vacaturebank. Daar staan honderden vacatures voor vrijwilligers en zie je wat er allemaal te doen is. Passend bij jouw interesses en nog in de buurt ook! Waarom vrijwilliger? We hebben een aantal jongeren gevraagd waarom zij vrijwilligerswerk doen. Wat vinden zij er leuk aan? Wat doen ze precies? En ook belangrijk, wat hebben ze er zelf aan? Want we vragen niet alleen je hulp. Vrijwilligerswerk heeft je ook veel te bieden; mensen zijn ontzettend dankbaar als je iets voor ze doet. Een vrijwilliger staat midden in de samenleving en doet veel sociale contacten op. Natuurlijk telt ook de (werk)ervaring. En het vrijwilligerswerk geeft je ook de mogelijkheid om je, naast je dagelijkse leven, op andere gebieden te ontwikkelen. Op gebieden die je interesse hebben. Die je voldoening geven. Die je inspireren. Je bewijst dus ook jezelf een dienst door vrijwilligerswerk te doen! Meer over Contour Contour is dé organisatie op het gebied van vrijwilligerswerk in Utrecht en omgeving. Iedereen die hulp nodig heeft of een helpende hand kan bieden, kan bij ons terecht. We hebben deze website ontwikkeld, omdat er genoeg mensen zijn zoals jij. Iedereen wil toch wel iets doen? De vraag is alleen wat? Voor wie? En waar? Wil je nog meer weten of je direct aanmelden als vrijwilliger, kijk dan op Ga naar de vragenlijst De tekst in dit experiment betrof een wervende (persuasieve) tekst voor jongeren over het onderwerp vrijwilligerswerk. De tekst had als hoofddoel lezers te overtuigen dat vrijwiliggerswerk leuk is. De goede tekst in dit onderzoek betrof de tekst zoals hij daadwerkelijk op de website stond en de slechte tekst was dus de gemanipuleerd.

5 Tekst 2: Slechte tekst Vrijwilligerswerk, iets voor jou? Zo...dus jij wilt wel een verzorgingshuis op stelten zetten? Of misschien jongeren van de straat houden? Toch liever de natuur in, of wil je totaal iets anders? Als vrijwilliger kun je eigenlijk van alles doen! Er zijn genoeg mensen, projecten of organisaties die wel wat extra hulp kunnen gebruiken. Denk bijvoorbeeld aan ouderen. Die hebben vaak wat extra zorg en aandacht nodig. En daar is niet altijd tijd voor. Hetzelfde geldt voor jongeren, sportverenigingen en natuur en milieu. Ook daar kunnen ze wel wat helpende handen gebruiken. Zo zijn er nog veel meer mogelijkheden om aan de slag te gaan als vrijwilliger. Via de site kun je allerlei informatie vinden over vrijwilligerswerk. Over de verschillende klussen die je kunt doen, de mensen die je hulp nodig hebben en de organisaties en verenigingen waaraan jij je steentje kunt bijdragen. Op onze site vind je een link naar een handige test, waarmee je binnen vijf minuten weet wat voor soort vrijwilligerswerk het beste bij jou past. We stellen je een aantal vragen en aan de hand van jouw antwoorden ontdek je wat voor vrijwilligerswerk je kunt doen. Als je het weet, dan klik je door naar onze vacaturebank. Daar staan honderden vacatures voor vrijwilligers en zie je wat er allemaal te doen is. Passend bij jouw interesses en nog in de buurt ook! We hebben een aantal jongeren gevraagd waarom zij vrijwilligerswerk doen. Wat vinden zij er leuk aan? Wat doen ze precies? En ook belangrijk, wat hebben ze er zelf aan? Want we vragen niet alleen je hulp. Vrijwilligerswerk heeft je ook veel te bieden; mensen zijn ontzettend dankbaar als je iets voor ze doet. Een vrijwilliger staat midden in de samenleving en doet veel sociale contacten op. Natuurlijk telt ook de (werk)ervaring. En het vrijwilligerswerk geeft je ook de mogelijkheid om je, naast je dagelijkse leven, op andere gebieden te ontwikkelen. Op gebieden die je interesse hebben. Die je voldoening geven. Die je inspireren. Je bewijst dus ook jezelf een dienst door vrijwilligerswerk te doen! Contour is dé organisatie op het gebied van vrijwilligerswerk in Utrecht en omgeving. Iedereen die hulp nodig heeft of een helpende hand kan bieden, kan bij ons terecht. We hebben deze website ontwikkeld, omdat er genoeg mensen zijn zoals jij. Iedereen wil toch wel iets doen? De vraag is alleen wat? Voor wie? En waar? Wil je nog meer weten of je direct aanmelden als vrijwilliger, kijk dan op Ga naar de vragenlijst

6 Opbouw vragenlijst 25 woordparen - dimensie aantrekkelijkheid
- dimensie begrijpelijkheid - dimensie waardering t.o.v. de schrijver van de tekst - dimensie overtuigingskracht 5 controlevragen 2 demografische vragen De vragenlijst bestond uit totaal 32 vragen, 25 vragen hiervan betroffen de daadwerkelijke gemanipuleerde stellingen. Twee vragen uit de lijst hadden betrekking op de demografische gegevens van de respondent en stonden aan het begin van de vragenlijst. Vijf andere vragen betroffen rapportcijfervragen, de zogenoemde ‘controlevragen’ en stonden aan het einde van de enquête.

7 Resultaten: 17 v/d 25 woordparen zorgden voor een formuleringseffect
- dimensie aantrekkelijkheid: 2 v/d 7 - dimensie begrijpelijkheid: 6 v/d 8 - dimensie imago v/d schrijver: 4 v/d 5 - dimensie overtuigingskracht: 5 v/d 5 Soorten tegenstellingen: - lexicale tegenstellingen: 10 v/d 13 - morfologische tegenstellingen: 7 v/d 12 Alle negatief geformuleerde vragen werden positiever beoordeeld. Er zijn formuleringseffecten vastgesteld voor 17 van de 25 stellingen in dit onderzoek, dit is een behoorlijk groot aantal. Uit de analyse bleek dat de lexicale tegenstellingen tot de meeste significante formuleringseffecten leiden (10 van 13 woordparen). Maar ook het aantal morfologische woordparen waar een significant formuleringseffect voor blijkt is vrij hoog (7 van de 12). Alle negatief geformuleerde vragen werden positiever beoordeeld dan de positief geformuleerde vragen.

8 Is de manipulatie geslaagd?
Bij 5 v/d 8 over de begrijpelijkheid van de tekst werd de goede tekst significant beter beoordeeld dan de slechte tekst. Bij de dimensie aantrekkelijkheid werd alleen een significant verschil gevonden tussen de rapportcijfers die werden gegeven. De goede tekst werd hoger beoordeeld dan de slechte tekst Bij het manipuleren van de tekst werd een effect verwacht op de begrijpelijkheid en de aantrekkelijkheid van de tekst. Bij vijf van de acht vragen over de begrijpelijkheid van de tekst werd de goede tekst inderdaad (significant) beter beoordeeld dan de slechte tekst. De beoordelingen over de aantrekkelijkheid bleken echter niet significant te verschillen tussen de goede en de slechte tekst. Dit is opmerkelijk, omdat onze verwachting was dat de manipulatie juist veel invloed zou hebben op de aantrekkelijkheid van de tekst. De tekst was namelijk vrij simpel geformuleerd en voor Universitaire en Hbo-studenten goed te begrijpen. Daarnaast had de manipulatie veel invloed op het uiterlijk van de tekst, de gemanipuleerde tekst zag er heel anders uit dan de goede tekst. Het rapportcijfer voor de aantrekkelijkheid van de tekst verschilde wel significant tussen de tekstversies, waarbij de goede tekst dus beter werd beoordeeld dan de slechte tekst. Terwijl het rapportcijfer voor de begrijpelijkheid niet significant verschilde tussen de tekstversies

9 Welk setje met vragen is betrouwbaarder?
Cronbachs Alfa bij elke dimensie > 0,60. - Negatieve vragen betrouwbaarder: Dimensies begrijpelijkheid en overtuigingskracht - Positieve vragen betrouwbaarder: Dimensie aantrekkelijkheid - Betrouwbaarheid gelijk: Dimensie imago v/d schrijver De vragen binnen alle vier de dimensies; begrijpelijkheid, aantrekkelijkheid, imago van de zender en overtuigingskracht, blijken bij zowel de positieve set als de negatieve set vragen betrouwbaar te zijn. Het verschil in betrouwbaarheid tussen de positieve en de negatieve setjes vragen bleek erg klein. Alleen bij de dimensies begrijpelijkheid en overtuigingskracht bleek het setje negatieve vragen iets betrouwbaarder te zijn dan bij het setje positieve vragen.

10 Interactie effecten: 5 interactie effecten
Bij vier van de vijf vragen maakt de negatieve vraag beter onderscheid in tekstkwaliteit dan de positieve vraag. Voorbeeld Vraag 4: Uit de analyse bleken 5 interactieeffecten. Bij vier van de vijf vragen maakt de negatieve vraag beter onderscheid in tekstkwaliteit dan de positieve vraag. De grafiek laat meteen zien dat vragenlijst B (waarin de vraag negatief was geformuleerd) voor een groter onderscheid zorgde dan vragenlijst A (waarin de vraag positief was geformuleerd). De effectgrootte van het verschil was bij de negatief geformuleerde vraag (dn= 0,7745) groter dan bij de positief geformuleerde vraag (dp= 0,1326). De negatief geformuleerde vraag maakt dus beter onderscheid tussen de goede en de slechte tekst dan de positief geformuleerde vraag.

11 De relatie tussen de schaalvragen en de ‘ware’ mening
Variantie analyse: Bij vier van de zes vragen (die een significant interactie-effect opleverden) werd de ‘ware mening’ het beste gerepresenteerd door de negatieve vraag. Voorbeeld vraag 10:variantie-analyse rapportcijfers per categorie en vragenlijstversie Vraag 10 Negatieve vraag (A) Positieve vraag (B) gemiddelde standaard-deviatie Aantal respondenten negatief 2,00 0,70 15 4,17 1,98 18 neutraal 6,25 1,55 22 6,14 1,56 35 positief 7,15 0,97 33 7,42 1,07 19 Uit deze analyse blijkt dat wanneer de antwoorden op de zevenpunts schaal stegen, de antwoorden bij de rapportcijfers ook hoger kwamen te liggen. Ook is er bij deze vraag sprake van een hoofdeffect van de vragenlijstversie. Dit betekent dat de rapportcijfers die gegeven werden bij de verschillende vragenlijsten, significant van elkaar verschilden. Dit verschil was al eerder geconstateerd bij de randomisatiecontrole. Over het algemeen werd een hoger rapportcijfer gegeven bij vragenlijst B, (positieve vraagformulering), dan bij vragenlijst A. Alleen bij de categorie ‘neutraal’ werd er gemiddeld hoger geantwoord bij vragenlijst A, dan bij vragenlijst B. Het verschil tussen vragenlijst A en B is echter maar 0,11 punt bij deze categorie. Als er gekeken wordt naar de negatieve mening van de respondenten, dan is het de negatieve vraagstelling die de ‘ware mening’ het beste representeerde, omdat hierbij een lager rapportcijfer werd gegeven. Als er gekeken wordt naar de positieve mening, dan was het de positieve vraag die het beste de ware mening van de respondent representeerde, omdat hierbij een hoger rapportcijfer werd gegeven. Het verschil tussen de waarderingen in tekstkwaliteit is groter bij de negatieve vraag, dan bij de positieve vraag. Omdat de negatieve vraag over het algemeen de overhand heeft in het beter representeren van de ‘ware mening’, kan gesteld worden dat de negatieve vraag de ‘ware mening’ het beste representeerde.

12 Regressie analyse: Alleen vooranalyse van vraag 1 en 17 (twee keer makkelijk/moeilijk bevraagd) de ‘ware mening’ het beste gerepresenteerd door de positieve vraag. Uit deze grafiek kan opgemaakt dat de scores op de positieve vraag tot hogere scores op de rapportcijfervraag leiden in vergelijking met de negatieve vraag. Ook kan gesteld worden dat de positieve likertschaalvraag beter overeenkomt met de rapportcijfervragen, want als er een rapportcijfer 10 wordt gegeven correspondeert dit met helemaal mee eens op de likertschaalvraag. Op basis van voorgaande analyse zou dus gesteld kunnen worden dat de positieve vraag beter de ware mening van de respondenten representeert, toch kwam er uit een eerdere analyse dat de antwoorden op de negatieve en positieve schaalvragen bij deze vraag niet significant van elkaar verschilden en kan het verschil in de vertaling naar rapportcijfervragen toegeschreven worden aan steekproeffluctuaties.

13 Conclusie: Dus bij beoordeling van dit onderzoek zouden we moeten
De negatieve vraag maakt het beste onderscheid in tekstkwaliteit en geeft het beste de ware mening van de respondent weer. Dus bij beoordeling van dit onderzoek zouden we moeten vragen: De negatieve vraag maakt het beste onderscheid in tekstkwaliteit en geeft het beste de ware mening van de respondent weer. Dus bij beoordeling van dit onderzoek zouden we moeten vragen:

14 Is dit onderzoek onbelangrijk?
Zijn er nog vragen?