De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Het meten van tekstwaardering Likertschalen versus Semantisch differentialen VIOT-Lezing, 7 dec 2005 Bregje Holleman Universiteit Utrecht.

Verwante presentaties


Presentatie over: "Het meten van tekstwaardering Likertschalen versus Semantisch differentialen VIOT-Lezing, 7 dec 2005 Bregje Holleman Universiteit Utrecht."— Transcript van de presentatie:

1 Het meten van tekstwaardering Likertschalen versus Semantisch differentialen VIOT-Lezing, 7 dec 2005 Bregje Holleman Universiteit Utrecht

2 Tekstwaardering Belangrijke variabele in taalbeheersingsonderzoek –In experimenten: Wat is het effect van stijlkenmerk S op …? –In evaluatie-/optimaliseringsonderzoek: Hoe wordt tekst T gewaardeerd? Wat is een goede manier om tekstwaardering te meten? Beinvloedt vraagformulering de antwoorden? –En zo ja, hoe?

3 Vragenlijsten voor tekstwaardering Webevaluatie: Kirakowski et al (2005), Muylle et al. (2004), enz. Tekstevaluatie: Lentz, Lentz & Pander Maat (1993), Van Wijk & Van der Pool (1990), Van Wijk (1996) Maes, Ummelen & Hoeken (1996)

4 Van Wijk (1996), Van Wijk & van der Pool (1990) Aantrekkelijkheid –Betrokkenheid Lezersgericht Zelfbewust –Aansprekend Levendig Verrassend Begrijpelijkheid –Inhoud Openheid Helderheid –Structuur Ordelijkheid Doorzichtigheid

5 Van Wijk (1990): meting van “openheid” De tekst raakt de kern van de zaak Zeer oneens – zeer eens De tekst draait om de problemen heen Zeer oneens – zeer eens Ik vind de tekst Verhullend – openhartig Recht door zee - omzichtig

6 Eerder onderzoek naar positieve vs negatieve Likert-vragen Positieve eens/oneens-vragen worden anders beantwoord dan negatieve eens-oneens vragen (o.a. Falthzik & Jolson 1974) Ik vind x goed. Oneens Eens Ik vind x niet goed. Oneens Eens -Geldt ook voor morfologische of lexicale negatie? -En welke vraag is nu beter?

7 Eerder onderzoek naar Likertschalen vs Semantisch Differentialen Niet veel over bekend. Onderzoek naar bipolariteit versus unipolariteit –Zijn bepaalde oordelen/attitudes eenpolig of juist tweepolig? Men neemt vaak, op gevoel, aan dat semantisch differentialen beter zijn…

8 Maes, Ummelen & Hoeken (1996) 6 vragen begrijpelijkheid Moeilijk-makkelijk; Eenvoudig-ingewikkeld; Onduidelijk-duidelijk; Onoverzichtelijk- overzichtelijk; Logisch opgebouw-onlogisch opgebouwd; bondig-omslachtig 6 vragen aantrekkelijkheid Interessant – oninteressant; Afstandelijk – aansprekend; Afhoudend – uitnodigend; Boeiend – saai; Persoonlijk – onpersoonlijk; Eentonig - afwisselend

9 Likertschalen vs Semantisch Differentialen Wat ik weet: –Vraagformulering beinvloedt de antwoorden Maar is dat ook zo in tekstwaarderingsonderzoek? Wat ik wil weten: –Er is formuleringseffect van positieve vs negatieve vragen voor vragen met syntactische negatie. Geldt dat ook voor morfologische en lexicale negatie? –Semantisch Differentiaal lijkt ‘t minst sturend. Maar is dat ook zo?

10 Nieuwe experimenten Begrijpelijkheid en aantrekkelijkheid van tekst meten met de 12 items Maes et al. In 3 vragenlijstversies: –Pos Lik, bijv. “Ik vind de tekst interessant. Eens Oneens” –Neg Lik, bijv. “Ik vind de tekst oninteressant. Eens Oneens” –Sem Dif, bijv. “Ik vind de tekst… Interessant Oninteressant”

11 Design 9 experimenten Steeds binnen elk experiment 3 vragenlijstversies: poslik, neglik en semdif In elk experiment: –Vragenlijstversies gerandomiseerd over personen –Ca 50 respondenten per vragenlijstversie Tussen experimenten: –Respondenten: varierend van studenten tot heterogene populatie –Teksten: varierend van informatief non-profit tot persuasief profit

12 Resultaten: formuleringseffecten In elk experiment leidt ca 1/3 van de vragen tot een significant formuleringseffect Alg beeld: negatieve likertvraag wordt meest positief beantwoord In veel experimenten voorkomende formuleringseffecten: –Afhoudend/uitnodigend –Eenvoudig/Ingewikkeld –Duidelijk/Onduidelijk –Persoonlijk/onpersoonlijk

13 Resultaten (2) Cronbach’s alfa’s per vraagversie: –Gemiddeld ca.8, met grote spreiding –Geen enkele vraagversie is overtuigend het beste (of slechtste)

14 Voorlopige conclusie Vraagformulering maakt uit –Stel negatieve vragen als je positieve uitkomsten wilt hebben Semantisch differentiaal is niet aantoonbaar de beste vraag –Maar betere criteria dan Cronbach’s alfa zijn denkbaar

15 Vervolgonderzoek Welke vraagvorm kan verschillen in tekstkwaliteit het beste aantonen? Helpt een gebalanceerde schaal? Maar ook: zijn dit alle relevante vragen, of de beste vragen naar tekstwaardering?

16 Met veel dank aan de studenten van de mastercursus Vragenlijst & Vraagformulering blok : Annelieke, Joyce, Liselot, Lisa, Laurens, Leontine, Maaike, Daniëlle, Kim, Ellen, Renske, Marieke, Fenny, Jo, Karsten, Linda, Roos, Saskia, Mieke, Marjolein, Albertine, Naomi, Mirjam, Maarten, Bart, Femke, Roos, Debby, Lindy, Linda, Caroline, Marion, Geralda, Désirée, Tomas, Judith, Eline, Carly, Lotte, Ines; en (scriptiestudent) Margriet Brus.


Download ppt "Het meten van tekstwaardering Likertschalen versus Semantisch differentialen VIOT-Lezing, 7 dec 2005 Bregje Holleman Universiteit Utrecht."

Verwante presentaties


Ads door Google