Beschrijvende en inferentiële statistiek College 12 – Anouk den Hamer – Hoofdstuk 15 (toegevoegd hoofdstuk over betrouwbaarheidsanalyse)

Vandaag Betrouwbaarheidsanalyse Overzicht stof

StatLab toetsen (nog 2 te gaan!) Hfd. 15 zit niet in de Statlab en/of SPSS toets We slaan hfd. 14 (Analysis of Variance) dus over (= geen tentamenstof) Verder nog in petto: donderdag 14-3: proeftentamen > zie BB. Dinsdag 19-3: responsiecollege. Deadline posten van vragen (BB) = vrijdag 15 maart om 17:00 woensdag 27-3: echte tentamen! Houd BB in de gaten, daar wordt de zaalindeling bekend gemaakt

Betrouwbaarheidsanalyse

Onderzoek Vragenlijsten

Woede schaal 9. Nooit Zelden Soms Vaak Heel vaak Hoe vaak verlies jij je geduld? 1 2 3 4 5 Hoe vaak kunnen kleine dingen jou irriteren? Hoe vaak blijf je boos op iemand die jou gekwetst heeft? Hoe vaak heb je zin om te schreeuwen tegen je leraar of ouder? Hoe vaak heb je zin om wraak te nemen op iemand die jou boos heeft gemaakt? Hoe vaak heb je het gevoel dat andere mensen altijd geluk hebben en jij niet? Hoe vaak heb je het gevoel dat het leven niet eerlijk is voor je? Hoe vaak ben je jaloers op anderen? Hoe vaak sta je op het punt in woede uit te barsten? Hoe vaak heb je zin om je leraar of ouder te slaan?

Woedelevel Homogeniteit Item1 Item2 Item3 Item4 Item5 etc.

Altijd last van meetfouten Ksi (true score) X e (measurement error)

Stability = reliability Stabiel meetinstrument Test-retest methode Oplossing: direct repeated measurement Betrouwbaarheidsanalyse controleert of je het construct betrouwbaar meet

Cronbach’s alfa De Cronbach’s alfa geeft aan hoe betrouwbaar een schaal één of meerdere constructen meet Ligt (bijna altijd) tussen 0 en 1 > .70 betekent een voldoende betrouwbare schaal, beter is echter > .80

Parallelle items Assumptie set items: ongeveer dezelfde gemiddeldes en sd’s (gelijke variantie) Als de items (ongeveer) dezelfde gemiddeldes en sd’s hebben: parallelle items

    Formule geldt alleen wanneer standaard deviaties van alle vragen gelijk zijn.

Analyse betrouwbaarheid in SPSS “Standardized items” = z-scores Cronbach’s alpha met de gestandaardiseerde scores (z-scores) Alle vragen hebben dan exact dezelfde variantie. We gebruiken in de praktijk deze: Cronbach’s alpha met de orginele scores. (op basis van een iets lastigere, exacte formule die je niet hoeft te kennen) 13

Formule invullen Gemiddelde correlatie tussen de items: 10 items

Output betrouwbaarheidsanalyse woedeschaal Bij gelijke variantie “Voorzichtige” Cronbach’s alfa: ongelijke variantie Cronbach’s alfa waar je in de praktijk naar kijkt

Eigenschappen Cronbach’s alfa Is een onderschatting van de betrouwbaarheid; de betrouwbaarheid is minimaal de waarde van de Cronbach’s alfa, maar zou ook hoger kunnen zijn Hoe meer items, hoe hoger de Cronbach’s alfa Hoe hoger de samenhang (inter-item correlation) tussen de items, hoe hoger de Cronbach’s alfa

Correlatie en aantal vragen Gemiddelde correlatie 0.1 0.5 0.9 Aantal vragen 4 0.308 0.800 0.973 8 0.471 0.889 0.986 12 0.571 0.923 0.991 Hoe hoger de gemiddelde correlatie tussen de items, hoe betrouwbaarder de schaal Hoe meer items, hoe betrouwbaarder de schaal

Hoe vergroot je de betrouwbaarheid van een schaal? Drie criteria om Cronbach’s Alpha te verhogen: Cronbach’s Alpha if item deleted Corrected Item-Total Correlation Squared Multiple Correlation

Vergroting betrouwbaarheid Cronbach’s alpha if item deleted = Cronbach’s alfa als je dit item weg zou halen. Vergelijken met huidige Cronbach’s alfa. (0.851) Als de Cronbach’s alfa met .05 omhoog zou gaan, dan zou je het item kunnen verwijderen

Vergroting betrouwbaarheid (2) Corrected item-total correlation (heet ook wel: item-rest score) = hoeveel een item correleert met alle andere items. Is goed bij ongeveer > .50 (anderen zeggen: 0.40 (Swanborn 1982)

item 1 item 4 gem. 1,2,3 item 2 item 3   = correlatie tussen item 4 en het gemiddelde van items 1, 2 en 3

Vergroting betrouwbaarheid (3) Squared multiple correlation = R2 = de “proportional reduction in error”. Is goed bij > .30

item 1 item 2 item 3   gem. 1,2,3 item 4  

Squared multiple correlation Regression revisited: Multiple correlation R (zie p.648): beschrijft het verband tussen Y en alle X-en (de gehele set van onafhankelijke variabelen). Deze ligt tussen 0 en 1. Het is gelijk aan de correlatie tussen de geobserveerde y scores en voorspelde y-“hat” scores. (3) Squared multiple correlation R2 = de “proportional reduction in error” (zie p.648) = hoeveel van de variantie in de scores op deze bepaalde vraag (vergelijk: Y) verklaard wordt door de scores op alle andere vragen (vergelijk: alle X-en). Is goed bij > .30.

Samengevat: Corrected Item-Total Correlation: Geeft aan wat de correlatie van een item met alle andere items samen is Is goed bij > .50 Squared Multiple Correlation: Hoeveel variantie van dit item verklaard wordt door de andere items Is goed bij > .30 Cronbach’s Alpha if item deleted: De Cronbach’s alfa als je dit item uit de schaal zou verwijderen Kijk naar de huidige Cronbach’s alfa en kijk of deze hoger wordt als je dit item eruit haalt: item mag pas verwijderd worden bij verhoging van min. .05!

Wat doe je? Is goed bij > .50 Is goed bij > .30 Huidige Cronbach’s alfa = .851

Belangrijkste criterium in de praktijk: Cronbach’s alfa if item deleted Item 8 (“hoe vaak ben je jaloers op anderen?”) en item 3 (“hoe vaak blijf je boos op iemand die jou gekwetst heeft?”) voldoen niet aan 2 van de 3 criteria De Cronbach’s alfa wordt echter niet hoger als je deze items verwijdert Hoe kan dat? Hoe meer items je hebt, hoe hoger de Cronbach’s alfa Als je item 8 en/of 3 eruit haalt, dan gaat de Cronbach’s alfa omlaag omdat je dan minder items hebt. Dus: je laat item 8 en 3 staan.

Betrouwbaar? Schaal maken Maak een nieuwe variabele aan die alle items omvat: “woede” en rapporteer de Cronbach’s alpha van deze schaal.

Let op! (1) Controleer of alle vragen in dezelfde richting staan Bv: Een hoge score op “hoe vaak verlies jij je geduld?” betekent iets anders dan op “hoe vaak kun jij je geduld bewaren?” Zo niet: ompolen (hercoderen). In SPSS: Transform > Recode into Different Variables

Meting van “woede” Nooit Zelden Soms Vaak Heel vaak Hoe vaak verlies jij je geduld? 1 2 3 4 5 Hoe vaak kunnen kleine dingen jou irriteren? Hoe vaak blijf je boos op iemand die jou gekwetst heeft? Hoe vaak heb je zin om te schreeuwen tegen je leraar of ouder? Hoe vaak heb je zin om wraak te nemen op iemand die jou boos heeft gemaakt? Hoe vaak heb je het gevoel dat andere mensen altijd geluk hebben en jij niet? Hoe vaak heb je het gevoel dat het leven niet eerlijk is voor je? Hoe vaak ben je jaloers op anderen? Hoe vaak sta je op het punt in woede uit te barsten? Hoe vaak heb je zin om je leraar of ouder te slaan? 30

Let op! (2) Als je een betrouwbaarheidsanalyse uitvoert, is het belangrijk dat je schaal eendimensionaal is. Eendimensionaal: de schaal veronderstelt dat er 1 soort woede is Bevat het concept “woede” meerdere dimensies, dan is dat niet het geval en is de schaal multidimensionaal. Wat je dan moet doen komt in andere cursussen aan bod.

Stappenplan betrouwbaarheidsanalyse Check of het concept dat je meet eendimensionaal is en of alle vragen in dezelfde richting gecodeerd zijn Bekijk Cronbach’s alfa. Beslis met de drie criteria of je items weg moet laten Zo ja, voer de betrouwbaarheidsanalyse nogmaals uit voor de nieuwe Cronbach’s alfa Maak een nieuwe variabele aan (Compute)

Voorbeeld “fear of statistics” I can't sleep for thoughts of inter-item correlations I wake up under my duvet thinking that I am trapped under a normal distribution Standard deviations excite me I dream that Pearson is attacking me with correlation coefficients Statiscs makes me cry I weep openly at the mention of central tendency I don't understand statistics

Correlatie item met andere items. Is goed bij > .50 Hoeveel variantie van dit item verklaard wordt door de andere items. Is goed bij > .30 Cronbach’s alfa als je dit item verwijdert. Huidige Cronbach’s alfa = .515

Na betrouwbaarheidsanalyse Schaal is betrouwbaar (α=.796) Daarom maken we een nieuwe variabele aan: “fear of statistics” Met die variabele kunnen we vervolgens verdere analyses uitvoeren

Dus Corrected Item-Total Correlation: Squared Multiple Correlation: Geeft aan wat de correlatie van een item met alle andere items samen is Is goed bij > .50 Let op negatieve waardes (ompolen waar nodig) Squared Multiple Correlation: Hoeveel variantie van dit item verklaard wordt door de andere items Is goed bij > .30 Cronbach’s Alpha if item deleted: De Cronbach’s alfa als je dit item uit de schaal zou verwijderen Kijk naar de huidige Cronbach’s alfa en kijk of deze (minstens .05) hoger wordt als je dit item eruit haalt

Let op Gooi nooit zomaar items uit de schaal Beslis obv theorie of je een item kan missen Als je veelgebruikte schaal gebruikt: tevreden met .70 Als je een vrij nieuwe schaal gebruikt: pas tevreden bij .80

Stappenplan betrouwbaarheidsanalyse Bekijk Cronbach’s alfa (nadat je hebt gecheckt of je schaal eendimensionaal is en alle vragen in dezelfde richting staan) Beslis of je items weg moet laten. Alleen als je schaal niet voldoende betrouwbaar is, dus kleiner dan .70! En let op theorie Zo ja, voer de betrouwbaarheidsanalyse nogmaals uit voor de nieuwe Cronbach’s alfa Maak een nieuwe variabele aan

Hoe in SPSS Betrouwbaarheidsanalyse: Analyze > Scale > Reliability analysis. Alle items in itemsbox zetten. Bij statistics aanvinken: onder “descriptives for” item, scale en scale if item deleted, en onder “summaries” correlations. Ok. Ompolen: Transform > Recode into different variable. Item selecteren. Nieuwe naam invullen bij name (bv vraag_3_omgepoold). Klik op old and new values. Oude waarde invullen bij old value en nieuwe waarde bij new value. Klik op add. Zo alle waardes langsgaan. Aanmaken nieuwe variabele na betrouwbaarheidsanalyse: Transform > Compute variable. Nieuwe naam bij target variable invullen (bv woede). Bij nummeric expression invullen: MEAN(item1,item2,item3,etc.).

Oefenen met betrouwbaarheidsanalyse

Vraag 1 De corrected item-total correlation geeft aan wat de correlatie van een item met alle andere items samen is Waar Niet waar

Vraag 2 De squared multiple correlation geeft aan hoeveel variantie van een bepaald item verklaard wordt door de andere items Waar Niet waar

Vraag 3 Hoeveel items laten we uit de schaal weg? 1 2 3 4 < .5 1 2 3 4 < .5 < .3 Hoger dan huidige alfa

Vraag 4 Wat doen we met vragen die in een andere richting zijn gesteld dan de rest van de vragen? Uit de schaal halen Ompolen/hercoderen Niks

Vraag 5 We hebben een gemiddelde correlatie tussen de items van .400 en 4 items. Wat is de Cronbach’s alfa? 1.00 -1.14 0.73 Kunnen we niet berekenen obv bovenstaande

Overzicht stof

Beschrijvende statistieken Proportie Percentage Verdeling van de data Gemiddelde Mediaan Modus Spreiding Standaard deviatie Z-score Correlatie Scatterplot Cronbach’s alfa

Inferentiële toetsen Hypothesetoetsing: One sample T test Independent T test Dependent T test Chi-square toets Enkelvoudige en meervoudige regressie

Wanneer welke toets? One sample T test: wanneer je verwacht dat Y een specifiek gemiddelde zal aannemen Independent T test: X bestaat uit twee onafhankelijke categorische groepen en Y is continu Dependent T test: X bestaat uit twee afhankelijke categorische groepen en Y is continu Chi-square toets: X en Y beide categorisch Enkelvoudige en meervoudige regressie: X en Y beide continu

Vraag 1 Is politieke voorkeur (rechts, links) afhankelijk van geslacht? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 2 Is de prijs van een studentenkamer afhankelijk van het oppervlak van de kamer? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 3 Eten mannen meer fruit dan vrouwen? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 4 Is het aannemelijk dat mannen per dag 7 keer naar mooie vrouwen omkijken? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 5 Gaan mensen liever naar de sportschool nadat ze een leuke sportoutfit hebben gekocht dan ervoor? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 6 Lezen VU-studenten vaker de Ad Valvas naarmate ze ouder worden en meer interesse krijgen in wat er op de VU gebeurt? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 7 Is het hebben van een auto afhankelijk van geslacht? One sample t-test Independent t-test Dependent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Vraag 8 Werkt relatietherapie? One sample t-test Independent t-test Chi-square test Enkelvoudige regressie Meervoudige regressie

Responsiecollege Vragen indienen uiterlijk vrijdag 15 maart om 17.00 uur Bij te weinig vragen gaat het responsiecollege niet door