Kwantitatieve & kwalitatieve data analyse

Presentatie over: "Kwantitatieve & kwalitatieve data analyse"— Transcript van de presentatie:

1 Kwantitatieve & kwalitatieve data analyse
Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse Dr. M. Coenders

2 Inhoud Inleiding Multiple item meetinstrumenten
Meettheorie: Klassieke testtheorie en Item Respons Theorie Uni- en multidimensionele meetmodellen Kwaliteit van meetschalen Betrouwbaarheid Validiteit Betrouwbaarheidsanalyse Betrouwbaarheidsanalyse / Likert-schaalanalyse

3 Operationaliseren Construct = ‘theoretisch begrip zoals bedoeld’
Variabele = Operationalisatie = ‘begrip zoals bepaald’ Meetschaal is een verzameling stimuli (bijv. vragen) die een construct meten. Concepten kunnen unidimensioneel of multidimensioneel zijn. Voorbeelden van meetschalen: unidimensionele schaal: bijv. Likertschaal multidimensionele schaal: bijv. Factorschaal

4 Waarom meetschalen? Voordelen van meetinstrumenten met multiple items:
Voor het meten van heterogene begrippen (grotere begripsvaliditeit) Minder invloed van toevalsfactoren (grotere betrouwbaarheid) I.h.a.: meerdere vragen, grotere betrouwbaarheid Om meerdere dimensies te kunnen onderscheiden Fijnere indeling tussen respondenten Overzichtelijke analyse-resultaten

5 Typen van meetmodellen
Onderscheid naar: Meetniveau Klassieke testtheorie of IRT modellen Klassieke testtheorie: Likert, PCA/PFA Nonparametrische IRT: Mokken Unidimensioneel of multidimensioneel

6 Meettheorie (1): Klassieke test theorie
Geobserveerde score = ware score + meetfout Observed score = true score + random error XO = XT + e Assumpties meetfout: ∑ e = 0 e niet gerelateerd aan andere variabelen (XT, andere e’s of andere XT’s)

7 Latente structuur Indicatoren, Latente eigenschap,
Manifeste variabelen Latente eigenschap, Theoretisch construct e1 Item 1 e2 Item 2 Latent kenmerk e3 Item 3 e4 Item 4 e5 Item 5

8 latent continuüm Ware score van respondenten kan lopen van zeer negatief tot zeer positief; van laag naar hoog. Resp 1 Resp 2 — + latent continuüm Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding

9 latent continuüm Ook items hebben een positie op het continuüm, ze verwijzen naar een negatieve of positieve houding. Item A Item B Item C — + latent continuüm Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item

10 latent continuüm Gemeenschappelijke ruimte van respondenten en stimuli
Item A Resp 1 Item B Resp 2 Item C — + latent continuüm Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item

11 Meettheorie (2): Item Respons Theorie
Niet alleen personen, ook items, hebben een positie op een latente continuüm Antwoord van respondent is afhankelijk van Positie respondent op latent continuum Kenmerken van het item, zoals Positie item op continuüm (moeilijkheidsgraad) Onderscheidsvermogen van item Geobserveerde score = f (persoon, item)

12 Itemkarakteristiek — + latent continuüm 1.0 0.0 r1 r2 r3 r6 r7 r4 r5

13 Itemkarakteristiek Itemkarakteristieke functie
Item Respons Functie (IRF) De functie die voor een item i en voor elke mogelijke positie van een respondent op het continuüm de kans op een specifieke antwoordcategorie geeft (bij dichtome items: de kans op een positief antwoord) Nb. IRF is géén histogram, het zegt niets over de feitelijke frequentieverdeling over respondenten

14 Itemkarakteristiek  freq.verdeling
— + 1.0 0.0 freq

15 IRT Modellen Parametrische IRT modellen
Relatie tussen latent kenmerk en kans op bepaald antwoord op item (IRF) beschreven d.m.v. parameters o.a. Rasch & Birnbaum modellen Non-parametrische modellen Geen puntschatting positie respondenten en items. Alleen ordinale informatie respondenten en items. Scalogram model

16 Uni- en Multidimensionele Meetmodellen
Unidimensioneel: Likert analyse Scalogram analyse Multidimensioneel: Componenten analyse Factor analyse Homogeniteitsanalyse

17 2-dimensionele latente structuur
Indicatoren, Manifeste variabelen Latente eigenschap, Theoretisch construct e1 Item 1 Dimensie 1 e2 Item 2 e3 Item 3 e4 Item 4 e5 Item 5 Dimensie 2 e6 Item 6 e7 Item 7 e8 Item 8

18 Multidimensionele ruimte
Dimensie 2 + Respondent i Dimensie 1 + — —

19 Kwaliteit van een meetmodel
Betrouwbaarheid: levert herhaalde meting van het (onveranderde) object hetzelfde resultaat op? – hoe meer toevallige fouten, des te lager de betrouwbaarheid Validiteit: meet de schaal wat het beoogt te meten (de ware bedoelde realiteit) – hoe meer systematische fouten (vertekening), des te lager de validiteit Observed score = true score bias random error systematische fout toevallige fout

20 Het belang van de kwaliteit van de meting
Hypothese: positieve samenhang tussen begrip X en begrip Y Bevinding: samenhang tussen metingen x en y niet significant Resultaat: hypothese verworpen. Mogelijke conclusie: 1. de hypothese was onjuist, of 2. de hypothese was juist, maar de betrouwbaarheid en/of validiteit van de meting(en) was te laag! Gevolg van lage betrouwbaarheid: verbanden tussen variabelen worden onderschat! en daardoor vind je eerder niet-significante verbanden. Gevolg van lage validiteit: verbanden tussen variabelen kunnen op alle mogelijke wijzen vertekend zijn (te klein, te groot, andere richting: negatief i.p.v. positief

21 Toevallige meetfout Assumpties Gemiddelde meetfout = 0, ∑ e = 0
Meetfout ongecorreleerd met ware score Meetfouten onderling ongecorreleerd Meetfouten ongecorreleerd met andere kenmerken Gevolgen van toevallige meetfouten voor: Individuele resultaten: minder nauwkeurig Gemiddelde score (n personen) op 1 item: op den duur (n groot genoeg) nihil Gemiddelde score per persoon op een schaal van m items: op den duur (m groot genoeg) nihil Samenhang tussen geobserveerde variabelen: onderschatting van de werkelijke samenhang tusssen latente variabelen (zie Correctie voor attenuatie)

22 Betrouwbaarheid Herhaalde metingen: hetzelfde resultaat?
Test-retest betrouwbaarheid -> Interne consistentie Parallelle instrumenten (equivalentie betrouwbaarheid) Alternate forms Split half method Inter-beoordelaar, inter-codeursbetrouwbaarheid

23 Kwaliteit van meetschalen: betrouwbaarheid
Betrouwbaarheid meetschaal: Betrouwbaarheid op basis van interne consistentie: Reliability procedure: Cronbachs alfa MSP: betrouwbaarheidsmaat rho Component/factor analyse: eventueel per dimensie de betrouwbaarheid bepalen van de items die hoog laden op die dimensie

24 Validiteit Inhoudsvaliditeit (content) Criteriumvaliditeit (criterion)
Concurrente validiteit (concurrent) Predictieve validiteit (predictive) Begripsvalidity (construct) Convergente validiteit (convergent) Divergente validiteit (divergent, discriminant)

25 Begripsvaliditeit bij multidimensionele schalen
Situatie: uit analyse (bijv. componenten- of factoranalyse) blijkt dat er meerdere dimensies zijn. Aanvullend bewijs (begripsvaliditeit): Bekijk relatie tussen dimensies en achtergrondkenmerken of gevolgvariabelen. Indien er daadwerkelijk meerdere dimensies zijn, zul je ook (deels) verschillende relaties vinden Dimensie 1 Dimensie 2 X Y

26 Likert-schaalanalyse en betrouwbaarheidsanalyse

27 Puntitems vs monotone items
— + latent continuüm 1.0 0.0 punt monotoon stijgend monotoon dalend

28 Non-monotone items (punt-items)
Voorbeeld: In hoeverre bent u het eens met de volgende stelling: “Ik ben tegen abortus, behalve in sommige gevallen zoals incest” Antwoord: ‘Niet mee eens’ ‘mee eens’ ‘niet mee eens’ laag hoog Houding van respondent op het latente concept ‘weerstand tegen abortus’ 1.0 0.0 laag Houding van respondent op het latente concept ‘weerstand tegen abortus’ hoog

29 Monotone items Extreem geformuleerde items hebben een monotone IRF.
Extreem positief (danwel negatief) item: n.m. positie van respondent positiever is, neemt de kans op een positief antwoord voortdurend toe (danwel af). — + latent continuüm 1.0 0.0

30 Monotone en non-monotone (punt) items
Monotone items Likert schaal (Summated scale) Guttman schaal, Mokken schaal (Cumulative scale) Component analyse Factor analyse Non-monotone items Thurstone schaal (Differential scale) Coombs ontvouwingsschaal (Unfolding scale)

31 Overzicht van procedurestappen Likert-schaalanalyse
Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal Correlatiematrix Cronbach’s α Eventueel items verwijderen of deelschalen construeren Bepaal schaalscores Inspecteer validiteit van de meetschaal

32 Procedurestappen Stap 1. Operationalisatie: formuleer items
Behoorlijk groot aantal items Monotone itemkarakteristiek: - extreem geformuleerde items - vermijd formuleringen waarbij antwoorden niet eenduidig interpreteerbaar zijn Vermijd respons set: wissel + en – items af Stap 2. Dataverzameling Stap 3. Hercodeer alle variabelen: hoge score verwijst naar hoge mate van latent begrip

33 Procedure (stap 4): Item-analyse
Betrouwbaarheidsanalyse: Beoordelen van de betrouwbaarheid (interne consistentie) van de meetschaal Selecteer items die tezamen een intern consistente schaal vormen Hoge correlaties tussen items: hoge interne consistentie Inspecteer de correlatiematrix Bereken betrouwbaarheidsmaat (bijv. Cronbach’s alfa)

34 Item-analyse (1): correlatiematrix
Inspecteer de correlatiematrix: 3 situaties Alle correlaties zijn voldoende hoog Eén of enkele variabelen correleren nauwelijks met de overige: verwijder deze variabelen één voor één Niet-homogene correlatiematrix. Clusters van variabelen die wellicht naar verschillende (aspecten van) concepten verwijzen Maak aparte Likert-deelschalen Kies multidimensioneel meetmodel, bijv. factoranalyse

35 Correlatiematrix Homogeen Niet homogeen Aspect 1 hoge r Ongeveer even
hoge inter-item r’s Lage r tussen iems van aspect 1 en 2 Aspect 2 hoge r

36 Betrouwbaarheid Klassieke test theorie: X = XT + e
Assumpties random error e ∑ e = 0 e niet gerelateerd aan XT Zodat Totale geobserveerde variantie = ware variantie + errorvariantie

37 Item-analyse (2): betrouwbaarheid
Bereken betrouwbaarheidscoëfficiënt: Cronbach’s α als maat voor de interne consistentie Met k = aantal items = itemvariantie = variantie totale schaal n.b. Cronbach’s α voor gestandaardiseerde scores: In SPSS: Standardized item alpha Met k = aantal items = gemiddelde inter-item correlatie

38 Cronbach’s alfa Vuistregels:
(Swanborn, 1988) Bij 10 tot 15 items: α ≥ .85 (De Heus, 1995) α ≥ .80 ‘goed’, α < .60‘slecht’ (Nunnally, 1978) α ≥ .70 Alfa is ook afhankelijk van het aantal items Verwijder het laagst-correlerende item indien daardoor α zal stijgen, en herhaal deze procedure indien nodig

39 Item verwijderen? Indien Cronbach’s alfa na verwijdering van het item hoger wordt, komt het item voor verwijdering in aanmerking. Vuistregels (De Heus, 1995) Stijging in α is ≤ 0,001 niet verwijderen Stijging in α is ≥ 0,05 verwijderen Echter, let ook op de inhoudsvaliditeit: Worden alle facetten van het theoretische concept gemeten?

40 Testverlenging Hoe meer items, hoe groter de betrouwbaarheid
Spearman-Brown formule voor testverlenging rkk = betrouwbaarheid verlengde test rxx = betrouwbaarheid oorspronk. test k = vergrotingsfactor Bijv. items die onderling gemiddeld .20 correleren. Schaal van 4 items: betrouwbaarheid = .50 Schaal van 10 items: betrouwbaarheid = .71 Schaal van 12 items: betrouwbaarheid = .75

41 Voorbeeld R E L I A B I L I T Y A N A L Y S I S S C A L E (A N T I G A Y) V lesbian sexuality just does not fit in o V sex between two women is not natural V lesbian sexuality is not a problem for m V sex between two lesbian women disgusting V lesbian women are abnormal V woman better suited to raise children V unnatural if women give guidance to men Correlation Matrix V V V V V V V0237 V V V V V V V

42 Scale Scale Corrected Mean Variance Item Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted V V V V V V V Reliability Coefficients items Alpha = Standardized item alpha =

43 Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted V V V V V V Reliability Coefficients items Alpha = Standardized item alpha = **** zonder V0237: V V V V V Reliability Coefficients items Alpha = Standardized item alpha =

44 Overzicht van procedurestappen
Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal Correlatiematrix Cronbach’s α Eventueel items verwijderen of deelschalen construeren Bepaal schaalscores Inspecteer validiteit van de meetschaal

45 Procedure (stap 5): schaalscore
Bepaal per respondent de schaalscore (totaalscore). Schaalscore = somscore (of gemiddelde) Ongewogen som: alle items tellen even zwaar mee bijvoorbeeld in SPSS: Compute schaal = mean .3 (v1,v2,v3,v4). ↓ .3  alleen respondenten die 3 of meer vragen hebben beantwoord, krijgen een score op de schaal.

46 Overzicht van procedurestappen
Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal Correlatiematrix Cronbach’s α Eventueel items verwijderen of deelschalen construeren Bepaal schaalscores Inspecteer validiteit van de meetschaal