Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse Dr. M. Coenders

Inhoud Inleiding Multiple item meetinstrumenten Meettheorie: Klassieke testtheorie en Item Respons Theorie Uni- en multidimensionele meetmodellen Kwaliteit van meetschalen Betrouwbaarheid Validiteit Betrouwbaarheidsanalyse Betrouwbaarheidsanalyse / Likert-schaalanalyse

Operationaliseren Construct = ‘theoretisch begrip zoals bedoeld’ Variabele = Operationalisatie = ‘begrip zoals bepaald’ Meetschaal is een verzameling stimuli (bijv. vragen) die een construct meten. Concepten kunnen unidimensioneel of multidimensioneel zijn. Voorbeelden van meetschalen: unidimensionele schaal: bijv. Likertschaal multidimensionele schaal: bijv. Factorschaal

Waarom meetschalen? Voordelen van meetinstrumenten met multiple items: Voor het meten van heterogene begrippen (grotere begripsvaliditeit) Minder invloed van toevalsfactoren (grotere betrouwbaarheid) I.h.a.: meerdere vragen, grotere betrouwbaarheid Om meerdere dimensies te kunnen onderscheiden Fijnere indeling tussen respondenten Overzichtelijke analyse-resultaten

Typen van meetmodellen Onderscheid naar: Meetniveau Klassieke testtheorie of IRT modellen Klassieke testtheorie: Likert, PCA/PFA Nonparametrische IRT: Mokken Unidimensioneel of multidimensioneel

Meettheorie (1): Klassieke test theorie Geobserveerde score = ware score + meetfout Observed score = true score + random error XO = XT + e Assumpties meetfout: ∑ e = 0 e niet gerelateerd aan andere variabelen (XT, andere e’s of andere XT’s)

Latente structuur Indicatoren, Latente eigenschap, Manifeste variabelen Latente eigenschap, Theoretisch construct e1 Item 1 e2 Item 2 Latent kenmerk e3 Item 3 e4 Item 4 e5 Item 5

latent continuüm Ware score van respondenten kan lopen van zeer negatief tot zeer positief; van laag naar hoog. Resp 1 Resp 2 — + latent continuüm Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding

latent continuüm Ook items hebben een positie op het continuüm, ze verwijzen naar een negatieve of positieve houding. Item A Item B Item C — + latent continuüm Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item

latent continuüm Gemeenschappelijke ruimte van respondenten en stimuli Item A Resp 1 Item B Resp 2 Item C — + latent continuüm Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item

Meettheorie (2): Item Respons Theorie Niet alleen personen, ook items, hebben een positie op een latente continuüm Antwoord van respondent is afhankelijk van Positie respondent op latent continuum Kenmerken van het item, zoals Positie item op continuüm (moeilijkheidsgraad) Onderscheidsvermogen van item Geobserveerde score = f (persoon, item)

Itemkarakteristiek — + latent continuüm 1.0 0.0 r1 r2 r3 r6 r7 r4 r5

Itemkarakteristiek Itemkarakteristieke functie Item Respons Functie (IRF) De functie die voor een item i en voor elke mogelijke positie van een respondent op het continuüm de kans op een specifieke antwoordcategorie geeft (bij dichtome items: de kans op een positief antwoord) Nb. IRF is géén histogram, het zegt niets over de feitelijke frequentieverdeling over respondenten

Itemkarakteristiek  freq.verdeling — + 1.0 0.0 freq

IRT Modellen Parametrische IRT modellen Relatie tussen latent kenmerk en kans op bepaald antwoord op item (IRF) beschreven d.m.v. parameters o.a. Rasch & Birnbaum modellen Non-parametrische modellen Geen puntschatting positie respondenten en items. Alleen ordinale informatie respondenten en items. Scalogram model

Uni- en Multidimensionele Meetmodellen Unidimensioneel: Likert analyse Scalogram analyse Multidimensioneel: Componenten analyse Factor analyse Homogeniteitsanalyse

2-dimensionele latente structuur Indicatoren, Manifeste variabelen Latente eigenschap, Theoretisch construct e1 Item 1 Dimensie 1 e2 Item 2 e3 Item 3 e4 Item 4 e5 Item 5 Dimensie 2 e6 Item 6 e7 Item 7 e8 Item 8

Multidimensionele ruimte Dimensie 2 + Respondent i Dimensie 1 + — —

Kwaliteit van een meetmodel Betrouwbaarheid: levert herhaalde meting van het (onveranderde) object hetzelfde resultaat op? – hoe meer toevallige fouten, des te lager de betrouwbaarheid Validiteit: meet de schaal wat het beoogt te meten (de ware bedoelde realiteit) – hoe meer systematische fouten (vertekening), des te lager de validiteit Observed score = true score + bias + random error   systematische fout toevallige fout

Het belang van de kwaliteit van de meting Hypothese: positieve samenhang tussen begrip X en begrip Y Bevinding: samenhang tussen metingen x en y niet significant Resultaat: hypothese verworpen. Mogelijke conclusie: 1. de hypothese was onjuist, of 2. de hypothese was juist, maar de betrouwbaarheid en/of validiteit van de meting(en) was te laag! Gevolg van lage betrouwbaarheid: verbanden tussen variabelen worden onderschat! en daardoor vind je eerder niet-significante verbanden. Gevolg van lage validiteit: verbanden tussen variabelen kunnen op alle mogelijke wijzen vertekend zijn (te klein, te groot, andere richting: negatief i.p.v. positief

Toevallige meetfout Assumpties Gemiddelde meetfout = 0, ∑ e = 0 Meetfout ongecorreleerd met ware score Meetfouten onderling ongecorreleerd Meetfouten ongecorreleerd met andere kenmerken Gevolgen van toevallige meetfouten voor: Individuele resultaten: minder nauwkeurig Gemiddelde score (n personen) op 1 item: op den duur (n groot genoeg) nihil Gemiddelde score per persoon op een schaal van m items: op den duur (m groot genoeg) nihil Samenhang tussen geobserveerde variabelen: onderschatting van de werkelijke samenhang tusssen latente variabelen (zie Correctie voor attenuatie)

Betrouwbaarheid Herhaalde metingen: hetzelfde resultaat? Test-retest betrouwbaarheid -> Interne consistentie Parallelle instrumenten (equivalentie betrouwbaarheid) Alternate forms Split half method Inter-beoordelaar, inter-codeursbetrouwbaarheid

Kwaliteit van meetschalen: betrouwbaarheid Betrouwbaarheid meetschaal: Betrouwbaarheid op basis van interne consistentie: Reliability procedure: Cronbachs alfa MSP: betrouwbaarheidsmaat rho Component/factor analyse: eventueel per dimensie de betrouwbaarheid bepalen van de items die hoog laden op die dimensie

Validiteit Inhoudsvaliditeit (content) Criteriumvaliditeit (criterion) Concurrente validiteit (concurrent) Predictieve validiteit (predictive) Begripsvalidity (construct) Convergente validiteit (convergent) Divergente validiteit (divergent, discriminant)

Begripsvaliditeit bij multidimensionele schalen Situatie: uit analyse (bijv. componenten- of factoranalyse) blijkt dat er meerdere dimensies zijn. Aanvullend bewijs (begripsvaliditeit): Bekijk relatie tussen dimensies en achtergrondkenmerken of gevolgvariabelen. Indien er daadwerkelijk meerdere dimensies zijn, zul je ook (deels) verschillende relaties vinden Dimensie 1 Dimensie 2 X Y

Likert-schaalanalyse en betrouwbaarheidsanalyse

Puntitems vs monotone items — + latent continuüm 1.0 0.0 punt monotoon stijgend monotoon dalend

Non-monotone items (punt-items) Voorbeeld: In hoeverre bent u het eens met de volgende stelling: “Ik ben tegen abortus, behalve in sommige gevallen zoals incest” Antwoord: ‘Niet mee eens’ ‘mee eens’ ‘niet mee eens’ laag hoog Houding van respondent op het latente concept ‘weerstand tegen abortus’ 1.0 0.0 laag Houding van respondent op het latente concept ‘weerstand tegen abortus’ hoog

Monotone items Extreem geformuleerde items hebben een monotone IRF. Extreem positief (danwel negatief) item: n.m. positie van respondent positiever is, neemt de kans op een positief antwoord voortdurend toe (danwel af). — + latent continuüm 1.0 0.0

Monotone en non-monotone (punt) items Monotone items Likert schaal (Summated scale) Guttman schaal, Mokken schaal (Cumulative scale) Component analyse Factor analyse Non-monotone items Thurstone schaal (Differential scale) Coombs ontvouwingsschaal (Unfolding scale)

Overzicht van procedurestappen Likert-schaalanalyse Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal Correlatiematrix Cronbach’s α Eventueel items verwijderen of deelschalen construeren Bepaal schaalscores Inspecteer validiteit van de meetschaal

Procedurestappen Stap 1. Operationalisatie: formuleer items Behoorlijk groot aantal items Monotone itemkarakteristiek: - extreem geformuleerde items - vermijd formuleringen waarbij antwoorden niet eenduidig interpreteerbaar zijn Vermijd respons set: wissel + en – items af Stap 2. Dataverzameling Stap 3. Hercodeer alle variabelen: hoge score verwijst naar hoge mate van latent begrip

Procedure (stap 4): Item-analyse Betrouwbaarheidsanalyse: Beoordelen van de betrouwbaarheid (interne consistentie) van de meetschaal Selecteer items die tezamen een intern consistente schaal vormen Hoge correlaties tussen items: hoge interne consistentie Inspecteer de correlatiematrix Bereken betrouwbaarheidsmaat (bijv. Cronbach’s alfa)

Item-analyse (1): correlatiematrix Inspecteer de correlatiematrix: 3 situaties Alle correlaties zijn voldoende hoog Eén of enkele variabelen correleren nauwelijks met de overige: verwijder deze variabelen één voor één Niet-homogene correlatiematrix. Clusters van variabelen die wellicht naar verschillende (aspecten van) concepten verwijzen Maak aparte Likert-deelschalen Kies multidimensioneel meetmodel, bijv. factoranalyse

Correlatiematrix Homogeen Niet homogeen Aspect 1 hoge r Ongeveer even hoge inter-item r’s Lage r tussen iems van aspect 1 en 2 Aspect 2 hoge r

Betrouwbaarheid Klassieke test theorie: X = XT + e Assumpties random error e ∑ e = 0 e niet gerelateerd aan XT Zodat Totale geobserveerde variantie = ware variantie + errorvariantie

Item-analyse (2): betrouwbaarheid Bereken betrouwbaarheidscoëfficiënt: Cronbach’s α als maat voor de interne consistentie Met k = aantal items = itemvariantie = variantie totale schaal n.b. Cronbach’s α voor gestandaardiseerde scores: In SPSS: Standardized item alpha Met k = aantal items = gemiddelde inter-item correlatie

Cronbach’s alfa Vuistregels: (Swanborn, 1988) Bij 10 tot 15 items: α ≥ .85 (De Heus, 1995) α ≥ .80 ‘goed’, α < .60‘slecht’ (Nunnally, 1978) α ≥ .70 Alfa is ook afhankelijk van het aantal items Verwijder het laagst-correlerende item indien daardoor α zal stijgen, en herhaal deze procedure indien nodig

Item verwijderen? Indien Cronbach’s alfa na verwijdering van het item hoger wordt, komt het item voor verwijdering in aanmerking. Vuistregels (De Heus, 1995) Stijging in α is ≤ 0,001 niet verwijderen Stijging in α is ≥ 0,05 verwijderen Echter, let ook op de inhoudsvaliditeit: Worden alle facetten van het theoretische concept gemeten?

Testverlenging Hoe meer items, hoe groter de betrouwbaarheid Spearman-Brown formule voor testverlenging rkk = betrouwbaarheid verlengde test rxx = betrouwbaarheid oorspronk. test k = vergrotingsfactor Bijv. items die onderling gemiddeld .20 correleren. Schaal van 4 items: betrouwbaarheid = .50 Schaal van 10 items: betrouwbaarheid = .71 Schaal van 12 items: betrouwbaarheid = .75

Voorbeeld R E L I A B I L I T Y A N A L Y S I S - S C A L E (A N T I G A Y) 1. V3130 lesbian sexuality just does not fit in o 2. V3131 sex between two women is not natural 3. V3132 lesbian sexuality is not a problem for m 4. V3133 sex between two lesbian women disgusting 5. V3134 lesbian women are abnormal 6. V0234 woman better suited to raise children 7. V0237 unnatural if women give guidance to men Correlation Matrix V3130 V3131 V3132 V3133 V3134 V0234 V0237 V3130 1.0000 V3131 .6889 1.0000 V3132 .5599 .5271 1.0000 V3133 .7220 .6695 .6451 1.0000 V3134 .6966 .6767 .4958 .6334 1.0000 V0234 .3131 .2653 .2186 .1894 .2823 1.0000 V0237 .4402 .3724 .2722 .3266 .3967 .3155 1.0000

Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted V3130 13.833 18.869 .7932 .6646 .8075 V3131 13.402 18.168 .7325 .5892 .8143 V3132 13.547 19.621 .6143 .4453 .8332 V3133 13.676 18.450 .7322 .6469 .8145 V3134 13.885 19.845 .7299 .5773 .8187 V0234 12.867 21.676 .3263 .1535 .8788 V0237 14.289 22.629 .4611 .2429 .8527 Reliability Coefficients 7 items Alpha = .8533 Standardized item alpha = .8575

Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted V3130 10.781 14.768 .8028 .6596 .8380 V3131 10.349 14.060 .7499 .5865 .8469 V3132 10.496 15.353 .6302 .4424 .8678 V3133 10.625 14.131 .7784 .6423 .8410 V3134 10.833 15.628 .7403 .5754 .8500 V0237 11.239 18.364 .4272 .2133 .8931 Reliability Coefficients 6 items Alpha = .8786 Standardized item alpha = .8762 **** zonder V0237: V3130 9.180 12.254 .7930 .6476 .8569 V3131 8.744 11.548 .7511 .5872 .8661 V3132 8.898 12.769 .6266 .4252 .8933 V3133 9.025 11.524 .7971 .6443 .8543 V3134 9.230 12.995 .7350 .5744 .8708 Reliability Coefficients 5 items Alpha = .8921 Standardized item alpha = .8942

Overzicht van procedurestappen Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal Correlatiematrix Cronbach’s α Eventueel items verwijderen of deelschalen construeren Bepaal schaalscores Inspecteer validiteit van de meetschaal

Procedure (stap 5): schaalscore Bepaal per respondent de schaalscore (totaalscore). Schaalscore = somscore (of gemiddelde) Ongewogen som: alle items tellen even zwaar mee bijvoorbeeld in SPSS: Compute schaal = mean .3 (v1,v2,v3,v4). ↓ .3  alleen respondenten die 3 of meer vragen hebben beantwoord, krijgen een score op de schaal.

Overzicht van procedurestappen Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal Correlatiematrix Cronbach’s α Eventueel items verwijderen of deelschalen construeren Bepaal schaalscores Inspecteer validiteit van de meetschaal