De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse.

Verwante presentaties


Presentatie over: "1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse."— Transcript van de presentatie:

1 1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse Dr. M. Coenders

2 Inleiding Multiple item meetinstrumenten Meettheorie: Klassieke testtheorie en Item Respons Theorie Uni- en multidimensionele meetmodellen Kwaliteit van meetschalen –Betrouwbaarheid –Validiteit Betrouwbaarheidsanalyse Betrouwbaarheidsanalyse / Likert-schaalanalyse Inhoud

3 3 Operationaliseren Construct = ‘theoretisch begrip zoals bedoeld’ operationaliseren Variabele = Operationalisatie = ‘begrip zoals bepaald’ Meetschaal is een verzameling stimuli (bijv. vragen) die een construct meten. Concepten kunnen unidimensioneel of multidimensioneel zijn. Voorbeelden van meetschalen: unidimensionele schaal: bijv. Likertschaal multidimensionele schaal: bijv. Factorschaal

4 4 Waarom meetschalen? Voordelen van meetinstrumenten met multiple items: Voor het meten van heterogene begrippen (grotere begripsvaliditeit) Minder invloed van toevalsfactoren (grotere betrouwbaarheid) I.h.a.: meerdere vragen, grotere betrouwbaarheid Om meerdere dimensies te kunnen onderscheiden Fijnere indeling tussen respondenten Overzichtelijke analyse-resultaten

5 5 Typen van meetmodellen Onderscheid naar: 1.Meetniveau 2.Klassieke testtheorie of IRT modellen –Klassieke testtheorie: Likert, PCA/PFA –Nonparametrische IRT: Mokken 3.Unidimensioneel of multidimensioneel

6 6 Meettheorie (1): Klassieke test theorie Geobserveerde score=ware score + meetfout Observed score= true score + random error X O =X T + e Assumpties meetfout: –∑ e = 0 –e niet gerelateerd aan andere variabelen (X T, andere e’s of andere X T ’s)

7 7 Latente structuur Latent kenmerk Item 1 Item 2 Item 3 Item 4 Item 5 Indicatoren, Manifeste variabelen Latente eigenschap, Theoretisch construct e2e2 e3e3 e4e4 e5e5 e1e1

8 8 latent continuüm Ware score van respondenten kan lopen van zeer negatief tot zeer positief; van laag naar hoog. — +latent continuüm Resp 1Resp 2 Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding

9 9 latent continuüm Ook items hebben een positie op het continuüm, ze verwijzen naar een negatieve of positieve houding. Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item Item AItem BItem C — +latent continuüm

10 10 latent continuüm Gemeenschappelijke ruimte van respondenten en stimuli Resp 1Resp 2 Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item Item AItem BItem C Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding — +latent continuüm

11 11 Meettheorie (2): Item Respons Theorie Niet alleen personen, ook items, hebben een positie op een latente continuüm Antwoord van respondent is afhankelijk van –Positie respondent op latent continuum –Kenmerken van het item, zoals Positie item op continuüm (moeilijkheidsgraad) Onderscheidsvermogen van item Geobserveerde score = f (persoon, item)

12 12 Itemkarakteristiek — + latent continuüm r1r1 r2r2 r3r3 r6r6 r7r7 r4r4 r5r5

13 13 Itemkarakteristiek Itemkarakteristieke functie Item Respons Functie (IRF) De functie die voor een item i en voor elke mogelijke positie van een respondent op het continuüm de kans op een specifieke antwoordcategorie geeft (bij dichtome items: de kans op een positief antwoord) Nb. IRF is géén histogram, het zegt niets over de feitelijke frequentieverdeling over respondenten

14 14 Itemkarakteristiek  freq.verdeling — freq

15 15 Parametrische IRT modellen Relatie tussen latent kenmerk en kans op bepaald antwoord op item (IRF) beschreven d.m.v. parameters –o.a. Rasch & Birnbaum modellen Non-parametrische modellen Geen puntschatting positie respondenten en items. Alleen ordinale informatie respondenten en items. –Scalogram model IRT Modellen

16 16 Uni- en Multidimensionele Meetmodellen Unidimensioneel: Likert analyse Scalogram analyse Multidimensioneel: Componenten analyse Factor analyse Homogeniteitsanalyse

17 17 2-dimensionele latente structuur Dimensie 1 Item 1 Item 2 Item 3 Item 4 Item 5 Indicatoren, Manifeste variabelen Latente eigenschap, Theoretisch construct Dimensie 2 Item 6 Item 8 Item 7 e1e1 e2e2 e4e4 e3e3 e5e5 e6e6 e7e7 e8e8

18 18 Multidimensionele ruimte Dimensie 1 Dimensie 2 — — + + Respondent i

19 19 Kwaliteit van een meetmodel 1.Betrouwbaarheid: levert herhaalde meting van het (onveranderde) object hetzelfde resultaat op? – hoe meer toevallige fouten, des te lager de betrouwbaarheid 2.Validiteit: meet de schaal wat het beoogt te meten (de ware bedoelde realiteit) – hoe meer systematische fouten (vertekening), des te lager de validiteit Observed score = true score + bias + random error systematische fout toevallige fout

20 20 Het belang van de kwaliteit van de meting Hypothese: positieve samenhang tussen begrip X en begrip Y Bevinding: samenhang tussen metingen x en y niet significant Resultaat: hypothese verworpen. Mogelijke conclusie: –1. de hypothese was onjuist, of –2. de hypothese was juist, maar de betrouwbaarheid en/of validiteit van de meting(en) was te laag! Gevolg van lage betrouwbaarheid: –verbanden tussen variabelen worden onderschat! –en daardoor vind je eerder niet-significante verbanden. Gevolg van lage validiteit: –verbanden tussen variabelen kunnen op alle mogelijke wijzen vertekend zijn (te klein, te groot, andere richting: negatief i.p.v. positief

21 21 Toevallige meetfout Assumpties 1.Gemiddelde meetfout = 0, ∑ e = 0 2.Meetfout ongecorreleerd met ware score 3.Meetfouten onderling ongecorreleerd 4.Meetfouten ongecorreleerd met andere kenmerken Gevolgen van toevallige meetfouten voor: Individuele resultaten: minder nauwkeurig Gemiddelde score (n personen) op 1 item: op den duur (n groot genoeg) nihil Gemiddelde score per persoon op een schaal van m items: op den duur (m groot genoeg) nihil Samenhang tussen geobserveerde variabelen: onderschatting van de werkelijke samenhang tusssen latente variabelen (zie Correctie voor attenuatie)

22 22 Betrouwbaarheid Herhaalde metingen: hetzelfde resultaat? Test-retest betrouwbaarheid -> Interne consistentie Parallelle instrumenten (equivalentie betrouwbaarheid) –Alternate forms –Split half method Inter-beoordelaar, inter-codeursbetrouwbaarheid

23 23 Kwaliteit van meetschalen: betrouwbaarheid Betrouwbaarheid meetschaal: Betrouwbaarheid op basis van interne consistentie: –Reliability procedure: Cronbachs alfa –MSP: betrouwbaarheidsmaat rho –Component/factor analyse: eventueel per dimensie de betrouwbaarheid bepalen van de items die hoog laden op die dimensie

24 24 Validiteit Inhoudsvaliditeit (content) Criteriumvaliditeit (criterion) –Concurrente validiteit (concurrent) –Predictieve validiteit (predictive) Begripsvalidity (construct) –Convergente validiteit (convergent) –Divergente validiteit (divergent, discriminant)

25 25 Begripsvaliditeit bij multidimensionele schalen Situatie: uit analyse (bijv. componenten- of factoranalyse) blijkt dat er meerdere dimensies zijn. Aanvullend bewijs (begripsvaliditeit): Bekijk relatie tussen dimensies en achtergrondkenmerken of gevolgvariabelen. Indien er daadwerkelijk meerdere dimensies zijn, zul je ook (deels) verschillende relaties vinden XYXY Dimensie 1 Dimensie 2

26 Likert-schaalanalyse en betrouwbaarheidsanalyse

27 27 Puntitems vs monotone items — +latent continuüm punt monotoon stijgend monotoon dalend

28 28 Non-monotone items (punt-items) Voorbeeld: In hoeverre bent u het eens met de volgende stelling: “Ik ben tegen abortus, behalve in sommige gevallen zoals incest” Antwoord: ‘Niet mee eens’‘mee eens’‘niet mee eens’ laag hoog Houding van respondent op het latente concept ‘weerstand tegen abortus’ laag hoogHouding van respondent op het latente concept ‘weerstand tegen abortus’

29 29 Monotone items Extreem geformuleerde items hebben een monotone IRF. Extreem positief (danwel negatief) item: n.m. positie van respondent positiever is, neemt de kans op een positief antwoord voortdurend toe (danwel af). — +latent continuüm

30 30 Monotone en non-monotone (punt) items Monotone items –Likert schaal (Summated scale) –Guttman schaal, Mokken schaal (Cumulative scale) –Component analyse –Factor analyse Non-monotone items –Thurstone schaal (Differential scale) –Coombs ontvouwingsschaal (Unfolding scale)

31 31 Overzicht van procedurestappen Likert-schaalanalyse 1.Operationalisatie 2.Dataverzameling 3.Hercoderen items in dezelfde richting 4.Item-analyse: betrouwbaarheid van meetschaal a.Correlatiematrix b.Cronbach’s α Eventueel items verwijderen of deelschalen construeren 5.Bepaal schaalscores 6.Inspecteer validiteit van de meetschaal

32 32 Procedurestappen Stap 1. Operationalisatie: formuleer items Behoorlijk groot aantal items Monotone itemkarakteristiek: - extreem geformuleerde items - vermijd formuleringen waarbij antwoorden niet eenduidig interpreteerbaar zijn Vermijd respons set: wissel + en – items af Stap 2. Dataverzameling Stap 3. Hercodeer alle variabelen: hoge score verwijst naar hoge mate van latent begrip

33 33 Procedure (stap 4): Item-analyse Betrouwbaarheidsanalyse: Beoordelen van de betrouwbaarheid (interne consistentie) van de meetschaal Selecteer items die tezamen een intern consistente schaal vormen Hoge correlaties tussen items: hoge interne consistentie I.Inspecteer de correlatiematrix II.Bereken betrouwbaarheidsmaat (bijv. Cronbach’s alfa)

34 34 Item-analyse (1): correlatiematrix Inspecteer de correlatiematrix: 3 situaties a.Alle correlaties zijn voldoende hoog b.Eén of enkele variabelen correleren nauwelijks met de overige: verwijder deze variabelen één voor één c.Niet-homogene correlatiematrix. Clusters van variabelen die wellicht naar verschillende (aspecten van) concepten verwijzen –Maak aparte Likert-deelschalen –Kies multidimensioneel meetmodel, bijv. factoranalyse

35 35 Correlatiematrix Niet homogeen Homogeen Aspect 1 hoge r Aspect 2 hoge r Lage r tussen iems van aspect 1 en 2 Ongeveer even hoge inter-item r’s

36 36 Betrouwbaarheid Klassieke test theorie: X = X T + e Assumpties random error e −∑ e = 0 −e niet gerelateerd aan X T Zodat Totale geobserveerde variantie = ware variantie + errorvariantie

37 37 Item-analyse (2): betrouwbaarheid Bereken betrouwbaarheidscoëfficiënt: Cronbach’s α als maat voor de interne consistentie Met k = aantal items = itemvariantie = variantie totale schaal n.b. Cronbach’s α voor gestandaardiseerde scores: In SPSS: Standardized item alpha Met k = aantal items = gemiddelde inter-item correlatie

38 38 Cronbach’s alfa Vuistregels: (Swanborn, 1988) Bij 10 tot 15 items: α ≥.85 (De Heus, 1995) α ≥.80 ‘goed’, α <.60‘slecht’ (Nunnally, 1978) α ≥.70 Alfa is ook afhankelijk van het aantal items Verwijder het laagst-correlerende item indien daardoor α zal stijgen, en herhaal deze procedure indien nodig

39 39 Item verwijderen? Indien Cronbach’s alfa na verwijdering van het item hoger wordt, komt het item voor verwijdering in aanmerking. Vuistregels (De Heus, 1995) –Stijging in α is ≤ 0,001niet verwijderen –Stijging in α is ≥ 0,05verwijderen Echter, let ook op de inhoudsvaliditeit: –Worden alle facetten van het theoretische concept gemeten?

40 40 Testverlenging Hoe meer items, hoe groter de betrouwbaarheid Spearman-Brown formule voor testverlenging r kk = betrouwbaarheid verlengde test r xx = betrouwbaarheid oorspronk. test k = vergrotingsfactor Bijv. items die onderling gemiddeld.20 correleren. Schaal van 4 items: betrouwbaarheid =.50 Schaal van 10 items: betrouwbaarheid =.71 Schaal van 12 items: betrouwbaarheid =.75

41 41 R E L I A B I L I T Y A N A L Y S I S - S C A L E (A N T I G A Y) 1. V3130 lesbian sexuality just does not fit in o 2. V3131 sex between two women is not natural 3. V3132 lesbian sexuality is not a problem for m 4. V3133 sex between two lesbian women disgusting 5. V3134 lesbian women are abnormal 6. V0234 woman better suited to raise children 7. V0237 unnatural if women give guidance to men Correlation Matrix V3130 V3131 V3132 V3133 V3134 V0234 V0237 V V V V V V V Voorbeeld

42 42 Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted V V V V V V V Reliability Coefficients 7 items Alpha =.8533 Standardized item alpha =.8575

43 43 Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted V V V V V V Reliability Coefficients 6 items Alpha =.8786 Standardized item alpha =.8762 **** zonder V0237: V V V V V Reliability Coefficients 5 items Alpha =.8921 Standardized item alpha =.8942

44 44 Overzicht van procedurestappen 1.Operationalisatie 2.Dataverzameling 3.Hercoderen items in dezelfde richting 4.Item-analyse: betrouwbaarheid van meetschaal a.Correlatiematrix b.Cronbach’s α Eventueel items verwijderen of deelschalen construeren 5.Bepaal schaalscores 6.Inspecteer validiteit van de meetschaal

45 45 Procedure (stap 5): schaalscore Bepaal per respondent de schaalscore (totaalscore). Schaalscore = somscore (of gemiddelde) Ongewogen som: alle items tellen even zwaar mee bijvoorbeeld in SPSS: Compute schaal = mean.3 (v1,v2,v3,v4). ↓.3  alleen respondenten die 3 of meer vragen hebben beantwoord, krijgen een score op de schaal.

46 46 Overzicht van procedurestappen 1.Operationalisatie 2.Dataverzameling 3.Hercoderen items in dezelfde richting 4.Item-analyse: betrouwbaarheid van meetschaal a.Correlatiematrix b.Cronbach’s α Eventueel items verwijderen of deelschalen construeren 5.Bepaal schaalscores 6.Inspecteer validiteit van de meetschaal


Download ppt "1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse."

Verwante presentaties


Ads door Google