De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Mokken schaalanalyse Dr. M. Coenders.

Verwante presentaties


Presentatie over: "1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Mokken schaalanalyse Dr. M. Coenders."— Transcript van de presentatie:

1 1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Mokken schaalanalyse Dr. M. Coenders

2 2 Mokken schaalanalyse Scalogramanalyse: − Guttman: deterministisch model − Mokken: probabilistisch model Non-parametrisch IRT-model: Mokken schaalanalyse Parametrisch IRT-model: Rasch, Birnbaum

3 3 Scalogram-analyse Unidimensioneel nonparametrisch IRT-model Cumulatieve schaal: rangorde van items Ontwikkelingen: –Guttman (1950): deterministisch model voor dichtome items –Mokken (1971): probabilistisch versie van Guttman –Molenaar (1982): uitbreiding naar polytome items Programma: MSP (Mokken Scale analysis for Polytomous items)

4 4 Voorbeeld: Social distance (Bogardus) Would you admit members of [this race] to … –To close kinship by marriage –To my club as personal chums –To my street as neighbors –To employment in my occupation in my country –To citizenship in my country –As visitor only to my country –Would exclude from my country

5 5 latent continuüm Gemeenschappelijke ruimte respondenten en items Positie van respondent op continuüm = θ Positie van item op continuüm = δ (difficulty) P(pos. antwoord) = f (θ, δ) Resp 1Resp 2Item AItem BItem C — + δAδA θ1θ1 δBδB δCδC θ2θ2 Item A is een makkelijk item Item C is een moeilijk item

6 6 Items en item-difficulty δ Net als bij Likertschaal: monotone itemkarakteristiek Scalogramanalyse oorspronkelijk ontworpen voor dichtome items: ja /nee, 0/1 Rangorde in items: moeilijke en makkelijke items Itemdifficulty δ = moeilijkheidsgraad of schaalwaarde Per definitie: δ = het punt op het continuüm waar 50% kans op een positief antwoord bestaat Empirisch: rangorde van items op basis van populariteit (d.w.z. de proportie positieve antwoorden in de steekproef)

7 7 Guttman en Mokken Guttman Deterministisch model P (positief antwoord) is 0 of 1 Mokken Probabilistisch model 0 ≤ P (positief antwoord) ≤ 1

8 8 Deterministisch model (Guttman) Respondent bezit latente eigenschap wel of niet P (positief antwoord) = 0 of 1. Itemkarakteristiek bestaat uit 2 rechte stukken: een gebied waar de kans 0 is en een waar de kans 1is. Bij k dichtome items zijn er slechts k+1 antwoordpatronen: In elke kruistabel van 2 items is er een nulcel Hoge eisen: bij meten van houdingen onrealistisch

9 9 Itemkarakteristiek Guttman — + latent continuüm Item 1 Item 3 Item 2

10 10 Antwoordpatronen Alle (k+1) perfecte antwoordpatronen Enkele inperfecte antwoordpatronen

11 11 Schaalscore Schaalscore = aantal positief beantwoorde items. Bij perfect deterministisch model: Uit de schaalscore is het antwoordpatroon af te leiden Scalogramanalyse is dus representerend meten

12 12 Nulcel in deterministisch model Item i (> 1.60m?), item j (> 1.80m?) Item j is moeilijker dan i: δ j > δ i nulcel

13 13 Itemkarakteristiek Mokken — +latent continuüm

14 14 Probabilistisch model (Mokken) Hoe meer de respondent de latente eigenschap bezit, des te groter de kans op positief antwoord Itemkarakteristiek: monotoon 0 ≤ P (positief antwoord) ≤ 1. Bij k dichotome items zijn er 2 k mogelijke antwoordpatronen

15 15 Schaalbaarheid van items In welke mate vormen de items een scalogramschaal? Hoeveel afwijkingen zijn er van het perfecte deterministische model? Ofwel, hoeveel ‘foute’ antwoordpatronen? Hoe groot is de vulling van de ‘nulcel’? Schaalbaarheidscoëfficiënten Vroeger:- Guttmans reproduceerbaarheidsmaat - Greens index of consistency Nu:- Loevingers homogeniteitscoëfficiënt H

16 16 Nulcel bij onafhankelijke items Wanneer 2 items statistisch onafhankelijk zijn, dan hebben deze items niets gemeenschappelijk Ze verwijzen niet naar eenzelfde theoretisch begrip. De items zijn niet schaalbaar. E = verwachte aantal fouten bij onafhankelijke items F = geobserveerde aantal fouten Idealiter: F = 0. In ieder geval moet gelden: F < E. Frequentietabel bij stat. onafhankelijkheid Gegeven de marginale frequenties, E = 12

17 17 Schaalbaarheidscoëfficiënt H, H i, H ij H ij voor elk itempaar (‘pairwise H’) hoe geringer de nulcel, des te hoger H ij Ook geldt: hoe groter de samenhang tussen items, des te hoger H ij H ij is homogeniteitsmaat (onderlinge samenhang) en betrouwbaarheidsmaat (interne consistentie) Eis: H ij > 0

18 18 Schaalbaarheidscoëfficiënt H, H i, H ij H i voor elk item (‘itemH’) Voor item i, gesommeerd over alle itemparen bestaande uit item i en een ander item. H voor gehele schaal (‘scaleH’) Voor gehele schaal, gesommeerd over alle itemparen H is interne consistentie maat voor de schaal als geheel

19 19 Criteria en vuistregels Eis: H ij >0. Anders item (één voor één) verwijderen. Voor resterende items: bepaal H i en H. Eis H i en H >.30 Vuistregels Verwijder item met lage H i Schaalbaarheidscoëfficiënt H, H i, H ij

20 20 Assumpties scalogram model 1.UnidimensioneelUD 2.Locale onafhankelijkheidLI 3.Monotone IRF’sM 4.Niet-doorsnijdende IRF’sNI Set items die voldoen aan assumptie = MH = Monotoon homogene item set (Molenaar & Sijtsma) Voldoen aan 1e monotonie eis (Swanborn) Set items die voldoen aan assumptie = DM = Dubbel monotone item set (Molenaar & Sijtsma) Voldoen ook aan 2e monotonie eis (Swanborn)

21 21 Dubbele monotonie-eis 1)Eerste monotonie eis Elk item ordent de respondenten op dezelfde wijze. Ongeacht de moeilijkheidsgraad δ van het item: hoe groter θ (hoe meer respondent van de latente eigenschap bezit), des te groter de kans op pos. antw. 2)Tweede monotonie eis Op elk punt van het continuüm is de rangorde van items hetzelfde. Ongeacht de positie van de respondent (θ): hoe groter δ, des te kleiner de kans op pos. antw. Itemkarakteristieken mogen elkaar niet doorsnijden.

22 22 1 e monotonie eis — δ3δ3 0.5 δ2δ2 δ1δ1 Item Item Item

23 23 Schending van 1 e monotonie eis — δ1δ1 δ3δ3 Item Item Item

24 24 2 e monotonie eis — + latent continuüm θ1θ1 θ2θ2 θ3θ3 θ4θ4 abc

25 25 Schending van 2 e monotonie eis — + latent continuüm θ1θ1 θ2θ2 θ3θ3 θ4θ4 abc d

26 26 Controle eerste monotonie eis 1.Schaalbaarheidscoëfficiënten H, H i, H ij 2.Inspectie itemkarakteristiek –Bepaal restscore = totaalscore op items, m.u.v. item i –Zet % positieve antwoorden op item i af tegen restscore In MSP 1. Output H, H i, H ij 2. ‘Evaluate model assumptions’ – ‘monotonicity’ 2a. Meer details per item (bijv. IRF): geef gewenste item op bij ‘evaluate model assumptions’ – ‘items’

27 27 Controle dubbele monotonie eis 1.Inspectie Pmatrix 2.Inspectie van itemkarakteristieken van 2 items a)Restscore methode: –Bepaal restscore = totaalscore op items, m.u.v. 2 items –Zet % positieve antwoorden op item i en j af tegen restscore b)Restsplit methode: –Maak 2 groepen: lage en hoge restscore groep –Vervolgens net als bij a) Bepaal restscore en zet % positieve antwoorden op item i en j af tegen restscore –Herhaal dit voor alle mogelijke indelingen in 2 groepen

28 28 P-matrices: P (+,+) en P (−,−) Maak matrix van (2x2)tabellen, waarbij items van links → rechts en van boven → beneden gerangschikt zijn van moeilijk naar makkelijk. Bekijk + + cellen. Proportie in + + cellen mag van l → r en van b → o niet afnemen (nondecreasing) Bekijk – – cellen. Proportie in – – cellen mag van l → r en van b → o niet toenemen (nonincreasing)

29 29 MSP: inspectie van model assumpties Niet alle schendingen van model assumpties zijn even belangrijk: alleen schendingen ≥ minvi (‘minimum violation’) tellen mee alleen significante schendingen zijn van belang (significantienivo) bij bepaling van restscore (of restsplit)groepen: kleine groepjes worden samengevoegd zodat minimale groepsomvang ≥ minsize default waarden voor minvi, siglevel, minsize

30 30 Samenvattende maat per item: Crit In welke mate schendt het item de assumptie? Combineert informatie over de item-H én de schendingen van de betreffende assumptie (aantal, grootte, en significantie) Vuistregel: –Crit > 80: sterke aanwijzing dat assumptie geschonden wordt. –Crit < 40: slechts kleine schendingen, waarschijnlijk te wijten aan steekproeffluctuatie

31 31 Voorbeeld MSP-analyse Steun voor etnische discriminatie Data: SCP ‘Culturele veranderingen’, (hier alleen data uit 1993). Artikel: Coenders & Scheepers, P. (1998). Support for ethnic discrimination in the Netherlands European Sociological Review, 14,

32 32 Etnische discriminatie: items Items gedichotomiseerd: 0 = voorrang voor etn.minderheden / mag geen verschil maken; 1 = voorrang voor Nederlander / blanke

33 33 [Analysis 1 Summary line per scale] k n H Rho itemH Monot. Pmatrx Restsc. Comment var683e 42( 3) 46( 3) [Analysis 1 Summary per item] Mean ItemH Monot. Pmatrx Restsc. Label 1 var683b woning: gastarbeider 2 var683d woning: surinaams gezin 3 var683e * 42* 46* woning: andere huidskleur 4 var728b ontslag: buitenlander 5 var728d ontslag: surinamer 6 var728f ontslag: andere huidskleur 7 var729b promotie: buitenlander 8 var729d promotie: surinamer 9 var729f promotie: andere huidskleur The worst item is marked by an asterisk where relevant ScaleH= 0.83 Rho = 0.96 Etnische discriminatie: Summary output voor schaal en per item

34 34 Etnische discriminatie: Output H ij [Analysis 1Matrix of H values per item pair] Items var729f var728f var683e var729d var728d var729b var728b var683d var729f var728f 0.78 var683e var729d var728d var729b var728b var683d var683b Number of items in matrix : 9 Total number of H-values : 36 Total number of negative H-values: 0

35 35 Etnische discriminatie: Aantal Guttman errors (fouten in het antwoordpatroon, ofwel ‘aantallen in nulcellen’)

36 36 Etnische discriminatie: Schaal [Analysis 1| Overview final scale] Number of Items: 9 n = 1754 Scale coefficient H = 0.83 Scale Z = Item coefficients Item Label Mean ItemH Z var729f promotie: andere huidskleur var728f ontslag: andere huidskleur var683e woning: andere huidskleur var729d promotie: surinamer var728d ontslag: surinamer var729b promotie: buitenlander var728b ontslag: buitenlander var683d woning: surinaams gezin var683b woning: gastarbeider [Analysis 1| Scale score statistics] Frequency distribution: Scale score Frequencies Range schaalscore van 0 tot 9

37 37 Check assumptie van monotone itemkarakteristiek (Monotonicity) Voor item var683d Proportie pos. antw. op var683d afgezet tegen de restscore (= score op de overige 8 items) [Analysis 1 Details per itemstep for check of monotonicity] Minimum violation = 0.03 Significance level= 0.05 Minimum group size= 196 var683d woning: surinaams gezin Restscore Frequencies per Proportions of positive Group Low High N item value Mean responses per itemstep 0 1 >= #ac #vi #vi/#ac maxvi sum sum/#ac zmax group #zsig Itemstep 6 0

38 38 Check assumptie van niet-doorsnijdende IRF’s (met Restscore methode) [Analysis 1| Summary per item for check of non-intersection via restscore groups] Minimum violation=0.03 Significance level=0.05 Minimum group size=196 ItemH #ac #vi #vi/#ac maxvi sum sum/#ac zmax #zsig crit var683b var683d var683e * var728b var728d var728f var729b var729d var729f Samenvatting van ‘check of non-intersection via restscore groups’ Hoogste crit-waarde bij var683e: er is 1 significante schending

39 39 I = (var683e) with list below J = (var729d) Restscore Frequencies for Proportions of positive Group Low High N itemstep pair IJ vi z responses per itemstep var683e var729d Total Details voor var683e Proportie pos. antw. op var683e en var729d afgezet tegen de restscore (= score op de overige 7 items) [Vervolg] Check assumptie van niet-doorsnijdende IRF’s (met Restscore methode)

40 40 Check assumptie van niet-doorsnijdende IRF’s (met P matrix) [P(+,+) matrix] var729f var728f var683e var729d var728d var729b var728b var683d var683b Item P var729f var728f var683e var729d var728d var729b var728b var683d var683b [P(-,-) matrix var729f var728f var683e var729d var728d var729b var728b var683d var683b Item 1-P var729f var728f var683e var729d var728d var729b var728b var683d var683b

41 41 [Summary per item for check of non-intersection via P-matrices] ItemH #ac #vi #vi/#ac maxvi sum sum/#ac zmax #zsig crit var683b var683d var683e * var728b var728d var728f var729b var729d var729f [Details per itemstep pair for check of non-intersection in P-matrices] var683e with list below #ac #vi #vi/#ac maxvi sum sum/#ac zmax #zsig var729d total var728d total other pairs [Refined details per itemstep pair for check of non-intersection in P-matrices] I = (var683e) with list below subgroup I++ J++ vi I-- J-- vi z zsig J = (var729d) var729b J = (var728d) var728b Check assumptie van niet-doorsnijdende IRF’s (met P matrix) Var683e: 2 schendingen Details: schendingen bij var683e met item… Refined details: zie ook vorige dia

42 42 Scalogram analyse voor polytome items Item met (m+1) categorieën omvat m dichtome itemsteps. Itemstep = denkbeeldige overgang tussen 2 opeenvolgende categorieën. I.p.v. itemkarakteristiek (IRF), nu Item Step Response Function Item met 3 categorieën (niet mee eens, neutraal, mee eens): 2 itemsteps

43 43 Parametrische IRT-modellen

44 44 Parametrische IRT modellen De Item Response Functie wordt beschreven d.m.v. parameters Meest algemene vorm van deze IRF voor dichotoom item is het 3-parameter logistisch model: De kans om item “goed” te hebben (x=1) is afhankelijk van: Persoon parameter θ (“ware score”, latent trait value, ability) Item parameters a, b en c – a = discrimination parameter, hellingshoek – b = difficulty parameter, moeilijkheidsgraad – c = correctie voor gokken bij multiple choice vragen

45 45 Parametrische IRT modellen Item parameter a = discrimination parameter; hellingshoek; het onderscheidingsvermogen van het item Drie items met verschillende hellingshoek

46 46 Parametrische IRT modellen Item parameter b: difficulty parameter; moeilijkheidsgraad Drie items met verschillende moeilijkheidsgraad

47 47 Parametrische IRT modellen Voor (kennis-)toetsen met multiple choice vragen: Item parameter c = guessing parameter; kans op correct antwoord op het item indien je gokt Drie items met verschillende gokkans

48 48 One-parameter logistic model (Rasch) –Alleen item parameter b: Items verschillen alleen in moeilijkheidsgraad –Hellingshoek a heeft een constante waarde (meestal = 1) Two-parameter logistic model (Birnbaum) –Item parameters a + b: hellingshoek kan variëren. –Gevolg: IRF’s kunnen elkaar doorsnijden. Three-parameter logistic model (Birnbaum) –Idem, met item parameter c om rekening te houden met gokkans bij multiple-choice vragen Parametrische IRT modellen

49 49 Parametrische IRT modellen Voordeel: –θ (latent trait value) en item parameters zijn onafhankelijk van elkaar te schatten Subject invariant measurement: De schatting van de item parameters is onafhankelijk van de onderzochte populatie Item invariant measurement: De schatting van θ is onafhankelijk van de gebruikte items. Nadeel: –Om schattingen te kunnen maken, heb je groot aantal items nodig (Bij Rasch: > 20 items)


Download ppt "1 Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Mokken schaalanalyse Dr. M. Coenders."

Verwante presentaties


Ads door Google