De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Kwantitatieve & kwalitatieve data analyse

Verwante presentaties


Presentatie over: "Kwantitatieve & kwalitatieve data analyse"— Transcript van de presentatie:

1 Kwantitatieve & kwalitatieve data analyse
Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Mokken schaalanalyse Dr. M. Coenders

2 Mokken schaalanalyse Scalogramanalyse: Guttman: deterministisch model
Mokken: probabilistisch model Non-parametrisch IRT-model: Mokken schaalanalyse Parametrisch IRT-model: Rasch, Birnbaum

3 Scalogram-analyse Unidimensioneel nonparametrisch IRT-model
Cumulatieve schaal: rangorde van items Ontwikkelingen: Guttman (1950): deterministisch model voor dichtome items Mokken (1971): probabilistisch versie van Guttman Molenaar (1982): uitbreiding naar polytome items Programma: MSP (Mokken Scale analysis for Polytomous items)

4 Voorbeeld: Social distance (Bogardus)
Would you admit members of [this race] to … To close kinship by marriage To my club as personal chums To my street as neighbors To employment in my occupation in my country To citizenship in my country As visitor only to my country Would exclude from my country

5 latent continuüm Gemeenschappelijke ruimte respondenten en items
Positie van respondent op continuüm = θ Positie van item op continuüm = δ (difficulty) P(pos. antwoord) = f (θ, δ) Resp 1 Resp 2 Item A Item B Item C + δA θ1 δB θ2 δC Item A is een makkelijk item Item C is een moeilijk item

6 Items en item-difficulty δ
Net als bij Likertschaal: monotone itemkarakteristiek Scalogramanalyse oorspronkelijk ontworpen voor dichtome items: ja /nee, 0/1 Rangorde in items: moeilijke en makkelijke items Itemdifficulty δ = moeilijkheidsgraad of schaalwaarde Per definitie: δ = het punt op het continuüm waar 50% kans op een positief antwoord bestaat Empirisch: rangorde van items op basis van populariteit (d.w.z. de proportie positieve antwoorden in de steekproef)

7 Guttman en Mokken Guttman Deterministisch model
P (positief antwoord) is 0 of 1 Mokken Probabilistisch model 0 ≤ P (positief antwoord) ≤ 1

8 Deterministisch model (Guttman)
Respondent bezit latente eigenschap wel of niet P (positief antwoord) = 0 of 1. Itemkarakteristiek bestaat uit 2 rechte stukken: een gebied waar de kans 0 is en een waar de kans 1is. Bij k dichtome items zijn er slechts k+1 antwoordpatronen: In elke kruistabel van 2 items is er een nulcel Hoge eisen: bij meten van houdingen onrealistisch

9 Itemkarakteristiek Guttman
1.0 Item 3 Item 2 Item 1 0.0 + latent continuüm

10 Antwoordpatronen Alle (k+1) perfecte antwoordpatronen Enkele
inperfecte antwoordpatronen

11 Schaalscore Schaalscore = aantal positief beantwoorde items.
Bij perfect deterministisch model: Uit de schaalscore is het antwoordpatroon af te leiden Scalogramanalyse is dus representerend meten

12 Nulcel in deterministisch model
Item i (> 1.60m?), item j (> 1.80m?) Item j is moeilijker dan i: δj > δi nulcel

13 Itemkarakteristiek Mokken
+ latent continuüm 1.0 0.0

14 Probabilistisch model (Mokken)
Hoe meer de respondent de latente eigenschap bezit, des te groter de kans op positief antwoord Itemkarakteristiek: monotoon 0 ≤ P (positief antwoord) ≤ 1. Bij k dichotome items zijn er 2k mogelijke antwoordpatronen

15 Schaalbaarheid van items
In welke mate vormen de items een scalogramschaal? Hoeveel afwijkingen zijn er van het perfecte deterministische model? Ofwel, hoeveel ‘foute’ antwoordpatronen? Hoe groot is de vulling van de ‘nulcel’? Schaalbaarheidscoëfficiënten Vroeger: - Guttmans reproduceerbaarheidsmaat - Greens index of consistency Nu: - Loevingers homogeniteitscoëfficiënt H

16 Nulcel bij onafhankelijke items
Wanneer 2 items statistisch onafhankelijk zijn, dan hebben deze items niets gemeenschappelijk Ze verwijzen niet naar eenzelfde theoretisch begrip. De items zijn niet schaalbaar. E = verwachte aantal fouten bij onafhankelijke items F = geobserveerde aantal fouten Idealiter: F = 0. In ieder geval moet gelden: F < E. Frequentietabel bij stat. onafhankelijkheid Gegeven de marginale frequenties, E = 12

17 Schaalbaarheidscoëfficiënt H, Hi, Hij
Hij voor elk itempaar (‘pairwise H’) hoe geringer de nulcel, des te hoger Hij Ook geldt: hoe groter de samenhang tussen items, des te hoger Hij Hij is homogeniteitsmaat (onderlinge samenhang) en betrouwbaarheidsmaat (interne consistentie) Eis: Hij > 0

18 Schaalbaarheidscoëfficiënt H, Hi, Hij
Hi voor elk item (‘itemH’) Voor item i, gesommeerd over alle itemparen bestaande uit item i en een ander item. H voor gehele schaal (‘scaleH’) Voor gehele schaal, gesommeerd over alle itemparen H is interne consistentie maat voor de schaal als geheel

19 Schaalbaarheidscoëfficiënt H, Hi, Hij
Criteria en vuistregels Eis: Hij>0. Anders item (één voor één) verwijderen. Voor resterende items: bepaal Hi en H. Eis Hi en H > .30 Vuistregels Verwijder item met lage Hi

20 Assumpties scalogram model
Unidimensioneel UD Locale onafhankelijkheid LI Monotone IRF’s M Niet-doorsnijdende IRF’s NI Set items die voldoen aan assumptie = MH = Monotoon homogene item set (Molenaar & Sijtsma) Voldoen aan 1e monotonie eis (Swanborn) Set items die voldoen aan assumptie = DM = Dubbel monotone item set (Molenaar & Sijtsma) Voldoen ook aan 2e monotonie eis (Swanborn)

21 Dubbele monotonie-eis
Eerste monotonie eis Elk item ordent de respondenten op dezelfde wijze. Ongeacht de moeilijkheidsgraad δ van het item: hoe groter θ (hoe meer respondent van de latente eigenschap bezit), des te groter de kans op pos. antw. Tweede monotonie eis Op elk punt van het continuüm is de rangorde van items hetzelfde. Ongeacht de positie van de respondent (θ): hoe groter δ, des te kleiner de kans op pos. antw. Itemkarakteristieken mogen elkaar niet doorsnijden.

22 1e monotonie eis 1.0 0.5 1 2 3 0.0 δ1 δ2 δ3 + Item Item Item

23 Schending van 1e monotonie eis
1.0 0.5 1 2 3 0.0 δ3 δ1 + Item Item Item

24 2e monotonie eis 1.0 c b a 0.0 θ4 θ3 θ2 θ1 + latent continuüm

25 Schending van 2e monotonie eis
1.0 d c b a 0.0 θ4 θ3 θ2 θ1 + latent continuüm

26 Controle eerste monotonie eis
Schaalbaarheidscoëfficiënten H, Hi, Hij Inspectie itemkarakteristiek Bepaal restscore = totaalscore op items, m.u.v. item i Zet % positieve antwoorden op item i af tegen restscore In MSP 1. Output H, Hi, Hij 2. ‘Evaluate model assumptions’ – ‘monotonicity’ 2a. Meer details per item (bijv. IRF): geef gewenste item op bij ‘evaluate model assumptions’ – ‘items’

27 Controle dubbele monotonie eis
Inspectie Pmatrix Inspectie van itemkarakteristieken van 2 items Restscore methode: Bepaal restscore = totaalscore op items, m.u.v. 2 items Zet % positieve antwoorden op item i en j af tegen restscore Restsplit methode: Maak 2 groepen: lage en hoge restscore groep Vervolgens net als bij a) Bepaal restscore en zet % positieve antwoorden op item i en j af tegen restscore Herhaal dit voor alle mogelijke indelingen in 2 groepen

28 P-matrices: P (+,+) en P (−,−)
Maak matrix van (2x2)tabellen, waarbij items van links → rechts en van boven → beneden gerangschikt zijn van moeilijk naar makkelijk. Bekijk + + cellen. Proportie in + + cellen mag van l → r en van b → o niet afnemen (nondecreasing) Bekijk – – cellen. Proportie in – – cellen mag van l → r en van b → o niet toenemen (nonincreasing)

29 MSP: inspectie van model assumpties
Niet alle schendingen van model assumpties zijn even belangrijk: alleen schendingen ≥ minvi (‘minimum violation’) tellen mee alleen significante schendingen zijn van belang (significantienivo) bij bepaling van restscore (of restsplit)groepen: kleine groepjes worden samengevoegd zodat minimale groepsomvang ≥ minsize default waarden voor minvi, siglevel, minsize

30 Samenvattende maat per item: Crit
In welke mate schendt het item de assumptie? Combineert informatie over de item-H én de schendingen van de betreffende assumptie (aantal, grootte, en significantie) Vuistregel: Crit > 80: sterke aanwijzing dat assumptie geschonden wordt. Crit < 40: slechts kleine schendingen, waarschijnlijk te wijten aan steekproeffluctuatie

31 Voorbeeld MSP-analyse
Steun voor etnische discriminatie Data: SCP ‘Culturele veranderingen’, (hier alleen data uit 1993). Artikel: Coenders & Scheepers, P. (1998). Support for ethnic discrimination in the Netherlands European Sociological Review, 14,

32 Etnische discriminatie: items
Items gedichotomiseerd: 0 = voorrang voor etn.minderheden / mag geen verschil maken; 1 = voorrang voor Nederlander / blanke

33 Etnische discriminatie: Summary output voor schaal en per item
[Analysis 1 Summary line per scale] k n H Rho itemH Monot. Pmatrx Restsc. Comment var683e ( 3) 46( 3) [Analysis 1 Summary per item] Mean ItemH Monot. Pmatrx Restsc. Label 1 var683b woning: gastarbeider 2 var683d woning: surinaams gezin 3 var683e * * 46* woning: andere huidskleur 4 var728b ontslag: buitenlander 5 var728d ontslag: surinamer 6 var728f ontslag: andere huidskleur 7 var729b promotie: buitenlander 8 var729d promotie: surinamer 9 var729f promotie: andere huidskleur The worst item is marked by an asterisk where relevant ScaleH= Rho =

34 Etnische discriminatie: Output Hij
[Analysis 1 Matrix of H values per item pair] Items var729f var728f var683e var729d var728d var729b var728b var683d var729f var728f var683e var729d var728d var729b var728b var683d var683b Number of items in matrix : 9 Total number of H-values : 36 Total number of negative H-values: 0

35 Etnische discriminatie: Aantal Guttman errors
(fouten in het antwoordpatroon, ofwel ‘aantallen in nulcellen’)

36 Etnische discriminatie: Schaal
[Analysis 1 | Overview final scale] Number of Items: 9 n = Scale coefficient H = Scale Z = Item coefficients Item Label Mean ItemH Z var729f promotie: andere huidskleur var728f ontslag: andere huidskleur var683e woning: andere huidskleur var729d promotie: surinamer var728d ontslag: surinamer var729b promotie: buitenlander var728b ontslag: buitenlander var683d woning: surinaams gezin var683b woning: gastarbeider [Analysis 1 | Scale score statistics] Frequency distribution: Scale score Frequencies Range schaalscore van 0 tot 9

37 Check assumptie van monotone itemkarakteristiek (Monotonicity)
Voor item var683d [Analysis 1 Details per itemstep for check of monotonicity] Minimum violation = 0.03 Significance level= 0.05 Minimum group size= 196 var683d woning: surinaams gezin Restscore Frequencies per Proportions of positive Group Low High N item value Mean responses per itemstep >= 1 #ac #vi #vi/#ac maxvi sum sum/#ac zmax group #zsig Itemstep Proportie pos. antw. op var683d afgezet tegen de restscore (= score op de overige 8 items)

38 Check assumptie van niet-doorsnijdende IRF’s (met Restscore methode)
Samenvatting van ‘check of non-intersection via restscore groups’ [Analysis 1 | Summary per item for check of non-intersection via restscore groups] Minimum violation=0.03 Significance level=0.05 Minimum group size=196 ItemH #ac #vi #vi/#ac maxvi sum sum/#ac zmax #zsig crit var683b var683d var683e * var728b var728d var728f var729b var729d var729f Hoogste crit-waarde bij var683e: er is 1 significante schending

39 [Vervolg] Check assumptie van niet-doorsnijdende IRF’s
(met Restscore methode) I = (var683e) with list below J = (var729d) Restscore Frequencies for Proportions of positive Group Low High N itemstep pair IJ vi z responses per itemstep var683e var729d Total Details voor var683e Proportie pos. antw. op var683e en var729d afgezet tegen de restscore (= score op de overige 7 items)

40 Check assumptie van niet-doorsnijdende IRF’s (met P matrix)
var729f var728f var683e var729d var728d var729b var728b var683d var683b Item P var729f var728f var683e var729d var728d var729b var728b var683d var683b [P(-,-) matrix Item P var729f var728f var683e var729d var728d var729b var728b var683d var683b

41 Check assumptie van niet-doorsnijdende IRF’s (met P matrix)
[Summary per item for check of non-intersection via P-matrices] ItemH #ac #vi #vi/#ac maxvi sum sum/#ac zmax #zsig crit var683b var683d var683e * var728b var728d var728f var729b var729d var729f [Details per itemstep pair for check of non-intersection in P-matrices] var683e with list below #ac #vi #vi/#ac maxvi sum sum/#ac zmax #zsig var729d total var728d total other pairs [Refined details per itemstep pair for check of non-intersection in P-matrices] I = (var683e) with list below subgroup I++ J++ vi I-- J-- vi z zsig J = (var729d) var729b J = (var728d) var728b Var683e: 2 schendingen Details: schendingen bij var683e met item… Refined details: zie ook vorige dia

42 Scalogram analyse voor polytome items
Item met (m+1) categorieën omvat m dichtome itemsteps. Itemstep = denkbeeldige overgang tussen 2 opeenvolgende categorieën. I.p.v. itemkarakteristiek (IRF), nu Item Step Response Function Item met 3 categorieën (niet mee eens, neutraal, mee eens): 2 itemsteps

43 Parametrische IRT-modellen

44 Parametrische IRT modellen
De Item Response Functie wordt beschreven d.m.v. parameters Meest algemene vorm van deze IRF voor dichotoom item is het 3-parameter logistisch model: De kans om item “goed” te hebben (x=1) is afhankelijk van: Persoon parameter θ (“ware score”, latent trait value, ability) Item parameters a, b en c a = discrimination parameter, hellingshoek b = difficulty parameter, moeilijkheidsgraad c = correctie voor gokken bij multiple choice vragen

45 Parametrische IRT modellen
Item parameter a = discrimination parameter; hellingshoek; het onderscheidingsvermogen van het item Drie items met verschillende hellingshoek

46 Parametrische IRT modellen
Item parameter b: difficulty parameter; moeilijkheidsgraad Drie items met verschillende moeilijkheidsgraad

47 Parametrische IRT modellen
Voor (kennis-)toetsen met multiple choice vragen: Item parameter c = guessing parameter; kans op correct antwoord op het item indien je gokt Drie items met verschillende gokkans

48 Parametrische IRT modellen
One-parameter logistic model (Rasch) Alleen item parameter b: Items verschillen alleen in moeilijkheidsgraad Hellingshoek a heeft een constante waarde (meestal = 1) Two-parameter logistic model (Birnbaum) Item parameters a + b: hellingshoek kan variëren. Gevolg: IRF’s kunnen elkaar doorsnijden. Three-parameter logistic model (Birnbaum) Idem, met item parameter c om rekening te houden met gokkans bij multiple-choice vragen

49 Parametrische IRT modellen
Voordeel: θ (latent trait value) en item parameters zijn onafhankelijk van elkaar te schatten Subject invariant measurement: De schatting van de item parameters is onafhankelijk van de onderzochte populatie Item invariant measurement: De schatting van θ is onafhankelijk van de gebruikte items. Nadeel: Om schattingen te kunnen maken, heb je groot aantal items nodig (Bij Rasch: > 20 items)


Download ppt "Kwantitatieve & kwalitatieve data analyse"

Verwante presentaties


Ads door Google