De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Betrouwbaarheid en Validiteit Wat is de kwaliteit van metingen ? –Betrouwbaarheid –Validiteit –Overeenstemming (valt buiten M&S 3) Collegesheets M&S3 Math.

Verwante presentaties


Presentatie over: "Betrouwbaarheid en Validiteit Wat is de kwaliteit van metingen ? –Betrouwbaarheid –Validiteit –Overeenstemming (valt buiten M&S 3) Collegesheets M&S3 Math."— Transcript van de presentatie:

1 Betrouwbaarheid en Validiteit Wat is de kwaliteit van metingen ? –Betrouwbaarheid –Validiteit –Overeenstemming (valt buiten M&S 3) Collegesheets M&S3 Math Candel, Methodologie en Statistiek

2 Betrouwbaarheid: Voorbeeld 1

3 Voorbeeld 2: Soortgelijke items over de attitude t.a.v. gezondheid “Voor gezondheid moet je alles over hebben” “Niets is belangrijker dan je gezondheid” Antwoordcategorieën:5 = zeer mee eens 4 = mee eens 3 = eens noch oneens 2 = mee oneens 1 = zeer mee oneens

4 Klassieke testtheorie: Score voor persoon i op replicatie j: Y ij = T i + e ij Gemeten score = ware score + “meetfout” Gemiddelde van e ij over replicaties = 0 zodat Gemiddelde van Y ij over replicaties = T i

5 Uit klassieke theorie volgt: Gemeten variantie = Ware score variantie (verschillen tussen ware scores) + Meetfoutvariantie

6 Definitie van betrouwbaarheid

7 Restriction-of-range effect Populatie 1: Bloeddruk bij adolescenten Populatie 2: Bloeddruk bij adolescenten en volwassenen

8 Aannamen klassieke testtheorie Metingen zijn parallel: –meten dezelfde ware score –hebben dezelfde meetfoutvariantie Metingen hebben ongecorreleerde meetfouten Gevolg: Correlatie tussen 2 metingen = betrouwbaarheid van 1 van beide metingen

9

10

11 Schatting van de betrouwbaarheid Neem het gemiddelde van alle correlaties die tussen een tweetal replicaties berekend kan worden Andere schatting:

12 Nadelige effecten van onbetrouwbaarheid 1.Lagere power van statistische toetsen Bijv. Onbetrouwbaarheid verhoogt binnengroepsvarianties:

13 2. Attenuatie effect

14 Attenuatie in formule  betrouwbaarheden van X en Y liggen tussen 0 en 1  de correlatie tussen X en Y wordt dus altijd afgezwakt (gaat naar 0 toe)

15 Formule voor de ware score correlatie/ Correctie voor attenuatie formule Op basis van schattingen van de betrouwbaarheden van X en Y kunnen we de correlatie tussen de onderliggende ware scores uitrekenen

16 Repliceren als remedie tegen onbetrouwbaarheid Bereken het gemiddelde van K replicaties: G Spearman-Brown geeft de betrouwbaarheid van dit gemiddelde G: waarin K de verlengingsfactor is

17 Aantal replicaties Betrouwbaarheid van 1 item:

18 De betrouwbaarheid van G hangt dus af van: De betrouwbaarheid van 1 replicatie (meting/item) Het aantal replicaties (metingen/items) per persoon

19 Methoden om betrouwbaarheid van meting te bepalen 1.Test-hertest betrouwbaarheid –Meet tweemaal bij een groep personen –Bereken correlatie tussen deze twee metingen –Correlatie = maat voor betrouwbaarheid  Probleem: Geheugeneffecten: Geen onafhankelijke meetfouten  Washout-periode  Probleem: Construct kan veranderd zijn: Geen parallelle metingen

20 2.Parallel-test betrouwbaarheid –Meet met 2 parallelle meetinstrumenten –Vlak na elkaar –Correlatie = maat voor betrouwbaarheid  Probleem:  Geen parallel meetinstrument

21 3.Split-half betrouwbaarheid –Splits vragenlijst in 2 helften –Correlatie tussen somscores op beide helften –Spearman-Brown met K = 2 levert betrouwbaarheid van de hele vragenlijst = Split-half betrouwbaarheid !  Probleem:  Iedere opsplitsing van de vragenlijst levert een andere schatting van de betrouwbaarheid

22 -Soort gemiddelde van alle mogelijke split-half betrouwbaarheden -Formele uitleg: Als items parallelle metingen zijn dan kunnen we middels de Spearman-Brown formule de betrouwbaarheid van K items bepalen Wat is de betrouwbaarheid van 1 item ? 4. Cronbach’s 

23 Cronbach’s  Schatting van itembetrouwbaarheid middels: Standardized  Schatting van itembetrouwbaarheid middels:

24 Schattingen van itembetrouwbaarheid gaan omlaag als: - Items veel meetfout bevatten - Items ook iets unieks meten: heterogene items Cronbach’s  en de standardized  : Coëfficiënt voor interne consistentie

25 Praktijk van itemanalyse 1. Gereedmaken van de data a)Hercoderen van gespiegelde items b)Missing values verhelpen - Verwijder personen en items met veel missende waarden (bijv. > 10% missende waarden) - Resterende missing values vervangen door redelijke waarde c) Scoring items moet kloppen met betekenis Pas op met: “n.v.t.” en “weet niet”

26 2.Betrouwbaarheidsanalyse middels SPSS (RELIABILITY) Items uit “Leeft Nederland Oké ?” Belang van gezondheid: Item5a:Gezondheid is het allerbelangrijkste in het leven van een mens Item5e:Voor gezondheid moet je alles over hebben Item5h:Gezondheid is alleen maar een hulpmiddel om gelukkig te worden Item5j:Gezondheid is iets waarover je niet genoeg kunt lezen

27 SPSS uitvoer: Belang van gezondheid

28

29 Spearman-Brown: Standardized  : Cronbach’s  :

30 Ware score variantie voor somscore:

31 Meetfout variantie voor somscore:

32 Betrouwbaarheidsanalyse van Locus of control Item5c:Gezondheid wordt bepaald door krachten die je niet kunt beinvloeden Item5f:Je kunt weinig doen aan je eigen gezondheid Item5i:Er zijn teveel dingen die van invloed zijn op je gezondheid; zoveel dat je het niet kunt bijhouden Wat is de ware score correlatie tussen Belang van Gezondheid en Locus of Control ?

33 Correctie voor attenuatie formule  (X,Y) = correlatie tussen Belang en Locus =  (X,X’) = betrouwbaarheid Belang schaal = (Cronbach’s  )  (Y,Y’) = betrouwbaarheid Locus schaal = (Cronbach’s  )

34 Analyse op gemengde schaal (Belang + Locus)

35 Betrouwbaarheidsanalyse  validiteitsanalyse Concreet: mengen van twee verschillende schalen hoeft niet in een RELIABILITY analyse opgespoord te worden Om multidimensionaliteit op te sporen: –Inhoudsanalyse (gezond verstand) en/of –Factoranalyse (valt buiten M&S 3)

36

37 Validiteit: Meet het instrument wat men wil meten ? Inhoudsvaliditeit Dekken de items gezamenlijk goed het inhoudelijk gebied af dat men wil meten ? Te onderzoeken met een facet design

38 Predictieve validiteit Is het meetinstrument een goede voorspeller van een extern (later te meten) criterium ? –CITO scores op basisschool een goede voorspeller van succes op middelbare school ? –Zwangerschapstest een goede voorspeller van zwangerschap ? Van belang is voorspellend vermogen; theorie is niet nodig

39 Begrips- of constructvaliditeit Vertoont de meting een samenhang met andere variabelen zoals dit theoretisch verwacht wordt ?

40 Bepaling van de validiteit Inhoudsvaliditeit: Items ontwerpen via een facetdesign Predictieve validiteit: Uitrekenen van validiteitscoëfficiënt: Correlatie tussen meting X en criterium C

41 Begrips- of constructvaliditeit Bekijk groepsverschillen: Bijv. chronisch zieken zullen hoger scoren op de belang van gezondheid schaal

42 Correlatie-onderzoek: –Twee schalen die hetzelfde meten, dienen hoog te correleren. –Bijv. BELANG2: Vindt u gezondheid (1) belangrijker dan (2) even belangrijk als (3) minder belangrijk dan o.a. gezinsleven, werk, vrede, geloof, …. ? Somscore is maat voor het belang van gezondheid

43  (X,Y) = correlatie tussen BELANG en BELANG2 = (p = 0.214)  (X,X’) = betrouwbaarheid BELANG schaal = (Cronbach’s  )  (Y,Y’) = betrouwbaarheid BELANG2 schaal= (Cronbach’s  )

44 Bekijk de interne structuur: Als items pretenderen hetzelfde te meten, dan moeten deze sterk correleren: -Hoge item-rest correlaties -Hoge item-item correlaties

45

46

47

48 Zonder instemmingstendentie X ij = T i + E ij Y s ij = -T i + E ij Na hercodering: Y ij = T i - E ij  (T X,T Y ) =  (T i,T i ) = 1 Met instemmingstendentie X ij = T i + I i + E ij Y s ij = -T i + I i + E ij Na hercodering: Y ij = T i – I i - E ij  (T X,T Y ) =  (T i +I i,T i -I i )  1

49


Download ppt "Betrouwbaarheid en Validiteit Wat is de kwaliteit van metingen ? –Betrouwbaarheid –Validiteit –Overeenstemming (valt buiten M&S 3) Collegesheets M&S3 Math."

Verwante presentaties


Ads door Google