Betrouwbaarheid en Validiteit

Presentatie over: "Betrouwbaarheid en Validiteit"— Transcript van de presentatie:

1 Betrouwbaarheid en Validiteit
Wat is de kwaliteit van metingen ? Betrouwbaarheid Validiteit Overeenstemming (valt buiten M&S 3) Collegesheets M&S3 Math Candel, Methodologie en Statistiek

2 Betrouwbaarheid: Voorbeeld 1

3 Voorbeeld 2: Soortgelijke items over de attitude t.a.v. gezondheid
“Voor gezondheid moet je alles over hebben” “Niets is belangrijker dan je gezondheid” Antwoordcategorieën: 5 = zeer mee eens 4 = mee eens 3 = eens noch oneens 2 = mee oneens 1 = zeer mee oneens

4 Klassieke testtheorie:
Score voor persoon i op replicatie j: Yij = Ti + eij Gemeten score = ware score + “meetfout” Gemiddelde van eij over replicaties = zodat Gemiddelde van Yij over replicaties = Ti

5 Uit klassieke theorie volgt:
Gemeten variantie = Ware score variantie (verschillen tussen ware scores) + Meetfoutvariantie

6 Definitie van betrouwbaarheid

7 Restriction-of-range effect
Populatie 1: Bloeddruk bij adolescenten Populatie 2: Bloeddruk bij adolescenten en volwassenen

8 Aannamen klassieke testtheorie
Metingen zijn parallel: meten dezelfde ware score hebben dezelfde meetfoutvariantie Metingen hebben ongecorreleerde meetfouten Gevolg: Correlatie tussen 2 metingen = betrouwbaarheid van 1 van beide metingen

9

10

11 Schatting van de betrouwbaarheid
Neem het gemiddelde van alle correlaties die tussen een tweetal replicaties berekend kan worden Andere schatting:

12 Nadelige effecten van onbetrouwbaarheid
1. Lagere power van statistische toetsen Bijv. Onbetrouwbaarheid verhoogt binnengroepsvarianties:

13 Attenuatie effect

14 Attenuatie in formule liggen tussen 0 en 1
betrouwbaarheden van X en Y liggen tussen 0 en 1 de correlatie tussen X en Y wordt dus altijd afgezwakt (gaat naar 0 toe)

15 Formule voor de ware score correlatie/ Correctie voor attenuatie formule
Op basis van schattingen van de betrouwbaarheden van X en Y kunnen we de correlatie tussen de onderliggende ware scores uitrekenen

16 Repliceren als remedie tegen onbetrouwbaarheid
Bereken het gemiddelde van K replicaties: G Spearman-Brown geeft de betrouwbaarheid van dit gemiddelde G: waarin K de verlengingsfactor is

17 Betrouwbaarheid van 1 item: Aantal replicaties

18 De betrouwbaarheid van G hangt dus af van:
De betrouwbaarheid van 1 replicatie (meting/item) Het aantal replicaties (metingen/items) per persoon

19 Methoden om betrouwbaarheid van meting te bepalen
1. Test-hertest betrouwbaarheid Meet tweemaal bij een groep personen Bereken correlatie tussen deze twee metingen Correlatie = maat voor betrouwbaarheid Probleem: Geheugeneffecten: Geen onafhankelijke meetfouten Washout-periode Construct kan veranderd zijn: Geen parallelle metingen

20 2. Parallel-test betrouwbaarheid
Meet met 2 parallelle meetinstrumenten Vlak na elkaar Correlatie = maat voor betrouwbaarheid Probleem: Geen parallel meetinstrument

21 3. Split-half betrouwbaarheid
Splits vragenlijst in 2 helften Correlatie tussen somscores op beide helften Spearman-Brown met K = 2 levert betrouwbaarheid van de hele vragenlijst = Split-half betrouwbaarheid ! Probleem: Iedere opsplitsing van de vragenlijst levert een andere schatting van de betrouwbaarheid

22 4. Cronbach’s  - Soort gemiddelde van alle mogelijke split-half betrouwbaarheden - Formele uitleg: Als items parallelle metingen zijn dan kunnen we middels de Spearman-Brown formule de betrouwbaarheid van K items bepalen Wat is de betrouwbaarheid van 1 item ?

23 Cronbach’s  Schatting van itembetrouwbaarheid middels: Standardized 

24 Schattingen van itembetrouwbaarheid gaan omlaag als:
- Items veel meetfout bevatten - Items ook iets unieks meten: heterogene items Cronbach’s  en de standardized : Coëfficiënt voor interne consistentie

25 Praktijk van itemanalyse
1. Gereedmaken van de data Hercoderen van gespiegelde items Missing values verhelpen - Verwijder personen en items met veel missende waarden (bijv. > 10% missende waarden) - Resterende missing values vervangen door redelijke waarde c) Scoring items moet kloppen met betekenis Pas op met: “n.v.t.” en “weet niet”

26 Betrouwbaarheidsanalyse middels SPSS
(RELIABILITY) Items uit “Leeft Nederland Oké ?” Belang van gezondheid: Item5a: Gezondheid is het allerbelangrijkste in het leven van een mens Item5e: Voor gezondheid moet je alles over hebben Item5h: Gezondheid is alleen maar een hulpmiddel om gelukkig te worden Item5j: Gezondheid is iets waarover je niet genoeg kunt lezen

27 SPSS uitvoer: Belang van gezondheid

28

29 Spearman-Brown: Cronbach’s : Standardized :

30 Ware score variantie voor somscore:

31 Meetfout variantie voor somscore:

32 Betrouwbaarheidsanalyse van Locus of control
Item5c: Gezondheid wordt bepaald door krachten die je niet kunt beinvloeden Item5f: Je kunt weinig doen aan je eigen gezondheid Item5i: Er zijn teveel dingen die van invloed zijn op je gezondheid; zoveel dat je het niet kunt bijhouden Wat is de ware score correlatie tussen Belang van Gezondheid en Locus of Control ?

33 Correctie voor attenuatie formule
(X,Y) = correlatie tussen Belang en Locus = (X,X’) = betrouwbaarheid Belang schaal = (Cronbach’s ) (Y,Y’) = betrouwbaarheid Locus schaal =

34 Analyse op gemengde schaal (Belang + Locus)

35 Betrouwbaarheidsanalyse validiteitsanalyse
Concreet: mengen van twee verschillende schalen hoeft niet in een RELIABILITY analyse opgespoord te worden Om multidimensionaliteit op te sporen: Inhoudsanalyse (gezond verstand) en/of Factoranalyse (valt buiten M&S 3)

36

37 Validiteit: Meet het instrument wat men wil meten ?
Inhoudsvaliditeit Dekken de items gezamenlijk goed het inhoudelijk gebied af dat men wil meten ? Te onderzoeken met een facet design

38 Predictieve validiteit
Is het meetinstrument een goede voorspeller van een extern (later te meten) criterium ? CITO scores op basisschool een goede voorspeller van succes op middelbare school ? Zwangerschapstest een goede voorspeller van zwangerschap ? Van belang is voorspellend vermogen; theorie is niet nodig

39 Begrips- of constructvaliditeit
Vertoont de meting een samenhang met andere variabelen zoals dit theoretisch verwacht wordt ?

40 Bepaling van de validiteit
Inhoudsvaliditeit: Items ontwerpen via een facetdesign Predictieve validiteit: Uitrekenen van validiteitscoëfficiënt: Correlatie tussen meting X en criterium C

41 Begrips- of constructvaliditeit
Bekijk groepsverschillen: Bijv. chronisch zieken zullen hoger scoren op de belang van gezondheid schaal

42 Correlatie-onderzoek:
Twee schalen die hetzelfde meten, dienen hoog te correleren. Bijv. BELANG2: Vindt u gezondheid (1) belangrijker dan (2) even belangrijk als (3) minder belangrijk dan o.a. gezinsleven, werk, vrede, geloof, …. ? Somscore is maat voor het belang van gezondheid

43 (X,Y) = correlatie tussen BELANG en BELANG2 = -0.0565
(p = 0.214) (X,X’) = betrouwbaarheid BELANG schaal = (Cronbach’s ) (Y,Y’) = betrouwbaarheid BELANG2 schaal =

44 Bekijk de interne structuur:
Als items pretenderen hetzelfde te meten, dan moeten deze sterk correleren: - Hoge item-rest correlaties - Hoge item-item correlaties

45

46

47

48 Met instemmingstendentie
Xij = Ti + Ii + Eij Ysij = -Ti + Ii + Eij Na hercodering: Yij = Ti – Ii - Eij (TX,TY) = (Ti+Ii,Ti-Ii) 1 Zonder instemmingstendentie Xij = Ti + Eij Ysij = -Ti + Eij Na hercodering: Yij = Ti - Eij (TX,TY) = (Ti,Ti) = 1

49