Kwaliteit van meetinstrumenten

Presentatie over: "Kwaliteit van meetinstrumenten"— Transcript van de presentatie:

1 Kwaliteit van meetinstrumenten
Waarmee meet je? Kwaliteit van meetinstrumenten

2 Kwaliteitscriteria Schaaleigenschappen (interne consistentie, factorananalyse en collineariteit) Normgegevens Reproduceerbaarheid / betrouwbaarheid Validiteit Responsiviteit (onderdeel van validiteit) / bodem- en plafondeffecten Feasibility Dit zijn allemaal klinimetrische eigenschappen die zowel bij een bestaand meetinstrument als bij een nieuwe te ontwikkelen meetinstrument bekeken moeten wroden. KNGF-10

3 Betrouwbaarheid van meetinstrumenten
Betrouwbaarheid is een deelaspect van validiteit = is het instrument consistent of herhaalbaar Verschillende testen na elkaar moeten dezelfde resultaten geven Nooit valide als hij niet betrouwbaar is Wel betrouwbaar maar niet valide

4 X

5 Oorzaken van meetfouten
Subject : motivatie, stemming, vermoeidheid, geheugen, … Testen : heldere instructies, bijkomende richtlijnen, … Scoring : competentie, ervaring, toewijding, … van scorers Instrumentarium : fouten bij het toestel of bij de codering

6 Methoden om betrouwbaarheid vast te stellen
Intrabeoordelaar betrouwbaarheid Interbeoordelaar betrouwbaarheid

7 Validiteit van instrumenten
Validiteit = de mate waarin de test of het instrument meet wat hij bedoelt te meten Belangrijkste criterium = degelijkheid van de test

8

9 ‘Face’ en ‘content’ validiteit
‘Face’ validiteit Is het aannemelijk dat de items het bedoeld begrip meten? ‘Content’ validiteit Komen alle relevante dimensies aan bod en zijn er geen overbodige items Face validiteit is het aller belangrijkste. Als U denkt ‘waar slaan die vragen op? Dit wil ik helemaal niet weten, dan kunt U de vragenlijst al weg leggen. Als U de vragen bekijkt, bijv. Naar welke activiteiten allemaal wordt gevraagd kunt U kijken of er belangrijke gebieden gemist worden. Stel dat er alleen naar lichte huishoudelijke activiteien of zelfverzorging werd gevraagd en U wil weten of patienten na de operatie ook weer hun werk kunnen uitvoeren, dan moet U kijken of die in de vragenlijst voorkomen, of daar een aparte lijst voor meenemen. Het hoeft natuurlijk niet zo te zijn dat alle aspecten in meetinstrument vertegenwoordigd zijn KNGF-14

10 Construct validiteit Indien niet observeerbare constructen gemeten worden bv. intelligentie, angst, attitude, creativiteit, … Mate waarin de test dit construct meet door te relateren aan een bepaald gedrag Bv. Test om ‘fair play’ te meten en observeren tijdens wedstrijd

11 Construct validiteit Geen gouden standaard
Vergelijking met andere instrumenten Opstellen van hypothesen overeenkomst met soortgelijke instrumenten (convergent) geen overeenkomst met andersoortige instrumenten (divergent) Verschillen tussen groepen (discriminant) KNGF-16

12 Criterium validiteit Instrumenten worden gevalideerd ten opzichte van een criterium

13 Correlatie van het instrument met een criterium op zelfde moment
Criterium is dan een reeds gevalideerd, aanvaard instrument OF scores van beoordelaars of prestaties

14 Generaliseren van validiteit
Validiteit is populatie specifiek : hoogste validiteit voor sample waarin het is vastgesteld Andere leeftijd, geslacht, SES ? Verschillende studies nodig die predictor – criterium combineren

15 Validiteit diagnostische tests
Sensitiviteit Specificiteit Predictive value/likelihood ratio etc

16 Sensitiviteit = A/(A+C)= % terecht ziek verklaard
Ziekte aanwezig Ziekte afwezig Test Positief Terecht positief A Fout-positief B A+B Test Negatief Fout-negatief C terecht-negatief D C+D A+C B+D Sensitiviteit = A/(A+C)= % terecht ziek verklaard Specificiteit: D/(B+D) = % terecht niet-ziek verklaard

17 Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek)
Diabetes aanwezig Diabetes afwezig > 100 mg/ml 225 A B A+B <100 mg/ml 25 C 525 D C+D 250 750 Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek) Specificiteit= D/(B+D) =525/750= 70% terecht niet-ziek

18 ROC curve 1.0 0 1.0 sensitiviteit (echt positief) 1-specificiteit
1-specificiteit (fout positief)

19

20 Responsiviteit Kan het instrument veranderingen aantonen als die optreden? Laat het instrument géén veranderingen zien bij de mensen die stabiel blijven? Bodem of plafondeffecten? KNGF-21

21 Feasibility Taal Benodigdheden Randvoorwaarden Tijd handleiding