Kwaliteit van meetinstrumenten Waarmee meet je? Kwaliteit van meetinstrumenten

Kwaliteitscriteria Schaaleigenschappen (interne consistentie, factorananalyse en collineariteit) Normgegevens Reproduceerbaarheid / betrouwbaarheid Validiteit Responsiviteit (onderdeel van validiteit) / bodem- en plafondeffecten Feasibility Dit zijn allemaal klinimetrische eigenschappen die zowel bij een bestaand meetinstrument als bij een nieuwe te ontwikkelen meetinstrument bekeken moeten wroden. KNGF-10

Betrouwbaarheid van meetinstrumenten Betrouwbaarheid is een deelaspect van validiteit = is het instrument consistent of herhaalbaar Verschillende testen na elkaar moeten dezelfde resultaten geven Nooit valide als hij niet betrouwbaar is Wel betrouwbaar maar niet valide

X

Oorzaken van meetfouten Subject : motivatie, stemming, vermoeidheid, geheugen, … Testen : heldere instructies, bijkomende richtlijnen, … Scoring : competentie, ervaring, toewijding, … van scorers Instrumentarium : fouten bij het toestel of bij de codering

Methoden om betrouwbaarheid vast te stellen Intrabeoordelaar betrouwbaarheid Interbeoordelaar betrouwbaarheid

Validiteit van instrumenten Validiteit = de mate waarin de test of het instrument meet wat hij bedoelt te meten Belangrijkste criterium = degelijkheid van de test

‘Face’ en ‘content’ validiteit ‘Face’ validiteit Is het aannemelijk dat de items het bedoeld begrip meten? ‘Content’ validiteit Komen alle relevante dimensies aan bod en zijn er geen overbodige items Face validiteit is het aller belangrijkste. Als U denkt ‘waar slaan die vragen op? Dit wil ik helemaal niet weten, dan kunt U de vragenlijst al weg leggen. Als U de vragen bekijkt, bijv. Naar welke activiteiten allemaal wordt gevraagd kunt U kijken of er belangrijke gebieden gemist worden. Stel dat er alleen naar lichte huishoudelijke activiteien of zelfverzorging werd gevraagd en U wil weten of patienten na de operatie ook weer hun werk kunnen uitvoeren, dan moet U kijken of die in de vragenlijst voorkomen, of daar een aparte lijst voor meenemen. Het hoeft natuurlijk niet zo te zijn dat alle aspecten in meetinstrument vertegenwoordigd zijn KNGF-14

Construct validiteit Indien niet observeerbare constructen gemeten worden bv. intelligentie, angst, attitude, creativiteit, … Mate waarin de test dit construct meet door te relateren aan een bepaald gedrag Bv. Test om ‘fair play’ te meten en observeren tijdens wedstrijd

Construct validiteit Geen gouden standaard Vergelijking met andere instrumenten Opstellen van hypothesen overeenkomst met soortgelijke instrumenten (convergent) geen overeenkomst met andersoortige instrumenten (divergent) Verschillen tussen groepen (discriminant) KNGF-16

Criterium validiteit Instrumenten worden gevalideerd ten opzichte van een criterium

Correlatie van het instrument met een criterium op zelfde moment Criterium is dan een reeds gevalideerd, aanvaard instrument OF scores van beoordelaars of prestaties

Generaliseren van validiteit Validiteit is populatie specifiek : hoogste validiteit voor sample waarin het is vastgesteld Andere leeftijd, geslacht, SES ? Verschillende studies nodig die predictor – criterium combineren

Validiteit diagnostische tests Sensitiviteit Specificiteit Predictive value/likelihood ratio etc

Sensitiviteit = A/(A+C)= % terecht ziek verklaard Ziekte aanwezig Ziekte afwezig Test Positief Terecht positief A Fout-positief B A+B Test Negatief Fout-negatief C terecht-negatief D C+D A+C B+D Sensitiviteit = A/(A+C)= % terecht ziek verklaard Specificiteit: D/(B+D) = % terecht niet-ziek verklaard

Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek) Diabetes aanwezig Diabetes afwezig > 100 mg/ml 225 A B A+B <100 mg/ml 25 C 525 D C+D 250 750 Sensitiviteit = A/(A+C)=225/250= 90% (terecht ziek) Specificiteit= D/(B+D) =525/750= 70% terecht niet-ziek

ROC curve 1.0 0 1.0 sensitiviteit (echt positief) 1-specificiteit 0 1.0 1-specificiteit (fout positief)

Responsiviteit Kan het instrument veranderingen aantonen als die optreden? Laat het instrument géén veranderingen zien bij de mensen die stabiel blijven? Bodem of plafondeffecten? KNGF-21

Feasibility Taal Benodigdheden Randvoorwaarden Tijd handleiding