Betrouwbaarheid & Validiteit Ook binnen podologisch biomechanisch onderzoek ???

Criteria voor een goed “onderzoek” Betrouwbaarheid Validiteit ofwel geldigheid Controleerbaarheid Bruikbaarheid (voor een praktijkgericht onderzoek)

Als een “onderzoek” niet aan deze criteria voldoet is het onderzoek van bedenkelijke kwaliteit.

Gaan over het maken van fouten in een onderzoek Betrouwbaarheid en Validiteit Gaan over het maken van fouten in een onderzoek Toevallige fouten => betrouwbaarheid Systematische fouten => validiteit

Validiteit gaat dus om meten wat je beoogt te meten. (bvb. bullseye) Betrouwbaarheid heeft te maken met de vraag of deze meting vrij is van toevalsmatige fouten en dus of de meting leidt tot consistente resultaten (steeds in dezelfde hoek van het dartsbord maar niét in de roos)

Betrouwbaarheid Reliability "repeatability" or "consistency". Met een betrouwbaar onderzoek is de gehanteerde aanpak en zijn gevonden resultaten onafhankelijk van het moment waarop het onderzoek is verricht, van de onderzoeker die het uitvoert en van het gebruikte meetinstrument.

Betrouwbaarheid vaststellen door het stellen van drie vragen: Zullen de metingen bij andere gelegenheden dezelfde resultaten opleveren? Zullen andere waarnemers gelijksoortige waarnemingen doen? Is de manier waarop ruwe gegevens zijn geïnterpreteerd, transparant?

Factoren die de betrouwbaarheid kunnen aantasten. Subject- of deelnemersfouten Het bewust geven van wenselijke antwoorden Subject- of deelnemersbias Interpretatiefouten Slordigheid Waarnemers fouten Wat zie je wel en wat zie je niet Wat wil je zien en wat wil je niet zien Waarnemers/interviewersbias Beïnvloeding Interpretatiefout/slordigheid Opzettelijk maken van fouten

Drie simpele manieren om de betrouwbaarheid van je onderzoek te vergroten. Vergroot het aantal te onderzoeken eenheden => meer mensen testen/ondervragen. Voer je onderzoek uit op verschillende dagen/momenten en tijdstippen. Gebruik, indien mogelijk, meerdere onderzoeksmethoden.

Betrouwbaarheid of Reliability (vervolg) Er zijn 4 verschillende klasses van betrouwbaarheid : Inter-Rater or Inter-Observer Reliability Test-Retest Reliability Parallel-Forms Reliability Internal Consistency Reliability

Inter-Rater or Inter-Observer Reliability Used to assess the degree to which different raters/observers give consistent estimates of the same phenomenon. Establish reliability on pilot data or a subsample of data and retest often throughout. For categorical data a X2 can be used and for continuous data an R can be calculated.

Test-Retest Reliability Used to assess the consistency of a measure from one time to another. This approach assumes that there is no substantial change in the construct being measured between the two occasions. The amount of time allowed between measures is critical. The shorter the time gap, the higher the correlation; the longer the time gap, the lower the correlation

Validiteit Meten wat je beoogt te meten Voorbeelden van validiteit Een klok die achterloopt, geeft geen valide tijdmeting. Een thermometer moet goed geijkt zijn om valide waarnemingen te geven. Wie een Nederlandstalige intelligentietest afneemt bij een Amerikaan, meet geen intelligentie maar taalkennis.

Validiteit: heeft te maken met de vraag of men meet wat men beoogt te meten. Externe validiteit heeft te maken met de generaliseerbaarheid van de verkregen resultaten naar andere tijden personen en situaties Twee onderdelen van interne validiteit: Inhoudsvaliditeit is de beoordeling meetinstrument op zijn inhoudelijke correctheid Begripsvaliditeit is daadwerkelijk gemeten wat je meten wilde? Is het te kwantificeren ? Interne validiteit

Factoren die de validiteit kunnen aantasten Geschiedenis Gebeurtenissen uit het verleden (kort/lang) kunnen invloed hebben op jouw bevindingen. Tests Als een testpersoon weet dat hij getest wordt dan reageert hij anders. Instrumentatie Niet alles kun je met en meetinstrument meten. Mortaliteit Deelnemers aan een (langlopend)onderzoek kunnen uitvallen. Maturiteit Ontwikkelingen gedurende het onderzoek kunnen veranderingen in gedrag van de testpersonen teweeg brengen. Ambiguïteit omtrent de causale richting (Kip ei verhaal) Wat/wie was er nu eerst de kip of het ei?

Controleerbaarheid Bruikbaarheid Wil zeggen dat alle overwegingen, genomen beslissingen en stappen verantwoord worden en weergegeven worden. Dus de drie aspecten voor controleerbaarheid zij: Duidelijkheid Eenduidigheid Onderbouwd Bruikbaarheid

Conclusie Ook binnen het “onderzoek” dat we dagdagelijks verrichten in de praktijk zullen we steeds moeten blijven afvragen in welke mate bovenvermelde bedenkingen van toepassing zijn en in welke mate ons ‘onderzoek’ hierdoor beïnvloed wordt …