Meten van onderzoeksvariabelen

Slides:



Advertisements
Verwante presentaties
Statistische uitspraken over onbekende populatiegemiddelden
Advertisements

Samantha Bouwmeester Testtheorie Responsie College Samantha Bouwmeester.
Math Candel Universiteit Maastricht. •Achtergrond: –Diagnose probleem –Meetinstrumenten –Conceptueel model •Presentaties van eigen analyses •Voorbeeld.
Hoofdstuk14 Gegevens verzamelen in het veld, non- responsefouten en screening van vragenlijsten.
College 3 Meten.
Record Linkage: Simulatie Resultaten Adelaide Ariel Biolink NL 28 maart 2014.
Fasen van onderzoek Onderzoeksplan bureauwerk Dataverzameling
Betrouwbaarheid en validiteit: Alleen een kwestie van goed meten ?
1 Neemt de kennis van onze studenten toe? Een analyse van de kennisgroei op basis van VGT scores Marieke van Onna & Samantha Bouwmeester.
Statistiek HC1MBR Statistiek.
Het vergelijken van twee populatiegemiddelden: Student’s t-toets
Is cosmology a solved problem?. Bepaling van Ω DM met behulp van rotatie krommen.
Betrouwbaarheid en Validiteit
Hoofdstuk 3 – Gegevens verzamelen
Kwaliteit van meetinstrumenten
Experimenteel en quasi-experimenteel onderzoek
Inleiding in de statistiek voor de gedragswetenschappen Met ondersteuning van SPSS Guido Valkeneers.
toetsen voor het verband tussen variabelen met gelijk meetniveau
Thesisseminarie 4 Resultaten Correlatie en multiple regressie
Chapter 9. Understanding Multivariate Techniques
Gegevensverwerving en verwerking
Chapter 9. Understanding Multivariate Techniques
Non-parametrische technieken
Beschrijvend onderzoek
Inferentie voor regressie
Welke techniek toepassen ? Herhalingsoefeningen. Situatie 1: Gegeven : de doelpunten die 10 topscoorders in de voetbalcompetitie hebben gemaakt in seizoen.
Evaluatie Van Interactieve Software Systemen
5 Werving en selectie.
Hoofdstuk 9 Verbanden, correlatie en regressie
Meten bij marktonderzoek
Voorspellende analyse
Eenvoudige data-analyse: beschrijvende statistische
Meten bij marktonderzoek
Eenvoudige data-analyse: beschrijvende statistische
Aanvullende vragen Collegesheets M&S3
Methodologie & Statistiek I Verband tussen twee variabelen 3.1.
Validiteit, betrouwbaarheid en casemixcorrectie
Afdeling Revalidatiegeneeskunde
Onderzoeksmethoden Blok 2, les 6/7 Mieke de Waal1 Collegeweek 7  Hoofdstuk 12: boek en vragen  Dr Stat  Observatieopdracht.
Hoofdstuk 4 – Gegevens analyseren
Interpretatie van statistiek bij toetsen en toetsvragen
Opbrengsten van onderwijs
Survey onderzoek Veldstudie waarin via een interviewmethode een stand van zaken wordt opgemaakt voor een representatieve steekproef enquêtes opiniepeilingen.
Varianties bij replicatie (herhaald testen)
Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex
Betrouwbaarheid.
Validiteit.
Test- retest methode -- voorbeeld r = 0, Test Hertest r = 0, Test Hertest r = 1,00.
Psychologische Test.
Inleiding in de statistiek. met ondersteuning van SPSS
Hoofdstuk X Het correlatievraagstuk & SPSS toepassing
Operationaliseren Definiëren Operationaliseren
Baarde en de goede Hoofdstuk 11: Data-analyse
Paramaribo, september 2015 Ten behoeve van leerkrachten van de EBGS Mr.dr.E. Marshall & M. Day.
Gerald Riedstra STOEIEN TUSSEN VADER EN KIND Onderzoek naar de psychometrische kwaliteiten van de Nederlandse versie van Rough and Tumble Play-Quality.
Methoden & Technieken van Onderzoek
Methoden & Technieken van Onderzoek
Hogeschool Rotterdam, Opleiding Vastgoed & Makelaardij drs. ing. M.M.A. Scheepers Collegejaar college.
Plancyclus, les 4  Actualiteit  Vragen naar aanleiding van vorige les  Vragen over hoofdstuk 4 en 5  Observeren met een plan; het verschil tussen observeren.
Leraareffectiviteit – wat weten we (niet)? Daniel Muijs, University of Southampton.
Begin- situatie Werk- vormen Leer- processen Leer- middelen Leerstof Evaluatie Leerdoelen.
Bijeenkomst 5. Terugblik  Wat hebben we vorige bijeenkomst besproken?  Alles gelukt met het persoonlijk profiel?  Liepen jullie nog tegen dingen aan?
Problemen van mantelzorgers die zorgen voor een oudere naaste
in het veld, non-responsefouten en screening van vragenlijsten
Het online opzetten, afnemen, beoordelen en verwerken van toetsen
Eenvoudige data-analyse: beschrijvende statistische
Toetsen van verschillen tussen twee of meer groepen
Hoe gaat de normering? Introductie voor examensecretarissen
Indoor Comfort Index Validatie van het meetinstrument
Voorspellende analyse
Transcript van de presentatie:

Meten van onderzoeksvariabelen Deel 1 Meten van onderzoeksvariabelen Chapter 11. Measuring Research Variables

Validiteit van instrumenten Validiteit = de mate waarin de test of het instrument meet wat hij bedoelt te meten Belangrijkste criterium = degelijkheid van de test

1.1. Logische validiteit Wordt soms ‘face validity’ genoemd = voor de hand liggend, duidelijk Bv. Evenwicht – op één been Snelheid lopen – tijd over afstand Meestal meer objectieve methoden

1.2. Inhoudsvaliditeit Meestal gebruikt in opleiding = Als de test dekt wat in de les is gegeven Op basis van - doelstellingen en gewicht Ook geen statistische manier om te bepalen

1.3. Criterium validiteit Instrumenten worden gevalideerd ten opzichte van een criterium Twee soorten : Concurrente validiteit Predictieve validiteit

Concurrente validiteit Correlatie van het instrument met een criterium op zelfde moment Criterium is dan een reeds gevalideerd, aanvaard instrument OF scores van beoordelaars of prestaties Typisch gebruik om een test korter of minder moeilijk te maken

Goede keuze van het criterium is essentieel Voorbeeld : VO2 max correleren met trappen lopen sportcompetentie test correleren met scores van beoordelaars Goede keuze van het criterium is essentieel

Predictieve validiteit Criterium dat voorspeld moet worden bv. Succes, slagen of prestaties Standaard van het criterium mag niet te hoog of laag zijn, weinig voorspelbaarheid Meestal niet 1 correlatie coëfficiënt maar verschillende predictoren : multiple regressie

Oplossing = cross-validatie : Voorbeeld : Gebruik van huidplooien om % vet te meten Meestal minder predictieve validiteit van dezelfde formule bij andere sample = inkrimping Oplossing = cross-validatie : bij 2e sample zelfde formule en correlatie tussen voorspelde en actuele scores Vergelijking tussen R2 en r2 geeft inkrimping

1.4. Construct validiteit Indien niet observeerbare constructen gemeten worden bv. intelligentie, angst, attitude, creativiteit, … Mate waarin de test dit construct meet door te relateren aan een bepaald gedrag Bv. Test om ‘fair play’ te meten en observeren tijdens wedstrijd

Methode van de gekende groepsverschillen: 2 groepen waarvan men weet wat verschillen zijn vergelijken op test Gebruik van een experiment: bv. Het verhogen van de fitheid na een programma

2. Generaliseren van validiteit Validiteit is populatie specifiek : hoogste validiteit voor sample waarin het is vastgesteld Andere leeftijd, geslacht, SES ? Verschillende studies nodig die predictor – criterium combineren

3. Validiteit in kwalitatief onderzoek In kwalitatief onderzoek geen cijfers : « ziet of hoort de onderzoeker wat hij denkt dat hij ziet of hoort ? » Steeds afvragen of de conclusies juist zijn Type III fouten = de verkeerde vragen stellen

4. Betrouwbaarheid van meetinstrumenten Betrouwbaarheid is een deelaspect van validiteit = is het instrument consistent of herhaalbaar Verschillende testen na elkaar moeten dezelfde resultaten geven Nooit valide als hij niet betrouwbaar is Wel betrouwbaar meer niet valide (bv. Kapotte weegschaal

Geobserveerde score = echte score + fout score Doel is om fout score zo klein mogelijk te houden Betrouwbaarheidscoëfficiënt is de mate waarin het instrument vrij is van fout variantie

4.1. Oorzaken van meetfouten Subject : motivatie, stemming, vermoeidheid, geheugen, … Testen : heldere instructies, bijkomende richtlijnen, … Scoring : competentie, ervaring, toewijding, … van scorers Instrumentarium : fouten bij het toestel of bij de codering

4.2. Betrouwbaarheid uitdrukken met correlatie Hoe dichter bij 1, hoe meer betrouwbaar, hoe kleiner de fout variantie Pearson r = interclass correlatie Twee verschillende variabelen Validiteit Gebruik van ANOVA = intraclass correlatie Twee keer zelfde variabele Betrouwbaarheid

Interclass correlatie Pearson r voor validiteit kan niet gebruikt worden voor betrouwbaarheid omdat : Pearson r voor twee variabelen niet voor 1 variabele verschillende keren Slechts twee variabelen, meestal meer trials Geen meting van veranderingen in gemiddelde of stand. dev.

Intraclass Correlatie Berekenen via SPSS Scale > reliability > intraclass correlatie Single Measure Intraclass correlation Rekening houden met variantie tussen trials Average Measure Intraclass correlation Geen rekening houden met variantie tussen trial (=hogere waarde)

Kan gebruikt worden voor : Verschillende trials afnemen en kijken of er verschillen zijn (leereffect – vermoeidheid) Interbeoordelaarsbetrouwbaarheid

5. Methoden om betrouwbaarheid vast te stellen 5.1. Stabiliteit Test-hertest methode Interval houdt rekening met : rust, leren, maturatie, kennis

5.2. Parellelle test methode Twee testen met zelfde inhoud Afnemen bij zelfde populatie Correleren geeft betrouwbaarheidscoëfficiënt

5.3. Interne consistentie TEST-HERTEST op 1 dag SPLIT-HALF Prestatietests geen schriftelijke tests Hoge correlatie (Intraclass) SPLIT-HALF Test in twee verdelen : even en oneven vragen Correleren : consistentie van de scores in de test

CRONBACH ALPHA Meest gebruikte methode Via SPSS > Scale > reliability Zowel dichotoom split half verschillende trials of tests

6. Interbeoordelaarsbetrouwbaarheid = objectiviteit Scoren verschillende testers gelijk ? Gedrag : codeerschema Met Intraclass correlatie Interobserver Agreement (IOA) = percentage overeenkomst door aantal overeenkomst ten opzichte van totaal

7. Betrouwbaarheid in kwalitatief onderzoek Geen test-hertest bij interview of in natuurlijke setting

7.1. Externe betrouwbaarheid Is de inhoud van de data betrouwbaar ? Bedreiging : Status van de researcher Keuze van subjecten Context en sociale situatie Constructen en hypothesen Methode van data verzamelen en analyseren

7.2. Interne betrouwbaarheid Zou een andere observator dezelfde data hebben verzameld ? Strategieën : Zeer uitgebreid beschrijven Verschillende onderzoekers Review van collega’s Opnames zodat ze gehercodeerd kunnen worden

8. Soorten schalen 8.1. Nominale schalen Categorieën Mutueel exclusief Geen ordening

8.2. Ordinale schalen Rangen Van laag naar hoog Geen gelijke intervallen Categorieën gemaakt door onderzoeker Laag – hoog Laag – matig – hoog => Tussen nominaal en ordinaal

8.3. Interval 8.4. Ratio Ordening + gelijke afstand tussenin Ordening + gelijke afstand + nulpunt Nulpunt = afwezigheid

9. Standaardscores Om prestaties te vergelijken : beter op evenwicht dan op kracht ? Elke score omzetten in standaardscore Standaardscores uitgedrukt in standaard afwijkingen van het gemiddelde

9.1. z- scores Gemiddelde aftrekken en delen door de standaarddeviatie (x – x) / s Gemiddelde 0 en stand. dev. 1

9.2. T scores T = 50 + 10 z Gemiddelde 50 en stand. dev. 10 Meestal tussen 20 en 80

10. Meten van beweging Kracht, lenigheid, snelheid, … Meestal minder problemen van validiteit en betrouwbaarheid dan tests Bij meer complexe studies wel ook validiteit en betrouwbaarheid nagaan

11. Meten van emoties Attitudevragenlijst + gedrag ! Zo veel mogelijk bestaande en gevalideerde lijsten Invullen van vragenlijst op zich kan verandering met zich meebrengen Sociale wenselijkheid : niet naar waarheid antwoorden

Hoe specifieker vragenlijsten, hoe meer je er kan mee doen Voorbeeld : dus niet : algemene angst maar wel : competitie angst

12. Schalen om emoties te meten LIKERT-schalen 5 of 7 punten schaal met gelijke intervallen tussen de punten Mate waarmee men akkoord gaat met iets Is meestel meer betrouwbaar dan ja / nee antwoorden

SEMANTISCHE DIFFERENTIAAL Bipolaire items op zeven punten schaal Bv. De coach is Eerlijk 1 2 3 4 5 6 7 Oneerlijk CLASSIFICATIE SCHALEN Rating scales Door observatoren of self-rating Schaal zelf maken om prestatie te meten Antwoorden : ja/nee, schaal, codering, …

Fouten in classificatie : Mildheid Centrale tendens Halo effect Fouten van nabijheid Vooroordelen van observator Verwachtingsfouten van observator Cfr. Self-fulfilling prophecy in de klas => zo weinig mogelijk info aan observator + goed trainen

13. Meten van kennis Nagaan of items goed zijn naar moeilijkheid en discriminerend vermogen = item analyse Moeilijkheid Moeilijkheidsindex : percentage correct Onder 10% en boven 90% geven geen info Afhankelijk van doel bepalen

Discriminatie Discrimineren van item tussen zij die het goed of slecht deden op de TOTALE test Discriminatie-index : Verdeel de groep in hoge en lage scorers (27%) Formule : aantal juiste in hoge groep – aantal juist in lage totaal aantal in beide groepen Best boven .20 zijn Negatief moet zeker geëlimineerd worden

Soorten kennis test items Multiple choice items zijn best meest betrouwbaar Tussen 3 en 5 alternatieven Te weinig alternatieven : minder betrouwbaar Te veel alternatieven : te veel afnametijd Moeten duidelijk zijn, aantrekkelijke alternatieven Juist/fout items Minder betrouwbaar Meer items maken betrouwbaarheid toch redelijk