College 3 Meten

Meten Methode van meten Kwaliteit van de meting Interview Observatie Vragenlijst Test Observatie Kwaliteit van de meting Validiteit Inhouds - Criterium - Construct - Betrouwbaarheid Test-hertest - Interne consistentie - Inter-beoordelaars -

Vragenlijsten Rare factoren die de antwoorden beïnvloeden

Methode van vragen Vraag: “Voel je je wel eens eenzaam?” Interview: 80% ja Vragenlijst: 43% ja

Volgorde van vragen Vraag A: Geef een rapportcijfer voor de colleges Vraag B: Geef een rapportcijfer voor de syllabus Helft van de studenten versie AB Helft van de studenten versie BA

Richting van de vraag Positief: “Dit boek is goed gestructureerd” Negatief: “Dit boek is niet goed gestructureerd” Op een 7-puntsschaal (1 = zeer oneens, …, 7 = zeer eens) Positieve versie, gespiegeld: m = 2.55 Negatieve versie: m = 4.09

Antwoord-categorieën Vraag: Was u tevreden met de blokvorm? Versie A Versie B Ja 52,6% 26,5% Nee 26,3% 73,5% Geen mening 21,1%

Antwoordtendenties Neiging om een bepaal antwoord te geven, ongeacht de inhoud van de vraag. Item Alternatieven % I ja onzeker nee 60 16 24 II 1 2 3 4 11 27 48 14

Item Alternatieven % III zeer tevreden tevreden Ontevreden zeer ontevreden 24 45 16 15 IV eerste tweede derde 41 36 23

“Probeer zo snel en nauwkeurig mogelijk te antwoorden” Instructie “Probeer zo snel en nauwkeurig mogelijk te antwoorden”

Conclusie We weten niet hoe mensen vragen beantwoorden. Rare factoren die meespelen: Methode Volgorde Richting Antwoordalternatieven Antwoordtendenties Instructie

Observatie Problemen: Wat moet je observeren? Hoe moet je observeren? Hoe moet je beschrijven? Hoe moet je interpreteren?

Voorbeeld: Ekman & Friesen, 1978 Een mens kan ± 5000 verschillende gelaatsexpressies maken. Video, slow-motion Nummers Betekenis opmaken uit de context.

A B C D E F

Emotie Foto nr. Walging = Boosheid = Vreugde = Angst = Bedroefdheid = Verbazing = Foto nr. C E F A D B

Observatoren Methode Responsies Gedrags-eenheden Combinaties natuurlijk - toegewezen getraind - ongetraind menselijk - automatisch passief - participerend verborgen - waarneembaar een – meerdere Methode direct – retrospectief Time sampling - event sampling Responsies frequentie - duur - intensiteit ratings - exacte categorieën dichotoom - polytoom – open neutrale categorie - geen neutrale unipolair – bipolair Gedrags-eenheden stimulus & response - response only structureel - functioneel - causaal moleculair - molair geobserveerd – geïnfereerd exploratief - gededuceerd eenvoudig - complex natuurlijk - reductionistisch positief – negatief Combinaties representatief - niet representatief veel – weinig items één - meer dimensies

CRITERIUM VALIDITEIT Hoe goed kan de test de scores op een gekozen criterium variabele voorspellen? Belangrijkste ondervorm: Predictieve validiteit, het criterium ligt in de toekomst. De criterium-variabele moet al goed gemeten zijn

Voorbeeld criterium validiteit Diagnosis Predicted Total Schizophrenia Depression 11 4 15 12 16 74,2% correct voorspeld

Test = SPQ Criterium = diagnose (schizofreen / depressief) correct "voorspeld" = 74.2% (zonder kennis kun je al 50% correct voorspellen) Is de SPQ hierom een goede of een slechte test? Zijn de diagnoses zelf wel valide?

INHOUDS VALIDITEIT Zijn de items een evenwichtige afspiegeling van het soort items dat de test zou mogen bevatten? Om de inhouds validiteit te bepalen hoeft de test niet te worden afgenomen bij proefpersonen. Je hoeft alleen te weten hoe hij geconstrueerd is. Leunstoel validiteit. Vergelijk: Het kopen van een auto omdat hij er op de tekentafel zo goed uit ziet.

Voorbeeld inhoudsvaliditeit Test = statistiek tentamen standaard- vs. inzichts-vragen kennis- vs. redeneer-vragen reken- vs. visualiseer-vragen theorie- vs. praktijk-vragen makkelijke vs. moeilijke vragen

CONSTRUCT VALIDITEIT In hoeverre begrijp je door welke variabelen de testscores worden beïnvloed op welke variabelen de testscores invloed hebben?

APA: Daar moet je een theorie (nomologisch netwerk) voor hebben APA: Daar moet je een theorie (nomologisch netwerk) voor hebben. De theorie moet zijn getoetst. Nomologisch netwerk: Geeft aan welke wetmatige relaties de diverse constructen met elkaar hebben. De meeste constructen (begrippen) die men wil meten zijn theoretische constructen (niet-waarneembaar). Zo'n construct kun je definiëren door middel van een nomologisch netwerk.

Voorbeeld construct validiteit

Voorbeeld construct validiteit Bij construct validiteit wordt de betekenis van het construct niet afgeleid uit de naam van de test, maar uit de vele verbanden met andere variabelen. Hoe meer verbanden je kent, hoe beter je begrijpt wat er gemeten wordt.

Criterium validiteit één correlatie moet zo hoog mogelijk zijn geen theorie nodig gericht op voorspellen hoge betrouwbaarheid nodig keuze van het criterium is moeilijk Construct validiteit meerdere verbanden moeten sterk of juist zwak zijn gebaseerd op theorie gericht op begrijpen geen hoge betrouwbaarheid nodig formuleren van de theorie is moeilijk