Inleiding : De testafname

Slides:



Advertisements
Verwante presentaties
Samantha Bouwmeester Testtheorie College Samantha Bouwmeester.
Advertisements

1 Europese Vereniging for het Toetsen en Beoordelen van Taalvaardigheid
Samantha Bouwmeester Testtheorie Responsie College Samantha Bouwmeester.
Betrouwbaarheid van Competentie Assessments
College 2 Between-subject en within-subject designs
Risico’s en gevaren van techniek
Kwaliteit en betrouwbaarheid van simulaties ir. Rudolf van Mierlo Efectis Nederland BV.
Betrouwbaarheid en Validiteit
Hoofdstuk 3 – Gegevens verzamelen
Kwaliteit van meetinstrumenten
Autisme en intelligentie
Statistiek Verzamelen Voorstellen Beschrijven Interpreteren
Xxxxxxxxxxxxxxx 4/4/2017 Inleiding onderzoeksleer Helleke Hendriks docent werktuigbouwkunde voormalig productonderzoeker bij Consumentenbond xxxxxxxxxxxxx.
THESISSEMINARIE 2 VAKGROEP EXPERIMENTEEL-KLINISCHE EN GEZONDHEIDSPSYCHOLOGIE Probleemstelling, methode LES 1; Klinische Psychologie; Universiteit Gent;
Meten van onderzoeksvariabelen
Medmec04 week 5 Engagement. LesOnderwerpenHuiswerk voor komende week en les 1 o Inleiding module & werkwijze o Inleiding opdracht 1 en 2 o Bestuderen.
Hoofdstuk 7 Procesmanagement.
dataverzamelformulieren
Literatuuronderzoek en veldonderzoek
From computer power and human reason. Joseph Weizenbaum.
“Omgekeerde discriminatie”
Bayes Voor psychologen. Pierre Simon Laplace Recap Bayes’ Rule.
Hoofdstuk 4 – Gegevens analyseren
Onderzoek doen Hoofdstuk 1 - Onderzoek.
Interpretatie van statistiek bij toetsen en toetsvragen
Meten van intelligentie bij kinderen met ADHD
Scriptieseminarie 3 Methode – Experimenteel onderzoek
Varianties bij replicatie (herhaald testen)
Item analyse Item-Moeilijkheidsindex Item-Betrouwbaarheidsindex
Betrouwbaarheid.
Validiteit.
Test- retest methode -- voorbeeld r = 0, Test Hertest r = 0, Test Hertest r = 1,00.
Psychologische Test.
Het leven geeft te denken
INLEIDING ONDERZOEK MARKETING, MARKTONDERZOEK & COMMUNICATIE
Operationaliseren Definiëren Operationaliseren
Verbanden JTC’07.
2014 EVALUATIES N+1.
Weesziekten en weesgeneesmiddelen
Parametric release Wat is dat?.
Afnemende en toenemende verantwoordelijkheid
Paramaribo, september 2015 Ten behoeve van leerkrachten van de EBGS Mr.dr.E. Marshall & M. Day.
Hogeschool Rotterdam, Opleiding Vastgoed & Makelaardij drs. ing. M.M.A. Scheepers Collegejaar college.
Gerald Riedstra STOEIEN TUSSEN VADER EN KIND Onderzoek naar de psychometrische kwaliteiten van de Nederlandse versie van Rough and Tumble Play-Quality.
Functiewaarderen workshop OOP
Bias in onderwijsevaluaties: Hoe gaan we er mee om? Dr. Benjamin Boerebach Strategie & Informatie, Bestuursstaf,
Hogeschool Rotterdam, Opleiding Vastgoed & Makelaardij drs. ing. M.M.A. Scheepers Collegejaar college.
Module Waarnemen, observeren en rapporteren Les 3 + 4
Leraareffectiviteit – wat weten we (niet)? Daniel Muijs, University of Southampton.
Begin- situatie Werk- vormen Leer- processen Leer- middelen Leerstof Evaluatie Leerdoelen.
Criteria voor een goed “onderzoek”
Testkwaliteit: Het gelijk van de COTAN Lezing t.g.v. het 25-jarig bestaan van de SchoolVragenLijst Arbeids- & Organisatiepsychologie Universiteit van Amsterdam.
Naar een leerlijn ‘onderzoekende houding’ ECENT conferentie, 5 juni 2009 Ton van der Valk, Universiteit Utrecht FIsme; Junior College Utrecht.
Marktonderzoek © 2011 | Noordhoff Uitgevers bv H 10 onderzoek met vragenlijsten.
Marktonderzoek © 2011 | Noordhoff Uitgevers bv H 8 observatie en registratie.
The Hamlet Study Fabry or not Fabry: Valorization of clinical and laboratory assessments for improved diagnosis of Fabry disease In herinnering: korte.
DE INVLOED VAN EEN ONDERZOEKSTRAJECT (OP DE WERKPLEK) OP DE ONDERZOEKENDE HOUDING VAN LERAREN IN OPLEIDING Twan van de Wetering - Docent Engels - Lid Kenniskring.
AOS docentonderzoek bijeenkomst 8 Dataverzameling: Eigen instrumenten, ontwerp.
1 juli 2009 Evalueren van papers Workshop Fabienne De Ryck Mariet Vriens.
Disclosure belangen NHG spreker
Onderzoekend leren in de natuurwetenschappen
Werkwijze Hoe zullen we als groep docenten te werk gaan?
Het postkantoor van windows
Leraareffectiviteit – wat weten we (niet)?
dataverzamelformulieren
Het voorspellen van agressie tijdens de behandeling van forensisch psychiatrische patiënten a.d.h.v. DE hcr-20.
Marketing Week 1 Les 1 Introductie opdracht Marktonderzoek.
Validiteit en betrouwbaarheid
Beste RvC jaarverslag.
Onderzoek Indoor Comfort Index © ICI
Transcript van de presentatie:

Inleiding : De testafname ICT ( International Test Commissie) vormen tests : een belangrijk hulpmiddel bij de begeleiding en advisering van personen bij het nemen van beslissingen. Daarom : Professionaliteit  richtlijnen opgesteld ivm het ethisch en verantwoord gebruik van testmateriaal.

Inleiding :Test ? een verzameling opdrachten of vragen bepaalde soorten gedrag onder gestandardiseerde omstandigheden vergelijking tussen personen mogelijk te maken. test moet kunnen onderscheiden tussen de personen voor wie de test bestemd is( =differentierend vermogen van de test )

“Onderzoeksmethoden en technieken I van Prof Theuns “: zeer groot belang dat het instrument voor elke deelnemer ''hetzelfde'' zou zijn, d.w.z. dat de testsituatie minstens gelijkaardig zou zijn ( een plaats waard e deelnemer rustig kan werken, evenveel tijd krijgen als andere deelnemers. evenveel -vaak is dat dan helemaal een- feedback krijgen bij zowel correcte als foute responsen, ... ) de wijze waarop scores worden toegekend aan responsen moet dezelfde zijn onafhankeIijk van wie of waar de test wordt afgelegd. Een belangrijk instrument om dit doel te bereiken is de handleiding van de test.

Inleiding: Standardisatie Standardisatie van de test heeft te maken met de mate waarin voor alle kandidaten die om het even waar worden getest geldt dat onderstaande condities precies hetzelfde zijn: testsituatie testmateriaal testinstructies houding en gedrag testleider normen scoring

Inleiding: Ratingsysteem COTAN  In Nederland heeft COTAN (the committee of test affairs netherlands) een rating systeem voor testkwaliteit uitgebouwd op basis van de volgende criteria: theoretische achtergrond kwaliteit testmateriaal handleiding normering betrouwbaarheid construct validiteit criterium validiteit

Indeling van de tests 1. Testconstructie Kwantitatief – kwalitatief Doelstelling Bestemming Wijze van afname   1. Testconstructie Kwantitatief – kwalitatief Objectief- niet objectief Item – non item tests Antwoordmogelijkheden: meerkeuze, binair, open rangschikken , toeschrijven, invullen, vrije voortzetting Likertschaal, gedwongen keuze ...

Indeling van de tests 2.doelstelling Testconstructie Doelstelling Bestemming Wijze van afname 2.doelstelling   Intelligentietest- persoonlijkheidtest Differentiërende methode Prestatieniveau-gedragswijze –vorderingstest

Indeling van de tests 3. bestemming 4. wijze van afname Testconstructie Doelstelling Bestemming Wijze van afname 3. bestemming 4. wijze van afname collectieve -individuele test verbaal - nonverbaal afname computerafname

Kwaliteit testbatterij 1.   theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit Theoretische achtergrond (inhoudsvalidering)   Volgens COTAN : the soundness of the test development procedure. stated the purpose of the test. to specify the group or groups for whom the test is intended, giving details on aspects such as age group, occupation, educational or occupational level, and apart from that one should indicate whether the setting is normal or clinical.

Kwaliteit testbatterij 1.   theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit kwaliteit testmateriaal   Volgens CONTAN : the design, the content the form of the test materials, the instructions for the test taker the scoring.

Kwaliteit testbatterij 1   theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit handleiding is er handleiding Info over ontwikkeling test Achterliggende theorie Definitie van constructen

Kwaliteit testbatterij 1    theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit normering De bruto score of ruwe score berust op een telling en is strict genomen niet meer dan dat. Hieraan kan geen psychodiagnostische betekenis worden gehecht De normering van testscores berust op testresultaten van een steekproef uit de populatie waarvoord test is bedoeld   De omvang van de normeringsgroep is van belang en ook van belang is dat de steekproef is gestratifieerd in verband met het gebruik van de test

Kwaliteit testbatterij COTAN: The following rules for rating the adequacy of sample sizes are followed -   Tests intended for important decisions at individual level N < 300 is insufficient; 300 < N < 400 is sufficient; N> 400 is good. - Test intended for less important decisions at individual level N < 200 is insufficient; 200 < N <300 is sufficient; N> 300 is good. -   Tests intended for research group level N < 100 is insufficient; 100 < N < 200 is sufficient; N> 200 is good. 1    theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit

Kwaliteit testbatterij 1    theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit betrouwbaarheid de coefficient alpha die berust op de interne testconsistentie en het aantal items. stabiliteitsindices in de handleiding Met behulp van de betrouwbaarheidsindex wordt de standaardmeetfout geschat. Hoe lager de betrouwbaarheidsindex des te groter de standaardmeetfout des te onnauwkeuriger de testscore. Tevens moet men ook bedenken dat de individuele score belangrijk kan afwijken van deze indicering de onderzochte kan een onnauwkeurigere score hebben of omgekeerd. Het enige wat de diagnost kan doen is zo nauwkeurig mogelijk de handleiding volgend.

Kwaliteit testbatterij “The key question with respect to reliability checks whether any data are provided at all “ “ The following values are used as a basis: -     tests intended for important decisions at individual level: r<080 is insufficient, 0.8< r < 0.90 is sufficient ; r > 0.9 is good -  tests intended for less important decisions at individual level r< 0.7 is insufficient, 0.7< r < 0.80 is sufficient ; r > 0.8 is good -   tests intended for research at group level r< 0.6 is insufficient; 0.6< r < 0.7 is sufficient ; r> 0.7 is good” 1    theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit

Kwaliteit testbatterij 1   theoretische achtergrond 2. Kwaliteit testmateriaal 3. Handleiding 4. Normering 5. Betrouwbaarheid 6. Validiteit validiteit Dit is een index voor de mate waarin de scores van de ene variabele prediceerbaar zijn op grond van de scores op de andere variabele ( testvariabele). De validiteitscoefficient geeft correlatie weer tussen testscores. Zo wordt volgens COTAN een validiteits coefficient van 0.5 als hoog beschouwd. Hiernaast heeft men ook inhoudsvalidering ( zie punt 1).

Afname De testhandleidingen bevatten nauwkeurige instructies betreffende het afnemen van de tests en het scoren van de testresultaten Deze moeten zorgvuldig worden opgevolgd, omdat de tests hierop zijn genormeerd. Een onzorgvuldige of nonchalante testafneming kan de grote foutenbron in de psychodiagnsotiek zijn. De testafneming vereist uniformiteit daar anders de vergelijkbaarheid van de resulatten met die van de normeringsgroep verloren gaat. De rust is bij het onderzoek van zeer veel belang zorg dat niemand bv tijdens onderzoek plots binnenloopt. Een attribuut van diagnosten is de chronometer waarvan het gebruik tijdens de test de onderzochte kan opjagen terwijl snelheid soms niet nodig is.

Afname Bij sommige tests zijn er verscheidene onderdelen die in een bepaalde volgorde moeten worden gebruikt tijdens de afneming. Men moet deze tevoren in die volgorde gereed leggen In sommige instructies worden ook instructies gegeven wat je moet doen als er storing optreed. Soms moet de onderzoeker improviseren het enig advies dat geldt op zo’n moment is blijf zo dicht mogelijk bij de voorgechreven richtlijnen. Testafname is meer dan invullen van formulier. Het is ook nuttig om het testgedrag bij het protocol in te vullen waarbij men moet opletten dat men de onderzochte niet stoor bij het maken van aantekeningen. Oberseveren is een kunst Veel onderzochten letten er op of hun antwoord goed of fout wordt genoteerd. Normaal krijgt een onderzochte hierover geen informatie ( uitz leertests), uitleg kan hier van belang zijn.

Interpretatie en advisering Interpretatie, hierin kan men 2 fasen onderscheiden: de eigenlijke interpretatie van de testgegevens en het geven van betekenissen aan de resultaten. Testbatterij Context resultaten Het uiteindelijke doel van het onderzoek is het adviseren , hier moet goed gelet worden op taalgeberuik dat dient aangepast te zijn aan begripsniveau van de advies-ontvanger