Onderzoek In Onderwijs – groep bèta bijeenkomst 2

Dit college in vogelvlucht….. terugblikken op doel cursus bespreken gelezen artikelen validiteit & betrouwbaarheid soorten onderzoek voorbereiden voor volgende keer

Terugblikken op doel cursus

Terugblikken op doel cursus

Dit college in vogelvlucht….. terugblikken op doel cursus bespreken gelezen artikelen validiteit & betrouwbaarheid soorten onderzoek voorbereiden voor volgende keer

Bespreken gelezen theorie In de artikelen die je voor vandaag gelezen hebt, staat onderzoekende leren centraal. Bespreek in tweetallen Kies één van de artikelen die gelezen moesten worden. Vul de kwadranten in vanuit de mening van de auteurs. Wat sluit het beste aan bij je eigen onderwijspraktijk? Plenair terugkoppelen.

Mythe In onderwijs moet je als docent rekening houden met verschillende soorten intelligenties. Wat is dit? Waarom populair? Howard Gardner (1983) Lln hebben verschillende manieren, intelligenties, om stof tot zich te nemen Verbaal Mathematisch Visueel Musicaal Lichamelijk Interpersoonlijk Intrapersoonlijk Natuurgericht Gardner zelf vindt dat mensen zijn theorie teveel benaderen als een leertheorie, hij bedoelde niet dat mensen op bepaalde manieren leren maar dat ze bepaalde talenten hebben (alleen was het dan nooit populair geworden, zonder het woord intelligantie…) Kritiek van anderen gaat vooral om dat de theorie te wollig is om echt te toetsen, de concepten zijn niet goed genoeg gedefinieerd om dit ook echt te kunnen meten (vormen van intelligentie correleren nogal veel met elkaar).

Checklist Operationalisatie concepten? Populatie Study design Interventie? Treatment vergelijkingsgroep? Beoogde opbrengst/Opbrengstmaat? Studieduur Tijd tot effectmeting Populatie Leeftijd/academic level Setting (school/out-of school) Study design Pre-post / controlgroup / complete design Randomised Nested (bijv. 100 ll. maar slechts 4 klassen/docenten) Power

Dit college in vogelvlucht….. terugblikken op doel cursus bespreken gelezen artikelen validiteit & betrouwbaarheid soorten onderzoek voorbereiden voor volgende keer

Validiteit en betrouwbaarheid 15 minuten theorie

Betrouwbaarheid Homogeniteit: Verschillende metingen hebben betrekking op hetzelfde construct (bv. leesvaardigheid op drie manieren meten) Verschillende beoordelaars komen tot hetzelfde oordeel Stabiliteit: Bij dezelfde meting op verschillende momenten krijgen we dezelfde uitkomst Na enige tijd geeft dezelfde beoordelaar eenzelfde cijfer Betrouwbare meting: stabiel / consistent / relatief voorspelbaar Homogeniteit: Meten we wat we willen meten? Vb. leesvaardigheid: homogene toets: zelfde score? Zelfde vragen goed heterogene toets: zelfde score? Andere vragen goed homogeniteit kun je bepalen op basis van één meting Stabiliteit: meerdere metingen leveren dezelfde scores op Betrouwbaarheid is een noodzakelijke maar niet voldoende voorwaarde voor validiteit. Een onbetrouwbare toets is NOOIT valide Maar een betrouwbare toets is niet automatisch valide Vb. aantal ‘e’s in tekst homogeen: iedere beoordelaar telt zelfde aantal ‘e’s stabiel: bij herhaalde meting tel je zelfde aantal ‘e’s NIET valide  zegt niks over tekstkwaliteit

Validiteit Drie vragen: In hoeverre zijn de uitwerkingen (operationalisaties) van de afhankelijke en onafhankelijke variabele adequaat? (constructvaliditeit) In hoeverre zijn de conclusies over de relaties tussen de onafhankelijke en de afhankelijke variabele geldig? (interne validiteit) In hoeverre kunnen de conclusies gegeneraliseerd worden? (externe validiteit)

Constructvaliditeit Meet ik wat ik wil meten? Manipuleer ik wat ik wil manipuleren? = komt mijn ‘begrip zoals bepaald’ overeen met mijn ‘begrip zoals bedoeld’? Bouwstenen (Stokking, 2014): begripsvaliditeit en (een deelaspect daarvan:) inhoudsvaliditeit

Interne validiteit Veronderstelling bij experimenteel onderzoek: A  B bv. A vloeiendheidstraining  leidt tot B betere spreekvaardigheid Oftewel: er is sprake van een causale samenhang

Interne validiteit Is er sprake van causaliteit of alleen van samenhang? Op het platteland zie je meer ooievaars dan in de stad. Op het platteland worden er per echtpaar meer kinderen geboren dan in de stad. Zomer en ijsjes

Interne validiteit Is er sprake van causaliteit of alleen van samenhang? Geen samenhang?  geen causaliteit Wel samenhang?  mogelijk causaliteit Interne validiteit heeft betrekking op de relaties tussen gemeten en gemanipuleerde variabelen EN IS ONAFHANKELIJK VAN DE (THEORETISCHE) CONSTRUCTEN DIE DIE VARIABELEN REPRESENTEREN. Interne validiteit gaat over mogelijke alternatieve verklaringen voor de gevonden relatie

Interne validiteit Veronderstelling bij experimenteel onderzoek: A  B Maar… A  B C?  B En/of: A  C  B

Externe validiteit Generaliseerbaarheid van conclusies naar personen naar situaties naar tijd Externe validiteit hangt nauw samen met de kwaliteit/samenstelling van je steekproef grootte van je steekproef Mogen we generaliseren? Naar ppn die niet deelnamen aan het onderzoek? Zijn de resultaten geldig buiten de context van het onderzoek? Zijn de resultaten over 5 jaar nog geldig? Generaliseren NAAR:  hele populatie waaruit de steekproef getrokken is. Vb. steekproef van studenten gen. NAAR alle studenten in het algemeen Generaliseren OVER:  over 1 specifieke deelpopulatie Vb. linkshandige meisjes die CKI studeren Nee. Vervolgonderzoek doen naar die specifieke populatie NAAR is meestal wel mogelijk / OVER is eigenlijk altijd probleem Pilletje hardlopen  aselecte steekproef 15 – 25 jarige NLs NAAR: ja  in ‘t algemeen allemaal harder lopen OVER deelpopulatie: NEE, geldt niet voor rolstoelers, blinden, extreem dikke mensen etc. Hoe groter de steekproef, hoe makkelijker je kunt generaliseren.

‘Praktijkgerichte’ validiteit (Snoek) Uitkomstvaliditeit: Wordt er een zinnig antwoord gegeven op de oorspronkelijke probleemsituatie? Zijn uitkomsten bruikbaar in de onderwijspraktijk? Procesvaliditeit: Is er sprake van een navolgbaar onderzoeksproces en zijn goede methoden gekozen om tot een kwalitatief goed ‘bewijs’ te komen? (vgl. constructvaliditeit) Democratische validiteit: Zijn meerdere partijen betrokken en worden hun belangen in acht genomen? Katalytische validiteit: Resulteert het onderzoek daadwerkelijk in verandering? Zet het ‘iets’ in gang? Dialogische validiteit: Is de dialoog met peers, critical friends etc. aangegaan om de kwaliteit te waarborgen?

Dit college in vogelvlucht….. terugblikken op doel cursus bespreken gelezen artikelen validiteit & betrouwbaarheid soorten onderzoek voorbereiden voor volgende keer

Review Jackson finds A, with evidence A’, which is lousy evidence because… Jameson finds B, with evidence B’, which is compelling. Andreesen’s evidence agrees with Jameson so B is true. systematic review: systematische zoek (query gepubliceerd)

Meta-analyse Systematische search Beoordeel artikelen op relevantie en kwaliteit Bereken effectgrootte Mtreatment - Mcontrol d = SD

Forest plot

Case study/design study Casestudie (casestudy, gevalsstudie) is onderzoek bij slechts één onderzoekseenheid. Verschil met ‘zomaar’ delen van praktijkervaring (bijv. in NVOX): dataverzameling, analyse en conclusies moeten systematisch en navolgbaar zijn.

Dit college in vogelvlucht….. terugblikken op doel cursus bespreken gelezen artikelen validiteit & betrouwbaarheid soorten onderzoek voorbereiden voor volgende keer

Voorbereiding voor volgende keer lezen Kirschner (2006) – review Furtak (2012) – meta analyse Bakker (2004) – case study vragen per artikel Conceptueel helder? Degelijk onderzoek (chain of reasoning, unbiased)? Welke aanvullende info heb je evt. nodig? overkoepelende vraag: Hoe waardeer jij als leraar de verschillende soorten onderzoek? inleveren via Blackboard: uiterlijk zondagavond voor volgend college je belangrijkste bevindingen in 1 A4 (500 woorden max.) Zeg over ieder artikel tenminste iets. Printje ook meebrengen naar college.

Voorbereiding voor volgende keer voor diegenen onder jullie die veel ervaring hebben met onderzoek Kijk op welke manier dit onderzoek anders is dan jouw eigen onderzoek. Dit onderzoek is gedaan door iemand die onderzoeker is van zijn/haar vak. Je hebt zelf onderzoek gedaan. Hoe zou jij straks als docent dit onderzoek doen voor optimale aansluiting met de praktijk?