Onderzoek naar competentiegericht beoordelen in het groene onderwijs 03/04/2017 Onderzoek naar competentiegericht beoordelen in het groene onderwijs Judith Gulikers, leerstoelgroep Educatie en competentiestudies, Wageningen Universiteit

Opzet Onderzoeksobject en randvoorwaarden Problemen bij uitvoering in de praktijk en wetenschappelijke proces Tips voor omgaan met problemen Geleerde lessen

Onderwerp van onderzoek Kwaliteit van summatieve competentiegerichte assessments (CGAs) in het groene onderwijs Inzicht krijgen in daadwerkelijk gebruikte CGAs in groene onderwijs Nieuwe kwaliteitscriteria gebruiken om deze te evalueren bij verschillende stakeholders Relatie kwaliteitscriteria en kenmerken van CGA

Probleem 1: veel variatie CGA is breed 1 CGA heeft vele verschijningsvormen in praktijk Niet CGA-methode, maar operationalisatie in bepaalde school bepaalt de kwaliteit Oplossing: zo vergelijkbaar mogelijk maken 1 CGA methode selecteren Op basis van literatuur onderscheidende kenmerken benoemen Uitwerkingen in verschillende contexten in kaart brengen ahv. deze onderscheidende kenmerken

Probleem 2: Wat men zegt ≠ wat men doet AOC-plannen op papier (visie) Vertaling naar een concreet CGA door docententeam Interpretaties van verschillende docenten/assessoren Daadwerkelijke uitvoering Oplossing: niet alleen luisteren, ook zelf kijken en kritisch zijn Met onderscheidende kenmerken verschillende bronnen (1-4) onderzoeken Daadwerkelijke assessments observeren Bevindingen (ook van verschillen) terugkoppelen

Probleem 3: onderzoeken van nieuw fenomeen Praktijk en wetenschap spreekt niet dezelfde taal Stakeholders snappen niet goed wat je vraagt Vragenlijsten blijken niet te werken (slechte validiteit) Leerlingen (maar ook docenten) lezen niet Oplossing: meer kwalitatieve dataverzameling en expert ondersteuning  Maar dit vraagt meer en (wetenschappelijk) moeilijkere data-analyse en rapportage

Probleem 4: wetenschappelijk omgaan met kwalitatieve data Analyse methoden zijn vaak ingewikkeld en zeer uitgebreid Valkuil om teveel te interpreteren Gevoel oproepen “dat je maar wat gedaan hebt” of aan “self-fulfilling prophecy” doet Oplossing: structuren, objectiveren en expliciteren Interview structureren aan hand van theorie 2 onderzoekers of opnemen Zoek grote lijn in een analyse methode om data te structuren en analyseren Membercheck van je interpretaties bij deelnemers Interpretatie controleren door mede-onderzoeker

Probleem 5: Dissiminatie Wetenschappelijk artikel Veel vraag naar evidence-based en kwalitatief onderzoek, maar toch moeilijker te publiceren Tips Kritisch kijken naar je onderzoeksvragen. Echte praktische vragen weg! Relatie onderzoeksvragen – onderzoekscontext – methode beargumenteren Mixed-Methods doen het goed! Methode/analyse sectie: expliciet beschrijven Resultaten: waar mogelijk ondersteunen met citaten uit alle groepen Discussie: blijf bij directe implicaties Implicaties voor theorie en onderzoek, naast praktische implicaties

Overige praktische problemen / tips Zoek één contactpersoon voor communicatie Bekijk curriculum en zoek hoe/wanneer je op school moet zijn Sluit zoveel mogelijk aan bij bestaande overleggen/evaluaties Bezoek praktijkmensen op hun eigen werkplek Vooraf toestemming vragen aan deelnemers

Geleerde lessen Baseer je vooraf zoveel mogelijk op theorie/literatuur/bestaande instrumenten en houd dit in altijd voor ogen Niet meegaan met ‘waan-van-de-praktijk’ Zorg voor een zo goed mogelijk beeld van je context Zoek mogelijkheden om contexten te vergelijken Spreek hun taal en sluit aan bij hun vragen Vergroten van medewerking/acceptatie

Geleerde lessen Zoek kwalitatieve data-analyse en vind hier structuur in Beschrijf structuur en aanpak voor herhaalbaarheid Ben je bewust van mogelijkheden tot interpretatie Laat zoveel mogelijk controleren door originele onderzoeksgroep Maak analyse-stappen inzichtelijk en laat stappen en interpretatie controleren door andere onderzoeker (studentassistent)

Bedankt! en………..veel succes! Judith.gulikers@wur.nl 03/04/2017 Bedankt! en………..veel succes! Judith.gulikers@wur.nl © Wageningen UR