Wat is goed praktijkonderzoek en hoe leiden wij onderzoekende professionals op? Jeanine Spierings (a.g.a.m.spierings@hva.nl) & Luca Lopes de Leao Laguna (l.lopes@hva.nl) HvA Onderwijsconferentie 11 april 2013

Wat is goed Onderzoek? Daarover verschillen de meningen 3 april 2017 Wat is goed Onderzoek? Daarover verschillen de meningen We zijn allemaal opgevoed in een bepaalde onderzoekstraditie en bijna nergens leerden we dat er ook andere manieren bestaan die even waardevol kunnen zijn. Kwantitatieve onderzoekers bestrijden de kwaliteit van de uitkomsten van de kwalitatieve onderzoekers en andersom. Een jurist doet heel anders onderzoek dan een politicoloog. En gesprekken hierover monden vaak uit in heftige discussies waarin we proberen de andere opvatting te diskwalificeren. Vandaag willen we het anders doen, vandaag willen we energie krijgen van alle verschillen en elkaar inspireren. Onze mening over wat goed onderzoek is, is gebaseerd op onze ervaringen, vaak toen we zelf afstudeerden. Daarom willen we vandaag gaan uitwisselen met elkaar, hoe was jouw afstudeeronderzoek, welke kennisclaim was in jouw studie, vakgebied dominant?

Wetenschappelijke kennisclaims 3 april 2017 Wetenschappelijke kennisclaims Wat is wetenschap? Wat is kennis? Hoe kunnen wij kennen? Aan welke criteria moeten uitspraken voldoen? Je kunt het hebben over het proces, de manier waarop je tot valide kennis komt van de werkelijkheid om ons heen Het product, dus beschrijft een model de werkelijkheid (realisme) of is het een manier om de werkelijkheid te kennen, ordenen en te voorspellen (instrumentalisme) De doorwerking, wat is de betekenis van de kennis voor de maatschappij, kritische reflectie Kunnen cijfers en documenten liegen? Is dit ook voor praktijk onderzoekers relevant? Ja, je maakt keuzes, hoe rechtvaardig je die! Besef de relativiteit dan hoef je andere standpunten noch af te wijzen noch te bestrijden,bijvoorbeeld kwalitatief onderzoek is waardevol en kwantitatief onderzoek ook! Waarheid is een constructie en daarom kan er geen claim op de juiste methode zijn! Het hangt van je doel af wat de beste methode is! Als we een studenten evaluatie uitzetten om een rangorde te maken dan vraag je de respondenten om cijfers maar als je je onderwijs wilt verbeteren dan vraag je in een studenten evaluatie naar de effectiviteit van werkvormen, didactiek, literatuur etc. Dus de slechte positie in de NSE is een signaal maar levert onvoldoende handvatten om tot verbetering over te gaan

Positivistische kennisclaim Fenomenologische kennisclaim 3 april 2017 Positivistische kennisclaim objectief Fenomenologische kennisclaim beleving Positivisme: Alleen direct waarneembare feiten kunnen de grondslag van het kennen zijn, zintuiglijke waarneming en zo hoog mogelijke graad van objectiviteit. Daarbinnen ook nog variaties een model beschrijft de werkelijkheid of een model kun je gebruiken om de werkelijkheid te begrijpen. Absurd? Kunnen we bij de weerman de schade verhalen als de voorspelling niet uitkomt? We maken een foto en om te kijken of de foto het correcte beeld geeft van de werkelijkheid maken we met hetzelfde toestel nog een keer een foto. Kijk naar hoe de woorden objectief en subjectief als waarde oordeel worden gebruikt, objectief betekent dit dekt de werkelijkheid en subjectief betekent, dit wijkt af van de werkelijkheid. In sociale wetenschappen hebben we te maken met subjecten, in de sociale wetenschap gaat het om interpretaties van feiten Dit debat zie je terug in bv werkdruk onderzoek, is er sprake van objectieve werkdruk of doet dat er niet toe, gaat het om de beleving van medewerkers, dus gaan we uit van de subjectief beleefde werkelijkheid. Of ander voorbeeld zolang de beslissers in organisaties blijven denken dat ouderen duur en slecht inzetbaar zijn, zullen ze elk onderzoek dat hen hierin bevestigd onthouden en elk onderzoek dat dit tegenspreekt relativeren. Dus in deze kennisclaim maken we fimpjes vanuit verschillende perspectieven en als er beelden op de ene film staan die op de ander ontbreken, dan wordt dit gezien als een aanvulling. Wij zeggen praktijkonderzoek moet bruikbaar zijn, moet de oplossing van een probleem uit de praktijk dichterbij brengen en soms helpt en foto en meestal willen we ook fimpjes. Ga op zoek naar overeenkomsten op het gebied van onderzoek, vind zoveel mogelijk mensen met wie je iets deelt, denk aan wanneer vind je een praktijk onderzoek goed, wat is het doel van onderzoek in de beroepspraktijk, hoe kun je kennen? Etc.

Wat is goed praktijk onderzoek? daarover verschillen de meningen 3 april 2017 Wat is goed praktijk onderzoek? daarover verschillen de meningen De huidige stand van zaken is dat de ontwikkeling van de methodologie achterblijft, bijna alle onderzoeksboeken voor het hbo zijn afgeleid van het theoriegerichte type onderzoek en beweren dat praktijk onderzoek kwalitatief minder goed is. Het is anders, het heeft een ander doel In de praktijk is er altijd een handelingsprobleem, en er ontbreekt kennis om dit op te lossen. Dus de kennis is nooit het doel maar het middel.

Eisen naar type onderzoek 3 april 2017 Eisen naar type onderzoek Eisen gesteld vanuit Theorie-gericht Praktijk-gericht Wetenschaps- Interne eisen 1. Interne validiteit 2. Externe validiteit 3. Controleerbaarheid 4. Cumulativiteit ++ +- Externe eisen Object 5. Veranderlijkheid 6. Nieuwe fenomenen 7. (groeps)processen 8. Intergerelateerd 9. Kleine doelpopulatie - Behoeften 10. Begrijpelijkheid 11. Acceptatie/ legitimiteit 12. Onderzoek als leerproces kennis 13. Holisme 14. Interdisciplinariteit 15. manipuleerbaarheid ++ geldt zeer sterk + geldt sterk +- geldt enigszins - Geldt niet Dus interne validiteit is altijd een eis, dat gaat over de uitspraken die je doet over de werkelijkheid. Dus als we zeggen dat de medewerkers de voorkeur geven aan een participatieve leiderschapsstijl dan eisen we in elk onderzoekstype dat dat de werkelijkheid beschrijft, In theoriegericht onderzoek willen we deze uitspraak kunnen generaliseren , de externe validiteit, naar een zo groot mogelijke groep medewerkers beleidsonderzoek het liefst naar alle medewerkers uit de organisatie waar we onderzoek doen en in organisatie onderzoek naar de afdeling of het team als dat ons object is. De opvallendste verschillen zitten in de externe eisen bij behoeften en kennis, dat zijn geen eisen waar het theoriegericht onderzoek aan moet/wil voldoen dus daar zijn nog nauwelijks methoden of richtlijnen voor ontwikkeld vanuit de wetenschappelijke wereld, dat komt dan ook nauwelijks aan bod in de onderzoeksboeken zoals Wat is onderzoek van Verhoeven, terwijl daar worstelen onze studenten in hun stage n bij de praktijk het hardst mee en de formule van Nel Verhoeven helpt ze daarbij echt niet, merk ik.

3 april 2017 Waar staan we nu? Theoriegericht onderzoek streeft primair naar externe validiteit, terwijl praktijk gericht onderzoek allereerst uit is op de bruikbaarheid van de onderzoeksresultaten. Bestaande methodologie is gericht op het oplossen van kennisproblemen en niet op het oplossen van handelingsproblemen Welke methoden van onderzoek waren in jouw discipline/jouw achtergrond dominant? Lossen nog geen handelingsproblemen op.

Onderzoek: spannend avontuur Methoderelativisme en methodepluralisme De strategie en de methode van onderzoek worden bepaald door: Het object van onderzoek Het soort probleemstelling De persoon die je zelf bent

En dus Is de kennis die je verzamelt bruikbaar als ze je helpt om het handelingsprobleem op te lossen

Wat is een goed (HRM) onderzoek? 3 april 2017 Wat is een goed (HRM) onderzoek? Als je onderzoek gebruikt om een situatie beter te snappen, om impact te hebben, anderen te kunnen overtuigen, en om van te leren. Maar wie wil je dat er leert? En dus: wie betrek je? Hoe? En wanneer in het traject? Als je methoden kiest die passen bij je doel! Om informatie boven tafel halen Je (voorlopige) analyse te toetsen, terug te koppelen, draagvlak te creëren en vervolg te ontwerpen? Nieuwe kennis te creëren met en voor mensen in de organisatie Is dit ook zo voor de onderzoeken die jullie studenten doen?

Agyris ‘Waanzin is steeds hetzelfde doen en een ander resultaat verwachten’ Einstein KADER RESULTAAT ACTIE Als resultaat uitblijft, zie je dat het resultaat uitblijft, zie je dat je steeds hetzelfde doet, zie je dat je denken je belemmert om een andere actie te bedenken cq uit te voeren?

Beslissing en handelen Beslissing en handelen Rol onderzoek in dagelijkse praktijk van hbo-afgestudeerde professionals 3 april 2017 Onderbuik Casual benchmark Eenzijdige kennis Reflectie & Reflexie Bewezen effectieve praktijken hypes Foute veronderstelling Wij als hbo-instelling moeten er voor waken dat professionals overwogen besluiten nemen en niet op basis van onderbuik, verouderde kennis, foute veronderstellingen, of laat leiden door casual benchmarken en hypes Niet alleen specifieke methoden en technieken, maar ook vaardigheden en houdingsaspecten komen daarbij kijken als leren omgaan met het feit dat er niet maar een waarheid is, kritisch vermogen en nieuwsgierigheid. Los van wat je vindt van onderzoek als functie, vinden de meeste docenten die houding en vaardigheid belangrijk. Beslissing en handelen Beslissing en handelen

Drie aanpakken voor kennis- en Consensusontwikkeling Modus 1: wetenschap. Fundamenteel onderzoek vertalen naar de praktijk. Vraag om kennis. Vraag naar de waarheid. Geen praktijkprobleem als basis voor onderzoek. Kan bruikbaar zijn, maar lastig te beoordelen. Modus 2: effectiviteit. Evidence based practice en practice based evidence. Onderzoekt de beste aanpak of handelingswijze volgens onderzoek in combinatie met ervaringen in de praktijk. Niet gericht op waarom iets effectief is, maar hoe. Leren over oorzaak gevolg relaties Modus 3: veranderen, vernieuwen en betrokkenheid. Gerichte aanpak/ interventie ontwerpen, uitproberen en evalueren. Uitkomsten zijn instabiel. Gericht op innovatie, verandering en normatieve professionaliteit. Pilotstudies. Ontleend aan Gibbons et al. (1994) Hoe produceer je kennis om te kunnen overwegen hoe te besluiten of hoe te beslissen. Besluiten nemen en handelen doen professionals constant. Dat kun je doen op een onderzoeksmatige manier. Op verschillende niveaus speelt onderzoek een rol in de besluitvorming van professionals.

Onderzoek in onderwijs 3 april 2017 Onderzoek in onderwijs Op verschillende manieren onderzoek een rol geven in curriculum. Hoe bij ons? Doen studenten het en worden ze er ook bij ondersteund?

Invullen Komen alle vier de kwadranten voldoende aan de orde in het curriculum? Komen alle vier de kwadranten voldoende aan de orde per onderwijsprogramma? Aan welk kwadrant zou je binnen het curriculum of binnen een onderwijsprogramma meer aandacht aan willen besteden?

Strategieën inventariseren Bekijk de voorbeelden Bespreek welke en in hoeverre deze ideeën bruikbaar zijn voor jouw eigen onderwijs Strategieën van te voren verstuurd

Nieuwe ideeën ontwikkelen Bedenk nog drie mogelijke strategieën of praktijken om studenten te stimuleren onderzoeksmatig te werken – schrijf elk idee op een aparte post-it Deel de ideeën met elkaar: plak beurteling een van de post its op de flap en benoem daarbij je idee. Toelichten als nodig. Ga door tot alle ideeën gedeeld zijn. Kies uit alle post-its één idee dat je wil gebruiken in jouw onderwijs. Wissel uit en ga in gesprek over wat nodig is om dit idee uit te kunnen voeren.

Wat heeft deze workshop je opgeleverd?