Ontwerpgericht onderzoek als onderzoeksstrategie

Presentatie over: "Ontwerpgericht onderzoek als onderzoeksstrategie"— Transcript van de presentatie:

1 Ontwerpgericht onderzoek als onderzoeksstrategie
Politieacademie 19 maart 2012 Daan Andriessen Hogeschool Inholland

2 Mijn biografie 1990 Bestuurskunde VU
2003 Promotie “De waarde van kennis” Nyenrode heden lector “Intellectual capital” hogeschool Inholland 2006 – heden Moderator Community of Practice “Design Science Research Group” 2009 – 2011 Lid presidium Forum voor praktijkgericht onderzoek 2010 voorzitter Gedragscode Praktijkgericht Onderzoek voor het HBO

3 Zes onderzoeksfuncties van een probleemstelling
Definiëren Beschrijven Vergelijken Evalueren Verklaren Ontwerpen Bron: Oost & Markenhof, 2002

4 Verklarende kennis is beperkt
Academy of Management Journal 2006, Vol. 49, No. 2, 305–325.

5 Ontwerpkennis als aanvulling op beperkingen verklarende kennis
Het een wordt mogelijk veroorzaakt door het ander (causaal) Doorvoor is een statistische waarschijnlijkheid Omstandigheden waaronder dit waar is worden zelden onderzocht Onafhankelijke variabele is vaak niet direct beïnvloedbaar Ontwerp kennis Het ene heeft als doel het andere te veroorzaken (finaal) Vanwege “mechanismen” (die niet altijd optreden) Omstandigheden waaronder dit waar is zijn de kern van het onderzoek Onafhankelijke variabele is een handeling

6 Ontwerponderzoek levert ontwerpstellingen
“Als je O wilt bereiken in situatie C doe dan zoiets als I want dat zet M in gang” CIMO logica (Denyer et al., 2008): Context Interventie Mechanisme Outcome In een bewustwordingsworkshop over generatieleren Geef directe feedback op gedrag vanuit de kenmerken van hun generatie Zelfreflectie Inzicht bij deelnemers dat zij ook kenmerken vertonen van hun generatie

7 KENNISSTROOM PRAKTIJKSTROOM KENNIS MOBILISEREN KENNIS ONTWIKKELEN
Casus 1 casus is geen casus Meerdere casussen nodig om deze vragen te beantwoorden en tegelijkertijd plausibele, rivaliserende verklaringen voor het succes en falen te achterhalen. Dit heeft ook gevolgen voor de financiering van dit onderzoek want: Succes is niet gegarandeerd (v.b. van bedrijf dat onderdelen voor vrachtwagens maakt waar ik uit ben geschopt halverwege een test om een kennisplan te maken) – meeste van geleerd over omstandigheden waaronder zoiets succesvol kan zijn Geen klant wil betalen voor generieke praktijktheorie, wel mogelijk voor individuele oplossing. Wie betaalt het werk in de kennisstroom? Basisfinanciering noodzakelijk. Wouter Bos ziet het verkeert als hij zegt dat lectoraten door opdrachtonderzoek moeten worden gefinancierd. PROBLEMEN OPLOSSEN LEREN

8 KENNISSTROOM PRAKTIJKSTROOM Praktijksituatie
Casus 1 Praktijksituatie Gevolgen hiervan zijn groot: Specifieke aanpak van HBO onderzoek: altijd een praktijkstroom en een kennisstroom (ook nog een competentiestroom) Kennisstroom start met een onderzoeksagenda en een kennisvraag (hoe vraag) op basis van reeds beschikbare theorie (b.v.Hoe kunnen CoP’s succesvol levend worden gehouden?) . Vanwege het primaat van het ontwikkelen van nieuwe praktijkkennis geldt dus niet: u vraagt wij draaien. Het lectoraat bepaalt welke praktijkkennis ontwikkeld gaat worden en zoekt daar casussen bij. In kennisstroom wordt generieke oplossing ontwikkeld. (b.v. methode voor succesvol inzetten van Community of Practice als middel tot kennisdelen en professionalisering) Selectie van praktijkproblemen Daarna wordt een casus gezocht waar een probleem speelt waarvoor de oplossing een oplossing kan zijn (b.v. een grote bank). Maar diagnose is belangrijk! Daarvoor is helaas altijd een bepaalde bril nodig en die komt uit de theorie (hoe goed wordt bij deze bank kennis gedeeld) De generieke oplossing wordt specifiek gemaakt (b.v. deelnemers blijken minder tijd te hebben, ICT biedt andere functionaliteit) Specifieke oplossing wordt geïmplementeerd en geëvalueerd en geleerde lessen worden expliciet gemaakt. Mogelijkerwijs was de diagnose verkeerd en moet je opnieuw beginnen Kennis mobiliseren en ontwikkelen Bij het maken van het ontwerp ga je uit van wat we al weten (zowel verklarende als praktijktheorie). Zoveel mogelijk gebruik maken van al bekende ‘genererende mechanismen’) (b.v. techniek van de dialoog in CoP) Na de casus stel je vast wat geleerd is over: Wat werkt wel en wat niet Wanneer werkt het wel en niet> Waarom werkt het wel en niet (genererende mechanismen = verklaringen verbeteren) Bijdrage aan verklarende theorievorming!

9 Praktijksituatie 1996: GVB ‘out of control’
Joost Kampen ontdekt als extern adviseur bij GVB dat geen enkele veranderstrategie werkt. Er is sprake van non-responsiviteit: “Iedereen werkt gewoon door alsof er niets gebeurd is” Sociale netwerken zijn gericht op emoties, sentimenten en overleven Geen bereidheid tot leren Grenzeloos gedrag (Kampen, 2011)

10 KENNISSTROOM PRAKTIJKSTROOM 1.THEORIE 2.ONDERZOEKS-AGENDA
Theoretisch kader 2.ONDERZOEKS-AGENDA Kennis-probleem PRAKTIJKSTROOM Casus 1 Praktijksituatie 4.DIAGNOSE Praktijk-probleem Gevolgen hiervan zijn groot: Specifieke aanpak van HBO onderzoek: altijd een praktijkstroom en een kennisstroom (ook nog een competentiestroom) Kennisstroom start met een onderzoeksagenda en een kennisvraag (hoe vraag) op basis van reeds beschikbare theorie (b.v.Hoe kunnen CoP’s succesvol levend worden gehouden?) . Vanwege het primaat van het ontwikkelen van nieuwe praktijkkennis geldt dus niet: u vraagt wij draaien. Het lectoraat bepaalt welke praktijkkennis ontwikkeld gaat worden en zoekt daar casussen bij. In kennisstroom wordt generieke oplossing ontwikkeld. (b.v. methode voor succesvol inzetten van Community of Practice als middel tot kennisdelen en professionalisering) Selectie van praktijkproblemen Daarna wordt een casus gezocht waar een probleem speelt waarvoor de oplossing een oplossing kan zijn (b.v. een grote bank). Maar diagnose is belangrijk! Daarvoor is helaas altijd een bepaalde bril nodig en die komt uit de theorie (hoe goed wordt bij deze bank kennis gedeeld) De generieke oplossing wordt specifiek gemaakt (b.v. deelnemers blijken minder tijd te hebben, ICT biedt andere functionaliteit) Specifieke oplossing wordt geïmplementeerd en geëvalueerd en geleerde lessen worden expliciet gemaakt. Mogelijkerwijs was de diagnose verkeerd en moet je opnieuw beginnen Kennis mobiliseren en ontwikkelen Bij het maken van het ontwerp ga je uit van wat we al weten (zowel verklarende als praktijktheorie). Zoveel mogelijk gebruik maken van al bekende ‘genererende mechanismen’) (b.v. techniek van de dialoog in CoP) Na de casus stel je vast wat geleerd is over: Wat werkt wel en wat niet Wanneer werkt het wel en niet> Waarom werkt het wel en niet (genererende mechanismen = verklaringen verbeteren) Bijdrage aan verklarende theorievorming!

11 De Schaduwkant van Organisaties
Er is heel veel organisatieleed in Nederland En daar hebben we het meestal niet over Ook managementboeken zeggen hoe het goed gaat en hoe fantastisch organisaties dan zijn (blije eikels) En niet wat een verschrikkelijke psychologische gevangenis veel organisaties zijn. Ook betrokkenen houden daar hun mond over (ontkenning)

12 De Schaduwkant van Organisaties Oorzaken Symptomen Effecten
Drie vragen: Wat is de schaduwkant van Windesheim? Zijn er symptomen? Hoe erg is het? Zijn er effecten zichtbaar? Verklaart dit mogelijk waarom een aantal dingen moeizaam gaat? Zijn er omstandigheden/oorzaken zichtbaar die het kunnen verklaren?

13 Gevoelens van boosheid, miskenning en onveiligheid Cynisme
Symptomen: Gevoelens van boosheid, miskenning en onveiligheid Cynisme Mopperen uit onvermogen Laag commitment aan organisatie Terugtrekken in het werk en solisme ‘Wij’ vs. ‘Zij’ denken Ja zeggen nee doen Eigen interpretatie aan taakinvulling die afwijkt van organisatiedoelen Ontwijken van verantwoordelijkheid Sabotage en wraak Tel mee welke punten je herkend Steek je hand op om de modus te bepalen

14 Effecten: Geen enkele verandering werkt Huishoudelijke processen ‘rammelen’ en zijn niet op orde te krijgen (roosterfouten, boekhouding). Plannen ‘sterven op de drempel’: iedereen weet dat en vertrouwt daar ook op. Wantrouwen Moedeloze sfeer Onvermogen om de volgende uitdaging aan te kunnen Laag leervermogen Lage kwaliteit van product Slecht imago en negatieve pers Dalende instroom

15 Oorzaken: Onverwerkte fusies Veel veranderingen achter elkaar Reorganisaties die niet zijn afgemaakt of die zijn mislukt ‘Organisational injustice’ ‘Management by fear’ Schaalvergroting en verlies contact bestuur met werkvloer Sturen op extrinsieke motivatie Narcistisch leiderschap Managers die hun plek niet innemen of emotioneel niet beschikbaar zijn Verwaarlozing

16 Herkenning: gedrag (1) selectie uit onderzoeksliteratuur
Gedrag uit onvermogen en achterstand Korte concentratie Gering vermogen tot oordelen, geen zelfreflectie Directe reactie op prikkels Volgen van impulsen Geringe frustratietolerantie Ontladen van emoties Starheid van afweer Redelijkheid zoek Wantrouwen Ervaringen beklijven niet (Kampen, 2011)

17 Herkenning gedrag (2) selectie uit onderzoeksliteratuur
Overontwikkeld ‘slim’ gedrag Uitspelen van volwassenen Volwassenen kunnen ‘peilen’ Geringe betrouwbaarheid Liegen Berekenende of schijn-aanpassing Onder schuld uitkomen, ermee weg komen Uitlokken rotzooi Bondgenoten vinden Absurde veeleisendheid (Kampen, 2011)

18 Leidinggeven is net als opvoeden (Gebaseerd op opvoedingsstijlen Slot e.a.)
Veel controle en toezicht afwezig permissief autoritief autoritair weinig geborgenheid en ondersteuning Veel geborgenheid en ondersteuning Joost Kampen heeft ontdekt dat het soms zo erg is in organisaties dat je kan spreken van verwaarloosde organisaties. Weinig controle en toezicht

19 Oorzaken van verwaarlozing
Veel controle en toezicht POTENTIEEL VERWAAR-LOZEND afwezig permissief autoritief autoritair weinig geborgenheid en ondersteuning Veel geborgenheid en ondersteuning VERWAAR-LOZEND POTENTIEEL VERWAAR-LOZEND Weinig controle en toezicht

20 KENNISSTROOM PRAKTIJKSTROOM 1.THEORIE 2.ONDERZOEKS-AGENDA
Theoretisch kader 2.ONDERZOEKS-AGENDA Kennis-probleem 3. (HER) ONTWERPEN Concept oplossing PRAKTIJKSTROOM Casus 1 Praktijksituatie 4.DIAGNOSE Praktijk-probleem Gevolgen hiervan zijn groot: Specifieke aanpak van HBO onderzoek: altijd een praktijkstroom en een kennisstroom (ook nog een competentiestroom) Kennisstroom start met een onderzoeksagenda en een kennisvraag (hoe vraag) op basis van reeds beschikbare theorie (b.v.Hoe kunnen CoP’s succesvol levend worden gehouden?) . Vanwege het primaat van het ontwikkelen van nieuwe praktijkkennis geldt dus niet: u vraagt wij draaien. Het lectoraat bepaalt welke praktijkkennis ontwikkeld gaat worden en zoekt daar casussen bij. In kennisstroom wordt generieke oplossing ontwikkeld. (b.v. methode voor succesvol inzetten van Community of Practice als middel tot kennisdelen en professionalisering) Selectie van praktijkproblemen Daarna wordt een casus gezocht waar een probleem speelt waarvoor de oplossing een oplossing kan zijn (b.v. een grote bank). Maar diagnose is belangrijk! Daarvoor is helaas altijd een bepaalde bril nodig en die komt uit de theorie (hoe goed wordt bij deze bank kennis gedeeld) De generieke oplossing wordt specifiek gemaakt (b.v. deelnemers blijken minder tijd te hebben, ICT biedt andere functionaliteit) Specifieke oplossing wordt geïmplementeerd en geëvalueerd en geleerde lessen worden expliciet gemaakt. Mogelijkerwijs was de diagnose verkeerd en moet je opnieuw beginnen Kennis mobiliseren en ontwikkelen Bij het maken van het ontwerp ga je uit van wat we al weten (zowel verklarende als praktijktheorie). Zoveel mogelijk gebruik maken van al bekende ‘genererende mechanismen’) (b.v. techniek van de dialoog in CoP) Na de casus stel je vast wat geleerd is over: Wat werkt wel en wat niet Wanneer werkt het wel en niet> Waarom werkt het wel en niet (genererende mechanismen = verklaringen verbeteren) Bijdrage aan verklarende theorievorming!

21 Ontwerp voor een herstelstrategie
Onthullen gedrag, patronen, verschillende lagen Anders doen in functionele rollen, nabij, directief Confronteren met wat normaal is Aansluiten hier en nu, zoals het is (Kampen, 2011)

22 Leidinggevenden in positie brengen
Veel controle en toezicht Herstelstijl: risico van schijnaanpassing Genezende stijl mits gedifferentieerd toegepast afwezig permissief autoritief autoritair weinig geborgenheid en ondersteuning Veel geborgenheid en ondersteuning Inherent verwaarlozend Risico van verwennende verwaarlozing Weinig controle en toezicht

23 KENNISSTROOM PRAKTIJKSTROOM 1.THEORIE 2.ONDERZOEKS-AGENDA
Theoretisch kader 2.ONDERZOEKS-AGENDA Kennis-probleem 3. (HER) ONTWERPEN Concept oplossing 9.REFLECTIE Successen & verbeteringen 5.ACTIE PLANNING Specifieke oplossing PRAKTIJKSTROOM Casus 1 Praktijksituatie 4.DIAGNOSE Praktijk-probleem Gevolgen hiervan zijn groot: Specifieke aanpak van HBO onderzoek: altijd een praktijkstroom en een kennisstroom (ook nog een competentiestroom) Kennisstroom start met een onderzoeksagenda en een kennisvraag (hoe vraag) op basis van reeds beschikbare theorie (b.v.Hoe kunnen CoP’s succesvol levend worden gehouden?) . Vanwege het primaat van het ontwikkelen van nieuwe praktijkkennis geldt dus niet: u vraagt wij draaien. Het lectoraat bepaalt welke praktijkkennis ontwikkeld gaat worden en zoekt daar casussen bij. In kennisstroom wordt generieke oplossing ontwikkeld. (b.v. methode voor succesvol inzetten van Community of Practice als middel tot kennisdelen en professionalisering) Selectie van praktijkproblemen Daarna wordt een casus gezocht waar een probleem speelt waarvoor de oplossing een oplossing kan zijn (b.v. een grote bank). Maar diagnose is belangrijk! Daarvoor is helaas altijd een bepaalde bril nodig en die komt uit de theorie (hoe goed wordt bij deze bank kennis gedeeld) De generieke oplossing wordt specifiek gemaakt (b.v. deelnemers blijken minder tijd te hebben, ICT biedt andere functionaliteit) Specifieke oplossing wordt geïmplementeerd en geëvalueerd en geleerde lessen worden expliciet gemaakt. Mogelijkerwijs was de diagnose verkeerd en moet je opnieuw beginnen Kennis mobiliseren en ontwikkelen Bij het maken van het ontwerp ga je uit van wat we al weten (zowel verklarende als praktijktheorie). Zoveel mogelijk gebruik maken van al bekende ‘genererende mechanismen’) (b.v. techniek van de dialoog in CoP) Na de casus stel je vast wat geleerd is over: Wat werkt wel en wat niet Wanneer werkt het wel en niet> Waarom werkt het wel en niet (genererende mechanismen = verklaringen verbeteren) Bijdrage aan verklarende theorievorming! 8.VASTSTELLEN VAN LEREN Bevindingen 6.IMPLEMEN-TATIE Vastgelegde ervaringen 7.EVALUATIE Effecten van acties

24 KENNISSTROOM PRAKTIJKSTROOM 1.THEORIE 2.ONDERZOEKS-AGENDA
Theoretisch kader 2.ONDERZOEKS-AGENDA Kennis-probleem 3. (HER) ONTWERPEN Concept oplossing 9.REFLECTIE Successen & verbeteringen 10.KENNIS ONTWIKKELING Ontwerpkennis 5.ACTIE PLANNING Specifieke oplossing PRAKTIJKSTROOM Casus n Casus 2 Casus 1 Agenda van de opdrachtgever 4.DIAGNOSE Praktijk-probleem Gevolgen hiervan zijn groot: Specifieke aanpak van HBO onderzoek: altijd een praktijkstroom en een kennisstroom (ook nog een competentiestroom) Kennisstroom start met een onderzoeksagenda en een kennisvraag (hoe vraag) op basis van reeds beschikbare theorie (b.v.Hoe kunnen CoP’s succesvol levend worden gehouden?) . Vanwege het primaat van het ontwikkelen van nieuwe praktijkkennis geldt dus niet: u vraagt wij draaien. Het lectoraat bepaalt welke praktijkkennis ontwikkeld gaat worden en zoekt daar casussen bij. In kennisstroom wordt generieke oplossing ontwikkeld. (b.v. methode voor succesvol inzetten van Community of Practice als middel tot kennisdelen en professionalisering) Selectie van praktijkproblemen Daarna wordt een casus gezocht waar een probleem speelt waarvoor de oplossing een oplossing kan zijn (b.v. een grote bank). Maar diagnose is belangrijk! Daarvoor is helaas altijd een bepaalde bril nodig en die komt uit de theorie (hoe goed wordt bij deze bank kennis gedeeld) De generieke oplossing wordt specifiek gemaakt (b.v. deelnemers blijken minder tijd te hebben, ICT biedt andere functionaliteit) Specifieke oplossing wordt geïmplementeerd en geëvalueerd en geleerde lessen worden expliciet gemaakt. Mogelijkerwijs was de diagnose verkeerd en moet je opnieuw beginnen Kennis mobiliseren en ontwikkelen Bij het maken van het ontwerp ga je uit van wat we al weten (zowel verklarende als praktijktheorie). Zoveel mogelijk gebruik maken van al bekende ‘genererende mechanismen’) (b.v. techniek van de dialoog in CoP) Na de casus stel je vast wat geleerd is over: Wat werkt wel en wat niet Wanneer werkt het wel en niet> Waarom werkt het wel en niet (genererende mechanismen = verklaringen verbeteren) Bijdrage aan verklarende theorievorming! 8.VASTSTELLEN VAN LEREN Bevindingen 6.IMPLEMEN-TATIE Vastgelegde ervaringen 7.EVALUATIE Effecten van acties

25 Verklarend en ontwerpend onderzoek vullen elkaar aan
Concepten probleem-definitie Oplossings-richtingen Te verklaren oplossingen Verklaringen voor het probleem Verklaringen voor de oplossing Toepassings-domein van theorie Meetinstru-menten voor effectmeting Ontbrekende variabelen

26 Varianten in ontwerpgericht onderzoek
Ontwikkelende serie-gevalsstudie of parallelle serie-gevalsstudie Ontwerpen met de betrokkenen uit de praktijk Ontwerpen op basis van het goede dat er al is (appreciative inquiry) Geen nieuwe oplossing ontwerpen maar bestaande, werkende oplossingen analyseren

27 Bewijs-kracht Omschrijving Soorten onderzoek Kwalificatie niveau
Causaal Als 1 tot en met 3, maar nu is er evidentie dat positieve uitkomsten veroorzaakt worden door de interventie Experimenteel onderzoek Herhaalde cases studies (N=1) Quasi-experimenteel onderzoek Veranderingstheoretisch onderzoek Normgerelateerd onderzoek Veranderings-onderzoek Doelrealisatie-onderzoek Cliënttevredenheids-onderzoek 4. Werkzaam Indicatief Als 1 en 2, maar nu kan empirisch worden aangetoond dat de gestelde doelen zijn bereikt 3. Doeltreffend Theoretisch Als 1, maar nu is er ook een geloofwaardige interventie-theorie Meta-analyse Literatuurstudie Kennisontlokkend onderzoek 2. Theoretisch goed onderbouwd (veelbelovend) Descriptief De kernelementen van een interventie zijn duidelijk en begrijpelijk beschreven. Descriptief onderzoek Observationeel onderzoek Documentanalyse Interviews 1. Potentieel Van Yperen et al. (in druk)

28 Belangrijk element bij de verklaring: redeneerketens
Interventie Impact

29 Black box Studiekeuze-gesprekken Studie-rendement

30 Een complex aan factoren bepaalt impact
Interventie Impact Andere factoren

31 Studiekeuze-gesprekken Studie-rendement
Motivatie Competenties Studentkenmerken Studiekeuze-gesprekken Studie-rendement Binding Begeleiding & beoordeling Kwaliteit / studeerbaarheid van de studie

32 Causale keten is lang Interventie Impact Andere factoren

33 Andere factoren Hoger studie-rende-ment Studiekeuze-gesprekken
Betere match met compe-tenties Hoger studie-rende-ment Beter inzicht in studie Studiekeuze-gesprekken Betere studie-keuze Hogere motivatie Betere match met interesses Andere factoren

34 Oplossingsrichting: de redeneerketen (CIMO)
Mechanismen Interventie Outcome Context Denyer, D., Tranfield, D., & Van Aken, J. E. (2008). Developing Design Propositions through Research Synthesis. Organization Studies, 29,

35 Oplossingsrichting: korte redeneerketens
M M M M I O/I O/I O/I O C C C C

36 Inschrijven kost meer tijd en inspanning waardoor niet serieuze aanmelders afhaken
De opdracht geeft de kandidaat informatie over opleiding en beroep De opdracht levert de opleiding vooraf informatie op over beroepsbeeld en motivatie van de kandidaat Meer serieuze kandidaten tussen de inschrijvers Hogere kwaliteit studiekeuze Meer informatie over de kandidaat die straks kan worden gebruikt in het studiekeuze-gesprek Een opdracht toevoegen bij de online inschrijving als nieuwe student Hogeschool X

37 Waarom werken camera’s bij parkeerplaatsen?
MECHANISMEN: “Caught-in-the-act” -> present offenders “You-have-been-framed” -> potential offenders “Nosy parker” -> natural surveilance “Effective deployment” -> security staff “Publicity (general)” -> potential offenders “Publicity (specific)” -> potential offenders “Time for crime” -> present offenders “memory jogging” -> parkers “Appeal to the cautious” -> parkers Pawson, R. & Tilley, N. (1994). What works in evaluation research? British Journal of Management, 34,

38

39