Empirisch onderzoek Leerkring Publiek Management Albert Meijer Utrecht School of Governance Bijeenkomst 3: 25 februari 2011

Methodologie is voor de dommen!

Opbouw Onderzoeksopzet Observaties Gevalsstudies Bestaand materiaal Interviews Ethische principes

Onderzoeksopzet Strategie Methode Techniek Triangulatie

VB: Europaproof? VRAAG: In hoeverre draagt deelname in een intergemeentelijk samenwerkingsverband bij aan het ‘Europaproof’ worden van gemeenten? Op welke manieren nemen gemeenten deel aan het samenwerkingsverband van de Stadsregio Arnhem Nijmegen? In welke mate zijn de gemeenten in dit samenwerkingsverband Europaproof? Is er een verband tussen de mate van deelname aan het samenwerkingsverband en de mate van Europaproofheid?

Onderzoeksopzet Document-analyse Gemeenten Stadsregio Enquêtes Interviews Interview Deelvraag 1 (Samen-werking) X Deelvraag 2 (Europaproof) Deelvraag 3 (Relatie)

Voorbeeld: Co-creatie VRAAG: Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in verschillende fasen van beleid te vergroten? Agendavorming. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de agendavorming te vergroten? Beleidsontwikkeling. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de beleidsontwikkeling te vergroten? Dienstverlening. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in de dienstverlening te vergroten? Handhaving en toezicht. Hoe kunnen overheden het Internet gebruiken om via co-creatie met digitale gemeenschappen de participatie in handhaving en toezicht te vergroten?

Onderzoeksopzet Casus Spiegelcasus Agendavorming Uruzgan Abu Ghraib Beleidsontwikkeling Maastricht Smallingerland Dienstverlening Forum Werk.nl WAO Cafe Blikopwerk Wajong Gaos Storyteller Handhaving en toezicht Politioeonderzoeken Burgernet Youtube Opsporing verzocht Overvaller gezocht

Methoden Selecteren Meten Analyseren

Observaties Observeren is het volledig beschrijven van een handeling van de persoon die men waarneemt in zijn omgeving. Rollen van de observator Mate van structuur

Verborgen observaties

Open observaties

Participerende observatie

Structuur van de observaties Gestructureerd Proefschrift Mirko Ongestructureerd Karin in Brussel

Toepassing Meetinstrument Metingen: waar, wanneer en hoe Analyse: kwantitatief en kwalitatief EN: behoud een open blik!

Combinatie met andere instrumenten Bestuurskundig onderzoek Onderzoek van Gijs Jan Ethnografisch onderzoek Informele interviews Observatie Participatie Groepsgesprekken Mensen vragen om dagboeken bij te houden Levensgeschiedenissen

Klassieke case-studies Pressman & Wildawsky: Implementation: how great expectations in Washington are dashed in Oakland (…) Kaufman: The Forest Ranger Allison & Zelikow: The Essence of Decision Ook: Noordegraaf, Geuijen, Meijer

Definitie Bij een case-study (…) gaat het om de bestudering van een sociaal verschijnsel: Bij een beperkt aantal dragers van het verschijnsel In de natuurlijke omgeving Over een bepaalde periode Met gebruik van diverse databronnen Gericht op tal van variabelen Verklaringen worden getoetst door de onderzochten

Positivistische versus interpretatieve case studies Interpretatief Yin Malinowski, Clifford Geertz Blootleggen mechanisme Unieke situatie Theoretische generalisatie Generalisatie vanuit de gebruiker Expliciete lessen Impliciete lessen Internationale betrekkingen, recht Antropologie Allison & Zelikow The Essence of Decision Zuboff The Age of the Smart Machine

Waarom een case study? Positieve overwegingen Negatieve overwegingen Gedetailleerde kennis helpt bij het verfijnen van (causale) modellen. De verschillende interacties worden in kaart gebracht. Er is aandacht voor de verschillende verklaringen van de betrokkenen. Case studies bieden een basis voor ontwerp. Negatieve overwegingen We kunnen het verschijnsel nog niet goed isoleren. Experimenteren is niet mogelijk. Het verschijnsel is zeer zeldzaam.

Keuzen bij casusonderzoek Cases Meetmomenten Onderzoeksmethoden

Casusselectie Mogelijke designs: Risico’s: Most similar cases Most different cases Most advanced cases Extreme cases Critical cases Risico’s: Onterecht oorzaak toewijzen Case contaminatie

Versterken van case study Meerdere subeenheden Meerdere meetmomenten Meerdere instrumenten Expertoordelen

Analyse van data Het doel van een analyse is om specifieke verklaringen voor een situatie te transformeren in algemene verklaringen. Aandachtspunten: Casusvergelijking (comparative method) Process tracing Typological theorizing

Analyse van het materiaal: datamatrix Casus 1 Casus 2 Casus 3 … Variabele 1 Variabele 2 Variabele 3

Forum.werk.nl Forum.waocafe.nl Mogelijkheden voor co-creatie. Grote mogelijkheden voor co-creatie. Moderatie belangrijker dan technische mogelijkheden. Participanten. 1000 geregistreerde leden Groot aantal – duizenden – bezoekers. Motieven: antwoorden op vragen, contact met lotgenoten, uitlaatklep voor frustraties. 190 bijdragen per week. 14000 hits per week. Motieven: antwoorden op individuele vragen, algemene informatie, steun van lotgenoten. Inhoud van de participatie. Antwoorden op vragen Discussie Aanbieden van vacatures Delen van ervaringen Kritiek op dienstverleners

Patronen tussen variabelen Waarde 1 Waarde 2 Waarde 3

Voorbeeld Lage mate van gebruik Hoge mate van gebruik Weinig relevante informatie Arbeidsinspectie (NL) Milieu-inspectie (VK) Relevante informatie Milieu-inspectie (NL) Voedselinspectie (DK)

Rapporteren van resultaten Per casus Per thema Per onderzoeksmethode

Andere toepassingen van cases Advieswerk Beleidswerk Onderwijs Centraal staat steeds het holistische karakter van de case!

Gebruik van bestaand materiaal Bronnen Beleidsnota’s Jurisprudentie Jaarverslagen Onderzoeksrapporten Krantenberichten Internetdiscussies E-mail-berichten

Karakter Primair: Informatie die nog niet is gebruikt voor onderzoek. Neerslag van gedrag Communicatieve boodschap Secundair: Hergebruik van eerdere onderzoeksbevindingen Statistische bestanden Publicaties

Nut Historisch onderzoek Moeilijk te bevragen of observeren verschijnselen Directe toegang tot communicatie Makkelijk te verwerken Weinig medewerking vereist

Selectie van bronnen Selectief Aselectief

Inhoudsanalyse Vaststellen van feiten en opvattingen Reconstrueren van gebruikte argumentaties

Interviews: enkele punten Respondenten versus informanten. Gestructureerd versus ongestructureerd. Opnemen versus een verslag maken. Leidend principe: informatierijkheid!

Ethische principes Respect: geen personen tegen hun wil of onwetend onderzoeken. Goedwillendheid: de onderzochte personen geen schade toebrengen Rechtvaardigheid: alle onderzochte personen evenveel voordeel (of nadeel) Vertrouwen: vertrouwelijk omgaan met gegevens Wetenschappelijke integriteit: eerlijk rapporteren