Kijken naar empirisch onderzoek (deel 1) Maandag 17 februari 2003 Empirische criminologie

Slides van de lessen: (het studentenhoekje)

Kijken naar onderzoek I. Geloofwaardigheid van onderzoek II. Selecteren en lezen van onderzoek III. Kritisch lezen van onderzoek

I. Geloofwaardigheid van onderzoek

Geloofwaardigheid van onderzoek Evaluatie door andere wetenschappers (‘peer review’) publieke verspreiding

Onderzoek: waar? Wetenschappelijke tijdschriften Boeken en monografieën Internet Proceedings Presentaties (papers / posters) Kranten en weekbladen

Onderzoek: wie? Doctorandi Postdoctorandi / professoren Anderen

Onderzoek: waar? Instituten voor hoger onderwijs (universiteiten) Laboratoria Veldonderzoek Militaire organisaties Overheidsinstellingen Bedrijven

Onderzoek: waar? (2) Filantropische instellingen / Stichtingen Privé-instellingen

Peer review Abstracts Papers presenteren op symposia Refereed publications Selectie door tijdschriften

Wat weet je over het tijdschrift? Wie zit er in het redactiecomité? Wie zijn de referenten (‘reviewers’)? Wat is het oordeel van anderen?

Andere signalen Reputatie van de auteur Bron van financiering Sponsoring

Waarschuwingssignalen Technische problemen Steekproeftrekking Gebrek aan replicatie Conflicten Onvoorzichtigheid Fouten en gebrek aan wetenschappelijkheid

Geloofwaardigheid: checklist Peer review voor een tijdschrift? Replicatie? Belangenconflict? Kan de vraag beantwoord worden? Technische problemen? Steekproeftrekking? Conclusies gebaseerd op bevindingen?

Geloofwaardigheid: checklist (2) Onvoorzichtigheid? Gebrek aan wetenschappelijkheid? Eerlijkheid omtrent beperkingen? Andere redenen? Begrijp je alles?

II. Selecteren en lezen van onderzoek

Selecteren van onderzoek Systeem-taal / vakjargon Het lezerspubliek

Lezen van onderzoek Schrijfstijlen Basisattitude: respect en toch gezond scepticisme Lezen van onderzoek = puzzelen (intellectueel werk) Schematiseren

Staar je niet blind op Ongewone woorden / technische termen wat er niet staat statistieken fouten

III. Kritisch lezen van onderzoek

Vijf cruciale vragen 1. Waar gaat het rapport over? 2. Hoe past de studie in datgene wat we al weten? 3. Hoe is de studie uitgevoerd? 4. Wat heeft men gevonden? 5. Wat betekenen deze resultaten?

1. Waar gaat het rapport over? De titel De abstract (samenvatting) Doelstelling

Checklist Bevat de titel de belangrijkste begrippen en relaties? Bevat de abstract voldoende informatie? Toont de abstract het belang van de studie aan? Is het doel van de studie duidelijk omschreven? Ben je geïnteresseerd in dit onderzoek?

Hoe past de studie in datgene wat we al weten? De inleiding De doelstellingen van het onderzoek Relevante literatuur Bibliografie

Checklist (1) Wordt het thema geïntroduceerd a.h.v. eerder onderzoek? Legt de auteur voldoende uit wat we al weten en wat we nog niet weten? Legt men het design en methodologie uit a.h.v. ervaringen uit eerder onderzoek?

Checklist (1) Bespreekt men conflicterende conclusies uit de literatuur? Bevat de bibliografie recente en belangrijke referenties?

Hoe is de studie uitgevoerd? De onderzoekssubjecten Het onderzoeksdesign De onderzoeksinstrumenten De procedures De analyses

Subjecten: checklist (1) Werden subjecten behandeld volgens ethische normen? Duidelijke uitleg waarom juist deze subjecten werden geselecteerd? Zijn de selectiecriteria geëxpliciteerd? Is het selectieproces duidelijk uitgelegd?

Subjecten: checklist (2) Legt men uit waarom het aantal subjecten voldoende is? Is de kwaliteit van de steekproef hoog? Bespreekt de auteur beperkingen van de selectieprocedure?

Design: checklist Bespreekt de auteur het design, de belangrijkste variabelen en hun relatie? Is het algemene design duidelijk uitgelegd? Geeft men een verklaring voor de selectie? Staat de uitleg voor het design op een logische plaats?

Instrumenten: checklist Worden alle instrumenten benoemd en toegelicht? Worden validiteit en betrouwbaarheid besproken? Zijn de instrumenten getest? Wordt de keuze voor een instrument verantwoord?

Procedures: checklist Legt men de omstandigheden uit waarin elk instrument werd gebruikt? Bevat het rapport het exacte protocol voor elk instrument? Geeft men aan hoe de gegevens werden geregistreerd? Legt men uit hoe elk instrument bij elk subject werd toegepast?

Analyses: checklist Hoe is het kwantitatief materiaal geanalyseerd? Hoe is het kwalitatief materiaal geanalyseerd?

Wat heeft men gevonden? Figuren / grafieken Tabellen

Figuren: checklist Geeft de titel duidelijk de variabelen aan? Geven de legendes voldoende uitleg? Geeft de titel voldoende uitleg over de bronnen van data? Kan de figuur op zich volledig begrepen worden?

Tabellen: checklist (1) Geeft de titel duidelijk alle variabelen aan? Geven de kolom- en rijkoppen duidelijk aan om welke variabelen het gaat? Is er informatie over de grootte van de steekproeven? Worden statistisch significante resultaten duidelijk aangegeven?

Tabellen: checklist (2) Is de graad van precisie voldoende en niet te groot? Is de tabel op zich inzichtelijk of heb je de tekst nodig?

Wat betekenen de resultaten? Wat betekenen de resultaten voor de auteur? Onvoorziene moeilijkheden Contextualisering Conclusies moeten aansluiten bij de resultaten

Checklist (1) Blijven de conclusies binnen de grenzen van de resultaten? Kan men de conclusies verbinden met de doelstellingen en het onderzoeksprobleem? Helpt de auteur de bevindingen te plaatsen binnen de bestaande inzichten?

Checklist (2) Is de auteur zo eerlijk om beperkingen van de conclusies aan te geven? Geeft de auteur afdoende antwoord op de vraag ‘En dan?’ ?

Volgende les Globaal overzicht van empirisch onderzoek in België en Europa