Enkele Determinanten van Peer Review Presentatie werkstuk Geert Wissink Universiteit van Amsterdam, 13 januari 2003

Enkele Determinanten van Peer Review Geert Wissink Supervisie Drs. Maarten Speekenbrink Prof. Dr. Johan Hoogstraten

Onderzoek Welke eigenschappen van een manuscript zijn van belang bij de beoordeling van het manuscript?

Achtergrond •Publiceren erg belangrijk voor wetenschap en wetenschappers •Impact factor belangrijke maat voor status tijdschrift •Geen verband tussen impactfactor en kwaliteit artikel (Hoogstraten & Van Wijk, 1998)

Achtergrond •Meeste tijdschriften hanteren peer review met 2 of 3 reviewers •Lage betrouwbaarheid tussen reviewers

Factoren die van invloed zijn op beoordeling Gottfredson (1978) 1. De Don’ts 2 Inhoudelijke Do’s 3. Stylistische Do’s 4. Originaliteit 5. Trivialiteit 6. Suggesties voor verder onderzoek 7. Beschrijving van de data 8. Aha-onderzoek 9. Grootte van het probleem

Factoren die van invloed zijn op beoordeling •Gilliland & Cortina (1997) –Geschiktheid researchdesign –Operationalisatie van constructen –Theoretische ontwikkeling

Factoren die van invloed zijn op beoordeling •Mahoney (1977) –Experimentele uitkomst van invloed op oordeel –Lage interbetrouwbaarheid •Rowney en Zenisek (1980) –Reputatie auteur –Significantie resultaten –Replicatieonderzoek minder waardevol •Hoogstraten & Jacobs (1981) –Twee versies manuscript aangeboden, meer nadruk op theorie en meer nadruk op methoden

Vraagstelling 1 In hoeverre wordt de beoordeling van een wetenschappelijk manuscript beïnvloed door het al dan niet aanwezig zijn van significante resultaten?

Perceptie •Toepassen objectieve criteria gebeurt vaak subjectief •Perceptie van het oordeel van anderen betrouwbaardere maat?

Vraagstelling 2 & 3 •Wat is de perceptie van het oordeel van andere proefpersonen? •Welke eigenschappen zijn van invloed op het oordeel over kwaliteit en publiceerbaarheid?

Hypotheses 1.Effect significantie: Niet-significant manuscript zal negatiever worden beoordeeld dan significant manuscript 2.Perceptie: Perceptie van het oordeel van anderen vertoont minder spreiding en is milder dan eigen oordeel Exploratief bekijken we welke eigenschappen van het manuscript van invloed zijn op beoordeling

METHODE

Onafhankelijke variabele Artikel “Pretesting as Determinant of Attitude Change in Evaluation Research” (Hoogstraten, 1979) •Versie met significante resultaten die hypotheses bevestigen •Versie zonder significante resultaten

Afhankelijke variabelen •Waardering voor het manuscript –Voorbeeld vraag methoden: De opzet van het onderzoek (design) geeft in voldoende mate de mogelijkheid tot beantwoording van de vraagstelling •Mate van publiceerbaarheid •Perceptie van het oordeel van anderen

Onderzoeksdesign Niet-significante conditie Significante conditie Studenten N=32N=33 Wetenschappers N=15N=18

Proefpersonen Groep 1: 65 eerstejaars studenten Gemiddelde leeftijd M (sd) Sexe % (aantal) vrouw Sexe % (aantal) man Niet-significante conditie (n=32 ) (0.49) 62.5 % (20)37.5 % (12) Significante conditie (n= 33 ) (0.61) 87.9 % (29)12.1 % (4)

Proefpersonen Groep 2: 33 wetenschappers Gemiddelde leeftijd M (sd) Sexe % (aantal) vrouw Sexe % (aantal) man Niet-significante conditie (n=15 ) (13.78) 60 % (9)40 % (6) Significante conditie (n= 18 ) (14.48) 27.8 % (5)72.2 % (13)

Resultaten

Betrouwbaarheid vragenlijst •Cronbachs alpha –tussen 0.60 (studenten) en 0.83 (wetenschappers)

Resultaten Studenten (n=65) Niet-significant M (SD) Significant M (SD) Waardering voor manuscript 3.24 (0.47)3.36 (0.36 Mate van publiceerbaarheid 2.66 (0.79)2.79 (0.55) Perceptie van het oordeel van anderen 3.30 (0.38)3.38 (0.38)

Resultaten Wetenschappers (n=33) Niet-significant M (SD) Significant M (SD) Waardering voor manuscript 2.93 (0.54)3.02 (0.59) Mate van publiceerbaarheid 1.93 (0.88)2.22 (0.65) Perceptie van het oordeel van anderen 3.03 (0.57)3.00 (0.55)

Beantwoording vraag 1. Effect significantie Verschil tussen condities –Geen verschil in beoordeling significant en niet-significant manuscript binnen groep studenten en binnen de groep wetenschappers

Beantwoording vraag 1. Effect significantie Wel verschil tussen groepen –Wetenschappers beoordelen manuscript negatiever op alle drie afhankelijke variabelen: waardering, publiceerbaarheid en perceptie van het oordeel van anderen.

Beantwoording vraag 2. Perceptie •Alleen verschil bij groep studenten op publiceerbaarheid. Hogere score voor perceptie dan voor eigen mening •Op item-niveau –Studenten: hogere scores op schrijfstijl en kwaliteit voor perceptie vragen –Wetenschappers: hogere score op schrijfstijl voor perceptie vraag.

Beantwoording vraag 3. Eigenschappen manuscript •Hoge correlaties tussen afhankelijke variabelen binnen groepen

Beantwoording vraag 3. Eigenschappen manuscript Studenten •B ij afwezigheid van significante resultaten zijn de algemene eigenschappen schrijfstijl en originaliteit van belang voor oordeel op publiceerbaarheid •Bij significante resultaten is de uiteindelijke beoordeling meer afhankelijk van de beschrijving van het onderzoeksdesign

Beantwoording vraag 3. Eigenschappen manuscript Wetenschappers •Theoretische inbedding van het manuscript en de mate van originaliteit bepaalt voor een groot deel eindoordeel op kwaliteit •Schrijfstijl is van invloed op publiceerbaarheid

Exitvragen Effect van leeftijd •Studenten: hoe ouder hoe negatiever •Wetenschappers: hoe ouder hoe milder

Discussie

•Geen effect significantie –Goed nieuws! •Groepsverschil studenten wetenschappers –Eerstejaars studenten minder kritisch, mogelijk sneller onder de indruk van een artikel

Discussie Perceptie –Score op perceptie van het oordeel van anderen alleen hoger voor publiceerbaarheid bij studenten –Vragen werden als lastig beschouwd –Perceptie geen meerwaarde voor oordeel

Discussie Methodologische aspecten onderzoek –Recenter artikel met meer grafieken –Coverstory vanuit tijdschriftredactie meer impact, beter voor manipulatie

Discussie Proefpersonen –Makkelijk studenten te werven –Zeer lastig wetenschappers bereid te vinden mee te werken

Conclusie •Wetenschappers doen het goed in dit onderzoek in tegenstelling tot eerder onderzoek. Sterke eensgezindheid in afwijzing van manuscript en geen invloed significantie.

Vervolg onderzoek •Worden criteria anders gehanteerd? •Vergelijkend onderzoek naar reviews nu en twintig jaar geleden