Enkele Determinanten van Peer Review Presentatie werkstuk Geert Wissink Universiteit van Amsterdam, 13 januari 2003.

Presentatie over: "Enkele Determinanten van Peer Review Presentatie werkstuk Geert Wissink Universiteit van Amsterdam, 13 januari 2003."— Transcript van de presentatie:

1 Enkele Determinanten van Peer Review Presentatie werkstuk Geert Wissink Universiteit van Amsterdam, 13 januari 2003

2 Enkele Determinanten van Peer Review Geert Wissink Supervisie Drs. Maarten Speekenbrink Prof. Dr. Johan Hoogstraten

3 Onderzoek Welke eigenschappen van een manuscript zijn van belang bij de beoordeling van het manuscript?

4 Achtergrond •Publiceren erg belangrijk voor wetenschap en wetenschappers •Impact factor belangrijke maat voor status tijdschrift •Geen verband tussen impactfactor en kwaliteit artikel (Hoogstraten & Van Wijk, 1998)

5 Achtergrond •Meeste tijdschriften hanteren peer review met 2 of 3 reviewers •Lage betrouwbaarheid tussen reviewers

6 Factoren die van invloed zijn op beoordeling Gottfredson (1978) 1. De Don’ts 2 Inhoudelijke Do’s 3. Stylistische Do’s 4. Originaliteit 5. Trivialiteit 6. Suggesties voor verder onderzoek 7. Beschrijving van de data 8. Aha-onderzoek 9. Grootte van het probleem

7 Factoren die van invloed zijn op beoordeling •Gilliland & Cortina (1997) –Geschiktheid researchdesign –Operationalisatie van constructen –Theoretische ontwikkeling

8 Factoren die van invloed zijn op beoordeling •Mahoney (1977) –Experimentele uitkomst van invloed op oordeel –Lage interbetrouwbaarheid •Rowney en Zenisek (1980) –Reputatie auteur –Significantie resultaten –Replicatieonderzoek minder waardevol •Hoogstraten & Jacobs (1981) –Twee versies manuscript aangeboden, meer nadruk op theorie en meer nadruk op methoden

9 Vraagstelling 1 In hoeverre wordt de beoordeling van een wetenschappelijk manuscript beïnvloed door het al dan niet aanwezig zijn van significante resultaten?

10 Perceptie •Toepassen objectieve criteria gebeurt vaak subjectief •Perceptie van het oordeel van anderen betrouwbaardere maat?

11 Vraagstelling 2 & 3 •Wat is de perceptie van het oordeel van andere proefpersonen? •Welke eigenschappen zijn van invloed op het oordeel over kwaliteit en publiceerbaarheid?

12 Hypotheses 1.Effect significantie: Niet-significant manuscript zal negatiever worden beoordeeld dan significant manuscript 2.Perceptie: Perceptie van het oordeel van anderen vertoont minder spreiding en is milder dan eigen oordeel Exploratief bekijken we welke eigenschappen van het manuscript van invloed zijn op beoordeling

13 METHODE

14 Onafhankelijke variabele Artikel “Pretesting as Determinant of Attitude Change in Evaluation Research” (Hoogstraten, 1979) •Versie met significante resultaten die hypotheses bevestigen •Versie zonder significante resultaten

15 Afhankelijke variabelen •Waardering voor het manuscript –Voorbeeld vraag methoden: De opzet van het onderzoek (design) geeft in voldoende mate de mogelijkheid tot beantwoording van de vraagstelling •Mate van publiceerbaarheid •Perceptie van het oordeel van anderen

16 Onderzoeksdesign Niet-significante conditie Significante conditie Studenten N=32N=33 Wetenschappers N=15N=18

17 Proefpersonen Groep 1: 65 eerstejaars studenten Gemiddelde leeftijd M (sd) Sexe % (aantal) vrouw Sexe % (aantal) man Niet-significante conditie (n=32 ) 20.77 (0.49) 62.5 % (20)37.5 % (12) Significante conditie (n= 33 ) 20.50 (0.61) 87.9 % (29)12.1 % (4)

18 Proefpersonen Groep 2: 33 wetenschappers Gemiddelde leeftijd M (sd) Sexe % (aantal) vrouw Sexe % (aantal) man Niet-significante conditie (n=15 ) 34.26 (13.78) 60 % (9)40 % (6) Significante conditie (n= 18 ) 37.78 (14.48) 27.8 % (5)72.2 % (13)

19 Resultaten

20 Betrouwbaarheid vragenlijst •Cronbachs alpha –tussen 0.60 (studenten) en 0.83 (wetenschappers)

21 Resultaten Studenten (n=65) Niet-significant M (SD) Significant M (SD) Waardering voor manuscript 3.24 (0.47)3.36 (0.36 Mate van publiceerbaarheid 2.66 (0.79)2.79 (0.55) Perceptie van het oordeel van anderen 3.30 (0.38)3.38 (0.38)

22 Resultaten Wetenschappers (n=33) Niet-significant M (SD) Significant M (SD) Waardering voor manuscript 2.93 (0.54)3.02 (0.59) Mate van publiceerbaarheid 1.93 (0.88)2.22 (0.65) Perceptie van het oordeel van anderen 3.03 (0.57)3.00 (0.55)

23 Beantwoording vraag 1. Effect significantie Verschil tussen condities –Geen verschil in beoordeling significant en niet-significant manuscript binnen groep studenten en binnen de groep wetenschappers

24 Beantwoording vraag 1. Effect significantie Wel verschil tussen groepen –Wetenschappers beoordelen manuscript negatiever op alle drie afhankelijke variabelen: waardering, publiceerbaarheid en perceptie van het oordeel van anderen.

25 Beantwoording vraag 2. Perceptie •Alleen verschil bij groep studenten op publiceerbaarheid. Hogere score voor perceptie dan voor eigen mening •Op item-niveau –Studenten: hogere scores op schrijfstijl en kwaliteit voor perceptie vragen –Wetenschappers: hogere score op schrijfstijl voor perceptie vraag.

26 Beantwoording vraag 3. Eigenschappen manuscript •Hoge correlaties tussen afhankelijke variabelen binnen groepen

27 Beantwoording vraag 3. Eigenschappen manuscript Studenten •B ij afwezigheid van significante resultaten zijn de algemene eigenschappen schrijfstijl en originaliteit van belang voor oordeel op publiceerbaarheid •Bij significante resultaten is de uiteindelijke beoordeling meer afhankelijk van de beschrijving van het onderzoeksdesign

28 Beantwoording vraag 3. Eigenschappen manuscript Wetenschappers •Theoretische inbedding van het manuscript en de mate van originaliteit bepaalt voor een groot deel eindoordeel op kwaliteit •Schrijfstijl is van invloed op publiceerbaarheid

29 Exitvragen Effect van leeftijd •Studenten: hoe ouder hoe negatiever •Wetenschappers: hoe ouder hoe milder

30 Discussie

31 •Geen effect significantie –Goed nieuws! •Groepsverschil studenten wetenschappers –Eerstejaars studenten minder kritisch, mogelijk sneller onder de indruk van een artikel

32 Discussie Perceptie –Score op perceptie van het oordeel van anderen alleen hoger voor publiceerbaarheid bij studenten –Vragen werden als lastig beschouwd –Perceptie geen meerwaarde voor oordeel

33 Discussie Methodologische aspecten onderzoek –Recenter artikel met meer grafieken –Coverstory vanuit tijdschriftredactie meer impact, beter voor manipulatie

34 Discussie Proefpersonen –Makkelijk studenten te werven –Zeer lastig wetenschappers bereid te vinden mee te werken

35 Conclusie •Wetenschappers doen het goed in dit onderzoek in tegenstelling tot eerder onderzoek. Sterke eensgezindheid in afwijzing van manuscript en geen invloed significantie.

36 Vervolg onderzoek •Worden criteria anders gehanteerd? •Vergelijkend onderzoek naar reviews nu en twintig jaar geleden