Peer review online: wat werkt?

Presentatie over: "Peer review online: wat werkt?"— Transcript van de presentatie:

1 Peer review online: wat werkt?
Janneke van der Hulst Onderwijscentrum VU Ineke van den Berg IVLOS UU

2 Programma Peer review: wat, waarom, hoe?
Keuze voor systemen: selectie-criteria Twee systemen: voorbeelden Evaluaties

3 Wat is peer review Studenten van gelijk niveau
Peer (iemand die je als je gelijke beschouwt)  geen statusverschil, geen (groot) kennisverschil Onderwijsvorm (samenwerkend leren) Peer feedback  er moet genoeg afstand zijn Toetsvorm Peer assessment/evaluation  meestal i.s.m.docent = co-assessment Peer review: overkoepelende term

4 Waarom peer review (1) Leertheorie ‘Peers’ spreken elkaars taal
Tussenstap zelfstandig leren Toepassing criteriaverinnerlijking Actief met de stof bezig zijn diepteverwerking Belang tussentijdse feedback

5 Waarom peer review (2) Praktisch
Schaarse docenttijd (weinig tijd voor feedback) Groter volume aan feedback tijdens leerproces

6 Algemene werkwijze peer review
0. studenten stellen (mede) criteria op, reflecteren op criteria of oefenen zich in het leren beoordelen 1. maken van (concept) product, uitvoeren vaardigheid of samenwerken in groep 2. uitvoeren van peer review adhv criteria 3. evt. verbeteren van product/ vaardigheid/ samenw. 3a. evt. reactie op review, verzoek om toelichting op beoordeling 5. beoordelen van eindproduct/ vaardigheid/ samenwer-king door docent/co-assessment 4. evt. herhaling van peer review op verbeterd product/vaardigheid/samenw. Algemene werkwijze peer review Ad 0. summatief gebruik veronderstelt dat studenten kunnen beoordelen 1. laat studenten aanvankelijk voorbeelden zien van zowel goede (schrijf)producten én bijbehorende goede peer reviews (zgn. modelling examples) stel deze voorbeelden beschikbaar waarbij tevens het probleemoplos/analyseproces helder is voor de student bijv. hoe zit een sterke /minder sterke probleemstelling eruit en waarom? bij herhaalde peer reviews het optreden van beoordelaars-moeheid met verlaging betrouwbaarheid als gevolg 2. Eventueel studenten betrekken bij het opstellen van criteria

7 Best complex… De docent heeft veel keuzemogelijkheden:
Doel: formatief of summatief? Wat: product, vaardigheid, samenwerking? Hoe: wie beoordeelt wie? Anoniem of juist niet? Criteriumgerichte of open feedback? Begeleiden: monitoren of niet? Hamvraag: hoe hou ik het efficient en effectief ???

8 Dus…peer review online
Voordelen o.a. Logistiek Tijd- en plaatsonafhankelijk Tekstgemedieerd: tijd voor reflectie, verbalisatie Archiveerfunctie (ook van de interactie) Gelijkwaardige(r) discussie Monitoring van proces Let wel: je zult wel die ontwerpbeslissingen moeten nemen, dat blijft stap 1.

9 Keuze van systemen Functionele criteria Onderwijskundige criteria
(bron: interviews gebruikers + technische randvoorwaarden en eisen organisatie) Onderwijskundige criteria (bron: literatuurstudie) Relevante thema’s bij selectie peer review systemen Doel: formatief / summatief Wat : bv. schrijfproduct, samenwerking, vaardigheidsdemonstratie Soort peer feedback: Gesloten (schaalvragen, cijfers, ja/nee) Open (toelichting op criteriageleide beoordeling of zonder criteria) Algemeen of specifiek commentaar Interactief of eenzijdig Monitoringsmogelijkheden Gebruikersgemak Beheer: kosten, continuïteit leverancier, etc. (zie

10 Inventarisatie bestaande peer review systemen
Markt is nog weinig stabiel, bijv. direct na de inventarisatie werd bekend dat bij een systeem, MyDropbox, de peer review functie zou vervallen. Verschillen tussen programma’s, afhankelijk van visie op het peer review proces. Anders gezegd: verschillende systemen bieden oplossingen voor uiteenlopende problemen. Aantal onderwijskundige eisen bleken niet of nauwelijks aanwezig te zijn in de systemen: Mogelijkheid voor reactie / beoordeling op kwaliteit van de feedback (slechts bij enkele systemen) Ontbreken van revisieloops met dezelfde reviewers Mogelijkheid om criteria door / met studenten op te stellen Veelal gericht op individuele beoordeling (zodat bijv. cijfers of feedback alleen voor degene die heeft ingeleverd te zien is). Op dit moment nog geen integratie in standaard digitale leeromgeving. Dus: niet mogelijk om te zeggen ‘dit systeem is het beste’.

11 Keuze VU Turnitin Wensen uit interviews: Schrijfproducten
Formatieve en summatieve inzet Kwalitatieve en kwantitatieve feedback Bruikbaar in grote groepen Turnitin

12 Keuze UU Wensen uit interviews: Annotatiesysteem Schrijfproducten
Formatieve inzet Kwalitatieve feedback Interactie over feedback belangrijk Annotatiesysteem

13 Voorbeeld1 (Turnitin) www.turnitin.com
Demonstratie Turnitin in cursus `Qualitative Research Methods’ Wat, waarom, hoe van peer review.. Formatief, beoordelingscriteria leren hanteren 3 Individuele opdrachten 2 Reviewers per opdracht Anoniem Criteriageleide kwalitatieve feedback

14 Turnitin

15

16

17

18 Voorbeeld: Qualitative Research Methods

19

20

21

22 Voorbeeld 2 (Annotatiesysteem)
Wat, waarom, hoe van peer review.. Formatief Schrijfproduct Groepen van 3 Niet-anoniem Criteriageleide kwalitatieve feedback Demonstratie annotatiesysteem in cursus BMW

23 Het Annotatiesysteem Wat is het? Hoe werkt het? feedback in context
Jakko van der Pol Wat is het? feedback in context specifiek betere verwerking efficiente communicatie door minder coordinatie interactie feedbackgever(s)-ontvanger toelichting op feedback vergroot leereffect rating feedback motiveert feedbackgever Hoe werkt het? Webgebaseerd Log in procedure Scherm: tekst en discussiedraad

24 Voorbeeld Biomedische wetenschap( F-S-Gr3-nA-Cr)
Opzet peer review: F= formatief S= schrijfprodukt Gr3= groepsprodukt van 3 studenten nA=niet anoniem Cr= criteriumgericht

25

26 Evaluatie van gebruik computer
Studenten Positief over het geven en krijgen van online peer feedback (av. 3,0 - 4,0) >80% zou vaker met peer review willen werken, maar… Docent feedback blijft nodig Meer face-to-face discussie gewenst om peer feedback toe te lichten (Turnitin) (Meer) tijd om peer feedback te verwerken Docenten Proces is beter te volgen, maar…. Kwaliteit van de peer feedback moet beter Aanbevelingen Peer review is uitstekend online te ondersteunen Blended learning: online en face-to-face bijeenkomsten versterken elkaar

27 Feedback kwaliteit Uitkomsten evaluatie (in beide systemen) Docenten
Varieert sterk Meer tijd besteden aan monitoring en training studenten Duidelijker criteria opstellen Studenten Veel vertrouwen in eigen feedbackkwaliteiten Kritisch t.a.v. de ontvangen feedback Aanbeveling Neem tijd voor instructie aan studenten en docenten (hoe geef je goede feedback? Hoe monitoren?) Besteed tussentijds regelmatig aandacht aan de kwaliteit van de peer feedback Observation of some lecturers: Good students give good feedback – tend to focus on content, whereas less good students get more in correcting mode e.g correctioin of spelling mistakes. Students expressed high confidence in own ability indepedent of study year or course design Reserve time for discussing criteria, discuss examples of good and poor feedback; always have a practice run before a real review assigment

28 Kortom: Goede begeleiding bij peer review is van groot belang, maar hoe doe je dat? Kwaliteit van peer feedback is zorgenkindje Tips: implementatie draaiboek

29 Conclusie Twee goed functionerende systemen, keuze afhankelijk van wensen Online peer review is stap vooruit in organiseren van het proces en begeleiden

30 Meer info www.proof-project.nl Emailadressen: b.a.m.vandenberg@uu.nl