Peer review online: wat werkt? Janneke van der Hulst Onderwijscentrum VU j.vanderhulst@ond.vu.nl Ineke van den Berg IVLOS UU b.a.m.vandenberg@uu.nl

Programma Peer review: wat, waarom, hoe? Keuze voor systemen: selectie-criteria Twee systemen: voorbeelden Evaluaties

Wat is peer review Studenten van gelijk niveau Peer (iemand die je als je gelijke beschouwt)  geen statusverschil, geen (groot) kennisverschil Onderwijsvorm (samenwerkend leren) Peer feedback  er moet genoeg afstand zijn Toetsvorm Peer assessment/evaluation  meestal i.s.m.docent = co-assessment Peer review: overkoepelende term

Waarom peer review (1) Leertheorie ‘Peers’ spreken elkaars taal Tussenstap zelfstandig leren Toepassing criteriaverinnerlijking Actief met de stof bezig zijn diepteverwerking Belang tussentijdse feedback

Waarom peer review (2) Praktisch Schaarse docenttijd (weinig tijd voor feedback) Groter volume aan feedback tijdens leerproces

Algemene werkwijze peer review 0. studenten stellen (mede) criteria op, reflecteren op criteria of oefenen zich in het leren beoordelen 1. maken van (concept) product, uitvoeren vaardigheid of samenwerken in groep 2. uitvoeren van peer review adhv criteria 3. evt. verbeteren van product/ vaardigheid/ samenw. 3a. evt. reactie op review, verzoek om toelichting op beoordeling 5. beoordelen van eindproduct/ vaardigheid/ samenwer-king door docent/co-assessment 4. evt. herhaling van peer review op verbeterd product/vaardigheid/samenw. Algemene werkwijze peer review Ad 0. summatief gebruik veronderstelt dat studenten kunnen beoordelen 1. laat studenten aanvankelijk voorbeelden zien van zowel goede (schrijf)producten én bijbehorende goede peer reviews (zgn. modelling examples) stel deze voorbeelden beschikbaar waarbij tevens het probleemoplos/analyseproces helder is voor de student bijv. hoe zit een sterke /minder sterke probleemstelling eruit en waarom? bij herhaalde peer reviews het optreden van beoordelaars-moeheid met verlaging betrouwbaarheid als gevolg 2. Eventueel studenten betrekken bij het opstellen van criteria

Best complex… De docent heeft veel keuzemogelijkheden: Doel: formatief of summatief? Wat: product, vaardigheid, samenwerking? Hoe: wie beoordeelt wie? Anoniem of juist niet? Criteriumgerichte of open feedback? Begeleiden: monitoren of niet? Hamvraag: hoe hou ik het efficient en effectief ???

Dus…peer review online Voordelen o.a. Logistiek Tijd- en plaatsonafhankelijk Tekstgemedieerd: tijd voor reflectie, verbalisatie Archiveerfunctie (ook van de interactie) Gelijkwaardige(r) discussie Monitoring van proces Let wel: je zult wel die ontwerpbeslissingen moeten nemen, dat blijft stap 1.

Keuze van systemen Functionele criteria Onderwijskundige criteria (bron: interviews gebruikers + technische randvoorwaarden en eisen organisatie) Onderwijskundige criteria (bron: literatuurstudie) Relevante thema’s bij selectie peer review systemen Doel: formatief / summatief Wat : bv. schrijfproduct, samenwerking, vaardigheidsdemonstratie Soort peer feedback: Gesloten (schaalvragen, cijfers, ja/nee) Open (toelichting op criteriageleide beoordeling of zonder criteria) Algemeen of specifiek commentaar Interactief of eenzijdig Monitoringsmogelijkheden Gebruikersgemak Beheer: kosten, continuïteit leverancier, etc. (zie www.proof-project.nl)

Inventarisatie bestaande peer review systemen Markt is nog weinig stabiel, bijv. direct na de inventarisatie werd bekend dat bij een systeem, MyDropbox, de peer review functie zou vervallen. Verschillen tussen programma’s, afhankelijk van visie op het peer review proces. Anders gezegd: verschillende systemen bieden oplossingen voor uiteenlopende problemen. Aantal onderwijskundige eisen bleken niet of nauwelijks aanwezig te zijn in de systemen: Mogelijkheid voor reactie / beoordeling op kwaliteit van de feedback (slechts bij enkele systemen) Ontbreken van revisieloops met dezelfde reviewers Mogelijkheid om criteria door / met studenten op te stellen Veelal gericht op individuele beoordeling (zodat bijv. cijfers of feedback alleen voor degene die heeft ingeleverd te zien is). Op dit moment nog geen integratie in standaard digitale leeromgeving. Dus: niet mogelijk om te zeggen ‘dit systeem is het beste’.

Keuze VU Turnitin Wensen uit interviews: Schrijfproducten Formatieve en summatieve inzet Kwalitatieve en kwantitatieve feedback Bruikbaar in grote groepen Turnitin

Keuze UU Wensen uit interviews: Annotatiesysteem Schrijfproducten Formatieve inzet Kwalitatieve feedback Interactie over feedback belangrijk Annotatiesysteem

Voorbeeld1 (Turnitin) www.turnitin.com Demonstratie Turnitin in cursus `Qualitative Research Methods’ Wat, waarom, hoe van peer review.. Formatief, beoordelingscriteria leren hanteren 3 Individuele opdrachten 2 Reviewers per opdracht Anoniem Criteriageleide kwalitatieve feedback

Turnitin

Voorbeeld: Qualitative Research Methods

Voorbeeld 2 (Annotatiesysteem) www.annotatiesysteem.nl Wat, waarom, hoe van peer review.. Formatief Schrijfproduct Groepen van 3 Niet-anoniem Criteriageleide kwalitatieve feedback Demonstratie annotatiesysteem in cursus BMW http://www.annotatiesysteem.nl/index.php?m=document.view&id=1578

Het Annotatiesysteem Wat is het? Hoe werkt het? feedback in context Jakko van der Pol Wat is het? feedback in context specifiek betere verwerking efficiente communicatie door minder coordinatie interactie feedbackgever(s)-ontvanger toelichting op feedback vergroot leereffect rating feedback motiveert feedbackgever Hoe werkt het? Webgebaseerd Log in procedure Scherm: tekst en discussiedraad j.vanderpol1@uu.nl

Voorbeeld Biomedische wetenschap( F-S-Gr3-nA-Cr) http://www.annotatiesysteem.nl/index.php?m=document.view&id=1578 Opzet peer review: F= formatief S= schrijfprodukt Gr3= groepsprodukt van 3 studenten nA=niet anoniem Cr= criteriumgericht

Evaluatie van gebruik computer Studenten Positief over het geven en krijgen van online peer feedback (av. 3,0 - 4,0) >80% zou vaker met peer review willen werken, maar… Docent feedback blijft nodig Meer face-to-face discussie gewenst om peer feedback toe te lichten (Turnitin) (Meer) tijd om peer feedback te verwerken Docenten Proces is beter te volgen, maar…. Kwaliteit van de peer feedback moet beter Aanbevelingen Peer review is uitstekend online te ondersteunen Blended learning: online en face-to-face bijeenkomsten versterken elkaar

Feedback kwaliteit Uitkomsten evaluatie (in beide systemen) Docenten Varieert sterk Meer tijd besteden aan monitoring en training studenten Duidelijker criteria opstellen Studenten Veel vertrouwen in eigen feedbackkwaliteiten Kritisch t.a.v. de ontvangen feedback Aanbeveling Neem tijd voor instructie aan studenten en docenten (hoe geef je goede feedback? Hoe monitoren?) Besteed tussentijds regelmatig aandacht aan de kwaliteit van de peer feedback Observation of some lecturers: Good students give good feedback – tend to focus on content, whereas less good students get more in correcting mode e.g correctioin of spelling mistakes. Students expressed high confidence in own ability indepedent of study year or course design Reserve time for discussing criteria, discuss examples of good and poor feedback; always have a practice run before a real review assigment

Kortom: Goede begeleiding bij peer review is van groot belang, maar hoe doe je dat? Kwaliteit van peer feedback is zorgenkindje Tips: implementatie draaiboek

Conclusie Twee goed functionerende systemen, keuze afhankelijk van wensen Online peer review is stap vooruit in organiseren van het proces en begeleiden

Meer info www.proof-project.nl Emailadressen: b.a.m.vandenberg@uu.nl j.vanderhulst@ond.vu.nl