Onderzoekscompetenties Vatbaar of glibberig? AVL-Studiedag: Competentiegericht evalueren in het secundair en hoger onderwijs Ellen Claes en Eli Janssen SLO Maatschappijwetenschappen en filosofie, SLO Gedragswetenschappen, Centrum voor Instructiepsychologie en -technologie. 8 februari 2017

Inhoud Onderzoek tekenen Conceptualisering onderzoekscompetenties (OC) Opvattingen over onderzoek Onderzoekcompetenties in ET van het Secundair Onderwijs Aanpak & Evaluatie OVURR evalueren Eigen evaluatiepraktijk kritisch bekijken Korte discussie

Opvattingen over onderzoek Teken het antwoord op volgende vraag: “Wat verstaat u onder onderzoek? (Bruyninckx, 2016)

Conceptualisering OC Onderzoekscompetenties Is een proces waarbij informatie (data) systematisch verzameld, geanalyseerd en geïnterpreteerd wordt om op die manier een beter begrip te krijgen van het fenomeen waarin we geïnteresseerd zijn. (vertaald, Leedy & Ormrod, 2010, p.2).

Conceptualisering OC Onderzoekscompetenties Zijn clusters van kennis, vaardigheden, attituden, persoonlijke eigenschappen en inzichten die verbonden zijn met contextgebonden taken/activiteiten, veranderlijk zijn in de tijd en verworven worden door leer- en ontwikkelingsprocessen. (Van Merriënboer, van der Klink, & Hendriks, 2002)

Conceptualisering OC Onderzoekscompetenties Onderzoeksvaardigheden ? Onderzoekende houding ?

Conceptualisering OC Onderzoekscompetenties Onderzoeksvaardigheden Opstellen van een onderzoeksvraag Bronnen evalueren Verzamelen van data Analyseren van data Rapporteren van bevindingen … Onderzoekende houding Nieuwsgierigheid Een open houding Bereid zijn tot perspectiefwissel Kritisch zijn Gerichtheid op bronnen Gebaande paden durven verlaten Willen begrijpen …

Opvattingen over onderzoek (Schouteden et al., 2016) A. Onderzoeksstappen Focus op stappen bij het doen van onderzoek B. Kenmerken van onderzoeksprocessen Opzet en de kwaliteit van onderzoeksprocessen C. Kenmerken van een onderzoeker O.a. de onderzoekende houding

Onderzoekscompetenties in het SO SETOC Humane Wetenschappen De leerlingen kunnen zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken (onderzoek afbakenen); over een gedrags- of cultuurwetenschappelijk vraagstuk, een onderzoeksopdracht voorbereiden, uitvoeren en evalueren (onderzoek uitwerken);  de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten (onderzoek communiceren).

Onderzoekscompetenties in het SO SETOC in Exacte Wetenschappen De leerlingen kunnen zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken; een onderzoeksopdracht met een wetenschappelijke component voorbereiden, uitvoeren en evalueren; de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten.

Aanpak OC: OVURR Oriënteren Voorbereiden Uitvoeren Rapporteren Reflecteren V O U R R

Onderzoekscompetenties in het SO SETOC Humane Wetenschappen De leerlingen kunnen zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken (onderzoek afbakenen); over een gedrags- of cultuurwetenschappelijk vraagstuk, een onderzoeksopdracht voorbereiden, uitvoeren en evalueren (onderzoek uitwerken); de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten (onderzoek communiceren).

Leuven OnderzoeksCompetenties-test (LOC-test) Opstellen OVURR-kader Hands-off vaardigheidstoets Vragen + theoretisch kader (OVURR) bespreken met 7 leerkrachten HW (GW, CW, STW) Vragen herwerken splitsen in pre- en posttest Vragen voorleggen aan 2 x 4 leerlingen in een cognitief interview

LOC-test: afname Elke test werd in 14 klassen voorgelegd Er waren 254 (pre) en 212 (post) respondenten Uitsluitend HW klassen getest Tijd 45 minuten Geen hulp van observator of leerkracht Afwisselend vooraan en achteraan beginnen

Aanpak OC: OVURR Oriënteren Voorbereiden Uitvoeren Rapporteren Reflecteren V O U R R

Voorbeeldvraag A

Voorbeeldvraag B

Voorbeeldvraag C Hierachter toevoegen transfervraag!

Voorbeeldvraag D

Voorbeeldvraag E

Voorbeeldvraag F

LOC-test: Interpretatie en discussie Totaal gemiddelde is laag: Beperkte OC’s bij de onderzochte leerlingen HW? Test te moeilijk? Haalbaar volgens Lk’en Oriënteren, rapporteren en reflecteren blijken het moeilijkst Kritisch denken (KD) KD testscores ander onderzoek laag Creatief antwoord bedenken moeilijk Oordeel vellen makkelijker

Evaluatie van OC Formatief vs summatief Performance assessment (Straetmans, 1993) Hands-off (vb. een periodieke cognitieve toets) Simulaties Hands-on Portfolio Logboek Observaties

Evaluatie van OC Totaalonderzoek: Mate van voorstructurering Sterk of beperkt Frequentie evaluatie Eenmalig en/of tussentijds (Stokking & Van der Schaaf, 1999) Onderwerp van evaluatie Proces en/of product (Stokking & Van der Schaaf, 1999) De evaluator Self/Peer/Co-assessment (Vermetten, Daniëls & Ruis, 2004)

Zelf aan de slag met OC Reflectie over de eigen praktijk Tekening? Gebruikte evaluatiemethoden? Kwaliteitscriteria? Hoe evaluatiepraktijk aanpassen?

Evaluatie van OC Kwaliteitscriteria: Betrouwbaarheid Validiteit Begripsvaliditeit Inhoudsvaliditeit Aanvaardbaarheid Transparant Consistent

Korte discussie - Wat denk je mee te kunnen nemen naar je eigen evaluatiepraktijk?

Referenties Bruyninckx, Y. (2016).Onder de loep: het meten van onderzoekscompetenties in het secundair onderwijs. Een verkenning in de derde graad Humane Wetenschappen [masterproef]. Ongepubliceerd manuscript, KU Leuven, Faculteit Psychologie en Pedagogische Wetenschappen. Bruggink, M., & Harinck, F. (2012). De onderzoekende houding van leraren: wat wordt daaronder verstaan? Tijdschrift voor lerarenopleiders VELON/VELOV, 33(3), 46‐52. Leedy, P. D., Ormrod, J. E. (2010). Practical research: planning and design (9th ed.). Upper Saddle River: Pearson. Schouteden, W., Verburgh, A., & Elen, J. (2016). Teachers' general and contextualised research conceptions. Studies in Higher Education, 41(1), 79-94. doi: 10.1080/03075079.2014.914915 Stokking, K., & van der Schaaf, M. (1999). Beoordeling van onderzoeksvaardigheden van leerlingen: Richtlijnen, alternatieven en achtergronden. Utrecht: ISOR. Straetmans, G. (1998). Toetsing van competenties. Arnem: CITO. Van Merriënboer, J. J., van der Klink, M. R., & Hendriks, M. (2002). Competenties: Van complicaties tot compromis: Over schuifjes en begrenzers. Den Haag: Onderwijsraad. Vermetten, Y., Daniëls J. & Ruijs L. (2004). Inzet van assessment: Waarom, wat, hoe, wanneer en door 55 wie: Beslismodel voor een beargumenteerde keuze van assessmentvormen in onderwijs en opleiding. Retrieved December 20, 2016, from http://dspace.ou.nl/retrieve/257/Inzet+van+Assessment.pdf