Onderzoekscompetenties Vatbaar of glibberig?

Presentatie over: "Onderzoekscompetenties Vatbaar of glibberig?"— Transcript van de presentatie:

1 Onderzoekscompetenties Vatbaar of glibberig?
AVL-Studiedag: Competentiegericht evalueren in het secundair en hoger onderwijs Ellen Claes en Eli Janssen SLO Maatschappijwetenschappen en filosofie, SLO Gedragswetenschappen, Centrum voor Instructiepsychologie en -technologie. 8 februari 2017

2 Inhoud Onderzoek tekenen Conceptualisering onderzoekscompetenties (OC)
Opvattingen over onderzoek Onderzoekcompetenties in ET van het Secundair Onderwijs Aanpak & Evaluatie OVURR evalueren Eigen evaluatiepraktijk kritisch bekijken Korte discussie

3 Opvattingen over onderzoek
Teken het antwoord op volgende vraag: “Wat verstaat u onder onderzoek? (Bruyninckx, 2016)

4 Conceptualisering OC Onderzoekscompetenties
Is een proces waarbij informatie (data) systematisch verzameld, geanalyseerd en geïnterpreteerd wordt om op die manier een beter begrip te krijgen van het fenomeen waarin we geïnteresseerd zijn. (vertaald, Leedy & Ormrod, 2010, p.2).

5 Conceptualisering OC Onderzoekscompetenties
Zijn clusters van kennis, vaardigheden, attituden, persoonlijke eigenschappen en inzichten die verbonden zijn met contextgebonden taken/activiteiten, veranderlijk zijn in de tijd en verworven worden door leer- en ontwikkelingsprocessen. (Van Merriënboer, van der Klink, & Hendriks, 2002)

6 Conceptualisering OC Onderzoekscompetenties Onderzoeksvaardigheden
? Onderzoekende houding ?

7 Conceptualisering OC Onderzoekscompetenties Onderzoeksvaardigheden
Opstellen van een onderzoeksvraag Bronnen evalueren Verzamelen van data Analyseren van data Rapporteren van bevindingen … Onderzoekende houding Nieuwsgierigheid Een open houding Bereid zijn tot perspectiefwissel Kritisch zijn Gerichtheid op bronnen Gebaande paden durven verlaten Willen begrijpen …

8 Opvattingen over onderzoek (Schouteden et al., 2016)
A. Onderzoeksstappen Focus op stappen bij het doen van onderzoek B. Kenmerken van onderzoeksprocessen Opzet en de kwaliteit van onderzoeksprocessen C. Kenmerken van een onderzoeker O.a. de onderzoekende houding

9 Onderzoekscompetenties in het SO
SETOC Humane Wetenschappen De leerlingen kunnen zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken (onderzoek afbakenen); over een gedrags- of cultuurwetenschappelijk vraagstuk, een onderzoeksopdracht voorbereiden, uitvoeren en evalueren (onderzoek uitwerken);  de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten (onderzoek communiceren).

10 Onderzoekscompetenties in het SO
SETOC in Exacte Wetenschappen De leerlingen kunnen zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken; een onderzoeksopdracht met een wetenschappelijke component voorbereiden, uitvoeren en evalueren; de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten.

11 Aanpak OC: OVURR Oriënteren Voorbereiden Uitvoeren Rapporteren Reflecteren V O U R R

12 Onderzoekscompetenties in het SO
SETOC Humane Wetenschappen De leerlingen kunnen zich oriënteren op een onderzoeksprobleem door gericht informatie te verzamelen, te ordenen en te bewerken (onderzoek afbakenen); over een gedrags- of cultuurwetenschappelijk vraagstuk, een onderzoeksopdracht voorbereiden, uitvoeren en evalueren (onderzoek uitwerken); de onderzoeksresultaten en conclusies rapporteren en ze confronteren met andere standpunten (onderzoek communiceren).

13 Leuven OnderzoeksCompetenties-test (LOC-test)
Opstellen OVURR-kader Hands-off vaardigheidstoets Vragen + theoretisch kader (OVURR) bespreken met 7 leerkrachten HW (GW, CW, STW) Vragen herwerken splitsen in pre- en posttest Vragen voorleggen aan 2 x 4 leerlingen in een cognitief interview

14 LOC-test: afname Elke test werd in 14 klassen voorgelegd
Er waren 254 (pre) en 212 (post) respondenten Uitsluitend HW klassen getest Tijd 45 minuten Geen hulp van observator of leerkracht Afwisselend vooraan en achteraan beginnen

15 Aanpak OC: OVURR Oriënteren Voorbereiden Uitvoeren Rapporteren Reflecteren V O U R R

16 Voorbeeldvraag A

17 Voorbeeldvraag B

18 Voorbeeldvraag C Hierachter toevoegen transfervraag!

19 Voorbeeldvraag D

20 Voorbeeldvraag E

21 Voorbeeldvraag F

22 LOC-test: Interpretatie en discussie
Totaal gemiddelde is laag: Beperkte OC’s bij de onderzochte leerlingen HW? Test te moeilijk? Haalbaar volgens Lk’en Oriënteren, rapporteren en reflecteren blijken het moeilijkst Kritisch denken (KD) KD testscores ander onderzoek laag Creatief antwoord bedenken moeilijk Oordeel vellen makkelijker

23 Evaluatie van OC Formatief vs summatief
Performance assessment (Straetmans, 1993) Hands-off (vb. een periodieke cognitieve toets) Simulaties Hands-on Portfolio Logboek Observaties

24 Evaluatie van OC Totaalonderzoek: Mate van voorstructurering
Sterk of beperkt Frequentie evaluatie Eenmalig en/of tussentijds (Stokking & Van der Schaaf, 1999) Onderwerp van evaluatie Proces en/of product (Stokking & Van der Schaaf, 1999) De evaluator Self/Peer/Co-assessment (Vermetten, Daniëls & Ruis, 2004)

25 Zelf aan de slag met OC Reflectie over de eigen praktijk Tekening?
Gebruikte evaluatiemethoden? Kwaliteitscriteria? Hoe evaluatiepraktijk aanpassen?

26 Evaluatie van OC Kwaliteitscriteria: Betrouwbaarheid Validiteit
Begripsvaliditeit Inhoudsvaliditeit Aanvaardbaarheid Transparant Consistent

27 Korte discussie - Wat denk je mee te kunnen nemen naar je eigen evaluatiepraktijk?

28 Referenties Bruyninckx, Y. (2016).Onder de loep: het meten van onderzoekscompetenties in het secundair onderwijs. Een verkenning in de derde graad Humane Wetenschappen [masterproef]. Ongepubliceerd manuscript, KU Leuven, Faculteit Psychologie en Pedagogische Wetenschappen. Bruggink, M., & Harinck, F. (2012). De onderzoekende houding van leraren: wat wordt daaronder verstaan? Tijdschrift voor lerarenopleiders VELON/VELOV, 33(3), 46‐52. Leedy, P. D., Ormrod, J. E. (2010). Practical research: planning and design (9th ed.). Upper Saddle River: Pearson. Schouteden, W., Verburgh, A., & Elen, J. (2016). Teachers' general and contextualised research conceptions. Studies in Higher Education, 41(1), doi: / Stokking, K., & van der Schaaf, M. (1999). Beoordeling van onderzoeksvaardigheden van leerlingen: Richtlijnen, alternatieven en achtergronden. Utrecht: ISOR. Straetmans, G. (1998). Toetsing van competenties. Arnem: CITO. Van Merriënboer, J. J., van der Klink, M. R., & Hendriks, M. (2002). Competenties: Van complicaties tot compromis: Over schuifjes en begrenzers. Den Haag: Onderwijsraad. Vermetten, Y., Daniëls J. & Ruijs L. (2004). Inzet van assessment: Waarom, wat, hoe, wanneer en door 55 wie: Beslismodel voor een beargumenteerde keuze van assessmentvormen in onderwijs en opleiding. Retrieved December 20, 2016, from