De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Examinering in het hbo en de rol van eindwerkstukken Toetsconferentie 2014 Tilburg 11 november 2014 Dr. Daan Andriessen Lector Methodologie van Praktijkgericht.

Verwante presentaties


Presentatie over: "Examinering in het hbo en de rol van eindwerkstukken Toetsconferentie 2014 Tilburg 11 november 2014 Dr. Daan Andriessen Lector Methodologie van Praktijkgericht."— Transcript van de presentatie:

1 Examinering in het hbo en de rol van eindwerkstukken Toetsconferentie 2014 Tilburg 11 november 2014 Dr. Daan Andriessen Lector Methodologie van Praktijkgericht Onderzoek Hogeschool Utrecht

2 Agenda 1. Aanleiding Expertgroep Protocol 2. Model voor examinering in het hbo 3. Mogelijkheden tot protocoleren 4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO 5. Ontwikkelen van goede beoordelingsmodellen 6. De eis van onderzoekend vermogen 7. De rol van onderzoekend vermogen in beroepsonderwijs 8. Eisen aan het niveau van onderzoekend vermogen

3 1. Aanleiding Expertgroep Protocol Naar een alternatief voor landelijke examens

4 Motie Beertema (27/3/2012) n De Kamer, verzoekt de regering, per opleiding of cluster van opleidingen samen met het bedrijfsleven of betrokken werkveld kernvakken te laten vaststellen, landelijke eindtermen te bepalen voor de kenniscomponent van deze kernvakken en die te examineren via landelijke toetsing die onafhankelijk wordt geborgd, n en gaat over tot de orde van de dag.

5 Vreemde Ogen Dwingen (mei 2012) n Voordelen landelijk examen wegen niet op tegen nadelen n Overgenomen aanbevelingen: 1. Externe validering van toetsen via pilots met gemeenschappelijk toetsen 2. Externe validering via certificering van examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE). 3. Duurzame kennisuitwisseling 4. Externe validering van eindwerkstukken door een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken.

6 Opdracht Expertgroep Protocol n “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”

7 Samenstelling Expertgroep Protocol Daan Andriessen (voorzitter) Hogeschool Utrecht Petra Manders (secretaris) Saxion Dan Greve Hogeschool Utrecht Peter Hermans Cito / Artez Linda Jakobs Hogeschool Arnhem Nijmegen Lucie te Lintelo Hogeschool van Amsterdam Karin Neijenhuis Hogeschool Rotterdam Gerard Straetmans Cito / Saxion

8 2. Model voor examinering in het hbo Afstuderen in het hbo is veel meer dan het schrijven van een werkstuk

9 Afstudeerprogramma Prestatie(s) moet blijken uit Beroepsbekwaamheid Eindkwalificaties verwoord in Principes van afstuderen

10 Prestaties in het hbo zijn beroepsproducten 1. Advies 2. Ontwerp 3. Eindproduct 4. Handeling 5. Onderzoek Mogelijke oplossing of een plan Verbeelding van een eindproduct Fysiek of digitale uitwerking van een ontwerp Professioneel gedrag naar cliënt of publiek Antwoorden en conclusies Organisatie­ advies Pedagogisch advies Financieel advies Bouwontwerp Bestemmings- plan Ondernemings- plan Schilderij ICT applicatie Apparaat Film Journalistiek tekst Les geven Voorstelling geven Hulp verlenen Verplegen Therapie geven Leiding geven Ondernemen Archeologisch rapport Laboratorium rapport Forensisch rapport (Naar Losse, 2012)

11 Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie(s) moet blijken uit Beroepsbekwaamheid Eindkwalificaties verwoord in Principes van afstuderen

12 Beroepsopdrachten in het hbo zijn zoveel mogelijk: n Authentiek: n Authentieke taak n Authentieke omstandigheden n Representatief: n Complexiteit (cognitief en context) n Zelfstandigheid

13 Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie(s) moet blijken uit Examinatoren beoordeeld door Beroepsbekwaamheid Eindkwalificaties verwoord in Principes van afstuderen

14 Examinator is deskundig n Examinator is deskundig op: n De te beoordelen bekwaamheid n Het beoordelingsproces n Beoordelen is mensenwerk!

15 Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie(s) moet blijken uit Examinatoren beoordeeld door Beroepsbekwaamheid Eindkwalificaties verwoord in Beoordelingsmodel(len) Prestatiecriteria en beoordelings- schalen geoperationaliseerd in helpen de Principes van afstuderen

16 Beoordelingsmodel ondersteunt de examinator n Beoordelingsmodel helpt bij beoordelen van: n Kwaliteit beroepsproduct n Kwaliteit verantwoordingsverslag n Kwaliteit van het proces n Beoordelingsmodel bevat: n Prestatiecriteria n Beoordelingsschalen n Beslisregels n Beoordelingsmodel is: n Valide n Inzichtelijk n En draagt bij aan betrouwbaarheid beoordeling

17 Afstudeerprogramma Beroeps- opdracht (en) leiden tot Prestatie(s) moet blijken uit leidt tot conclusie over Examinatoren beoordeeld door Beroepsbekwaamheid Eindkwalificaties verwoord in Beoordelingsmodel(len) Prestatiecriteria en beoordelings- schalen geoperationaliseerd in helpen de Principes van afstuderen Beslissings- procedure(s) bepalen scores

18 3. Mogelijkheden tot protocoleren Niet alles kan landelijk worden afgesproken

19 Vier niveaus in hbo n Niveau 1:Alle opleidingen van alle instellingen; n Niveau 2:Alle opleidingen met hetzelfde opleidingprofiel n Niveau 3:Beperkt aantal opleidingen met hetzelfde opleidingprofiel n Niveau 4:Binnen één instelling.

20 Mogelijk en wenselijk Niveau 1: landelijk Wel n Gestandaardiseerde wijze van verslaglegging over het afstudeer- programma als geheel n Betekenis en minimumeisen Onderzoekend Vermogen Niet n Eén beoordelingsmodel voor afstudeerprestaties

21 Mogelijk en wenselijk Niveau 2: per opleidingsprofiel Wel n Body of knowledge & skills Onderzoekend Vermogen n Gezamenlijk reviewen van de afstudeer- programma’s Niet n Eén beoordelingsmodel voor afstudeerprestaties (tenzij de opleidingen dezelfde eindkwalificaties én afstudeerprogramma hebben)

22 Mogelijk en wenselijk Niveau 3: groep verwante opleidingen Wel n Gezamenlijke invulling van (delen van) het afstuderen n Gezamenlijk beoordelingsmodel per afstudeerprestatie n Inzetten van waarnemers en examinatoren n Gezamenlijk reviewen van afstudeer- programma’s Niet

23 Mogelijk en wenselijk Niveau 4: binnen één hogeschool Wel n Reviewen van afstudeerprogramma’s door collega’s of het werkveld Niet n Gezamenlijk beoordelingsmodel per afstudeerprestatie

24 4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO Protocol als middel voor systematische kwaliteitszorg en externe validering van afstuderen

25 Doel van het protocol n Opleidingen in het hbo helpen samen werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3/16 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn. 1. Duidelijkheid scheppen over terminologie en inrichting van het afstuderen. 2. Een kader scheppen voor gezamenlijk leren en verbeteren. 3. Een kader scheppen voor borging en verantwoording.

26 Opzet van het protocol n Een opsomming van 12 vragen over het afstudeer- programma waar een opleiding een goed antwoord op moet hebben om een goede beoordelings- en beslissingskwaliteit in het afstuderen te garanderen. n In een verantwoording van het afstudeerprogramma beschrijft en verantwoordt de opleiding de antwoorden. n Vragen zijn afgeleid van n Standaard 1 en standaard 3/16 van de NVAO en de relatie tussen beide n Theorie over toetsen n Eis van onderzoekend vermogen

27 Inhoud van het protocol (1) n Eindkwalificaties 1. Weerspiegelen de eindkwalificaties van de opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau? 2. Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties? 3. Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?

28 Inhoud van het protocol (2) n Beroepsopdrachten 4. Zijn de beroepsopdrachten die studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties? 5. Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?

29 Inhoud van het protocol (3) n Beoordeling 6. Waarborgt de opleiding dat elke examinator bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen? 7. Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren? 8. Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren? 9. Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?

30 Inhoud van het protocol (4) n Randvoorwaarden 10. Zorgt de opleiding ervoor dat het afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden? n Verantwoording en ontwikkeling kwaliteit 11. Geeft de opleiding invulling aan het ‘vreemde ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen? 12. Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?

31 5. Ontwikkelen van goede beoordelingsmodellen Balanceren tussen analytisch en holistisch beoordelen

32 Stappen bij beoordelen 1 Prestatie van de student 2 Vergelijking prestatie met een standaard 3 Score op een zinvolle beoordelingsschaal 4 Combineren van scores tot beslissing en cijfer

33 Twee vormen van beoordelen Analytisch beoordelen n De perfecte prestatie wordt uiteengelegd in groot aantal concreet observeerbare aspecten n Van de geleverde prestatie wordt gechecked (j/n) of deze de observeerbare aspecten bezit n De beoordeling komt to stand door de scores (al dan niet gewogen) op te tellen Holistisch beoordelen n Examinator beoordeelt de prestatie in zijn totaliteit zonder eerst aspecten te wegen n Oordeel wordt onderbouwd met beoordelingscriteria

34 Beide vormen kennen nadelen Analytisch beoordelen n Heeft opdrijvend effect op hoe hoog de lat ligt (‘op elke slak zout leggen’) n Risico dat het geheel van de prestatie (en daarmee van de student) uit het zicht verdwijnt n Risico is dat beoordelaars hun scores aanpassen aan de indruk die ze voorafgaand op holistische wijze hebben gevormd n Geen ruimte om aspecten mee te wegen die niet vooraf zijn geformuleerd Holistisch beoordelen n Veronderstelling is dat beoordelingscriteria sterk samenhangen (iemand is goed in A en dan waarschijnlijk ook in B) n Stelt hoge eisen aan kwaliteit van de examinator n Is moeilijker navolgbaar / transparant te maken n Grotere kans op lage betrouwbaarheid

35 Zoeken naar een goede middenweg 1. Criteria die zijn afgeleid van de te toetsen eindtermen 2. Criteria die eigenschappen benoemen van de prestatie (de tekst, de presentatie, de verdediging) 3. Clustering van criteria in standaarden om zo ruimte te scheppen voor een holistische kijk 4. Verduidelijking van de criteria in een toelichting ten behoeve van kalibratie, beoordeling, begeleiding en onderwijs 5. Zinvolle schaalpunten 6. Ruimte voor toelichting om transparantie te verhogen 7. Navolgbare beslisregel om te komen tot een beslissing

36 Voorbeeld van een standaard voor een onderzoeksverslag Standaard Centrale vraag en deelvragen zijn inhoudelijk verankerd, relevant, afgebakend, precies en functioneel Standaard benoemt: De objecten in het verslag De criteria waaraan die objecten moeten voldoen om goed te zijn Criteria zijn toegelicht in een achterliggende toelichting

37 Schaalpunten hebben betekenis StandaardSchaal Centrale vraag en deelvragen zijn inhoudelijk verankerd, relevant, afgebakend, precies en functioneel OV / V / G / ZG Betekenis schaalpunten: OV onvoldoende: De objecten voldoen niet aan de standaard V voldoende: De objecten voldoen niet op alle punten aan de standaard maar wel in voldoende mate G goed: De objecten voldoen op alle punten aan de standaard ZG zeer goed: De objecten overtreffen de standaard

38 Toelichting bevordert transparantie StandaardSchaalToelichting Centrale vraag en deelvragen zijn inhoudelijk verankerd, relevant, afgebakend, precies en functioneel OV / V / G / ZG Omdat deze wijze van beoordelen niet volledig analytisch is dient de examinator zijn scores toe te lichten Hij/zij maakt daarbij zoveel mogelijk gebruik van de “taal” uit de toelichting op de standaarden

39 Beslisregel helpt bij cijfer StandaardSchaalToelichting Standaard 1OV / V / G / ZG Standaard 2OV / V / G / ZG Standaard 3OV / V / G / ZG Standaard 4OV / V / G / ZG Standaard 5OV / V / G / ZG Standaard 6OV / V / G / ZG Standaard 7OV / V / G / ZG Standaard 8OV / V / G / ZG Eén van de standaarden O -> cijfer onder de 5,5 Alle standaarden V -> cijfer tussen 5,5 en 7,0 Standaarden V en G -> cijfer tussen 7,0 en 8,0 Alle standaarden G -> cijfer een 8,0 Standaarden G en ZG -> cijfer tussen 8,0 en 9,0 Alle standaarden ZG –> cijfer > 9,0

40 Doel van kalibreren n Hoofddoelen: n gezamenlijk aanscherpen van de standaarden n het bepalen van de cesuur: onvoldoende / voldoende n Nevendoelen: n Ontwikkelen toelichting op het beoordelingsformulier n Begrip krijgen voor de verschillende visies op onderzoek n Leren beter te begeleiden n Leren beter te beoordelen n Leren beter te onderzoeken

41 6. De eis van onderzoekend vermogen De lat is in 2009 hoger gelegd

42 Kwaliteit als opdracht (2009) 1. Gedegen theoretische basis 2. Onderzoekend vermogen 3. Professioneel vakmanschap 4. Beroepsethiek en maatschappelijke oriëntatie

43 Onderzoekend vermogen n 2009: HBO raad (2009) “Kwaliteit als opdracht”: “In onze moderne samenleving is het cruciaal dat hbo- bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie”. 43

44 Onderzoekend vermogen moet leiden tot: n Reflectie: dit betreft het terugkijken op het eigen handelen in de beroepspraktijk, signaleren wat er niet goed ging, dat proberen te verklaren vanuit de kennisbasis en in diezelfde kennisbasis ook de uitgangspunten vinden voor een betere aanpak; n Evidence-based practice: dit betreft het gebruiken van de kennisbasis om de juiste handelingen te kiezen; n Innovatie: dit betreft het ontwikkelen van nieuwe handelingen om de beroepspraktijk te verbeteren. VERANTWOORDEN ONDERBOUWEN VERNIEUWEN

45 Onderzoekend vermogen = 1. Onderzoekend houding Zie bijvoorbeeld Bruggink & Harinck 2012

46 Bruggink & Harinck Nieuwsgierig zijn / Willen weten / Je dingen afvragen 2. Een open houding / Op zoek naar eigen vooronderstellingen / Oordeel kunnen uitstellen 3. Kritisch zijn: is het wel zo? / Zaken in twijfel trekken 4. Willen begrijpen / Tot inzicht willen komen / Willen doorgronden 5. Bereid zijn tot perspectiefwisseling 6. Distantie nemen van routines / Vraagtekens bij het vanzelfsprekende / Gebaande paden durven verlaten / Eigen richting durven kiezen 7. Gerichtheid op bronnen / Willen voortbouwen op eerdere opvattingen en ideeën 8. Gerichtheid op zeker weten / Goede bronnen willen gebruiken / Nauwkeurig willen zijn 9. Willen delen met anderen / Onderdeel willen zijn van leergemeenschappen.

47 Onderzoekend vermogen = 1. Onderzoekend houding (Zie bijvoorbeeld Bruggink & Harinck 2012) 2. Onderzoeksresultaten van anderen toepassen 3. Onderzoek doen

48 7. De rol van onderzoekend vermogen in beroepsonderwijs Onderzoekend vermogen is ondersteunend bij het maken van een beroepsproduct

49 Zoeken naar overkoepelende definitie van onderzoek

50 Naar een definitie van onderzoek n Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan (Verschuren, 1994). 50

51 Naar een definitie van onderzoek n Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan. 51

52 Naar een definitie van onderzoek n Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan. 52

53 Naar een definitie van onderzoek n Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen. 53

54 Een definitie van praktijkgericht onderzoek n Onderzoek is het methodisch beantwoorden van vragen dat leidt tot relevante kennis. 54

55 Rol van onderzoekend vermogen hangt samen met beroepsproduct 1. Advies2. Ontwerp3. Eindproduct4. Handeling5. Onderzoek Mogelijke oplossing of een plan Verbeelding van een eindproduct Fysiek of digitale uitwerking van een ontwerp Professioneel gedrag naar cliënt of publiek Antwoorden en conclusies  Organisatie- advies  Pedagogisch advies  Financieel advies  Bouwontwerp  Technisch ontwerp  Bestemmingsplan  Ondernemings- plan  Schilderij  ICT applicatie  Apparaat  Film  Journalistieke tekst  Les geven  Voorstelling uitvoeren  Hulpverlenen  Verplegen  Therapie geven  Leiding geven  Ondernemen  Archeologisch rapport  Laboratorium rapport  Forensisch rapport Naar Losse (2012) Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid?

56 Probleem- stelling DiagnosePlanIngreepEvaluatie Methodisch werken Onderzoeken Onderzoekscyclus Probleem- verkennend onderzoek VA Onderzoekscyclus Diagnostisch onderzoek VA Onderzoekscyclus Ontwerp- onderzoek VA Onderzoekscyclus Monitoring onderzoek VA Onderzoekscyclus Evaluatie- onderzoek VA Naar Leen (2012) Onderzoekend vermogen ondersteunt beroepsproduct

57 8. Eisen aan het niveau van onderzoekend vermogen We moeten de lat op reële hoogte leggen

58 Drie niveaus van onderzoekend vermogen Naar Butter (2013) Methodische grondigheid (MG) Praktische relevantie (PR)

59 Drie niveaus van onderzoekend vermogen Methodische grondigheid Praktische relevantie BescheidenDiepgaanderUitgebreid Relevant voor de situatie / opdrachtgever BA Relevant voor het vakgebied MA Relevant voor wetenschap en maatschappij PhD Naar Butter (2013) #onderzoekhbo Methodische grondigheid (MG) Praktische relevantie (PR)

60 Mogelijke dimensies van methodische grondigheid BescheidenDiepgaanderUitgebreid Gebruik literatuur Bewijskracht (Van Yperen, in press) Generalisatie Body of Knowledge Vakliteratuur vs Wetenschappelijke literatuur Nederlands vs Engels Theoretisch, Indicatief, Causaal Geen, Beperkte groep, Grote groep Vereiste kennis van onderzoeksdesigns en -methoden #onderzoekhbo Methodische grondigheid (MG)

61 Samenvatting eisen onderzoekend vermogen BA n Verantwoording en reflectie eigen aanpak (bv in reflectie hoofdstuk) n Evidence-based practice: onderbouwen van beroepsproduct n Innovatie: vernieuwen in één casus n Toepassen van modellen, theorieën en onderzoeksresultaten van anderen n Kritische houding t.a.v. modellen, theorieën en onderzoeksresultaten van anderen n Zelf kunnen uitvoeren van de onderzoekcyclus met rode draad van vraag naar conclusie De vereiste ‘rigor’ van onderzoek bepaal je als opleiding zelf in je BoKSO.

62 Dank voor uw aandacht n n n Bezoek de stand van het Lectoraat Methodologie van Praktijkgericht Onderzoek n Doe de paradigmatest n Neem een exemplaar mee van mijn openbare les

63 Bronnen n Bruggink M. & Harinck, F. (2012) De onderzoekende houding van leraren, wat wordt daar onder verstaan? Tijdschrift voor lerarenopleiders (VELON/VELOV), jrg. 33, nr. 3 n HBO Raad (2009) Kwaliteit als Opdracht, Den Haag, HBO Raad. n Leen, J. (2012) Persoonlijke communicatie n Losse, M. (2012) Verbinding tussen onderwijs en onderzoek. Amersfoort: Presentatie Facta conferentie 11 december 2012 n Oskam, I. et al. (2012) Ontwerpen van technische innovaties. Groningen: Noordhoff Uitgevers. n Renepbutter (2013, november) Role of research in higher prof. educ. on BA, MA & PhD levels is demarcated by the scope of the required relevance&rigour claims. #mmucarpe [Twitter post] Retrieved from https://twitter.com/renepbutter/status/ #mmucarpe https://twitter.com/renepbutter/status/ n Verschuren, P. (2009). De probleemstelling voor een onderzoek. Spectrum.


Download ppt "Examinering in het hbo en de rol van eindwerkstukken Toetsconferentie 2014 Tilburg 11 november 2014 Dr. Daan Andriessen Lector Methodologie van Praktijkgericht."

Verwante presentaties


Ads door Google