Krachtige leeromgevingen Groepssessie 4: Evalueren en toetsen Bron afbeelding: http://www.steunpuntico.be/nl/themas/krachtige-leeromgeving geraadpleegd op woensdag 25 september 2013.
Praktijkvragen Wat is de beste evaluatievorm? Kan ik leerlingen wel zichzelf laten toetsen? Dan gaan ze toch zichzelf veel punten geven? Peer assessment?? Dat leidt toch tot vriendjespolitiek? Hoe kan ik complexe vaardigheden op een objectieve manier toetsen? Wat is het verschil tussen testen en punten geven? Wanneer is een toets kwalitatief goed? Is 10/20 voldoende om te slagen? Hoe kan ik mijn leerlingen zichzelf beter laten controleren?
Structuur Kwaliteitseisen Multipele choice vragen stellen Rubrics Toelichting praktijkopdracht
Evaluatie: begripsomschrijving Thorpe (1988): “Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact“[vrije vertaling].
Evaluatie-instrumenten Veelheid aan evaluatie-instrumenten Evaluatievorm koppelen aan het doel, het waarom en de doelgroep van de evaluatie http://www.diversiteitactie.be/themas/observeren-en-evalueren/professionalisering/breed-evalueren/hoe-gericht-kiezen-van-een
Tools om toetsvragen te maken http://www.oefen.be/leraren/oefeningen-maken-pakketten/id/14/sub-id/18
Tools om toetsvragen te maken http://hotpot.klascement.net
Maar… Een goed geselecteerde evaluatievorm garandeert nog geen kwalitatieve toets. Denk aan de kwaliteitscriteria… Betrouwbaarheid Validiteit Extra eisen: Authenticiteit Recentheid
Welke problemen herken je in volgende voorbeelden? Op het examen economie worden enkel toepassingsvragen gesteld. De leerlingen moeten voor cultuurwetenschappen vijf hoofdstukken studeren. Op de toets krijgen ze drie vragen uit hoofdstuk 2 en 1 vraag uit hoofdstuk 3. De toets is niet eerlijk verdeeld over de hoofdstukken heen (leerdoelenrespresentativiteit). ->inhoudsvaliditeit
Welke problemen herken je in volgende voorbeelden? Dezelfde oefening gaat tegelijk in klas 5a en klas 5b door. De leraar gaf enkel tips in 5a bij het beantwoorden van de vragen. Als een leerling op de toets sociale wetenschappen vraag 2 niet kan beantwoorden, kan hij/zij onmogelijk vraag 6 en 7 beantwoorden. Betrouwbaarheid
Welke problemen herken je in volgende voorbeelden? De leerkracht wil evalueren of zijn/haar leerlingen de vaardigheid ‘actief luisteren’ beheersen en stelt op zijn/haar examen de volgende vraag: “Welke vijf principes liggen aan de grondslag van actief luisteren?” validiteit
Klasse voor Leraren van mei 2013 (nr. 235) p.30-33 Toets je examen “Bespreek de middeleeuwen. Wees volledig in je antwoord.” Kreeg je als leerling ook zulke examenvragen op je bord? “Te veel examenvragen zijn nog puur gericht op reproductie. Of gewoon slecht geformuleerd”, zegt Ludo Heylen, directeur van het Centrum voor Ervaringsgericht Onderwijs (CEGO). “Als je elkaar als leraar coacht, krijg je die slechte vragen er zo uit.” Samen met Jan Gilté, coördinator talen aan cvo Hivek en nascholer Eekhoutcentrum, geeft hij vier ingrediënten voor een goed examen én evaluatiebeleid. Welke kwaliteitscriteria herken je? (Leerdoelen) validiteit Betrouwbaar-heid
Open vragen en multiple choice Vragen stellen Open vragen en multiple choice Om de betrouwbaarheid van een toets te verhogen, is het stellen van correcte vragen belangrijk. Vandaar de volgende tips bij MC-vragen.
Wat kan beter bij volgende vragen? Voorbeeld: Wat is sociale mobiliteit? Leg uit: economische kringloop Leg uit: bloedsomloop (schema) Wat is het probleem? Herformuleer Andere foute voorbeelden: Let uit: Bladgroenverrichting (schema) Wat zijn enzymen? Wat betekent een ongezonde levenswijze? Beter: - Geef 3 voorbeelden van een ongezonde levenswijze. - Geef 2 gevolgen van een ongezonde levenswijze Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot. Wees volledig in je antwoord. Beter: Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot aan de hand van volgende punten: a) onderwerp b) dichtvorm c) beeldspraak
Wat kan beter bij volgende vragen? Voorbeeld: Wat is sociale mobiliteit? Leg uit: economische kringloop Leg uit: bloedsomloop (schema) Wat is het probleem? Herformuleer Andere foute voorbeelden: Let uit: Bladgroenverrichting (schema) Wat zijn enzymen? Wat betekent een ongezonde levenswijze? Beter: - Geef 3 voorbeelden van een ongezonde levenswijze. - Geef 2 gevolgen van een ongezonde levenswijze Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot. Wees volledig in je antwoord. Beter: Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot aan de hand van volgende punten: a) onderwerp b) dichtvorm c) beeldspraak Leg uit / wat is = te vaag Tip 1: maak de vraag concreter
Wat kan beter bij volgende vragen? Voorbeeld: Wanneer is er sprake van een goed gesprek? Aan welke condities moeten de arbeiders voldoen? Kanker neemt toe de laatste jaren. Verklaar hoe dat komt. Wat is het probleem? Herformuleer Andere foute voorbeelden: Door wie werd Amerika ontdekt? (beter: wie ontdekte in 1492 Amerika?)
Wat kan beter bij volgende vragen? Voorbeeld: Wanneer is er sprake van een goed gesprek? Aan welke condities moeten de arbeiders voldoen? Kanker neemt toe de laatste jaren. Verklaar hoe dat komt. Wat is het probleem? Herformuleer Andere foute voorbeelden: Door wie werd Amerika ontdekt? (beter: wie ontdekte in 1492 Amerika?) Voorbeeldvraag= meerduidig Tip 2: Vraag eenduidig maken
Wat kan beter bij volgende vragen? Voorbeeld: Beschrijf het genezingsproces van een brandwonde: teken de wonde en bepaal welke middelen noodzakelijk zijn om een vlotte genezing te bewerkstelligen. Wat is het probleem? Herformuleer Andere foute voorbeelden: Splits in ionen: teken de verbinding en bepaal wiskundig de lading van de ionen. Geef aan of de bewering juist of onjuist is: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Antwoordalternatieven: a. I is juist, II is onjuist b. I en II zijn beid juist c. I is onjuist, II is juist d. I en II zijn beide onjuist → Beter: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Juist/fout Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Juist/fout Herleid en rangschik volgende veelterm naar dalende machten van x. Bepaal de graad van de veelterm en de soort veelterm en zeg of hij homogeen is of niet. 14x² = 4x²y – 6x³ + 5xy² = 8x²y =11y³ - 7xy - 15y³ Beter: a. Herleid de volgende veelterm. Schrijf zo eenvoudig mogelijk 14x² = 4x²y – 6x³ + 5xy² = 8x²y = 11y³ - 7xy - 15y³ b. Rangschik de herleide veelterm naar dalende machten van x c. Bepaal de graad van deze veelterm. d. Bepaal het soort veelterm e. Is de veelterm homogeen of niet.
Wat kan beter bij volgende vragen? Voorbeeld: Beschrijf het genezingsproces van een brandwonde: teken de wonde en bepaal welke middelen noodzakelijk zijn om een vlotte genezing te bewerkstelligen. Wat is het probleem? Herformuleer Andere foute voorbeelden: Splits in ionen: teken de verbinding en bepaal wiskundig de lading van de ionen. Geef aan of de bewering juist of onjuist is: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Antwoordalternatieven: a. I is juist, II is onjuist b. I en II zijn beid juist c. I is onjuist, II is juist d. I en II zijn beide onjuist → Beter: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Juist/fout Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Juist/fout Herleid en rangschik volgende veelterm naar dalende machten van x. Bepaal de graad van de veelterm en de soort veelterm en zeg of hij homogeen is of niet. 14x² = 4x²y – 6x³ + 5xy² = 8x²y =11y³ - 7xy - 15y³ Beter: a. Herleid de volgende veelterm. Schrijf zo eenvoudig mogelijk 14x² = 4x²y – 6x³ + 5xy² = 8x²y = 11y³ - 7xy - 15y³ b. Rangschik de herleide veelterm naar dalende machten van x c. Bepaal de graad van deze veelterm. d. Bepaal het soort veelterm e. Is de veelterm homogeen of niet. Voorbeeldvraag= te lang Tip 3: Vraag opsplitsen
Wat kan beter bij volgende vragen? Voorbeeld: Afgebeeld is een kernkwadrant. Bij welke begrippen worden de negatieve aspecten weergegeven in het schema? Waardoor wordt de geur van zweetvoeten veroorzaakt? Wat is het probleem? Herformuleer Andere foute voorbeelden: Afgebeeld is een thermostaat. Waardoor wordt de grootste kracht geleverd als die thermostaat sluit?
Wat kan beter bij volgende vragen? Voorbeeld: Afgebeeld is een kernkwadrant. Bij welke begrippen worden de negatieve aspecten weergegeven in het schema? Waardoor wordt de geur van zweetvoeten veroorzaakt? Wat is het probleem? Herformuleer Andere foute voorbeelden: Afgebeeld is een thermostaat. Waardoor wordt de grootste kracht geleverd als die thermostaat sluit? Voorbeeldvraag= passief Tip 4: Actieve zinsconstructies
Wat kan beter bij volgende vragen? Waarvan is de allergie is het kernkwadrant niet afhankelijk? kernkwaliteit valkuil uitdaging Geen van bovenstaande Wat is geen functie van verpakking? Bescherming Informatie geven Kosten verlagen Wat is het probleem? Herformuleer Andere foute voorbeelden: Waarvan is cohesiekracht niet afhankelijk? Antwoordalternatieven: Soort materie Het volume van de materie De fase waarin de materie zich bevindt Geen van bovenstaande
Wat kan beter bij volgende vragen? Waarvan is de allergie is het kernkwadrant niet afhankelijk? kernkwaliteit valkuil uitdaging Geen van bovenstaande Wat is geen functie van verpakking? Bescherming Informatie geven Kosten verlagen Wat is het probleem? Herformuleer Andere foute voorbeelden: Waarvan is cohesiekracht niet afhankelijk? Antwoordalternatieven: Soort materie Het volume van de materie De fase waarin de materie zich bevindt Geen van bovenstaande Voorbeeldvraag= negatief geformuleerd Tip 5: Positief formuleren
Wat kan beter bij volgende vragen? Voorbeeld: Maak een samenvatting van de tekst op de volgende pagina. Wat is het probleem? Herformuleer Andere foute voorbeelden: Geef de kenmerken van de barok.
Wat kan beter bij volgende vragen? Voorbeeld: Maak een samenvatting van de tekst op de volgende pagina. Wat is het probleem? Herformuleer Andere foute voorbeelden: Geef de kenmerken van de barok. Voorbeeldvraag= niet afgebakend Tip 6: Transparant/afbakenen
Wat kan beter bij volgende vragen? Lees aandachtig de voorwaarden van de BVBA Janssens Waarop zijn ze van toepassing? Kan ervan worden afgeweken? Hoe dan? Wat is het probleem? Herformuleer De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. Ze noemen hiervoor een aantal redenen. Welke? Beter: De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. De afgevaardigden noemen hiervoor drie redenen. Welke?
Wat kan beter bij volgende vragen? Lees aandachtig de voorwaarden van de BVBA Janssens Waarop zijn ze van toepassing? Kan ervan worden afgeweken? Hoe dan? Wat is het probleem? Herformuleer De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. Ze noemen hiervoor een aantal redenen. Welke? Beter: De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. De afgevaardigden noemen hiervoor drie redenen. Welke? Voorbeeldvraag= met verwijswoorden Tip 7: Verwijswoorden vermijden
Wat kan beter bij volgende vragen? Voorbeeld: (De leerlingen krijgen een tekst). Dit verhaal is een … Wat is het probleem? Herformuleer Andere foute voorbeelden: Welk fysisch verschijnsel treedt er op als je tweemaal zo snel als het geluid vliegt?
Wat kan beter bij volgende vragen? Voorbeeld: (De leerlingen krijgen een tekst). Dit verhaal is een … Wat is het probleem? Herformuleer Andere foute voorbeelden: Welk fysisch verschijnsel treedt er op als je tweemaal zo snel als het geluid vliegt? Voorbeeldvraag= geen duiding Tip 8: Context geven
Tips bij open vragen Maak de vraag concreet (niet leg uit…) Vraag eenduidig maken Vraag opsplitsen Actieve zinsconstructies Positief formuleren Vraag afbakenen Verwijswoorden vermijden Context geven
Tips bij multiple choice vragen Bron vraag: http://plazilla.com/leuke-meerkeuzevragen-met-soms-vreemde-antwoorden
Wat kan beter bij volgende vragen? Waarom gaat de bloemist op zondag bloemen kopen op de markt? Beter: Waarom gaat de bloemist bloemen kopen op de markt? Waarom gaat de bloemist bloemen kopen op zondag? Vermijd dubbele betekenissen
Wat kan beter bij volgende vragen? Uit welke fasen bestaat het verwerken van de binnenkomende post op het afdelingssecretariaat? a) Het openen van de post, het bijwerken van het postboek, het maken van kopieën van alle begeleidende brieven exclusief de bijlagen, het archiveren van de brieven en het afleggen van de kopieën en de bijlagen in de postvakjes van de medewerkers b) Het openen van de post, het bijwerken van het posboek, het maken van kopieën van alle poststukken, het archiveren van de originelen en het afleggen van de kopieën in de postvakjes van de medewerkers. c) Het openen van de post, het bijwerken van het postboek, het maken van kopieën van persoonlijk ondertekende brieven exclusief de bijlagen, het archiveren van de originelen, het afleggen van de kopieën en de bijlagen en de overige originelen in de postvakjes van de medewerkers. d) Het openen van de post, het bijwerken van het postboek, het maken van kopieën van persoonlijk ondertekende brieven en bijlagen, het archiveren van de originelen en het afleggen van de kopieën en de bijlagen in de postvakjes van de medewerkers.
Plaats gemeenschappelijke informatie in de stam Het verwerken van de binnenkomende post op het afdelingssecretariaat begint met de post openen en het postboek bijwerken en eindigt met de post afleggen in de postvakjes van de medewerkers. Welke poststukken moeten worden gekopieerd en gearchiveerd? a) Alle binnengekomen brieven exclusief bijhorende bijlagen b) Alle binnengekomen brieven inclusief bijhorende bijlagen c) Alleen de persoonlijk ondertekende brieven exclusief bijhorende bijlagen? d) Alleen de persoonlijk ondertekende brieven inclusief bijbehorende bijlagen. Plaats gemeenschappelijke informatie in de stam
Wat kan beter bij volgende vragen? Bewering 1: Een zoogdier is een warmbloedig gewerveld dier. Bewering 2: Een dolfijn is een zoogdier. Welke van deze bewering is of zijn juist? a) Bewering 1 en 2 zijn beide onjuist b) Bewering 1 is juist en bewering 2 is onjuist c) Bewering 1 is onjuist en bewering 2 is juist d) Bewering 1 en 2 zijn beide juist
Een zoogdier is een warmbloeding gewerveld dier. Juist / Fout Een dolfijn is een zoogdier. Juist / Fout Vermijd onnodige moeilijkheden die geen verband houden met de eigenlijke doelstelling
Wat kan beter bij volgende vragen? Sommige maanden hebben 31 dagen. Hoeveel maanden hebben 28 dagen? a) Eén c) Drie b) Twee d) Geen van vorige Hoeveel dieren van elk geslacht nam Mozes mee op het schip? a) Geen c) Twee b) Eén d) Meer dan twee Vermijd strikvragen / overbodige info
Wat kan beter bij volgende vragen? Wie is de huidige minister van buitenlandse zaken? a) Didier Reynders b) Frank Deboosere c) Steven Vanackere d) Yves Leterme Beter: Wie is de huidige minister van buitenlandse zaken? a) Didier Reynders b) Joëlle Milquet c) Steven Vanackere d) Yves Leterme Zorg voor plausibele afleiders
Wat kan beter bij volgende vragen? Wol komt van een a) dier b) plant c) mineraal d) schaap Beter: Wol komt van een a) koe b) plant c) mineraal d) schaap Zorg voor onafhankelijke afleiders
Wat kan beter bij volgende vragen? Welke tragedie behoort tot het werk van William Shakespeare? a) King Lear b) Macbeth c) Othello d) Alle antwoorden zijn correct Beter: Geef aan of onderstaande tragedies tot het werk van William Shakespeare behoren King Lear waar / niet waar Macbeth waar / niet waar Othello waar / niet waar Vermijd samengestelde vragen
Rubrics Rubric: scoring tool voor een kwalitatieve inschatting van het niveau van een authentieke of complexe activiteit. Een rubriek bouwt verder op criteria die verrijkt worden met een schaal waarop beheersingsniveaus zijn aangegeven Per beheersingsniveau worden standaarden aangegeven die die niveau weerspiegelen. Een rubric geeft zowel voor de lesgever als de student aan wat concreet verwacht wordt. Rubrics worden voor “high stake assessment” gebruikt en voor “formatieve toetsing” (in functie van leren). (Arter & McTighe, 2001; Busching, 1998; Perlman, 2003).
Rubrics Rubrics leggen de nadruk op “meten” Focus op verband tussen criteria en indicatoren.
Rubrics: voorbeeld Niveaus Indicatoren Criteria 3
Aanpak ontwikkeling rubric Kies criteria voor verwacht gedrag 4 tot 15 statements die criterium beschrijven Bepaal bandbreedte die verschil in bereiken criterium weergeven Bijv. 0-5 of kwalitatieve termen Werk een beschrijving uit voor elke waarde in de bandbreedte Concreet observeerbare/vaststelbare kwalificaties
Rubrics Voorbeelden van vakspecifieke uitwerkingen door studentleerkrachten Vb. Groep 3
Voorbeeld 1
Voorbeeld 1
Voorbeeld 2
Voorbeeld 2
Voorbeeld 2
Voorbeeld 3
Voorbeeld 3
Oefening Rubrics Vertrek vanuit eigen leermateriaal of materiaal uit de groepssessies. Formuleer lesdoelen Stel een rubric op die het voorgaande lesdoel help evalueren. Onderscheid minimaal 3 criteria en 3 kwaliteitsniveaus (indicatoren)
Praktijkopdracht 4 U selecteert een complex leerdoel uit uw vakgebied. Om dit leerdoel te evalueren, ontwikkelt u een rubric. Werk met minstens drie niveaus, gebruik minstens 4 criteria. Geef aan hoe u de indicatoren tot stand hebt gebracht. Maximaal 2 bladzijden.
Krachtige leeromgevingen Groepssessie 4: Evalueren en toetsen Bron afbeelding: http://www.steunpuntico.be/nl/themas/krachtige-leeromgeving geraadpleegd op woensdag 25 september 2013.