Krachtige leeromgevingen Groepssessie 4: Evalueren en toetsen Versie groep 1 Bron afbeelding: http://www.steunpuntico.be/nl/themas/krachtige-leeromgeving geraadpleegd op woensdag 25 september 2013.

Praktijkvragen Wat is de beste evaluatievorm? Wanneer is een toets kwalitatief goed? Hoe kan ik mijn leerlingen zichzelf beter laten controleren? Hoe kan ik complexe vaardigheden op een objectieve manier toetsen?

Structuur Kwaliteitseisen Multipele choice vragen stellen Rubrics Toelichting praktijkopdracht

Evaluatie: begripsomschrijving Thorpe (1988): “Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit, met als doel een uitspraak te doen over de effectiviteit, de efficiëntie en/of een andere impact“[vrije vertaling].

Evaluatie-instrumenten Veelheid aan evaluatie-instrumenten Evaluatievorm koppelen aan het doel, het waarom en de doelgroep van de evaluatie http://www.diversiteitactie.be/themas/observeren-en-evalueren/professionalisering/breed-evalueren/hoe-gericht-kiezen-van-een

Maar… Een goed geselecteerde evaluatievorm garandeert nog geen kwalitatieve toets. Denk aan de kwaliteitscriteria… Betrouwbaarheid Validiteit Extra eisen: Authenticiteit Recentheid

Tools om toetsvragen te maken http://www.oefen.be/leraren/oefeningen-maken-pakketten/id/14/sub-id/18

Tools om toetsvragen te maken http://hotpot.klascement.net

Welke problemen herken je in volgende voorbeelden? Op het examen economie worden enkel toepassingsvragen gesteld. De leerlingen moeten voor cultuurwetenschappen vijf hoofdstukken studeren. Op de toets krijgen ze drie vragen uit hoofdstuk 2 en 1 vraag uit hoofdstuk 3. De toets is niet eerlijk verdeeld over de hoofdstukken heen (leerdoelenrespresentativiteit). ->inhoudsvaliditeit

Welke problemen herken je in volgende voorbeelden? Dezelfde oefening gaat tegelijk in klas 5a en klas 5b door. De leraar gaf enkel tips in 5a bij het beantwoorden van de vragen. Als een leerling op de toets sociale wetenschappen vraag 2 niet kan beantwoorden, kan hij/zij onmogelijk vraag 6 en 7 beantwoorden. Betrouwbaarheid

Welke problemen herken je in volgende voorbeelden? De leerkracht wil evalueren of zijn/haar leerlingen de vaardigheid ‘actief luisteren’ beheersen en stelt op zijn/haar examen de volgende vraag: “Welke vijf principes liggen aan de grondslag van actief luisteren?” validiteit

Klasse voor Leraren van mei 2013 (nr. 235) p.30-33 Toets je examen “Bespreek de middeleeuwen. Wees volledig in je antwoord.” Kreeg je als leerling ook zulke examenvragen op je bord? “Te veel examenvragen zijn nog puur gericht op reproductie. Of gewoon slecht geformuleerd”, zegt Ludo Heylen, directeur van het Centrum voor Ervaringsgericht Onderwijs (CEGO). “Als je elkaar als leraar coacht, krijg je die slechte vragen er zo uit.” Samen met Jan Gilté, coördinator talen aan cvo Hivek en nascholer Eekhoutcentrum, geeft hij vier ingrediënten voor een goed examen én evaluatiebeleid. Welke kwaliteitscriteria herken je? (Leerdoelen) validiteit Betrouwbaar-heid

Open vragen en multipele choice Vragen stellen Open vragen en multipele choice Om de betrouwbaarheid van een toets te verhogen, is het stellen van correcte vragen belangrijk. Vandaar de volgende tips bij MC-vragen.

Open vragen Bron vraag: http://plazilla.com/leuke-meerkeuzevragen-met-soms-vreemde-antwoorden

Wat kan beter bij volgende vragen? Voorbeeld: Wat is sociale mobiliteit? Leg uit: economische kringloop Leg uit: bloedsomloop Wat is het probleem? Herformuleer Andere foute voorbeelden: Let uit: Bladgroenverrichting (schema) Wat zijn enzymen? Wat betekent een ongezonde levenswijze? Beter: - Geef 3 voorbeelden van een ongezonde levenswijze. - Geef 2 gevolgen van een ongezonde levenswijze Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot. Wees volledig in je antwoord. Beter: Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot aan de hand van volgende punten: a) onderwerp b) dichtvorm c) beeldspraak

Wat kan beter bij volgende vragen? Voorbeeld: Wat is sociale mobiliteit? Leg uit: economische kringloop Leg uit: bloedsomloop Wat is het probleem? Herformuleer Andere foute voorbeelden: Let uit: Bladgroenverrichting (schema) Wat zijn enzymen? Wat betekent een ongezonde levenswijze? Beter: - Geef 3 voorbeelden van een ongezonde levenswijze. - Geef 2 gevolgen van een ongezonde levenswijze Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot. Wees volledig in je antwoord. Beter: Bespreek het gedicht ‘Het Huwelijk’ van Willem Elsschot aan de hand van volgende punten: a) onderwerp b) dichtvorm c) beeldspraak Leg uit / wat is = te vaag Tip 1: maak de vraag concreter

Wat kan beter bij volgende vragen? Voorbeeld: Wanneer is er sprake van een goed gesprek? Aan welke condities moeten de arbeiders voldoen? Kanker neemt toe de laatste jaren. Verklaar hoe dat komt. Wat is het probleem? Herformuleer Andere foute voorbeelden: Door wie werd Amerika ontdekt? (beter: wie ontdekte in 1492 Amerika?)

Wat kan beter bij volgende vragen? Voorbeeld: Wanneer is er sprake van een goed gesprek? Aan welke condities moeten de arbeiders voldoen? Kanker neemt toe de laatste jaren. Verklaar hoe dat komt. Wat is het probleem? Herformuleer Andere foute voorbeelden: Door wie werd Amerika ontdekt? (beter: wie ontdekte in 1492 Amerika?) Voorbeeldvraag= meerduidig Tip 2: Vraag eenduidig maken

Wat kan beter bij volgende vragen? Voorbeeld: Beschrijf het genezingsproces van een brandwonde: teken de wonde en bepaal welke middelen noodzakelijk zijn om een vlotte genezing te bewerkstelligen. Wat is het probleem? Herformuleer Andere foute voorbeelden: Splits in ionen: teken de verbinding en bepaal wiskundig de lading van de ionen. Geef aan of de bewering juist of onjuist is: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Antwoordalternatieven: a. I is juist, II is onjuist b. I en II zijn beid juist c. I is onjuist, II is juist d. I en II zijn beide onjuist → Beter: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Juist/fout Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Juist/fout Herleid en rangschik volgende veelterm naar dalende machten van x. Bepaal de graad van de veelterm en de soort veelterm en zeg of hij homogeen is of niet. 14x² = 4x²y – 6x³ + 5xy² = 8x²y =11y³ - 7xy - 15y³ Beter: a. Herleid de volgende veelterm. Schrijf zo eenvoudig mogelijk 14x² = 4x²y – 6x³ + 5xy² = 8x²y = 11y³ - 7xy - 15y³ b. Rangschik de herleide veelterm naar dalende machten van x c. Bepaal de graad van deze veelterm. d. Bepaal het soort veelterm e. Is de veelterm homogeen of niet.

Wat kan beter bij volgende vragen? Voorbeeld: Beschrijf het genezingsproces van een brandwonde: teken de wonde en bepaal welke middelen noodzakelijk zijn om een vlotte genezing te bewerkstelligen. Wat is het probleem? Herformuleer Andere foute voorbeelden: Splits in ionen: teken de verbinding en bepaal wiskundig de lading van de ionen. Geef aan of de bewering juist of onjuist is: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Antwoordalternatieven: a. I is juist, II is onjuist b. I en II zijn beid juist c. I is onjuist, II is juist d. I en II zijn beide onjuist → Beter: Bewering I: Bij een horizontale taakverdeling zijn er leidinggevende en uitvoerende taken. Juist/fout Bewering II: Bij een verticale taakverdeling zijn de werkzaamheden of taken gelijkwaardig. Juist/fout Herleid en rangschik volgende veelterm naar dalende machten van x. Bepaal de graad van de veelterm en de soort veelterm en zeg of hij homogeen is of niet. 14x² = 4x²y – 6x³ + 5xy² = 8x²y =11y³ - 7xy - 15y³ Beter: a. Herleid de volgende veelterm. Schrijf zo eenvoudig mogelijk 14x² = 4x²y – 6x³ + 5xy² = 8x²y = 11y³ - 7xy - 15y³ b. Rangschik de herleide veelterm naar dalende machten van x c. Bepaal de graad van deze veelterm. d. Bepaal het soort veelterm e. Is de veelterm homogeen of niet. Voorbeeldvraag= te lang Tip 3: Vraag opsplitsen

Wat kan beter bij volgende vragen? Voorbeeld: Afgebeeld is een kernkwadrant. Bij welke begrippen worden de negatieve aspecten weergegeven in het schema? Waardoor wordt de geur van zweetvoeten veroorzaakt? Wat is het probleem? Herformuleer Andere foute voorbeelden: Afgebeeld is een thermostaat. Waardoor wordt de grootste kracht geleverd als die thermostaat sluit?

Wat kan beter bij volgende vragen? Voorbeeld: Afgebeeld is een kernkwadrant. Bij welke begrippen worden de negatieve aspecten weergegeven in het schema? Waardoor wordt de geur van zweetvoeten veroorzaakt? Wat is het probleem? Herformuleer Andere foute voorbeelden: Afgebeeld is een thermostaat. Waardoor wordt de grootste kracht geleverd als die thermostaat sluit? Voorbeeldvraag= passief Tip 4: Actieve zinsconstructies

Wat kan beter bij volgende vragen? Voorbeeld: Waarvan is de allergie is het kernkwadrant niet afhankelijk? Wat is geen functie van verpakking? Wat is het probleem? Herformuleer Andere foute voorbeelden: Waarvan is cohesiekracht niet afhankelijk? Antwoordalternatieven: Soort materie Het volume van de materie De fase waarin de materie zich bevindt Geen van bovenstaande

Wat kan beter bij volgende vragen? Voorbeeld: Waarvan is de allergie is het kernkwadrant niet afhankelijk? Wat is geen functie van verpakking? Wat is het probleem? Herformuleer Andere foute voorbeelden: Waarvan is cohesiekracht niet afhankelijk? Antwoordalternatieven: Soort materie Het volume van de materie De fase waarin de materie zich bevindt Geen van bovenstaande Voorbeeldvraag= negatief geformuleerd Tip 5: Positief formuleren

Wat kan beter bij volgende vragen? Voorbeeld: Maak een samenvatting van de tekst op de volgende pagina. Wat is het probleem? Herformuleer Andere foute voorbeelden: Geef de kenmerken van de barok.

Wat kan beter bij volgende vragen? Voorbeeld: Maak een samenvatting van de tekst op de volgende pagina. Wat is het probleem? Herformuleer Andere foute voorbeelden: Geef de kenmerken van de barok. Voorbeeldvraag= niet afgebakend Tip 6: Transparant/afbakenen

Wat kan beter bij volgende vragen? Voorbeeld: Lees aandachtig de voorwaarden van de BVBA Janssens Waarop zijn ze van toepassing? Kan ervan worden afgeweken? Hoe dan? Wat is het probleem? Herformuleer De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. Ze noemen hiervoor een aantal redenen. Welke? Beter: De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. De afgevaardigden noemen hiervoor drie redenen. Welke?

Wat kan beter bij volgende vragen? Voorbeeld: Lees aandachtig de voorwaarden van de BVBA Janssens Waarop zijn ze van toepassing? Kan ervan worden afgeweken? Hoe dan? Wat is het probleem? Herformuleer De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. Ze noemen hiervoor een aantal redenen. Welke? Beter: De vakbondsafgevaardigden hebben aangekondigd het loonoverleg met de arbeiders te stoppen. De afgevaardigden noemen hiervoor drie redenen. Welke? Voorbeeldvraag= met verwijswoorden Tip 7: Verwijswoorden vermijden

Wat kan beter bij volgende vragen? Voorbeeld: (De leerlingen krijgen een tekst). Dit verhaal is een … Wat is het probleem? Herformuleer Andere foute voorbeelden: Welk fysisch verschijnsel treedt er op als je tweemaal zo snel als het geluid vliegt?

Wat kan beter bij volgende vragen? Voorbeeld: (De leerlingen krijgen een tekst). Dit verhaal is een … Wat is het probleem? Herformuleer Andere foute voorbeelden: Welk fysisch verschijnsel treedt er op als je tweemaal zo snel als het geluid vliegt? Voorbeeldvraag= geen duiding Tip 8: Context geven

Tips bij open vragen Maak de vraag concreet (niet leg uit…) Vraag eenduidig maken Vraag opsplitsen Actieve zinsconstructies Positief formuleren Vraag afbakenen Verwijswoorden vermijden Context geven

Multiple choice vragen Bron vraag: http://plazilla.com/leuke-meerkeuzevragen-met-soms-vreemde-antwoorden

Wat kan beter bij volgende vragen? Waarom gaat de bloemist op zondag bloemen kopen op de markt? a). Omdat … b). … c). …

Wat kan beter bij volgende vragen? Beter: Waarom gaat de bloemist bloemen kopen op de markt? Waarom gaat de bloemist bloemen kopen op zondag?  Vermijd dubbele betekenissen

Wat kan beter bij volgende vragen? Uit welke fasen bestaat het verwerken van de binnenkomende post op het afdelingssecretariaat? a) Het openen van de post, het bijwerken van het postboek, het maken van kopieën van alle begeleidende brieven exclusief de bijlagen, het archiveren van de brieven en het afleggen van de kopieën en de bijlagen in de postvakjes van de medewerkers b) Het openen van de post, het bijwerken van het posboek, het maken van kopieën van alle poststukken, het archiveren van de originelen en het afleggen van de kopieën in de postvakjes van de medewerkers. c) Het openen van de post, het bijwerken van het postboek, het maken van kopieën van persoonlijk ondertekende brieven exclusief de bijlagen, het archiveren van de originelen, het afleggen van de kopieën en de bijlagen en de overige originelen in de postvakjes van de medewerkers. d) Het openen van de post, het bijwerken van het postboek, het maken van kopieën van persoonlijk ondertekende brieven en bijlagen, het archiveren van de originelen en het afleggen van de kopieën en de bijlagen in de postvakjes van de medewerkers.

 Plaats gemeenschappelijke informatie in de stam Het verwerken van de binnenkomende post op het afdelingssecretariaat begint met de post openen en het postboek bijwerken en eindigt met de post afleggen in de postvakjes van de medewerkers. Welke poststukken moeten worden gekopieerd en gearchiveerd? a) Alle binnengekomen brieven exclusief bijhorende bijlagen b) Alle binnengekomen brieven inclusief bijhorende bijlagen c) Alleen de persoonlijk ondertekende brieven exclusief bijhorende bijlagen? d) Alleen de persoonlijk ondertekende brieven inclusief bijbehorende bijlagen.  Plaats gemeenschappelijke informatie in de stam

Wat kan beter bij volgende vragen? Bewering 1: Een zoogdier is een warmbloedig gewerveld dier. Bewering 2: Een dolfijn is een zoogdier. Welke van deze bewering is of zijn juist? a) Bewering 1 en 2 zijn beide onjuist b) Bewering 1 is juist en bewering 2 is onjuist c) Bewering 1 is onjuist en bewering 2 is juist d) Bewering 1 en 2 zijn beide juist

Een zoogdier is een warmbloeding gewerveld dier. Juist / Fout Een dolfijn is een zoogdier. Juist / Fout  Vermijd onnodige moeilijkheden die geen verband houden met de eigenlijke doelstelling

Wat kan beter bij volgende vragen? Sommige maanden hebben 31 dagen. Hoeveel maanden hebben 28 dagen? a) Eén c) Drie b) Twee d) Geen van vorige Hoeveel dieren van elk geslacht nam Mozes mee op het schip? a) Geen c) Twee b) Eén d) Meer dan twee

Wat kan beter bij volgende vragen? Sommige maanden hebben 31 dagen. Hoeveel maanden hebben 28 dagen? a) Eén c) Drie b) Twee d) Geen van vorige Hoeveel dieren van elk geslacht nam Mozes mee op het schip? a) Geen c) Twee b) Eén d) Meer dan twee  Vermijd strikvragen / overbodige info

Wat kan beter bij volgende vragen? Wie is de huidige minister van buitenlandse zaken? a) Didier Reynders b) Frank Deboosere c) Steven Vanackere d) Yves Leterme

Wat kan beter bij volgende vragen? Wie is de huidige minister van buitenlandse zaken? a) Didier Reynders b) Frank Deboosere c) Steven Vanackere d) Yves Leterme Beter: Wie is de huidige minister van buitenlandse zaken? a) Didier Reynders b) Joëlle Milquet c) Steven Vanackere d) Yves Leterme  Zorg voor plausibele afleiders

Wat kan beter bij volgende vragen? Wol komt van een a) dier b) plant c) mineraal d) schaap

Wat kan beter bij volgende vragen? Wol komt van een a) dier b) plant c) mineraal d) schaap Beter: Wol komt van een a) koe b) plant c) mineraal d) schaap  Zorg dat de afleiders elkaar niet overlappen

Wat kan beter bij volgende vragen? Welke tragedie behoort tot het werk van William Shakespeare? a) King Lear b) Macbeth c) Othello d) Alle antwoorden zijn correct

Wat kan beter bij volgende vragen? Welke tragedie behoort tot het werk van William Shakespeare? a) King Lear b) Macbeth c) Othello d) Alle antwoorden zijn correct Beter: Geef aan of onderstaande tragedies tot het werk van William Shakespeare behoren King Lear waar / niet waar Macbeth waar / niet waar Othello waar / niet waar  Vermijd alle zijn correct / geen is correct

Vuistregels bij multiple choice vragen DO! Eenvoudige woordenschat/grammatica Heldere lay-out Constant aantal afleiders niet nodig Centrale inhoud in stam Referentiekader expliciteren Bron vraag: http://plazilla.com/leuke-meerkeuzevragen-met-soms-vreemde-antwoorden Heldere lay-out: alternatieven onder elkaar in plaats van naast elkaar, vragen op 1 blz., geen bijlage, voldoende plaats tussen vragen, max. 5 vragen op 1 blz.

Vuistregels bij multiple choice vragen DO! Volgorde vragen (eenvoudig  moeilijk, type, inhoud) Onafhankelijke vragen Duidelijke verschillen tussen de antwoordalternatieven Geloofwaardige afleiders Bron vraag: http://plazilla.com/leuke-meerkeuzevragen-met-soms-vreemde-antwoorden Heldere lay-out: alternatieven onder elkaar in plaats van naast elkaar, vragen op 1 blz., geen bijlage, voldoende plaats tussen vragen, max. 5 vragen op 1 blz.

Vuistregels bij multiple choice vragen DONT’S! Vaag/abstract Overtollige info in stam Systematiek in de plaats van juiste antwoord Alle bovenstaande zijn fout/juist Negaties en dubbele negaties Overlap afleiders Letterlijk uit cursus Strikvragen Bron vraag: http://plazilla.com/leuke-meerkeuzevragen-met-soms-vreemde-antwoorden Heldere lay-out: alternatieven onder elkaar in plaats van naast elkaar, vragen op 1 blz., geen bijlage, voldoende plaats tussen vragen, max. 5 vragen op 1 blz.

Rubrics Rubric: scoring tool voor een kwalitatieve inschatting van het niveau van een authentieke of complexe activiteit. Een rubriek bouwt verder op criteria die verrijkt worden met een schaal waarop beheersingsniveaus zijn aangegeven Per beheersingsniveau worden standaarden aangegeven die die niveau weerspiegelen. Een rubric geeft zowel voor de lesgever als de student aan wat concreet verwacht wordt. Rubrics worden voor “high stake assessment” gebruikt en voor “formatieve toetsing” (in functie van leren). (Arter & McTighe, 2001; Busching, 1998; Perlman, 2003).

Rubrics Rubrics leggen de nadruk op “meten” Focus op verband tussen criteria en indicatoren.

Rubrics: voorbeeld Niveaus Indicatoren Criteria 3

Aanpak ontwikkeling rubric Kies criteria voor verwacht gedrag 4 tot 15 statements die criterium beschrijven Bepaal bandbreedte die verschil in bereiken criterium weergeven Bijv. 0-5 of kwalitatieve termen Werk een beschrijving uit voor elke waarde in de bandbreedte Concreet observeerbare/vaststelbare kwalificaties

RUBRIC - Inoefenen begeleide oefening Bekijk het leermateriaal van het vak Nederlands uit sessie 1 ‘Curriculum’ Ontwikkel een rubric voor het volgende leerdoel : De lln. maken een samenvatting van een krantenartikel.

Inoefenen – zelf aan de slag Rubrics Lesdoelen per vakgebied: Nederlands: De lln. stellen in groep een bepaald beroep voor op basis van een interview met een persoon die dat beroep uitoefent. Engels: De lln. moderniseren een zelf geselecteerde scène uit het werk van Shakespeare en brengen dit voor de klas. Geschiedenis: De lln. maken per 2 een samenvatting van een informatiebundel over een Belgische politiek partij maken en formuleren vervolgens een beleidsadvies.

Bekijk de rubric van een andere duo en vergelijk. Publiciteitsgrafiek: De lln. maken een succesvol logo voor het festival ‘Laundry Day’. Muziek: De lln. voeren het stuk ‘la Primavera’ van A. Vivaldi individueel uit op blokfluit. Stel per twee een rubric op die één van de voorgaande lesdoelen evalueert. 4 criteria minimaal 3 kwaliteitsniveaus (indicatoren) Bekijk de rubric van een andere duo en vergelijk.

Toelichting praktijkopdracht

Praktijkopdracht 4 U selecteert een complex leerdoel uit uw vakgebied. Om dit leerdoel te evalueren, ontwikkelt u een rubric. Werk met minstens drie niveaus, gebruik minstens 4 criteria.. Maximaal 2 bladzijden.

Feedbacksessie groep 1 Donderdag 5 december 17.30-19.30u Locatie Aud A Dunantlaan 1 Inschrijven + vragen posten op forum groep 1 Minerva Bron afbeelding: http://www.hnwb.nl/wp-content/uploads/2012/08/discussie.jpg