Evaluatie (A) en Schrijven (B) Onderwijskunde: Praktijk, onderzoek en beleid Opdracht 3 Evaluatie (A) en Schrijven (B) Tijs Rotsaert (Tijs.Rotsaert@UGent.be) Valerie Van Vooren (ValerieP.VanVooren@UGent.be)

DE THEORIE

Evaluatie (3A) Schaf de examens af! Assessment of Learning => Assessment for Learning Richtlijnen overheid? http://onderwijs.vlaanderen.be/toetsen-en-examens Onderwijsspiegel 2014 (jaarlijks evaluatierapport inspectiediensten) => nood aan meer inspanningen! Dit onderzoek: stand van zaken?

Evaluatie (3A) Toetsing als prioriteit op de onderwijs- & onderzoeksagenda? Functioneren in snel veranderende werkomgeving => LLL => leernoden herkennen => zelfregulerend leren Zelf in staat zijn leerdoelen te formuleren Omgaan met & reageren op feedback => Aangepaste vormen van instructie & toetsing vereist

Nood aan vervaging onderscheid tussen instructie & toetsing : Studenten zijn actief betrokken Studenten begrijpen de evaluatiecriteria Toetsing toenemende mate in functie van verder (regu)leren (formatief), in plaats van gericht op eindproduct t.b.v. een credit, een diploma (summatief) Bron: Nicol, D. (2010). From monologue to dialogue: improving written feedback processes in mass higher education. Assessment & Evaluation in Higher Education. doi:10.1080/02602931003786559

Kwaliteitsvolle formatieve praktijken: Zorgen ervoor dat dat wat dient bereikt te worden helder geformuleerd is : Duidelijke doelen & criteria Reflectie en discussie over de criteria bewerkstelligen Bieden hoogwaardige info aan studenten over hun leren Bieden mogelijkheden om de kloof tussen huidig en toekomstig presteren te dichten: Activeren nadenken over toekomstig gebruik van de feedback (Nicole & Macfarlane-Dick,2006) https://www.youtube.com/watch?v=cvXS2x3UhQU

Effectieve formatieve toetsmethoden: Effectieve vragen: specifieke vragen stellen aan leerlingen om te achterhalen wat zij denken van bepaalde zaken. De vragen zijn erop gericht om hen verder te laten denken. Toetsdialoog: doorvragen wanneer men merkt dat leerlingen iets niet begrepen hebben en laat hen zelf argumenteren waarom zij denken dat zij het bij het rechte eind hebben. Reflectieve les: een aparte les waarin de belangrijkste zaken van vorige lessen nog kort eens worden overlopen. Er wordt gecontroleerd of de leerlingen alle nieuwe zaken wel goed hebben begrepen.

Effectieve formatieve toetsmethoden: Self assessment: leerlingen beoordelen hun eigen werk aan de hand van punten of niveaus, en formuleren aansluitend werkpunten voor de toekomst. Formatief gebruik van een summatieve toets: tussentijdse toetsen achteraf uitgebreid bespreken in de les. De student dient actief met de feedback om te gaan. Op basis van de vooruitgang van de studenten past de leerkracht de lessen aan. Rubric:

Focus: Peer assessment Bij een peer assessment activiteit beoordelen medeleerlingen elkaars opdrachten/taken /presentaties. De beoordeling kan uitgedrukt worden in scores, mondelinge of geschreven feedback of een combinatie van beide. Effectief indien: Inzicht in beoordelingscriteria Training in peer assessment Duidelijke argumentatie bij gegeven score govote.at => beantwoord de twee vragen

PA-onderzoek => adolescentiefase Relatie tussen scoring & feedback uitdiepen b) Interpersoonlijke processen kunnen resultaat PA- activiteit negatief beïnvloeden Onveilige leeromgeving Angst voor gevolgen negatieve beoordeling Vriendjespolitiek Wantrouwen in eigen evaluatiecapaciteiten en die van anderen Geen eensgezindheid over gebruikte criteria “Anonimiteit voor de beoordelaar / beoordeelde / t .a.v. leerkracht, in functie van het creëren van een veilige leeromgeving”

Focus leraar: Leerlingen Toetsing algemeen Feedback algemeen In welke mate vaststellen (monitoring) en welke mate ondersteunen (scaffolding) van het leerproces in lespraktijk? Overeenkomst leerling en leerkracht? Formatieve toetspraktijken Peer assessment Interpersoonlijke variabelen Betrouwbaarheid en validiteit Gebruik Leerlingen Zowel op het micro, macro, meso niveau.

Schrijven Waarom is schrijven belangrijk? Waarom wel/niet? Eigen schrijfervaringen?

Vakdidactiek Niet beperken tot het Nederlands, ook schrijven binnen de zaakvakken.

Taalgerichte vakdidactiek Feedback: op vorm én inhoud Taalproductie: praten én schrijven

Beter leren lezen en schrijven (2013) Departement Onderwijs en Vorming Twee aandachtspunten: Talenbeleid – Focus leraar Motivatie – Focus leraar & leerling Departement Onderwijs en Vo

Talenbeleid Taalbeleid Taalvakkenbeleid Decreet Vandebroucke: iedere leraar een taalleraar

Focus leraar: Ideologie: Moet ik schrijven aanleren binnen mijn vak? Self-efficacy: Kan ik schrijven aanleren binnen mijn vak? Attitude: Wil ik schrijven aanleren binnen mijn vak? Nut: Wat is het nut om schrijven aan te leren binnen mijn vak? Eigen schrijven: Hoe bewust ben ik met mijn schrijven bezig? (spellingsbewustzijn) Handleiding_O3B.pdf Zowel op het micro, macro, meso niveau.

Focus leraar: Evaluatie schrijven: Hoe beoordeel ik het schrijfproces en –product? Handboeken: Hoe creëer ik mijn schrijfopdrachten en lessen? Handleiding_O3B.pdf Zowel op het micro, macro, meso niveau.

Focus leerlingen: Self-efficacy: Kan ik schrijven? Schrijfactiviteit: Hoe vaak schrijf ik? Eigen schrijven: Hoe bewust ben ik met mijn schrijven bezig? (spellingsbewustzijn) Evaluatie schrijven: Hoe beoordeelt de leerkracht mijn schrijfproces en –product? Handleiding_O3B.pdf Zowel op het micro, macro, meso niveau.

Graadgroepen Voor deze opdrachten werken jullie in een bepaalde graad van het secundair onderwijs. Graadgroepen.xlsx Groepen 1 t.e.m. 10 1ste Graad Groepen 11 t.e.m. 20 2de Graad Groepen 21 t.e.m. 31 3de Graad

Stap : Materiaal ophalen

Stap : Materiaal ophalen Wat? Deontologische code Informed consent Afnamemateriaal

Stap : Materiaal ophalen Alle graden: 8 Leerkrachtenbundels (informed consent + vragenlijsten 8 * 20 Leerlingenbundels (informed consent + vragenlijsten (20 per klas, extra bundels op secretariaat) 8 USB-sticks als bedankje voor de leerkrachten 160 koekjes als bedankje voor de leerlingen Extra graad 1: 40 breed publiek vragenlijsten Waar? Lokaal 120.031 (2de verdiep nieuwbouw Henri Dunantlaan 2) Wanneer? Maandag 9 maart (9-17u)

Stap : Materiaal ophalen

Stap : Materiaal ophalen - Maak met je groep afspraken over wie er wat zal doen, en tegen wanneer! - Deze afspraken kunnen als basis dienen voor de exacte werkverdeling die jullie toevoegen aan de onderzoeksrapporten. (zie deel III Evaluatie)

STAP : deelnemers zoeken Volgens jullie graadgroep contacteer je: 1 leraar KSO + zijn/haar leerlingen uit 1 klas 2 leraren BSO + hun leerlingen uit hun respectievelijke klassen (1 klas per leraar) 2 leraren TSO + hun leerlingen uit hun respectievelijke klassen (1 klas per leraar) 3 leraren ASO + hun leerlingen uit hun respectievelijke klassen (1 klas per leraar) Het is cruciaal dat de data van de leerkracht kan gelinkt worden aan de leerlingen in die klas! Een klas mag slechts 1 keer bevraagd worden!

STAP : deelnemers zoeken Neem contact op met scholen (vanaf 7 maart) Database op bit.ly/onderwijsvlaanderen. Scholen in Gent (postcode 9000) mogen enkel gecontacteerd worden als je oud-leerling bent en eerst toestemming vraagt via pob@lists.ugent.be Elk groepslid contacteert maximaal 1 school op hetzelfde moment. Voeg de brief van de UGent in bijlage toe (zie Weebly)! Tips om kansen op een positief antwoord te verhogen Contacteer eerst de school waar je oud-leerling bent. Spreek de ontvanger aan met naam (indien mogelijk): geen standaard-mails! Houd je e-mail kort en duidelijk, en verwijs naar de brief in bijlage. Verzorg je taal en lees na voor het versturen Meer info over een correcte e-mail: Aanspreking, afsluiting.

STAP : deelnemers zoeken Hou bij welke scholen je contacteerde Vul aan op bit.ly/lijstscholen. Wees volledig! Duid aan of andere groepen hier ook terecht kunnen. Kijk de lijst na vòòr je contact opneemt Als een school al in de lijst staat (en de laatste kolom blanco is) mag je die niet meer contacteren. Als scholen niet reageren… Stuur je na enkele dagen een herinneringsmail. Als je enkele dagen later nog niets hoort, mag je een andere school contacteren. Verwijder de school die niet antwoordde dan wel uit de lijst!

Stap : Afname vragenlijsten Lees het Afnameprotocol_O3AB.pdf. Wees voorbereid: lees zelf de vragenlijsten eens grondig door! Door jullie in de klas of door de leerkracht zelf, in onderling overleg! Informed Consent voor zowel leraar als leerlingen ID_ code! Noteren nadat je de ingevulde vragenlijsten hebt meegenomen. ID_code leerkracht (6 cijfers): Groepsnummer, Schoolnummer, Leerkrachtnummer Voorbeeld: School 01 van Groep 13 en Leerkracht 1 wordt 1301-01 ID_code leerling (8 cijfers): Groepsnummer, Schoolnummer, Leerkrachtnummer, Leerlingnummer Voorbeeld: School 01 van Groep 13, Leerkracht 1 en Leerling 7 wordt 1301-01-07 (extra voor graad 1: ID_code (Groepsnummer, Participantnr)) Spreek onderling af welke school welk nummer krijgt.

Stap : Afname vragenlijsten Tel de vragenlijsten op voorhand na! Verdeel de taken: wie doet wat tijdens afname? Antwoorden controleren: ingevuld wat moet ingevuld zijn? Peer assessment JA/NEEN => juiste reeks vragen overgeslagen? ID-code toekennen: 2-maal per vragenlijst => deel schrijven & evaluatie Informed Consent van de leerling apart houden (informed consent van de leraar op de stapel informed consents van de leerlingen) Leerkracht vragenlijst op die van leerlingen leggen (samenbinden bij afgeven op het secretariaat) DUS per klas twee stapels: Stapel I: Informed consent Leerkracht + Leerling Stapel II: Vragenlijst leerkracht + vragenlijsten zijn/haar leerlingen

Stap : Data verwerken en ingeven Het ingeven van de data loopt helemaal gesplitst per deelopdracht! Voor sommige onderdelen kunnen jullie wel stukken kopiëren (zie codeerschema’s)

Stap : Data verwerken Evaluatie (3A) 1) Print en lees eerst de codeerschema’s (leerling & leerkracht)! => Dit document legt vraag per vraag uit hoe je antwoorden moet invoeren. 2) Gegevens invoeren in databestand_O3A_XX. Maak afspraken over wie wat zal doen! Je kan gegevens enkel invullen in de daarvoor voorziene vakken. Sommige versies Excel: ‘bewerken inschakelen klikken’ 3) Bij de verwerking van de ingevoerde gegevens (zie: Handleiding_O3A.pdf) maak je nooit kolommen bij in het databestand zelf! Als je extra kolommen wil bijmaken (om vb. gemiddeldes, percentages,... te berekenen) dan doe je dit achteraan! 4) Volledige bestand uploaden via dropbox op Minerva (8/5/2015) Dit wordt stap per stap uitgelegd in richtlijnen voor de dropbox.

Stap : Data verwerken Schrijven (3B) 1) Juiste databestand downloaden Graad1: Graad1_Databestand_O3B_XX.xlsx Graad2: Graad2_Databestand_O3B_XX.xlsx Graad3: Graad3_Databestand_O3B_XX.xlsx (Je graadgroep kan je vinden via Graadgroepen.xlsx) 2) Coderen DEEL 1 (leerkrachtvragenlijst): alle groepen (Graad 1, 2 en3) DEEL 2 : Kijk enkel naar het codeerschema van jouw graadgroep - Graad 1: Tabblad breed publiek (p 8 - 11) - Graad 2: Tabblad leerling (p 12 - 17) - Graad 3: Tabblad leerling (p 18 - 25) 3) Verwerking Bij de verwerking van de ingevoerde gegevens (zie: Handleiding_O3B.pdf) maak je nooit kolommen bij in het databestand zelf! Als je extra kolommen wil bijmaken (om vb. gemiddeldes, percentages,... te berekenen) dan doe je dit achteraan! Download (en druk af): Codeerschema_O3B.pdf

STAP : overleg in groep Gebruik Excel om de data te verkennen Maak gebruik van samenvattende maten (bv. gemiddelden, percentages,…). Stel interessante gegevens grafisch voor (bv. tabellen, grafieken,…). Meer info over werken met Excel: grafieken maken, soorten grafieken. Voor de opdracht Evaluatie: Lees Handleiding_O3A.pdf bij de vragen Voor de opdracht Schrijven: Lees Handleiding_O3B.pdf bij de vragen => Deze documenten geven meer uitleg over de waarden in de kolommen. Maak afspraken Wie doet wat? Maak een exacte werkverdeling (max. 1 pg.) van stap 1-6 voor bij het rapport

STAP : overleg in groep Benoemen assen en schalen. Gebruikelijke stijl voor een onderzoeksrapport. Werk met hypotheses en literatuur. Onderzoek kaderen binnen het thema. Vermijd gekleurd taalgebruik. 'Erg significante verschillen...' Lay-out verzorgen (uitlijnen) Verwijzen naar grafieken en bronnen. Geef de grafieken een passende plaats in de tekst.

STAP : overleg in groep Herhalingen vermijden. "Sommige hiervan werden ingelost, maar er waren ook een aantal verrassingen. Toch hebben sommige resultaten ons verrast.“ "Er werden alsook geen grote verschillen tussen de verschillende onderdelen gevonden. Bij de verschillende onderdelen van motivatie en houding zijn er ook geen grote verschillen gevonden. “ Niet steeds zeggen wat je gaat doen. "In dit slot bespreken we nog eens kort de conclusies uit dit onderzoek."

STAP : overleg in groep

STAP : overleg in groep Voorbeeld.docx

STAP : onderzoeksrapporten Per deelopdracht Min. 6 en max. 8 pag.’s Exclusief voorblad Times New Roman 11, interlinie 1,5, standaard marges Onderzoeksvragen op owkpob.weebly.com Deze zijn vooral bedoeld als inspiratie, en hoef je niet allemaal te beantwoorden Jullie zijn uiteraard vrij om zelf onderzoeksvragen te formuleren. Niet enkel beschrijven, maar ook interpreteren Probeer verklaringen te vinden voor je vaststellingen. Wees niet bang om eigen conclusies te trekken over de data.

Vragen en evaluatie Wat doe je als je vraag hebt over opdracht 2? Lees de uitgebreide instructies op owkpob.weebly.com na. Als je het antwoord niet vindt, stel je vraag op het forum voor opdracht 2. Als medestudenten je niet kunnen helpen, mail naar pob@lists.ugent.be 8 mei (8u30-10u30): feedbackmoment Deelname is niet verplicht. Als je feedback wil, stuur je je vragen ten laatste op 1 mei door. Vragen worden plenair besproken. Locatie wordt later via Minerva aangekondigd. De evaluatiecriteria 3A & 3B zijn op voorhand bekend Neem deze dus zeker goed door voor je het onderzoeksrapport schrijft!

Wanneer Wat Waar Op 09/03/2015 (9-17u) Tekenen deontologische code en informed consent, én ophalen onderzoeksmateriaal lokaal 120.031 (2de verdiep nieuwbouw Henri Dunantlaan 2) Voor 01/05/2015 (16u) Doorsturen vragen feedbackmoment (niet verplicht) pob@lists.ugent.be Op 08/05/2015 (9-16u) Ingevulde vragenlijsten 8 pakketjes met het ingevulde onderzoeksmateriaal. 1 leerkracht + zijn/haar leerlingen stop je samen (vb. in een doos of plastieken zak) Format: géén mapjes en niet ingebonden! Databestand Deelopdracht3A Databestand_O3A_XX.xlsx Databestand Deelopdracht3B Groep 1 tem 10: Graad1_Databestand_O3B_XX.xlsx Groep 11 tem 20: Graad2_Databestand_O3B_XX.xlsx Groep 21 tem 30: Graad3_Databestand_O3B_XX.xlsx (XX staat voor het groepsnummer) Secretariaat vakgroep Onderwijskunde    Dropbox op Minerva (zie document OpladenDropbox.pdf) 08/05/2015 (9u-10u30) Feedbackmoment (niet verplicht) Wordt meegedeeld via Minerva Op 22/05/2015 (9-16u) Deelopdracht3A: Een voorblad (1 A4) Het onderzoeksrapport (min. 6 - max. 8 A4) Exacte werkverdeling (max.1A4) Deelopdracht3B: Format: één papieren versie (nietje in linkerbovenhoek)