Kwaliteitszorg Onderwijs GW dr Kwaliteitszorg Onderwijs GW dr. Henk Boer, OWD / Opleidingsdirecteur Psychologie 16-11-2018

Kwaliteitszorg Onderwijs GW Intensieve vakevaluaties achteraf Panelgesprekken met jaarvertegenwoordigers (studenten in het vak) Procedures voor klachtenmeldingen door studenten Exit enquetes Bachelor en Master Sinds 2009-2010 ook: Kwaliteitsborging Toetsing en Beoordeling Screening Afstudeeropdrachten 16-11-2018 2 2

Kwaliteitsborging Toetsing en Beoordeling Doelen Borging kwaliteit van toetsing en beoordeling - Garanderen dat een student voldoet aan de leerdoelen van een vak Stimulering van professionalisering van docenten Vroegtijdig signaleren van probleempunten en zorgen voor verbeteringen in de toetsing 16-11-2018 3 3

Screening afstudeeropdrachten (Ba en MA) Doelen screening afstudeeropdrachten Bewaken niveau van de eindwerken Zorgen voor een meer uniforme beoordeling van de eindwerken 16-11-2018 4 4

Kwaliteitsborging Toetsing en Beoordeling Info van de docent, aangevuld met info van de onderwijscoordinator Toetsbeschrijvingsformulier Beoordeling door lid van de examencommissie Toetscreeningsformulier 16-11-2018 5 5

Toetsbeschrijving (info van docent) Een week na einde vak ontvangt docent Toetsbeschrijvingsformulier. In dit formulier vult de docent de volgende gegevens in: Vakbeschrijving: meestal info uit Osiris Toetsschema: gehanteerde toetsen en voor welke leerdoelen welke toetsen werden gebruikt (toetsmatrijs) en weging van de toetsen Transparantie: welke info is aan de studenten via BB bekend gemaakt Beschrijving van de beoordeling: Antwoordmodel mc en open vragen (voegt antwoordmodel toe) Beoordelingsformulier opdracht (voegt beoordelingsformulier toe) 16-11-2018 6 6

Toetsbeschrijving (info van docent) Behaalde resultaten door de studenten Ruwe scores en cijferverdeling Psychometrische analyse van de toets Betrouwbaarheid toets (interne consistentie: Cronbach alpha) Moeilijkheid van de vragen (p waarde: % goed) Onderscheidingsvermogen items (item-rest correlatie) Evaluatie verloop vak en toets door docenten (schriftelijke toelichting) De toets zelf

Toetsbeschrijving (info van de onderwijs coordinator) Evaluatie tentamen door studenten Overzicht behaalde eindcijfers (BOZ gegevens) 16-11-2018 8 8

Toetsscreeningsformulier (voor lid Ex Cie) Beoordeling van de informatie in het Toetsbeschrijvingsformulier Beoordeling Toetsschema: Sluit de toetsvorm aan bij (het type) leerdoelen? Beoordeling toetsmatrijs Zijn alle leerdoelen getoetst? (check bij welk leerdoel een aantal tentamen vragen horen) Toetsvorm tentamen Zijn de toetsvragen te begrijpen? Is er een goede antwoordsleutel? Zijn er niet te veel vragen in ongewijzigde vorm uit eerdere toetsen?

Toetsscreeningsformulier (voor lid Ex Cie) Toetsvorm: opdracht Is er een beoordelingsformulier met beoordelingscriteria? Transparantie Is informatie over de toetsing helder gecommuniceerd aan de student? Analyse van de tentamenresultaten Is er een psychometrisch analyse uitgevoerd? (indien mogelijk) Moeilijkheid van de vragen is onderzocht? Onderscheidingsvermogen vragen onderzocht? (samenhang vraag met totaal score)

Toetsscreeningsformulier (voor lid Ex Cie) Cesuur, cijferverdeling en slagingspercentage Is de cesuur redelijk? (hoeveel vragen goed voor een 6) Is het percentage geslaagden redelijk? (Niet extreem) Is de cijferverdeling redelijk (er moet wel spreiding zijn) Oordeel studenten toetsing vak (tentamen en opdracht) Op basis van vakevaluatie: < 3 aandachtpunt Zijn er specifieke omstandigheden geweest bij het verloop vak?

Rapportage aan de docent Examencommissie stuurt brief naar de docent met screeningsresultaten Akkoord Aandachtspunt Kritiekpunt (herscreening volgende keer)

Jaarlijkse screening van theses (door Ex Cie) Griffier selecteert willekeurig 30 bachelor theses en 30 master theses Aantal geselecteerde theses is evenredig aan het aantal theses in elke afstudeerrichting (bij Psychologie 5 richtingen) Theses op alfabetische volgorde: eerste kiezen en dan vervolgens begeleider anders en cijfer anders, etc. (doel is variatie) Eerste screener beoordeelt de thesis en gebruikt daarbij hetzelfde beoordelingsformulier als de begeleidende docenten Aan de screening per these wordt maximaal 20 minuten besteed

Screening van theses (door Ex Cie) Rol van het cijfer voor functioneren student en de afstudeervoordracht kan rol spelen bij verklaren van discrepantie met docent cijfer Beoordeling door tweede screener volgt als Het cijfer meer dan een punt afwijkt van de docent beoordeling Er bepaalde kritieke punten zijn gevonden Wanneer de screener de scriptie als onvoldoende beschouwd. De resultaten worden besproken in de werkgroep uit de Ex Cie en eventueel met de docent Bespreekgevallen wijken 2 punten of meer af Verslaglegging van de uitkomsten in het jaarverslag Ex Cie

Aanbevelingen Borging kwaliteit toetsing belangrijk instrument bij bevordering professionalisering docenten Met de formulieren kan dit op een relatief eenvoudige wijze worden uitgevoerd Borging kwaliteit theses belangrijk voor handhaven niveau opleiding Borging kwaliteit theses is een grotere uitdaging, omdat er in het schrijfproces van theses meer factoren van belang zijn (variatie in beoordeling tussen groepen docenten)