Studiedag ‘Diversifiëren van evaluatiemethoden’ 5 juni 2008 Het doel van deze dag is niet expert te worden in evaluatiemethoden/vormen, maar wel te leren welke kritische vragen te stellen

Programma 09u00 Inleiding 09u15 Summatieve evaluatie 10u55 Pauze 11u15 Formatieve evaluatie 12u30 Lunch 13u30 Inleiding 13u45 Getuigenis Isabel Deprez (KHM) 14u30 Toetsbeleid en KULeuven 14u45 Pauze 15u 00 Oefening + terugkoppeling 16u30 Afsluiting en receptie

Oefening 1 Welke aanleidingen zie je om te werken rond evaluatie(methoden) (in de eigen faculteit of andere mogelijkheden)?

Evaluatie & BZ signaalfunctie realiseren van de doelstellingen leerproces sturen aanpassen van leeromgeving belang van communicatie ! De evaluatiecomponent is belangrijk omwille van verschillende redenen. Evaluatieactiviteiten worden gebruikt om studenten en didactisch team te informeren over gemaakte vorderingen en eventuele moeilijkheden. Evaluaties zijn een belangrijk signaal voor studenten over wat meer of minder belangrijk is geldt zowel voor summatieve als formatieve evaluatie De evaluatie moet afgestemd zijn op de doelstellingen van het opo (zodat studeergedrag ~wijze van evalueren). Nagaan of studenten een wetenschappelijk artikel kritisch kunnen beoordelen, gebeurt niet door studenten op het examen een artikel voor te leggen dat reeds besproken werd tijdens de colleges en hen te vragen de voornaamste aandachtspunten op te sommen. Beter wordt een nieuw artikel voorgelegd tijdens de evaluatie dat ze kritisch moeten bespreken. Wat studenten zullen leren is afhankelijk van wat ze verwachten te zullen moeten aantonen op het examen… (niet van uit gaan dat studenten dingen zullen leren zonder dat hiernaar gepeild wordt op het examen!) Als examen=theorieën weergeven (ongeacht wat er in de doelstellingen vermeld staat ….) dan zullen zij alles uit het hoofd gaan leren. MAAR indien examen bestaat uit niet geziene toepassingen van theoretische concepten, zullen studenten heel anders leren overeenkomst met doelstellingen belangrijk om te bereiken wat je vooropstelde. - Evaluaties laten studenten toe hun leerproces meer te sturen (en dus zelf verantwoordelijkheid op te nemen voor hun eigen leerproces) Studenten stemmen hun leeractiviteiten af op de manier van evalueren. Wanneer studenten weten dat het examen neerkomt op het reproduceren van definities, dan zullen zij voornamelijk memoriseren. Indien de docent echter aangeeft dat de studenten op het examen een nieuw probleem zullen moeten oplossen, dan zullen studenten een ander studeergedrag vertonen. Evaluatie en leeractiviteiten staan dus nauw met elkaar in verband. student verantwoordelijkheid laten opnemen voor het eigen leerproces Het is nuttig om in de loop van het onderwijsleerproces regelmatig te evalueren zodat leeromgeving op grond van ingewonnen informatie kan worden aangepast. Evaluatie en ondersteuning staan nauw met elkaar in verband. D.m.v. de gebruikte werkvormen, studiemateriaal, docent en assistenten worden studenten voorbereid op de uiteindelijke evaluatie. vanuit docent-perspectief / leerproces ondersteunen / bij formatieve evaluatie? verwijst dit naar summatieve evaluatie?

Doel van evaluatie summatief formatief product proces ondersteuning leerproces signaleren tekorten belang van feedback resultaatsbepaling (eind)beoordeling product proces Met evaluatie wordt nagegaan in welke mate studenten vooropgestelde doelstellingen bereikt hebben. Naargelang het doel van de evaluatie spreekt men van product/procesevaluatie enerzijds en summatieve/formatieve evaluatie anderzijds. Evaluatie wordt niet alleen gebruikt voor het toekennen van punten of een diploma (summatieve evaluatie), maar ook om het leerproces van de student te ondersteunen (formatieve evaluatie). Summatieve evaluatie(onderwijsperiode afsluiten met eindevaluatie): het gaat om de beoordeling van de student  om te beslissen of iemand geslaagd is. (men zamelt info over langere termijn in) Formatieve evaluatie: niet zozeer bedoeld om na te gaan of iemand geslaagd is, maar wel om de student in te lichten over zijn eigen kennen en kunnen in vergelijking met de verwachtingen en eisen van het didactisch team of de opleiding. Cruciaal is dat de studenten feedback krijgen over hun sterke en zwakke kanten en de kans krijgen om te oefenen, fouten te maken, te remediëren.. Daarnaast wordt ook een onderscheid gemaakt tussen product- en procesevaluatie. Productevaluatie: (meest bekend vorm) verwijst naar de evaluatie waarbij wordt nagegaan of een student heeft bereikt wat van hem verwacht wordt. Het uiteindelijke resultaat wordt dus bekeken. Procesevaluatie: verwijst naar het systematisch inwinnen van informatie over het verloop van het leerproces. Het gaat dus niet enkel om het uiteindelijke resultaat van het leerproces, maar er wordt vooral gekeken naar de manier waarop de doelstellingen werden nagestreefd en gerealiseerd. [Evaluatieactiviteiten worden steeds meer in het leer- en instructieproces geïntegreerd. Formatieve evaluatie ter begeleiding van het leerproces van studenten speelt dan ook een onmisbare rol. ] uiteindelijke resultaat verloop leerproces

Opzetten van evaluatie WAAROM summatief – formatief / product – proces WAT cognitieve, sociale, schriftelijke vaardigheden,… WIE docent, team, externe beoordelaar, medestudent, student zelf HOE schriftelijk/mondeling, paper, open/gesloten boek, … WANNEER einde opleidingsonderdeel, permanente evaluatie Bij het opzetten van een evaluatie dienen volgende aspecten in overweging te worden genomen: Waarom? Heeft de evaluatie als functie de student te beoordelen (summatieve) of wordt de evaluatie opgezet vanuit de bedoeling om het leerproces van de student te begeleiden en sturen (formatieve)? Wordt een eindproduct geëvalueerd (productevaluatie, bijv. opdracht , oefening met beoordeling,…) of staat de evaluatie van het doorlopen van het leerproces centraal (procesevaluatie, bijv. portfolio Wat? Wat wil men precies meten? Welke vaardigheden worden getoetst: (meta)cognitieve, sociale, moto-rische, dynamisch-affectieve vaardigheden? Wat moet een student kunnen aantonen tijdens de evaluatie? Voor cognitieve doelen maakt men het onderscheid tussen kennis, toepassing, inzicht en integratie. Kennis: op te lossen o.b.v. herinnering of herkenning, de vraag bevat bekende probleemsituaties Toepassing: op te lossen o.b.v. formule, wet of oplossingsprincipe, de vraag bevat een nieuw probleem Inzicht: op te lossen o.b.v. zelfstandig denken (interpretatie, analyse, synthese, evaluatie), de vraag moet georganiseerd worden om tot een antwoord te komen Integratie: de vraag vereist integratie van 3 bovenstaande om tot een oplossing te komen Wie? Wie zijn de evaluatoren? Hoe de evaluatie organiseren? Voor welke evaluatievorm kiest men? Op basis van de doelstellingen die men wil nagaan, kiest het didactisch team de evaluatiemethode die hiervoor het best in aanmerking komt (gesloten boek, open boek, take-home, paper, verslag, presentatie, oefening met beoordeling, medewerking tijdens contactmomenten, peer-assessment, self assessment). Voor welke modaliteit kiest men? (schriftelijk, mondeling met schriftelijke voorbereiding) Wanneer vindt de evaluatie plaats? Het moment waarop wordt geëvalueerd hangt sterk samen met het doel van de evaluatie. (op einde van een opleidingsonderdeel of permanente evaluatie?) CRITERIA betrouwbaarheid, validiteit, transparantie

Ik doe geen mondelinge examens, want de studentengroep is te groot Ik geef een toepassingsgericht examen, omdat ik ook heel het jaar met mijn studenten op die manier gewerkt heb Op het einde van elke les bespreek ik een mogelijke examenvraag Ik gebruik meerkeuzevragen, want mijn studenten zitten in eerste Bachelor Ik gebruik peer-assessment om het groepspunt te nuanceren Ik laat studenten een artikel bespreken, omdat de kritische beoordeling van wetenschappelijke artikels een belangrijk doel van mijn cursus is Allerlei mogelijke redenen om voor een bepaalde examenvorm te kiezen Ik geef een schriftelijk examen op het einde van het semester, want mijn opleidingsonderdeel is heel inleidend

Groepsgrootte Betrouwbaarheid van de evaluatievorm Jaar waarin OPO geprogrammeerd staat Validiteit van de evaluatievorm Vakinhoud Transparantie van de evaluatievorm

Criteria voor evaluatie Betrouwbaarheid vermijden van toevalsfactoren inter-beoordelaars / inter-taak / test-hertest Inhoudsvaliditeit representeren van doelstellingen meten wat men wil meten Transparantie (aanvaardbaarheid) informatie organisatie Het is belangrijk dat beslissingen die voortvloeien uit summatieve evaluaties (buizen of niet) voor de student in kwestie aanvaardbaar is. Betrouwbaarheid: het resultaat van studenten op een evaluatie mag zo min mogelijk door toevallige omstandigheden worden bepaald. Hoe geringer de invloed van toevalsfactoren op de evaluatie , hoe betrouwbaarder de uitkomst van de evaluatie. Een evaluatie wordt betrouwbaar genoemd als het er niet toe doet wie de toets heeft afgenomen (inter-beoordelaar), met welke vragen of opdrachten een vaardigheid wordt gemeten (inter-taak) of op welk moment de evaluatie plaatsvindt (test-hertest). Betrouwbaarheid is een kwestie van toevalligheden/meetfouten uitsluiten het meetinstrument (bv. onduidelijke vragen) de meetsituatie (bv. grote tijdsdruk, storende omstandigheden) de beoordelaar (bv. subjectiviteit) de student (bv. vermoeidheid, motivatie) Goede inhoudsvaliditeit levert een bijdrage aan transparantie. Als evaluatie een goed afspiegeling is van doelstellingen, zowel naar vorm als naar inhoud. Studenten moeten ook weten wat de bedoeling is van de evaluatie, wat van hen verwacht wordt, welke criteria en evaluatievorm wordt gebruikt. Evaluatie moet een goede weerspiegeling zijn van de doelstellingen van het opo. En, gaat een vraag echt na wat men wil weten? Soorten validiteit: Inhoudsvaliditeit / Begripsvaliditeit - Authenticiteit (‘echtheid’) Belangrijk is tenslotte dat een evaluatieactiviteit transparant/aanvaardbaar is. Een goede inhoudsvaliditeit levert een belangrijke bijdrage aan de transparantie. Als de evaluatie een goede afspiegeling is van de doelstellingen (zowel naar vorm als inhoud), dan zal dit de aanvaardbaarheid voor alle betrokkenen vergroten. Maar de eis van transparantie en aanvaardbaarheid geldt ook voor de hele organisatie van de evaluatie: studenten moeten precies weten wat de bedoeling van de evaluatie is, wat van hen wordt verwacht, welke criteria en welke evaluatievorm worden gebruikt, enz.

Oefening 2 – 9u45-10u15 Wat zijn de voor- en nadelen van elke examenvorm? Wat betekenen de kwaliteitscriteria voor mondeling / schriftelijk examen? Hoe kan je de betrouwbaarheid, validiteit en transparantie voor elke evaluatievorm garanderen? In 4 groepen: mondeling en schriftelijk examen. Onder schriftelijk examen komen ook topics als meerkeuzevragen, open vragen, open boek examen, gesloten boek examen aan bod. Dit wordt best vermeld bij de opdracht.  Volgende vier dia’s op bord zetten

Mondeling examen Betrouwbaarheid (moeilijk) te waarborgen Beoordelaarseffecten Validiteit moeilijk te verwezenlijken Beperkt aantal vragen Beperkte tijdsduur Weerspiegeling van doelstellingen Transparantie te verwezenlijken Communicatie naar studenten Bv. beoordelaarseffecten Halo-effect Beoordelaars hebben soms de neiging andere kenmerken van een student mee te laten wegen bij de beoordeling van de studentprestatie dan het te beoordelen criterium (de taalvaardigheid van een student). Normverschuiving Beoordelaars passen de norm voor een goede prestatie soms aan de vaardigheid van een totale groep studenten aan, in plaats van de prestatie aan een bepaald criterium te relateren. Bv. De docent heeft de neiging steeds milder te worden naarmate hij meer (relatief zwakke) prestaties beoordeelt. Antwoorden die hij in het begin fout rekende, worden later in de beoordeling goed gerekend. Sequentie-effect Wanneer een beoordelaar meerdere prestaties na elkaar beoordeelt, bestaat de kans dat de beoordeling van een prestatie beïnvloed wordt door de voorgaande prestaties, in plaats van dat er enkel gekeken wordt naar het te beoordelen criterium. Andere nadelen: Tijdsintensief Owv tijdsdruk vaak niet tot echt gesprek komen Mondige studenten kunnen examen ‘sturen’ Extra stress bij minder taalvaardige studenten Voordelen: Mogelijkheid tot nuanceren, herformuleren (directe interactie) Doorvragen Hoog cognitief niveau Geen beroep op schriftelijke vaardigheden Studeergedrag (studenten weten dat mondeling examen niet over ‘feiten en rijtjes’ gaat)

Schriftelijk examen Betrouwbaarheid Validiteit Transparantie te verwezenlijken objectieve correctieregels alle studenten dezelfde vragen (vergelijkbaarheid) cesuur Validiteit te verwezenlijken groot aantal vragen (gesloten of korte essay) langere tijdsduur = representativiteit Andere nadelen: Bepaalde doelstellingen schriftelijk moeilijk na te gaan (bv. een complex begrip helder uitleggen, oplossingsstrategieën hanteren in verschillende uiteenlopende situaties, mondeling standpunt verdedigen,…) Voordelen: Minder tijdsintensief? (tenminste als men voor gesloten of korte essayvragen kiest) Correctie kan worden verdeeld over meerdere beoordelaars Alle studenten in één keer dus doorgeven van examenvragen beperkt mogelijk Papieren neerslag (bewijsmateriaal)  ‘openbaarheid van bestuur’ : studenten mogen tot een jaar na het examen alle documenten die op hen betrekking hebben inkijken. Transparantie te verwezenlijken communicatie naar studenten

Waarborgen van betrouwbaarheid Hoe nauwkeurig en consistent is de meting?

Waarborgen van betrouwbaarheid Samenstelling Heldere en eenduidige vragen Mix van moeilijkheidsgraad Omstandigheden Instructies, omgeving, beschikbare tijd Beoordeling Nauwkeurig en gedetailleerd antwoordmodel

Waarborgen van betrouwbaarheid Correctievoorschrift Antwoordmodel opsomming van goede, minder goede en foute antwoorden Scoringsvoorschrift maximale score, deelscores, bonus- en maluspunten Beoordelaarsinstructies algemene richtlijnen (bv. voor gezamenlijk corrigeren, nakijken per vraag i.p.v. per student) Definities uit: http://www.cito.nl/exp/share/beglist1.htm (CITO toetstechnische begrippenlijst) CORRECTIEVOORSCHRIFT (Eng. Scoring instructions, Scoring system) : deze gelden enkel voor interbeoordelaarsbetrouwbaarheid, en niet voor beide andere vormen? Klopt. Test-hertest betrouwbaarheid is moeilijker te waarborgen. Intertaakbetrouwbaarheid ook, maar zou je eventueel kunnen nagaan over de jaren heen. Een correctievoorschrift is een bij een open-vraagtoets behorende lijst met richtlijnen voor beoordelaars. Het correctievoorschrift bestaat uit een antwoordmodel, een scoringsvoorschrift en een beoordelaarsinstructie. ANTWOORDMODEL (Eng. (Set of) Model answers, Scoring system) Een antwoordmodel is een opsomming van goede, soms van minder goede en foute antwoorden bij open vragen, bedoeld als richtlijn voor de beoordelaar. Het antwoordmodel is een onderdeel van het correctievoorschrift. Zie verder: beoordelingsschema. SCORINGSVOORSCHRIFT (Eng. Scoring rules) Een scoringsvoorschrift is een onderdeel van het correctiemodel. In het voorschrift worden vermeld: de maximaal haalbare toetsscore en de scorepunten, en eventueel nog: de aftrekpunten en de bonuspunten, een en ander afhankelijk van onder andere goede of gedeeltelijk goede antwoorden. Het scoringsvoorschrift beschrijft welke antwoorden goed, welke gedeeltelijk goed en welke als fout moeten worden beschouwd. Indien mogelijk en nodig wordt omschreven wanneer bonuspunten worden toegekend c.q. aftrekpunten in mindering worden gebracht BEOORDELAARSINSTRUCTIES Afspraken over beoordelen, bv. in het geval van meerdere beoordelaars

Voorbeeld antwoordmodel

Voorbeeld scoringsvoorschrift gewicht van criteria? fout = 0 of ook negatieve scores? terugkerende fouten eenmaal afstraffen? antwoorden die niet in antwoordmodel? uitgebreider antwoord dan verwacht? … Mogelijke aspecten waarover beslissingen moeten worden genomen: Hoe worden verschillende criteria tegenover elkaar afgewogen? Weegt bv. schrijfstijl even zwaar door als het theoretisch kader? Worden er tijdens het beoordelen onmiddellijk scores gegeven of eerder een kwantitatieve beoordeling (onvoldoende/voldoende/goed/zeer goed) ; zeker voor tussentijdse feedback is dit laatste te verkiezen (cf. onderzoek waaruit blijkt dat scores de aandacht van woordelijke feedback afleiden). Wordt er voor een fout antwoord 0 gegeven of zijn er ook echte ‘flaters’ die negatief doorwegen? Kan een student in het totaal een score lager dan 0 behalen? Wordt een terugkerende fout eenmaal afgestraft? Wat indien het eindresultaat wel correct is, maar de verklaring of redenering ontbreekt of is fout? Wat doe je met antwoorden die je niet had verwacht (dus niet in het antwoordmodel staan) maar die toch gedeeltelijk juist zijn? Als je het antwoordmodel aanpast, wat dan met de reeds gecorrigeerde exemplaren? Wat doe je als de student meer antwoorden geeft of in een paper meer uitweidt dan gevraagd? Is dit een bonuspunt waard? Of eerder een demonstratie van niet compact te kunnen afbakenen waarover het gaat en misschien zelfs een negatieve score waard?

Beoordelaarsinstructies Instructies m.b.t.: wijze van beoordelen bv.: nakijken per vraag in plaats van per student dubbelblind verbeteren antwoordmodel bijstellen na correctie steekproef richtlijnen bij meerdere beoordelaars bv.: geen aantekeningen maken op het examen volgorde studenten wisselen twijfelgevallen - 2de beoordelaar Om de betrouwbaarheid te vergroten kunnen volgende technieken worden aangewend: Dubbelblind verbeteren: verschillende personen beoordelen dezelfde paper (zonder te weten wat de score was die de ander heeft gegeven). Indien de scores te ver uit elkaar liggen, moet het beoordelingsmodel worden aangepast tot voor iedereen te criteria en scoringsregels duidelijk zijn. Een eerste versie van beoordelingsmodel opstellen, daarna een steekproef corrigeren en het model verfijnen (vaak kan men immers niet alle juiste/foute antwoorden voorspellen die studenten zullen geven). Voor het verbeteren van examens: Altijd best om vraag per vraag te corrigeren ipv student per student De volgorde van de examenformulieren wisselen zodat geen eventuele verschillen opduiken voor de eersten en de laatsten in de stapel 2.1 Tips ter bevordering van intra-beoordelaarsbetrouwbaarheid Neem van tevoren goed het beoordelingsmodel door Het is van groot belang dat u van tevoren het beoordelingsmodel goed doorneemt. Op deze manier is de kans het grootst dat u enkel kijkt naar de te beoordelen criteria en u zich niet laat leiden door andere factoren. Het kan ook handig zijn om op voorhand te oefenen met een aantal prestaties (bij voorkeur met (oude) prestaties die niet van de betreffende studentengroep zijn). Zo krijgt u het beoordelingsmodel goed in de vingers en weet u wat u wel goedkeurt en wat niet meer. Wanneer u vervolgens begint met het échte beoordelen, hanteert u bij de eerste en de laatste student dezelfde grenzen en heeft elke student dezelfde kans van slagen. Beoordeel per opgave: Door alle prestaties per opgave te beoordelen (en niet per student) vermindert u de kans dat u beïnvloed wordt door andere studentkenmerken dan de taalvaardigheid (halo-effect). Bovendien focust u zich hiermee optimaal op de criteria die gesteld worden aan die specifieke opdracht. Varieer de volgorde: Hiermee voorkomt u voornamelijk het sequentie-effect. Met het variëren van de volgorde van de studenten per opdracht wordt iedere student zo onafhankelijk mogelijk beoordeeld; onafhankelijk van zijn medestudenten. Beoordeel niet te lang achter elkaar: Het is belangrijk dat u genoeg pauzes neemt. Wanneer u namelijk te lang doorgaat, verslapt uw concentratie en bent u minder gericht op de criteria waarop beoordeeld wordt. De kans is dan groter dat andere, ongewenste factoren een rol gaan spelen bij de beoordeling en u in één van bovengenoemde valkuilen valt. Hierbij moet opgemerkt worden dat het wel handig is om de prestaties op één opgave direct achter elkaar te beoordelen, zodat het beoordelingsmodel en de criteria nog vers in uw geheugen zitten. U kunt dan bijvoorbeeld tussen verschillende opgaven pauzes inbouwen. Twijfelgevallen apart leggen: Wanneer u twijfelt over een de beoordeling van bepaalde prestatie, kunt u deze prestatie het best even opzij leggen. Op het moment dat u er voor de tweede keer naar kijkt, kunt u er weer met een frisse blik naar kijken. U kunt er ook voor kiezen een tweede beoordelaar de prestatie te laten beoordelen. Hieronder volgt meer informatie over het werken met een tweede beoordelaar.

Waarborgen van validiteit Meet het instrument wat het beoogt te meten?

Waarborgen van validiteit Toetsmatrijs ‘blauwdruk’ die een systematische constructie van een examen wil garanderen verschillende doelstellingen en/of onderdelen van een opo op een evenwichtige manier vertegenwoordigen (representativiteit) Bij het opstellen van een examen is het belangrijk dat de verschillende doelstellingen en/of onderdelen van het opleidingsonderdeel op een evenwichtige manier zijn vertegenwoordigd. De docent kan hiervoor gebruik maken van een toetsmatrijs (ook specificatietabel genoemd). Het gebruik van een toetsmatrijs is specifiek bedoeld voor evaluaties waarin representativiteit wordt nagestreefd. Op die manier voorkomt men dat na het construeren van de afzonderlijke vragen blijkt dat er te veel op dezelfde leerinhoud of dezelfde vaardigheid zijn gericht en dat andere onderdelen minder aandacht zouden krijgen dan men zou wensen. Een toetsmatrijs is een tabel waarin aangegeven wordt hoe de opgaven in een examen zijn verdeeld over de leerstof in combinatie met de vooropgestelde doelstellingen. De toetsmatrijs is een soort blauwdruk, een uitgewerkt plan, dat een systematische constructie van een examen wil garanderen. Een examen dat is geconstrueerd op basis van een systematisch plan zal eerder bruikbare en betekenisvolle scores opleveren dan een examen waarvan de vragen op niet systematische wijze zijn samengebracht. Een toetsmatrijs is een schema met een horizontale en verticale verdeling. Op de ene as staan de doelstellingen vermeld, op de andere as wordt de inhoudelijke invulling van het opleidingsonderdeel, de leerstofonderdelen, geplaatst. Voor elke doelstelling wordt vervolgens gespecificeerd in welke mate men dat in elk inhoudelijk thema/hoofdstuk nastreeft. Als men twee examens over dezelfde leerstof wil maken, kan de gelijkwaardigheid tussen die examens (qua inhoud, moeilijkheidsgraad, …) worden vergroot door ze beide op te stellen aan de hand van één toetsmatrijs

Toetsmatrijs Doelstellingen Leerstof Kennis van belangrijkste concepten Begrijpen van onderzoeks-resultaten Toepassen van theoretische kaders Totaal Hoofdstuk 1 5 % geïntegreerde vragen over HS 1, 2, 3, 4, 5 0 % 10 % Hoofdstuk 2 15 % 20 % Hoofdstuk 3 Hoofdstuk 4 30 % Hoofdstuk 5 50% 25% 25 % 100 % Stel dat een opleidingsonderdeel is opgebouwd rond drie grote doelstellingen nl. kennis van concepten, begrijpen van onderzoeksresultaten en kunnen toepassen van theoretische kaders in een specifiek vakdomein. Vanuit deze doelstellingen wordt vervolgens door de docent voor elk hoofdstuk gespecificeerd in welke mate deze doelstellingen zich tot elkaar verhouden. Zo kan men bijv. uit de toetsmatrijs aflezen dat het opleidingsonderdeel voor 50% is opgebouwd uit het aanbrengen van belangrijke concepten en telkens 25% uit het leren begrijpen van onderzoeksresultaten of leren toepassen van theoretische kaders. Wanneer bijvoorbeeld een meerkeuze-examen van 40 vragen wordt voorzien, kan een representatieve verdeling van de vragen over de doelstellingen en hoofdstukken uit de toetsmatrijs worden afgeleid. Zo kan men bijv. afleiden dat er dubbel zoveel vragen m.b.t. kennis van concepten moeten worden gesteld dan vragen over onderzoeksresultaten of theoretische kaders. Ook voor de verdeling over de cursusinhoud (hoofdstukken) geeft de tabel concrete aanwijzingen. Als men beslist om 10 vragen m.b.t. onderzoeksresultaten te stellen, dan zou het goed zijn als er 4 vragen geïnspireerd zijn op hoofdstuk 2 en telkens 2 vragen op hoofdstuk 3, 4 en 5. Niet alle cellen in de toetsmatrijs moeten worden ingevuld. Afhankelijk van het belang dat de docent hecht aan representativiteit over de doelstellingen enerzijds en de leerstof anderzijds zal de toetsmatrijs er ook telkens anders uitzien. Zo kan een docent bijv. verkiezen om de examenvragen niet representatief te verdelen per leerstofonderdeel, maar per doelstelling vragen opmaken waarin verschillende leerinhouden worden gecombineerd. Zulke toetsmatrijs ziet er bijv. als volgt uit: Voorbeeld: in elk hoofdstuk komt een onderzoekstraditie aan bod, op het examen krijgen studenten een artikel/experiment dat zij binnen één van de tradities moeten situeren.