Print & Scan Wat kan ik leren uit print & scan analyses over mijn meerkeuzeexamen? Lisa De Jonghe O 2 : dienst Onderwijs Ondersteuning

Verloop seminarie 1. Wat is print & scan? 2. Werking print & scan 1. Voor examen 2. Tijdens examen 3. Na examen 3. Oefening

Wat is Print & Scan? Webgebaseerde toepassing: Enkel voor KU Leuven personeel: enkel docent, contactpersoon en DOeL-medewerker hebben toegang Gekoppeld aan studentenlijsten in KU Loket

Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 1: examen opstellen Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 1: examen opstellen Op basis van vooropgestelde leerdoelen Representatieve weergave (blauwdruk) van te kennen leerstof, moeilijkheidsgraad en aard vragen (kennis/inzicht/toepassing) Volgens richtlijnen voor het schrijven van goede meerkeuzevragen Meer informatie: zie informatie vorige MedEd Examen opstellen (cfr. Vorige MedEd)

Stap 1: aanvraag indienen Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 1: aanvraag indienen Zie website: maand voor het examen plaats vindt Aanvraag indienen # reeksen, # vragen

Stap 1: aanvraag indienen Aan te geven informatie: Aanvraag indienen # reeksen, # vragen Docent en contactpersoonZowel voor scannen als voor analyse nadien Datum examen Indien meerdere examendagen: 1 formulier en verschillende data opsommen Aantal vragenMeer dan 120?: neem contact op met O 2 Correctie voor radenIndien klassiek examen: verplicht ReeksenDezelfde vragen, andere volgorde Blanco antwoordformulierenAfh. van grootte groep (min. 15) Lijsten en etikettenoptioneel Aantal antwoordoptiesMeer dan 5?: neem contact op met O 2 Variërend aantal antwoordoptiesIndien ja: neem contact op met O 2

Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 1: beoordelingslijst Vanuit KU Loket Handleiding: Belangrijk: sorteer volgens examenmoment en vervolgens volgens alfabet (!) Antwoordformulieren worden op basis van deze lijst op naam gedrukt Beoordelingslijst trekken

Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 2: Antwoordformulieren Antwoordformulieren Antwoordformulieren alfabetisch (bv. in groep) vooraan uitdelen of studenten op naam in aula plaatsen Studenten aanwezigheidslijst laten handtekenen voor ontvangst en bij indienen van het formulier (2x) Formulieren kunnen op twee kleuren papier gedrukt worden (geel/wit)

Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 2: Instructies Duidelijke instructiepagina (voorblad) Geen antwoord: bolletje X Indien verschillende reeksen: formulieren mogen samen genomen worden Indien verschillende versies van het examen: apart ophalen / aparte bundels Instructies

Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 3: Scannen Naamsestraat 98 (Rectorshuis): op afspraak (±1u) Bij fouten studenten  manuele correctie Steeds onder begeleiding van medewerker centrale diensten (Mevr. Els Theunis) Enkele uren later: scanbestanden via mail (zie handleiding voor instructies opladen bestanden) Scannen

Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

Stap 3: Analyse resultaten Overzichtsrapport via online tool Hulpmiddel -> geen doel op zich Rapport analyseren (in overleg/team) én in combinatie met examenvragen Indien gewenst met ondersteuning van O 2 Analyse resultaten

Parameters van het vragen / examen Parameters vragen Vragensets creëren (max 5): afzonderlijke punten voor bepaalde delen van de cursus Vragen schrappen: indien nodig obv psychometrische data Parameters examen Herschaling punten: standaard /20 Wegingsfactor bepalen: indien gebruik vragensets (instructies naar studenten zo nodig aanpassen!) Analyse resultaten

Raadgever Analyse resultaten Analyse van de reeksen Controle 1 Significante verschillen tussen reeksen? Controle 2 Studenten met verkeerde reeks?

Raadgever Analyse resultaten Adviezen globaal Adviezen per vraag

Parameters van het examen Analyse resultaten P&A waarden De gebruikte kleurcodes zijn louter indicatief. Onderstaande criteria werden gehanteerd: P-waarde (juist antwoord) ROOD als P-waarde 80,ORANJE als 20 < P-waarde < 35 of als 65 < P-waarde <80 A-waarde (afleider, fout antwoord) ROOD als A-waarde > P-waarde Geen antwoord ROOD als % geen antwoord => 90, ORANJE als 50 < % geen antwoord < 90 *: juiste antwoord Relatief eenvoudige vragen (V4, V6, V7, V9,…) Antwoordalternatieven worden niet gekozen (V6, V7, V10, …) Fout in de sleutel / onduidelijke of moeilijke vraag / … (V10)

Upper / lower analyse Analyse resultaten proportie van studenten uit groep hoogst scorenden / proportie van studenten uit groep laagst scorenden

Frequenties en globale parameters Analyse resultaten Gebaseerd op afgeronde scores Histogram: wat is ideale verdeling?

Globale parameters Analyse resultaten Streven naar een Alpha > 0,6 à 0,7 Alpha = sterk gevoelig aan hoeveelheid vragen, samenhang examenvragen en heterogeniteit van de groep studenten

Descriptieve statistieken Analyse resultaten verband tussen score op de vraag en de score op het volledige examen streven naar een zo hoog mogelijke waarde: studenten die vraag juist beantwoordden, hadden een hoge score op het examen score tussen -1 en +1

Oefening U ontvangt een overzichtsrapport van een geanonimiseerd examen o Is dit een betrouwbaar examen? o Wat vindt u van de verdeling van deze punten? o Welke vragen zou u op basis van de psychometrische gegevens herbekijken of eventueel schrappen?

Vragen? Lisa De Jonghe Annick Dermine