Print & Scan Wat kan ik leren uit print & scan analyses over mijn meerkeuzeexamen? Lisa De Jonghe O 2 : dienst Onderwijs Ondersteuning.

Presentatie over: "Print & Scan Wat kan ik leren uit print & scan analyses over mijn meerkeuzeexamen? Lisa De Jonghe O 2 : dienst Onderwijs Ondersteuning."— Transcript van de presentatie:

1 Print & Scan Wat kan ik leren uit print & scan analyses over mijn meerkeuzeexamen? Lisa De Jonghe O 2 : dienst Onderwijs Ondersteuning

2 Verloop seminarie 1. Wat is print & scan? 2. Werking print & scan 1. Voor examen 2. Tijdens examen 3. Na examen 3. Oefening

3 Wat is Print & Scan? Webgebaseerde toepassing: https://webapps.icts.kuleuven.be/printenscan https://webapps.icts.kuleuven.be/printenscan Enkel voor KU Leuven personeel: enkel docent, contactpersoon en DOeL-medewerker hebben toegang Gekoppeld aan studentenlijsten in KU Loket

4 Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

5 Stap 1: examen opstellen Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

6 Stap 1: examen opstellen Op basis van vooropgestelde leerdoelen Representatieve weergave (blauwdruk) van te kennen leerstof, moeilijkheidsgraad en aard vragen (kennis/inzicht/toepassing) Volgens richtlijnen voor het schrijven van goede meerkeuzevragen Meer informatie: zie informatie vorige MedEd http://med.kuleuven.be/nl/dog/studiedagen/opleidingsaanbod#Meerkeuzeexamen http://med.kuleuven.be/nl/dog/studiedagen/opleidingsaanbod#Meerkeuzeexamen Examen opstellen (cfr. Vorige MedEd)

7 Stap 1: aanvraag indienen Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

8 Stap 1: aanvraag indienen Zie website: http://doel.kuleuven.be/doo/ondersteuning/MK http://doel.kuleuven.be/doo/ondersteuning/MK 1 maand voor het examen plaats vindt Aanvraag indienen # reeksen, # vragen

9 Stap 1: aanvraag indienen Aan te geven informatie: Aanvraag indienen # reeksen, # vragen Docent en contactpersoonZowel voor scannen als voor analyse nadien Datum examen Indien meerdere examendagen: 1 formulier en verschillende data opsommen Aantal vragenMeer dan 120?: neem contact op met O 2 Correctie voor radenIndien klassiek examen: verplicht ReeksenDezelfde vragen, andere volgorde Blanco antwoordformulierenAfh. van grootte groep (min. 15) Lijsten en etikettenoptioneel Aantal antwoordoptiesMeer dan 5?: neem contact op met O 2 Variërend aantal antwoordoptiesIndien ja: neem contact op met O 2

10 Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

11 Stap 1: beoordelingslijst Vanuit KU Loket Handleiding: https://icts.kuleuven.be/docs/at/cm/es/a/docent/handleiding/mb https://icts.kuleuven.be/docs/at/cm/es/a/docent/handleiding/mb Belangrijk: sorteer volgens examenmoment en vervolgens volgens alfabet (!) Antwoordformulieren worden op basis van deze lijst op naam gedrukt Beoordelingslijst trekken

12 Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

13 Stap 2: Antwoordformulieren Antwoordformulieren Antwoordformulieren alfabetisch (bv. in groep) vooraan uitdelen of studenten op naam in aula plaatsen Studenten aanwezigheidslijst laten handtekenen voor ontvangst en bij indienen van het formulier (2x) Formulieren kunnen op twee kleuren papier gedrukt worden (geel/wit)

14 Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

15 Stap 2: Instructies Duidelijke instructiepagina (voorblad) Geen antwoord: bolletje X Indien verschillende reeksen: formulieren mogen samen genomen worden Indien verschillende versies van het examen: apart ophalen / aparte bundels Instructies

16 Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

17 Stap 3: Scannen Naamsestraat 98 (Rectorshuis): op afspraak (±1u) http://www.kuleuven.be/duo/dienst/hoetebereiken.html http://www.kuleuven.be/duo/dienst/hoetebereiken.html Bij fouten studenten  manuele correctie Steeds onder begeleiding van medewerker centrale diensten (Mevr. Els Theunis) Enkele uren later: scanbestanden via mail (zie handleiding voor instructies opladen bestanden) Scannen

18 Werking Print & Scan Stap 1Stap 2 Examen opstellen (cfr. Vorige MedEd) Aanvraag indienen # reeksen, # vragen Beoordelingslijst trekken Antwoordformulieren Voor het examen Tijdens het examen Stap 3 Na het examen Scannen Instructies Analyse resultaten

19 Stap 3: Analyse resultaten Overzichtsrapport via online tool Hulpmiddel -> geen doel op zich Rapport analyseren (in overleg/team) én in combinatie met examenvragen Indien gewenst met ondersteuning van O 2 Analyse resultaten

20 Parameters van het vragen / examen Parameters vragen Vragensets creëren (max 5): afzonderlijke punten voor bepaalde delen van de cursus Vragen schrappen: indien nodig obv psychometrische data Parameters examen Herschaling punten: standaard /20 Wegingsfactor bepalen: indien gebruik vragensets (instructies naar studenten zo nodig aanpassen!) Analyse resultaten

21 Raadgever Analyse resultaten Analyse van de reeksen Controle 1 Significante verschillen tussen reeksen? Controle 2 Studenten met verkeerde reeks?

22 Raadgever Analyse resultaten Adviezen globaal Adviezen per vraag

23 Parameters van het examen Analyse resultaten P&A waarden De gebruikte kleurcodes zijn louter indicatief. Onderstaande criteria werden gehanteerd: P-waarde (juist antwoord) ROOD als P-waarde 80,ORANJE als 20 < P-waarde < 35 of als 65 < P-waarde <80 A-waarde (afleider, fout antwoord) ROOD als A-waarde > P-waarde Geen antwoord ROOD als % geen antwoord => 90, ORANJE als 50 < % geen antwoord < 90 *: juiste antwoord Relatief eenvoudige vragen (V4, V6, V7, V9,…) Antwoordalternatieven worden niet gekozen (V6, V7, V10, …) Fout in de sleutel / onduidelijke of moeilijke vraag / … (V10)

24 Upper / lower analyse Analyse resultaten proportie van studenten uit groep hoogst scorenden / proportie van studenten uit groep laagst scorenden

25 Frequenties en globale parameters Analyse resultaten Gebaseerd op afgeronde scores Histogram: wat is ideale verdeling?

26 Globale parameters Analyse resultaten Streven naar een Alpha > 0,6 à 0,7 Alpha = sterk gevoelig aan hoeveelheid vragen, samenhang examenvragen en heterogeniteit van de groep studenten

27 Descriptieve statistieken Analyse resultaten verband tussen score op de vraag en de score op het volledige examen streven naar een zo hoog mogelijke waarde: studenten die vraag juist beantwoordden, hadden een hoge score op het examen score tussen -1 en +1

28 Oefening U ontvangt een overzichtsrapport van een geanonimiseerd examen o Is dit een betrouwbaar examen? o Wat vindt u van de verdeling van deze punten? o Welke vragen zou u op basis van de psychometrische gegevens herbekijken of eventueel schrappen?

29 Vragen? Lisa De Jonghe lisa.dejonghe@med.kuleuven.be Annick Dermine annick.demine@med.kuleuven.be