De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Statistische technieken om bedrog op examens te detecteren: voorkomen is beter dan genezen! Rob Meijer Rijksuniversiteit Groningen.

Verwante presentaties


Presentatie over: "Statistische technieken om bedrog op examens te detecteren: voorkomen is beter dan genezen! Rob Meijer Rijksuniversiteit Groningen."— Transcript van de presentatie:

1 Statistische technieken om bedrog op examens te detecteren: voorkomen is beter dan genezen! Rob Meijer Rijksuniversiteit Groningen

2 Twee jaar geleden werd een Amsterdammer veroordeeld tot een werkstraf van 160 uur omdat hij tegen betaling de juiste antwoorden van het theorie-examen doorgaf. Dat deed hij via een trillend zendertje in een pakje sigaretten. De klanten betaalden 250 euro voor het gebruik van de apparaatjes. Dat gebeurde onder meer in Apeldoorn, Zwolle, Lelystad, Den Bosch, Enschede en Eindhoven. In Amsterdam ligt het slagingspercentage nog lager dan het landelijk Gemiddelde (Telegraaf, 2005). “Using data from the Chicago public schools, we estimate that serious cases of teacher or administrator cheating on standardized tests occur in a minimum of 4-5 percent of elementory school classrooms annually” (Jacob and Levitt, 2003)

3 Case Om kwaliteit onderwijs in kaart te brengen en te verbeteren worden scholen en opleidingsinstituten afgerekend op examen en testprestaties Nadeel van deze “prikkels” is dat het ongewenst gedrag oproept: opleiders, leraren knoeien met antwoordformulieren om prestaties te bevorderen

4

5 Bedrog op examens Opsporen van bedrog - observationele methoden “first hand” - statistische methoden Discussie van statistische methoden Empirisch voorbeeld hoe deze te gebruiken

6 Bedrog op examens Hoewel “first hand” bewijs in de praktijk de voorkeur geniet, niet altijd even hard Bijv: Observatie kans op verkeerde conclusie ook reëel, soms feiten minder hard dan ze lijken, menselijke observatoren zijn feilbaar Alle type evidentie zijn kansuitspraken, ook het “betrappen” van een kandidaat op bedrog is onderhevig aan observatiefouten

7 Statistische Methoden Als alternatief kunnen verschillende statistische methoden worden gebruikt Welke soort methoden zijn er? Zijn deze methoden bruikbaar, in welke situaties? Wat zijn de voordelen, wat zijn de nadelen? Leidmotief: Dit zijn HULPMIDDELEN om “Bedrog” op te sporen, maar het beste is om bedrog te voorkomen !

8 Voordelen statistische methoden 1.Evidentie van testgedrag dat niet of moeilijk observeerbaar is Bijv: wireless communicatie tussen kandidaten, bedrog van testleiders 2.Methoden kunnen systematisch en gemakkelijk worden geïmplementeerd 3.Kwantificeerbaar, kansuitspraken “de kans op vergelijkbare responsepatronen is 1 op de ” 4. Van tevoren aankondigen dat er een routine check wordt uitgevoerd kan fraude verminderen

9 Restricties Statistische Methoden Sommige methoden zijn alleen bruikbaar bij bepaalde vormen van examens,bijv. multiple-choice examens of bij bepaalde vormen van afname (computer-based) Sommige methoden veronderstellen twee verschillende meetmomenten, bijv examen, herexamen. Altijd onderdeel van “bewijsvoering” Heel belangrijk om assumpties te checken waarop methoden zijn gebaseerd

10 Restricties Wat zijn de assumpties ? Vergelijk zaak Lucia de B. Berekeningen gebaseerd op de aanname dat elke verpleegkundige een even grote kans heeft bij een sterfgeval aanwezig te zijn paragraaf 11 arrest: “Er is geen enkele aannemelijke verklaring gevonden voor het feit dat de verdachte in die korte periode bij zoveel overlijdensgevallen en levensbedreigende incidenten betrokken was.” Dit is statistiek ! Maar: Sommige verpleegkundigen zijn “gespecialiseerd” in sterfgevallen, kunnen daar goed mee om gaan! Dit heeft grote gevolgen voor de berekeningen en conclusies

11 Soorten statistics 1.person-fit maten: afwijkendheid 2.Overeenstemmingsmaten: kopiëren van antwoorden 3.Verschilscore maten: grote verschillen tussen examenresultaten van dezelfde kandidaat 4.Maten die snelheid van antwoorden: inhoud bekend

12 Person fit statistics (multiple-choice examens) Wat is de kans dat een kandidaat het observeerbare item score patroon genereert? Wanneer items zijn geordend van gemakkelijk naar moeilijk Gemakkelijke items goed, moeilijke items fout A : verwacht B : onverwacht Indicatie van ?? Verschillende mogelijkheden

13 Person-fit statistics Gedeeltelijke kennis? Vergissingen? Fraude? Wanneer er veel voorkennis is of veel wordt overgeschreven, zijn deze statistics niet bruikbaar, geen afwijkendheid en Beide patronen hoge kans

14 Person-fit statistics Assumptie: testgedrag kan worden beschreven door een specifiek testmodel, misschien is dat niet zo voor elke respondent ? Bruikbaar, additionele evidentie is nodig, kan goed worden gebruikt in combinatie met andere indicatoren

15 Overeenstemmingsmaten? (multiple-choice examens) Antwoorden op examens: Persoon A: Persoon B: Onderstreepte antwoorden zijn foute antwoorden Centrale idee: veel overeenkomstige foute antwoorden geeft indicatie voor kopiëren van antwoorden Assumpties: kandidaten gokken als ze het antwoord niet weten Maar: kandidaten kunnen gemeenschappelijke fouten maken als gevolg van bijv. gemeenschappelijke cultuur

16 Statistische Methoden Klein (1992) Medisch examen Twee kandidaten met een Indiase achtergrond Foutieve antwoorden op examen zouden goed zijn in Indiase samenleving

17 Bedrog op examens Andere aanname: sommige foute antwoorden zijn plausibeler dan andere (hoewel dit meegenomen kan worden in de statistiek) ! Een docent kan kandidaten op het verkeerde been hebben gezet Met namen wanneer we te maken hebben met kandidaten van verschillende opleidingsinstituten ! Advies: Bruikbaar, maar check assumpties!

18 Verschilscores Grote verschillen tussen examen-herexamen scores kunnen duiden op bedrog Assumptie: verschilscores zijn niet het gevolg van “beter leren” Sterkere aanwijzing bij examens waarbij grote verschillen niet erg plausibel zijn, waarbij “aanleg” een rol speelt Bijv: wiskunde eindexamen

19 Response tijden Korte response tijden kunnen duiden op bedrog Voorkennis? Niet gemotiveerd ? Assumptie: niet het gevolg van persoonseigenschappen, grondige kennis van de stof etc. Toepassing binnen computer-based testing

20 Voorbeeld Jacob & Levitt (2003, the Quarterly Journal of Economics) Iowa Test of Basic Skills: leesvaardigheid, rekenen Basisschool groep 3-8, afgenomen door scholen, geleverd en gescoord door centraal instituut Vraag: kunnen we controleren of er wordt gefraudeerd? Twee statististiche maten: SCORE: schoolklassen met een relative hoge score in het onderzochte jaar in vergelijking met voorgaande en toekomstige jaren ANSWERS: gevoelig voor afwijkende antwoordpatronen

21 Bedrog van het opleidingsinstituut Combinatie van Indicatoren: 1.Grote verschillen van examenscores gevolgd door kleinere verschillen 2.Verdachte antwoordpatronen: (a) waarschijnlijkheid patroon gegeven achtergrondvariabelen (b) in hoeverre komen antwoordpatronen met elkaar overeen binnen een klas, groep (c) hoge variantie tussen groepen van items en lage variantie tussen antwoorden binnen een groep van items (d) vergelijk gegeven antwoorden binnen een klas, groep met vergelijkbare groepen

22

23 Rangordening van klassen naar afwijkende patronen Rangordening naar test score fluctuaties

24 Percentage klassen met bedrog Cutoff voor test score fluctuatie (SCORE) Cutoff ANSW80th90th95th 80th th th

25 Bedrog van het opleidingsinstituut Aannamen 1.Bedrog  grote score fluctuaties, verdachte patronen 2.Geen bedrog dan verdeling scores en patronen is dezelfde voor verschillende groepen 3.Voor groepen waar geen bedrog is: correlatie tussen test score fluctuaties en onverwachte antwoordpatronen is dezelfde

26 Hoe wordt statistische evidentie gebruikt? V.S. (Hunt, 2006) Het gebruik van statistische analyses en grote verschillen in test resultaten kan worden gebruikt en een kandidaat kan een test score worden onthouden Belangrijkste is dat de examenbureaus de juiste procedures hebben gevolgd, niet eens of de kandidaat echt heeft gefraudeerd Ned. Kwaliteit statistische procedures van belang

27 Conclusies Gebruik combinatie van observatie en statistische methoden Want: “To ignore a source of data because it may be misleading would be like ignoring the footprints in the garden because they might not belong to the burglar” (Funder, 2007, p. 27)

28 Conclusies Gebruik statistische technieken als routine scan Voordelen: Beter inzicht in kwaliteit data Kan fraude tegengaan Programmatuur: Lertop 5.5 Scrutiny (Sundermann, M.J.)http://www.jce.divched.org/Journal/Issues/2008/Apr/abs568.html

29 Preventie ! De Top 3 ! Verschillende toetsvormen Kleine groepen Maak gebruik van meerdere surveillanten Geen electronische apparaten (mobiele telefoontjes) !

30 Preventie Waarschuw kandidaten en definieer een protocol voor kandidaten die bedrog plegen Essay en korte antwoorden ipv multiple choice gevarieerde soorten van examens, performance assessment,computers Geen situaties die bedrog in de hand werken (bijv. take home examens)

31 Preventie Wees voorzichtig met oude examens, waarschuw medewerkers voor bedrog Controleer testlocaties, gebruik identificaties

32 Bedrog op examens Discussiepunt: Wat stralen we zelf uit ? “All of us are in continuous search for human models. Our students are desperate to find intellectual and human heroes. We owe that to them. But we can only be effective when we have fulfilled our moral and ethical obligations to ourselves (uit: Cizek, 1999)”

33 En verder … Maak duidelijk dat u verwacht dat men geen bedrog pleegt (“Raising expectations”) In de VS: Honor codes Vgl: studie van Rosenthal & Jacobson (1968) studie: wanneer men verwacht dat studenten goed zijn, gedrag van leraren wordt beïnvloed en studenten worden weer beinvloedt “Living up to expectations” !


Download ppt "Statistische technieken om bedrog op examens te detecteren: voorkomen is beter dan genezen! Rob Meijer Rijksuniversiteit Groningen."

Verwante presentaties


Ads door Google