De ICALT ‘Mijn leraar’ leerling-vragenlijst: BIG-data meervoudige schaalanalyses Part 1: voorbereidende analyses Peter Moorer, Michelle Helms-Lorenz, Rikkert van der Lans, Ridwan Maulana 13 juni 2018

Hervalidering van de ‘Mijn leraar’ leerling-vragenlijst. Doel: Hervalidering van de ‘Mijn leraar’ leerling-vragenlijst. Aanleiding: Vorige studies items gedichotomiseerd Aanvullende items nog niet geanalyseerd Veel informatie onbenut Opmerking over gekozen jargon doel

Psychometrische analyses ‘Mijn leraar’-leerlingvragenlijst: Twee publicaties met Rasch schalen voor dichotome items, maar niet dezelfde items in de schaal. Maulana et al (2016) Observations and student perceptions of the quality of preservice teachers’ teaching behaviour: construct representation and predictive quality Learning in Environ Res, Vol 19, pp. 335–357 (aanstaande docenten) Van der Lans et al (2015) Developing a Teacher Evaluation Instrument to Provide Formative Feedback Using Student Ratings of Teaching Acts in Educational Measurement: Issues and Practice, Vol. 34, No. 3, pp. 18–27 (beginnende en ervaren docenten) refenrenties

van der Lans (2015) Maulana (2015) Item Domein Mijn leraar β α V01 2 ...helpt mij als ik iets niet weet -0,56 -0,62 3,37 V02 1 ...zorgt dat anderen mij met respect behandelen -0,72 V03 4 ...zorgt dat ik mijn tijd goed gebruik 0,57 0,72 1,99 V04 ...maakt duidelijk wat ik voor een proefwerk moet leren -0,65 2,35 V05 3 ...komt terug op wat we de vorige les hebben geleerd V06 ...stelt mij vragen waarover ik moet nadenken V07 ...geeft mij antwoord op mijn vragen -0,69 -0,68 2,30 V08 5 ...houdt rekening met wat ik al weet V09 ...let erop dat ik anderen met respect behandel -0,67 1,76 V10 6 ...legt mij uit hoe ik iets moet doen 0,63 -0,33 2,63 V11 ...zorgt dat ik weet wat ik moet doen -0,49 V12 ...legt mij alles duidelijk uit -0,22 -0,09 2,81 V13 ... zorgt dat ik doorwerk 0,53 V14 ...maakt duidelijk wat de bedoeling is van de les -0,20 2,47 V15 ...vertelt boeiend V16 ...vraagt aan mij hoe ik de lesstof ga leren V17 ...leert mij mijn oplossingen te controleren 0,81 V18 ...moedigt mij aan om zelf na te denken V19 ...maakt mij duidelijk waarom mijn antwoord wel of niet goed is V20 ...zegt duidelijk wanneer de opdracht klaar moet zijn 0,00 V21 ...bereidt zijn/haar lessen goed voor -0,98 -0,90 1,64 V22 ...benadert mij met respect -1,32 -1,40 1,82 V23 ...stimuleert mij om met klasgenoten samen te werken V24 ...zorgt dat ik oplet -0,08 0,32 2,16 V25 ...gebruikt duidelijke voorbeelden -0,55 -0,30 3,36 V26 ...sluit aan bij wat ik kan 0,51 0,35 2,52 V27 ...hanteert duidelijke regels 0,04 -0,02 2,03 V28 ...laat mij de lesstof samenvatten 1,68 V29 ...vertelt mij hoe ik iets moet leren 0,92 2,58 V30 ...geeft mij zelfvertrouwen bij moeilijke taken 0,78 2,17 V31 ...zet mij aan het denken -0,10 0,90 1,85 V32 ...laat mij uitleggen aan hem/haar hoe ik de opdracht heb aangepakt V33 ...heeft aandacht voor mij 2,48 V34 ...vertelt de lesdoelen 0,18 V35 ...controleert of ik de lesstof heb begrepen 0,54 1,74 V36 ...motiveert mij 1,05 2,92 V37 ...weet wat ik moeilijk vind 1,36 2,18 V38 ...laat mij de lesstof uitleggen aan andere leerlingen V39 ...zorgt dat ik mijn best doe 2,34 V40 ...betrekt mij bij de les -0,21 1,97 V41 ...helpt mij als ik iets niet snap -0,36 2,55

10 items bijna identiek (‘klein verschil’) 8 items ‘groot verschil’ Samengevat: Vragenlijst 41 items 10 items bijna identiek (‘klein verschil’) 8 items ‘groot verschil’ 14 items wel in een, niet in ander 9 items nog nooit onderzocht Discriminatieparameter van items lijken af te nemen als de moeilijkheid van het item toeneemt Eerder onderzoek in NL geanalyseerd met dichotoom model Internationaal identiek onderzoek, blijkt dichotomisering problematisch, want … Tabel samengevat

Data set Nederland

Voorbeeld dataset ander land

Hypotheses: Het is waarschijnlijk dat een deel van de 41 items in een multi- categorieel parametrisch model passen Mogelijk passen er meer items in een niet-parametrisch model, omdat de discriminatieparameters afnemen bij toenemende moeilijkheid van de items (niet-parametrisch model is minder strikt)

Data projecten Lerarenopleiding RUG Complete dataset: 175.000+ records Geselecteerde dataset: eerste vragenlijsten docent 37.000+ records In 15 sets verdeeld

Procedure dataset verdeling over 15 datasets Random nummer toegevoegd (set seed 200.000) Gesorteerd op id en random nummer Index toegevoegd over id en random nummer Index nummers 1 tot en met 15 weggeschreven naar 15 bestanden Resultaat: 15 datasets bevatten geen hiërarchische structuur per dataset Tenminste 3 datasets voor ‘exploratieve’ doeleinden

Exploratieve analyses (SPSS23/R inside, R 3. 5. 0, LISREL 8 Exploratieve analyses (SPSS23/R inside, R 3.5.0, LISREL 8.8 en MSP5), maar … Factoranalyse (SPSS) Ordinale Factoranalyse (LISREL) Betrouwbaarheidsanalyse (inclusief additiviteitstest) (SPSS) Rasch (R/R within SPSS)* Multicategoriele IRT analyses (R/R within SPSS) Rating Scale Model Partical Credit Model Graded Response Model constrained discrimination parameter (Rasch-like)* Graded Response Model unconstrained discrimination parameter Mokken schaal analyses (MSP5/R) HM (tracelines dalen niet) DM (tracelines van verschillende items snijden elkaar niet)* * Somscore is een voldoende voorwaarde voor de rangordening van personen

Tussen conclusie: De 41 items passen niet bij allemaal op een unidimensionele schaal (zoals verwacht past wel een deel) In volgende tabel worden items weergegeven die in meerdere analyses niet passen

Problematische items

Hypothese 2: Meer items passen in het multicategorieel niet- parametrische Mokken model

van der Lans (2015) Maulana (2015) Set1 Set2 Set3 Mokken Scale ItemID Domein Mijn leraar β P-matrix RestScore V34 3 ...vertelt de lesdoelen 0,18 1 V01 2 ...helpt mij als ik iets niet weet -0,56 -0,62 V02 ...zorgt dat anderen mij met respect behandelen -0,72 V03 4 ...zorgt dat ik mijn tijd goed gebruik 0,57 0,72 V07 ...geeft mij antwoord op mijn vragen -0,69 -0,68 V08 5 ...houdt rekening met wat ik al weet V09 ...let erop dat ik anderen met respect behandel -0,67 V10 6 ...legt mij uit hoe ik iets moet doen 0,63 -0,33 V11 ...zorgt dat ik weet wat ik moet doen -0,49 V12 ...legt mij alles duidelijk uit -0,22 -0,09 83 V13 ... zorgt dat ik doorwerk 0,53 V14 ...maakt duidelijk wat de bedoeling is van de les -0,20 V15 ...vertelt boeiend V17 ...leert mij mijn oplossingen te controleren 0,81 86 V18 ...moedigt mij aan om zelf na te denken V19 ...maakt mij duidelijk waarom mijn antwoord wel of niet goed is V21 ...bereidt zijn/haar lessen goed voor -0,98 -0,90 V22 ...benadert mij met respect -1,32 -1,40 V24 ...zorgt dat ik oplet -0,08 0,32 V25 ...gebruikt duidelijke voorbeelden -0,55 -0,30 V26 ...sluit aan bij wat ik kan 0,51 0,35 V30 ...geeft mij zelfvertrouwen bij moeilijke taken 0,78 V31 ...zet mij aan het denken -0,10 0,90 V33 ...heeft aandacht voor mij V35 ...controleert of ik de lesstof heb begrepen 0,54 V37 ...weet wat ik moeilijk vind 1,36 87 98 V39 ...zorgt dat ik mijn best doe 85 V40 ...betrekt mij bij de les -0,21 -0,65 V41 ...helpt mij als ik iets niet snap -0,36 V04 ...maakt duidelijk wat ik voor een proefwerk moet leren V05 ...komt terug op wat we de vorige les hebben geleerd V06 ...stelt mij vragen waarover ik moet nadenken 103 97 V16 ...vraagt aan mij hoe ik de lesstof ga leren V20 ...zegt duidelijk wanneer de opdracht klaar moet zijn 0,00 V23 ...stimuleert mij om met klasgenoten samen te werken V27 ...hanteert duidelijke regels 0,04 -0,02 V28 ...laat mij de lesstof samenvatten 1,68 V29 ...vertelt mij hoe ik iets moet leren 0,92 81 V32 ...laat mij uitleggen aan hem/haar hoe ik de opdracht heb aangepakt V36 ...motiveert mij 1,05 V38 ...laat mij de lesstof uitleggen aan andere leerlingen

Conclusie Twee niet-parametrische schalen; 1ste komt sterk overeenkomt met de eerder gepubliceerde schalen Meer items kunnen gebruikt worden Meer informatie blijft behouden

Vragen: Is er een IRT model waarbij discriminatieparameter een functie is van de moeilijkheidsparameter of θ? Wat kan de reden zijn dat de discriminatieparameter een relatie lijkt te hebben met de schaalscore of moeilijkheid?

Bedankt voor uw aandacht p.moorer@rug.nl