De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen en anderstalige nieuwkomers in het secundair onderwijs.

Inhoud Voorstelling van de Covaar-II Doel van het onderzoek Verloop van het onderzoek Resultaten Besluit Vragen

Voorstelling van de oorspronkelijke Covaar-II subtesten oefenfase testfase

Subtesten cognitieve vaardighedentest 3 subtesten - verbale analogieën - figuratieve reeksen - analogieën met symbolen inductief redeneren: mogelijkheid om regels af te leiden uit nieuw materiaal geen taaltest

Oefenfase voor elke subtest: voorbeelditem + oefening 6 oefeningen (2 per subtest) steeds klassikale uitleg (non-verbaal) persoonlijke uitleg mag (leerkracht en leerlingen)

Oefenfase: het nut/doel “testing the limits”: wat kan de persoon maximaal ipv wat kan hij nu! reduceren van “culturele” bias: vertrouwd maken met de test(situatie)

Oefenfase: het nut/doel bepaalde etnische groepen scoren significant lager op cognitieve vaardighedentesten oorzaak? geen consensus hypothese: invloed van bias (item-, methode- en constructbias)

Testfase 24 items, 6 per subtest volledig zelfstandig oplossen omnibusvorm tempofactor (20 minuten), maar geen echte tijdsdruk

Doel van het onderzoek Doel 1: psychometrische eigenschappen betrouwbaarheid itemvaliditeit (DIF) interne begripsvaliditeit (factoranalyses, intersubtestcorrelaties) convergente en criteriumvaliditeit predictieve validiteit => item-, construct-, en methodebias controleren

Doel van het onderzoek Doel 2: effect van de oefenfase naast uitgebreide oefenfase ook minimale oefenfase (~ klassieke intelligentietest) Verwachting: oefenfase heeft scoreverhogend effect groter effect bij Okan-leerlingen in vergelijking met Bvl-leerlingen (controlegroep)

Minimale oefenfase 1e oefening van elke subtest klassikaal uitgelegd 2e oefening: enkel juiste oplossing geen extra oefeningen enkel gestandardiseerde uitleg, geen extra uitleg alle uitleg in het Nederlands

Doel van het onderzoek Doel 3: effect van oefenfase op psychometrische eigenschappen Verwachting: betere psychometrische eigenschappen na uitgebreide oefenfase bij Okan ter vergelijking bij Bvl

Verloop van het onderzoek eerste vergadering: 19 mei 2005 aanspreken scholen, medewerkers,... tweede vergadering: 29 augustus 2005 afname en verzamelen achtergrondgegevens eerste inleverfase & vergadering: 7 december 2005 einde schooljaar: verzamelen opvolgingsgegevens tweede inleverfase: 10 juli 2006 verwerking gegevens en schrijven verhandeling

Verloop van het onderzoek Afname: Okan: 10 CLB’s in 17 scholen Bvl: 17 CLB’s in 22 scholen Totaal: 20 CLB’s in 34 scholen. 462 Okan-leerlingen en 548 Bvl-leerlingen minimale training (conditie 1): 521 leerlingen uitgebreide training (conditie 2): 489 leerlingen

Verloop van het onderzoek Wie nam de test af? interactie-effecten, proportie verklaarde variantie: 3% Okan Bvl min. max. CLB-medewerker 218 (93%) 155 (68%) 271 (95%) 232 (89%) leerkracht (0%) 54 (24%) 15 (5%) 30 (12%) missing 17 (7%) 18 (8%)

Verloop van het onderzoek Deelnemers: geslacht Totale groep (n=899) Okan (n=420) Bvl (n=479) mannelijk 502 (56%) 230 (55%) 272 (57%) vrouwelijk 397 (44%) 190 (45%) 207 (43%)

Verloop van het onderzoek Deelnemers: leeftijd, scholing & verblijfsduur Okan-groep (n= 418, M= 14.95) is significant ouder dan de Bvl-groep (n=474, M=13.70) Geen verschil in aantal jaren scholing (Okan: 7.56 jaar, n= 361; Bvl: 7.31 jaar, n= 447) Gemiddelde verblijfsduur Okan-leerlingen: 7.81 maanden (n=401, SD= 9.57) vs. niet in België geboren Bvl-ers: 53.38 maanden (n=66, SD=38.68)

Verloop van het onderzoek Deelnemers: land van herkomst in totaal: 88 nationaliteiten Okan (n=418): “Zuid, West & Oost Afrika” (21%), Oost-Europa (17%) & “Zuid en West Azië” (16%) Bvl (n=474): België (84%) ouders Bvl (n=428): België (68%), Noord-Afrika (14%) en Turkije (6%)

Verloop van het onderzoek Deelnemer: thuistaal Totale groep (n=869) Okan (n=396) Bvl (n=473) Nederlands 317 (36%) 23 (6%) 294 (62%) Andere taal 324 (37%) 257 (65%) 67 (14%) Nederlands & andere taal 228 (26%) 116 (29%) 112 (24%)

Verloop van het onderzoek Deelnemers: opleiding moeder Totale groep (n=390) Okan (n=205) Bvl (n=185) lager onderwijs en minder 100 (26%) 87 (42%) 13 (7%) middelbaar onderwijs 223 (57%) 74 (36%) 149 (81%) hoger onderwijs 67 (17%) 44 (21%) 23 (12%)

Verloop van het onderzoek Deelnemers: opleiding vader Totale groep (n=381) Okan (n=206) Bvl (n=175) lager onderwijs en minder 70 (18%) 66 (32%) 4 (2%) middelbaar onderwijs 240 (63%) 86 (42%) 154 (88%) hoger onderwijs 71 (19%) 54 (26%) 17 (10%)

Resultaten 1. Interne consistentie 2. Differential Item Functioning 3. Invloed van de oefenfase en andere relevante variabelen 4. Interne begripsvaliditeit 5. Convergente- en criteriumvaliditeit 6. Predictieve validiteit

Interne Consistentie Groter bij de Okan- groep, zowel in de minimale (α= .94, n=235) als de maximale conditie (α=.93, n=227), dan bij de Bvl-groep (respectievelijk α=.85, n=286 en α=.83, n=260) Het geven van een uitgebreidere oefenfase (maximale conditie) heeft geen effect op de betrouwbaarheid.

Differential Item Functioning DIF = de kans om een item goed te beantwoorden is niet gelijk voor subgroepen (Okan en Bvl) die even vaardig zijn met betrekking tot het te meten construct minimale conditie: 9 items in het voordeel van Bvl en 4 items in het voordeel van Okan maximale conditie: 8 items in het voordeel van Bvl en 2 items in het voordeel van Okan

Differential Item Functioning conditie heeft dus weinig effect voordeel voor Bvl: voornamelijk subschaal Figuratieve Reeksen (minimale conditie: 6 van de 9 items & maximale conditie: 4 van de 8 items) Opmerking: andere tests voeren DIF-analyses vaak niet uit => Covaar-II niet minder valide

Interne begripsvaliditeit correlaties tussen subtesten: sign. hoger bij Okan vs. Bvl, conditie geen effect factorstructuur: éénfactoroplossing, zoals verwacht proportie verklaarde variantie Okan Bvl conditie minimaal maximaal R2 81,46% 83,31% 67,35% 66,18%

Convergente en criteriumvaliditeit bij Okan correlatie PM: .80 (n=33) correlatie Hacquebord: .06 (n=33) correlatie subtesten Tasan: geen significant verschil tussen minimale en maximale conditie sub testen luister-en lezen schrijv-en recept-ief prod-uctief structu- rerend beschrijvend ondrst. veel ondrst. wein. r tot. .48 (n=140) .46 (n=139) .35 (n=138) .51 .53 .23 .45 alle correlaties significant op .01 niveau

Predictieve validiteit leervaardigheid: Okan, minimale conditie (n=150): r=.49 (p<.01) Okan, maximale conditie (n=139): r=.47 (p<.01) Bvl, minimale conditie (n=178): r=.26 (p<.01) Bvl, maximale conditie (n=169): r=.26 (p<.01) =>Significant betere predictieve waarde bij de Okan-groep in vergelijking met de Bvl-groep (minimale en maximale conditie)

Predictieve validiteit examenresultaten, procentueel: Okan, minimale conditie (n=82): r=.47 (p<.01) Okan, maximale conditie (n=68): r=.22 (ns) Bvl, minimale conditie (n=176): r=.43 (p<.01) Bvl, maximale conditie (n=169): r=.20 (p<.01) =>Significant betere predictieve waarde bij de Bvl-groep na minimale training in vergelijking met de Bvl-groep na uitgebreide training

Predictieve validiteit examenresultaten vergelijkend: Okan, minimale conditie (n=82): r=.44 (p<.01) Okan, maximale conditie (n=68): r=.37 (p<.01) Bvl, minimale conditie (n=176): r=.24 (p<.01) Bvl, maximale conditie (n=170): r=.24 (p<.01) =>Geen significant verschil in correlaties

Predictieve validiteit vorderingen: Okan, minimale conditie (n=153): r=.39 (p<.01) Okan, maximale conditie (n=145): r=.43 (p<.01) Bvl, minimale conditie (n=182): r=.17 (p<.05) Bvl, maximale conditie (n=159): r=.19 (p<.05) =>Significant betere predictieve waarde bij de Okan-groep in vergelijking met de Bvl-groep (minimale en maximale conditie)

Predictieve validiteit feitelijke oriëntering, Okan: significant verband in beide groepen Oriëntering BSO KSO TSO ASO M min. cond. SD n 31.65 13.19 55 46.00 2.00 3 43.00 8.41 15 42.64 7.85 25 max. cond. SD 29.55 14.26 69 42.17 8.29 12 44.35 6.14 17

Predictieve validiteit theoretische oriëntering, Okan: significant verband in beide groepen Oriëntering BSO KSO TSO ASO M min. cond. SD n 28.33 13.38 52 38.79 8.63 34 42.90 8.56 31 max. cond. SD 25.78 13.96 54 36.66 12.31 35 43.81 6.03 27

Predictieve validiteit Uiteindelijke kennis Nederlands (Okan): Okan, minimale conditie (n=142): pr=.17 (p<.05) Okan, maximale conditie (n=132): pr=.18 (p<.05)

Predictieve validiteit Oriënteringsattest, Bvl: verband enkel significant na minimale training Attest A B C M min. cond. SD n 35.39 9.39 148 27.08 12.51 13 30.09 9.60 23 max. cond. SD 36.53 8.66 34.67 10.78 6 34.89 8.98 9

Invloed van de oefenfase en andere relevante variabelen Tegen verwachting in: geen verschil in scores tussen condities (minimale vs. uitgebreide oefenfase) Tegen verwachting in: geen verschil in scores tussen groepen (Okan vs. Bvl) Geen interactie-effect tussen beiden

Invloed van de oefenfase Minimale conditie Maximale conditie Totaal M Okan SD n 33,84 13,31 235 34,26 13,02 227 34,05 13,15 462 Bvl SD 34,93 9,31 286 37,37 8,25 262 36,10 8,90 548 Totaal SD 34,44 11,29 521 35,93 10,83 489 35,16 11,09 1010

Invloed van de oefenfase en andere relevante variabelen Geen effect: geslacht, leeftijd, beroep van moeder en beroep van vader (SES) en jaren scholing Wel effect: land van herkomst (R2=.11) en kennis van het Nederlands (R2=.07)

Invloed van land van herkomst Covaar-II scores Land van herkomst

Besluit Doel 1: psychometrische eigenschappen De Covaar-II is een betrouwbaar en valide instrument bij gebruik in Okan-klassen echter: DIF, overwegend in voordeel van Bvl aangaande alle andere maten: validiteit beter bij Okan dan bij Bvl => vergelijking tussen Okan en Bvl niet aangewezen

Besluit Doel 2: effect van de oefenfase De oefenfase heeft geen invloed op de gemiddelde scores

Besluit Doel 3: effect van oefenfase op psychometrische eigenschappen over het algemeen geen effect van oefenfase op psychometrische eigenschappen zowel bij Okan als Bvl niet maar validiteit reeds redelijk groot zonder oefenfase => keuze minimale vs. maximale oefenfase afhankelijk van andere criteria

Besluit: Covaar-II = Cultural Fair? WANT: Okan gelijke scores als Bvl MAAR: (beperkte) invloed van land van herkomst en kennis van het Nederlands Bvl: ook cultureel homogeen Bvl en Okan: gelijk? (motivatie, werkelijke cognitieve vermogens) verdere analyses noodzakelijk => Besluit= voorbarig

Vragen ?

Bedankt!