De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen.

Presentatie over: "De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen."— Transcript van de presentatie:

1 De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen en anderstalige nieuwkomers in het secundair onderwijs.

2 Inhoud Voorstelling van de Covaar-II Doel van het onderzoek
Verloop van het onderzoek Resultaten Besluit Vragen

3 Voorstelling van de oorspronkelijke Covaar-II
subtesten oefenfase testfase

4 Subtesten cognitieve vaardighedentest 3 subtesten - verbale analogieën
- figuratieve reeksen - analogieën met symbolen inductief redeneren: mogelijkheid om regels af te leiden uit nieuw materiaal geen taaltest

5 Oefenfase voor elke subtest: voorbeelditem + oefening
6 oefeningen (2 per subtest) steeds klassikale uitleg (non-verbaal) persoonlijke uitleg mag (leerkracht en leerlingen)

6

7

8 Oefenfase: het nut/doel
“testing the limits”: wat kan de persoon maximaal ipv wat kan hij nu! reduceren van “culturele” bias: vertrouwd maken met de test(situatie)

9 Oefenfase: het nut/doel
bepaalde etnische groepen scoren significant lager op cognitieve vaardighedentesten oorzaak? geen consensus hypothese: invloed van bias (item-, methode- en constructbias)

10 Testfase 24 items, 6 per subtest volledig zelfstandig oplossen
omnibusvorm tempofactor (20 minuten), maar geen echte tijdsdruk

11 Doel van het onderzoek Doel 1: psychometrische eigenschappen
betrouwbaarheid itemvaliditeit (DIF) interne begripsvaliditeit (factoranalyses, intersubtestcorrelaties) convergente en criteriumvaliditeit predictieve validiteit => item-, construct-, en methodebias controleren

12 Doel van het onderzoek Doel 2: effect van de oefenfase
naast uitgebreide oefenfase ook minimale oefenfase (~ klassieke intelligentietest) Verwachting: oefenfase heeft scoreverhogend effect groter effect bij Okan-leerlingen in vergelijking met Bvl-leerlingen (controlegroep)

13 Minimale oefenfase 1e oefening van elke subtest klassikaal uitgelegd
2e oefening: enkel juiste oplossing geen extra oefeningen enkel gestandardiseerde uitleg, geen extra uitleg alle uitleg in het Nederlands

14 Doel van het onderzoek Doel 3: effect van oefenfase op psychometrische eigenschappen Verwachting: betere psychometrische eigenschappen na uitgebreide oefenfase bij Okan ter vergelijking bij Bvl

15 Verloop van het onderzoek
eerste vergadering: 19 mei 2005 aanspreken scholen, medewerkers,... tweede vergadering: 29 augustus 2005 afname en verzamelen achtergrondgegevens eerste inleverfase & vergadering: 7 december 2005 einde schooljaar: verzamelen opvolgingsgegevens tweede inleverfase: 10 juli 2006 verwerking gegevens en schrijven verhandeling

16 Verloop van het onderzoek
Afname: Okan: 10 CLB’s in 17 scholen Bvl: 17 CLB’s in 22 scholen Totaal: 20 CLB’s in 34 scholen. 462 Okan-leerlingen en 548 Bvl-leerlingen minimale training (conditie 1): 521 leerlingen uitgebreide training (conditie 2): 489 leerlingen

17 Verloop van het onderzoek
Wie nam de test af? interactie-effecten, proportie verklaarde variantie: 3% Okan Bvl min. max. CLB-medewerker 218 (93%) 155 (68%) 271 (95%) 232 (89%) leerkracht (0%) 54 (24%) 15 (5%) 30 (12%) missing 17 (7%) 18 (8%)

18 Verloop van het onderzoek
Deelnemers: geslacht Totale groep (n=899) Okan (n=420) Bvl (n=479) mannelijk 502 (56%) 230 (55%) 272 (57%) vrouwelijk 397 (44%) 190 (45%) 207 (43%)

19 Verloop van het onderzoek
Deelnemers: leeftijd, scholing & verblijfsduur Okan-groep (n= 418, M= 14.95) is significant ouder dan de Bvl-groep (n=474, M=13.70) Geen verschil in aantal jaren scholing (Okan: 7.56 jaar, n= 361; Bvl: 7.31 jaar, n= 447) Gemiddelde verblijfsduur Okan-leerlingen: 7.81 maanden (n=401, SD= 9.57) vs. niet in België geboren Bvl-ers: maanden (n=66, SD=38.68)

20 Verloop van het onderzoek
Deelnemers: land van herkomst in totaal: 88 nationaliteiten Okan (n=418): “Zuid, West & Oost Afrika” (21%), Oost-Europa (17%) & “Zuid en West Azië” (16%) Bvl (n=474): België (84%) ouders Bvl (n=428): België (68%), Noord-Afrika (14%) en Turkije (6%)

21 Verloop van het onderzoek
Deelnemer: thuistaal Totale groep (n=869) Okan (n=396) Bvl (n=473) Nederlands 317 (36%) 23 (6%) 294 (62%) Andere taal 324 (37%) 257 (65%) 67 (14%) Nederlands & andere taal 228 (26%) 116 (29%) 112 (24%)

22 Verloop van het onderzoek
Deelnemers: opleiding moeder Totale groep (n=390) Okan (n=205) Bvl (n=185) lager onderwijs en minder 100 (26%) 87 (42%) 13 (7%) middelbaar onderwijs 223 (57%) 74 (36%) 149 (81%) hoger onderwijs 67 (17%) 44 (21%) 23 (12%)

23 Verloop van het onderzoek
Deelnemers: opleiding vader Totale groep (n=381) Okan (n=206) Bvl (n=175) lager onderwijs en minder 70 (18%) 66 (32%) 4 (2%) middelbaar onderwijs 240 (63%) 86 (42%) 154 (88%) hoger onderwijs 71 (19%) 54 (26%) 17 (10%)

24 Resultaten 1. Interne consistentie 2. Differential Item Functioning
3. Invloed van de oefenfase en andere relevante variabelen 4. Interne begripsvaliditeit 5. Convergente- en criteriumvaliditeit 6. Predictieve validiteit

25 Interne Consistentie Groter bij de Okan- groep, zowel in de minimale (α= .94, n=235) als de maximale conditie (α=.93, n=227), dan bij de Bvl-groep (respectievelijk α=.85, n=286 en α=.83, n=260) Het geven van een uitgebreidere oefenfase (maximale conditie) heeft geen effect op de betrouwbaarheid.

26 Differential Item Functioning
DIF = de kans om een item goed te beantwoorden is niet gelijk voor subgroepen (Okan en Bvl) die even vaardig zijn met betrekking tot het te meten construct minimale conditie: 9 items in het voordeel van Bvl en 4 items in het voordeel van Okan maximale conditie: 8 items in het voordeel van Bvl en 2 items in het voordeel van Okan

27 Differential Item Functioning
conditie heeft dus weinig effect voordeel voor Bvl: voornamelijk subschaal Figuratieve Reeksen (minimale conditie: 6 van de 9 items & maximale conditie: 4 van de 8 items) Opmerking: andere tests voeren DIF-analyses vaak niet uit => Covaar-II niet minder valide

28 Interne begripsvaliditeit
correlaties tussen subtesten: sign. hoger bij Okan vs. Bvl, conditie geen effect factorstructuur: éénfactoroplossing, zoals verwacht proportie verklaarde variantie Okan Bvl conditie minimaal maximaal R2 81,46% 83,31% 67,35% 66,18%

29 Convergente en criteriumvaliditeit bij Okan
correlatie PM: .80 (n=33) correlatie Hacquebord: .06 (n=33) correlatie subtesten Tasan: geen significant verschil tussen minimale en maximale conditie sub testen luister-en lezen schrijv-en recept-ief prod-uctief structu- rerend beschrijvend ondrst. veel ondrst. wein. r tot. .48 (n=140) .46 (n=139) .35 (n=138) .51 .53 .23 .45 alle correlaties significant op .01 niveau

30 Predictieve validiteit
leervaardigheid: Okan, minimale conditie (n=150): r=.49 (p<.01) Okan, maximale conditie (n=139): r=.47 (p<.01) Bvl, minimale conditie (n=178): r=.26 (p<.01) Bvl, maximale conditie (n=169): r=.26 (p<.01) =>Significant betere predictieve waarde bij de Okan-groep in vergelijking met de Bvl-groep (minimale en maximale conditie)

31 Predictieve validiteit
examenresultaten, procentueel: Okan, minimale conditie (n=82): r=.47 (p<.01) Okan, maximale conditie (n=68): r=.22 (ns) Bvl, minimale conditie (n=176): r=.43 (p<.01) Bvl, maximale conditie (n=169): r=.20 (p<.01) =>Significant betere predictieve waarde bij de Bvl-groep na minimale training in vergelijking met de Bvl-groep na uitgebreide training

32 Predictieve validiteit
examenresultaten vergelijkend: Okan, minimale conditie (n=82): r=.44 (p<.01) Okan, maximale conditie (n=68): r=.37 (p<.01) Bvl, minimale conditie (n=176): r=.24 (p<.01) Bvl, maximale conditie (n=170): r=.24 (p<.01) =>Geen significant verschil in correlaties

33 Predictieve validiteit
vorderingen: Okan, minimale conditie (n=153): r=.39 (p<.01) Okan, maximale conditie (n=145): r=.43 (p<.01) Bvl, minimale conditie (n=182): r=.17 (p<.05) Bvl, maximale conditie (n=159): r=.19 (p<.05) =>Significant betere predictieve waarde bij de Okan-groep in vergelijking met de Bvl-groep (minimale en maximale conditie)

34 Predictieve validiteit
feitelijke oriëntering, Okan: significant verband in beide groepen Oriëntering BSO KSO TSO ASO M min. cond SD n 31.65 13.19 55 46.00 2.00 3 43.00 8.41 15 42.64 7.85 25 max. cond SD 29.55 14.26 69 42.17 8.29 12 44.35 6.14 17

35 Predictieve validiteit
theoretische oriëntering, Okan: significant verband in beide groepen Oriëntering BSO KSO TSO ASO M min. cond SD n 28.33 13.38 52 38.79 8.63 34 42.90 8.56 31 max. cond SD 25.78 13.96 54 36.66 12.31 35 43.81 6.03 27

36 Predictieve validiteit
Uiteindelijke kennis Nederlands (Okan): Okan, minimale conditie (n=142): pr=.17 (p<.05) Okan, maximale conditie (n=132): pr=.18 (p<.05)

37 Predictieve validiteit
Oriënteringsattest, Bvl: verband enkel significant na minimale training Attest A B C M min. cond SD n 35.39 9.39 148 27.08 12.51 13 30.09 9.60 23 max. cond SD 36.53 8.66 34.67 10.78 6 34.89 8.98 9

38 Invloed van de oefenfase en andere relevante variabelen
Tegen verwachting in: geen verschil in scores tussen condities (minimale vs. uitgebreide oefenfase) Tegen verwachting in: geen verschil in scores tussen groepen (Okan vs. Bvl) Geen interactie-effect tussen beiden

39 Invloed van de oefenfase
Minimale conditie Maximale conditie Totaal M Okan SD n 33,84 13,31 235 34,26 13,02 227 34,05 13,15 462 Bvl SD 34,93 9,31 286 37,37 8,25 262 36,10 8,90 548 Totaal SD 34,44 11,29 521 35,93 10,83 489 35,16 11,09 1010

40 Invloed van de oefenfase en andere relevante variabelen
Geen effect: geslacht, leeftijd, beroep van moeder en beroep van vader (SES) en jaren scholing Wel effect: land van herkomst (R2=.11) en kennis van het Nederlands (R2=.07)

41 Invloed van land van herkomst
Covaar-II scores Land van herkomst

42 Besluit Doel 1: psychometrische eigenschappen
De Covaar-II is een betrouwbaar en valide instrument bij gebruik in Okan-klassen echter: DIF, overwegend in voordeel van Bvl aangaande alle andere maten: validiteit beter bij Okan dan bij Bvl => vergelijking tussen Okan en Bvl niet aangewezen

43 Besluit Doel 2: effect van de oefenfase
De oefenfase heeft geen invloed op de gemiddelde scores

44 Besluit Doel 3: effect van oefenfase op psychometrische eigenschappen
over het algemeen geen effect van oefenfase op psychometrische eigenschappen zowel bij Okan als Bvl niet maar validiteit reeds redelijk groot zonder oefenfase => keuze minimale vs. maximale oefenfase afhankelijk van andere criteria

45 Besluit: Covaar-II = Cultural Fair?
WANT: Okan gelijke scores als Bvl MAAR: (beperkte) invloed van land van herkomst en kennis van het Nederlands Bvl: ook cultureel homogeen Bvl en Okan: gelijk? (motivatie, werkelijke cognitieve vermogens) verdere analyses noodzakelijk => Besluit= voorbarig

46 Vragen ?

47 Bedankt!