De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen.

Verwante presentaties


Presentatie over: "De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen."— Transcript van de presentatie:

1 De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen en anderstalige nieuwkomers in het secundair onderwijs.

2 Inhoud Voorstelling van de Covaar-II Doel van het onderzoek Verloop van het onderzoek Resultaten Besluit Vragen

3 Voorstelling van de oorspronkelijke Covaar-II subtesten oefenfase testfase

4 Subtesten cognitieve vaardighedentest 3 subtesten - verbale analogieën - figuratieve reeksen - analogieën met symbolen inductief redeneren: mogelijkheid om regels af te leiden uit nieuw materiaal geen taaltest

5 Oefenfase voor elke subtest: voorbeelditem + oefening 6 oefeningen (2 per subtest) steeds klassikale uitleg (non-verbaal) persoonlijke uitleg mag (leerkracht en leerlingen)

6

7

8 Oefenfase: het nut/doel “testing the limits”: wat kan de persoon maximaal ipv wat kan hij nu! reduceren van “culturele” bias: vertrouwd maken met de test(situatie)

9 Oefenfase: het nut/doel bepaalde etnische groepen scoren significant lager op cognitieve vaardighedentesten oorzaak? geen consensus hypothese: invloed van bias (item-, methode- en constructbias)

10 Testfase 24 items, 6 per subtest volledig zelfstandig oplossen omnibusvorm tempofactor (20 minuten), maar geen echte tijdsdruk

11 Doel van het onderzoek Doel 1: psychometrische eigenschappen betrouwbaarheid itemvaliditeit (DIF) interne begripsvaliditeit (factoranalyses, intersubtestcorrelaties) convergente en criteriumvaliditeit predictieve validiteit => item-, construct-, en methodebias controleren

12 Doel van het onderzoek Doel 2: effect van de oefenfase naast uitgebreide oefenfase ook minimale oefenfase (~ klassieke intelligentietest) Verwachting: oefenfase heeft scoreverhogend effect groter effect bij Okan-leerlingen in vergelijking met Bvl-leerlingen (controlegroep)

13 Minimale oefenfase 1e oefening van elke subtest klassikaal uitgelegd 2e oefening: enkel juiste oplossing geen extra oefeningen enkel gestandardiseerde uitleg, geen extra uitleg alle uitleg in het Nederlands

14 Doel van het onderzoek Doel 3: effect van oefenfase op psychometrische eigenschappen Verwachting: betere psychometrische eigenschappen na uitgebreide oefenfase bij Okan ter vergelijking bij Bvl

15 Verloop van het onderzoek eerste vergadering: 19 mei 2005 aanspreken scholen, medewerkers,... tweede vergadering: 29 augustus 2005 afname en verzamelen achtergrondgegevens eerste inleverfase & vergadering: 7 december 2005 einde schooljaar: verzamelen opvolgingsgegevens tweede inleverfase: 10 juli 2006 verwerking gegevens en schrijven verhandeling

16 Verloop van het onderzoek Afname: Okan: 10 CLB’s in 17 scholen Bvl: 17 CLB’s in 22 scholen Totaal: 20 CLB’s in 34 scholen. 462 Okan-leerlingen en 548 Bvl-leerlingen minimale training (conditie 1): 521 leerlingen uitgebreide training (conditie 2): 489 leerlingen

17 Verloop van het onderzoek Wie nam de test af? interactie-effecten, proportie verklaarde variantie: 3% OkanBvl min.max.min.max. CLB- medewerker 218 (93%) 155 (68%) 271 (95%) 232 (89%) leerkracht0 (0%) 54 (24%) 15 (5%) 30 (12%) missing17 (7%) 18 (8%) 0 (0%) 0 (0%)

18 Verloop van het onderzoek Deelnemers: geslacht Totale groep (n=899) Okan (n=420) Bvl (n=479) mannelijk502 (56%) 230 (55%) 272 (57%) vrouwelijk397 (44%) 190 (45%) 207 (43%)

19 Verloop van het onderzoek Deelnemers: leeftijd, scholing & verblijfsduur Okan-groep (n= 418, M= 14.95) is significant ouder dan de Bvl-groep (n=474, M=13.70) Geen verschil in aantal jaren scholing (Okan: 7.56 jaar, n= 361; Bvl: 7.31 jaar, n= 447) Gemiddelde verblijfsduur Okan-leerlingen: 7.81 maanden (n=401, SD= 9.57) vs. niet in België geboren Bvl-ers: maanden (n=66, SD=38.68)

20 Verloop van het onderzoek Deelnemers: land van herkomst in totaal: 88 nationaliteiten Okan (n=418) : “Zuid, West & Oost Afrika” (21%), Oost-Europa (17%) & “Zuid en West Azië” (16%) Bvl (n=474) : België (84%) ouders Bvl (n=428) : België (68%), Noord-Afrika (14%) en Turkije (6%)

21 Verloop van het onderzoek Deelnemer: thuistaal Totale groep (n=869) Okan (n=396) Bvl (n=473) Nederlands317 (36%) 23 (6%) 294 (62%) Andere taal324 (37%) 257 (65%) 67 (14%) Nederlands & andere taal 228 (26%) 116 (29%) 112 (24%)

22 Verloop van het onderzoek Deelnemers: opleiding moeder Totale groep (n=390) Okan (n=205) Bvl (n=185) lager onderwijs en minder 100 (26%) 87 (42%) 13 (7%) middelbaar onderwijs 223 (57%) 74 (36%) 149 (81%) hoger onderwijs67 (17%) 44 (21%) 23 (12%)

23 Verloop van het onderzoek Deelnemers: opleiding vader Totale groep (n=381) Okan (n=206) Bvl (n=175) lager onderwijs en minder 70 (18%) 66 (32%) 4 (2%) middelbaar onderwijs 240 (63%) 86 (42%) 154 (88%) hoger onderwijs71 (19%) 54 (26%) 17 (10%)

24 Resultaten 1. Interne consistentie 2. Differential Item Functioning 3. Invloed van de oefenfase en andere relevante variabelen 4. Interne begripsvaliditeit 5. Convergente- en criteriumvaliditeit 6. Predictieve validiteit

25 Interne Consistentie Groter bij de Okan- groep, zowel in de minimale (α=.94, n=235) als de maximale conditie (α=.93, n=227), dan bij de Bvl-groep (respectievelijk α=.85, n=286 en α=.83, n=260) Het geven van een uitgebreidere oefenfase (maximale conditie) heeft geen effect op de betrouwbaarheid.

26 Differential Item Functioning DIF = de kans om een item goed te beantwoorden is niet gelijk voor subgroepen (Okan en Bvl) die even vaardig zijn met betrekking tot het te meten construct minimale conditie: 9 items in het voordeel van Bvl en 4 items in het voordeel van Okan maximale conditie: 8 items in het voordeel van Bvl en 2 items in het voordeel van Okan

27 Differential Item Functioning conditie heeft dus weinig effect voordeel voor Bvl: voornamelijk subschaal Figuratieve Reeksen (minimale conditie: 6 van de 9 items & maximale conditie: 4 van de 8 items) Opmerking: andere tests voeren DIF- analyses vaak niet uit => Covaar-II niet minder valide

28 Interne begripsvaliditeit correlaties tussen subtesten: sign. hoger bij Okan vs. Bvl, conditie geen effect factorstructuur: éénfactoroplossing, zoals verwacht proportie verklaarde variantie OkanBvl conditieminimaalmaximaalminimaalmaximaal R2R2 81,46%83,31%67,35%66,18%

29 Convergente en criteriumvaliditeit bij Okan correlatie PM:.80 (n=33) correlatie Hacquebord:.06 (n=33) correlatie subtesten Tasan: geen significant verschil tussen minimale en maximale conditie sub testen luister- en lezenschrijv- en recept- ief prod- uctief structu- rerend beschrij vend ondrst. veel ondrst. wein. r tot..48 (n=140).46 (n=139).35 (n=138).51 (n=140).35 (n=138).53 (n=140).23 (n=140).45 (n=140).51 (n=140) alle correlaties significant op.01 niveau

30 Predictieve validiteit leervaardigheid: Okan, minimale conditie (n=150) : r=.49 (p<.01) Okan, maximale conditie (n=139) : r=.47 (p<.01) Bvl, minimale conditie (n=178) : r=.26 (p<.01) Bvl, maximale conditie (n=169) : r=.26 (p<.01) =>Significant betere predictieve waarde bij de Okan- groep in vergelijking met de Bvl-groep (minimale en maximale conditie)

31 Predictieve validiteit examenresultaten, procentueel: Okan, minimale conditie (n=82) : r=.47 (p<.01) Okan, maximale conditie (n=68) : r=.22 (ns) Bvl, minimale conditie (n=176) : r=.43 (p<.01) Bvl, maximale conditie (n=169) : r=.20 (p<.01) =>Significant betere predictieve waarde bij de Bvl- groep na minimale training in vergelijking met de Bvl-groep na uitgebreide training

32 Predictieve validiteit examenresultaten vergelijkend: Okan, minimale conditie (n=82) : r=.44 (p<.01) Okan, maximale conditie (n=68) : r=.37 (p<.01) Bvl, minimale conditie (n=176) : r=.24 (p<.01) Bvl, maximale conditie (n=170) : r=.24 (p<.01) =>Geen significant verschil in correlaties

33 Predictieve validiteit vorderingen: Okan, minimale conditie (n=153) : r=.39 (p<.01) Okan, maximale conditie (n=145) : r=.43 (p<.01) Bvl, minimale conditie (n=182) : r=.17 (p<.05) Bvl, maximale conditie (n=159) : r=.19 (p<.05) =>Significant betere predictieve waarde bij de Okan- groep in vergelijking met de Bvl-groep (minimale en maximale conditie)

34 Predictieve validiteit feitelijke oriëntering, Okan: significant verband in beide groepen OriënteringBSOKSOTSOASO M min. cond. SD n M max. cond. SD n

35 Predictieve validiteit theoretische oriëntering, Okan: significant verband in beide groepen OriënteringBSOKSOTSOASO M min. cond. SD n M max. cond. SD n

36 Predictieve validiteit Uiteindelijke kennis Nederlands (Okan): Okan, minimale conditie (n=142) : pr=.17 (p<.05) Okan, maximale conditie (n=132) : pr=.18 (p<.05)

37 Predictieve validiteit Oriënteringsattest, Bvl: verband enkel significant na minimale training AttestABC M min. cond. SD n M max. cond. SD n

38 Invloed van de oefenfase en andere relevante variabelen Tegen verwachting in: geen verschil in scores tussen condities (minimale vs. uitgebreide oefenfase) Tegen verwachting in: geen verschil in scores tussen groepen (Okan vs. Bvl) Geen interactie-effect tussen beiden

39 Invloed van de oefenfase Minimale conditieMaximale conditieTotaal M Okan SD n 33,84 13, ,26 13, ,05 13, M Bvl SD n 34,93 9, ,37 8, ,10 8, M Totaal SD n 34,44 11, ,93 10, ,16 11,

40 Invloed van de oefenfase en andere relevante variabelen Geen effect: geslacht, leeftijd, beroep van moeder en beroep van vader (SES) en jaren scholing Wel effect: land van herkomst (R 2 =.11) en kennis van het Nederlands (R 2 =.07)

41 Invloed van land van herkomst Covaar-II scores Land van herkomst

42 Besluit Doel 1: psychometrische eigenschappen De Covaar-II is een betrouwbaar en valide instrument bij gebruik in Okan-klassen echter: DIF, overwegend in voordeel van Bvl aangaande alle andere maten: validiteit beter bij Okan dan bij Bvl => vergelijking tussen Okan en Bvl niet aangewezen

43 Besluit Doel 2: effect van de oefenfase De oefenfase heeft geen invloed op de gemiddelde scores

44 Besluit Doel 3: effect van oefenfase op psychometrische eigenschappen over het algemeen geen effect van oefenfase op psychometrische eigenschappen zowel bij Okan als Bvl niet maar validiteit reeds redelijk groot zonder oefenfase => keuze minimale vs. maximale oefenfase afhankelijk van andere criteria

45 Besluit: Covaar-II = Cultural Fair? WANT: Okan gelijke scores als Bvl MAAR: (beperkte) invloed van land van herkomst en kennis van het Nederlands Bvl: ook cultureel homogeen Bvl en Okan: gelijk? (motivatie, werkelijke cognitieve vermogens) verdere analyses noodzakelijk => Besluit= voorbarig

46 Vragen ?

47 Bedankt!


Download ppt "De Covaar-II Een cognitieve vaardighedentest voor anderstalige nieuwkomers. Validatie van de test en differentiële effecten van de oefenfase bij beroepsleerlingen."

Verwante presentaties


Ads door Google