De Rekenscan van Rekenblokken

Presentatie over: "De Rekenscan van Rekenblokken"— Transcript van de presentatie:

1 De Rekenscan van Rekenblokken
Precies waar u op rekent Ir. Lonneke Boels Docent vakdidactiek rekenen De afbeeldingen in deze powerpoint. maken geen onderdeel uit van de levering en zijn slechts bedoeld ter verduidelijking van het soort afbeelding dat gewenst is. Dit betekent dat Malmberg zelf de rechten op de afbeeldingen moet regelen danwel de afbeeldingen moet vervangen door afbeeldingen waarop Malmberg rechten heeft. Naast docent vakdidactiek rekenen op de pabo van de Haagse Hogeschool ben ik ook wiskundedocent in het voortgezet onderwijs en directeur van mijn eigen bedrijf met 5 werknemers.

2 Kijkje in keuken toetsenmakers
Aanwijzing voor degene die de powerpoint opmaakt: Shutterstock: invoegen en lichter maken (hier is voor wassen gekozen maar dat is te licht). Het maken van een betrouwbare rekenscan

3 Hoe maken we de rekenscan? Valide en betrouwbaar! Cyclisch verbeteren
Inhoud Wat is de rekenscan? Hoe maken we de rekenscan? Valide en betrouwbaar! Cyclisch verbeteren Stock Photo: A CT scan machine with patient and nurse Image ID:

4 Voldoet aan referentiekader
Wat is rekenscan 2F Toets Getallen 1F Getallen 2F Verhoudingen 2F Meten en meetkunde 2F Verbanden 2F Voldoet aan referentiekader Voldoet aan eisen examensyllabus en rekentoetswijzer Part of brain - right HEMISPHERE Image ID:   Symbool voor bepaling of je over 2F-lat springt of niet. Doel van rekenscan: controle of op 2F niveau of niet. Lat: ga je eroverheen of niet? 5 toetsen (Peter/Joop: hoe zit de afname precies in elkaar?) Eisen examensyllabi en rekentoetswijzer. Denk aan wel/niet gebruik RM in de afzonderlijke gedeelten, percentage 'kale sommen' etc. Eisen examensyllabus 2F mbo 40 – 50 opgaven (wij hebben in Rekenscan meer maar dat komt omdat we onderdelen afzonderlijk toetsen), beeldmateriaal verduidelijkt of vervangt waar nodig taal, toetst geen taalvaardigheid, functioneel gebruiken in praktische en herkenbare situaties, ca. 10% kale sommen, Kaal betekent: ook geen eenheden. Rekenmachine beschikbaar bij alle contextopgaven. Kale opgaven 1F zonder rekenmachine mogelijk. Rekentoetswijzer 2F: 15 – 20% kale opgaven niveau 1F, zonder rekenmachine. Helft opgaven is rekenmachine handig of bruikbaar. Per opgave (context) één vraag.

5 Maken: blauwdruk rekenscan
Getallen 2F Referentiekader/syllabus 2F/rekentoetswijzer 2F: Binnen een situatie het resultaat van een berekening op juistheid controleren: Totaal betaald aan huur per jaar €43,683 klopt dat wel? ID-nr foto zie eerder. Blauwdruk is gekoppeld aan plaatje (blijft het beter hangen…)

6 Referentiekader/syllabus/rekentoetswijzer: weten waarom
Blauwdruk - vervolg Scherm 6; 1 item Referentiekader/syllabus/rekentoetswijzer: weten waarom Uitvoering: Weten waarom Moeilijkheidsgraad: gemiddeld Weten waarom (komt uit piramidemodel vakdidactiek van o.a. PISA framework: daar generaliseren genoemd) Stock Photo: Pyramid top with blue skies and clouds in the background Image ID: Moeilijkheidsgraad bepalen is lastig. Vooraf door aan verschillende experts te vragen. Achteraf controle door p-waarde. Als dit niet met elkaar klopt: extra analyse!! Weten dat (reproductie) Weten hoe (functioneel gebruiken) Weten waarom

7 Getallen 2F Weten waarom (generaliseren) – gemiddeld

8 Meet wat je wilt meten  blauwdruk
Valide Meet wat je wilt meten  blauwdruk Koppeling aan leerdoelen  blauwdruk Vaardigheden bij leerdoelen  blauwdruk Voldoende grote steekproef leerdoelen  blauwdruk Taalniveau passend  eindredactie Resultaten consistent met andere valide toetsen Wat is valide? Wikipedia: De validiteit of geldigheid van een test is de mate waarin de test meet wat hij zou moeten meten. Bij het onderzoeken van de validiteit wordt gekeken naar de mate waarin de resultaten van een test en het te meten verschijnsel met elkaar overeenkomen. Stock Photo: Question or Justice concept - closeup of a sculpture of Themis, mythological Greek goddess, symbol of justice, blind and holding empty balance in her hand, isolated on white background Image ID: Resultaten consistent met andere valide toetsen: bijvoorbeeld examens/rekentoetsen 2F (v)mbo 2013/2014 Validiteit: aansluiten bij referentiekader, burgerschapsniveau door authentieke contexten waar mogelijk (beide inhoudsvaliditeit).

9 Beoordelaar speelt geen rol  digitale afname
Betrouwbaar Beoordelaar speelt geen rol  digitale afname Variatie in makkelijk – moeilijk  blauwdruk Voldoende opgaven  blauwdruk Onderlinge verschillen in beheersingsgraad zichtbaar in scores (d-waarden)  analyse p-waarde niet te hoog, niet te laag  analyse Hogere scores bij hogere beheersingsgraad  analyse Correlatie en andere coëfficiënten Een definitie luidt: betrouwbaarheid geeft de mate aan waarin meetresultaten een afspiegeling zijn van de te meten variabele. Een andere definitie luidt: betrouwbaarheid geeft de mate aan waarin metingen vrij zijn van de invloed van toevallige factoren. Betrouwbaarheid is een voorwaarde voor valide toetsen maar is niet voldoende. Stock Photo: Question or Justice concept - closeup of a sculpture of Themis, mythological Greek goddess, symbol of justice, blind and holding empty balance in her hand, isolated on white background Image ID: P-waarde te hoog: iedereen beheerst het dus dan kan niveau te eenvoudig zijn (1F??) of voorkennis ipv wat je vraagt of vraag- of antwoordmodel deugt niet. P-waarde te laag: wat maakt het moeilijk: slecht geleerd, taal, niveau te hoog, kwaliteit antwoord te hoog, deugt er iets niet aan de vraag? B.v. afleider kan toch goed zijn bij m.c. Als p-waarde te hoog of te laag neemt betrouwbaarheid af. In de praktijk tussen 0,27 en 0,79 goed.

10 Burgerschapsniveau  authentieke context
Bruikbaar Burgerschapsniveau  authentieke context Eenduidige vragen  eindredactie Inhoudelijk correct  eindredactie Duidelijke instructie beginscherm  eindredactie Eenduidige antwoorden  eindredactie Lay-out  eindredactie of bureauredacteur Eenduidige vragen  analyse Eenduidige antwoorden  analyse Toetslengte OK (tijd)  analyse Eindredactie is gebeurd maar analyse nog niet. Ook inhoudelijk correct (voorbeeld tankauto). Het gaat er dan om dat de context klopt met de werkelijkheid! Tankauto bevat minimaal liter en vaak ongeveer of liter. Vraag mag dan niet gaan over tankauto liter met plaatje tankauto erbij! Vraag is dan wel rekenkundig correct maar qua context niet.

11 paraat hebben (reproductie)
Meten 2F -authentiek paraat hebben (reproductie) p = 0,53 d = 0,72 (ruim 8800 studenten) Meten 2F: 1 ton is 1000 kg; 1 ton is € In rood: analyse Ik vind dit een pareltje omdat het met heel weinig tekst in de linkeropgave de context van de verkoop van een woning neerzet en in het rechterdeel een prachtig beeld is gebruikt voor de reproductie-opgave waardoor het veel meer is dan een simpele invuloefening (zoals 60 ton = … kg) terwijl je toch hetzelfde toetst. Het laat bovendien zien dat je een onderwerp op het niveau van ‘paraat hebben’ niet altijd met kale opgaven hoeft te toetsen.

12 (generaliseren) – gemiddeld p = 0,63 en d = 0,70
Getallen 2F Scherm 6 Weten waarom (generaliseren) – gemiddeld p = 0,63 en d = 0,70 p- en d-waarden zijn prima; geen aanleiding voor wijzigingen. Met de huidige discussie in de kranten over de 1040 lesuren norm kan het ook paraat hebben worden!! Die discussie was niet actueel toen we deze opgave ontworpen… In rood: analyse Ik vind dit een pareltje omdat het een opgave betreft die m.i. goed past bij het niveau ‘weten waarom’. De opgave kan zowel door narekenen als door logisch redeneren worden opgelost. De gevraagde voorkennis (een jaar is 52 weken en een schooljaar is ongeveer 40 weken) is gering. De opgave past bovendien goed bij de gekozen moeilijkheidsgraad. Veel docenten zullen bij rekenen toch snel denken aan parate rekenkennis of het toepassen (functioneel gebruiken) van rekenprocedures. Het derde niveau, weten waarom, is echter het niveau van het inzicht en daarmee misschien wel het belangrijkste niveau uit het referentiekader.

13 Verhoudingen - 2F p = 0,59 en d = 0,69 Scherm 20
Op de verpakking van een modelauto staat 1 : 50. De modelauto is 8 cm lang. Wat is de werkelijke lengte van de auto in meters? 8 cm Ik vind dit een van de betere opgaven uit de rekenscan verhoudingen. Er komt nog wel een kleine aanpassing: meter vet maken (rechterdeel scherm na antwoord) en maat erbij als titel bij de foto van de auto. De p-waarde is weliswaar ruim voldoende maar toch lager dan we willen bij deze opgave. p = 0,59 en d = 0,69 meter

14 Valide, betrouwbaar, bruikbaar
Blauwdruk  aansluiting referentiekader, syllabus, rekentoetswijzer Berekening p-waarden Percentage goed Berekening d-waarden ‘Discrimineert’ tussen goed en zwak d > 0,4 goed d < 0,3 vraag aanpassen noodzakelijk Stock Photo: Question or Justice concept - closeup of a sculpture of Themis, mythological Greek goddess, symbol of justice, blind and holding empty balance in her hand, isolated on white background Image ID:

15 Situaties vertalen naar een bewerking:
Blauwdruk Getallen 2F Referentiekader: Situaties vertalen naar een bewerking: 350 blikjes nodig, ze zijn verpakt per 6 Scherm 4; 2 items Referentiekader: functioneel gebruiken Uitvoering: 2 x functioneel gebruiken Moeilijkheidsgraad: 1x makkelijk, 1x gemiddeld

16 Functioneel gebruiken (Wiskundig gereedschap kiezen)
Getallen 2F Functioneel gebruiken (Wiskundig gereedschap kiezen) gemiddeld en makkelijk p = 0,53 en d = 0,7

17 inhoudelijke fout in eerste item (Gb ipv GB en Mb ipv MB)
Cyclisch verbeteren Aanpassen want: inhoudelijke fout in eerste item (Gb ipv GB en Mb ipv MB) onduidelijke lay-out eerste item relatief lage p-score 0,53 bij ‘gemiddeld’ en ‘makkelijk’ Stock Photo: Recycling concept: rainbow circle diagram with arrows isolated on white background Image ID: De p- en d-waarden geven geen aanleiding voor verbetering van deze opgave. 49% is voor een breukenopgave een hoge score! Toch zijn er wel verbeteringen denkbaar; zie volgende dia.

18 Verbeterde vraag Getallen 2F
Een MP4-speler van 8 GB. Een liedje van 4 minuten gebruikt 10 MB. De relatief lage p-score kan hier komen doordat studenten het eerste invulvakje over het hoofd zien. [Opmerking: let op: de B van byte moet met een hoofdletter! b betekent bit en is een andere hoeveelheid.] Ook de m2 kan een probleem zijn. Plaatje bouwgrond toevoegen kan taalinvloed verkleinen. Image ID: Hoeveel liedjes van 10 MB kunnen op deze MP4-speler? liedjes

19 een etage in een flatgebouw is ongeveer 3 m hoog Scherm 9, 1 item
Blauwdruk Meten en meetkunde 2F Referentiekader: Schattingen en metingen doen van hoeken, lengten en oppervlakten van objecten in de ruimte: een etage in een flatgebouw is ongeveer 3 m hoog Scherm 9, 1 item Referentiekader: paraat hebben (reproductie) Uitvoering: functioneel gebruiken (wiskundig gereedschap kiezen) Moeilijkheidsgraad: gemiddeld In het referentiekader is het niveau: paraat hebben. Dat het dit niveau is, wil niet zeggen dat de opgaven persé alleen ook dat niveau moet hebben. Je kunt ‘feitjes’ prima toetsen in een niet-reproductieve vraag. De indeling in reproductie en wiskundig gereedschap gebruiken komt uit de piramide van Jan de Lange (zie o.a. PISA framework). Dit is geen vaststaand gegeven. Als onlangs geoefend is om een onderwerp, is het reproductie; als het langer geleden is, kan dezelfde vraag wiskundig gereedschap gebruiken zijn (en omgekeerd: als veel op een vraag die wiskundig gereedschap gebruiken was is geoefend, wordt het een reproductievraag).

20 Functioneel gebruiken (wiskundig gereedschap kiezen)
Meten en meetkunde 2F Keuze uit: 1, ,5 3,5 4 Juiste antwoord: 2,5 meter. Functioneel gebruiken (wiskundig gereedschap kiezen) Moeilijkheidsgraad: gemiddeld p = 0,62 en d = 0,70

21 Referentiekader Getallen 1F
Blauwdruk Referentiekader Getallen 1F (1) Omzetten van eenvoudige breuken in decimale getallen: 1/2 = 0,5 0,01 = 1/100 (2) Optellen en aftrekken van veel voorkomende gelijknamige (a) en ongelijknamige (b) breuken binnen een betekenisvolle situatie. 1/8 + 1/8 1/2 + 3/4 In het referentiekader is het niveau: paraat hebben. Dat het dit niveau is, wil niet zeggen dat de opgaven persé alleen ook dat niveau moet hebben. Je kunt ‘feitjes’ prima toetsen in een niet-reproductieve vraag. De indeling in reproductie en wiskundig gereedschap gebruiken komt uit de piramide van Jan de Lange (zie o.a. PISA framework). Dit is geen vaststaand gegeven. Als onlangs geoefend is om een onderwerp, is het reproductie; als het langer geleden is, kan dezelfde vraag wiskundig gereedschap gebruiken zijn (en omgekeerd: als veel op een vraag die wiskundig gereedschap gebruiken was is geoefend, wordt het een reproductievraag).

22 Referentiekader: paraat hebben Uitvoering: 1 x paraat hebben
Blauwdruk - vervolg Scherm 9, 3 items Referentiekader: paraat hebben Uitvoering: 1 x paraat hebben 2 x functioneel gebruiken Moeilijkheidsgraad: 1 x makkelijk 1 x gemiddeld 1x moeilijk Stock Photo: Big piramid with staircase in Palenque, Mexico Image ID: De ene foto is de basis van een piramide; een verwijzing naar de piramide van Jan de Lange (PISA framework) waarin reproductie (paraat hebben) de basis vormt. We verwachten hier korte items; daarom drie vragen op 1 scherm

23 Paraat hebben (reproductie) - makkelijk
Opgave getallen 1F Scherm 9, item 1 Paraat hebben (reproductie) - makkelijk Broken antique clay pot on a white background Image ID:

24 Functioneel gebruiken (wiskundig gereedschap gebruiken) Gemiddeld
Opgave getallen 1F Scherm 9, item 2 Hoeveelste is geen goed Nederlands. Welk deel …. Functioneel gebruiken (wiskundig gereedschap gebruiken) Gemiddeld

25 Opgave getallen 1F Scherm 9, item 3
Amina heeft een stuk chocolade mee naar school genomen. De chocolade bestaat uit 24 stukjes. Vier personen verdelen de chocola. Achmed en Marcel krijgen ieder deel, Said krijgt deel en Stan krijg de rest. Hoeveel van de stukjes van de reep krijgt Stan? Stan krijgt stukjes van de reep. Functioneel gebruiken (wiskundig gereedschap gebruiken) - moeilijk

26 49% maakt de opgaven van dit scherm foutloos
Cyclisch verbeteren p-waarde 0,49 49% maakt de opgaven van dit scherm foutloos d-waarde 0,6 opgave maakt goed onderscheid tussen goede en zwakke rekenaars Stock Photo: Recycling concept: rainbow circle diagram with arrows isolated on white background Image ID: De p- en d-waarden geven geen aanleiding voor verbetering van deze opgave. 49% is voor een breukenopgave een hoge score! Toch zijn er wel verbeteringen denkbaar; zie volgende dia.

27 Mogelijke verbeteringen
Lay out scherm beter Taal: kortere zinnen, dubbele informatie weg. Plaatje toevoegen bij laatste vraag? Je kunt hier ook nog bij betrekken dat ons visuele geheugen veel sterker is dan ons geheugen voor kale opgaven en kale teksten. Toets je dus eigenlijk wel hetzelfde als je beeld toevoegt? Verticaal mathematiseren … Graag opmerkingen ook van publiek!

28 Voorbeeld mogelijke wijziging opgave getallen 1F
Amina neemt een reep chocolade mee naar school (zie foto). Achmed en Marcel krijgen ieder deel, Said krijgt deel en Stan krijg de rest. Stan krijgt stukjes van de reep. Reep met 24 stukjes Shutterstock: P- en d-waarden geven GEEN aanleiding voor deze wijzigngen. Toch nodig?? Controle antwoorden kan aanleiding zijn voor deze wijzigingen! Toets je nu met beeld hetzelfde als bij vorige opgave? Op de volgende dia staat hij daarom nog een keer. Als je gegeven van 24 stukjes weglaat bij de reep, toets je dan ook nog hetzelfde?

29 Opgave getallen 1F Scherm 9, item 3
Amina heeft een stuk chocolade mee naar school genomen. De chocolade bestaat uit 24 stukjes. Vier personen verdelen de chocola. Achmed en Marcel krijgen ieder deel, Said krijgt deel en Stan krijg de rest. Hoeveel van de stukjes van de reep krijgt Stan? Stan krijgt stukjes van de reep. ‘Oude versie’ Functioneel gebruiken (wiskundig gereedschap gebruiken) - moeilijk

30 1 liter Hoe vaak past 200 ml erin?
Met of zonder beeld? Toets je dan nog hetzelfde? Niveaus van leren: concreet schematisch abstract-formeel Plaatje  schematisch niveau Tekst  abstract niveau??? 1 liter Hoe vaak past 200 ml erin? Toets je hetzelfde als je leerlingen een fles geeft en laat afmeten hoe vaak 200 ml uit een fles gaat of als je ze een tekening van een maatbeker geeft met 1000 ml en vraagt hoe vaak 200 ml hierin past? Let op: concreet niveau is met een echte fles cola en glazen… Schematisch niveau kent eigenlijk gradaties: van plaatje van een fles naar abstracte tekening van een fles naar een verhoudingstabel. Met een verhoudingstabel (of een ander schema) wordt in de rekendidactiek ook wel abstract niveau genoemd. En als je het schema geeft of je beschrijft het in taal, toets je dan hetzelfde? Toets je in beide gevallen dezelfde rekenvaardigheid?? Wij hebben nog geen antwoord op deze vraag. En in hoeverre speelt dit een rol? Leerlingen havo-vwo vinden in groep 8 kale opgaven makkelijker dan opgaven met context; voor vmbo-leerlingen is dit precies andersom!!

31 Analyse antwoorden studenten Veelgemaakte fouten Oorzaak?
Cyclisch verbeteren Volgende stappen: Analyse antwoorden studenten Veelgemaakte fouten Oorzaak? Correlatie e.d. Uit het type fout kun je veel afleiden Dit zijn de stappen die we nog gaan doen.

32 Uitwerking laten noteren Forse verhoging kans goed
Tips voor docenten Uitwerking laten noteren Forse verhoging kans goed Bron: Cito, PPON; basisschool Lisse Jongens noteren minst Shutterstock: Stock Photo: Portrait of smart schoolchild standing at blackboard and looking at camera Image ID:

33 Bron: Panama conferentie rekenen 2012 voor rekencoördinatoren
Tips voor docenten Vragen hoe gerekend Helpt zelfs zonder feedback Uitwerking! Bron: Panama conferentie rekenen 2012 voor rekencoördinatoren Stock Photo: Rear view mirror reflecting road and sky Image ID: Uitwerking staat hier bewust nogmaals. Kan het belang niet genoeg benadrukken.

34 Werkgeheugen verbeteren: geheugenpaleis (boek Joshua Foer)
Tips voor docenten Werkgeheugen directe relatie rekenprestaties (Panama rekenconferentie, 2012) Vakterm: updating Werkgeheugen verbeteren: geheugenpaleis (boek Joshua Foer) Stock Photo: Map of Nepal - collage made of travel photos, all photos are my own Image ID: 3D render of growth chart on a laptop screen Image ID: