De Rekenscan van Rekenblokken Precies waar u op rekent Ir. Lonneke Boels Docent vakdidactiek rekenen De afbeeldingen in deze powerpoint. maken geen onderdeel uit van de levering en zijn slechts bedoeld ter verduidelijking van het soort afbeelding dat gewenst is. Dit betekent dat Malmberg zelf de rechten op de afbeeldingen moet regelen danwel de afbeeldingen moet vervangen door afbeeldingen waarop Malmberg rechten heeft. Naast docent vakdidactiek rekenen op de pabo van de Haagse Hogeschool ben ik ook wiskundedocent in het voortgezet onderwijs en directeur van mijn eigen bedrijf met 5 werknemers.

Kijkje in keuken toetsenmakers Aanwijzing voor degene die de powerpoint opmaakt: Shutterstock: 72648007 invoegen en lichter maken (hier is voor wassen gekozen maar dat is te licht). Het maken van een betrouwbare rekenscan

Hoe maken we de rekenscan? Valide en betrouwbaar! Cyclisch verbeteren Inhoud Wat is de rekenscan? Hoe maken we de rekenscan? Valide en betrouwbaar! Cyclisch verbeteren Stock Photo: A CT scan machine with patient and nurse Image ID: 75177940

Voldoet aan referentiekader Wat is rekenscan 2F Toets Getallen 1F Getallen 2F Verhoudingen 2F Meten en meetkunde 2F Verbanden 2F Voldoet aan referentiekader Voldoet aan eisen examensyllabus en rekentoetswijzer Part of brain - right HEMISPHERE Image ID: 82098535   Symbool voor bepaling of je over 2F-lat springt of niet. Doel van rekenscan: controle of op 2F niveau of niet. Lat: ga je eroverheen of niet? 5 toetsen (Peter/Joop: hoe zit de afname precies in elkaar?) Eisen examensyllabi en rekentoetswijzer. Denk aan wel/niet gebruik RM in de afzonderlijke gedeelten, percentage 'kale sommen' etc. Eisen examensyllabus 2F mbo 40 – 50 opgaven (wij hebben in Rekenscan meer maar dat komt omdat we onderdelen afzonderlijk toetsen), beeldmateriaal verduidelijkt of vervangt waar nodig taal, toetst geen taalvaardigheid, functioneel gebruiken in praktische en herkenbare situaties, ca. 10% kale sommen, Kaal betekent: ook geen eenheden. Rekenmachine beschikbaar bij alle contextopgaven. Kale opgaven 1F zonder rekenmachine mogelijk. Rekentoetswijzer 2F: 15 – 20% kale opgaven niveau 1F, zonder rekenmachine. Helft opgaven is rekenmachine handig of bruikbaar. Per opgave (context) één vraag.

Maken: blauwdruk rekenscan Getallen 2F Referentiekader/syllabus 2F/rekentoetswijzer 2F: Binnen een situatie het resultaat van een berekening op juistheid controleren: Totaal betaald aan huur per jaar €43,683 klopt dat wel? ID-nr foto zie eerder. Blauwdruk is gekoppeld aan plaatje (blijft het beter hangen…)

Referentiekader/syllabus/rekentoetswijzer: weten waarom Blauwdruk - vervolg Scherm 6; 1 item Referentiekader/syllabus/rekentoetswijzer: weten waarom Uitvoering: Weten waarom Moeilijkheidsgraad: gemiddeld Weten waarom (komt uit piramidemodel vakdidactiek van o.a. PISA framework: daar generaliseren genoemd) Stock Photo: Pyramid top with blue skies and clouds in the background Image ID: 45374830 Moeilijkheidsgraad bepalen is lastig. Vooraf door aan verschillende experts te vragen. Achteraf controle door p-waarde. Als dit niet met elkaar klopt: extra analyse!! Weten dat (reproductie) Weten hoe (functioneel gebruiken) Weten waarom

Getallen 2F Weten waarom (generaliseren) – gemiddeld

Meet wat je wilt meten  blauwdruk Valide Meet wat je wilt meten  blauwdruk Koppeling aan leerdoelen  blauwdruk Vaardigheden bij leerdoelen  blauwdruk Voldoende grote steekproef leerdoelen  blauwdruk Taalniveau passend  eindredactie Resultaten consistent met andere valide toetsen Wat is valide? Wikipedia: De validiteit of geldigheid van een test is de mate waarin de test meet wat hij zou moeten meten. Bij het onderzoeken van de validiteit wordt gekeken naar de mate waarin de resultaten van een test en het te meten verschijnsel met elkaar overeenkomen. Stock Photo: Question or Justice concept - closeup of a sculpture of Themis, mythological Greek goddess, symbol of justice, blind and holding empty balance in her hand, isolated on white background Image ID: 82103137 Resultaten consistent met andere valide toetsen: bijvoorbeeld examens/rekentoetsen 2F (v)mbo 2013/2014 Validiteit: aansluiten bij referentiekader, burgerschapsniveau door authentieke contexten waar mogelijk (beide inhoudsvaliditeit).

Beoordelaar speelt geen rol  digitale afname Betrouwbaar Beoordelaar speelt geen rol  digitale afname Variatie in makkelijk – moeilijk  blauwdruk Voldoende opgaven  blauwdruk Onderlinge verschillen in beheersingsgraad zichtbaar in scores (d-waarden)  analyse p-waarde niet te hoog, niet te laag  analyse Hogere scores bij hogere beheersingsgraad  analyse Correlatie en andere coëfficiënten Een definitie luidt: betrouwbaarheid geeft de mate aan waarin meetresultaten een afspiegeling zijn van de te meten variabele. Een andere definitie luidt: betrouwbaarheid geeft de mate aan waarin metingen vrij zijn van de invloed van toevallige factoren. Betrouwbaarheid is een voorwaarde voor valide toetsen maar is niet voldoende. Stock Photo: Question or Justice concept - closeup of a sculpture of Themis, mythological Greek goddess, symbol of justice, blind and holding empty balance in her hand, isolated on white background Image ID: 82103137 P-waarde te hoog: iedereen beheerst het dus dan kan niveau te eenvoudig zijn (1F??) of voorkennis ipv wat je vraagt of vraag- of antwoordmodel deugt niet. P-waarde te laag: wat maakt het moeilijk: slecht geleerd, taal, niveau te hoog, kwaliteit antwoord te hoog, deugt er iets niet aan de vraag? B.v. afleider kan toch goed zijn bij m.c. Als p-waarde te hoog of te laag neemt betrouwbaarheid af. In de praktijk tussen 0,27 en 0,79 goed.

Burgerschapsniveau  authentieke context Bruikbaar Burgerschapsniveau  authentieke context Eenduidige vragen  eindredactie Inhoudelijk correct  eindredactie Duidelijke instructie beginscherm  eindredactie Eenduidige antwoorden  eindredactie Lay-out  eindredactie of bureauredacteur Eenduidige vragen  analyse Eenduidige antwoorden  analyse Toetslengte OK (tijd)  analyse Eindredactie is gebeurd maar analyse nog niet. Ook inhoudelijk correct (voorbeeld tankauto). Het gaat er dan om dat de context klopt met de werkelijkheid! Tankauto bevat minimaal 22.000 liter en vaak ongeveer 25.000 of 30.000 liter. Vraag mag dan niet gaan over tankauto 8.000 liter met plaatje tankauto erbij! Vraag is dan wel rekenkundig correct maar qua context niet.

paraat hebben (reproductie) Meten 2F -authentiek paraat hebben (reproductie) p = 0,53 d = 0,72 (ruim 8800 studenten) Meten 2F: 1 ton is 1000 kg; 1 ton is € 100.000 In rood: analyse Ik vind dit een pareltje omdat het met heel weinig tekst in de linkeropgave de context van de verkoop van een woning neerzet en in het rechterdeel een prachtig beeld is gebruikt voor de reproductie-opgave waardoor het veel meer is dan een simpele invuloefening (zoals 60 ton = … kg) terwijl je toch hetzelfde toetst. Het laat bovendien zien dat je een onderwerp op het niveau van ‘paraat hebben’ niet altijd met kale opgaven hoeft te toetsen.

(generaliseren) – gemiddeld p = 0,63 en d = 0,70 Getallen 2F Scherm 6 Weten waarom (generaliseren) – gemiddeld p = 0,63 en d = 0,70 p- en d-waarden zijn prima; geen aanleiding voor wijzigingen. Met de huidige discussie in de kranten over de 1040 lesuren norm kan het ook paraat hebben worden!! Die discussie was niet actueel toen we deze opgave ontworpen… In rood: analyse Ik vind dit een pareltje omdat het een opgave betreft die m.i. goed past bij het niveau ‘weten waarom’. De opgave kan zowel door narekenen als door logisch redeneren worden opgelost. De gevraagde voorkennis (een jaar is 52 weken en een schooljaar is ongeveer 40 weken) is gering. De opgave past bovendien goed bij de gekozen moeilijkheidsgraad. Veel docenten zullen bij rekenen toch snel denken aan parate rekenkennis of het toepassen (functioneel gebruiken) van rekenprocedures. Het derde niveau, weten waarom, is echter het niveau van het inzicht en daarmee misschien wel het belangrijkste niveau uit het referentiekader.

Verhoudingen - 2F p = 0,59 en d = 0,69 Scherm 20 Op de verpakking van een modelauto staat 1 : 50. De modelauto is 8 cm lang. Wat is de werkelijke lengte van de auto in meters? 8 cm Ik vind dit een van de betere opgaven uit de rekenscan verhoudingen. Er komt nog wel een kleine aanpassing: meter vet maken (rechterdeel scherm na antwoord) en maat erbij als titel bij de foto van de auto. De p-waarde is weliswaar ruim voldoende maar toch lager dan we willen bij deze opgave. p = 0,59 en d = 0,69 meter

Valide, betrouwbaar, bruikbaar Blauwdruk  aansluiting referentiekader, syllabus, rekentoetswijzer Berekening p-waarden Percentage goed Berekening d-waarden ‘Discrimineert’ tussen goed en zwak d > 0,4 goed d < 0,3 vraag aanpassen noodzakelijk Stock Photo: Question or Justice concept - closeup of a sculpture of Themis, mythological Greek goddess, symbol of justice, blind and holding empty balance in her hand, isolated on white background Image ID: 82103137

Situaties vertalen naar een bewerking: Blauwdruk Getallen 2F Referentiekader: Situaties vertalen naar een bewerking: 350 blikjes nodig, ze zijn verpakt per 6 Scherm 4; 2 items Referentiekader: functioneel gebruiken Uitvoering: 2 x functioneel gebruiken Moeilijkheidsgraad: 1x makkelijk, 1x gemiddeld

Functioneel gebruiken (Wiskundig gereedschap kiezen) Getallen 2F Functioneel gebruiken (Wiskundig gereedschap kiezen) gemiddeld en makkelijk p = 0,53 en d = 0,7

inhoudelijke fout in eerste item (Gb ipv GB en Mb ipv MB) Cyclisch verbeteren Aanpassen want: inhoudelijke fout in eerste item (Gb ipv GB en Mb ipv MB) onduidelijke lay-out eerste item relatief lage p-score 0,53 bij ‘gemiddeld’ en ‘makkelijk’ Stock Photo: Recycling concept: rainbow circle diagram with arrows isolated on white background Image ID: 84254311 De p- en d-waarden geven geen aanleiding voor verbetering van deze opgave. 49% is voor een breukenopgave een hoge score! Toch zijn er wel verbeteringen denkbaar; zie volgende dia.

Verbeterde vraag Getallen 2F Een MP4-speler van 8 GB. Een liedje van 4 minuten gebruikt 10 MB. De relatief lage p-score kan hier komen doordat studenten het eerste invulvakje over het hoofd zien. [Opmerking: let op: de B van byte moet met een hoofdletter! b betekent bit en is een andere hoeveelheid.] Ook de m2 kan een probleem zijn. Plaatje bouwgrond toevoegen kan taalinvloed verkleinen. Image ID: 20973001 Hoeveel liedjes van 10 MB kunnen op deze MP4-speler? liedjes

een etage in een flatgebouw is ongeveer 3 m hoog Scherm 9, 1 item Blauwdruk Meten en meetkunde 2F Referentiekader: Schattingen en metingen doen van hoeken, lengten en oppervlakten van objecten in de ruimte: een etage in een flatgebouw is ongeveer 3 m hoog Scherm 9, 1 item Referentiekader: paraat hebben (reproductie) Uitvoering: functioneel gebruiken (wiskundig gereedschap kiezen) Moeilijkheidsgraad: gemiddeld In het referentiekader is het niveau: paraat hebben. Dat het dit niveau is, wil niet zeggen dat de opgaven persé alleen ook dat niveau moet hebben. Je kunt ‘feitjes’ prima toetsen in een niet-reproductieve vraag. De indeling in reproductie en wiskundig gereedschap gebruiken komt uit de piramide van Jan de Lange (zie o.a. PISA framework). Dit is geen vaststaand gegeven. Als onlangs geoefend is om een onderwerp, is het reproductie; als het langer geleden is, kan dezelfde vraag wiskundig gereedschap gebruiken zijn (en omgekeerd: als veel op een vraag die wiskundig gereedschap gebruiken was is geoefend, wordt het een reproductievraag).

Functioneel gebruiken (wiskundig gereedschap kiezen) Meten en meetkunde 2F Keuze uit: 1,7 2,5 3,5 4 Juiste antwoord: 2,5 meter. Functioneel gebruiken (wiskundig gereedschap kiezen) Moeilijkheidsgraad: gemiddeld p = 0,62 en d = 0,70

Referentiekader Getallen 1F Blauwdruk Referentiekader Getallen 1F (1) Omzetten van eenvoudige breuken in decimale getallen: 1/2 = 0,5 0,01 = 1/100 (2) Optellen en aftrekken van veel voorkomende gelijknamige (a) en ongelijknamige (b) breuken binnen een betekenisvolle situatie. 1/8 + 1/8 1/2 + 3/4 In het referentiekader is het niveau: paraat hebben. Dat het dit niveau is, wil niet zeggen dat de opgaven persé alleen ook dat niveau moet hebben. Je kunt ‘feitjes’ prima toetsen in een niet-reproductieve vraag. De indeling in reproductie en wiskundig gereedschap gebruiken komt uit de piramide van Jan de Lange (zie o.a. PISA framework). Dit is geen vaststaand gegeven. Als onlangs geoefend is om een onderwerp, is het reproductie; als het langer geleden is, kan dezelfde vraag wiskundig gereedschap gebruiken zijn (en omgekeerd: als veel op een vraag die wiskundig gereedschap gebruiken was is geoefend, wordt het een reproductievraag).

Referentiekader: paraat hebben Uitvoering: 1 x paraat hebben Blauwdruk - vervolg Scherm 9, 3 items Referentiekader: paraat hebben Uitvoering: 1 x paraat hebben 2 x functioneel gebruiken Moeilijkheidsgraad: 1 x makkelijk 1 x gemiddeld 1x moeilijk Stock Photo: Big piramid with staircase in Palenque, Mexico Image ID: 80107729 De ene foto is de basis van een piramide; een verwijzing naar de piramide van Jan de Lange (PISA framework) waarin reproductie (paraat hebben) de basis vormt. We verwachten hier korte items; daarom drie vragen op 1 scherm

Paraat hebben (reproductie) - makkelijk Opgave getallen 1F Scherm 9, item 1 Paraat hebben (reproductie) - makkelijk Broken antique clay pot on a white background Image ID: 60174997

Functioneel gebruiken (wiskundig gereedschap gebruiken) Gemiddeld Opgave getallen 1F Scherm 9, item 2 Hoeveelste is geen goed Nederlands. Welk deel …. Functioneel gebruiken (wiskundig gereedschap gebruiken) Gemiddeld

Opgave getallen 1F Scherm 9, item 3 Amina heeft een stuk chocolade mee naar school genomen. De chocolade bestaat uit 24 stukjes. Vier personen verdelen de chocola. Achmed en Marcel krijgen ieder deel, Said krijgt deel en Stan krijg de rest. Hoeveel van de stukjes van de reep krijgt Stan? Stan krijgt stukjes van de reep. Functioneel gebruiken (wiskundig gereedschap gebruiken) - moeilijk

49% maakt de opgaven van dit scherm foutloos Cyclisch verbeteren p-waarde 0,49 49% maakt de opgaven van dit scherm foutloos d-waarde 0,6 opgave maakt goed onderscheid tussen goede en zwakke rekenaars Stock Photo: Recycling concept: rainbow circle diagram with arrows isolated on white background Image ID: 84254311 De p- en d-waarden geven geen aanleiding voor verbetering van deze opgave. 49% is voor een breukenopgave een hoge score! Toch zijn er wel verbeteringen denkbaar; zie volgende dia.

Mogelijke verbeteringen Lay out scherm beter Taal: kortere zinnen, dubbele informatie weg. Plaatje toevoegen bij laatste vraag? Je kunt hier ook nog bij betrekken dat ons visuele geheugen veel sterker is dan ons geheugen voor kale opgaven en kale teksten. Toets je dus eigenlijk wel hetzelfde als je beeld toevoegt? Verticaal mathematiseren … Graag opmerkingen ook van publiek!

Voorbeeld mogelijke wijziging opgave getallen 1F Amina neemt een reep chocolade mee naar school (zie foto). Achmed en Marcel krijgen ieder deel, Said krijgt deel en Stan krijg de rest. Stan krijgt stukjes van de reep. Reep met 24 stukjes Shutterstock: 53805457 P- en d-waarden geven GEEN aanleiding voor deze wijzigngen. Toch nodig?? Controle antwoorden kan aanleiding zijn voor deze wijzigingen! Toets je nu met beeld hetzelfde als bij vorige opgave? Op de volgende dia staat hij daarom nog een keer. Als je gegeven van 24 stukjes weglaat bij de reep, toets je dan ook nog hetzelfde?

Opgave getallen 1F Scherm 9, item 3 Amina heeft een stuk chocolade mee naar school genomen. De chocolade bestaat uit 24 stukjes. Vier personen verdelen de chocola. Achmed en Marcel krijgen ieder deel, Said krijgt deel en Stan krijg de rest. Hoeveel van de stukjes van de reep krijgt Stan? Stan krijgt stukjes van de reep. ‘Oude versie’ Functioneel gebruiken (wiskundig gereedschap gebruiken) - moeilijk

1 liter Hoe vaak past 200 ml erin? Met of zonder beeld? Toets je dan nog hetzelfde? Niveaus van leren: concreet schematisch abstract-formeel Plaatje  schematisch niveau Tekst  abstract niveau??? 1 liter Hoe vaak past 200 ml erin? Toets je hetzelfde als je leerlingen een fles geeft en laat afmeten hoe vaak 200 ml uit een fles gaat of als je ze een tekening van een maatbeker geeft met 1000 ml en vraagt hoe vaak 200 ml hierin past? Let op: concreet niveau is met een echte fles cola en glazen… Schematisch niveau kent eigenlijk gradaties: van plaatje van een fles naar abstracte tekening van een fles naar een verhoudingstabel. Met een verhoudingstabel (of een ander schema) wordt in de rekendidactiek ook wel abstract niveau genoemd. En als je het schema geeft of je beschrijft het in taal, toets je dan hetzelfde? Toets je in beide gevallen dezelfde rekenvaardigheid?? Wij hebben nog geen antwoord op deze vraag. En in hoeverre speelt dit een rol? Leerlingen havo-vwo vinden in groep 8 kale opgaven makkelijker dan opgaven met context; voor vmbo-leerlingen is dit precies andersom!!

Analyse antwoorden studenten Veelgemaakte fouten Oorzaak? Cyclisch verbeteren Volgende stappen: Analyse antwoorden studenten Veelgemaakte fouten Oorzaak? Correlatie e.d. Uit het type fout kun je veel afleiden Dit zijn de stappen die we nog gaan doen.

Uitwerking laten noteren Forse verhoging kans goed Tips voor docenten Uitwerking laten noteren Forse verhoging kans goed Bron: Cito, PPON; basisschool Lisse Jongens noteren minst Shutterstock: Stock Photo: Portrait of smart schoolchild standing at blackboard and looking at camera Image ID: 58262836

Bron: Panama conferentie rekenen 2012 voor rekencoördinatoren Tips voor docenten Vragen hoe gerekend Helpt zelfs zonder feedback Uitwerking! Bron: Panama conferentie rekenen 2012 voor rekencoördinatoren Stock Photo: Rear view mirror reflecting road and sky Image ID: 13792537 Uitwerking staat hier bewust nogmaals. Kan het belang niet genoeg benadrukken.

Werkgeheugen verbeteren: geheugenpaleis (boek Joshua Foer) Tips voor docenten Werkgeheugen directe relatie rekenprestaties (Panama rekenconferentie, 2012) Vakterm: updating Werkgeheugen verbeteren: geheugenpaleis (boek Joshua Foer) Stock Photo: Map of Nepal - collage made of travel photos, all photos are my own Image ID: 92592088 3D render of growth chart on a laptop screen Image ID: 89855293