Brontekst: Tony Bastijns + bibliografie achteraan

Brontekst: Tony Bastijns + bibliografie achteraan
Marktonderzoek Steekproef RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Onderzoekvraag Steekproef Beslissing RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Kernidee achter Steekproef
“De markt” is groot – om dat markt te meten, moet je alles meten In praktijk niet te doen: teveel werk, teveel tijd, teveel geld Statistiek: Bij meten merkt men altijd ergens een punt waarboven het resultaat van de meting niet meer of nog nauwelijks verandert Als men dat punt kent, kan men zich heel wat “overbodig” meetwerk vermijden MAAR moet men er wel rekening mee houden dat “vanaf hier niet of nauwelijks veranderen” betekent dat het resultaat van de meting tot aan het “keerpunt” nooit 100% juist is. Het “keerpunt” ligt dichter bij de start van de meting naarmate wat men meet naar samenstelling meer gelijkt op de samenstelling van het volledige metingcontingent. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Opties  meel  1€/ 10 kg voorwaarde: 95% zuiver graan  natuurgraan  1€ / 100 kg voorwaarde: 75% zuiver graan  veevoer  1€/ 1000 kg indien -75% zuiver RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproef 1: 100% zuiver Steekproef 2: 75% zuiver Steekproef 4: 45% zuiver Steekproef 3: 95% zuiver RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproefgrootte Afhankelijk van Homogeniteit van de populatie Hoe exact het meetresultaat moet zijn Waar en hoe men de steekproef wilt nemen Boorden, hoeken, gespreide stalen, … Zode, “op zicht”, testoogst, …. Hoeveel meettijd men heeft … RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproef in de praktijk
Populatie definiëren Populatie definiëren naar omvang en samenstelling Controle / correctie definitie populatie Steekproefkader Lijst met alle relevante elementen van de populatie in licht onderzoekvraag Controle /correctie van steekproefkader Selectie van steekproefelementen Kenmerken: representatief – precies – efficiënt Controle / bijsturing van “in/uit”- steekproeffout RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Populatie Context: steekproefonderzoek
Definitie: de volledige verzameling van ALLE objecten / elementen waarover het onderzoek iets moet zeggen. Doel definitie: eigenschappen van een verzameling in kaart brengen Wat verzamelt is = objecten/elementen definitie, herkenbaarheid, homogeniteit/varianten, .. De hele verzameling = populatie grootte, locatie, variabiliteit/seizoenaliteit, ..

Voorbeeld graanveld Welk veld moeten we exact beoordelen Hoe definieert men “veld” Is dat vb. een grondoppervlak of alleen het bezaaide deel van dat grondoppervlak? Waar ligt het? Waar liggen de grenzen = welk velddeel zit “in” ons veld, welk deel niet? Maar ook: hoe ga ik dat zien? RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproefkader Context: steekproefonderzoek Definitie: een oplijsten van de mogelijkheden om uit de gegeven populatie een steekproef te trekken waarin alle “soorten” elementen van de populatie vertegenwoordigd zijn. Doel kadering: afbakenen van manieren om steekproeven te “trekken”. Vb. voor verkiezingspol kan men trekken uit de telefoonboek, uit facebook, uit kieslijsten, .. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Voorbeeld graanveld Context: We gaan nu bepalen welk deel van het veld we gaan meten/testen Vraag hier: Waar moeten we rekening mee houden als we gaan kiezen welk deel van het veld we gaan onderzoeken? Waar kunnen we allemaal meten zonder de rest van het veld te beschadigen? Waar kunnen we met de minste kosten meten (= waar kunnen we het gemakkelijkste aan)? Welk deel van het veld gaat het hele veld wel/niet best vertegenwoordigen en hoe gaan we dat kunnen zien? Vb. we kunnen hele veld “op zicht” in kaart brengen en dan geen steekproef nemen waar echt duidelijk veel meer onkruid staat  probleem: hier gaat discussie over komen tussen koper en verkoper Wat we zoeken: zo objectief mogelijke normen om steekproef “representatief” te maken  in deze fase zoeken we deze “normen”/”selectiecriteria” Vb. meter van de veldrand –bergje of put in het veld – schaduw – tijd van de dag – tijd in het jaar - ….  de manier om die criteria te bepalen = uzelf de vraag stellen welke “variabelen” vertekening kunnen veroorzaken in je steekproef, welke variabelen een directe invloed gaan hebben op je meetresultaat dus. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Selectie steekproef Context: steekproefonderzoek Definitie: selecteren van het voor dit onderzoek “beste” alternatief voor het effectieve “trekken” van de steekproef. Doel selectie: Praktisch haalbaar in het kader van het onderzoek Inhoudelijk relevant in licht onderzoekvraag Statistisch geschikt voor bruikbare extrapolatie met gevraagde graad van nauwkeurigheid 1 RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Voorbeeld graanveld Conclusie: hoe ga je tewerk gaan om het meetveld te selecteren? Voorbeeld: Op 10 passen van de rand van het veld 25% in elke windrichting … Tot een totaal meetoppervlak van …… RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproef in de praktijk
2 soorten Aselecte steekproef: elk element uit de onderzoekspopulatie heeft een even grote kans om in de steekproef terecht te komen. Selecte steekproef: of een element in de steekproef terechtkomt, is afhankelijk van een persoonlijke beoordeling van een onderzoeker. Lees: RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproefselectie: in praktijk (1)
De “pure” en compleet “volgens de boekjes”: toevallige steekproef/ random sample (= aselect) Kernidee “Lotto”: ieder element heeft evenveel kans op gekozen te worden, dus men bevraagd zoals respondenten zich aandienen. Voordeel: Eenvoudig, duidelijk, statistisch perfect “volgens de boekjes” Nadeel: Vertekenende “voorselectie” door locatie, tijd, …. Officieel: probabilistische  probleem: “boekjes” geschreven voor labo-omstandigheden RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproefselectie: in praktijk (1-2)
De “verbeterde pure”: systematische steekproef/ systematic sample Kernidee Aantal voorselectie-vertekeningen uitsluiten door eerst op computer uit adressenlijst “toevallig” te selecteren en die mensen dan te gaan opzoeken. Voordeel: Eenvoudig, duidelijk, niet veel extra kosten, mogelijk in bijna alle omstandigheden (lijsten genoeg) Nadeel: Respondenten zijn niet altijd beschikbaar, willen niet altijd, “vinden” kost tijd, … RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde pure”: gestratificeerde steekproef/ stratified sample Definitie: Stratum (ook: klasse) = deel van populatie met gezamenlijk kenmerk (vb. M/V) Kernidee Verdeel de populatie in strata - Zorg dat ELK relevant stratum proportioneel correct in steekproef zit. Voordeel: Verhogen van sampling precisie door “gestuurd toeval” Nadeel: Wat zijn “relevant” strata? (nadeel of discussie?) RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Stel nationaal onderzoek in Belgie
Populatie België (let op: oude cijfers!!!) Vlaams gewest Waals gewest Brussels gewest Totaal Proportioneel zal het aandeel van deze drie bevolkingsgroepen in de steekproef als volgt zijn: Vlaams gewest 57,36% Waals gewest 32,59% Brussels gewest 10,04% RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde pure”: cluster steekproef/ cluster sample Definitie: Cluster = groep, “tros”, elementen die iets met mekaar gemeen hebben, “samen ergens aan vast hangen” Kernidee Kies een representatief “micro-cosmos” en beperk uw onderzoek daartoe. Voordeel: Sterke reductie van steekproefkosten  hogere efficiëntie Nadeel: Wat zijn “relevant” clusters? (nadeel of discussie?) A sample from a representative group where it is not practicable to sample the entire population. For example, if samples of students from universities were required, one university could be selected randomly then a random selection of students made from within the one establishment. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Stel nationaal onderzoek hogeschoolstudenten
Mogelijkheid ALLE hogescholen en dan steekproef met representatieve groepen uit elk studiejaar of studierichting  stratificatie Een hogeschool kiezen en daar representatieve steekproef (repr. naar jaar en richting en ..) ondervragen  cluster RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Vergelijking strata - cluster
Gestratificeerd Cluster Subgroepen enkele, iedere groep met veel leden vele, iedere groep met enkele leden Intern homogeen heterogeen Extern Steekproef enkele elementen uit iedere subgroep subgroep in zijn geheel Voordeel nauwkeuriger goedkoper RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde pure”: getrapte steekproef/ sample Definitie: “getrapt” = combinatie van twee of meer manieren om een steekproef te trekken Kernidee Door combinatie een evenwicht vinden tussen precisie, doenbaarheid, timing en kosten Voordeel: Voordelen max. proberen te houden, nadelen proberen te minimaliseren Nadeel: De grens tussen “puur toeval” en “complexiteit die manipulatie/vertekening camoufleert” is dun RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Onderzoek in gebruik GSM
voorbeeld 1: de populatie wordt opgedeeld in clusters (vb. steden) enkele clusters worden uit de populatie aselect (toevallig, systematisch) geselecteerd uit elke cluster wordt aselect (toevallig, systematisch) een aantal leden gekozen (vb. kopers op parking supermarkt X, straatinterview, ..) voorbeeld 2: men verdeelt de populatie in strata (-15, 16-25, , 41 – 60, 61+) uit elke strata trekt men een aselecte steekproef (10 -15’ers, …) alle leden van de geselecteerde subpopulatie worden ondervraagd RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Praktijk- & actiegericht “niet-probabilistische steekproef” Kernidee “Eerste de beste”: buiten een labo is elke steekproef vertekend/fout. Dus: beperkt de moeite van selectie en beschouw het MO-resultaat als wat het is: een indicatieve meting. Voordeel: Gemakkelijk, snel, duidelijk, “bewust fout” Nadeel: Verleiding tot “statistische” rapportering en extrapolatie is groot – rapporten/grafieken vaak “misleidend” Goed voor verkennend onderzoek of ruwe foutencontrole, als basis voor hypothesen, als ruwe check  “diepe” versie = kwalitatief onderzoek RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Quick & durty’s Diegenen die meedoen, worden bevraagd Diegenen die niet meedoen, niet RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde gemakkelijke”: beoordelingsteekproef/ judgment sample Definitie: oordeel = gebaseerd op ervaring, “horen zeggen”, aanvoelen,.. Kernidee Ervaring leert vaak dat bij vb. een bepaalde stad of regio voor een onderzoekonderwerp bijna altijd representatief is voor ganse populatie Voordeel: Eenvoudig, duidelijk, niet veel extra kosten Nadeel: SFP: men krijgt wat men denkt te krijgen, men maakt op deze manier zijn eigen “waarheid” Basis voor heel wat bewust of onbewust “routineonderzoek”: tevredenheidmeting, klantengedrag, houding medewerkers, ideeënbus, … RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

“ons” panel Routine onderzoeken Tevredenheid Smaaktesten Winkeltesten ….. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde gemakkelijke”: Quota steekproef/ quota sample Definitie: Quota = toegewezen hoeveelheden. Kernidee “gemakkelijke” versie van stratificatie: men kiest op basis van “oordeel” relevante strata, kijkt naar hun vertegenwoordiging in de populatie en geeft onderzoekers vervolgens per stratum quota voor bevraging (type: 20 mannen van 35) via “eerste beste” Voordeel: Eenvoudig, duidelijk, niet veel extra kosten, verfijning op “beoordeling” Nadeel: potentieel bedrieglijk Lijkt statistisch correcter maar blijft zelfde statistische fout houden DUS rapport is nog altijd enkel maar indicatief RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde gemakkelijke”: sneeuwbalsteekproef/ snowball sample Definitie: Sneeuwbal = 1e positie maakt volgende “logisch” Kernidee Respondenten met zeer specifieke eigenschap zijn moeilijk (duur) te vinden  zoek er een en vraag of die een volgende kent – herhaal tot aan onderzoekquota. Voordeel: Kosteneffectieve oplossing voor anders bijna niet te bevragen populaties Nadeel: Per definitie vertekend: “vrienden van vrienden” zijn bijna per definitie een “vertekende steekproef”  SFP of grote afwijkingen tussen opeenvolgende onderzoeken waardoor geen historiek mogelijk RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De “verbeterde gemakkelijke”: routesteekproef/ route sample Definitie: route = “op mijn weg” Kernidee Stuur enquêteurs op vooraf uitgedachte routes die kansen op bepaalde vertekeningen beperken en/of “toeval” vergroten Voordeel: Eenvoudig, duidelijk, niet veel extra kosten Nadeel: Routes kunnen kans op toeval vergroten maar niet uitsluiten Routes maken opening voor andere, vaak menselijke vertekeningen Routes zijn vorm van “beoordeling” RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Overzicht trekkingsmethodes in vaktaal
RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Controle representativiteit steekproef
Uitgangspunt: Representativiteit = worden alle criteria die IK aan de steekproef stelde in voldoende mate door de steekproef gehaald? Criteria die IK stelde: In labo-onderzoeken is het aantal beperkt en relatief eenvoudig maar ook daar weet men niet 100% zeker dat men wel op het juiste let bij de meting. In “meetopdrachten” zijn de criteria doorgaans gemakkelijk vast te leggen maar niet noodzakelijk 100% sluitend In commercieel onderzoek zijn “meetbare” criteria vaak niet de enige verklarende criteria Gevolg: “ingebakken” steekproeffout RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

χ ² - chi-kwadraat – chi square representativiteitcontrole
LET OP MET OPZOEKINGEN OP INTERNET “χ ²” staat in statistiek voor minstens 6 min of meer verschillende testen Indien gebruikt in context van marktonderzoek, wordt gewezen naar iets wat de statistici en andere geleerden “Pearson’s χ ²” noemen. De χ ²-test gaat over distributie (verdeling) van variabelen in een populatie en dus over de kans dat je een of meer “abnormale elementen” trekt voor je steekproef χ ²  je berekent de formule en zoekt dan in een tabel op hoeveel kans op “abnormale meting” je in je onderzoek hebt. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

χ ² : wat meet het EXACT De χ ²-test meet de waarschijnlijkheid van een onderzoekhypothese Je bedenkt vooraf wat je verwacht te vinden Je noteert wat je gevonden hebt χ ² is een manier om te “meten” in hoeverre wat je gevonden hebt echt iets over de populatie zegt dan wel het gevolg van puur toeval is Het resultaat is “het is x % waarschijnlijk dat je onderzoekresultaat - bij herhaalde metingen op deze manier - hetzelfde zal blijven en dus de werkelijkheid reflecteert”. x = betrouwbaarheid De betrouwbaarheid verbonden aan een χ ²-score wordt beïnvloed door het aantal variabelen in je steekproef die de “vrijheid van veranderen” hebben (= degrees of freedom = de dingen die je kan “mis hebben”) RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

χ ² : de formule f F De formule: χ ² = ( )² + ( )² + (33-30)² op “vrijheid” 3 = = 1, RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Vrijheidsgraden = hoeveel dingen kunnen fout gaan
Het aantal onafhankelijke variabelen die je meting met hun verandering kunnen vertekenen RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

χ ² : de tabel RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Representativiteitscorrectie
Voorbeeld Marktonderzoek  wat met resultaat? Geloven? Niet geloven? Steekproef Koopt wel Koopt niet totaal < 18 jaar 20 30 50 18-35 40 80 120 36-50 60 70 90 Totaal 100 240 340 = 29% = 71% 100% RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

χ ² Totale populatie Steekproef “normaal” Steekproef “echt” Verschil <18 5.000 40% 136 50 - 86 19-35 2.000 16% 54 120 +66 36-50 3.000 24% 82 80 -2 >50 2.500 20% 68 90 + 22 totaal 12.500 340 χ ² = ,12 = 142,2 op vrijheid 4  minder dan 1% betrouwbaar  resultaat weggooien ???? RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Optie: recuperatie van werk
Steekproef Antwoord ja Antwoord neen echt Had moeten zijn Geme-ten % in MO Op “echt” gewicht <18 50 136 40% 54 60% 82 19-35 120 33% 18 67% 36 80 25% 21 75% 61 50+ 90 68 22% 15 78% 53 totaal 340 108 232 correctie 32 % 68 % oorspronkelijk 29% 71% RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Marktonderzoek staat en valt bij de steekproeftrekking Overwegingen bij die trekkingen Populatie-eigenheden Potentiële “trekkingsproblemen” Mogelijke inhoudelijke problemen Potentiële problemen vraagstelling Potentiële bronnen van vertekening Potentiële administratieve problemen RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

1. Populatie-eigenheden
Kan de populatie in kaart gebracht worden? Bevolking  telefoonboek, kieslijsten, …. Daklozen  niet geregistreerd dus zelf zoeken Is de populatie alfabeet? Zijn er taalproblemen? Let op: dialect is vb. ook een “taal” in deze context Kunnen vragenlijsten in nodige talen gemaakt worden? Is er “vertaling” mogelijk? Waar? Zal de populatie willen meewerken aan het MO? Zijn er geografische of andere bereik-beperkingen? RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

2. Steekproef Welke informatie hebben we? Adres? Mail? GSM? Up to date? Kunnen we de respondenten vinden? Zijn ze mobiel, statisch, alleen beschikbaar op bepaalde tijden, ..? Wie is de respondent (concept MAN in verkopen)? VVA? Inkoper? Gebruiker? Agentschap? Kunnen we alle respondenten bereiken? Adreswijziging, naamverandering, …. Gaat respons problemen geven? Niet willen antwoorden, niet thuis, fake antwoorden, te laat antwoorden, …. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

3. Benodigde vragen Welk soort vragen gaan gesteld worden? Open, toe, persoonlijk, …. Hoe complex gaan de vragen zijn? Vragen in vele delen, eenvoudige vragen, … Moeten er screeningvragen gesteld worden? Vragen die enkel mogen beantwoord worden indien repondent aantal “goede” antwoorden gaf Ligt de vraagvolgorde vast of beginnen we verkennend en passen we van daar aan? Hoe lang/repetitief zijn de vragen? Hoe lang zijn de antwoordschalen? Bepalen of je telefonisch kan bevragen dan wel aan een tafel moet gaan zitten vb. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

4. inhoud Mag men veronderstellen dat de respondenten iets weten over het onderzoekonderwerp? Vb. niet iedereen in een gezin weet hoeveel geld per week gespendeerd wordt aan voeding Vb. iemand die de krant niet leest, kent mogelijk niet de namen van diverse BV’s Moet de respondent om te kunnen antwoorden, dingen gaan opzoeken in zijn archief? Vb. hoeveel geld uitgegeven vorige maand? Vb. hoeveel getelefoneerd/ge-smst naar vrienden vs bedrag naar familie? En: hoe gemakkelijk/ongemakkelijk gaan respondenten zijn als ze u moeten laten wachten terwijl zij dingen opzoeken? RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

5. BIAS (vertekeningen) Kunnen sociaal wenselijke antwoorden vermeden worden? Mensen willen zich niet belachelijk maken en toegeven dat ze iets niet weten Sommige dingen willen mensen niet geweten hebben (willen ze zelf ook niet weten) …. Hoe erg kan de interviewer dingen vertekenen? Half luisteren, fout weergeven, veronderstellen, .. Zijn valse respondenten een potentieel probleem? Der Feind hört mit – secretaresse antwoord voor baas - .. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

6. Administratieve overwegingen
Wat kost het? Kunnen/willen we dat betalen? Kost werken Kost kwaliteit Hebben we de nodige faciliteiten of kunnen we er aan geraken? Hebben we de nodige tijd om op het antwoord te wachten? Hebben we mensen (of kunnen we mensen krijgen) met de nodige deskundigheid en ervaring? RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Conclusie: “tradeoffs”
Elk onderzoek is een afwegen van voor- en nadelen in het licht van een specifieke onderzoekvraag. “Afwegen” is per definitie een individueel oordeel. 2 experts kunnen dus perfect een totaal verschillend onderzoekvoorstel maken zonder dat 1 van beide “slecht” of de ander “beter” is. Een onderzoek is altijd slecht als het Niet doet wat het moet doen binnen de afgesproken grenzen Dingen doet die sociaal en/of deontologisch en/of naar het gevoel van de betrokkenen “niet kunnen”. RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Steekproefgrootte: berekening
Het handboek De theorie: De praktijk – een calculator NL variant: Belgische variant: zelfde maar andere lay-out Voor de puristen Wiskundeweb: Leuven: RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

De sites RV - 1/03/2011 Brontekst: Tony Bastijns + bibliografie achteraan

Brontekst: Tony Bastijns + bibliografie achteraan

Verwante presentaties

Presentatie over: "Brontekst: Tony Bastijns + bibliografie achteraan"— Transcript van de presentatie:

Verwante presentaties

Over het project

Feedback

Inloggen

Inloggen via een sociaal netwerk:

Brontekst: Tony Bastijns + bibliografie achteraan

Verwante presentaties

Presentatie over: "Brontekst: Tony Bastijns + bibliografie achteraan"— Transcript van de presentatie:

Verwante presentaties

Over het project

Feedback