Verkennen van de rol van onderzoek in het maken van een ICT-product Begeleiden van onderzoek binnen opleidingen MT, Inf. en TI.  Rotterdam 4 februari 2014 Dr. Daan Andriessen Lector Methodologie van Praktijkgericht Onderzoek Hogeschool Utrecht

Agenda Verwarring in het hbo De eis van onderzoekend vermogen De rol van onderzoekend vermogen in beroepsonderwijs Eisen aan het niveau van onderzoekend vermogen Onderzoeksvragen en onderzoeksmethoden bij MT, Inf. en TI.

1. Verwarring in het HBO

HBO is in verwarring Hoe hoog ligt de lat? Moeten studenten afstuderen op een onderzoek? Mag je nog in duo’s afstuderen? Wat zijn goede criteria voor afstudeerverslagen? …

Ontstaan van de verwarring Crisis bij Inholland Rol van de Commissie Dunnewijk-Budé Nota “Kwaliteit als Opdracht” van de HBO-Raad (2009)

A. Crisis bij Inholland

B. Commissie Dunnewijk-Budé Opdracht: een indicatieve uitspraak doen of het geheel van de werkstukken/afgestudeerden onder, op of boven het niveau is dat in het hbo mag worden verwacht “Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-opleidingsniveau in het bijzonder.” Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012

Beoordelingscriteria (standaarden) van de Commissie (1) Vinden we onderstaande componenten terug in het afstudeerproject? A. Vraagstelling & verantwoording B. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving) a. Onderzoeksopzet b. Bronnenonderzoek c. Empirisch onderzoek d. Conclusies e. Output [Afhankelijk van type afstudeerproject]

Beoordelingscriteria (standaarden) van de Commissie (2) Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt? Niets

Beoordelingscriteria (standaarden) van de Commissie (3) Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”: theoretische vorming / onderbouw overzicht en inzicht, het kunnen plaatsen van problemen in de context reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance creativiteit en/of vermogen tot conceptualisering vermogen om helder te communiceren vermogen om efficiënt en resultaatgericht te werken

De verwarring is compleet

C. Kwaliteit als opdracht (2009) Gedegen theoretische basis Onderzoekend vermogen Professioneel vakmanschap Beroepsethiek en maatschappelijke oriëntatie

2. De eis van onderzoekend vermogen

Onderzoekend vermogen 2009: HBO raad (2009) “Kwaliteit als opdracht”: “In onze moderne samenleving is het cruciaal dat hbo-bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie”. Nu zitten we in een herbezinningsfase. Niet zozeer voor het onderzoek door docenten en lectoren maar voor het onderzoek in de BA. Sluipenderwijs zijn de eisen opgeschroefd: kwaliteit als opdracht NVAO en accreditatiecommissies zijn hierop gaan toetsen. Na afkeuren opleidingen Inholland grote onduidelijkheid in het land over hoe hoog de lat ligt en wat de rol van onderzoek is. Inmiddels 26 opleidingen met een herstelperiode. wat bedoelen we met onderzoek? Wat is de functie van onderzoek? Op welk nivo moeten studenten het beheersen? Veelgehoorde misvattingen: Je moet examineren met een scriptie studenten moeten een afstudeeronderzoek doen Je mag niet meer afstuderen op een beroepsproduct Je moet individueel afstuderen Etc. Iedereen zegt iets anders (NVAO, HOBEON (binnen HOBEON), adviesbureaus) Onvoldoende aandacht voor de grote verschillen tussen opleidingen: Chemische technologie Bedrijfseconomie Media & entertainment management Engineering Conservatorium Debat wordt sterk bepaald door sociale wetenschappers. Bv Boek “Ontwerpen van technische innovaties” van lector Inge Oskam

Onderzoekend vermogen moet leiden tot: Reflectie: dit betreft het terugkijken op het eigen handelen in de beroepspraktijk, signaleren wat er niet goed ging, dat proberen te verklaren vanuit de kennisbasis en in diezelfde kennisbasis ook de uitgangspunten vinden voor een betere aanpak; Evidence-based practice: dit betreft het gebruiken van de kennisbasis om de juiste handelingen te kiezen; Innovatie: dit betreft het ontwikkelen van nieuwe handelingen om de beroepspraktijk te verbeteren. VERANTWOORDEN ONDERBOUWEN VERNIEUWEN

Onderzoekend vermogen = Onderzoekend houding (Van der Rijst, 2009) kritisch zijn willen begrijpen willen bereiken willen delen willen vernieuwen en willen weten Onderzoeksresultaten van anderen toepassen Onderzoek doen

3. De rol van onderzoekend vermogen in beroepsonderwijs

Eisen aan een definitie voor onderzoek Beschrijft alleen definiërende eigenschappen van onderzoek, geen kwaliteitseisen Past bij zoveel mogelijk stijlen van onderzoek (onderzoeksparadigma’s) Past bij praktijkgericht onderzoek

Naar een definitie van onderzoek Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan (Verschuren, 1994). Helderheid is nodig Allereerst over wat we onder onderzoek verstaan En wat dit betekent voor de bachelor: alleen leren werken in de praktijkstroom

Naar een definitie van onderzoek Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan. Helderheid is nodig Allereerst over wat we onder onderzoek verstaan En wat dit betekent voor de bachelor: alleen leren werken in de praktijkstroom

Naar een definitie van onderzoek Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen volgens een tevoren opgesteld plan. Helderheid is nodig Allereerst over wat we onder onderzoek verstaan En wat dit betekent voor de bachelor: alleen leren werken in de praktijkstroom

Naar een definitie van onderzoek Onderzoek is een doelbewust en methodisch zoeken naar nieuwe kennis in de vorm van antwoorden op tevoren gestelde vragen. Helderheid is nodig Allereerst over wat we onder onderzoek verstaan En wat dit betekent voor de bachelor: alleen leren werken in de praktijkstroom

Een definitie van praktijkgericht onderzoek Onderzoek is het methodisch beantwoorden van vragen dat leidt tot relevante kennis. Helderheid is nodig Allereerst over wat we onder onderzoek verstaan En wat dit betekent voor de bachelor: alleen leren werken in de praktijkstroom

Rol van onderzoekend vermogen hangt samen met beroepsproduct 2. Advies 3. Ontwerp 4. Eindproduct 5. Handeling Antwoorden en conclusies Mogelijke oplossing of een plan Verbeelding van een eindproduct Fysiek of digitale uitwerking van een ontwerp Professioneel gedrag naar cliënt of publiek Archeologisch rapport Laboratorium rapport Forensisch rapport Organisatie-advies Pedagogisch advies Financieel advies Bouwontwerp Technisch ontwerp Bestemmingsplan Ondernemings-plan Schilderij ICT applicatie Apparaat Film Journalistieke tekst Les geven Voorstelling uitvoeren Hulpverlenen Verplegen Therapie geven Leiding geven Ondernemen Wat is het belangrijkste beroepsproduct waarvoor jullie studenten worden opgeleid? Naar Losse, 2012)

TI aanpak: deelonderzoek aspecten methodologie ontwerp implementatie evaluatie context probleem doel vraag conclusies aanbeveling belang van het werk

De relatie tussen onderzoek en het bereiken van een gewenste situatie (POKI-model, Greve et al., 2009) Organiseren Kwestie: Probleem Kans Gewenste situatie Interacteren Produceren Kennis mobiliseren

De rol van onderzoeksvragen in het POKI model Kwestie: Probleem Kans Organiseren Gewenste situatie Interacteren Produceren vraag antwoord vraag antwoord vraag antwoord Kennis mobiliseren

Student doorloopt verschillende processen (1) Kwestie: Probleem Kans Organiseren Gewenste situatie Interacteren Produceren Kennis mobiliseren: Onderzoekcyclus

Kennis mobiliseren = onderzoekcyclus doorlopen Conclusie Vraag 5 1 Onderbouwen, Verantwoorden, Vernieuwen Data analyse 4 Onderzoeks- methode 2 3 Data verzameling (kan ook secundiaire data zijn of literatuur)

Student doorloop verschillende processen (2) Organiseren Kwestie: Probleem Kans Gewenste situatie Interacteren Produceren: bv een ontwerpmethode Kennis mobiliseren: Onderzoekcyclus

Student doorloop verschillende processen (3) Kwestie: Probleem Kans Organiseren (Projectmanagement cyclus) Gewenste situatie Interacteren (Proces van onderhandelen, vertrouwen kweken, kritisch en onafhankelijk blijven, presenteren, verkopen etc.) Produceren: bv ontwerpmethode Kennis mobiliseren: Onderzoekcyclus

Beroepsproduct 1: Antwoorden en conclusies Organiseren Kwestie: Probleem Kans Gewenste situatie Interacteren (produceren = onderzoeken) Kennis mobiliseren Kwestie: Probleem Kans Antwoorden en conclusies

Beroepsproduct 2: Advies Organiseren Kwestie: Probleem Kans Gewenste situatie Interacteren (produceren = onderzoeken) Kennis mobiliseren Kwestie: Probleem Kans Conclusies Advies

Student doorloopt de onderzoekcyclus en doet op basis daarvan aanbevelingen Conclusie Vraag (of vragen) 5 1 Onderbouwen Verantwoorden Vernieuwen 4 Onderzoeks- methode (onderzoeks- ontwerp) 2 Data analyse 3 Data verzameling (bv via literatuurstudie)

Variant 3a: Ontwerp Kwestie: Probleem Organiseren Kans Interacteren Gewenste situatie Ontwerp Produceren (=ontwerpen) Kennis mobiliseren

Variant 3b: Gevalideerd ontwerp Kwestie: Probleem Kans Organiseren Gewenste situatie Interacteren Ontwerp Valideren Produceren (=ontwerpen) Kennis mobiliseren

De rol van onderzoek bij ontwerpen: ICT Produceren Kennis mobiliseren Wat ik ga ontwerpen en op welke manier ik dat ga doen Welke kennis en informatie heb ik daarvoor nodig? Doelstelling “ontwikkelen van een mobiel bestelsysteem voor kleinschalig eetcafé in Leiden” Hoofdvraag: “op welke manier kan een mobiel bestelsysteem voor kleinschalig eetcafé in Leiden worden gerealiseerd?” Ontwerpmethode en –fasen Deelvragen Ontwerpactiviteiten Onderzoeksmethoden

Vb: GAMP (Good Automated Manufacturing Practice) xxxxxxxxxxxxxxx 4/5/2017 Vb: GAMP (Good Automated Manufacturing Practice) Produceren Kennis mobiliseren (deelvraag) Kennis mobiliseren (methode) Requirements Welke eisen stelt de opdrachtgever aan het te ontwerpen systeem, zodat zijn probleem wordt verholpen en zijn doel wordt bereikt? Interviews Specification Wat moet het systeem kunnen, zodat het probleem wordt opgeheven / zodat de nieuwe toepassing mogelijk wordt? Enquête onder gebruikers Literatuuronderzoek Design Hoe ontwerp je het systeem zodanig dat het de testen doorstaat? Aspect A Aspect B Aspect C etc. xxxxxxxxxxxxx

Soorten onderzoek bij ontwerpen (naar Oskam et al., 2011) Beschrijving Vraag Technologie-verkenning In kaart brengen nieuwe technische mogelijkheden Wat zijn de laatste technische trends? Productanalyse Producten analyseren Hoe werken bestaande producten? Gebruiksanalyse Gebruik analyseren Hoe gebruiken gebruikers bestaande producten? Octrooi-onderzoek Zoeken naar vergelijkbare oplossingen Maakt mijn ontwerp geen inbreuk? Normen onderzoek Zoeken naar normen en richtlijnen Waaraan moet mijn ontwerp voldoen? Doelgroep-onderzoek Doelgroep in kaart brengen Wie is de doelgroep en welke wensen heeft die? Marktonderzoek Verzamelen van marktinformatie Hoe tevreden is men? Wat is het imago? Hoe groot is de markt etc.?

Variant 4a en 5a: Product of handeling Kwestie: Probleem Kans Organiseren Gewenste situatie Interacteren Ontwerpen Produceren (= ontwerpen & realiseren) Realiseren Product of handeling Kennis mobiliseren

Variant 4b en 5b: Getest product / handeling Kwestie: Probleem Kans Organiseren Gewenste situatie Interacteren Ontwerpen Produceren (= ontwerpen, realiseren en testen) Realiseren Product of handeling testen Kennis mobiliseren

Samenvattend rol van praktijkgericht onderzoek het methodisch beantwoorden van vragen dat leidt tot relevante kennis, Teneinde het beroepsproduct te VERANTWOORDEN, ONDERBOUWEN en VERNIEUWEN Rol verschilt per soort beroepsproduct Verslaglegging bv: Beroepsproduct voor de opdrachtgever Verantwoordingsverslag voor de opleiding (goed heen en weer verwijzen!)

4. Eisen aan het niveau van onderzoekend vermogen

Eisen aan onderzoekend vermogen Opleidingen die ‘Onderzoek’ als domeincompetentie hebben bepalen zelf hoe hoog de lat ligt in eindtermen en Body of Knowledge & Skills Bijvoorbeeld Competentieprofiel Applied Science: Beschikt over voldoende deskundigheid en initiatief om op natuurwetenschappelijk gebied problemen op te sporen en te analyseren. Kan de doelstellingen van een gewenst onderzoek vanuit de vraagstelling op stellen. Kan Zelfstandig (wetenschappelijke) literatuur selecteren en verkrijgen om zich verder in het probleem te verdiepen, daarbij de betrouwbaarheid van de verschillende informatiebronnen correct inschattend. …

Drie niveaus van onderzoekend vermogen Rigor claim: Relevantie claim: Bescheiden Diepgaander Uitgebreid Relevant voor de situatie / opdrachtgever BA Relevant voor het vakgebied MA Relevant voor wetenschap en maatschappij PhD (Butter, 2013)

Mogelijke dimensies van rigor, vastgelegd in Body of Knowledge & Skills Onderzoek Bescheiden Diepgaander Uitgebreid Gebruik literatuur Bewijskracht (Van Yperen, in press) Generalisatie Body of Knowledge Vakliteratuur vs Wetenschappelijke literatuur Nederlands vs Engels Theoretisch, Indicatief, Causaal Geen, Beperkte groep, Grote groep Vereiste kennis van onderzoeksdesigns en -methoden

Samenvatting eisen onderzoekend vermogen Verantwoording en reflectie eigen aanpak (bv in reflectie hoofdstuk) Evidence-based practice: onderbouwen van beroepsproduct Innovatie: vernieuwen in één casus Toepassen van modellen, theorieën en onderzoeksresultaten van anderen Kritische houding t.a.v. modellen, theorieën en onderzoeksresultaten van anderen Zelf kunnen uitvoeren van de onderzoekcyclus met rode draad van vraag naar conclusie De vereiste ‘rigor’ van onderzoek bepaal je als opleiding zelf in je BoKSO.

Consequenties voor onderzoeksleerlijn Onderzoekonderwijs zoveel mogelijk integreren in gewone onderwijs Onderzoeksaspecten oefenen vanaf jaar 1 (bv goede vraag stellen, gegevens interpreteren, verslaglegging) Zelfstandigheid en complexiteit opbouwen Prestatiecriteria afstuderen leidend maken in onderzoeksleerlijn

Onderzoeksvragen en –methoden bij MT, Inf. en TI.

Casus Ontwikkelen van een formulieren module binnen Toolbox WMS bij Eleven Probleemstelling: Als een beheerder een formulier wilt toevoegen aan de website dan biedt Toolbox daar nu geen mogelijkheid toe. Doelstelling: Een nieuwe module voor Toolbox WMS maken waarin website beheerders zelf formulieren kunnen aanmaken en deze kunnen gebruiken in hun website.

Aanvullende doelstelling Probleemstelling De opdrachtgever wil graag weten hoe ze Scrum beter kunnen inzetten en hoe ze dit kunnen implementeren in hun werkwijze. Doelstelling Het doel is om een rapport op te leveren waarin de methode Scrum beschreven wordt. Het rapport zal laten zien welke onderdelen van Scrum ingezet zouden kunnen worden bij Eleven en op welke wijze ze dit kunnen toepassen. Hoe ze deze onderdelen het beste kunnen implementeren wordt in het rapport door middel van een advies beschreven.

De twee hoofdvragen (in groepjes) Welke kennis op hoofdlijnen heeft de student nodig om de twee opdrachten goed te vervullen? Wat is zijn dan de twee hoofdvragen voor de onderzoeken? Wat zijn de voor- en nadelen van het werken met een hoofdvraag?

Hoofdvragen Onderzoek I: “Op welke wijze kan binnen Toolbox het beste een module worden gerealiseerd waarmee klanten zelf formulieren kunnen maken?” Onderzoek II: “Op welke wijze kan Eleven het beste de SCRUM methodiek implementeren?”

Deelvragen onderzoek I (in groepjes) Welke fasen herken je in het project of zouden erin moeten zitten? Wat zouden de deelvragen moeten zijn per fase?

Deelvragen onderzoek I Oriënteren Wat voor een bedrijf is Eleven? Wat zijn de kenmerken van de Toolbox? Wat is het probleem / de kans? Voor wie is dat een probleem / kans? Waarom is dat een probleem / een kans? Aanpak kiezen Welke methode is het meest geschikt om het doel te realiseren?

Deelvragen onderzoek I Sprint 0 Wat zijn de kwaliteitseisen per sprint? Wat zijn de requirements? Wat zijn de te gebruiken testmethoden? Sprint 1 Welke user stories worden uitgevoerd? Wat zijn de te hanteren ontwerpprincipes? Wat zijn de entiteiten van het systeem? Wat moet er van iedere identiteit worden opgeslagen? Wat zijn de eisen aan de user interface? Wat ging er goed en niet goed?

Deelvragen onderzoek I Sprint 2 Wat is de gebruikersvriendelijkheid van het systeem? Wat ging goed en wat ging niet goed? Sprint 3 Hoe zien de CRM processen eruit? Evaluatie Voldoet het product aan de gestelde eisen?

Deelvragen onderzoek II Onderzoek II: “Op welke wijze kan Eleven het beste de SCRUM methodiek implementeren?” Uit welke onderdelen bestaat SCRUM? Welke onderdelen van SCRUM hanteert Eleven nu? Wat zijn der ervaringen van SCRUM gebruikers binnen Eleven? Wat moet implementatie van SCRUM opleveren? Welke onderdelen van SCRUM dragen daar aan bij? Hoe kunnen deze worden geimplementeerd?

Methoden onderzoek I Welke onderzoekmethode heeft de student gebruikt of had de student moeten gebruiken om de deelvragen te beantwoorden?

Deelvragen onderzoek II Onderzoek II: “Op welke wijze kan Eleven het beste de SCRUM methodiek implementeren?” Wat zijn de deelvragen bij onderzoek II?

Methoden onderzoek II Welke onderzoekmethode heeft de student gebruikt of had de student moeten gebruiken om de deelvragen te beantwoorden?

Welke methoden gebruiken jullie studenten? Welke onderzoeksmethoden leren jullie studenten? Welke onderzoekmethoden gebruiken jullie studenten in het afstuderen?

Dank voor uw aandacht Daan.andriessen@hu.nl www.methodologie.hu.nl @onderzoekcoach.nl

Bronnen Greve, D. (2013) Persoonlijke communicatie. Griffioen, D., & Wortman, O. (2013). Onderzoek in het onderwijs van de Hogeschool van Amsterdam: op weg naar diversiteit in een uniform model. Tijdschrift voor Hoger Onderwijs, 31(1/2), 16–31. HBO Raad (2009) Kwaliteit als Opdracht, Den Haag, HBO Raad. NVAO (2011) Beoordelingskaders accreditatiestelsel hoger onderwijs Opleidingsbeoordeling (beperkt). Retrieved from www.nvao.net Renepbutter (2013, november) Role of research in higher prof. educ. on BA, MA & PhD levels is demarcated by the scope of the required relevance&rigour claims. #mmucarpe [Twitter post] Retrieved from https://twitter.com/renepbutter/status/398695835288223744 Van der Rijst, R. M. (2009). De zes aspecten van een onderzoekende houding. [website] Retrieved from http://www.ecent.nl/artikel/2000/view.do Verschuren, P. (2009). De probleemstelling voor een onderzoek. Spectrum.