Wanneer is onderzoek goed: de kwaliteitscriteria

Slides:



Advertisements
Verwante presentaties
De Profile Selector 2 april 2017.
Advertisements

Doel van de miniconferentie: Weten waar je op je opleiding over in gesprek kunt gaan mbt het toetsen van taal in totaal. Voettekst.
Presentatie Harry Donker Januari 2013 Harry Donker Januari 2013
1 Resultaten marktonderzoek RPM Zeist, 16 januari 2002 Door: Olga van Veenendaal, medew. Rothkrans Projectmanagement.
November 2013 Opinieonderzoek Vlaanderen – oktober 2013 Opiniepeiling Vlaanderen uitgevoerd op het iVOXpanel.
Personalisatie van de Archis website Naam: Sing Hsu Student nr: Datum: 24 Juni 2004.
 Deel 1: Introductie / presentatie  DVD  Presentatie enquête  Ervaringen gemeente  Pauze  Deel 2 Discussie in kleinere groepen  Discussies in lokalen.
Ronde (Sport & Spel) Quiz Night !
Het begeleiden van afstuderen
Verandermanagement Hoofdstuk 1 Verandermanagement; een rondleiding in en buiten het vakgebied.
Ontwerpprojecten In de praktijk
Ontwerpgericht onderzoek in het HBO: onderzoeken door te adviseren
Handreikingen Voor de C-kandidaat
Klassieke AO Leseenheid1
Het Nieuwe Werken Samenspel tussen IT en business.
Onderzoeksdag Associatie Universiteit & Hogescholen
Leiden University. The university to discover. ICLON, Interfacultair Centrum voor Lerarenopleiding, Onderwijsontwikkeling en Nascholing Denkgereedschap.
PO Aërosolen en vuile lucht
Onderwerp Vraagstelling Theorie Methodiek verslaglegging
Goed advies kost geld Financiële ondersteuning Wmo-adviesraden Monster 27 januari 2009.
© GfK 2012 | Title of presentation | DD. Month
Passie - Verrijzenis Arcabas
FOD VOLKSGEZONDHEID, VEILIGHEID VAN DE VOEDSELKETEN EN LEEFMILIEU 1 Kwaliteit en Patiëntveiligheid in de Belgische ziekenhuizen anno 2008 Rapportage over.
Welkom bij de presentatie van het
Licenties Pedagogische wetenschappen Algemeen opzet Scriptiesemiaries.
Kunstlicht door: Koert Ringelenberg
Onderzoeksmethode Oftewel: met welke specifieke onderzoeksmethode kan ik het best mijn onderzoeksvraag beantwoorden.
Stelling 2: Te weinig (vak)inhoud in een VB Leerinhouden kunnen niet geïntegreerd worden opgehangen aan voorkomende werkzaamheden, maar moeten geïsoleerd.
1 juni 2010 Verdiepingsdag Toezicht Integraal Toezicht nu en in de toekomst.
Begeleiden van Praktijkonderzoek
1 Kwaliteitscultuur Bolognaseminarie Vlaamse Bologna-expertenteam 13 en 19 maart 2009.
2009 Tevredenheidsenquête Resultaten Opleidingsinstellingen.
NIOC 2002 Corrie Huijs 18 april Corrie Huijs en Nico van Diepen Uitdagen en oriënteren op ICT competenties met webdesign E-mission  emotion.
ribwis1 Toegepaste wiskunde Lesweek 01 – Deel B
Op weg naar een generiek model voor een regionale volksgezondheidsrapportage Marja J.H. van Bon-Martens CEPHIR seminar Regionale Volksgezondheid Toekomst.
Missie, visie, strategie & jaarplan
Kwaliteitszorg ● Huidige accreditatie (status)
Management development lectoren HRO
ECHT ONGELOOFLIJK. Lees alle getallen. langzaam en rij voor rij
17/08/2014 | pag. 1 Fractale en Wavelet Beeldcompressie Les 5.
17/08/2014 | pag. 1 Fractale en Wavelet Beeldcompressie Les 3.
Het portfolio van een Educatief Multimediaal Ontwikkelaar
De financiële functie: Integrale bedrijfsanalyse©
Oefeningen Workshop RIE Gemeenten
Samen-bouwen … over paneelbouw en de rest!
1 Amsterdam, april 2005 Drs. Frits Spangenberg Rotary Extern imago.
Beoordelen van praktijkonderzoek Quinta Kools (q.
1 Zie ook identiteit.pdf willen denkenvoelen 5 Zie ook identiteit.pdf.
1 SLIMME SAMENVATTINGEN. Samenvatting ex ante Uw vraag Onze suggestie Analyseer de functionele specificaties Maak een format Implementeer dat format Leer.
Onderzoek doen een methodische aanpak
ZijActief Koningslust
Onderzoek doen een methodische aanpak
Inhoud workshop Wat is de bedoeling van het V2- assessment?
Cegeka & TenForce Ronde tafel 17/06/2014 Doelstellingenmanagement VO.
Klik hier om ondertitel te maken Klik hier om een titel te maken.
Werkveldconferentie 13 november 2014
Inhoud bijeenkomst 2 Oriёntatie op je praktijkonderzoek:
Slc kwartaal 3. programma Hoe is het gegaan Verwachtingen Tips and tricks Opdrachten slc.
Verpleegkundig redeneren
Bron: Baarda, B. (2014) Dit is onderzoek!
Examencommissies in accreditatiekader 6 juni 2011 Fred Mulder.
Managen analyseren 6 adviseren creëren organiseren begeleiden In kaart brengen Organisaties communicatieve r maken Iets doen ontstaan Mensen.
WELKOM Tweede jaars OGP6 Onderzoek Bijeenkomst
Het toetsen van onderzoekend vermogen in het afstudeerprogramma
Workshop academisch schrijven
Begeleiden van Praktijkonderzoek
Xxxxxxxxxxxxxxx 12/2/2018 Onderzoek in een professionele master: terug naar het leren van een beroep Workshop conferentie kwaliteit van professionele masters.
Transcript van de presentatie:

Wanneer is onderzoek goed: de kwaliteitscriteria De verwarring voorbij Naar hernieuwd zelfvertrouwen Wie van u is betrokken bij d eonderzoekslijn in het curriculum? Wie van u begeleidt zelf afstudeerders? Wie van u beoordeelt scroipties? Wie van u weet duidelijk wanneer de scriptie van HBO niveau is en wanneer niet? Congres ‘Praktijkgericht onderzoek in het HBO’ Amersfoort, 11 december 2012 Daan Andriessen Hogeschool Inholland

Het Nederlandse accreditatiestelsel Standaard 1: De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen. Standaard 16: De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd.

Wat is een adequaat systeem van toetsing voor scripties?

De verwarring is compleet

Mijn probleemstelling en deelvragen Wat is een adequaat systeem van toetsing voor scripties? Wanneer zijn kwaliteitscriteria goed? Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit? Hoe kan je als opleiding komen tot goede kwaliteitscriteria? Wat is daarvan een goed voorbeeld?

1. Wanneer zijn kwaliteitscriteria goed?

Wat is de belangrijkste functie van kwaliteitscriteria voor scripties? Student helpen er achter te komen hoe hoog de lat ligt voor beroepsproducten in zijn toekomstige beroep Zodat de student kan bepalen wat hij moet doen om dit nivo te halen Waardoor de docent dit leerproces goed kan begeleiden En de scriptie kan worden beoordeeld

Kwaliteitscriteria voor kwaliteitscriteria Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek daarin Richtinggevend bij het maken van keuzes tijdens het onderzoek Didactisch functioneel Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

Standaard 16: Valide, betrouwbaar en voor studenten inzichtelijk Hiertoe moeten ze worden geoperationaliseerd. Ze hebben: Een object in de scriptie (wat moet kwaliteit hebben? Bv. probleemstelling of literatuurstudie) Een criterium (welke kwaliteit moet het hebben? Bv. Relevant, afgebakend of functioneel) Indicatoren (waaraan kan ik zien of er sprake is van kwaliteit?) Bij wie van u voldoet het beoordelingsformulier aan deze criteria?

2. Welke kwaliteitscriteria voor scripties bieden de officiële kaders en wat is hun kwaliteit?

Officiële kaders Algemene internationale en landelijke kaders: Dublin descriptoren (DD) HBO kenmerken Commissie Fransen (CF) “Kwaliteit als opdracht” (HBO raad) Commissie Dunnewijk-Budé / “Vreemde ogen dwingen” Beroepsprofielen van opleidingen

Wat moeten BA studenten kunnen volgens internationale en landelijke kaders? Onderzoekend vermogen (HBO raad): Definiëren en analyseren complexe probleemsituaties (CF) Planmatig aanpakken van werkzaamheden (CF) (wetenschappelijke) inzichten, theorieën, concepten en onderzoeksresultaten toepassen (CF) Gegevens verzamelen en interpreteren (DD) Afwegen van sociaal-maatschappelijke, wetenschappelijke of ethische aspecten (DD) Oordeel vormen (DD) Ontwikkelen en beoordelen van oplossingen (CF) Leiden tot evidence based practice (HBO raad) Innovatie (HBO raad) Reflecteren op het handelen (CF / HBO raad) Vraagstelling ontwikkelen Onderzoeksplan maken Theorie toepassen Data verzamelen en analyseren Conclusies trekken Adviezen of andere beroepsproducten maken Reflecteren op resultaten

Conclusie algemene internationale en landelijke kaders Deze bieden wel overzicht van benodigde onderzoeksvaardigheden`van de student Maar geen kwaliteitscriteria voor scripties

Commissie Dunnewijk-Budé “Hiertoe heeft de Commissie een toetsingskader ontworpen met deels hbo-generieke en deels opleidingsspecifieke criteria (standaarden) waarmee zou kunnen worden bepaald of sprake is van voldoende hbo-bachelor kwaliteit in het algemeen, en van het vereiste BE-, CE-, MEM-, en VTM-opleidingsniveau in het bijzonder.” Bron: Rapport van Bevindingen NVAO-Commissie Onderzoek Hogeschool Inholland, 26 april 2012

Beoordelingscriteria (standaarden) van de Commissie (1) Vinden we onderstaande componenten terug in het afstudeerproject? A. Vraagstelling & verantwoording B. Onderzoek & analyse (vraag- en aanbodzijde, publiek, omgeving) a. Onderzoeksopzet b. Bronnenonderzoek c. Empirisch onderzoek d. Conclusies e. Output [Afhankelijk van type afstudeerproject]

Beoordelingscriteria (standaarden) van de Commissie (2) Zo ja, zijn die componenten voldoende kwaliteitsvol uitgewerkt? Niets

Beoordelingscriteria (standaarden) van de Commissie (3) Kunnen we uit het afstudeerproject afleiden dat de afstuderende blijk geeft van minstens “voldoende”: theoretische vorming / onderbouw overzicht en inzicht, het kunnen plaatsen van problemen in de context reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance creativiteit en/of vermogen tot conceptualisering vermogen om helder te communiceren vermogen om efficiënt en resultaatgericht te werken

Kunnen we de Dunnewijk-Budé eisen aan afstuderenden gebruiken als criteria voor scripties? Onderzoekend vermogen Een goede scriptie

Valide, betrouwbaar en voor studenten inzichtelijk (standaard 16)

Theoretische vorming / onderbouw Object Criterium Indicatoren Literatuurverkenning Verantwoorde -selectie, - gebruik, verwerking en -vermelding geen Evenwichtige mix van binnen- en buitenlandse bronnen Theoretische verkenning Adequaat Veldonderzoek Behoorlijk uitgevoerd Dataverzamelings-methoden Dataverwerking

Overzicht en inzicht, het kunnen plaatsen van problemen in de context Object Criterium Indicatoren ? Contextueel bewustzijn geen Probleem-beschrijving kunnen uitzoomen, een opdracht/probleem in perspectief kunnen plaatsen oog voor afbakening, scherpte/helderheid en praktijkgerichtheid Vragen en deelvragen Relevant Onderzoeks-resultaten Analyse in relatie tot elkaar getuigen van een integrale benadering

Reflectie (incl. zelfreflectie), kritische en objectiverende ingesteldheid, zin voor nuance Criterium Indicatoren Bronnen bronnenkritiek geen ? Eigen oordeelsvorming reflectie over de eigen plaats in het onderzoek Conclusies (?) aanzet tot beantwoorden van onderzoeksvragen onafhankelijke ingesteldheid goede inschatting van de toegevoegde waarde van het onderzoeksresultaat t.b.v. het werkveld inzicht in eigen werkwijze en proces

Creativiteit en/of vermogen tot conceptualisering Object Criterium Indicatoren ? onderzoek kunnen vertalen naar een concreet concept voor een product en/of dienst geen originaliteit eigenheid out of the box aanpak onafhankelijk denken meer perspectieven kunnen innemen ideeën kunnen genereren gevoel voor innovatie oog voor aspecten van usability kunnen vormgeven van steekhoudende look en feel

Vermogen om helder te communiceren Object Criterium Indicatoren Omvang passend Geen kernachtig efficiënt Taalgebruik correct met het oog op spelling, grammatica, stijl en sequentiële opbouw van tekst verzorging van het rapport zakelijk en representatief, waaronder vormgeving, overzichtelijkheid, gebruik van beelden (figuren, tabellen en afbeeldingen) rapport gebruik van visuele middelen/vormgeving

Vermogen om efficiënt en resultaatgericht te werken Object Criterium Indicatoren ? Planmatig werken Geen Zelfsturing Kunnen samenwerken Eigen rol in het team kunnen inschatten Probleemoplossend vermogen evenwichtige kosten/batenbenadering geen

Conclusie Commissie Dunnewijk-Budé Commissie Dunnewijk-Budé biedt geen lijst met kwaliteitscriteria voor scripties En is hier ook niet eenvoudig naar te vertalen

Conclusie: officiële algemene criteria voor scripties zijn in Nederland niet voorhanden Onderzoekend vermogen Een goede scriptie

3. Hoe kan je als opleiding komen tot goede kwaliteitscriteria?

Hoe dan wel? 1 Eisen bachelor als basis 2 Visie en eisen beroepsprofiel t.a.v. onderzoek 3 Vertaling naar goede criteria 4 Verantwoording criteria <-> Dunnewijk-Budé 5 Borging in de organisatie

4. Wat is daarvan een goed voorbeeld?

Voorbeeld Bedrijfskunde MER Inholland

Landelijk beroepsprofiel Bedrijfskunde MER “De startende bedrijfskundige professional richt zich op het analyseren, ontwerpen en managen van doelgerichte processen van productie en dienstverlening in en tussen organisaties”. Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

Bachelor student als probleemoplosser die handelen onderbouwt met onderzoek PROBLEEM-KEUZE EN DIAGNOSE ONTWERP VERANDEREN EVALUATIE VOORSTEL VOOR VERVOLGONDERZOEK 1 2 3 4 5 6 Onderzoekscyclus 1 2 3 4 5 6 Onderzoekscyclus 1 2 3 4 5 6 Onderzoekscyclus 1 2 3 4 5 6 Onderzoekscyclus Bron: Aanvulling BBA standaard op competentieprofiel Bedrijfskunde MER

Vertaling naar goede criteria Gebaseerd op het wetenschappelijke onderzoek van Heinze Oost (Oost & Markenhof, 2002) Aangevuld met criteria voor praktijkgericht onderzoek (Andriessen & Van Weert 2008) Getoetst aan eisen Dunnewijk – Budé Kern van de methodiek: Werken met inhoudelijke criteria voor kwaliteit

Bijvoorbeeld: Criteria probleemstelling en deelvragen Verankerd Relevant Precies Functioneel Afgebakend

Didactisch functionele kwaliteitscriteria Kennisgebied VERANKERD Strategie Probleemstelling en deelvragen Reden RELEVANT FUNCTIONEEL Antwoord PRECIES Naar: Oost & Markenhof (2002)

Een probleemstelling is functioneel 1. Beschrijven 2. Vergelijken 3. Definiëren 4. Evalueren 5. Verklaren 6. Ontwerpen Bron: Oost & Markenhof, 2002

Criteria probleemstelling en deelvragen Object Criterium Indicatoren Probleem-stelling Functioneel Maakt duidelijk wat de onderzoeksfunctie is Is uitgewerkt in deelvragen waarvan een deel theoretisch is en een deel empirisch De deelvragen vormen samen een onderzoekstructuur die past bij de onderzoeksfunctie.

Onderzoeksfuncties in de scriptie VOORSTEL VOOR OP BASIS VAN PROBLEEM-KEUZE EN DIAGNOSE ONTWERP VERANDEREN EVALUATIE en/of En/of En/of 1 2 3 4 5 6 Onderzoekscyclus 1 2 3 4 5 6 Onderzoekscyclus 1 2 3 4 5 6 Onderzoekscyclus 1 2 3 4 5 6 Onderzoekscyclus Beschrijven Evalueren Verklaren Ontwerpen Ontwerpen Evalueren Verklaren VOORSTEL VOOR VERVOLGONDERZOEK

Onderzoeksfunctie bepaalt deelvragen Voorbeeld: Ontwerpen PROBLEEM-KEUZE EN DIAGNOSE ONTWERP Beschrijvende deelvragen: Wat zijn de kenmerken van situatie A? Wat zijn de kenmerken van de norm? Evaluerende deelvragen: Voldoet situatie A aan de norm? Verklarende deelvragen: Wat maakt dat er verschillen zijn tussen A en de norm? Ontwerpende deelvragen: Welke oplossingen zijn er bekend? Welke eisen stellen we aan de oplossing? Evaluerende deelvragen: Welke oplossingen voldoen aan de eisen? Welke oplossing wordt gekozen? [Verklarende deelvragen: Wat maakt dat de oplossing gaat bijdragen aan het wegnemen van het probleem?]

Download de hele set van kwaliteitscriteria

Borging van kwaliteitscriteria in de opleiding Kwaliteitscriteria leidend maken in onderzoekslijn Kwaliteitscriteria didactisch benutten in de onderzoekslijn Reviewen van studentproducten met afstudeerbegeleiders en beoordelaars helpt om: De ontwikkelde kwaliteitscriteria te leren toepassen De kwaliteitscriteria te verbeteren Intersubjectiviteit van beoordeling te verhogen Betere onderzoekbegeleider te worden Betere onderzoeker te worden

Conclusies: Wanneer is onderzoek goed? Daar zijn landelijk geen algemeen geldende criteria voor Het hangt af van het beroepsprofiel en de visie op onderzoek in het beroep Het is alleen te bepalen met kwaliteitscriteria die voldoen aan de volgende kwaliteitscriteria: Afgeleid uit de (internationale) competentie-eisen, beroepsprofiel en visie op onderzoek Richtinggevend bij het maken van keuzes tijdens het onderzoek Didactisch functioneel Geoperationaliseerd in object, criterium en indicatoren

Meer informatie? Dr. Daan Andriessen daan.andriessen@inholland.nl