Omgang met kwaliteitscriteria en beoordelen Cop 4 Verbinden van Onderwijs en Onderzoek

Agenda Presentatie van een oplossing voor het omgaan met kwaliteitscriteria en beoordelen bij ontwerpprojecten Review in groepen docenten + studenten / alternatief mag Feedback van de groepen Wrap-up: weging feedback en eventueel keuze van alternatief.

Omgang met criteria Algemene criteria (zie handleiding) Afleiden naar bruikbare criteria

(gestyleerd) Voorbeeld beoordelingssystematiek Generieke criteria: Resultaat Adequaat Valide Resultaat als proces Controleerbaar Vakkundig Betrouwbaar Logisch

Uitwerking criteria beoordelingssystematiek Adequaat: Is een echte oplossing Past in de probleemcontext Toelaatbaar en duurzaam Valide Acceptabel Conceptueel onderbouwd Verklaard Generaliseringen aannemelijk

Uitwerking -2 Controleerbaar: Vakkundig Betrouwbaar Logisch Compleet Transparant Achteraf te volgen Vakkundig Efficient Toelaatbaar Betrouwbaar Niet afhankelijk van toevalligheden Tijdstip Of plaats Logisch Redenering is logisch Recht-toe Recht-aan

Uitwerking -3 Echte oplossing Ruim verwoord voor overige twee Past in de probleemcontext Toelaatbaar en duurzaam Acceptabel ‘hetzelfde’ als toelaatbaar Conceptueel onderbouwd Verklaard Synoniem voor conceptueel onderbouwd Generalisering aannemelijk Compleet Transparant Achteraf te volgen Synoniem voor transparant Efficient Toelaatbaar Hadden we al Niet afhankelijk van toevalligheden, tijdstip of plaats Nadere specificering van (deel van) toelaatbaar Redenering is logisch en te volgen

Uitwerking -4 Past in de probleemcontext In verhouding tot leerresultaat In verhouding tot geleverde inspanning Toelaatbaar en duurzaam Reproduceerbaar Voor alle situaties bruikbaar Billijk Conceptueel onderbouwd Uitleggen waarom dit concept geldig is en wanneer Generalisering aannemelijk Eventuele gaten / extrapolatie is verklaard Compleet Geldt voor alle op te leveren producten en situaties Transparant Efficient Snel Eenvoudig

Uitwerking -5 In verhouding tot leerresultaat In verhouding tot geleverde inspanning Criterium aan product / proces Reproduceerbaar Voor alle situaties bruikbaar Billijk Uitleggen waarom dit concept geldig is en wanneer Criterium aan uitleg van product / proces Eventuele gaten / extrapolatie is verklaard Criterium aan product / proces en uitleg Geldt voor alle op te leveren producten en situaties Criterium aan product Transparant Snel Eenvoudig

Leidt tot de criteria Product/proces In verhouding tot leerresultaat Individuele beoordeling mogelijk In verhouding tot geleverde inspanning Billijk Transparant Reproduceerbaar Snel Eenvoudig Voor alle situaties bruikbaar Uitleg Wanneer en waarom concept geldig Gaten en extrapolatie verklaard

Ons voorstel (ter review) Proceseisen Verplicht onderdeel in Plan van Aanpak: uitgewerkte criteria voor proces, product en rolvervulling. Bij reviews moeten de criteria een centrale rol in de presentatie en de feedback spelen Alleen als er aan voorwaarden is voldaan kan een review plaats vinden: Ingediende stukken hebben minimaal een redelijk niveau Ingediende stukken zijn er op proces, product en rolvervulling

Beoordelingsmatrix Niet/ Nauwelijks Redelijk/ voldoende Goed Redelijk Verwerking verbeterpunten Basisdocument Niet/ Nauwelijks Redelijk/ voldoende Goed Redelijk 4 6 8 Uitstekend

Verdediging Beoordelingsmatrix Product/proces In verhouding tot leerresultaat In verhouding tot geleverde inspanning Billijk (zie rode vakken, extra inspanning levert soms geen extra waardering) Transparant Reproduceerbaar (niet getest!) Snel Eenvoudig Voor alle situaties bruikbaar (niet bruikbaar voor slechte basisdocumenten, is dat erg?)

Verdere verdediging Deze beoordeling kan plaatsvinden na Start-Up, Mid-Term en EndTerm review. Op deze wijze zijn er dus 3 cijfer-mogelijkheden, op 3 producten = 9 cijfers mogelijk. Vakinhoudelijke kwaliteit wordt gechecked zowel in basisdocument niveau als in verwerking verbeterpunten Gat: slechte ingangssituatie levert geen cijfer. Is realistisch. Geen extrapolatie Indikken van cijfermogelijkheden: Weglaten van mid-term review als cijfermogelijkheid (max 6) Weglaten van kennisvraag producten bij startup en midterm (risico aanwezig) (max 7, combinatie max 4 cijfers) Weging van cijfers tot 1 per review (bijv. 40pv/40cv/20kv)

Nog onopgeloste zaken In hoeverre wordt recht gedaan aan individueel functioneren (suggestie: 360 graden feedback voor organiseren) Hoe telt (het resultaat van) validatie mee in het resultaat? (suggestie: ingangseis) Bij end-term geen verwerking feedback, is dit reëel?

Review In twee (drie) groepen: Welke verbeteringen zijn er nodig/mogelijk Zijn er alternatieven die op dezelfde manier aan de criteria voldoen Eventueel: zijn de criteria wel compleet?

Terugkoppeling en discussie