Omgang met kwaliteitscriteria en beoordelen

Presentatie over: "Omgang met kwaliteitscriteria en beoordelen"— Transcript van de presentatie:

1 Omgang met kwaliteitscriteria en beoordelen
Cop 4 Verbinden van Onderwijs en Onderzoek

2 Agenda Presentatie van een oplossing voor het omgaan met kwaliteitscriteria en beoordelen bij ontwerpprojecten Review in groepen docenten + studenten / alternatief mag Feedback van de groepen Wrap-up: weging feedback en eventueel keuze van alternatief.

3 Omgang met criteria Algemene criteria (zie handleiding)
Afleiden naar bruikbare criteria

4 (gestyleerd) Voorbeeld beoordelingssystematiek
Generieke criteria: Resultaat Adequaat Valide Resultaat als proces Controleerbaar Vakkundig Betrouwbaar Logisch

5 Uitwerking criteria beoordelingssystematiek
Adequaat: Is een echte oplossing Past in de probleemcontext Toelaatbaar en duurzaam Valide Acceptabel Conceptueel onderbouwd Verklaard Generaliseringen aannemelijk

6 Uitwerking -2 Controleerbaar: Vakkundig Betrouwbaar Logisch Compleet
Transparant Achteraf te volgen Vakkundig Efficient Toelaatbaar Betrouwbaar Niet afhankelijk van toevalligheden Tijdstip Of plaats Logisch Redenering is logisch Recht-toe Recht-aan

7 Uitwerking -3 Echte oplossing Ruim verwoord voor overige twee
Past in de probleemcontext Toelaatbaar en duurzaam Acceptabel ‘hetzelfde’ als toelaatbaar Conceptueel onderbouwd Verklaard Synoniem voor conceptueel onderbouwd Generalisering aannemelijk Compleet Transparant Achteraf te volgen Synoniem voor transparant Efficient Toelaatbaar Hadden we al Niet afhankelijk van toevalligheden, tijdstip of plaats Nadere specificering van (deel van) toelaatbaar Redenering is logisch en te volgen

8 Uitwerking -4 Past in de probleemcontext
In verhouding tot leerresultaat In verhouding tot geleverde inspanning Toelaatbaar en duurzaam Reproduceerbaar Voor alle situaties bruikbaar Billijk Conceptueel onderbouwd Uitleggen waarom dit concept geldig is en wanneer Generalisering aannemelijk Eventuele gaten / extrapolatie is verklaard Compleet Geldt voor alle op te leveren producten en situaties Transparant Efficient Snel Eenvoudig

9 Uitwerking -5 In verhouding tot leerresultaat
In verhouding tot geleverde inspanning Criterium aan product / proces Reproduceerbaar Voor alle situaties bruikbaar Billijk Uitleggen waarom dit concept geldig is en wanneer Criterium aan uitleg van product / proces Eventuele gaten / extrapolatie is verklaard Criterium aan product / proces en uitleg Geldt voor alle op te leveren producten en situaties Criterium aan product Transparant Snel Eenvoudig

10 Leidt tot de criteria Product/proces In verhouding tot leerresultaat
Individuele beoordeling mogelijk In verhouding tot geleverde inspanning Billijk Transparant Reproduceerbaar Snel Eenvoudig Voor alle situaties bruikbaar Uitleg Wanneer en waarom concept geldig Gaten en extrapolatie verklaard

11 Ons voorstel (ter review)
Proceseisen Verplicht onderdeel in Plan van Aanpak: uitgewerkte criteria voor proces, product en rolvervulling. Bij reviews moeten de criteria een centrale rol in de presentatie en de feedback spelen Alleen als er aan voorwaarden is voldaan kan een review plaats vinden: Ingediende stukken hebben minimaal een redelijk niveau Ingediende stukken zijn er op proces, product en rolvervulling

12 Beoordelingsmatrix Niet/ Nauwelijks Redelijk/ voldoende Goed Redelijk
Verwerking verbeterpunten Basisdocument Niet/ Nauwelijks Redelijk/ voldoende Goed Redelijk 4 6 8 Uitstekend

13 Verdediging Beoordelingsmatrix
Product/proces In verhouding tot leerresultaat In verhouding tot geleverde inspanning Billijk (zie rode vakken, extra inspanning levert soms geen extra waardering) Transparant Reproduceerbaar (niet getest!) Snel Eenvoudig Voor alle situaties bruikbaar (niet bruikbaar voor slechte basisdocumenten, is dat erg?)

14 Verdere verdediging Deze beoordeling kan plaatsvinden na Start-Up, Mid-Term en EndTerm review. Op deze wijze zijn er dus 3 cijfer-mogelijkheden, op 3 producten = 9 cijfers mogelijk. Vakinhoudelijke kwaliteit wordt gechecked zowel in basisdocument niveau als in verwerking verbeterpunten Gat: slechte ingangssituatie levert geen cijfer. Is realistisch. Geen extrapolatie Indikken van cijfermogelijkheden: Weglaten van mid-term review als cijfermogelijkheid (max 6) Weglaten van kennisvraag producten bij startup en midterm (risico aanwezig) (max 7, combinatie max 4 cijfers) Weging van cijfers tot 1 per review (bijv. 40pv/40cv/20kv)

15 Nog onopgeloste zaken In hoeverre wordt recht gedaan aan individueel functioneren (suggestie: 360 graden feedback voor organiseren) Hoe telt (het resultaat van) validatie mee in het resultaat? (suggestie: ingangseis) Bij end-term geen verwerking feedback, is dit reëel?

16 Review In twee (drie) groepen:
Welke verbeteringen zijn er nodig/mogelijk Zijn er alternatieven die op dezelfde manier aan de criteria voldoen Eventueel: zijn de criteria wel compleet?

17 Terugkoppeling en discussie