Omgang met kwaliteitscriteria Cop 4 Verbinden van Onderwijs en Onderzoek

Omgang met criteria In de handleiding staan algemene criteria Deze zijn in een specifieke projectsituatie te algemeen om bruikbaar te zijn De eerste stap is de algemene criteria afleiden naar bruikbare criteria

Afleiding generieke criteria voor een beoordelingssystematiek Generieke criteria uit de handleiding: Criteria voor Resultaat Adequaat Valide Criteria als het resultaat een proces is Controleerbaar Vakkundig Betrouwbaar Logisch

Uitwerking criteria beoordelingssystematiek Het criterium Adequaat leidt tot: Systematiek is een echte oplossing Systematiek past in de probleemcontext Systematiek is toelaatbaar en duurzaam Het criterium Valide leidt tot Is acceptabel Is conceptueel onderbouwd Is verklaard Eventuele generaliseringen zijn aannemelijk

Uitwerking -2 Criterium Controleerbaar: Is Compleet Is Transparant Is Achteraf te volgen Criterium Vakkundig Is Efficiënt Is Toelaatbaar Criterium Betrouwbaar Is niet afhankelijk van toevalligheden Is niet afhankelijk van tijdstip Is niet afhankelijk van plaats Criterium Logisch De redenering is logisch De systematiek is Recht-toe Recht-aan

Tussentijdse wrap up 6 algemene criteria leiden tot 14 specifiekere criteria. De volgende stap is indikken

Indikken Specifieker criteriumCommentaar Echte oplossingRuim verwoord voor overige twee Past in de probleemcontext Toelaatbaar en duurzaam Acceptabel‘hetzelfde’ als toelaatbaar Conceptueel onderbouwd VerklaardSynoniem voor conceptueel onderbouwd Generalisering aannemelijk Compleet Transparant Achteraf te volgenSynoniem voor transparant Efficiënt ToelaatbaarHadden we al Niet afhankelijk van toevalligheden, tijdstip of plaats Nadere specificering van (deel van) toelaatbaar Redenering is logisch en te volgenSynoniem voor conceptueel onderbouwd

Wrap up 2 Indikken van de 14 specifiekere criteria leidt tot 7 criteria Deze criteria kunnen weer verder uitgewerkt worden

Verdere uitwerking Specifieker criteriumVerder uitgewerkt tot Past in de probleemcontextIn verhouding tot leerresultaat In verhouding tot geleverde inspanning Toelaatbaar en duurzaamReproduceerbaar Voor alle situaties bruikbaar Billijk Conceptueel onderbouwdUitleggen waarom dit concept geldig is en wanneer Generalisering aannemelijkEventuele gaten / extrapolatie is verklaard CompleetGeldt voor alle op te leveren producten en situaties TransparantReproduceerbaar Transparant EfficiëntReproduceerbaar Snel Eenvoudig

Itereren Deze procedure kan herhaald worden, totdat er bruikbare criteria zijn gevonden Bruikbaar is onder andere: herleidbaar tot uit te voeren stappen om het resultaat te bereiken, maar ook: kan gebruikt worden om het resultaat te toetsen In deze voorbeelduitwerking wordt nu gestopt en gekeken waar de criteria voor gelden

Gevonden criteria zijn In verhouding tot leerresultaat In verhouding tot geleverde inspanning Criterium aan product / proces Reproduceerbaar Voor alle situaties bruikbaar Billijk Criterium aan product / proces Uitleggen waarom dit concept geldig is en wanneer Criterium aan uitleg van product / proces Eventuele gaten / extrapolatie is verklaardCriterium aan product / proces en uitleg Geldt voor alle op te leveren producten en situaties Criterium aan product Reproduceerbaar Transparant Criterium aan product Reproduceerbaar Snel Eenvoudig Criterium aan product

Leidt tot de eisen aan Product/proces In verhouding tot leerresultaat Individuele beoordeling mogelijk In verhouding tot geleverde inspanning Billijk Transparant Reproduceerbaar Snel Eenvoudig Voor alle situaties bruikbaar Uitleg Wanneer en waarom concept geldig Gaten en extrapolatie verklaard

De afgeleide eisen (criteria) dienen als basis voor Plan van aanpak (zorgt ervoor dat de eisen gerealiseerd worden) Review: zijn de eisen compleet/ worden ze gerealiseerd / zijn ze gerealiseerd Hierna volgt een voorbeeld uitwerking voor de beoordelingssystematiek, die ter review wordt aangeboeden

Voorbeeld uitwerking beoordelingssystematiek Proceseisen Verplicht onderdeel in Plan van Aanpak: uitgewerkte criteria voor proces, product en rolvervulling. Bij reviews moeten de criteria een centrale rol in de presentatie en de feedback spelen Alleen als er aan voorwaarden is voldaan kan een review plaats vinden: Ingediende stukken hebben minimaal een redelijk niveau Ingediende stukken zijn er op proces, product en rolvervulling

Beoordelingsmatrix Verwerking verbeterpunten  Basisdocument  Niet/ Nauwelijks Redelijk/ voldoende Goed Redelijk468 Goed688 Uitstekend888

Verdediging Beoordelingsmatrix (spiegeling aan de criteria) Product/proces In verhouding tot leerresultaat In verhouding tot geleverde inspanning Billijk (zie rode vakken, extra inspanning levert soms geen extra waardering) Transparant Reproduceerbaar (niet getest!) Snel Eenvoudig Voor alle situaties bruikbaar (niet bruikbaar voor slechte basisdocumenten, is dat erg?)

Verdere verdediging Deze beoordeling kan plaatsvinden na Start-Up, Mid-Term en EndTerm review. Op deze wijze zijn er dus 3 cijfer- mogelijkheden, op 3 producten = 9 cijfers mogelijk. Vakinhoudelijke kwaliteit wordt gecheckt zowel in basisdocument niveau als in verwerking verbeterpunten Gat: slechte ingangssituatie levert geen cijfer. Is realistisch. Geen extrapolatie Indikken van cijfermogelijkheden: Weglaten van mid-term review als cijfermogelijkheid (max 6) Weglaten van kennisvraag producten bij startup en midterm (risico aanwezig) (max 7, combinatie max 4 cijfers) Weging van cijfers tot 1 per review (bijv. 40pv/40cv/20kv)

Nog onopgeloste zaken (niet vervulde criteria) In hoeverre wordt recht gedaan aan individueel functioneren (suggestie: 360 graden feedback voor organiseren) Hoe telt (het resultaat van) validatie mee in het resultaat? (suggestie: ingangseis) Bij end-term geen verwerking feedback, is dit reëel?

Resultaat van de presentatie Het voorstel voor de beoordelingssystematiek wordt niet overgenomen. Dat is logisch, want het voorstel voldeed niet aan ALLE criteria, en was dus geen passende oplossing. Bovendien werden vraagtekens bij de invulling van de criteria consequent en logisch gezet: beoordeling gaat over het eindresultaat en het gehele proces en ieders rolvervulling daarin. De gepresenteerde oplossing is gericht op alle drie de reviewmomenten Door criteria te gebruiken werd de discussie helder, en konden verbetervoorstellen of alternatieven direct op waarde worden bekeken.

Suggesties voor beoordeling (nav discussie) Bij iedere review (op basis van criteria) kan je als docent/begeleider aangeven dat als zo doorgegaan wordt, het cijfer.. gaat worden (zie ook tweede bullet vorige sheet). Conclusie: We zijn door gebruik van criteria en de discussie daarover een eind opgeschoten, maar een acceptabele oplossing moet nog worden ontwikkeld (als midterm review was dit dus geslaagd)