College Mens-Computer Interactie Hoofdstuk 11: Evaluatie-technieken Hoofdstuk 12: Help en Documentatie

Evaluatie-technieken n CREDIT-project n Evaluatie-raamwerk Suzanne Kabel (model- gebaseerd/heuristieken)

Evaluatie n Ten aanzien van een ontwerp n Ten aanzien van een prototype of implementatie

Ontwerp-evaluatie n Cognitive walkthrough n Beschrijving van het prototype-ontwerp n Taakanalyse n Stappenplan n Achtergrond van de gebruikers

Cognitive walkthrough: ontwerp van een rekenmachine n Stel relevante vragen bij elke stap ä Is het duidelijke waar die knop voor dient? ä Wat verwacht je als effect? ä Is het effect zichtbaar na uitvoering van de actie?

Heuristieken n Zichtbaarheid van de toestand van het systeem n Overeenkomst tussen systeem en de werkelijkheid n Gebruiker is de baas n Consistentie n Voorkomen van fouten n Help en documentatie

Model van Kabel (1998) n Systeem gezichtspunt: ä Keystroke level ä Content level n Gebruikers’ gezichtspunt: ä Mental model level n Overlappend gezichtspunt ä System image level ä Process level

CREDIT exercitie

Evaluatie van een implementatie n In het laboratorium ä Het experiment n In het veld ä Met gebruikers in hun eigen omgeving

Experimentele evaluatie n Proefpersonen n Variabelen: onafhankelijke en afhankelijke n Hypothesen n Experimentele opzet

Observatie-technieken n Hardop denken ä Protocollen ä Codeerschema’s ä Voor- en nadelen ä Check achteraf (post-task walkthroughs) n Video/audio n Logging

Query-technieken n Interviews n Vragenlijsten ä Verschillende typen: ä Open ä Antwoordschalen ä Multiple choice

Het kiezen van een evaluatie-methode n Stadium n Stijl n Objectief versus subjectief n Kwalitatief versus kwantitatief n Type informatie n Onmiddelijke of uitgestelde respons n Niveau van verstoring n Benodigde bronnen

Help en Documentatie n Quick reference n Task-specific help n Full explanation n Tutorial

Vereisten n Beschikbaarheid n Correctheid n Consistentie n Flexibiliteit n Niet hinderen

Adaptieve Help-systemen: een voorbeeld n EUROHELP-project (Wizard of Oz als evaluatie-techniek) n Adaptief Helpsysteem n Help en Coaching (leren) n Diagnose en Didactische Strategie

Doel van Eurohelp n Ontwikkeling van een help-system shell voor informatieverwerkende systemen (tekstverwerkers, mailprogramma’s, enz). n Generiek systeem waarin een representatie van een nieuwe applicatie kan worden ingevoerd.

Op naar de Wizard of Oz-techniek: Systeem Ontwerp en Evaluatie

Wizard of Oz set-up

Opdracht aaan de proefpersonen

Gebruikte technieken n Hardopdenken (zowel de student als de tutor) n Logfiles en tijd-stempels (timestamps) n Talkfiles (communicatie tussen student en tutor)

Uitkomsten n Er waren betere en slechtere onderwijzers n De goede onderwijzers onderscheidden zich door ä Het gebruik van adequate conventies (onderwerp introduceren, bondige informatie verschaffen, compliment uitdelen) ä Het juist interpreteren van het gedrag (diagnose) ä Het afwisselen van pure hulp en uitleg

Wizard of Oz studie n Bepalend voor de implementatie van het uiteindelijke systeem n Het gedrag van de uiteindelijke implementatie is later vergeleken met het oorspronkelijke gedrag van de menselijke onderwijzers (daarover straks meer)

EUROHELP n Passieve en actieve hulp (reageren op vragen of actief ingrijpen) n Butlering versus coaching n Het principe van de ‘local need’ - gebrek aan kennis of misconceptie in een specifieke context (J aan het eind van een regel)

Monitoring en Diagnose n Monitoring: over de schouder van de gebruiker meekijken n Diagnose: planherkennig > local need n Van commando’s naar taak naar plan

Local Need n Fout n Gelegenheid voor het aanbieden van nieuwe kennis n Gelegenheid om iemand ergens aan te herinneren n Gebrek aan terugkoppeling

Hulp versus coaching n Pure hulp lost een lokaal probleem op: directief, zeg tegen de gebruiker wat hij moet doen zonder uitleg n Coaching is bedoeld om de kennis van de gebruiker over de applicatie te vergroten

Didactische Doelen Generator n Hiërachische weergave van concepten die de gebruiker volgens bepaalde ‘machine learning’ principes kan leren n ‘Machine learning’ principes: ä Generalisatie/Specificatie ä Abstractie/Concretisering ä Inversie ä Analogie ä Identiek n Opportunistische coaching: selecteer het geschikte moment om de gebruiker iets te leren

Coaching strategieën n Fout > Remediatie n Nieuwe kennis > Expansie n Herinneren > Nog eens zeggen (reminding) n Gebrek aan terugkoppeling > Geef terugkoppeling

Coaching principes n Wees opportunistisch n Wees conservatief n Wees beknopt n Relateer het nieuwe aan het bekende (didactische doelen) n Wees informatief n Wissel operationele kennis en ondersteunende kennis af

Coaching principes vervolg n Wees precies n Wees beleefd n Geef aan wat het onderwerp is

Strategieën en tactieken n Skelet-strategieen: overkoepelende ‘templates’ die geinstantieerd worden met specifieke tactieken n Voorbeeld inhoudelijke tactieken: ä Beschrijving (description) ä Opdracht (direction) ä Operationalisatie (operationalisation) ä Beperking (limitation)