College Mens-Computer Interactie Hoofdstuk 11: Evaluatie-technieken Hoofdstuk 12: Help en Documentatie.

Presentatie over: "College Mens-Computer Interactie Hoofdstuk 11: Evaluatie-technieken Hoofdstuk 12: Help en Documentatie."— Transcript van de presentatie:

1 College Mens-Computer Interactie Hoofdstuk 11: Evaluatie-technieken Hoofdstuk 12: Help en Documentatie

2 Evaluatie-technieken n CREDIT-project n Evaluatie-raamwerk Suzanne Kabel (model- gebaseerd/heuristieken)

3 Evaluatie n Ten aanzien van een ontwerp n Ten aanzien van een prototype of implementatie

4 Ontwerp-evaluatie n Cognitive walkthrough n Beschrijving van het prototype-ontwerp n Taakanalyse n Stappenplan n Achtergrond van de gebruikers

5 Cognitive walkthrough: ontwerp van een rekenmachine n Stel relevante vragen bij elke stap ä Is het duidelijke waar die knop voor dient? ä Wat verwacht je als effect? ä Is het effect zichtbaar na uitvoering van de actie?

6 Heuristieken n Zichtbaarheid van de toestand van het systeem n Overeenkomst tussen systeem en de werkelijkheid n Gebruiker is de baas n Consistentie n Voorkomen van fouten n Help en documentatie

7 Model van Kabel (1998) n Systeem gezichtspunt: ä Keystroke level ä Content level n Gebruikers’ gezichtspunt: ä Mental model level n Overlappend gezichtspunt ä System image level ä Process level

8 CREDIT exercitie

9 Evaluatie van een implementatie n In het laboratorium ä Het experiment n In het veld ä Met gebruikers in hun eigen omgeving

10 Experimentele evaluatie n Proefpersonen n Variabelen: onafhankelijke en afhankelijke n Hypothesen n Experimentele opzet

11 Observatie-technieken n Hardop denken ä Protocollen ä Codeerschema’s ä Voor- en nadelen ä Check achteraf (post-task walkthroughs) n Video/audio n Logging

12 Query-technieken n Interviews n Vragenlijsten ä Verschillende typen: ä Open ä Antwoordschalen ä Multiple choice

13 Het kiezen van een evaluatie-methode n Stadium n Stijl n Objectief versus subjectief n Kwalitatief versus kwantitatief n Type informatie n Onmiddelijke of uitgestelde respons n Niveau van verstoring n Benodigde bronnen

14 Help en Documentatie n Quick reference n Task-specific help n Full explanation n Tutorial

15 Vereisten n Beschikbaarheid n Correctheid n Consistentie n Flexibiliteit n Niet hinderen

16 Adaptieve Help-systemen: een voorbeeld n EUROHELP-project (Wizard of Oz als evaluatie-techniek) n Adaptief Helpsysteem n Help en Coaching (leren) n Diagnose en Didactische Strategie

17 Doel van Eurohelp n Ontwikkeling van een help-system shell voor informatieverwerkende systemen (tekstverwerkers, mailprogramma’s, enz). n Generiek systeem waarin een representatie van een nieuwe applicatie kan worden ingevoerd.

18 Op naar de Wizard of Oz-techniek: Systeem Ontwerp en Evaluatie

19 Wizard of Oz set-up

20 Opdracht aaan de proefpersonen

21

22 Gebruikte technieken n Hardopdenken (zowel de student als de tutor) n Logfiles en tijd-stempels (timestamps) n Talkfiles (communicatie tussen student en tutor)

23

24 Uitkomsten n Er waren betere en slechtere onderwijzers n De goede onderwijzers onderscheidden zich door ä Het gebruik van adequate conventies (onderwerp introduceren, bondige informatie verschaffen, compliment uitdelen) ä Het juist interpreteren van het gedrag (diagnose) ä Het afwisselen van pure hulp en uitleg

25 Wizard of Oz studie n Bepalend voor de implementatie van het uiteindelijke systeem n Het gedrag van de uiteindelijke implementatie is later vergeleken met het oorspronkelijke gedrag van de menselijke onderwijzers (daarover straks meer)

26

27 EUROHELP n Passieve en actieve hulp (reageren op vragen of actief ingrijpen) n Butlering versus coaching n Het principe van de ‘local need’ - gebrek aan kennis of misconceptie in een specifieke context (J aan het eind van een regel)

28 Monitoring en Diagnose n Monitoring: over de schouder van de gebruiker meekijken n Diagnose: planherkennig > local need n Van commando’s naar taak naar plan

29 Local Need n Fout n Gelegenheid voor het aanbieden van nieuwe kennis n Gelegenheid om iemand ergens aan te herinneren n Gebrek aan terugkoppeling

30 Hulp versus coaching n Pure hulp lost een lokaal probleem op: directief, zeg tegen de gebruiker wat hij moet doen zonder uitleg n Coaching is bedoeld om de kennis van de gebruiker over de applicatie te vergroten

31 Didactische Doelen Generator n Hiërachische weergave van concepten die de gebruiker volgens bepaalde ‘machine learning’ principes kan leren n ‘Machine learning’ principes: ä Generalisatie/Specificatie ä Abstractie/Concretisering ä Inversie ä Analogie ä Identiek n Opportunistische coaching: selecteer het geschikte moment om de gebruiker iets te leren

32 Coaching strategieën n Fout > Remediatie n Nieuwe kennis > Expansie n Herinneren > Nog eens zeggen (reminding) n Gebrek aan terugkoppeling > Geef terugkoppeling

33 Coaching principes n Wees opportunistisch n Wees conservatief n Wees beknopt n Relateer het nieuwe aan het bekende (didactische doelen) n Wees informatief n Wissel operationele kennis en ondersteunende kennis af

34 Coaching principes vervolg n Wees precies n Wees beleefd n Geef aan wat het onderwerp is

35 Strategieën en tactieken n Skelet-strategieen: overkoepelende ‘templates’ die geinstantieerd worden met specifieke tactieken n Voorbeeld inhoudelijke tactieken: ä Beschrijving (description) ä Opdracht (direction) ä Operationalisatie (operationalisation) ä Beperking (limitation)

36

37