Evaluatie Technieken Course 10, CMC, 04/11/03
04/11/03HC102 Evaluation and Testing “ Experienced designers have attained the wisdom and humility to know that extensive testing is a necessity” Shneiderman, 1998 Choice from great variety of evaluation methods analytic methods (e.g. GOMS) empirical methods (e.g. experiments)
04/11/03HC103 Determinants Evaluation Plan Stage of design (early, middle, late) Novelty of project (well defined, exploratory) Number of expected users Criticality of interface Costs of product and finances for testing Time available Experience of design/evaluation team
04/11/03HC104 Evaluatie: globaal overzicht Doel van evaluatie: testen van –‘functionality’ –‘usability’ –‘acceptability’ Plaats van evaluatie: –laboratorium –veld Moment van evaluatie: –gedurende de gehele ‘design life cycle’
04/11/03HC105 Evaluatiemethoden een brede 2-deling Experts Methoden –analytisch –recensietechnieken –model-gebaseerd Gebruikers Methoden –empirisch / experimenteel –observationeel –vraagtechnieken
04/11/03HC106 Analyse door experts Doel: –probleemgebieden signaleren Mogelijke benaderingen: –‘cognitive walkthrough’ –heuristische evaluatie –gebruik van modellen –gebruik van bestaand onderzoek
04/11/03HC107 ‘Cognitive Walkthrough’ Geïntroduceerd door Polson en collega’s Gebaseerd op psychologische theorie Oorsprong is ‘code walkthrough’ Hamvraag: welke stappen moet gebruiker doorlopen om taak te volbrengen? Accent op leren door verkenning
04/11/03HC108 Wat en hoe? systeemspecificatie of -prototype taakbeschrijving complete lijst van systeemacties nodig om taak uit te voeren informatie over gebruiker effect actie = doel gebruiker? ziet gebruiker beschikbaarheid actie? herkent gebruiker benodigde actie? begrijpt gebruiker feedback?
04/11/03HC109 Heuristische evaluatie Ontwikkeld door Nielsen en Molich ‘Discount usability’ techniek Gestructureerde kritiek van systeem Gebaseerd op design principes, richtlijnen (bijv. de 10 vuistregels van Nielsen) 3 tot 5 onafhankelijke evaluaties ‘severity rating’ op schaal 0-4
04/11/03HC1010 Usability Testing
04/11/03HC1011 Evaluaties met gebruikers 1 Evaluatiestijlen: –lab- vs. veldonderzoek Empirische methodes (experimenten) Observatietechnieken –‘think aloud’, cooperatieve evaluatie pen en papier, geluidsopname, beeldopname, ‘computer logging’, gebruikers notities (automatische) protocol analyse ‘post-task walkthroughs’
04/11/03HC1012 Surveys
04/11/03HC1013 Evaluaties met gebruikers 2 Vraagtechnieken –interviews –vragenlijsten algemeen, open, ‘scalar’, ‘ranked’, multiple choice Registratie van fysiologische reacties –‘eye tracking’ –fysiologische metingen (hart, huid, spier, hersenen)