Retail Reinvented college week 5, 14 okt Fons van Kesteren Testen

Testen

Drie oude chinezen Zhuang Zi Han Fei Confucius

HVA=University of Applied Sciences

testverslag %$(**^$^%@*%$^%$#()^%##%!%$#W%^$^%&^#%# ^%$@#^%$#^%$*$^%%^#%$&^%(^%#%^%$@!)(&^ $^$#)&^@(_*&$#$#!^%%@&(*^*^%#&^_)(&(*%^#W %$#@&)_*(%$%@#*&+_()*^&%^#@^&_)(*^*^%@^% #%^$&)&^^&$%@*&)_)(*%@%$*&$%$^@^%$*^%$& #^%@%$!^$^%)*(^_(*&(^$#@&%^$(*&^(&%&$%@&) &%)(*&)*%%@^%*&_(&(*%%$@%$#@*^(*^&$@%$ $&*%#^%$#%$(*&^(_^%$%@^%^_*^&$#^&(&)&^)(*& %#^$$%#@^(&%&$%#*^%)^

testverslag Redenen voor het schrijven van een testverslag De resultaten en conclusies overdraagbaar naar anderen collega’s, opdrachtgever, docenten Structuur in je eigen denkproces

Hst 1: Inleiding Waarom ? Om de lezer en jezelf inzicht te verschaffen in het doel van de test en de vragen die je wilt beantwoorden.

Hst 1: Inleiding §1 Aanleiding Briefing/Debriefing, user requirements list, concept resentatie: Wensen en eisen met betrekking tot je product. Experience goals End goals Live goals Opdracht: schrijf op: drie eisen mbt jou product

“Alleen de allerslimsten en de allerdomsten veranderen nooit van mening.”

Hst 1: Inleiding §2 Testvragen/testdoelen Wensen en eisen met betrekking tot je product In vraagvorm: Is mijn applicatie ‘leuk’ om te gebruiken? Is mijn applicatie gebruiksvriendelijk? Past mijn applicatie bij de doelgroep ‘jongeren 20- 30’? Geeft mijn adviesmodule een goed wijn advies?

Hst 2: methode Om duidelijk te maken hoe je de vragen gaat beantwoorden.

Hst 2: Methode

Hst 2: Methode §1 keuze testmethode en technieken §2 beschrijving van het prototype §3 hoe het resultaat gemeten wordt §4 gewenste resultaten/voorspellingen §5 selectie van testpersonen §6 testprocedure

Hst 2: Methode §1 keuze testmethode en technieken Kwalitatief: Key-path scenario test Video/audio opname Hardop denken Eye tracking Interview Expert review … Kwantitatief: A/B tests Google analytics Enquetes …

Hst 2: Methode §1 keuze testmethode en technieken Test vragen: Is mijn applicatie ‘’stimulerend’ om te gebruiken? (verhoogt het conversie) Is mijn applicatie gebruiksvriendelijk? Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? Geeft mijn adviesmodule een goed wijn advies? Test Technieken A/B test Video observatie Key-path scenario test video observatie interview Snelle enquete onder doelgroep Domein expert review

Hst 2: Methode §2 beschrijving van het prototype Wetenschappelijk: “operationalisatie van onafhankelijke variabelen” Waar moet het prototype aan voldoen? Papieren prototype? Wireframes? Met of zonder vormgeving? Echt werkend of een simulatie? => Wat wil je testen?

Hst 2: Methode §2 beschrijving van het prototype Test vragen: Is mijn applicatie ‘leuk’ om te gebruiken? Is mijn applicatie gebruiksvriendelijk? Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? Geeft mijn adviesmodule een goed wijn advies? Kernmerken prototype Werkend prototype Vormgegeven Wireframes, papieren prototype, werkend prototype zonder vormgeving Alleen vormgeving, uitstraling Papieren prototype Beslisboo NB: voor volledige documentatie of prototype verwijs naar bijlage

Hst 2: Methode §3 hoe het resultaat gemeten wordt Wetenschappelijk: “operationalisatie van afhankelijke varabelen” Emotie -> beoordeling van gezichtuitdrukking Gebruiksvriendelijkheid -> aantal kliks, snelheid Inhoudelijke correctheid ->expert beoordeling, cijfer

Hst 2: Methode §3 hoe het resultaat gemeten wordt Test vragen: Is mijn applicatie ‘leuk’ om te gebruiken? Is mijn applicatie gebruiksvriendelijk? Past mijn applicatie bij de doelgroep ‘jongeren 20-30’? Geeft mijn adviesmodule een goed wijn advies? Operationalisatie - Subjectieve beoordeling video door twee personen - analytics van A/B test - Het aantal keer dat gebruiker van pad afwijkt, en tijd tot einde van taak - beoordeling gezichtuitdrukking Snelle enquetevraag: “voor welke leeftijdsgroep denk je dat dit is?” Experts beoordelen de kwaliteit van de adviezen en geven een cijfer.

Hst 2: Methode §3 hoe het resultaat gemeten wordt Kwaliteit van de meting: Validiteit Betrouwbaarheid

Hst 2: Methode [ §4 gewenste resultaten/voorspellingen ] Niet noodzakelijk bij eerste tests Emotie -> beoordeling van gezichtuitdrukking -> postieve emoties af te lezen Gebruiksvriendelijkheid -> aantal kliks, snelheid -> maximaal drie kliks bij iedere taak Inhoudelijke correctheid ->expert beoordeling, cijfer -> minimaal een 8

Hst 2: Methode §5 selectie van testpersonen Aantal testpersonen: Kwalitatieve test : (keypathscenario/expertinterview/videoopbservatie) richtlijn: 2 - 5 testpersonen Kwantitatieve test: ( A/B test, enquete) richtlijn 20+ ( van veel afhankelijk, statistiek )

Hst 2: Methode §5 selectie van testpersonen !!!!!!!!!!!!!! De manier van selecteren doet er toe !!!!!!!!!!!!! Vrienden hebben vaak overeenkomstige meningen Studenten zijn hoog opgeleid Op zaterdag tref je vaker fun shoppers

Hst 2: Methode §6 testprocedure Waar wordt de test gedaan? Wanneer wordt de test gedaan? Welke vragen stel je de gebruiker? Hoe lang gaat de test duren? …. Alles wat van invloed kan zijn op de interpretatie van de resultaten.

Hst 2: Methode Alles wordt systematisch overdacht: §1 keuze testmethode en technieken §2 beschrijving van het prototype §3 hoe het resultaat gemeten wordt §4 gewenste resultaten/voorspellingen §5 selectie van testpersonen §6 testprocedure

Hst 2: Methode Wetenschappelijke methode? Nooit van gehoord.

Hst 3: Resultaten Samenvatting van de feitelijke resultaten Per onderszoeksmethode Geen meningen of interpretaties Zijn de voorspellingen uitgekomen Kwalitatieve resultaten: belangrijke fragmenten, stills Kwantitatieve resultaten: grafieken en tabellen

Hst 4: Resultaten Kwalitatieve resultaten: belangrijke fragmenten, stills Is de app leuk om te gebruiken?

Hst 4: Resultaten Kwantitatieve resultaten: grafieken en statistieken

[ Hst 4: Discussie ]*

[ Hst 4: Discussie ]* Verschillende interpretaties van de gevonden resultaten.

“Waar mensen discussiëren, wordt iets over het hoofd gezien.”

Hst 5: Conclusies Geef antwoord op de in de inleiding gestelde vragen ! Eén voor één per vraag Suggesties voor verder onderzoek Consequenties voor ontwerp van het product

Han Fei ( 250 BC ) Uitvinder van bureaucratie Iedereen is voor de wet gelijk Transparantie van bestuur Besturen door te straffen en te belonen

Daarom heeft het verslag de standaard hoofdstuk indeling? (inleiding, methode, resultaten, [discussie,] conclusie) Worden er in de inleiding relevante vragen gesteld? Worden in de conclusies de gestelde vragen beantwoord? (voor zover mogelijk) ================================== Beloning: het testverslag kan inhoudelijk besproken worden.