Team 21 Improved Bugs bunnies

Presentatie over: "Team 21 Improved Bugs bunnies"— Transcript van de presentatie:

1 Team 21 Improved Bugs bunnies
NK software testen 2018 Team 21 Improved Bugs bunnies

2 Het team & rolverdeling
Jochem Gross; tester Pieter Withaar; tester & toolsmith Mark de Munnik; customer advocacy met P.O. Niels Thijssen; tester & reporting

3 Het test object eDITION: de interactieve digitale leer-en werkomgeving
Zorgen/aandachtspunten in de opdracht vanuit de Product Owner: Gebruikersvriendelijkheid in het algemeen Gebruikersvriendelijkheid diverse opdracht types; Werking diverse opdracht types; Functioneel advies behalve de out of scope items (zoals security, performance, stress tests)

4 Het Resultaat Gebruikersvriendelijkheid voor de docent is afdoende bruikbaar. Hier en daar zijn echter nog wel verbeteringen mogelijk. Het komt dan met name aan op intuitiviteit naar de gebruiker toe. Tijdens de test sessie als leerling is het team 8 vraagtypes tegen gekomen, in het korte tijdbestek waarin getest. Er is sprake van 16 soorten vraagtypes, maar het is niet bekend dat alle 16 ook daadwerkelijk actief aanwezig waren (aldus PO); Tevens is de toepassing op Chromebook, iPad (Safari) getest zonder noemenswaardigheden, alsmede browsers Internet Explorer, Google Chrome. Ondanks dat security testing en performance tests initieel out of scope zijn, is het advies van het test team om deze toch in te plannen. Performance is belangrijk bij veel (landelijke) gebruikers, en momenten (proefwerkweken), security is een aandachtspunt om privacy(gevoeligheid) afdoende te dekken.

5 Het Resultaat Het in-en uitzoomen op de iPad & Chromebooks is getest, en werkt naar tevredenheid (dit is van belang bij visueel gehandicapte gebruikers, waarmee toegankelijkheid OK lijkt); Qua SQL injecties (beveiliging en protectie) lijkt op eerste initiele indruk redelijk beveiligd; Qua beheer (aanmaken groepen, lesmaterialen instellen) is er nog ruimte voor verbetering.

6 Het Advies De uitlogprocedure is niet gebruikersvriendelijk en raakt een van de zorgpunten van de PO; Door een aantal zaken in volgende ontwikkelingen mee te nemen, zal de gebruikersvriendelijkheid ook toenemen.

7 In overleg met de PO en m. b. v
In overleg met de PO en m.b.v. de gestelde vragen (zie de cheat sheet hiernaast), is hiermee onze prioriteit met betrekking tot de belangrijkste onderwerpen tot stand gekomen. Later is in samenspraak met de PO onze aanpak en prioriteit naar tevredenheid afgestemd.

8 De strategie Na introductie wordt als 1 team middels MOB-testing de SUT kritisch bekeken. Het team werkt aan hetzelfde, in dezelfde omgeving en op 1 en dezelfde computer. MOB testing is een groepsactiviteit die 1 computer benut, aangevuld met ‘tacit’ input uit het team van test specialisten, waarbij on-going kennisdeling plaatsvindt. Naderhand volgt een individuele exploratory test sessie, op product risico gebaseerd

9 Test charters Topic Toelichting Resultaat
1e event SUT verkennen (10min) Individueel wegwijs geraken in de SUT 2e event MOB testing (45min) Als team achter 1 PC het systeem exploratief testen met tacit feedback en kennisdeling, ca min per onderwerp (zie aandachtspunten PO) 3e event bug hunt – exploratory testing o.b.v. story Individueel met de opgedane kennis dieper het systeem aan de tand te voelen

10 Test charter

11 Bevindingen Mantis hyperlink:

12 Bevindingen - prioritering
Prioriteit: Toelichting: Geen Sluiten/geaccepteerd, niets meer aan doen Laag Change request / op de backlog, voor lange termijn verbetering Normaal Zodra de hoge opgelost zijn, mogen deze opgelost worden Hoog Moet per se gefixt zijn wil het naar productie gaan Urgent Z.s.m. verhelpen teneinde gedeeltelijke blokkering te mitigeren Onmiddelijk Direct oplossen om blokkering te mitigeren

13 Bevindingen - IMPACT Impact: Toelichting Feature
Nieuwe (nog te ontwikkelen) functionaliteit/wens Triviaal Niet blokkerend, visueel/cosmetisch Tekst Tekstuele correctie Tweak Verbetering/optimalisering Klein Raakt primair proces/risico, workaround aanwezig voor vervolg, testen niet vertraagd Groot Raakt primair proces/risico, workaround noodzakelijk voor vervolg, testen (ernstig) vertraagd Crash Raakt primair proces/risico, omgeving/SUT loopt vast; Blokkade Raakt primair proces/risico, geen workaround (momenteel) voorhanden, testen gestopt

14 Bevindingen – issue types
Toelichting Functioneel Functionaliteit Usability Gebruikersvriendelijkheid Validatie Spelling Visueel Visuele bevinding. Input Fouten bij het invoeren van gegevens. Feature Suggestie om het product te verbeteren, geen bevinding. Performance Issues op het gebied van snelheid