Testing Back 2 Basics Testing in the Real World: Practische tools & ervaringen Rien van Vugt, Capgemini

Rien Wie ? ’85-’89 ’80-’85 ’89 - Heden

Inhoud  De basis  Test coördinatie  Some of My Best Practices o Test Plan & Proces o Test vanuit business perspectief o Voortgang o Compartimentaliseren/vereenvoudigen o Test metrics o De Eindsprint

Testen: De Basis Traceability Conform Design & Fit for Business

Defect 1 Defect 2 Defect 3 Defect 4 Defect 5 Defect 6 …… Defect x Test 1.1 Test 1.2 Test 1.3 …… Test 2.1 Test 2.2 …… Test 3.1 …… Test n.m Test Coördinatie Vinklijst Test casesDefects                       Requirement Traceability Vinklijst Requirements (optioneel) Requirement 1 Requirement 2 Requirement 3 Requirement 4 …… Requirement Y       Requirement 1 Requirement 2 Requirement 3 Requirement 4 …… Requirement Y       En vergeet de testomgeving niet

Some of My Best Practices  Test Plan & Proces  Test vanuit business perspectief  Voortgang  Compartimentaliseren/vereenvoudigen  Test metrics  De Eindsprint

Test Plan  Test Plan versus Powerpoint Strategie en uitgangspunten gaan verloren in de details Powerpoint versie om de rode draad aan te geven  Inschatting test inspanning: “Waar gehakt wordt, vallen spaanders” Testinspanning is relatief aan de ontwikkelinspanning  Wetmatigheden: o Wet van behoud van ellende o “You’re never lucky” o Testen van een interface kost minstens 3 weken doorlooptijd  Flexibiliteit om af te wijken en/of bij te stellen indien nodig

Proces: Test Management Test case Event State

Proces: Defect Management Defect Event State

Belang Sterke Business Relatie  Begrijp wat je test: Investeer in een goede relatie met gebruikers  Vroeg aansluiten: Review specificaties en doe er direct wat mee: => High level test ontwerp & Traceability  Loop eens een dagje mee!  Test niet alleen “conform specificatie” Maar ook voor “fit voor business” ……

Test Planning & Voortgang  Testen lijkt zo simpel: Gewoon X aantal testen uitvoeren binnen periode Y  Maar hoeveel hertesten nodig i.v.m. gevonden fouten?  Dit maakt testen minder voorspelbaar => o Baseline & ETC zijn onvoldoende o Werkelijk aantal benodigde test executies (testen + hertesten) voorspellen: meet aantal test cycli per test  Risico niveau  Benodigde test tijd  Beschikbare doorlooptijd Communicerende vaten, wat is belangrijker ? Project leiding beslist, de test manager adviseert.

Voortgang: dynamische test cycli 12 © 2011 Capgemini. All rights reserved.

Voortgang: Maak het Zichtbaar  Context Diagram  Proces Diagrammen X 1212 X 1208 X 1234 X 1208 X 1212 X 1222

Testen Compartimentaliseren Systeem A Systeem B B Systeem C Systeem D Proces 1 Proces 2 Proces 3

Test Metrics: Meten Is Weten Komt dit bekend voor? Issues tav metrics:  Geen metrics  Alleen wekelijks achteraf bijv. voor rapportage  Geen interesse voor metrics totdat …. uitbreekt  Geen intrinsiek onderdeel van de workflow  Gebrek aan details (bijv. root cause defects, traceability informatie)

Test Case Metrics  Status  Distributie  Planned vs Actual  Trend  Workload Test Metrics: Meten Is Weten Test Execution Status Test Execution Progress Test Status by Category Test Status by Tester Defect Metrics  Status  Distributie  Aging  Trend  Workload Remaining Defects Open Defect Trend Open Defects by Group Open Defects by Category

Test Metrics: Meten Is Weten  Start simpel: Status, Trend, Distributie  Test proces & Defect resolutie zodanig inrichten dat de benodigde gegevens verzameld worden  Dagelijkse analyse t.b.v. test coördinatie & defect resolutie management  Eigen Excel Tooling om lijst met testen of defects te managen: End Of Day Dashboard, Trends en Traceability met een druk op de knop

De Eindsprint: PRA & ABC Risico Hoeveel Testen Is Genoeg? Vaak is er gebrek aan tijd om het origineel ambitie niveau te halen Test cases:  Welke testen en hertesten nog uitvoeren? o Op basis van eerdere product risico analyse (PRA) en/of o Op basis van MoSCoW voor requirements o Op basis van risico openstaande defects Defects:  Welke defects nog oplossen en testen? o Bepaal ABC risico klasse tav. Go-Live met de business: A = No Go UAT, B=No Go Go-Live, C = Acceptabel Sub klasse 1 (high), 2 (medium), 3 (low) geeft extra sturing o Priority (urgentie) en Severity (business impact) geven 1 e indicatie  Run to Zero proces inrichten  Voordeel: Go-Live concencus met business

Samenvatting  2 lijsten om te managen: Testen en Defects  Test proces stroomlijnen en verbeteren  Dagelijks meten en sturen op content Daarnaast kwaliteit proces controleren  Testen vanuit business perspectief geeft extra toegevoegde waarde: “fit for business”