Trifolium Repens ”Baseer je testen op iets anders” NoorderTest 2014 ing. Rudi #noordertest NoorderTest 2014 ing. Rudi Niemeijer.

Presentatie over: "Trifolium Repens ”Baseer je testen op iets anders” NoorderTest 2014 ing. Rudi #noordertest NoorderTest 2014 ing. Rudi Niemeijer."— Transcript van de presentatie:

1 Trifolium Repens ”Baseer je testen op iets anders” NoorderTest 2014 ing. Rudi Niemeijer @rudiniemeijer #noordertest NoorderTest 2014 ing. Rudi Niemeijer @rudiniemeijer #noordertest

2 2012 Testen van iPhone en iPad Apps 2012 Testen van iPhone en iPad Apps 2010 Valhelm verplicht! 2010 Valhelm verplicht! 2009 U spreekt met de Keuringsdienst van Waarde 2009 U spreekt met de Keuringsdienst van Waarde 2011 In de wolken! 2011 In de wolken! 2013 Leidraad Test en Acceptatie (boek) 2013 Leidraad Test en Acceptatie (boek) Rudi Niemeijer @rudiniemeijer #noordertest

3 testbasissoftwaretester bevinding @rudiniemeijer #noordertest

4 orakel @rudiniemeijer #noordertest

5 hoeveel testen? Feitelijke test- bevindingen Aantal bevindingen Week Model curve Alle geplande testen afgerond Overgebleven fouten in de software @rudiniemeijer #noordertest

6

7 Vak A.. Vak B.. Lorum Ipsum BewaarAnnuleer ? de software doet zoveel meer @rudiniemeijer #noordertest

8 Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nulla sodales a eros vitae tincidunt. Sed sollicitudin tortor non metus fringilla, nec feugiat velit fermentum. Phasellus viverra ornare faucibus. Ut vel efficitur elit. Morbi aliquet leo ut gravida sollicitudin. Pellentesque a malesuada tortor, sed porttitor odio. Curabitur elit magna, ultrices id est a, tincidunt cursus dui. Praesent viverra urna vitae est sollicitudin, ac commodo est tristique. Pellentesque quis efficitur ante. Mauris vitae augue tristique, laoreet tellus ut, gravida tortor. Fusce dui dui, efficitur sed odio in, facilisis congue dolor. Nunc sodales consequat urna vitae faucibus. Sed dolor ligula, sollicitudin a neque et, tempor facilisis leo. Cras sagittis magna metus, id gravida lorem rhoncus non. Cras at tempus nisi. Cras rutrum vel lectus sit amet cursus. Aenean malesuada, leo quis fermentum sodales, ante augue ullamcorper odio, tincidunt aliquet felis augue at velit. Etiam sit amet volutpat libero, ut auctor velit. Curabitur lacinia leo et urna eleifend placerat. Nam vel tortor vel turpis pharetra interdum. Fusce eu erat consequat, facilisis massa eget, consectetur ante. Duis tempus eu ante vitae rhoncus. Nulla facilisi. Aenean a aliquam massa, in sodales orci. Quisque pulvinar placerat porttitor. Proin tristique facilisis metus, vel efficitur quam auctor a. Maecenas vel egestas turpis, sit amet accumsan urna. Praesent id lectus at purus gravida dapibus. Curabitur eget tincidunt dui, non tempor lacus. Aenean tincidunt, orci vitae facilisis commodo, nisl odio luctus tellus, nec blandit lacus sapien et orci. Donec ac mauris vel nibh aliquam bibendum sed sed est. Fusce dolor metus, ultrices id ex id, sodales consequat augue. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer tellus libero, placerat vel faucibus et, ultricies sed felis. Aenean mattis pharetra turpis a placerat. Maecenas sit amet risus eu neque lacinia sodales tincidunt nec sapien. Sed metus leo, rhoncus eget bibendum eu, interdum sit amet dui Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nulla sodales a eros vitae tincidunt. Sed sollicitudin tortor non metus fringilla, nec feugiat velit fermentum. Phasellus viverra ornare faucibus. Ut vel efficitur elit. Morbi aliquet leo ut gravida sollicitudin. Pellentesque a malesuada tortor, sed porttitor odio. Curabitur elit magna, ultrices id est a, tincidunt cursus dui. Praesent viverra urna vitae est sollicitudin, ac commodo est tristique. Pellentesque quis efficitur ante. Mauris vitae augue tristique, laoreet tellus ut, gravida tortor. Fusce dui dui, efficitur sed odio in, facilisis congue dolor. Nunc sodales consequat urna vitae faucibus. Sed dolor ligula, sollicitudin a neque et, tempor facilisis leo. Cras sagittis magna metus, id gravida lorem rhoncus non. Cras at tempus nisi. Cras rutrum vel lectus sit amet cursus. Aenean malesuada, leo quis fermentum sodales, ante augue ullamcorper odio, tincidunt aliquet felis augue at velit. Etiam sit amet volutpat libero, ut auctor velit. Curabitur lacinia leo et urna eleifend placerat. Nam vel tortor vel turpis pharetra interdum. Fusce eu erat consequat, facilisis massa eget, consectetur ante. Duis tempus eu ante vitae rhoncus. Nulla facilisi. Aenean a aliquam massa, in sodales orci. Quisque pulvinar placerat porttitor. Proin tristique facilisis metus, vel efficitur quam auctor a. Maecenas vel egestas turpis, sit amet accumsan urna. Praesent id lectus at purus gravida dapibus. Curabitur eget tincidunt dui, non tempor lacus. Aenean tincidunt, orci vitae facilisis commodo, nisl odio luctus tellus, nec blandit lacus sapien et orci. Donec ac mauris vel nibh aliquam bibendum sed sed est. Fusce dolor metus, ultrices id ex id, sodales consequat augue. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer tellus libero, placerat vel faucibus et, ultricies sed felis. Aenean mattis pharetra turpis a placerat. Maecenas sit amet risus eu neque lacinia sodales tincidunt nec sapien. Sed metus leo, rhoncus eget bibendum eu, interdum sit amet dui Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nulla sodales a eros vitae tincidunt. Sed sollicitudin tortor non metus fringilla, nec feugiat velit fermentum. Phasellus viverra ornare faucibus. Ut vel efficitur elit. Morbi aliquet leo ut gravida sollicitudin. Pellentesque a malesuada tortor, sed porttitor odio. Curabitur elit magna, ultrices id est a, tincidunt cursus dui. Praesent viverra urna vitae est sollicitudin, ac commodo est tristique. Pellentesque quis efficitur ante. Mauris vitae augue tristique, laoreet tellus ut, gravida tortor. Fusce dui dui, efficitur sed odio in, facilisis congue dolor. Nunc sodales consequat urna vitae faucibus. Sed dolor ligula, sollicitudin a neque et, tempor facilisis leo. Cras sagittis magna metus, id gravida lorem rhoncus non. Cras at tempus nisi. Cras rutrum vel lectus sit amet cursus. Aenean malesuada, leo quis fermentum sodales, ante augue ullamcorper odio, tincidunt aliquet felis augue at velit. Etiam sit amet volutpat libero, ut auctor velit. Curabitur lacinia leo et urna eleifend placerat. Nam vel tortor vel turpis pharetra interdum. Fusce eu erat consequat, facilisis massa eget, consectetur ante. Duis tempus eu ante vitae rhoncus. Nulla facilisi. Aenean a aliquam massa, in sodales orci. Quisque pulvinar placerat porttitor. Proin tristique facilisis metus, vel efficitur quam auctor a. Maecenas vel egestas turpis, sit amet accumsan urna. Praesent id lectus at purus gravida dapibus. Curabitur eget tincidunt dui, non tempor lacus. Aenean tincidunt, orci vitae facilisis commodo, nisl odio luctus tellus, nec blandit lacus sapien et orci. Donec ac mauris vel nibh aliquam bibendum sed sed est. Fusce dolor metus, ultrices id ex id, sodales consequat augue. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer tellus libero, placerat vel faucibus et, ultricies sed felis. Aenean mattis pharetra turpis a placerat. Maecenas sit amet risus eu neque lacinia sodales tincidunt nec sapien. Sed metus leo, rhoncus eget bibendum eu, interdum sit amet dui Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nulla sodales a eros vitae tincidunt. Sed sollicitudin tortor non metus fringilla, nec feugiat velit fermentum. Phasellus viverra ornare faucibus. Ut vel efficitur elit. Morbi aliquet leo ut gravida sollicitudin. Pellentesque a malesuada tortor, sed porttitor odio. Curabitur elit magna, ultrices id est a, tincidunt cursus dui. Praesent viverra urna vitae est sollicitudin, ac commodo est tristique. Pellentesque quis efficitur ante. Mauris vitae augue tristique, laoreet tellus ut, gravida tortor. Fusce dui dui, efficitur sed odio in, facilisis congue dolor. Nunc sodales consequat urna vitae faucibus. Sed dolor ligula, sollicitudin a neque et, tempor facilisis leo. Cras sagittis magna metus, id gravida lorem rhoncus non. Cras at tempus nisi. Cras rutrum vel lectus sit amet cursus. Aenean malesuada, leo quis fermentum sodales, ante augue ullamcorper odio, tincidunt aliquet felis augue at velit. Etiam sit amet volutpat libero, ut auctor velit. Curabitur lacinia leo et urna eleifend placerat. Nam vel tortor vel turpis pharetra interdum. Fusce eu erat consequat, facilisis massa eget, consectetur ante. Duis tempus eu ante vitae rhoncus. Nulla facilisi. Aenean a aliquam massa, in sodales orci. Quisque pulvinar placerat porttitor. Proin tristique facilisis metus, vel efficitur quam auctor a. Maecenas vel egestas turpis, sit amet accumsan urna. Praesent id lectus at purus gravida dapibus. Curabitur eget tincidunt dui, non tempor lacus. Aenean tincidunt, orci vitae facilisis commodo, nisl odio luctus tellus, nec blandit lacus sapien et orci. Donec ac mauris vel nibh aliquam bibendum sed sed est. Fusce dolor metus, ultrices id ex id, sodales consequat augue. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer tellus libero, placerat vel faucibus et, ultricies sed felis. Aenean mattis pharetra turpis a placerat. Maecenas sit amet risus eu neque lacinia sodales tincidunt nec sapien. Sed metus leo, rhoncus eget bibendum eu, interdum sit amet dui Lorum Ipsum BewaarAnnuleer.. “comprehensive documentation over working software” @rudiniemeijer #noordertest

9 Lorum Ipsum BewaarAnnuleer gebruik breekt de software @rudiniemeijer #noordertest

10 GeschiktheidPrestatieOverdraagbaarheid Product- kwaliteit ToepasselijkheidEffectiviteitEfficiëntie Gebruiks- kwaliteit bevat de afgesproken functies is geschikt voor alle taken en doelen is gebruiksvriendelijk is nauwkeurig levert snel resultaat veiligkoppelbaarzuinigefficiënt ? @rudiniemeijer #noordertest

11 testspecificatie functioneel ontwerpen bouwen Daily scrum testen methode A versus methode B testuitvoering @rudiniemeijer #noordertest

12 goede informatiebronnen? documentatie of specificaties beschrijven de beoogde werking van het softwareproduct bedrijfs- of zorgprocessen bepalen hoe een softwareproducten wordt gebruikt en welke eigenschappen belangrijk zijn softwareproduct is de inherente representatie van de werking en intuïtieve ‘apps’ zijn goeddeels zelfverklarend kennis en ervaring op specifieke gebieden zoals architectuur, beveiliging, sociale media, user interfaces enzovoorts @rudiniemeijer #noordertest

13 documentatie of specificaties als testbasis eenvoudige te formuleren testaanpak niet heel veel voorkennis nodig: iedereen snapt dit test is zo goed als de documentatie grootste deel testtijd zit in specificeren van testen heel geschikt voor waterval en sequentieel ontwikkelen niet heel geschikt voor iteratief, agile of scrum ontwikkelen of andere testen met korte doorlooptijd documentatie is ‘de baas’ over werkende software eenvoudig planbaar en beheersbaar testtraject @rudiniemeijer #noordertest

14 bedrijfs- of zorgprocessen als testbasis geen overbodige testen: alleen het gebruik telt geschikt voor participatie van eindgebruikers relatief eenvoudig te beschrijven testaanpak tot in lengte van jaren fouten in de software grootste deel testtijd zit in het voorbereiden van de testuitvoering eenvoudig planbaar en beheersbaar testtraject weinig specificaties nodig stelt hoge eisen aan de tester: zowel zicht op het gebruik als op de mogelijkheden van de software grootste deel testtijd zit in het voorbereiden van de testuitvoering @rudiniemeijer #noordertest

15 softwareproduct als testbasis heel geschikt voor iteratief, agile of scrum ontwikkelen of andere testen met korte doorlooptijd bij voldoende tijd hele stabiele software bijna de gehele testtijd is testuitvoering testen zijn slecht herhaalbaar weinig aansluiting bij de toekomstige bedrijfs- of zorgprocessen testkwaliteit nogal afhankelijk van competentie tester slecht planbaar of beheersbaar testtraject testen zijn nooit af en langdurig testen is niet heel motiverend geen testspecificatie vooraf kritiek pad @rudiniemeijer #noordertest

16 ervaring als testbasis testkwaliteit volledig afhankelijk van competentie en ervaring tester goed beheersbaar maar slecht (in)planbaar unieke inbreng van kennis levert gedegen testonderzoek op ideale aansluiting bij verschillende ISO gebaseerde testvormen ervaringsdeskundigen zijn schaars en moeilijk vindbaar specifieke testen op heel hoog niveau heel goed voor te bereiden specifieke ingevlogen kennis is efficienter ervaringsverhalen zijn soms heel vermoeiend geen specifieke kennis van de te testen applicatie @rudiniemeijer #noordertest

17 toenemende mate van planningsuitdaging en discussie met leverancier @rudiniemeijer #noordertest

18 Stel testgevallen op aan de hand van de documentatie. Stel de documentatie leidend en wijk zo weinig mogelijk af. Hou de praktische uitvoering van de testen in het oog. Doe een intake op de software. Voer de testen uit. Registreer de bevindingen. Analyseer, welke processen er zijn en welke stappen hierin voorkomen. Bepaal op welke delen van de software de test uitgevoerd moet worden. Stel gedetailleerde testscenario’s op. Voer de testen samen met meerdere eindgebruikers uit. Denk in termen van opiniepeilingen en statistiek. Registreer bevindingen. Bepaal het testdoel in termen van de zichtbare kenmerken van de software. Leg eenduidig vast, onder welke voorwaarden de test als succesvol beschouwd wordt. Documenteer de testen tijdens de testuitvoering. Registreer bevindingen. Bepaal met de specialist vooraf het deel van de software waarop de testen uitgevoerd gaan worden en het doel van de test. Spreek een vaste inzettijd af. Documenteer de uitgevoerde testen tijdens de testuitvoering. Evalueer de testen achteraf. Registreer samen met de specialist de bevindingen. testaanpak aangepast aan de testbasis @rudiniemeijer #noordertest

19 voldoet aan de specificaties is bruikbaar in de praktijk alle functies doen het invulling van specifieke richtlijnen, standaarden en andere afspraken combineren van de mogelijkheden @rudiniemeijer #noordertest

20 Acceptance testingXX Installation testingXX Alpha-Beta testingX Functional testingX Regression testingX Performance testingXX Stress testingX Usability testingX Security testingX testvormen belicht @rudiniemeijer #noordertest

21 faalkans versus vervolgschade nadruk op techniek weinig nadruk op techniek weinig relatie met gebruik nadruk op gebruik 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 @rudiniemeijer #noordertest

22

23 Trifolium Repens @rudiniemeijer #noordertest

24 testen in balans Geen geluk zonder druk Groningse Tegelwijsheid @rudiniemeijer #noordertest

25

26 Bedankt! Rudi Niemeijer - @rudiniemeijer - niemeijer@testconsultancy.nl Bedankt! Rudi Niemeijer - @rudiniemeijer - niemeijer@testconsultancy.nl testen van software ontzorgd® @rudiniemeijer #noordertest