Testen upgrade Blackboard Gerdien Jansen Vrije Universiteit Amsterdam 21 maart 2006

Onderwerpen Releasebeleid Functionele test Acceptatietest Loadtest Doel en methode Testplan Uitvoering Verwerking resultaten Acceptatietest Loadtest Bevindingen

Releasebeleid: uitgangspunten Elke zomer nieuwe release Bb, incl. BBs Terughoudend beleid t.a.v. BBs Nieuwe releases / BBs altijd testen Faculteiten bij de test betrekken Je kunt niet alles testen Goede communicatie met de faculteiten / dienst IT

Releasebeleid: wie doet wat? Functioneel beheerder onderzoeken nieuwe releases en BBs, opstellen testplan, uitvoeren functionele test, etc. Technisch beheerder inrichten testomgeving, uitvoeren upgrade, uitvoeren loadtest Bb contactpersonen uitvoeren acceptatietest, beoordelen testresultaten Systeemeigenaar besluit over invoering

Functionele test: doel en methode Is systeem na de upgrade betrouwbaar en stabiel? Is content na de upgrade gelijk aan content vóór de upgrade? Methode: Handmatig testen van gewijzigde, nieuwe én ongewijzigde functionaliteiten Systematisch via testplan

Functionele test: testplan Alle functies die bij de VU gebruikt worden / gaan worden Drie soorten gebruikers: Docenten Studenten Ondersteuners Geen beschrijving van specifieke testgevallen

Functionele test: voorbeeld testplan FD - functionaliteiten docenten Nr Categorie Functionaliteit Scherm Mogelijke acties Test- datum Tes- ter Akkoord J/N FD1.1 Inrichten cursus Toevoegen knoppen aan cursusmenu Course Options > Manage Course Menu Add Content Area Add Tool Area Add Course Link FD1.2 Wijzigen/verwijderen knoppen cursusmenu Mange Course Menu Modify/Remove Content Area Modify/Remove Tool Area Modify/Remove Course Link

Functionele test: uitvoering De functioneel beheerder test functionaliteiten testplan vult per functionaliteit datum, paraaf en akkoord J/N in indien fout of wijziging t.o.v. vorige release: vult testformulier in

Functionele test: verwerking resultaten De functioneel beheerder bekijkt elk testformulier bepaalt de prioriteit zoekt naar een oplossing (evt. i.s.m. Blackboard) maakt overzicht testresultaten

Acceptatietest De Bb contactpersonen voeren een beperkte test uit (validatiegroep) beoordelen testresultaten functioneel beheerder

Bevindingen functionele test Ook fouten in ongewijzigde functionaliteiten Niet alle wijzigingen zijn door Bb gedocumenteerd (m.n. rechten) Fouten kunnen vaak niet worden opgelost → zoeken naar work-arounds De meeste fouten/wijzigingen worden gevonden → faculteiten weten waar ze aan toe zijn Testen van koppelingen met andere systemen (LDAP-koppeling, SafeAssignment) is lastig

Loadtest Doel: Methode: is de performance na de upgrade minstens even goed als vóór de upgrade? Methode: geautomatiseerd via scenario’s

Bevindingen loadtest Loadtest is absoluut noodzakelijk Lastig om te bepalen wat de load precies is Opstellen scenario’s is veel werk, maar ze kunnen later opnieuw gebruikt worden

Vragen ???