De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

23 mei 2011 Software betrouwbaarheid Wat is de kans dat de software faalt?

Verwante presentaties


Presentatie over: "23 mei 2011 Software betrouwbaarheid Wat is de kans dat de software faalt?"— Transcript van de presentatie:

1 23 mei 2011 Software betrouwbaarheid Wat is de kans dat de software faalt?

2 Ministerie van Verkeer en Waterstaat 223 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Aanleiding, geschiedenis Het nieuwe model: TOPAAS –Definities –Systeemanalyse –Filosofie, de basis –Uitwerking –Voorbeeld Nabije toekomst

3 Ministerie van Verkeer en Waterstaat 323 mei 2011 Ministerie van Infrastructuur en Milieu

4 Ministerie van Verkeer en Waterstaat 423 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Het TDT model T: toepassingsdichtheid - hoe vaak wordt het systeem gebruikt D: dynamisch gedrag - hoeveel in- en uitgangen heeft het systeem T: totstandkoming - hoe is het systeem gemaakt

5 Ministerie van Verkeer en Waterstaat 523 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Wat gedaan? Alle criticasters verzameld, plus alle, ons bekende experts op het gebied van software en betrouwbaarheid: TU/e, UvA, Logica/CMG, Movares, Delta-Pi, Intermedion/KEMA, Refis, DNV-CIBIT Vier brainstormsessies gehad in 2007 Criteria voor een methode opgesteld en opdracht gegeven voor ontwikkeling van de methode in 2008

6 Ministerie van Verkeer en Waterstaat 623 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Criteria voor nieuwe methode omvat de belangrijke parameters die van invloed zijn op softwarebetrouwbaarheid kan worden gebruikt voor verschillende situaties, bijv. voor producten die je als black box inkoopt, producten die je laat ontwikkelen, etc. richt zich op de kritische delen van het softwaresysteem is algemeen geaccepteerd maakt procesbeheersing mogelijk kan vrij toegepast worden, er zijn dus geen belemmerende eigendomsrechten van toepassing

7 Ministerie van Verkeer en Waterstaat 723 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Resultaat TOPAAS, Een structurele aanpak voor faalkansanalyse van software intensieve systemen Task Oriented Probability of Abnormalities Analysis for Software

8 Ministerie van Verkeer en Waterstaat 823 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Topaas maakt een schatting van de faalkans van één module, op basis van vastgelegde, gekalibreerde expertmening Het verrekenen van de faalkansen van meerdere modulen gebeurt middels de (standaard) foutenboom

9 Ministerie van Verkeer en Waterstaat 923 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Definitie softwaremodule Een softwaremodule is een taak of een consistente verzameling taken die door een afgebakende verzameling logische regels programmacode (of grafisch equivalent) wordt gerealiseerd, waarbij geldt dat: –Een duidelijke afbakening te onderkennen is ten opzichte van andere stukken code én er een onderkende functionele doelstelling in het totaal van het systeem aanwezig is; –Te verifiëren kwaliteitseigenschappen en taakuitvoering aanwezig zijn.

10 Ministerie van Verkeer en Waterstaat 1023 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Definitie van falen Falen van een softwaremodule is de (te lange) afwezigheid van gewenst gedrag, of het uitvoeren van verkeerd gedrag. Gewenst gedrag is gedrag dat noodzakelijk is om de taak binnen de missie te volbrengen.

11 Ministerie van Verkeer en Waterstaat 1123 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu

12 Ministerie van Verkeer en Waterstaat 1223 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Basis Per module Methodiek TDT: kansen bepalen op aspecten van de software Basisfaalkans = 1.0 /vraag Elk aspect reduceert óf vergroot de faalkans Gekalibreerde expert opinion per aspect Kalibratie aan 20 verschillende soorten software (alle modulen)

13 Ministerie van Verkeer en Waterstaat 1323 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu 15 aspecten, eigenschappen (properties) Totstandkomingproces 1.Het ontwikkelproces voldoet aan een van de SIL’s van de IEC Gebruik van Inspecties (op het maken van de software) 3.Hoeveelheid wijzigingen ten opzichte originele ontwerp/eisenpakket 4.Cultuur en samenwerking (binnen het bedrijf) 5.Opleidingsniveau en ervaring ontwikkelaars 6.Samenwerking met Opdrachtgever

14 Ministerie van Verkeer en Waterstaat 1423 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Product 7.Complexiteit van de beslislogica 8.Omvang van de softwaremodule (Lines of code) 9.Helderheid van de gebruikte architectuurconcepten 10.Gebruik van een certified compiler Requirements traceability/verifieerbaarheid 11.Traceerbaarheid van requirements door het proces heen

15 Ministerie van Verkeer en Waterstaat 1523 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Testen 12.Testtechnieken en dekkingsgraad Executieomgeving/gebruik 13.Multiprocesomgeving 14.Aanwezigheid representatieve velddata gedurende missie 15.Monitoring

16 Ministerie van Verkeer en Waterstaat 1623 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Formule P = PB * F 1 * F 2 * F 3 … F 15 met PB = 1 als eigenschap onbekend is: F i = 1 (niet meenemen) Kansen in machten van 10. Dan, voor het gebruiksgemak: Log(P) = Som( Log(F i ) ) Als eigenschap onbekend is: Log(F i ) = 0 (niet meenemen)

17 Ministerie van Verkeer en Waterstaat 1723 mei 2011 Software betrouwbaarheid Totstandkomingproces Ministerie van Infrastructuur en Milieu 1 Het ontwikkelproces voldoet aan een van de SIL’s van de IEC Onbekend, het ontwikkelproces voldoet niet aantoonbaar aan een SIL niveau 0 2Ontwikkelproces voldoet aantoonbaar niet aan een SIL niveau door het gebruik van Not Recommended practices, zoals Fuzzy Logic ½ 3Ontwikkelproces voldoet aantoonbaar aan SIL-1 niveau-½ 4Ontwikkelproces voldoet aantoonbaar aan SIL-2 niveau 5Ontwikkelproces voldoet aantoonbaar aan SIL-3 niveau-2 6Ontwikkelproces voldoet aantoonbaar aan SIL-4 niveau-3

18 Ministerie van Verkeer en Waterstaat 1823 mei 2011 Software betrouwbaarheid Totstandkomingproces 2 Gebruik van Inspecties NormaalSIL3/SIL4 1Onbekend0NVT 2Geen inspecties uitgevoerd ⅓ NVT 3Aantoonbare inspecties op ontwerpen en code uitgevoerd 0 ⅓ 4Aantoonbaar Fagan inspecties uitgevoerd op alle ontwerp en testdocumenten -½0 Ministerie van Infrastructuur en Milieu 3 Hoeveelheid wijzigingen ten opzichte originele ontwerp/eisenpakket 1Onbekend0 2Zeer frequente of enkele fundamentele wijzigingen ⅔ 3Weinig wijzigingen, met zeer geringe impact0 4Geen wijzigingen-⅓-⅓

19 Ministerie van Verkeer en Waterstaat 1923 mei 2011 Software betrouwbaarheid Totstandkomingproces 4 Cultuur en samenwerking 1Onbekend0 2Op regels gebaseerde organisatie ⅓ 3Doelgerichte organisatie0 4Zelflerende organisatie-½ Ministerie van Infrastructuur en Milieu

20 Ministerie van Verkeer en Waterstaat 2023 mei 2011 Software betrouwbaarheid Totstandkomingproces Ministerie van Infrastructuur en Milieu 5 Opleidingsniveau en ervaring ontwikkelaars 1Onbekend0 2Geen kennis met systeemontwikkeling voor het specifieke domein1 3Weinig kennis met systeemontwikkeling voor het specifieke domein½ 4Gewenste kennis met systeemontwikkeling voor het specifieke domein0 5Aantoonbaar uitstekende kennis en veel ervaring met systeemontwikkeling voor het specifieke domein -½

21 Ministerie van Verkeer en Waterstaat 2123 mei 2011 Software betrouwbaarheid Totstandkomingproces Ministerie van Infrastructuur en Milieu 6 Samenwerking met Opdrachtgever 1Onbekend 0 2Niet nauw betrokken opdrachtgever met weinig IT kennis, sterk financieel gedreven opdrachtgever ½ 3Zijdelings betrokken opdrachtgever met matige IT kennis 0 4Sterk betrokken opdrachtgever met voldoende kennis, open dialoog waarbij de opdrachtgever bereid is om overall architectuur te wijzigen als dat de software betrouwbaarheid ten goed komt. Er is sprake van een systems engineering approach voor de overall ontwikkeling van het systeem. -½

22 Ministerie van Verkeer en Waterstaat 2223 mei 2011 Software betrouwbaarheid Producteigenschappen Ministerie van Infrastructuur en Milieu 7 Complexiteit beslislogica 1Onbekend0 2Beslislogica is zeer complex (bevat veel vertakkingen en uitzonderingen), McCabe index groter dan 60 ½ 3Beslisogica matig complex (bevat enkele uitzonderingssituaties), McCabe index tussen 30 en Beslislogica is redelijk eenvoudig (bevat enkele zeer geïsoleerde uitzonderingssituaties), McCabe index tussen 10 en 30. -⅓-⅓ 5Beslislogica en foutherkenning zijn erg eenvoudig, McCabe Index kleiner dan 10 -½-½

23 Ministerie van Verkeer en Waterstaat 2323 mei 2011 Software betrouwbaarheid Producteigenschappen Ministerie van Infrastructuur en Milieu 8 Omvang softwaremodule (Lines of code) 1Onbekend0 2Meer dan ½ 3Tussen en ⅓ 4Tussen en Tussen en ⅓-⅓ 6Minder dan 1000-½

24 Ministerie van Verkeer en Waterstaat 2423 mei 2011 Software betrouwbaarheid Producteigenschappen Ministerie van Infrastructuur en Milieu 9 Helderheid gebruikte architectuurconcepten 1Onbekend0 2Geen heldere afbakening taakuitvoering modulen in ontwerp benoemd½ 3Wel taakuitvoering op hoofdlijnen benoemd, maar geen navolging gegeven in ontwikkeling ⅓ 4Er is een scheiding van taakuitvoering tussen modulen beschreven, welke het principe van “maximale cohesie en minimale koppeling respecteert”, maar deze is passief bewaakt tijdens het ontwikkelproces 0 5Er is een scherpe scheiding van taakuitvoering tussen modulen beschreven op basis van geldende documenten, welke het principe van “maximale cohesie en minimale koppeling respecteert”, en deze is actief bewaakt tijdens het ontwikkelproces -½

25 Ministerie van Verkeer en Waterstaat 2523 mei 2011 Software betrouwbaarheid Producteigenschappen Ministerie van Infrastructuur en Milieu 10 Gebruik van een certified compiler NormaalSIL3/SIL4 1Onbekend0NVT 2Gebruik van een willekeurige compiler ⅓ NVT 3Gebruik van een compiler waar de ontwikkelaar langdurige ervaring mee heeft 0 ⅓ 4Gebruik van een certified compiler in combinatie met een gevalideerde safe subset -½0 5Gebruik van een certified compiler in combinatie met een gevalideerde safe subset met bijbehorende kalibratiesets en testprotocol om compiler te ijken/testen, wat voor elke nieuwe versie van de compiler structureel gebeurt -⅔-⅔ -⅓-⅓

26 Ministerie van Verkeer en Waterstaat 2623 mei 2011 Software betrouwbaarheid Requirements traceability/verifieerbaarheid Ministerie van Infrastructuur en Milieu 11 Traceerbaarheid van requirements door het proces heen NormaalSIL3/SIL4 1Onbekend0NVT 2Geen traceerbaarheid ⅓ NVT 3Aantoonbaar traceerbaar naar testscripts0NVT 4Aantoonbaar traceerbaar naar architectuur en testen-⅓-⅓ ⅓ 5Aantoonbaar traceerbaar van veiligheidskritische eisen tot aan de code en individuele testen toe -⅔-⅔ 0 6Aantoonbare volledige traceerbaarheid-⅓-⅓ 7Aantoonbaar wiskundig/logisch bewezen correcte traceerbaarheid -2-½-½

27 Ministerie van Verkeer en Waterstaat 2723 mei 2011 Software betrouwbaarheid Testen Ministerie van Infrastructuur en Milieu 12 Testtechnieken en dekkingsgraad NormaalSIL3/SIL4 1Onbekend0NVT 2Geen gedocumenteerde tests uitgevoerd0NVT 3Wel testen gedocumenteerd, geen formele testtechnieken gehanteerd; dekkingsgraad onbekend -⅓-⅓ NVT 4Formele testtechniek(en) gehanteerd met lage dekkingsgraad-½ ⅔ 5Formele testtechniek(en) gehanteerd met gemiddelde dekkingsgraad -⅔-⅔ ½ 6Formele testtechniek(en) gehanteerd met hoge dekkingsgraad0 7Formele testtechniek(en) gehanteerd met aantoonbare (gemeten) hoge dekkingsgraad -1 ⅓ -⅓-⅓

28 Ministerie van Verkeer en Waterstaat 2823 mei 2011 Software betrouwbaarheid Executieomgeving/gebruik Ministerie van Infrastructuur en Milieu 13 Multiprocesomgeving 1Onbekend0 2Meerdere applicaties draaien parallel op één OS in een netwerkomgeving ½ 3Meerdere applicaties op één stuk hardware ⅓ 4Één proces op een dedicated OS met een dedicated CPU0 5Dedicated CPU en memory op geen of een triviaal OS-⅓-⅓

29 Ministerie van Verkeer en Waterstaat 2923 mei 2011 Software betrouwbaarheid Executieomgeving/gebruik Ministerie van Infrastructuur en Milieu 14 Aanwezigheid representatieve velddata gedurende taakuitvoering NormaalSIL3/SIL4 1Onbekend0NVT 2Geen velddata aanwezig, zelfs niet uit (schaduw)draaien eigen applicatie ⅓⅓ 3Beperkte gegevens aanwezig en geanalyseerd uit periode tijdens uitvoeren van de functie van de module 00 4Significante hoeveelheid gegevens aanwezig en gebruikt uit periode tijdens uitvoeren van de functie van de module -⅓-⅓ 5Veel representatieve velddata aanwezig en gebruikt van identieke of sterk vergelijkbare toepassingen -2-½-½

30 Ministerie van Verkeer en Waterstaat 3023 mei 2011 Software betrouwbaarheid Executieomgeving/gebruik Ministerie van Infrastructuur en Milieu 15 Monitoring 1Onbekend0 2Geen aanwezig ⅓ 3Weinig/kort gemonitord gedurende taakuitvoering0 4Langdurige monitoring, maar niet frequente taakuitvoering-⅓-⅓ 5Langdurige/frequente monitoring tijdens taakuitvoering-½-½

31 Ministerie van Verkeer en Waterstaat 3123 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu

32 Ministerie van Verkeer en Waterstaat 3223 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu

33 Ministerie van Verkeer en Waterstaat 3323 mei 2011 Software betrouwbaarheid Ministerie van Infrastructuur en Milieu Recent gebeurd Evaluatierapport geschreven Versie 2 uitgebracht Nabije toekomst Handleiding maken Versie 2 breed publiceren Onderzoek naar correlatie tussen modules Onderzoek naar een statistische onderbouwing


Download ppt "23 mei 2011 Software betrouwbaarheid Wat is de kans dat de software faalt?"

Verwante presentaties


Ads door Google