KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDING BIJ IT-PROJECTEN PRESENTATIE VOOR NGI SECTIE LIMBURG DOOR DR. ROBERT J. PETERS VRIJE UNIVERSITEIT, AMSTERDAM FACULTEIT EXACTE WETENSCHAPPEN AFDELING INFORMATICA / IMSE SITTARD 15 FEBRUARI 2005

KWANTIFICERING RISICO VAN BUDGETOVERSCHRIJDING BIJ IT-PROJECTEN AGENDA RISICO’S BIJ UITVOERING IT-PROJECTEN 2. KWANTITATIEF IT-PORTFOLIO MANAGEMENT WISKUNDIG MODEL VOOR RISICO-BEHEERSING BIJ ING 4. CONCLUSIES

RISICO’S BIJ SYSTEEMONTWIKKELING RISICO’S BIJ ONTWIKKELING EN EXPLOITATIE VAN IT-PROJECTEN RISICO’S BIJ SYSTEEMONTWIKKELING RISICO VAN VOLLEDIGE MISLUKKING RISICO VAN BUDGET OVERSCHRIJDING RISICO VAN NIET TIJDIGE OPLEVERING PROJECTRESULTAAT RISICO VAN NIET OPLEVEREN GEVRAAGDE FUNCTIONALITEIT IMPLEMENTATIE RISI ORGANISATORISCH RISICO EXPLOITATIE RISICO’S TECHNISCH RISICO BEVEILIGINGS RISICO FINANCIEEL RISICO

SAMENSTELLING IT PORTFOLIO IT PORTFOLIO MANAGEMENT SAMENSTELLING IT PORTFOLIO SOFTWARE (INFORMATIE SYSTEMEN) IT PROJECTEN - ONTWIKKELING INFORMATIESYSTEMEN - AANSCHAF HARDWARE - INRICHTING IT PROCESSEN - ETC. 4. IT STAF / EXPERTISE ( HUMAN CAPITAL) 5. IT PROCESSEN - ONTWIKKELING - ONDERHOUD - EXPLOITATIE - DIENSTVERLENING (HELPDESK, ETC.) 6. HARDWARE (COMPUTERSYSTEMEN, NETWERKEN, ETC.)

VOLWASSENHEID IT-SYSTEEM ONTWIKKELORGANISATIE DE 5 NIVEAUS VAN VOLWASSENHEID VAN HET CAPABILITY MATURITY MODEL (CMM) INITIAL (BEGINNER) REPEATABLE (REPRODUCEERBAAR) DEFINED (GESTANDAARDISEERD) MANAGED (GEORGANISEERD) OPTIMIZING (STEEDS BETER WORDEN)

Literatuur: Verhoef, C. (2002). Quantitative IT Portfolio Management, KWANTITATIEF IT PORTFOLIO MANAGEMENT UITGANGSPUNTEN EN ACHTERLIGGENDE GEDACHTEN RATIONELE BESLUITVORMING OVER (DES)INVESTERINGEN IN IT WORDT PAS GOED MOGELIJK ALS INZICHT BESTAAT IN DE KWANTITATIEVE IMPACT VAN “IT-GOVERNANCE RULES “ OP DE KEY MANAGEMENT ISSUES ZOALS: KOSTEN, OPBRENGSTEN, “TIME TO MARKET”, BEDRIJFSRISICO’S, ETC “EENVOUDIGE” TOEPASSING VAN WISKUNDIGE EN STATISTISCHE METHODEN EN TECHNIEKEN. DE MODELLEN MOETEN OOK BRUIKBAAR ZIJN VOOR ORGANISATIES MET EEN LAAG CMM-NIVEAU (CMM NIVEAU 1) FOCUS OP IT SOFTWARE ASSETS EN IT-PROJECTEN PORTFOLIO: VAAK MEER DAN 50% VAN DE (ECONOMISCHE) PORTFOLIO WAARDE Literatuur: Verhoef, C. (2002). Quantitative IT Portfolio Management, Science of Computer Programming, 45 (1), pp. 1-96

IT PORTFOLIO MANAGEMENT FOCUS OP SOFTWARE ASSETS EN IT-PROJECTEN IT expenditure of Western European bank 1999 – 2004, in billions of dollars (Source: IDC)     1999 2000 2001 2002 2003 2004 Hardware 13.2 14.7 16.2 17.7 19.5 21.4 Package software 5.5 6.3 7.3 8.4 9.8 11.4 IT services 19.2 22.0 25.0 28.1 31.5 35.1 Total IT 37.8 42.9 48.4 54.3 60.9 67.9   Note: due to rounding, the sum of the categories may not equal the total

BENODIGDE DATA VOOR TOEPASSING KWANTITATIEF IT-PORTFOLIO MANAGEMENT KWANTITATIEF IT PORTFOLIO MANAGEMENT IT PORTFOLIO DATABASE BENODIGDE DATA VOOR TOEPASSING KWANTITATIEF IT-PORTFOLIO MANAGEMENT GEBRUIK EIGEN, INTERNE DATA-SET VERDIENT STERK DE VOORKEUR - IT PROJECTEN (KOSTEN, PROJECTDUUR, RISICO’S, ETC) - BESTAANDE INFORMATIESYSTEMEN (ONDERHOUD, EXPLOITATIE, BESCHIKBAARHEID, CREATIE BUSINESS VALUE, ETC.) - INZET IT PERSONEEL (INTERN, EXTERN, PRODUCTIVITEIT, ETC) - ETC. INDIEN GEEN INTERNE DATA BESCHIKBAAR IS OF INTERNE DATA SET IS ONVOLLEDIG EN ONBETROUWBAAR (CMM NIVEAU 1) GEBRUIK DAN EXTERNE BENCHMARK DATA (STANDISH GROUP, ETC) PAS OP VOOR VALKUILEN BIJ GEBRUIK EXTERNE DATA: - DE DEFINITIES KUNNEN STERK VERSCHILLEN VAN DE DEFINITIES IN EIGEN HUIS - HETEROGENITEIT VAN DE DATA

TELLEN VAN FUNCTIE PUNTEN KWANTITATIEF IT PORTFOLIO MANAGEMENT METING OMVANG IT-ASSESTS FUNCTIE PUNTEN (FP’S) DEFINITIE EEN FUNCTIEPUNT IS EEN (SYNTHETISCHE) MAAT VOOR HET METEN VAN DE OMVANG VAN EEN SYSTEEM IN TERMEN VAN BESCHIKBARE OF OP TE LEVEREN HOEVEELHEID FUNCTIONALITEIT MEN KAN FP’S VERGELIJKEN MET KILOGRAMMEN WAARIN HET GEWICHT WORDT UITGEDRUKT OF LITERS WAARIN VAN HET VOLUME VAN EEN VLOISTOF OF GAS WORDT GEMETEN. TELLEN VAN FUNCTIE PUNTEN ALBRECHT (IBM) HEEFT IN 1974 EEN METHODE ONTWIKKELD OM HET AANTAL FUNCTIE PUNTEN VAN EEN BESTAAND SYSTEEM OF TE BOUWEN SYSTEEM TE TELLEN. FP’S KUNNEN WORDEN GETELD DOOR MENSEN MAAR HET KAN OOK GEAUTOMATISEERD WORDEN GEDAAN (MET TOOLS)

KWANTITATIEF IT PORTFOLIO MANAGEMENT WISKUNDIGE RELATIES TUSSEN IT-VARIABELEN EEN PAAR EENVOUDIGE VOORBEELDEN VAN WISKUNDIGE VERBANDEN TUSSEN IT-VARIABELEN FUNCTIONELE RELATIE TUSSEN DE OMVANG VAN EEN TE BOUWEN SYSTEEM, GEMETEN IN AANTAL FUNCTIEPUNTEN (f), EN DE TIJD NODIG OM HET SYSTEEM TE BOUWEN (d)    f 0,39 = d (1)   NB. DE CONSTANTE 0,39 VERSCHILT PER INDUSTRIETAK EN SYSTEEM TYPE FUNCTIONELE RELATIE TUSSEN DE ONTWIKKELTIJD (d) EN HET BENODIGDE AANTAL FTE’S VOOR SYSTEEMBOUW (n)   1 n (d) = ------ d 3,564 (2) 150

tcd (d) = ------ d 3,564 (3) 1800 mco (y) = ------ y3,205 (4) 750 KWANTITATIEF IT PORTFOLIO MANAGEMENT WISKUNDIGE RELATIES TUSSEN IT-VARIABELEN VOORBEELDEN VAN WISKUNDIGE VERBANDEN TUSSEN IT-VARIABELEN (VERVOLG) rw tcd (d) = ------ d 3,564 (3) 1800 WAARIN: tcd = TOTAL COST OF DEVELOPMENT w = AANTAL WERKDAGEN IN EEN KALENDER JAAR r = DAGLOON d = ONTWIKKELTIJD   wr mco (y) = ------ y3,205 (4) 750  y = GESCHATTE GERUIKSDUUR VAN HET SYSTEEM (LIFE-TIME) mco = MINIMALE KOSTEN VAN EXPOITATIE EN ONDRHOUD VAN HET SYSTEEM GEDURENDE Y

KWANTITATIEF IT-PORTFOLIO MANAGEMENT KOSTEN ALLOCATIE FUNCTIES VOOR DE FINANCIERING VAN DE ONTWIKKELINGSKOSTEN EN OPERATIONELE KOSTEN VAN EEN INFORMATIESYSTEEM IS INZICHT NODIG IN HET VERLOOP VAN DE KOSTEN GEDURENDE DE BOUWTIJD EN DE LEVENSDUUR VAN HET SYSTEEM NA OPLEVERING, VOORBEELD VAN KOSTENALLOCATIE FUNCTIES: TCDs (ds – is) CADs(t) = als is ≤ t ≤ ds , en = 0 voor andere waarden van t ds – is MCO s (ds – is) CAOs(t) = als ds ≤ rs ,, en = 0 voor andere waarden van t 12.y (ds – is) waarin: CADs(t) = ontwikkelkosten allocatie functie van systeem s CAOs(t) = operationele kosten allocatie functie van systeem s

grafische weergave cad(t) en cao(t) KWANTITATIEF IT PORTFOLIO MANAGEMENT GRAFISCHE WEERGAVE KOSTENALLOCATIE FUNCTIES Verloop ontwikkelkosten en operationele kosten van een systeem s in de tijd: grafische weergave cad(t) en cao(t) 4 3 besteding 2 1 20 40 60 80 tijd in maanden

KWANTITATIEF IT PORTFOLIO MANAGEMENT VOORBEELD VAN KOSTENBEELDEN OP PORTFOLIO NIVEAU CASE: EEN PORTFOLIO BESTAAT UIT 75 PROJECTEN VAN VERSCHILLENDE OMVANG EN ONTWIKKELDUUR. ENTERPRISE RESOURCE PLANNING (ERP) PROJECT CUSTOMER RELATIONSHIP MANAGEMENT (CRM) PROJECT EEN AANTAL e-BUSINESS PROJECTEN ETC MEN KAN BIJVOORBEELD DENKEN AAN HET RESULTAAT VAN EEN FUSIE TUSSEN TWEE ONDERNEMINGEN. TIME TO MARKET EIS: DE PROJECTEN MOETEN ALLE KORT NA DE FUSIE WORDEN UITGEVOERD OM DE FUSIEVOORDELEN TE INCASSEREN MANAGEMENT VRAAG: DE BOARD WIL EEN BEELD HEBBEN VAN DE TOTALE KOSTEN VAN REALISATIE EN EXPLOITATIE VAN DE PORTFOLIO IN DE KOMENDE JAREN

KWANTITATIEF IT-PORTFOLIO MANAGEMENT KOSTENBEELD ONTWIKKELING EN EXPLOITATIE IT-PORTFOLIO Een plotselinge, omvangrijke investerings-impuls kan een operationele kosten vloedgolf (tsunami) veroorzaken cadM(t) Kosten caoM(T) Planningsperiode (in maanden) cadM(t) = verloop van de totale ontwikkelkosten van de portfolio in de tijd caoM(t) = verloop van de totale operationele kosten van de portfolio in de tijd

KWANTITATIEF IT PORTFOLIO MANAGEMENT KWANTIFICERING RISICO OP PROJECT MISLUKKING KANS VAN MISLUKKING ( Pf) VAN EEN IT- PROJECT INDIEN EEN SYSTEEM MOET WORDEN GEBOUWD VAN f FUNCTIE PUNTEN   Pf (f) = 0,4805538 . (1 – exp (- 0,07488905. f 0,587375)) (5) WAAR exp (x) STAAT VOOR: e (X) OF, INDIEN MEN DE RELATIE : F 0,39 = d IN (5) SUBSTITUEERT,    Pf (d) = 0,4805538 . (1 – exp (- 0,007488905. d1,506090)) (6)

0 20 40 60 80 duration time (months) KWANTITATIEF IT PORTFOLIO MANAGEMENT RISCO PROJECTMISLUKKING ALS FUNCTIE VAN ONTWIKKELDUUR GRAFISCHE WEERGAVE VAN DE KANS OP MISLUKKING VAN EEN IT-PROJECT ALS FUNCTIE VAN DE PROJECT-DUUR 0.4 chance 0.3 on 0.2 failure 0.1 0.0 0 20 40 60 80 duration time (months)

ONDERZOEK NAAR KWANTIFICERING VAN HET RISICO VAN BUDGETOVERSCHRIJDING BIJ ING DE WISKUNDIGE RELATIE TUSSEN PROJECT OMVANG EN RISICO OP MISLUKKING VAN HET PROJECT IS BELANGRIJK OM TE KENNEN, MAAR GEEFT GEEN GERICHTE INFORMATIE VOOR RISICO-BEHEERSING DAAROM IS ONDERZOEK GEDAAN NAAR DE FACTOREN DIE HET RISICO VAN NIET-HALEN VAN DE PROJECT DOELSTELLINGEN BEPALEN EN DE KWANTITATIEVE IMPACT VAN DIE FACTOREN OP HET RISICO PRIORITEIT IS GEGEVEN AAN ONDERZOEK NAAR DE FACTOREN DIE HET RISICO BEPALEN VAN BUDGET-OVERSCHRIJDING

RISICO BEPALENDE FACTOREN DIE IN DE LITERATUUR WORDEN GENOEMD LIJST VAN SUCCESFACTOREN EN RISICOFACTOREN ONTLEEND AAN EEN ONDERZOEK DOOR DE STANDISH GROUP ONDER 500 BEDRIJVEN, IN 2001. SLECHTS DE TOP-TIEN ZIJN GENOEMD.   1.      Executive Support (18 Points) 2.      User Involvement (16 Points) 3.      Experienced Project Manager (15 Points) 4.      Clear Business Objectives (12 Points) 5.      Minimised Scope (10 Points) 6.      Standard Software Infrastructure (8 Points) 7.      Firm Basic Requirements (6 Points) 8.      Formal Methodology (6 Points) 9.      Reliable Estimates (5) 0 Other (5) BRON: STANDISH GROUP

RISICO BEPALENDE FACTOREN VOLGENS LITERATUUR ONDERZOEK BRON: Journal of Management Information Systems, R. Schmidt e.a, (2001).   Lack of top management commitment to the project Failure to gain user commitment Misunderstanding the requirements Lack of adequate user involvement Lack of required knowledge/skills in the project personnel Lack of frozen requirements Changing scope/objectives Introduction of new technology Failure to manage end user expectations Insufficient / inappropriate staffing Conflict between user departments Alle genoemde factoren zijn genoemd op hoog management niveau. Bij ING onderzoek is gezocht naar operationele risicofactoren, waarvan data beschikbaar is.

GESLECTEERDE RISICO BEPALENDE FACTOREN BIJ ING Karakteristieken van projecten en Business Units die van invloed zijn op het risico van budgetoverschrijding. Variable Definitie Waarde DDS ONTWIKKELSTAF ALS PERCENTAGE VAN TOTALE IT-STAF 0 - 1 CMM2 BU WEL OF NIET OP CMM-2 NIVEAU 1 or 0 CMM3 BU WEL OF NIET OP CMM-3 NIVEAU 1 or 0 RQF WEL OF GEEN HELDERE FINANCIELE RAPPORTAGE DOOR BU 1 or 0 good BS OMVANG BU ( MAAT: TOTALE IT KOSTEN PER JAAR > 0 PP PROJECT OMVANG (MAAT: GESCHATTE PROJECTDUUR) > 0

MEETNIVEAUS VAN DE GESLECTEERDE RISICO BEPALENDE FACTOREN   Klasse Meet niveau Beschrijving Voorbeeld uit data set 1 Ratio . Beschikbaar budget 2 Interval Budget afwijking (+/-) 3 Ordinaal Geheeltallig op een geordende schaal. CMM niveau 4 Nominaal Geheeltallig, ordening heeft geen betekenis Project categorie Kwantitatieve schaal met absoluut nulpunt Kwantitatieve schaal met willekeurig nulpunt

MOTIVERING SELECTIE LOGISTISCHE REGRESSIE MODEL HET LOGISTISCHE REGRESSIE MODEL IS MET SUCCES GEBRUIKT DOOR ANDERE DISCIPLINES BIJ DE VOORRSPELLING VAN DE KANS OP SUCCES OF MISLUKKING. BIJVOORBEELD IN DE MEDISCHE WETENSCHAP BIJ HET VOORSPELLEN VAN STERFTEKANSEN BIJ TE VROEG GEBOREN KINDEREN LOGISTISCHE REGRESSIE IS MET NAME EEN GESCHIKTE TECHNIEK OM DE KANS TE MODELLEREN OP DE UITKOMST 0 OF 1 VAN EEN STOCHASTISCHE BINAIRE VARIABLE IN EEN LOGISTISCH REGRESSIE MODEL KUNNEN VERLKARENDE VARIABELEN VAN VERSCHILLENDE MEETNIVEAUS (CONTINU, ORDINAAL, NOMINAAL) WORDEN OPGENOMEN.

LOGISTISCHE REGRESSIE FORMULE De onderstaande logistische regressievergelijking is geschat uit de beschikbare data bij ING van 165 IT projecten Pbo log ( ) = -2 + 4 DDS + CMM2 - 7 CMM3 - RFQgood + 0,01 BS – 2 PP 1 – Pbo waarin Pbo de kans aanduidt op budgetoverschrijding en DDS, CMM2, CMM3, RFQgood, BS en PP de eerder besproken geselecteerde risico bepalende factoren

INTERPRETATIE RESULTATEN OP INDIVIDUEEL PROJECT NIVEAU - DDS RQFgood CMM2 CMM3 PP BS + - o + Factor verlaagt het risico op budget overschrijding (positieve invloed) - Factor verhoogt het risico op budget overschrijding (negatieve invloed) O De invloed van de factor op het risico van budgetoverschrijding kan statistisch niet worden aangetoond + - klein groot Invloed op risico van budgetoverschrijding

KWANTIFICERING RISICO BUDGETOVERSCHRIJDING BIJ ING VOORSPEL EFFICIENTIE VAN HET LOGISTISCHE MODEL 100 84 75 53 50 % projecten met waargenomen budget overschrijding voorspeliing logistish model 25 perfecte voorspelling Willekeurige werkwijze 25 58 25 50 75 100 Projecten gesorteerd van hoog naar laag risico ( % )

CONCLUSIES BIJ DE BESUITVORMING OVER IT-INVESTERINGEN EN DESINVESTERINGEN VORMEN WISKUNDIGE EN STATISTISCHE MODELLEN EEN BELANGRIJK HULPMIDDEL BIJ HET NEMEN VAN RATIONELE BESLISSINGEN 2. DE GROOTSTE BOTTLENECK BIJ HET TOEPASSEN VAN KWANTITATIEVE METHODEN EN TECHNIEK IS MEESTAL HET ONTBREKEN VAN EEN BETROUWBARE DATASET WAARIN VOLDOENDE HISTORIE IS OPGESLAGEN 3. HET VOORDEEL VAN HET ONTWIKKELEN VAN MODELLEN OM INZICHT TE KRIJGEN IN DE (KWANTITATIEVE) IMPACT VAN MANAGEMENT BESLISSINGEN OVER IT OP DE BUSINESS IS DAN OOK TWEELEDIG: - HET DWINGT TOT HET VERZAMELEN EN BIJHOUDEN VAN BETROUWBARE IT-DATA IN EIGEN HUIS (METEN IS WETEN!) - HET LEIDT TOT EEN MEER RATIONELE BESLUITVORMING (OBJECTIEVER) OVER IT-INVESTERINGEN EN DESINVESTERINGEN