Model Audit Jacques de Swart “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 1

Samenvatting: waarom? Fouten in modellen komen voor…... zowel bewust als onbewust. Doel model audit varieert van polis tot verbeterdrang. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 2

Samenvatting: hoe? Er is een breed scala aan rapportagevormen. Zonder normenkader is elke model “goed”. Data, technische & economische integriteit staan los. Elke model audit is schaalbaar. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 3

Samenvatting: toekomst? Modellen worden steeds relevanter… maar wie is opgeleid om ze te auditen? “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 4

Fouten in modellen komen voor… “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 5 Zelfs op CMM5 (hoogste standaard voor software ontwikkeling) komt naar schatting 1 fout per KLoC (Kilo Lines of Code) voor >90% of spreadsheets contain errors source: EuSpRIG source: Pundits

… zowel bewust als onbewust. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 6 Bewust: Hij gebruikt modellen zoals een dronkenlap een lantaarnpaal, meer voor ondersteuning dan voor verlichting. Onbewust: “AstraZeneca spreadsheet slip-up forces reiteration of mid-term financial forecasts” en hebben meestal een richting! source: Reuters jan ‘12 vrij naar Andrew Lang

Doel model audit varieert van polis tot verbeterdrang. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 7 Verbeterdrang Verzekeringspolis + Comfort voor gebruiker -Geen interesse in verbetering -Juridische overhead -Hoogdrempelig transparant -Model is en blijft beperkte weergave van werkelijkheid -Softwareprovider sluit aansprakelijkheid al uit - Geen comfort voor gebruiker + Motivatie om te verbeteren + Juridisch geen probleem + Laagdrempelig transparant + Bij één fout al resultaat

Er is een breed scala aan rapportagevormen. Niet, mondeling of schriftelijk ISA3000 of rapport van bevindingen Positieve of negatieve assurance Wel of niet overdraagbare aansprakelijkheid Op bevroren input of herhaaldelijk gebruik in wel of niet beheerste omgeving “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 8

Zonder normenkader is elke model “goed”. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 9 =1/0 Zelfs dit spreadsheet model bestaande uit één cel hoeft niet fout te zijn

Data, technische & economische integriteit staan los. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 10 Soort integriteitBetekenisType audit DataInput data “juist”?Harde input vergelijken met externe bronnen TechnischeModel intern consistent?Deels geautomatiseerd: Spreadsheet Professional, Infotron (Nederlands!), Spreadsheet Detective, Operis Analysis Kit EconomischeModel overeenkomstig aannamen? Hangt af van startpunt In geval van teveel “spaghetti” kan control-around efficiënter zijn

Elke model audit is schaalbaar. “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 11 VrijheidsgraadVoorbeeld van scope Soort integriteitAlleen technische integriteit Startpunt normenkaderSecondary data niet terugvoeren op primary Een- of tweerichtingsverkeer“Dood hout” in model out of scope Deel van het modelAlleen Key Output (geen nice-to-have output) ExpertisegebiedUS GAAP en/of tax buiten scope Soort rapportageAlleen rapport van bevindingen

Modellen worden steeds relevanter… “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 12 Job of statistician will become the “sexiest” around Hal Varian, Google A new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data Kenneth Cukier, The Economist Elke data extractie en bewerking vormt een model Data analyses van auditee (Internal Control) en (tax) auditor (Substantive Analytical Procedures) nemen toe

… maar wie is opgeleid om ze te auditen? “Statistical Model Audit” - 30 mei 2012 Symposium van de Stuurgroep Statistical Auditing van het Limperg Instituut Slide 13 DomeinAccountingITProcesModel AuditRARERO?