(gastonderzoeker VU resp emeritus hoogleraar accountantscontrole) Helderheid over procedurests? uit: Impressies van een onderzoek (Ed Broeze) De Logica (Hans Blokdijk) (gastonderzoeker VU resp emeritus hoogleraar accountantscontrole) 25 mei 2011 Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Impressies onderzoek Verkorte weergave onderzoeksresultaten proefschrift Broeze en working paper Broeze, Blokdijk en Jansen, door Ed Broeze 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Basisgedachte Predictive power of tests of controls for the misstatement in a transaction is necessary for tests of controls to be a means for supporting ‘low risk’- assessment, when this is used as justification for reduction of substantive testing. Uit: Predictive qualities of tests of controls for the misstatement (working paper)  Ed Broeze, Paul Jansen, Hans Blokdijk 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Onderzoek Beschikbaar: 37,121 records met data van dual purpose tests beschikbaar gesteld door een overheidsaccountantsorganisatie. Dual purpose test: in één test zowel procedure als gegeven getest  direkte koppeling van werking (compliance) en uitkomst (gegeven). 25 mei 2011- Symposium Statistical Auditing

Generaliseerbaarheid ‘Gelegenheidssteekproef’ betekent beperkte generaliseerbaarheid, vooral doordat data van één organisatie. Steekproeven wel zo groot dat ‘statistiek klopt’. Generalisatie: Beperkt als de voorspelbaarheid in gegeven steekproeven ‘werkt’, want: werkt ‘het’ dan altijd? Minder beperkt als ‘het niet werkt’, want: in ieder geval een probleem, want basisgedachte gefalsifieerd (zie Popper). 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Twee niveau’s Transactieniveau: betekent compliance in een transactie ook uitblijven van een fout in het gegeven? Verantwoordingsniveau (niveau van het artikel): betekent vaker doorbreken van de compliance ook grotere fout in de gegevens? (Op dit niveau ook oordeel en risico-analyse) 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Definities Fractie procedurefouten: Dit is het aantal records in de verantwoording met een procedurefout gedeeld door het totaal aantal records van de verantwoording, in de steekproef. Taint: Dit is de gebruikelijke weergave van de omvang van een gegevensfout als fractie van de omvang van de hele boeking: Taint = Omvang gegevensfout / omvang boeking Gemiddelde taint (mean taint): Som van de taints gedeeld door het aantal records, in de steekproef 25 mei 2011- Symposium Statistical Auditing

Uitkomsten op transactieniveau Véél procedurefouten, véél minder gegevensfouten; maar voorspelt procedurefout ook gegevensfout? Year Number of substantive errors Percentage of substantive errors Number of compliance errors Percentage of compliance errors Number of records 1995 253 1.8 2949 21.5 13743 1996 64 1.2 1069 19.3 5531 1997 31 0.5 559 9.6 5818 1998 97 2.0 562 11.5 4882 1999 36 530 7.4 7147 Total 481 1.3 5669 15.3 37121 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Transactieniveau 2 In 1999: als procedurefout, dan 12 keer grotere kans op gegevensfouten dan wanneer geen procedurefout 1999 no compliance error compliance error Total no substantive error 6600 (99.7%) 511 (96.4%) 7111 (99.3%) substantive error 17 (0.3%) 19 (3.6%) 36 (0.5%) 6617 (100 %) 530 (100%) 7147 (100%) 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Transactieniveau 3 Alle jaren: als procedurefout, dan grotere kans op gegevensfout (alles significant) Year error predicted (%) error missed all errors 1995 4.0 1.3 1.8 1996 3.4 0.6 1.2 1997 2.0 0.4 0.5 1998 7.3 1999 3.6 0.3 All years 0.8 25 mei 2011- Symposium Statistical Auditing

-0.5% <mean taint<=0 0.5%< mean taint<=1% Verantwoordingsniveau 1 Overzicht gemiddelde taint voor de vijf jaren (account is artikel in de rijksrekening) Year -0.5% <mean taint<=0 mean taint =0 0<mean taint<=0.5% 0.5%< mean taint<=1% mean taint>1% Number of accounts 1995 5 23 15 2 4 49 1996 1 26 9 6 43 1997 3 33 47 1998 37 8 50 1999 31 44 Total 11 157 32 7 233 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Verantwoordingsniveau 2 Correlatie tussen de fractie procedurefouten en de gemiddelde taint; maar in twee gevallen significant (zie de **) op beide correlaties. year P-correlation p-value K-correlation n 1995 .08 .58 .24* .024 49 1996 .17 .29 .38** .002 43 1997 .14 .36 .15 .21 47 1998 .32* .023 .39** .001 50 1999 .53** .0 44 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Conclusie Als we naar het vóórkomen van fouten kijken, dan zijn de verbanden tussen procedurefout en gegevensfout redelijk sterk. Kijken we echter naar de omvang van de gegevensfout en proberen we die te voorspellen uit procedurefout, dan zijn de verbanden zo zwak dat er niet blind op gesteund kan worden. Zie verder: Validation of Risk Assessment in Auditing (Ed Broeze, Limperg Instituut 2006) 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing De Logica Voordracht gebaseerd op: J.H. Blokdijk: Tests of Control in the Audit Risk Model: Effective? Efficient? International Journal of Auditing, vol.8 no. 2, 2004 door Hans Blokdijk 25 mei 2011- Symposium Statistical Auditing

Het risico-analyse model   ISA 400: DR = AR . IR xCR Kwantitatieve risicoanalyse Jarenlang gebruikt; cijfermatig vertaald in tabellen 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Vaststellen CR CR gebaseerd op: beoordeling systeem vaststelling bestaan systeem 3) onderzoek werking   Onderwerp vanmiddag: onderzoek werking (tests of controls) In de praktijk (nog?) vaak willekeurige deelwaarneming van individuele transacties, 25 à 50 stuks 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Drie fasen Fasen in totstandkoming financiële verantwoordingen:   Plaatsvinden/eerste vastlegging transacties -----> IC Verwerking tot ‘routineproduct’ informatie ----> IC Samenstelling verantwoording ----> geen IC Fase 3 dus buiten beschouwing 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing FASE 1: IC grotendeels onvervangbaar door accountant Dus: gebreken niet op te vangen door accountant Dus: onlogisch element in kwantitatieve risicoanalyse   Wel van groot belang voor kwaliteit controlebewijsmateriaal Dus; meenemen bij gegevensgerichte controle ISA 400 afgeschaft; ISA 330: dual-purpose test! (A23) 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing FASE 2: Echter in fase 2: Voortbestaan opzet; change controls Toegangscontroles: access controls Geprogrammeerde controles Gebruikerscontroles 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Richtinggevend Change en access controls: Effectief en efficiënt: Gericht zoeken naar ongeautoriseerde (tijdelijke) ingrepen! Ter bepaling richting van de selectie van gegevensgerichte waarnemingen 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Zinvolle IC? Geprogrammeerde/gebruikerscontroles: Meestal alleen inputcontroles Afwerking signalen:door wie? Meestal niet in controletechnische functiescheiding   Efficiënt en effectief (materialiteit): Meenemen bij gegevensgericht onderzoek 25 mei 2011- Symposium Statistical Auditing

25 mei 2011- Symposium Statistical Auditing Conclusie  Afzonderlijke willekeurige deelwaarnemingen ter toetsing van de werking van de IC: Niet effectief, niet efficiënt   T.a.v. Fase 1: dual-purpose tests T.a.v. Fase2 : gericht zoeken naar mogelijke afwijkingen, ter voorbereiding selectie t.b.v gegevensgerichte controles 25 mei 2011- Symposium Statistical Auditing