(gastonderzoeker VU resp emeritus hoogleraar accountantscontrole)

Presentatie over: "(gastonderzoeker VU resp emeritus hoogleraar accountantscontrole)"— Transcript van de presentatie:

1 (gastonderzoeker VU resp emeritus hoogleraar accountantscontrole)
Helderheid over procedurests? uit: Impressies van een onderzoek (Ed Broeze) De Logica (Hans Blokdijk) (gastonderzoeker VU resp emeritus hoogleraar accountantscontrole) 25 mei 2011 Symposium Statistical Auditing

2 25 mei 2011- Symposium Statistical Auditing
Impressies onderzoek Verkorte weergave onderzoeksresultaten proefschrift Broeze en working paper Broeze, Blokdijk en Jansen, door Ed Broeze 25 mei Symposium Statistical Auditing

3 25 mei 2011- Symposium Statistical Auditing
Basisgedachte Predictive power of tests of controls for the misstatement in a transaction is necessary for tests of controls to be a means for supporting ‘low risk’- assessment, when this is used as justification for reduction of substantive testing. Uit: Predictive qualities of tests of controls for the misstatement (working paper)  Ed Broeze, Paul Jansen, Hans Blokdijk 25 mei Symposium Statistical Auditing

4 25 mei 2011- Symposium Statistical Auditing
Onderzoek Beschikbaar: 37,121 records met data van dual purpose tests beschikbaar gesteld door een overheidsaccountantsorganisatie. Dual purpose test: in één test zowel procedure als gegeven getest  direkte koppeling van werking (compliance) en uitkomst (gegeven). 25 mei Symposium Statistical Auditing

5 Generaliseerbaarheid
‘Gelegenheidssteekproef’ betekent beperkte generaliseerbaarheid, vooral doordat data van één organisatie. Steekproeven wel zo groot dat ‘statistiek klopt’. Generalisatie: Beperkt als de voorspelbaarheid in gegeven steekproeven ‘werkt’, want: werkt ‘het’ dan altijd? Minder beperkt als ‘het niet werkt’, want: in ieder geval een probleem, want basisgedachte gefalsifieerd (zie Popper). 25 mei Symposium Statistical Auditing

6 25 mei 2011- Symposium Statistical Auditing
Twee niveau’s Transactieniveau: betekent compliance in een transactie ook uitblijven van een fout in het gegeven? Verantwoordingsniveau (niveau van het artikel): betekent vaker doorbreken van de compliance ook grotere fout in de gegevens? (Op dit niveau ook oordeel en risico-analyse) 25 mei Symposium Statistical Auditing

7 25 mei 2011- Symposium Statistical Auditing
Definities Fractie procedurefouten: Dit is het aantal records in de verantwoording met een procedurefout gedeeld door het totaal aantal records van de verantwoording, in de steekproef. Taint: Dit is de gebruikelijke weergave van de omvang van een gegevensfout als fractie van de omvang van de hele boeking: Taint = Omvang gegevensfout / omvang boeking Gemiddelde taint (mean taint): Som van de taints gedeeld door het aantal records, in de steekproef 25 mei Symposium Statistical Auditing

8 Uitkomsten op transactieniveau Véél procedurefouten, véél minder gegevensfouten; maar voorspelt procedurefout ook gegevensfout? Year Number of substantive errors Percentage of substantive errors Number of compliance errors Percentage of compliance errors Number of records 1995 253 1.8 2949 21.5 13743 1996 64 1.2 1069 19.3 5531 1997 31 0.5 559 9.6 5818 1998 97 2.0 562 11.5 4882 1999 36 530 7.4 7147 Total 481 1.3 5669 15.3 37121 25 mei Symposium Statistical Auditing

9 25 mei 2011- Symposium Statistical Auditing
Transactieniveau 2 In 1999: als procedurefout, dan 12 keer grotere kans op gegevensfouten dan wanneer geen procedurefout 1999 no compliance error compliance error Total no substantive error 6600 (99.7%) 511 (96.4%) 7111 (99.3%) substantive error 17 (0.3%) 19 (3.6%) 36 (0.5%) 6617 (100 %) 530 (100%) 7147 (100%) 25 mei Symposium Statistical Auditing

10 25 mei 2011- Symposium Statistical Auditing
Transactieniveau 3 Alle jaren: als procedurefout, dan grotere kans op gegevensfout (alles significant) Year error predicted (%) error missed all errors 1995 4.0 1.3 1.8 1996 3.4 0.6 1.2 1997 2.0 0.4 0.5 1998 7.3 1999 3.6 0.3 All years 0.8 25 mei Symposium Statistical Auditing

11 -0.5% <mean taint<=0 0.5%< mean taint<=1%
Verantwoordingsniveau 1 Overzicht gemiddelde taint voor de vijf jaren (account is artikel in de rijksrekening) Year -0.5% <mean taint<=0 mean taint =0 0<mean taint<=0.5% 0.5%< mean taint<=1% mean taint>1% Number of accounts 1995 5 23 15 2 4 49 1996 1 26 9 6 43 1997 3 33 47 1998 37 8 50 1999 31 44 Total 11 157 32 7 233 25 mei Symposium Statistical Auditing

12 25 mei 2011- Symposium Statistical Auditing
Verantwoordingsniveau 2 Correlatie tussen de fractie procedurefouten en de gemiddelde taint; maar in twee gevallen significant (zie de **) op beide correlaties. year P-correlation p-value K-correlation n 1995 .08 .58 .24* .024 49 1996 .17 .29 .38** .002 43 1997 .14 .36 .15 .21 47 1998 .32* .023 .39** .001 50 1999 .53** .0 44 25 mei Symposium Statistical Auditing

13 25 mei 2011- Symposium Statistical Auditing
Conclusie Als we naar het vóórkomen van fouten kijken, dan zijn de verbanden tussen procedurefout en gegevensfout redelijk sterk. Kijken we echter naar de omvang van de gegevensfout en proberen we die te voorspellen uit procedurefout, dan zijn de verbanden zo zwak dat er niet blind op gesteund kan worden. Zie verder: Validation of Risk Assessment in Auditing (Ed Broeze, Limperg Instituut 2006) 25 mei Symposium Statistical Auditing

14 25 mei 2011- Symposium Statistical Auditing
De Logica Voordracht gebaseerd op: J.H. Blokdijk: Tests of Control in the Audit Risk Model: Effective? Efficient? International Journal of Auditing, vol.8 no. 2, 2004 door Hans Blokdijk 25 mei Symposium Statistical Auditing

15 Het risico-analyse model
ISA 400: DR = AR . IR xCR Kwantitatieve risicoanalyse Jarenlang gebruikt; cijfermatig vertaald in tabellen 25 mei Symposium Statistical Auditing

16 25 mei 2011- Symposium Statistical Auditing
Vaststellen CR CR gebaseerd op: beoordeling systeem vaststelling bestaan systeem 3) onderzoek werking Onderwerp vanmiddag: onderzoek werking (tests of controls) In de praktijk (nog?) vaak willekeurige deelwaarneming van individuele transacties, 25 à 50 stuks 25 mei Symposium Statistical Auditing

17 25 mei 2011- Symposium Statistical Auditing
Drie fasen Fasen in totstandkoming financiële verantwoordingen: Plaatsvinden/eerste vastlegging transacties -----> IC Verwerking tot ‘routineproduct’ informatie > IC Samenstelling verantwoording > geen IC Fase 3 dus buiten beschouwing 25 mei Symposium Statistical Auditing

18 25 mei 2011- Symposium Statistical Auditing
FASE 1: IC grotendeels onvervangbaar door accountant Dus: gebreken niet op te vangen door accountant Dus: onlogisch element in kwantitatieve risicoanalyse Wel van groot belang voor kwaliteit controlebewijsmateriaal Dus; meenemen bij gegevensgerichte controle ISA 400 afgeschaft; ISA 330: dual-purpose test! (A23) 25 mei Symposium Statistical Auditing

19 25 mei 2011- Symposium Statistical Auditing
FASE 2: Echter in fase 2: Voortbestaan opzet; change controls Toegangscontroles: access controls Geprogrammeerde controles Gebruikerscontroles 25 mei Symposium Statistical Auditing

20 25 mei 2011- Symposium Statistical Auditing
Richtinggevend Change en access controls: Effectief en efficiënt: Gericht zoeken naar ongeautoriseerde (tijdelijke) ingrepen! Ter bepaling richting van de selectie van gegevensgerichte waarnemingen 25 mei Symposium Statistical Auditing

21 25 mei 2011- Symposium Statistical Auditing
Zinvolle IC? Geprogrammeerde/gebruikerscontroles: Meestal alleen inputcontroles Afwerking signalen:door wie? Meestal niet in controletechnische functiescheiding Efficiënt en effectief (materialiteit): Meenemen bij gegevensgericht onderzoek 25 mei Symposium Statistical Auditing

22 25 mei 2011- Symposium Statistical Auditing
Conclusie  Afzonderlijke willekeurige deelwaarnemingen ter toetsing van de werking van de IC: Niet effectief, niet efficiënt T.a.v. Fase 1: dual-purpose tests T.a.v. Fase2 : gericht zoeken naar mogelijke afwijkingen, ter voorbereiding selectie t.b.v gegevensgerichte controles 25 mei Symposium Statistical Auditing