De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Over stil bewijs en hoe het te vinden: proeve van een conceptuele fraudedetectietechniek 24 september 2015 – Marc Peeters ‘What lies beneath’

Verwante presentaties


Presentatie over: "Over stil bewijs en hoe het te vinden: proeve van een conceptuele fraudedetectietechniek 24 september 2015 – Marc Peeters ‘What lies beneath’"— Transcript van de presentatie:

1 Over stil bewijs en hoe het te vinden: proeve van een conceptuele fraudedetectietechniek 24 september 2015 – Marc Peeters ‘What lies beneath’

2 Alles komt uit, al moesten de kraaien het uitbrengen

3 ‘What lies beneath’ Externe audit: was in 81,4% van de gedupeerde organisaties de meest frequente vorm van controle, maar: detecteerde slechts 3% van de gerapporteerde fraudes Bron: ACFE, 2014 Modelfouten? VUB, 21 mei 2014: one-year risk of business failure Fraudedriehoek: Wat met hebzucht? De ‘kaart van Wells’ We vinden ‘het’ niet…

4 ‘What lies beneath’ … want het …

5 Fraud risk assessment en cartografie Hic sunt dracones

6 Fraud risk assessment en cartografie De kaart valt niet samen met het gebied: Media: enkel aandacht voor sensationele fraudezaken De aard van fraude zelf: verhulling (‘Staat niet op de kaart’) Stil bewijs: geeft een vertekend beeld van de werkelijke omvang van het probleem Fraude ‘ontfilteren’: Hoe komt het dat we in het algemeen zo weinig fraudesignalen opvangen? Hoe het gebied volledig in kaart brengen? Dialoog van forensic auditing met wetenschapsfilosofie, budgetleer en natuurkunde Terra incognita

7 Fraud risk assessment en cartografie ‘Risico’ in de auditdisciplines: Commissaris: Betekenisvolle afwijkingen in de jaarrekening De kleinste kaart Interne auditor: Gebeurtenissen met impact op de doelstellingen van de organisatie De ‘middelste’ kaart Forensisch auditor: volledig overzicht van de relevante fraudemechanismen Volledig vs. relevant? Hetzelfde gebied, verschillende kaarten…

8 Fraud risk assessment en cartografie Identificatie frauderisico’s Bepaling van kans en impact Kans = waarschijnlijkheid = ‘redelijke zekerheid’ Impact = de mate van ernst van de gevolgen van een gebeurtenis Impact = resultaat Impact meten = becijferen? Passende beheersmaatregelen kiezen … maar dezelfde benadering van frauderisico’s

9 Identificeren en inschatten gaan hand in hand Frauderisico’s inschatten kan pas nadat ze ook als zodanig werden geïdentificeerd: De mens is niet bij machte om alle (fraude)risico’s te identificeren We maken ons alleen zorgen over de verkeerde risico’s Identificatie wordt bemoeilijkt door de aard van fraude zelf: misleiding, gericht op het verhinderen van ontdekking. Identificatieproces wordt vertekend door systematische fouten: ‘Bias’: vertekening van de waarheid veroorzaakt door de meetmethode. Voorbeeld: ‘Lantaarnpaaleffect’ of de parabel van de dronkenlap

10 Bias & Co Verslaggevingsfraude en de Zwarte Zwaan

11 Bias & Co Wat we niet weten… As we know, there are known knowns. There are things we know we know. We also know there are known unknowns. That is to say we know there are some things we do not know. But there are also unknown unknowns, the ones we don’t know we don’t know. Doel: eerst van Zwart naar Grijs, daarna van Grijs naar Wit: Grijze Zwaan is enigermate voorspelbaar, net zoals fraude dat is voor organisaties die rekening houden met dat risico Witte Zwaan: Hoe van iets onbekends iets bekends maken?

12 Bias & Co Bias bij het inschatten van kansen in de toekomst

13 Bias & Co Epistemische arrogantie

14 Bias & Co Narratieve misleiding en het probleem van inductie

15 Bias & Co Platoniciteit en de identificatie van frauderisico’s

16 Bias & Co Identificatie: bias all over the place De vertekeningen van de werkelijkheid, die tijdens het identificatieproces kunnen optreden, zijn veelvuldig en zitten ingebakken in de menselijke natuur We beseffen niet dat we minder begrijpen hoe de dingen gaan dan we denken De notie ‘frauderisico’ is vaak te abstract voor ons; we richten ons op eenduidige gebeurtenissen die gemakkelijk voorstelbaar zijn. We maken ons zorgen over risico’s, maar alleen over de verkeerde We hechten teveel belang aan de klassieke modellen (fraudedriehoek, archetypen van Wells en de ‘anti-frauderichtlijn’ Conclusie: de identificatie van frauderisico’s wordt gebiased door subjectiviteit

17 Bias – the sequel ‘Kans + impact’ of ‘kans x impact’ ? Als je zegt ‘inschatten’ moet je ook zeggen wat je foutenmarge is. Iets inschatten houdt immers altijd in dat het geschatte niet exact kan zijn Het woord ‘foutenmarge’ valt in de geconsulteerde vakliteratuur in heinde en verre niet te bespeuren De vakliteratuur is het roerend eens: ‘Het inschatten van kans en impact van geïdentificeerde frauderisico’s is naar zijn aard subjectief’ De reeds besproken biases zijn er m.i. dan ook op van toepassing; onderzoek dat dit aantoont of ontkracht is mij echter niet bekend

18 Bias – the sequel ‘Kans + impact’ of ‘kans x impact’ ? Vakliteratuur: kans en impact Kans: minstens drie categorieën: Laag – Redelijk – Waarschijnlijk Impact: minstens drie categorieën: Zonder – Enige – Substantiële Er worden geen getallen op beide parameters geplakt Problemen: ‘Kans en impact’ lijkt op een optelsom van twee dingen die niet kunnen opgeteld worden Hoe deze begrippen invullen? Subjectieve interpretatie van waarschijnlijkheid: een uitspraak over waarschijnlijkheid zegt alleen iets over hoe waarschijnlijk de persoon die de uitspraak doet iets vindt: ‘Wat is een lage kans?’ Geen precieze cijfermatige waarschijnlijkheid: ‘Wat is enige impact?’ ‘Bias all over the place’

19 Verwachtingswaarde: ‘kans x impact’ Taleb: ‘Prestaties (en risico’s) mag men niet beoordelen aan de hand van de resultaten; dat kan alleen aan de hand van de kosten van het alternatief.’ Kansen zijn vaak asymmetrisch De waarschijnlijkheid van elke gebeurtenis is niet 50% Impact is ook vaak asymmetrisch De ‘uitbetalingen’ zijn niet gelijk Empirische toets (ACFE, 2014): Fraude met bedrijfsmiddelen: het waarschijnlijkst maar met de kleinste impact Verslaggevingsfraude: het minst frequent maar met de grootste impact Corruptie: ‘redelijke’ kans en ‘redelijke’ impact Verwachtingswaarde = waarschijnlijkheid x resultaat = kans x impact

20 Verwachtingswaarde: ‘kans x impact’ GebeurtenisKansImpactVerwachtingswaarde A: Omzetstijging70%10%7% B: Fictieve omzet30%-40%-12% Totaal100%-5%

21 Verwachtingswaarde: Helaas… subjectief Voordeel: mathematische becijfering van frauderisico’s Nadeel: uitkomsten ≠ objectieve, exacte getallen → bias! Mogelijke oplossing: pessimistische verwachtingswaarden weerhouden ingeval verslaggevingsfraude het potentieel gevaarlijkste risico is Want: enorme asymmetrie tussen kans en impact Kritiek: doorgedreven focus op veiligheid vs. doelstellingen van de organisatie? Gordiaanse knoop

22 Laten we maar alles ‘risico’ noemen De indeling in‘inherente’, ‘beheerste’ en ‘restrisico’s’ is een kapstok maar niet meer dan dat: Identificatie –en inschattingsproces worden systematisch vertekend door subjectiviteit Geen wezenlijk onderscheid tussen de drie categorieën ‘Restrisico’ is een zwaar onderschatte categorie: zie de biases Sterker nog, er is nog een ‘col buiten categorie’: ‘stil bewijs’

23 Stil bewijs

24 Wanneer we naar het verleden kijken, zien we niet het hele verhaal, alleen de rooskleurigere elementen Vertekening die in elk domein speelt waarin we voorbeelden zoeken en bewijzen verzamelen (zie FRA) Opzet: kenmerken van fraudedebacles bestuderen, eerder dan van ‘succesrijke’ organisaties, willen we inzicht krijgen in succesrijk anti- fraudebeleid en de oorzaken ervan. Reden: louter geluk is de enige factor die de succesrijken van de pechvogels onderscheidt Gevolg: waarschijnlijkheid (kans) van stil bewijs valt niet in te schatten Waarom er dan rekening mee houden? Omdat stil bewijs impact verbergt: de zwaarst getroffen slachtoffers worden doorgaans buiten het bewijsmateriaal gehouden; zo zijn juist die risico’s het gevaarlijkst die het minst zichtbaar zijn

25 Stil bewijs en retrospectief determinisme Organisaties die het geluk hadden geen fatale gevolgen over te houden aan een fraudegeval, gaan retrospectief onderschatten hoe riskant de situatie eigenlijk was. Daardoor lijkt de werkelijkheid stabieler en eenvoudiger te verklaren dan feitelijk het geval is; stil bewijs vertroebelt zo onze perceptie van de werkelijkheid Afgaan op ervaringen van sectorgenoten met fraude is bijgevolg geen goed idee omdat we niet kunnen weten waarom zij geluk hebben gehad. Zij die overleefden blijken geen geschikte beoordelaars te zijn van hoe het toegaat in de wereld; het kan er namelijk toe leiden dat zij een gemankeerd idee krijgen van hun herstelcapaciteiten en van de redenen waarom zij het overleefden

26 Stil bewijs: het handvat Aangezien wat we zien niet noodzakelijkerwijs alles is wat er is, doen we er tijdens fraud risk assessments goed aan om niet teveel naar verklaringen te zoeken waarom een bepaalde aanpak al dan niet de beste is. Het is beter om ruimte te laten voor enige mate van toeval; die ruimte laten is zeggen dat je iets niet weet… Onze voorouders wisten dat al, nu wij weer!

27 De Zwaan wordt al grijzer Daar het identificatie –en inschattingsproces doortrokken is van subjectiviteit zijn er voldoende argumenten om te mogen stellen dat de auditdisciplines inderdaad naar een gemeenschappelijke ‘heilige graal’ streven: ze willen iets bereiken wat niet te bereiken is met behulp van de algemeen aanvaarde methodiek. De vaststelling dat er een structuurfout is, is één ding, de vraag hoe eraan te verhelpen, een ander. Ik heb gepoogd daarop een antwoord te formuleren door de noties ‘verwachtingswaarde’ en ‘stil bewijs’ te introduceren: we moeten leren beseffen dat we maar een miniem deel van de werkelijkheid zien.

28 Bekritiseren in gemakkelijk We vertrokken vanuit de theorie van de FRA … teveel onzorgvuldige theorie → teveel fouten = biases, waardoor we in het algemeen zo weinig fraudesignalen opmerken … maar kritiek geven kan iedereen We moeten bij voorkeur op zoek naar een theorievrije methode om fraudesignalen te ‘ontfilteren’, om van ‘Grijs’ naar ‘Wit’ te gaan Dienstmaagden: Natuurkunde Budgetleer Wetenschapsfilosofie Epilogisme: een theorievrije methode ter bestudering van de geschiedenis waarbij je nagenoeg zonder te generaliseren feiten verzamelt en je bewust bent van de neveneffecten van het leggen van causale verbanden Raisonnement qui induit d’un fait sensible à un fait caché

29 Van Grijs Naar Wit Met dank aan de astronomie

30 Aftrekmethode Mijn eerste uitgangspunt: Jaarrekening/boekhouding = foto van ster –en planeetatmosfeer samen Als er fraude in zit, dan zien we die niet… Hoe de fraude aan het licht brengen? Hoe er een foto van maken? Mijn tweede uitgangspunt: Het budget is de steratmosfeer, m.a.w. de boekhouding zonder fraude Budget = managementplan dat uitgaat van veronderstellingen Veronderstellingen: vervormingen van de foto? Gevolgtrekking: gerapporteerde jaarrekening – gebudgetteerde jaarrekening fraude (of nog iets anders)? Wat met vervormingen?

31 Aftrekmethode RekeningenGebudg. JRGerapp. JRVerschil

32 Aftrekmethode: afbakening Masterbudget: Enkel de gebudgetteerde balans en resultatenrekening Niet de kasplanning Verschillenanalyse op het niveau van het statisch budgetverschil Statisch budget: budget gebaseerd op het gebudgetteerde volume Hoe maken we een scherpe foto van fraude? Kwalitatieve eisen Hypothesen

33 Aftrekmethode: Kwalitatieve vereisten van een scherpe foto Volledigheid: de kaart hoort het volledige gebied weer te geven Volledig budget, i.e. volledige gebudgetteerde balans en resultatenrekening Volgens hetzelfde rekeningenstelsel als de ‘echte’ boekhouding Anders geen volledige kaart Boekhouding stelt geen karteringsproblemen: volledig en dubbel Degelijkheid: budget opgesteld met kennis van zaken Veronderstelling: de kwaliteit van de foto is recht evenredig met de kennis en kunde van de fotograaf

34 Aftrekmethode: Kwalitatieve vereisten van een scherpe foto Haalbaar budget ‘Uncontrollables’ Kennisasymmetrie Slack Data management In steen gebeiteld Stevig fundament: geschiedenis is niet per se ouderwets

35 Aftrekmethode: de ‘kodak’ van de fotograaf Conceptuele methode: Nog grondig te testen Een theorie kan nooit bewezen worden, alleen weerlegd Alles zelf testen: vooringenomenheid 4 simulaties van verslaggevingsfraude (3 + 1 dummy) Een goede fotograaf heeft een goede ‘kodak’ nodig 1 beeld zegt meer dan 1000 woorden

36 Aftrekmethode: fraudedetectiegrafiek (FDG)

37 FDG = frequentiespectrum

38 FDG amplitude en magnitude

39 FDG: Signaal en ruis Frequentiespectrum = de weergave van een signaal als functie van de frequentie Signaal is ‘significant’ = iets dat niet kan verklaard worden door toeval maar door iets anders FDG zoekt naar fraudesignalen, niet naar toevallige variatie Ruis is een willekeurige variatie in een signaal. Ook een signaal dat alleen uit ruis bestaat, wordt wel met ruis aangeduid. Indien er veel ruis aanwezig is, wordt het moeilijk het te bestuderen signaal te onderscheiden van ruis en worden kleine piekjes of kleine objecten onzichtbaar. In FDG is ruis elke andere reden dan fraude voor een uitslag t.o.v. de x-as (boekingsfout, uncontrollables, wettelijke creative accounting, …)

40 FDG: Hoe ‘signaal’ onderscheiden van ‘ruis’? 3 hypothesen 1. Signaal = fraude is reproduceerbaar Een ‘gewenst’ signaal ligt vast: Boekhoudkundige algoritmes Ruis kent oncontroleerbare variaties: Niet reproduceerbaar 2. FDG = weergave van een signaal als functie van fraude: Grote pieken zijn fraudesignalen, kleine zijn ruis De ‘zwaartekracht’ van een degelijk opgesteld budget (kwalitatieve eisen) trekt de ruispiekjes dicht tegen de x-as aan Ruisfilteringsmethoden: Kleine veranderingen in amplitude = ruis Kans op signaal stijgt exponentieel wanneer de magnitude stijgt

41 FDG: Hoe ‘signaal’ onderscheiden van ‘ruis’? 3 hypothesen 3. Significantie: een verschil is significant als het verschil niet kan verklaard worden door toeval maar door iets anders ≠ materieel Significant verschil ≠ materieel verschil Signaal moet statistisch significanter zijn dan ruis Bepaalde stijgingen en dalingen behoeven duiding, andere niet Fraude ≠ gril van het toeval Significant verschil is altijd fraude? Probleem: het isoleren van de causale factor FDG = quick and dirty Van patronen in FDG naar verbanden in de boekhouding

42 FDG: een kaart van het volledige gebied FDG = balans + resultatenrekening van 1 tot 794 (M.A.R.) ‘Al gaat de fraude nog zo snel, FDG achterhaalt hem wel’ Fraude is in de regel patroonloos op de plaats waar men hem verwacht De logische werking van de boekhoudkundige algoritmes maakt dat de fraude altijd ergens op de kaart opduikt Wanneer de kaart vergelijken met het gebied? 31/12: ultieme lakmoesproef voor de gebudgetteerde jaarrekening Tussentijds controleren: te veel ruis Redetwisten over een in een kleine tijdschaal waargenomen resultaat is totaal zinloos Pas op de lange duur blijkt wat signaal is en wat ruis Mijn stelling die steun vindt in de literatuur: fraude doet zich vaak pas voor op het einde van het fiscale jaar

43 FDG: volledige kaart van het verkeerde gebied? Boekhouding wordt aangepast aan het budget: FDG? Wat als het budget wordt aangepast aan de boekhouding? Gevaar: volledige kaart maar van het verkeerde gebied Oplossing: Goedgekeurd = onveranderlijk exemplaar: berust bij process owner en raad van bestuur enkel process owner en raad van bestuur/auditcomité zijn op de hoogte van aftrekmethode en FDG

44 29 veronderstelde eigenschappen van aftrekmethode en FDG Testen moet nog beginnen Bij voorkeur twee testgroepen Groep 1: de ‘fraudeurs’ Groep 2: de ‘fraud auditors’ Belangrijkste vragen: Kunnen we fraudesignalen als zodanig herkennen? En: Kunnen we van patroon naar verband gaan? 29 veronderstelde eigenschappen, evenveel onderzoeksvragen 3 hypothesen die moeten getest worden 28 bijkomende onderzoeksvragen

45 Algemeen besluit Fraude is een Zwarte Zwaan waar de FRA niet tegenop kan Eerste opdracht: maak de Zwaan grijzer: Introductie van ‘verwachtingswaarde ‘ in FRA I ntroductie van de notie van ‘stil bewijs’ in FRA Tweede opdracht: maak de Zwaan Wit FDG lokaliseert de Zwaan in een volledig in kaart gebracht gebied Met behulp van een theoriearme (theorievrije?) methode We staan nog maar aan het begin van het avontuur

46 OPENING MINDS TO IMPACT THE WORLD


Download ppt "Over stil bewijs en hoe het te vinden: proeve van een conceptuele fraudedetectietechniek 24 september 2015 – Marc Peeters ‘What lies beneath’"

Verwante presentaties


Ads door Google