Henry Ford: “Als ik gevraagd had wat mensen wilden, dan had ik snellere paarden moeten bouwen”. Metafoor Een geheel nieuwe oplossing Wij zijn chauffeur.

Presentatie over: "Henry Ford: “Als ik gevraagd had wat mensen wilden, dan had ik snellere paarden moeten bouwen”. Metafoor Een geheel nieuwe oplossing Wij zijn chauffeur."— Transcript van de presentatie:

1 Themacontrole Pilot Totta Machine learning Wim Janssen Projectleider WIL

2 Henry Ford: “Als ik gevraagd had wat mensen wilden, dan had ik snellere paarden moeten bouwen”. Metafoor Een geheel nieuwe oplossing Wij zijn chauffeur

3 Hoe zijn we begonnen? Opzetten projectteam. Sr handhaver, juriste, kwaliteitsmedewerker, manager fin.specialist, Totta specialisten en projectleider. MT/DB/CR Gericht op rechtmatigheidsonderzoek Gegevens voor dat doel verzameld (doelbinding) B&W bepalen. Geen directe aanleiding voor onderzoek is nodig. Bewerkingsovereenkomst is nodig en maakt uitwisseling gegevens mogelijk Wettelijke kaders: art 53a

4 Wat waren onze beweegredenen? Ambitie.
Op zoek naar een eenvoudig toe te passen model van mogelijkheid van risicoanalyse. Innovatieagenda (bezuiniging). Ambitie Top 10 beste gsd Nederland. Internetvoorbeeld. Bedrijven met een site presteren beter. Daarvoor is WIL constant op zoek naar methoden om controle werkzaamheden snel en efficiënt uit te voeren met een zo gering mogelijke (administratieve) belasting voor onze klanten en voor WIL. Doel rechtmatige uitbetaling uitkeringen Volgens handhavingsplan meerdere themacontroles. Dit een van die controles Het is mogelijk om themacontrole te ontwikkelen die de andere verslaat (sneller, gerichter) Ordinaire bezuiniging.

5 Wat weten wij van het systeem?
Een algoritme gebaseerd op de bij WIL bekende data van fraudeurs. Daarna vergelijking van de data van lopende uitkeringspartijen met dit algoritme.

6 Hoe hebben we data geselecteerd?
“Harde fraudeurs”: fraudevordering minus de gegronde bezwaren Cliënten waarvan vermoed wordt dat zij hebben gefraudeerd zonder dat daar bewijs voor is. Selectie: werkproces handhaving + beëindiging.

7 Wat waren de beoogde resultaten? Een werkend model.
Toepasbaarheid op andere onderdelen van WIL bv Poort/SHV). Besparing op uitkeringen. Per kwartaal een uitdraai van ongeveer 10 partijen met een hoog risico op fraude. Doel rechtmatige uitbetaling uitkeringen Volgens handhavingsplan meerdere themacontroles. Dit een van die controles.

8 Wat waren de eerste taken van WIL? Binnen wettelijke kaders.
Bestuurlijke besluitvorming. Bewerkingsovereenkomst Totta. Aanleveren data. MT/DB/CR Gericht op rechtmatigheidsonderzoek Gegevens voor dat doel verzameld (doelbinding) B&W bepalen. Geen directe aanleiding voor onderzoek is nodig. Bewerkingsovereenkomst is nodig en maakt uitwisseling gegevens mogelijk Wettelijke kaders: art 53a

9 Welke taken had applicatie beheer?
Bepalen data. Gegevens uit Suite4Sociaal Domein vanaf 2017 nu ook IBsignalen; Verzenden gegevens beveiligd via FTP. Periodiek update queries en levering data.

10 Wat waren de taken van WIL na selectie? Onderzoek team handhaving.
Administratieve verwerking. terugkoppeling Totta. Welke onderzoeksdmethode. Compleet of administratief Sterk en zwak. Fraude niet aangetoond betekent dat er geen fraude is?

11 Hoe deden we het onderzoek naar de geselecteerde klanten?
1e vergelijking 16 zaken. Volledig onderzocht, HB en bankafschriften en gesprek. Daarna adm. onderzoek en bankaf- schriften Welke onderzoeksdmethode. Compleet of administratief Sterk en zwak. Fraude niet aangetoond betekent dat er geen fraude is?

12 Hoe is de huidige situatie?
Per kwartaal onderzoek van de 10 hoogste scorende klanten Tijdsbesteding 3 uren per dossier en 1 onderzoek. Totaal ong. 60 uren. Welke onderzoeksdmethode. Compleet of administratief Sterk en zwak. Fraude niet aangetoond betekent dat er geen fraude is?

13 Resultaat vergelijkingen
Aantal geselecteerde dossiers 46 Nader onderzoek niet relevant 14 Onderzocht door HH 32 Fraude vastgesteld 11 Uitkeringen Beëindigd 7 Percentage beëindigd ong. 20% 1 persoon meerdere keren onderzocht 3 uitkeringen reeds beëindigd. 2 in andere themacontrole onderzocht. 3 nog steeds beëindigd.

14 De verdeling van de mogelijke fraudeurs in fraudesoorten.
Wat viel tegen De verdeling van de mogelijke fraudeurs in fraudesoorten. Verwachting was meer “hits”. Zwarte fraude Witte fraude Vermogensfraude Woonfraude

15 Wat ging goed Systeem werkt. Beëindigingen 20%. Juridisch haalbaar.
Weinig ophef. Andere mogelijkheden aannemelijk SHV(uitval) en Werk (uitstroom) WIL is in staat om de ten behoeve van de uitvoering van de PW reeds verzamelde data in de juiste formats aan te leveren voor datavergelijkingen. De eerste resultaten laten een positieve indruk achter. Het aantal onderzochte resultaten en het aantal vergelijkingen is nog te gering om een definitief oordeel te kunnen vormen over deze methode. Het voorstel is om de methode als de ingezette controlemethoden verder te ontwikkelen en over 1 jaar hierover opnieuw te evalueren. De huidige ingezette controles kostten grote inzet van personeel. Mogelijk is de selectie beter door toevoeging van nog nieuwe data. De beoordeling of deze methode van Machine Learning ingezet kan worden bij andere werkvelden van WIL is nog onduidelijk. Het resultaat van de pilot is m.b.t. de financiën wel gehaald. De PW en wetgeving rondom de privacy staat deze methode van selectie van klanten voor nader onderzoek niet in de weg.

16 Aanvullingen Contract voor 2018 en 2019.
Learning vanuit andere gemeenten. Knock-out criteria invoegen.

17 Vergelijkingen draaien op computers WIL.
Verwachtingen Vergelijkingen draaien op computers WIL. Efficiëntere verwerking resultaten Resultaten 40% score. WIL is in staat om de ten behoeve van de uitvoering van de PW reeds verzamelde data in de juiste formats aan te leveren voor datavergelijkingen. De eerste resultaten laten een positieve indruk achter. Het aantal onderzochte resultaten en het aantal vergelijkingen is nog te gering om een definitief oordeel te kunnen vormen over deze methode. Het voorstel is om de methode als de ingezette controlemethoden verder te ontwikkelen en over 1 jaar hierover opnieuw te evalueren. De huidige ingezette controles kostten grote inzet van personeel. Mogelijk is de selectie beter door toevoeging van nog nieuwe data. De beoordeling of deze methode van Machine Learning ingezet kan worden bij andere werkvelden van WIL is nog onduidelijk. Het resultaat van de pilot is m.b.t. de financiën wel gehaald. De PW en wetgeving rondom de privacy staat deze methode van selectie van klanten voor nader onderzoek niet in de weg.