ir. Arno Willems Iv-Infra Expertmeningen in Probabilistische Risicoanalyse

1993 TU Delft Technische Wiskunde 1999 Aveco de Bondt Afdeling Land & Water 2001 Rijkswaterstaat Dienst Infrastructuur Afdeling Risicoanalyse 2006 Iv-Infra Afd. Risicoanalyse & Systems Engineering Introductie

Inhoud Expertmeningen Oefeningen expertmeningen Vuistregels en valkuilen Regels voor de elicitatie van expertmeningen Experts scoren en expertmeningen combineren

Expertmeningen Verkrijgen van kansen en gevolgen via schattingen van deskundigen (subjectieve kansrekening) individueel: interview, invulformulier (mailing) groep: brainstormsessie, ‘decision room’

Definitie KNMI: “.. De kanspercentages gelden voor iedere willekeurige plaats in Nederland. Is die waarde 90% dan is het zo goed als zeker dat er die dag op elke willekeurige plaats in ons land neerslag komt. Bij een kans van 10% blijft het vrijwel zeker droog en bij 50% kan het net zo goed droog blijven als regenen of sneeuwen. Hoe hoger het percentage, hoe zekerder de meteoroloog is dat er neerslag komt.” ( bron: ) Wat is een kans?

Echter..het KNMI geeft vervolgens de tabel: Wat is een kans? kans omschrijving in weerbericht 10-30% (slechts) een kleine kans op / vrijwel (bijna) nergens / vrijwel (bijna) geen 30-70% kans op mogelijk / hier en daar / plaatselijk / op enkele plaatsen 70-90% grote kans op vrijwel (bijna) overal / waarschijnlijk / op de meeste plaatsen / op veel plaatsen (bron:

Overschrijdingskans dijken (bovenrivieren): 1/1250 [-/jaar]  in 1993 en 1995 kritiek Iemand die 100 jaar wordt heeft 8% kans op natte voeten in zijn leven! Bouwbesluit: kans op bezwijken van gebouw < ca. 1 / miljoen [-/jaar] Kans op treinvertraging (2010) > 3 minuten≈ 13,5% > 5 minuten≈ 7,5% Wat is een kans?

Klassieke definitie (Laplace) Kans is het aantal malen succes gedeeld door het totale aantal even waarschijnlijke gebeurtenissen Frequentistische definitie (Von Mises, Kolmogoroff e.a.) Kans is de relatieve frequentie in een willekeurige reeks (#hits/N) Subjectieve definitie (Borel, Ramsey, Savage) Kans is een mate van geloof (en kan per individu verschillen; ook wel het “Bayesiaanse kansbegrip” genoemd) Wat is een kans?

Bronnen voor kwantificeren Eigen ervaring en inzicht Vergelijkbare projecten (benchmarking) Statistieken Gegevens leveranciers (Faal)databanken en -boeken Expertmeningen Databronnen

Bronnen voor kwantificeren Eigen ervaring en inzicht Vergelijkbare projecten (benchmarking) Statistieken Gegevens leveranciers (Faal)databanken en -boeken Expertmeningen Databronnen

Oefening Expertmeningen A:X X X X X X X X X X X X Een pad is een lijn dat een X in de bovenste rij met een X op de onderste rij verbindt, en daarbij op elke tussenliggende rij exact één X doorkruist B:X X X 1. Welke structuur kent het meeste aantal paden? 2. Hoeveel paden heeft elk van de structuren?

A:X X X X X X X X X X X X Een pad is een lijn dat een X in de bovenste rij met een X op de onderste rij verbindt, en daarbij op elke tussenliggende rij exact één X doorkruist B:X X X 1. Welke structuur kent het meeste aantal paden? 2. Hoeveel paden heeft elk van de structuren? A heeft 8 3 = 512 paden en B heeft 2 9 = 512 paden Oefening Expertmeningen

Uit een groep van 10 mensen moet een commissie van X mensen worden gekozen. Hoeveel mogelijke commissies kunnen gevormd worden voor: 1.X = 2 2.X = 5 3.X = 8 Oefening Expertmeningen

Uit een groep van 10 mensen moet een commissie van X mensen worden gekozen. Hoeveel mogelijke commissies kunnen gevormd worden voor: 1.X = 2 Antwoord: 45 (mediane schatting in EJ studie : 70) 2.X = 5 Antwoord: X = 8 Antwoord: 45 (mediane schatting in EJ studie : 20) Oefening Expertmeningen

Wat is de kans dat er in een klas met 36 leerlingen tenminste twee leerlingen op dezelfde dag jarig zijn? P dv = 1-  i=0..n-1 {(365-i)/365} waarbij: P dv = kans op dubbele verjaardag n=groepsgrootte Oefening Expertmeningen

Bill is 34 years old. He is intelligent, but unimaginative, compulsive and generally lifeless. In school, he was strong in mathematics but weak in social studies and humanities. Please rank the following statements by their probability, using 1 for the most probable and 8 for the least probable. a)Bill is a physician who plays poker for a hobby b)Bill is an architect c)Bill is an accountant d)Bill plays jazz for a hobby e)Bill surfs for a hobby f)Bill is a reporter g)Bill is an accountant who plays jazz for a hobby h)Bill climbs mountains for a hobby Oefening Expertmeningen

Allerlei proefpersonen, met en zonder statistische scholing, zijn aan deze test onderworpen. Meer dan 85%, ook van de statistisch geschoolden, vindt (c) waarschijnlijker dan (d), en plaatst (g) daar tussen in. Bron: Judgment under uncertainty: Heuristics and biases, D. Kahneman, P. Slovic, and A. Tversky, Cambridge University Press, a) Bill is a physician who plays poker for a hobby b) Bill is an architect c) Bill is an accountant d) Bill plays jazz for a hobby e) Bill surfs for a hobby f) Bill is a reporter g) Bill is an accountant who plays jazz for a hobby h) Bill climbs mountains for a hobby Oefening Expertmeningen

U onderwerpt zich aan een medische check-up met een X-stralen onderzoek naar tuberculose. Uit een recent wetenschappelijk artikel weet u dat u behoort tot een risicogroep die een kans van 1 op 200 om tuberculose te hebben. X-stralen zijn niet 100% betrouwbaar. Men vertelt u dat ze slechts 95% betrouwbaar zijn. Dat wil zeggen: als u gezond bent, zullen de X- stralen dit in 95% van de gevallen bevestigen en u in 5% van de gevallen ten onrechte ongerust maken. Omgekeerd: indien u aan tuberculose lijdt, zal het X-stralenonderzoek dit in 95% van de gevallen signaleren. Na enkele dagen ontvangt u een bericht dat de X-stralen hebben uitgewezen dat u lijdt aan tuberculose. Hoe hoog schat u de kans op tuberculose na dit bericht? A.  1%B.  10%C.  50%D.  95% Oefening Expertmeningen

U onderwerpt zich aan een medische check-up met een X-stralen onderzoek naar tuberculose. Uit een recent wetenschappelijk artikel weet u dat u behoort tot een risicogroep die een kans van 1 op 200 om tuberculose te hebben. X-stralen zijn niet 100% betrouwbaar. Men vertelt u dat ze slechts 95% betrouwbaar zijn. Dat wil zeggen: als u gezond bent, zullen de X- stralen dit in 95% van de gevallen bevestigen en u in 5% van de gevallen ten onrechte ongerust maken. Omgekeerd: indien u aan tuberculose lijdt, zal het X-stralenonderzoek dit in 95% van de gevallen signaleren. Na enkele dagen ontvangt u een bericht dat de X-stralen hebben uitgewezen dat u lijdt aan tuberculose. Hoe hoog schat u de kans op tuberculose na dit bericht? A.  1%B.  10%C.  50%D.  95% Oefening Expertmeningen

Thomas Bayes ( ) ‘Essay towards solving a problem in the doctrine of chances’ (1763) a priori kans likelihood a posteriori kans Theorema van Bayes

Je staat in de finale van een spelshow. Je wordt meegenomen naar een wand met drie gesloten deuren. Achter één van de deuren staat een prachtige auto, achter de andere twee deuren staat niets. De quizmaster vraagt je voor een van de deuren te gaan staan. Stel: je kiest deur A Om de spanning op te voeren, opent de quizmaster, die weet achter welke deur de auto staat, deur B waarachter niets staat. Vervolgens geeft de quizmaster jou de mogelijkheid om over te lopen naar de andere dichte deur C. Wat doe je: verander je van keus of blijf je staan? A BC Het ‘Willem Ruis’ probleem ? ?

Beste strategie: wisselen! Kans(auto achter A) = 1/3 Kans(auto achter C) = 2/3 A BC ? Het ‘Willem Ruis’ probleem ?

Oplossing m.b.v. Theorema van Bayes: P(info) = P(info|A)P(A) + P(info|B)P(B) + P(info|C)P(C) = 1/2*1/3 + 0*1/3 + 1*1/3 = 1/2 Het ‘Willem Ruis’ probleem

Vuistregels & valkuilen Bij het schatten van kansen maken mensen gebruik van vuistregels (“heuristics”). Dit kan leiden tot fouten in de schattingen (“biases”) De volgende vuistregels leiden vaak tot fouten*: Availability Anchoring Representativeness / Base Rate fallacy Control *Voor meer biases:

Availability Mensen schatten de kans op een bepaalde realisatie of gebeurtenis (verkeerd) door het aantal ‘beschikbare’ mogelijkheden (verkeerd) te schatten Voorbeeld: schatten van de kans op overlijden door verschillende oorzaken (aanval haai of vergiftiging versus longkanker, hartfalen, etc.) Voorbeeld:

Anchoring Mensen schatten de kans op een bepaalde realisatie of gebeurtenis (verkeerd) door uit te gaan van een initiële waarde en deze (verkeerd) aan te passen of te corrigeren Voorbeeld: in een experiment werd 2 groepen studenten gevraagd binnen 5 seconden één van de volgende producten te berekenen: 8 x 7 x 6 x 5 x 4 x 3 x 2 en 2 x 3 x 4 x 5 x 6 x 7 x 8 Anchoring treedt vaak op als mensen percentielen (bijvoorbeeld 5%- en 95% percentielen) schatten. Ze pakken de centrale waarde en passen deze naar beneden en naar boven aan. In veel gevallen liggen deze waarden dan te dicht bij de centrale waarde. Mediane schatting: 2250 Mediane schatting: 512 (juiste antwoord: )

Representativeness / Base Rate fallacy Mensen schatten de kans dat een gebeurtenis A optreedt, gegeven dat een andere gebeurtenis B is opgetreden, (verkeerd) door uit te gaan van een (verkeerde) gelijkenis tussen A en B Met andere woorden, men negeert als het ware de base rates p(A) en p(B) en stelt (onterecht) dat p(A|B) = p(B|A) door te doen of p(A) = p(B) Voorbeelden:

Control Mensen schatten de kans op een bepaalde realisatie of gebeurtenis (verkeerd) vanuit de (onterechte) aanname deze kans te kunnen beïnvloeden Voorbeeld: kans op overlijden tijdens een autorit versus een vliegreis In een experiment kon een groep van 26 mensen tickets voor een loterij kopen voor $1 per stuk. Hoofdprijs was $50 voor het winnende lot, uit een vaas te trekken. Deze groep mocht zijn eigen tickets kiezen. Een 2 e groep van 27 mensen kreeg dezelfde mogelijkheid, maar mocht niet zelf zijn tickets kiezen. Vervolgens werd de deelnemers gevraagd voor welk bedrag zij hun tickets wilden verkopen. In de eerste groep lag de mediane prijs op $8,67. In de 2 e groep lag de mediane prijs op $1,96.

Experts vooraf ‘kans denken’ uitleggen en/of trainen. De (risico)analist moet bij de elicitatie aanwezig zijn. Vermijd coaching Laat de elicitatiesessie niet langer dan 1 uur duren. Stel heldere en eenduidige vragen. Laat experts direct meetbare/waarneembare parameters schatten. Maak gebruik van ‘eenvoudige’ invulformulieren. Regels voor elicitatie van expertmeningen

Kent chart Lichtenstein, Sarah & Robert Newman, "Empirical Scaling of Common Verbal Phrases Associated with Numerical Probabilities“, Psychometric Sci. 9, No.10 (1967). Expertmeningen

Wat is een kans?

Wat betekent: “zaterdag is er 40% kans op neerslag” ? Wat is een kans? A) Er zal zaterdag in 40% van de tijd tenminste een minimale hoeveelheid neerslag (bijv. 1 mm) vallen B) Er zal zaterdag gedurende 40% van Nederland tenminste een minimale hoeveelheid neerslag (bijv. 1 mm) vallen C) Er zal op 40% van de dagen zoals zaterdag tenminste een minimale hoeveelheid neerslag (bijv. 1 mm) vallen

Wat is een kans? Bron: “A 30% chance of rain tomorrow”: How does the public understand probabilistic weather forecasts? - Journal of Risk Analysis, vol 25, no.3, 2005

Wat is een kans? Bron: “A 30% chance of rain tomorrow”: How does the public understand probabilistic weather forecasts? - Journal of Risk Analysis, vol 25, no.3, 2005

Expertmeningen combineren Combineren van expertmeningen: wanneer meer experts schattingen geven voor één variabele, zal een combinatie moeten worden gemaakt voor gebruik in de risicoanalyse Hierbij moeten de volgende problemen worden overwonnen: Correlatie tussen experts Ongelijke calibratie van experts Mogelijke oneerlijkheid van experts

Verschillende manieren om gewichten toe te kennen aan experts: 1.Gelijke gewichten toekennen 2.Experts rangschikken naar voorkeur en gewichten toekennen naar rato van de rang 3.Laat experts zichzelf scoren 4.Laat experts elkaar scoren 5.Gebruik zuivere (“proper”) scoring regel: een expert krijgt zijn maximale verwachte score dan en slechts dan als zijn schatting overeenkomt met zijn echte mening Expertmeningen combineren

The Classical Model (Roger Cooke, Experts in Uncertainty, 1991) Een expert wordt een aantal seed questions voorgelegd, waarvan de antwoorden bij de risicoanalist bekend zijn. De expert moet voor elk van deze vragen zijn schattingen geven via (5%-, 50%-, 95%-) percentielen, op basis waarvan worden bepaald: Calibratie: mate van betrouwbaarheid van de schattingen van de expert Informatie: relatieve informatie t.o.v. de uniforme verdeling Calibratie- en informatiescores C(e) en I(e) worden via statistiek bepaald   Gewicht van expert e: w(e) = C(e) X I(e), genormeerd en rekening houdend met betrouwbaarheidsniveau  Expertmeningen combineren

Var. 1 Expert 1Expert 2Expert 3 x|||||| | ||xx Var. 2 x|||||| | ||xx Var. 3 x|||||| | ||xx Var. 4 x|||||| | ||xx Var. 5 x|||||| | ||xx Expert 1 – Calibrated but not informative Expert 2 – Informative but not calibrated Expert 3 – Informative and calibrated Expert Distribution Break Points Realization Expertmeningen combineren

0.5 1 qlql q5q5 q 50 q 95 ququ qlql q5q5 q 50 q 95 ququ For a weighted combination of expert CDFs take the weighted combination at all break points (i.e. q i values for each expert) and then linearly interpolate Expert 1 Expert 2 Expertmeningen combineren

Verschillende individuele schattingen: Expertmeningen combineren

Expertschattingen combineren m.b.v. ‘momentenfit’ (o.b.v.  en  ): Expertmeningen combineren

Oefening expertmeningen Geef de 5%-, 50%- en 95%-percentielen 1. Hoeveel mensen stierven er in Nederland in het jaar 2009 als gevolg van een bedrijfsongeval? 2. Wat was het Bruto Binnenlands Product* in het jaar 2009 (in miljoenen euro’s) ? 3. Wat was het aantal geregistreerde bedrijven in de bouwnijverheid in Nederland op 1 januari 2008 ? *de totale (geld)waarde van alle in een land geproduceerde goederen (en diensten) gedurende een bepaalde periode

Geef de 5%-, 50%- en 95%-percentielen 1. Hoeveel mensen stierven er in Nederland in het jaar 2009 als gevolg van een bedrijfsongeval? 2. Wat was het Bruto Binnenlands Product* in het jaar 2009 (in miljoenen euro’s) ? 3. Wat was het aantal geregistreerde bedrijven in de bouwnijverheid in Nederland op 1 januari 2008 ? Oefening expertmeningen *de totale (geld)waarde van alle in een land geproduceerde goederen (en diensten) gedurende een bepaalde periode

Geef de 5%-, 50%- en 95%-percentielen 1. Hoeveel mensen stierven er in Nederland in het jaar 2009 als gevolg van een bedrijfsongeval? Wat was het Bruto Binnenlands Product* in het jaar 2009 (in miljoenen euro’s) ? 3. Wat was het aantal geregistreerde bedrijven in de bouwnijverheid in Nederland op 1 januari 2008 ? Oefening expertmeningen *de totale (geld)waarde van alle in een land geproduceerde goederen (en diensten) gedurende een bepaalde periode

Geef de 5%-, 50%- en 95%-percentielen 1. Hoeveel mensen stierven er in Nederland in het jaar 2009 als gevolg van een bedrijfsongeval? Wat was het Bruto Binnenlands Product* in het jaar 2009 (in miljoenen euro’s) ? Wat was het aantal geregistreerde bedrijven in de bouwnijverheid in Nederland op 1 januari 2008 ? Oefening expertmeningen *de totale (geld)waarde van alle in een land geproduceerde goederen (en diensten) gedurende een bepaalde periode

Geef de 5%-, 50%- en 95%-percentielen 1. Hoeveel mensen stierven er in Nederland in het jaar 2009 als gevolg van een bedrijfsongeval? Wat was het Bruto Binnenlands Product* in het jaar 2009 (in miljoenen euro’s) ? Wat was het aantal geregistreerde bedrijven in de bouwnijverheid in Nederland op 1 januari 2008 ? Oefening expertmeningen *de totale (geld)waarde van alle in een land geproduceerde goederen (en diensten) gedurende een bepaalde periode

Geef de 5%-, 50%- en 95%-percentielen 1. Hoeveel mensen stierven er in Nederland in het jaar 2009 als gevolg van een bedrijfsongeval? Wat was het Bruto Binnenlands Product* in het jaar 2009 (in miljoenen euro’s) ? Wat was het aantal geregistreerde bedrijven in de bouwnijverheid in Nederland op 1 januari 2008 ? (waarvan met 1 werknemer) Oefening expertmeningen *de totale (geld)waarde van alle in een land geproduceerde goederen (en diensten) gedurende een bepaalde periode

Motto Liever goed onzeker dan zeker fout!

Recente(re) titels ‘De dronkenmanswandeling’ en ‘Misleid door toeval’

Vragen?