De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Inleiding adaptieve systemen Competitie en coöperatie.

Verwante presentaties


Presentatie over: "Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Inleiding adaptieve systemen Competitie en coöperatie."— Transcript van de presentatie:

1 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Inleiding adaptieve systemen Competitie en coöperatie

2 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Inhoud Twee-persoons competitieve symmetrische niet- nulsom spelen op basis van volledige informatie met simultane zetten en kwantitatieve beloningen –Prisoner’s Dilemma( PD ) –Stag Hunt( SH ) –Chicken( CK ) Begrippen: Pareto-optimale oplossing, Nash- evenwicht Uitbreidingen van het Prisoner’s Dilemma –Geïtereerd( IPD ) –Geïtereerd evolutionair( IEPD ) –Geïtereerd ruimtelijk evolutionair( SIEPD ) –Geïtereerd continu ruimtelijk evolutionair( CSIEPD )

3 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Coöperatieve spelen Agent 2 Agent 1 a1a1 a2a2 a3a3 a1a1 11–300 a2a2 76 a3a3 005 Doel: coördinatie

4 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Competitieve spelen Agent 2 Agent 1 a1a1 a2a2 a3a3 a1a1 11, 11–30, 10, 1 a2a2 1, –307, 76, 0 a3a3 1, 00, 65, 5 Doel: eigen winst- maximalisatie

5 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Competitieve spelen Wie doet de vaat? Gedeelde koffiepot Meeliften in groepswerk Wielrenners in een kopgroep NIMBY problematiek (windmolenpark) Vangstquotum in de visserij Handelsoorlog Wapenwedloop

6 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Koffiezet dilemma Pot koffie zetten (naar apparaat lopen, alle handelingen doen etc.): kosten C = 2 Pot koffie drinken: baten B = 3 Koffie zetten en drinken: nut is B – C = 1 Ik( De Ander ) Is sociaalVerzaakt Ben sociaal Beiden één pot koffie zetten en samen drinken: B – C ( B – C ) = 1 ( 1 ) De ander profiteert: B – 2C ( B ) = –1 ( 3 ) VerzaakIk profiteer : B ( B – 2C ) = 3 ( –1 ) We vertikken het allebei om koffie te zetten: 0 ( 0 ) (C, B) → PD. Voor andere waarden van C en B krijgen we een ander spel. (Doen we nu niet.)

7 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Prisoner’s dilemma (Speler B) (Mondje dicht)(Verklikken) Speler A Mondje dicht Taakstraf (Taakstraf) Levenslang (Vrij en getuigen- bescherming) Verklikken Vrij en getuigen- bescherming (Levenslang) Straf (Straf)

8 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Een abstractie Jij bent speler Speler 1. Je speelt één keer, zonder vooraf te (kunnen of willen) communiceren met Speler 2. Wat zou je doen als je wist dat Speler 2 samenwerkt (C)? Wat zou je doen als je wist dat Speler 2 verzaakt (D)? Dus wat zou je i.h.a. doen? Wat zou Speler 2 i.h.a. doen? Zou het uitmaken als Speler 1 en Speler 2 van te voren mochten communiceren? Speler 2 Spe- ler 1 CD C3 ( 3 )0 ( 5 ) D5 ( 0 )1 ( 1 )

9 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Pareto front Een paar α A (α B ) heet een gemeenschappelijke strategie –Afgekort met JS (“joint strategy”) –α van “actie” Een JS domineert een andere JS als 1.Tenminste één speler daar strict beter van wordt. 2.Geen enkele andere speler daar slechter van wordt. Een JS welke niet gedomineerd wordt door een andere JS, heet Pareto-optimaal Pareto-front = { PO opl. } A( B ) ( C )( D ) C3 ( 3 )0 ( 5 ) D5 ( 0 )1 ( 1 ) Sommeren van nut is geen optie. (Som van Euro’s en Dollars = ??)

10 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Nash evenwicht Je speelt beiden C (C) (links-boven). –Heb je reden om van strategie C af te wijken? –Heeft B reden om af te wijken? Jij speelt C, maar B speelt D (rechts-boven). –Weer dezelfde vragen voor spelers A en B Dezelfde vragen voor JS (C, D) (links-onder). Tenslotte voor JS (D, D) We zeggen dat een JS zich in een Nash-evenwicht bevindt als geen partij er baat bij heeft zijn strategie (eenzijdig) te veranderen. A( B ) ( C )( D ) C3 ( 3 )0 ( 5 ) D5 ( 0 )1 ( 1 ) Probleem: het Nash-evenwicht is NIET Pareto-optimaal

11 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Normaalvorm (= generieke 2x2 matrix) CC: we werken samen (Reward payoff, R) DC: ik verzaak, de ander is een sukkel (Temptation payoff, T) CD: ik ben coöperatief de ander verzaakt (Sucker payoff, S) DD: we verzaken beiden (Penalty payoff, P) Je krijgt verschillende spelen als je gaat variëren met P, R, S, T Naam van het spel ( Speler B ) ( C )( D ) Spe- ler A CR ( r )S ( t ) DT ( s )P ( p )

12 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Tragedy of the commons Meerdere deelnemers + indirecte interactie, bv. middels gedeelde reserves. Voorbeeld: overbevissing Als iedereen zich aan het visquotum houdt is er niks aan de hand ( R ) Verleiding ( T ): jij houd je er, als één van de weinigen, niet aan Sukkel ( S ): jij houd je er, als één van de weinigen, wel aan Penalty ( P ): iedereen heeft lak aan het quotum → zee leeg Column van Lebbis in Spijkers met Koppen 30 mei 2009, op ong. 00:45 min.Column van Lebbis in Spijkers met Koppen 30 mei 2009, op ong. 00:45 min.

13 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Prisoner’s dilemma T > R > P > S DC: ik ga praten (verklikken) ten koste van mijn partner CC: we houden beiden onze mond DD: we gaan allebei praten CD: ik houd m’n mond, maar wordt verklikt door mijn partner

14 Chicken game

15 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Chicken: T > R > S > P Ook wel: “sway or dare” DC: ik rij rechtdoor, de ander niet CC: we wijken beiden uit CD: ik wijk uit, de ander rijdt rechtdoor DD: we rijden beiden rechtdoor

16 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Snowdrift: T > R > S > P DC: ik blijf zitten, de ander ruimt sneeuw CC: we ruimen beiden sneeuw CD: ik ruim sneeuw, de ander niet DD: we ruimen beiden geen sneeuw (en vriezen dood) Ook hier geldt weer: T > R > S > P. Dus identiek aan Game of Chicken

17 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Ontsnapte wielrenner terughalen DC: de ander haalt groen terug en terwijl hij dat doet, ga ik in z’n wiel zitten CC: we halen hem samen terug CD: ik haal hem terug, met die ander in m’n wiel (en verminder zo m’n winstkansen) DD: niemand haalt iemand terug (en we verliezen allebei de wedstrijd) Ook hier geldt weer: T > R > S > P. Dus identiek aan Game of Chicken Jij Je con- current

18 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Hert of haas: R > T > P > S CC: we jagen samen op een hert DC: ik jaag op een haas (jij vruchteloos op een hert) DD: we jagen beiden op een haas CD: jij jaagt op een haas (ik vruchteloos op een hert) Claude Monet. De Jacht (1876) Hier geldt NIET: T > R > S > P. Dus NIET identiek aan Game of Chicken

19 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Samen uit, samen thuis CC: we komen allemaal DC: ik zeg af, de anderen komen DD: we zeggen allemaal af CD: ik kom, de anderen zeggen af Hier geldt weer: R > T > P > S. Dus: Stag Hunt

20 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Man: DC: we gaan samen naar voetbal CD: we gaan samen naar ballet DD: ik ga naar voetbal, jij gaat naar ballet CC: ik ga naar ballet, jij gaat naar voetbal Battle of the sexes T > S > P > R Weer andere ordening dan Prisoner’s, Chicken en Stag Hunt.

21 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Postulaten voor coöperatie Een meewerkende partner levert meer op dan een partner die verzaakt: 1.CC > CD ( R > S ): als ik meewerk, is het beter dat mijn partner dat ook doet 2.DC > DD ( T > P ): als ik verzaak, kan ik profiteren van een meewerkende sukkel P T S R

22 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Mogelijke postulaten voor verzaken Verzaken levert winst op: 1.DC > CC ( T > R ): als mijn partner meewerkt, is het beter voor mij te profiteren. 2.DD > CD ( P > S ): als mijn partner verzaakt, kan ik zelf ook beter verzaken S P R T

23 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Ordening van strategieën DC DDCC CD

24 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Chicken: DC > CC > CD > DD DC DDCC CD !

25 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Hert of haas: CC > DC > DD > CD DC DDCC CD !

26 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Prisoner’s: DC > CC > DD > CD DC DDCC CD

27 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Generieke 2x2 strategie-matrix Als de ander D … Als de ander C … … dan is het beter voor mij als ik C … dan is het beter voor mij als ik D … dan is het beter voor mij als ik C Werk altijd samen → Spel zonder dilemma’s Coördineer met je partner → Stag Hunt … dan is het beter voor mij als ik D Anti-coördineer met je partner → Chicken (Snowdrift) Verzaak altijd → Prisoner’s Dilemma

28 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Overzicht van 2x2 competitief Battle of the sexes Pareto: CD, DC; Nash: CD, DC ( Speler B ) ( C )( D ) Spe- ler A C0 ( 0 )2 ( 3 ) D3 ( 2 )1 ( 1 ) Stag Hunt Pareto: CC; Nash: CC, DD ( Speler B ) ( C )( D ) Spe- ler A C4 ( 4 )1 ( 3 ) D3 ( 1 )2 ( 2 ) Chicken Pareto: CD, DC; Nash: CD, DC ( Speler B ) ( C )( D ) Spe- ler A C0 ( 0 )-1 ( 1 ) D1 ( -1 )-5 ( -5 ) Prisoner’s dilemma Pareto: CC, CD, DC; Nash: DD ( Speler B ) ( C )( D ) Spe- ler A C3 ( 3 )0 ( 5 ) D5 ( 0 )1 ( 1 )

29 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Competitie en coöperatie Gemixte strategieën

30 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Pr B (C) is bekend  Stel, A weet dat B met kans q actie C speelt, i.e., Pr B (C) = q  Wanneer wordt het voor A interessant om samen te werken?  Antwoord: als en slechts als: Payoff A ( C | Pr B (C) = q ) > Payoff A ( D | Pr B (C) = q )  Als en slechts als: qR + (1 – q)S > qT + (1 – q)P  Als en slechts als: q > (P – S)/(R – T + P – S), als R – T + P – S > 0 q < (P – S)/(R – T + P – S), als R – T + P – S < 0 S > P, anders A( B ) CD CR ( r )S ( t ) DT ( s )P ( v )

31 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Gemixte strategie Stel, speler A besluit C met kans p te spelen. We zeggen dan dat A volgens een gemixte strategie met parameter p speelt. Kortweg: de strategie van A is p. Evenzo noteren we een gemixte strategie van B als q. Vraagstuk: voor welke paren van kansen vormt (p, q) een Nash-evenwicht? p 1 – p q 1 – q

32 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Nash-evenwicht bij gemixte strategie Neem aan dat 0 < R – T + P – S < 1 In dat geval zagen we dat A –Beter kan samenwerken a.e.s.a. q > (P – S)/(R – T + P – S) –Beter kan verzaken a.e.s.a. q < (P – S)/(R – T + P – S) –In alle andere gevallen is de waarde van p voor A irrelevant. Hetzelfde geldt voor B, maar dan symmetrisch p q

33 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Ik De Ander Stag hunt (samen uit, samen thuis) Drie NE, waarvan één labiel 4 ( 4 ) 1 ( 3 ) 3 ( 1 ) 2 ( 2 )

34 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Ik De Ander Prisoner’s dilemma 0 ( 5 ) 3 (3) Eén NE 1 (1)

35 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Ik De Ander Chicken (Snowdrift game) Drie NE -5 ( -5 ) 0 ( 0 ) -1 ( 1 ) 1 ( -1 )

36 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Ik De Ander Battle of the sexes Eén NE 0 ( 0 ) 1 ( 1 ) 3 ( 2 ) 2 ( 3 )

37 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Variaties op het Prisoner’s Dilemma

38 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Variaties Het herhaalde Prisoner’s Dilemma (Eng.: Iterated PD, IPD) Een evolutionaire variant van het IPD (EIPD) Een ruimtelijk- evolutionaire variant van het IPD (SEIPD) Een continu-ruimtelijk- evolutionaire variant van het IPD (CSEIPD)

39 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Iterated Prisoner’s Dilemma (IPD) Enkele strategieën: Altijd samenwerken (ALL-C) Altijd verzaken (ALL-D) Maar wat doen (RAND) Payoff matrix éénmalige interactie IkDe Ander CD C3( 3 )0( 5 ) D5( 0 )1( 1 ) Oog om oog, tand om tand (Engels: tit-for-tat, TFT)

40 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Voorbeeld van 2 Episoden van elk 10 Ronden DDDDDDDDDD ALL-D TFT CDDDDDDDDD CCCDDCCCDC RAND TFT CCCCDDCCCD

41 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Opbrengst van rij t.o.v. kolom ALL-CALL-DRANDTFTGem. ALL-C ALL-D513↓ 12.5 RAND TFT3↑

42 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Met TFT nooit echt veel slechter af dan tegenstander C C 0 C C 0 D C –5 D D 0 D D 0 D D 0 C D 5 C C 0 C C 0 C C 0 D D 0 C D 5 C C 0 D C Speler 2 kan één keer verzaken, maar moet bij wisseling van strategie altijd zijn winst weer inleveren. 2 1

43 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Succes en zwakte van TFT Succes: Kan onmogelijk uitgebuit worden Presteert nooit slechter dan tegenstander Zwakte: Kort geheugen: blijft bij D hangen in D, tenzij tegenstander C doet Presteert nooit beter dan tegenstander Tit Tat

44 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Andere strategieën UNFORGIVING: als tegenstander verzaakt, dan nooit meer meewerken TF2T: tit-for-two-tats: TFT, maar pas vergelden na twee opeenvolgende defects van tegenstander. PAVLOV: start met C. Wissel strategie als sucker of punishment. Werkt beter onder noise dan TFT. Meer: zie mijn master seminar over adaptive agents, onderdeel “repeated games”mijn master seminar over adaptive agents, onderdeel “repeated games”

45 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Flake: ecological world Initialisatie: Stel K strategieën vast, bv. { ALL-C, ALL-D, RAND, TFT, UNFORGIVING, PAVLOV }. (Hier K = 6.) Stel aantal ronden N vast. (Zeg, N = 200.) Reward i tegen j = R i,j = gemiddelde opbrengst voor i tegen j over N ronden. Geef iedere strategie i een initieel aandeel P i z.d.d. som der gewichten = 1.0. Herhaal voor E episoden: Score i = gemiddelde opbrengst voor strategie i. Pas P i aan op basis van de gewogen score.

46 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Update-formule voor strategie-aandeel De score van Strategie i op tijdstip t is gelijk aan de gemiddelde interactie-opbrengst van i, gewogen naar de populatieomvang van soorten: Het aandeel van Strategie i op een volgend tijdstip t+1 is gelijk aan

47 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Flake: ecological world (ideal)

48 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Flake: ecological world (noise-free)

49 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Flake: ecological world (noise)

50 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Spatial iterated PD (SIPD) Initiële populatie: 60% coöperatief, rest verzaakt. Strategie per cel: 1.Concurreer met acht buren. 2.Adapteer strategie van meest succesvolle buur. Kleuren: –Blauw: blijft C –Rood: blijft D –Geel: D → C –Groen: C → D Interessante parameter: beloning om samen te werken α N.B. Het ruimtelijk IPD zoals te vinden in Netlogo ≠ het ruimtelijk IPD zoals dat beschreven is in het boek van Flake

51 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Doebeli et al. (1999): continuous spatial iterated PD (CSIPD) Strategie: bepaal investering I Winst(I) = Baten(I) – Kosten(I) Alle kosten zijn voor jezelf—alle baten gaan naar je buren. Stel, als voorbeeld –I 1 = 0.3 (voorheen: D) –I 2 = 0.5 (voorheen: C) –8 buren in grid, waarvan 6 x C Baten = Def 8(1 – e (– I) ) Ik( Andere 8 ) 6 x C2 x C C2214 D2415 Dit voorbeeld geeft een discrete (= geheeltallige) versie van het Prisoner’s Dilemma Kosten = Def 0.7 * I Max. winst Investering →

52 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

53 Waardoor samenwerking? I 1 < I 2 Als Groen van Rood wil winnen dan moet 6B(I 2 ) + 2B(I 1 ) – 8C(I 2 ) > 4B(I 2 ) + 4B(I 1 ) – 8C(I 1 ) Oftewel: B(I 2 ) – B(I 1 ) > 4(C(I 2 ) – C(I 1 )) Dit is precies het geval als B (een lineaire factor, hier: 4) harder stijgt dan C ↔ in het begin! I1I1 I1I1 I1I1 I1I1 I2I2 I2I2 I2I2 I2I2 I2I2 I2I2 I1I1 I2I2 Voor exacte uitwerking zie slides master seminar adaptive agents, “real-valued spatial games”slides master seminar adaptive agents, “real-valued spatial games”

54 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Samenvatting Centraal probleem: Hoe beweeg je individuen tot samenwerken als er verleidingen zijn om te verzaken? Stag Hunt: er zijn equilibria, t.w.: nooit samenwerken, altijd samenwerken en, met gemixte strategie, soms samenwerken. Chicken: er zijn equilibria. Geen symmetrisch equilibrium voor pure strategieën, wel voor scenario’s met gemixte strategieën (!) Prisoner’s: in 2-persoon scenario is er geen Pareto- optimale gedeelde strategie. Samenwerking kan alleen ontstaan als er herhaling, ruimte, continuïteit, reputatie, vertrouwen of super-rationaliteit in het model wordt ingebouwd.


Download ppt "Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk Inleiding adaptieve systemen Competitie en coöperatie."

Verwante presentaties


Ads door Google