zoeken met opponent-modellen Jeroen Donkers IKAT, Vakgroep Informatica, Universiteit Maastricht Promotor: H.J. van den Herik Co-promotor: J.W.H.M. Uiterwijk

Inhoud Het domein Zoeken met opponent-modellen Onderzoeksvraag Theoretische en experimentele resultaten Conclusies

Het domein Kunstmatige Intelligentie = het verrichten van taken door computers die als typisch menselijk worden (werden) gezien Het spelen van bordspelen zoals schaken is een geliefd studiedomein In dit domein zijn al grote successen behaald (denk aan Deep Blue)

Het domein Spelen vormen een gesloten en goed beschreven domein (vanwege de spelregels) We beperken ons hier tot spelen: voor twee spelers (die om de beurt zetten) zonder verborgen informatie zonder kansaspect (dobbelstenen) waarbij als één speler wint, de ander verliest Bijv. Schaken, Lines of Action, Bao

Een voorbeeld: Nim-5 Neem om de beurt 1, 2 of 3 lucifers Degene die de laatste lucifer pakt, wint

Een voorbeeld: Nim-5

Een voorbeeld: Nim-5

Een voorbeeld: Nim-5

Een voorbeeld: Nim-5 Winnaar

Zoekboom De computer speelt het spel door eerst alle mogelijkheden voor beide spelers in een boom-vorm te representeren:

Zoekboom 4 3 2 1 5 2 1 3 Stap 1: uitkomsten bepalen (vanuit speler “groen”)

Zoekboom 5 4 3 2 3 2 1 2 1 1 2 1 1 1 1 Stap 2: uitkomsten terugvoeren 1 1 2 1 2 1 1 2 1 1 3 2 1 1 1 1 2 1 1 1 1 1 –1 Stap 2: uitkomsten terugvoeren +1 +1 –1

Zoekboom 5 1 2 3 4 3 2 1 2 3 1 2 3 1 2 3 2 1 2 1 1 1 2 1 2 1 1 2 1 1 3 2 1 1 1 1 2 1 1 1 1 1 +1 –1 +1 –1

Zoekboom Groen kan altijd winnen! +1 +1 –1 –1 +1 +1 +1 +1 +1 –1 +1 –1 2 3 +1 –1 –1 1 2 3 1 2 3 1 2 +1 +1 +1 +1 +1 –1 +1 –1 2 1 2 1 1 2 1 1 1 3 –1 –1 +1 –1 +1 +1 –1 +1 +1 +1 1 2 1 1 1 +1 –1 –1 –1 –1 1 +1 +1 –1 –1 +1 –1 +1 +1 –1 +1 +1 –1 +1 –1

Zoekboom Stap 3: optimale strategie bepalen +1 +1 –1 –1 +1 +1 +1 +1 +1 2 3 +1 –1 –1 1 2 3 1 2 3 1 2 +1 +1 +1 +1 +1 –1 +1 –1 2 1 2 1 1 2 1 1 1 3 –1 –1 +1 –1 +1 +1 –1 +1 +1 +1 1 2 1 1 1 +1 –1 –1 –1 –1 1 +1 Stap 3: optimale strategie bepalen

Heuristisch zoeken Voor interessante spelen zoals schaak kan de zoekboom onmogelijk volledig worden opgesteld Daarom wordt de boom “afgekapt” op een zekere diepte Bovendien wordt er in de boom “gesnoeid” om de efficiëntie te verhogen

Heuristisch zoeken Bij het afkappen van de boom .25 1 2 3 .25 –1 –1 1 2 3 1 2 3 1 2 .25 .33 .5 .33 .5 –1 .5 –1 Bij het afkappen van de boom wordt een heuristische evaluatiefunctie gebruikt in plaats van de echte uitkomst

Opponent-modellen De evaluatiefunctie bepaalt in grote mate de strategie van een speler De evaluatiefunctie kan daarom als opponent-model dienen Stel dat we de evaluatiefunctie van de tegenstander kennen, kunnen we er dan ons voordeel mee doen?

Opponent-Model Search Iida et al (`93) Carmel & Markovitch (`93) Een zoekmethode die er vanuit gaat dat de evaluatiefunctie van de opponent bekend is: voorspelt eerst welke zet een opponent zou doen met deze evaluatiefunctie kiest dan op basis van de eigen evaluatiefunctie welke eigen zet het beste lijkt

Probabilistic Opponent-Model Search Donkers et al (2000) Het opponent-model is een mix van een aantal opponent-types, ieder met een eigen evaluatiefunctie De werking is verder ongeveer gelijk aan die van Opponent-Model Search: eerst voorspellen en dan een eigen keuze maken

Onderzoeksvraag Onder welke condities kunnen OM search en PrOM search het spelen door computers verbeteren Er is zowel theoretisch als empirisch onderzoek gedaan

Theoretische resultaten Er bestaat een manier om beide zoekmethoden efficiënt te programmeren, maar: PrOM Search kost meer rekentijd dan OM Search voor de zelfde zoekboom Beide methoden kosten veel meer rekentijd dan de traditionele aanpak

Theoretische resultaten OM Search heeft last van risico’s, een aantal daarvan waren al bekend: het opponent-model kan verkeerd zijn de voorspellingen kunnen fout zijn de eigen evaluatiefunctie kan slechter zijn dan die van de tegenstander Maar er is een extra risico:

Theoretische resultaten Overschattingen in de eigen evaluatiefunctie kunnen leiden tot rampen: de opponent wordt gelokt naar een positie waarvan je onterecht verwacht dat die heel aantrekkelijk is de opponent weet wel beter en gaat fluitend met je mee hoe groter de overschatting, hoe liever je er heen wilt...

Experimentele resultaten Wanneer je OM Search onbezonnen toepast, zijn de resultaten zeer slecht, vergeleken met de traditionele aanpak: kost meer rekentijd je verliest vaker, zelfs met perfecte kennis van de opponent PrOM Search is wel veiliger, maar kost ook veel meer rekentijd

Experimentele resultaten OM Search werkt redelijk als: je absolute kennis hebt (eindspel) je perfecte kennis van de opponent hebt je niet zomaar overschattingen maakt je extra tijd hebt om goed te voorspellen PrOM Search presteert dan over het algemeen beter dan OM Search, heel soms zelfs beter dan de traditionele aanpak

Conclusies Onbezonnen toepassen van OM Search en PrOM search is onverstandig Het is niet alleen belangrijk de opponent goed te kennen (Nosce Hostem), je moet ook je eigen evaluatiefunctie goed kennen (Nosce Te Ipsum)

Thales van Milete (640 vC)

Soen Tzoe (500 vC) “Ken uw vijand, ken u zelf en uw overwinning is onbedreigd.”