Allard Kamphuisen Hado van Hasselt Wilco Broeders "Othello exposed" Allard Kamphuisen Hado van Hasselt Wilco Broeders

Inhoud presentatie Wilco: Korte uitleg spelregels Othello voor beginners Allard: De gebruikte heuristieken De representaties van de heuristieken Het zoekalgoritme Hado: Ervaring als heuristiek De voor en nadelen van een simpel lerend systeem

Othello spelregels 2 spelers zetten om en om een steen Stenen veranderen van kleur door insluiting Iedere zet minstens één steen insluiten Eindsituatie: als niet meer gezet kan worden Winnaar: degene met dan de meeste stenen

Maximum disc strategie Verkeerde strategie, gebruikt door vele beginners, waarbij men probeert in één beurt zoveel mogelijk stenen om te draaien. Stabiele stenen Stenen die op geen enkele manier kunnen worden veranderd, bijvoorbeeld de hoekstenen

Mobiliteit Een speler heeft een goede mobiliteit als hij een groot aantal mogelijke zetten tot zijn beschikking heeft. Grenzen De set van stenen die naast lege vakken staan.

De gebruikte heuristieken De representaties van de heuristieken Het zoekalgoritme

De gebruikte heuristieken Het verschil van de stenen De potentiële mobiliteit De werkelijke mobiliteit De gewogen vakjes

4 gebruikte representaties om de heuristieken te verwezenlijken Rep1: geeft de spelsituatie weer Rep2: levert de potentiële mobiliteit voor speler 1 Rep3: levert de potentiële mobiliteit voor speler 2 Rep4: houdt de gewogen vakjes bij

Representatie 1 2 1 werkelijke situatie Rep1 (0=leeg, 1=zwart, 2=wit)

Representatie 2 2 1 werkelijke situatie 1 2 werkelijke situatie Rep2 (0=leeg en geen mogelijke zet, 1=potentiële zet, 2=bezet) Door alle éénen van rep2 bij elkaar op te tellen, kan de potentiële mobiliteit van speler 1 worden berekend

Representatie 3 2 1 werkelijke situatie 2 1 werkelijke situatie Rep3 (0=leeg en geen mogelijke zet, 1=potentiële zet, 2=bezet) Door alle éénen van rep3 bij elkaar op te tellen, kan de potentiële mobiliteit van speler 2 worden berekend

Representatie 4 Merk op: hoeken zijn erg positief (3000) -100 200 -1000 Merk op: hoeken zijn erg positief (3000) vakjes omgrenzend aan de hoeken zijn negatief (-100 en -1000) randen zijn positief (200) De waarden van rep4 zorgen voor een grote voorkeur voor de hoeken en randen, maar een afkeur voor de vakjes daar net omheen

Samenvatting Het stenen verschil wordt dus m.b.v. rep1 berekend, de potentiële mobiliteit voor beide spelers m.b.v. rep2 en rep3, en rep4 zorgt voor de gewogen vakjes. Note: De werkelijke mobiliteit heeft geen aparte representatie nodig maar kan m.b.v. rep1 worden berekend.

Het zoekalgoritme Om een aantal zetten vooruit te kunnen kijken wordt er gebruik gemaakt van een minimax algoritme (met Alpha-Beta pruning) welke gebruik maakt van een zoekboom. Onderaan de boom (bij de leaves) wordt een evaluatie van de situatie (van iedere specifieke leaf) uitgevoerd m.b.v de bovengenoemde heuristieken. Hier komt een waarde uit welke vervolgens omhoog wordt geminimaxt om zo de beste zet te bepalen.

Minimax voorbeeld (matrix) H G F E D C B A 8 7 6 5 4 3 2 1 Codering van de tekstvakken

Minimax voorbeeld (boom) Huidige situatie Zet vooruit (speler 1: maximum) Zetten vooruit (speler 2: minimum) Evaluatie van spel -2530 +80 -210 situatie na 2e zet Conclusie: F4 heeft de hoogste waarde, dus is waarschijnlijk de beste zet.

Een Andere Aanpak: Een Lerend Systeem

In een data-bestandje, bv 1.txt: “..+00+00+00..” “..+00-01+00..”

Voorbeeld: 50ste Zet +35 -6 +5 -2 +0 +0 +2 +59 -10 -23 -2 +0 +0 -1 -19 -2 +2 +0 +0 +0 +0 +0 +0 +3 -2 +0 +0 +0 +0 +0 +0 +1 +3 +0 +0 +0 +0 +0 +0 +2 -4 +0 +2 +0 +0 +0 +0 +3 -5 -29 -5 +0 -1 -2 -33 -2 +24 -12 -4 +10 -4 -3 +2 +16

De cumulatieve waardes per veld voor alle zetten: +1020 -120 -10 +60 +60 -10 -120 +1020 -120 -330 -30 -40 -40 -30 -330 -120 -10 -30 +60 0 0 +60 -30 -10 +60 -40 0 0 0 0 -40 +60 +60 -40 0 0 0 0 -40 +60 -10 -30 +60 0 0 +60 -30 -10 -120 -330 -30 -40 -40 -30 -330 -120 +1020 -120 -10 +60 +60 -10 -120 +1020

Kan deze versie goed Othello spelen? Tegen ieder NIET lerend systeem wint dit systeem Tegen willekeur is het niet zo sterk Tegen mensen is het niet sterk Oplossing problemen: Een systeem met Heuristieken EN een lerend systeem

Conclusie: Ons programma (niet-lerend) kan redelijk spelen: - Verslaat menselijke spelers - Redelijk tegen goede progamma’s - Denkt (gecompileerd) 4 a 5 plies diep.