Divide and Conquer in Multi-agent Planning Multi-Agent Planning as the Process of Merging Distributed Sub-plans Eithan Ephrati and Jeffrey S. Rosenschein.

Presentatie over: "Divide and Conquer in Multi-agent Planning Multi-Agent Planning as the Process of Merging Distributed Sub-plans Eithan Ephrati and Jeffrey S. Rosenschein."— Transcript van de presentatie:

1 Divide and Conquer in Multi-agent Planning Multi-Agent Planning as the Process of Merging Distributed Sub-plans Eithan Ephrati and Jeffrey S. Rosenschein Samuel Gerssen David Solinger

2 Inleiding Multi-agent planning Een globaal doel splitsen in meerdere subdoelen en de meerdere plannen daarvoor weer samenvoegen Dóór meedere agents Vóór meerdere agents

3 Overzicht Complexiteit Subdoelen Algoritme Voorbeeld Beschouwingen

4 Complexiteit b = branch factor, d = probleemdiepte 1 voor 1:O(b d ) 1 voor n: O(n  b) d 1 voor n, subgoals:Σ i ((n  b i ) d i ), b i  b/n, d i  d/n n voor n:max i (n  b i ) d i

5 Subdoelen Het algoritme gaat ervan uit dat het probleem al in grounded subdoelen opgedeeld is. Soms is dit splitsen erg makkelijk, maar soms helemaal niet.

6 Subdoelen 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 1 ba c2 2 4 6 8 ba 34f d g e h ij f gh ij 4 6 8 10 12 b j h ih c de 12 14 16 18 acf jh ebd

7 Subdoelen Stap 1: Iteratief zoeken naar coherente instanties van subdoelen 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 bcfgh ij

8 Subdoelen Stap 2: Zoeken naar de beste interface punten 2 4 6 8 bcf gh ij 0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 bcfgh ij

9 Het Algoritme Stap 1 Stap 2 Stap 3 Stap 4 Stap 5 Stap 6 Stap 7 Agents maken eigen constraints + plan Elke agent dient lijst met constraints in Alle consistente combinaties worden bepaald Van elke mogelijkheid wordt de cost berekend... …en h’ De mogelijkheid met de laagste h’ wordt definitief De constraintlijst bevat nu alle subgoals

10 Definities ê 1 (g 1 ) is de verzameling constraints die nodig is voor een plan om tot subgoal g 1 te komen. ê 1 (g 1 ) is onderverdeeld in de subsets E 1 j, bestaande uit de verzameling constraints die realiseerbaar zijn na j stappen. P(E) is de optimale verzameling acties om tot constraint-set E te komen A k is de geaggregeerde set van constraints (alle opties), bestaande uit A j k voor alle j, A k+ is de meest optimale volgend de heuristiek.

11 Stap 1: elke agent maakt ê i (g i ),een lijst van constraints voor zijn eigen goal g i Stap 2: bij iteratie k declareert elke agent E k * (de gewenste extensie van constraints volgens ê i (g i ) die relevant is en nog niet geaccepteerd door de groep) Stap 3: de maximale consistente extensies van A k+ worden gegenereerd (alle mogelijke combinaties van constraints uit stap 2). De vereniging van de extensies met A k-1 vormen A j k-1. Stap 4: voor elke A j k (elk alternatief) worden de kosten van de extra operations berekend. Stap 5: voor elke A j k (elk alternatief) wordt de h j ’ (de heuristiek) berekend volgens A *. Stap 6: A k+ is de A j k met de beste (=laagste) h’. Terug naar stap 2 tenzij.. Stap 7: Alle ‘best plans’ zijn gevonden.

12 Het Voorbeeld 0 2 4 6 8 10 12 14 16 18 20 1 ba c2 Initial state 14 16 18 20 c b a Goal state 10 12 14 16 18 20 22 b a c 1 c b a 2 Plan 1Plan 2 g1 = {A(a,16), A(b,16), O(a,b,H)} g2 = {A(b,16), A(c,16), O(b,c,H)}

13 ê 1 (g 1 ) en ê 2 (g 2 ) zijn gedefinieerd 12345671234567 E g1 1 = E g2 1 = [C(c), C(b)] E x1 = A 1 1 = [C(c), C(b)] g(A 1 1 ) = 0 (initial state) f’(A 1 1 ) = 99 (individual estimate cost) A 1+ = A 1 1 = [C(c), C(b)] K=0K=1

14 K=2 12345671234567 E 1 * = E g1 2 = [A(a i,r(b)), C(c), C(b)] E 2 * = E g2 2 = [A(a i,r(c)), C(c), C(b)] E x1 = A 1 2 = [A(a i,r(b)), A(a i,r(c)), C(c), C(b)] E g1 1 = E g2 1 = [C(c), C(b)] E x1 = A 1 1 = [C(c), C(b)] g(A 1 1 ) = 0 (initial state) f’(A 1 1 ) = 99 (individual estimate cost) A 1+ = A 1 1 = [C(c), C(b)] g(A 1 2 ) = 7 f’(A 1 1 ) = 99 (agents bezig met eigen plan) A 2+ = A 1 2 = [A(a i,r(b)), A(a i,r(c)), C(c), C(b)]

15 K=2K=3 12345671234567 E 1 * = E g1 2 = [A(a i,r(b)), C(c), C(b)] E 2 * = E g2 2 = [A(a i,r(c)), C(c), C(b)] E x1 = A 1 2 = [A(a i,r(b)), A(a i,r(c)), C(c), C(b)] g(A 1 2 ) = 7 f’(A 1 1 ) = 99 (agents bezig met eigen plan) A 2+ = A 1 2 = [A(a i,r(b)), A(a i,r(c)), C(c), C(b)] E 1 * = E g1 3 = [A(b,16), C(c), C(b)] E 2 * = E g2 3 = [A(c,16), C(c), C(b)] E x1 = [A(b,16), C(c), C(b)] E x2 = [A(c,16), C(c), C(b)] E x3 = [A(c,16), A(b,16), C(b)] E x4 = [A(c,16), A(b,16), C(c)] g(A 1 3 ) = 31, g(A 2 3 ) = 15 g(A 3 3 ) = 39, g(A 4 3 ) = 39 f’(A 1 3 ) = 71, f’(A 2 3 ) = 83 f’(A 3 3 ) = 49 (=best), f’(A 4 3 ) = 73 A 3+ = A 3 3 = [A(b,16), A(c,16), C(b)]

16 K=3K=4 12345671234567 E 1 * = E g1 3 = [A(b,16), C(c), C(b)] E 2 * = E g2 3 = [A(c,16), C(c), C(b)] E x1 = [A(b,16), C(c), C(b)] E x2 = [A(c,16), C(c), C(b)] E x3 = [A(c,16), A(b,16), C(b)] E x4 = [A(c,16), A(b,16), C(c)] g(A 1 3 ) = 31, g(A 2 3 ) = 15 g(A 3 3 ) = 39, g(A 4 3 ) = 39 f’(A 1 3 ) = 71, f’(A 2 3 ) = 83 f’(A 3 3 ) = 49 (=best), f’(A 4 3 ) = 73 A 3+ = A 3 3 = [A(b,16), A(c,16), C(b)] E 1 * = E g1 6 = [A(b,16), C(a), C(b), A(a i,r(a))] E 2 * = E g2 5 = [A(c,16), A(b,16), O(b,c,H)] E x1 = A 1 4 = [A(b,16), C(a), C(b), A(a i,r(a)), A(c,16), O(b,c,H)] g(A 1 4 ) = 41 f’(A 1 4 ) = 60 (rigid policy) f’(A 1 4 ) = 42 (interactive policy) A 4+ = A 1 4 = [A(b,16), C(a), C(b), A(a i,r(a)), A(c,16), O(b,c,H)]

17 K=4K=5 12345671234567 E 1 * = E g1 6 = [A(b,16), C(a), C(b), A(a i,r(a))] E 2 * = E g2 5 = [A(c,16), A(b,16), O(b,c,H)] E x1 = A 1 4 = [A(b,16), C(a), C(b), A(a i,r(a)),A(c,16), O(b,c,H)] g(A 1 4 ) = 41 f’(A 1 4 ) = 60 (rigid policy) f’(A 1 4 ) = 42 (interactive policy) A 4+ = A 1 4 = [A(b,16), C(a), C(b), A(a i,r(a)), A(c,16), O(b,c,H)] E 1 * = [A(a,16), A(b,16), O(a,b,H)] = goal E 2 * = [A(b,16), A(c,16), O(b,c,H)] = goal E x1 = A 1 5 = [A(a,16), A(b,16), A(c,16), O(a,b,H), O(b,c,H)] g(A 1 5 ) = 45 Goal achieved Stop

18 A * Search Kostenfunctie f’ = g + h’ g zijn de tot nu toe gemaakte kosten bijvoorbeeld na stap 1: constraints worden satisfied door M 1 (0,4) kost 4, M 2 (9,12) kost 3, totale kosten 7, dus in stap 2 is g = 7

19 A * Search Kostenfunctie f’ = g + h’ h’ zijn de verwachte resterende kosten. Aan de hand van de nog niet satisfied constraints worden de kosten van de resterende plannen uitgerekend. Bijvoorbeeld, aan het begin is g = 0 en h’ = kosten van plan 1 + kosten van plan 2 h’ is een goede schatting (gebaseerd op de individuele plannen van a 1 en a 2 )

20 ‘Rigid’ vs. ‘Interactive’ Bij ‘rigid’ policy wordt heel strikt gekeken welke sets van constraints al vervuld zijn, en de kosten van de rest van het originele plan wordt h’. Bij ‘interactive’ policy wordt aan de hand van de reeds vervulde constraints een nieuw optimaal plan gezocht en die kosten worden h’. Bij interactive policy is h’ dus beter dan bij rigid policy, maar het is langzamer.

21 Optimaliteit Vier zaken die bijdragen aan niet-optimaliteit: Het splitsen op zichzelf Instantiatie van subdoelen Binding van interface punten Zoekalgoritme bij mergen

22 Optimaliteit kosten iteraties P* P(S)* P(S)

23 Dynamisch Het algoritme werkt goed in een dynamische omgeving. Bij verandering van het globale doel. Bij tegelijkertijd plannen en uitvoeren.

24 Dutch auction Wanneer agents liegen De agent met het laagste bod mag de operatie uitvoeren en krijgt daarvoor betaald het één na laagste bod

25 Dutch auction Werkelijke kosten X Stel agent A bied X-  om te ‘winnen’: –Als de andere agent (B) lager dan X biedt, dan maakt A verlies. –Als B hoger dan X, of X biedt, dan had A net zo goed X kunnen bieden.

26 Dutch auction Stel agent A bied X+  om meer te ‘verdienen: –Als B lager dan X biedt, dan maakt het voor A niets uit. –Als B hoger dan X, of X biedt en lager dan X+ , dan heeft A onnodig verlies. –Als B hoger dan X+  biedt, dan had A net zo goed X kunnen bieden

27 Einde Bedankt voor de aandacht. Zijn er nog Vragen ?