NP-volledigheid Algoritmiek. 2 Polynomiale algoritmen of moeilijke problemen? Algoritme A is polynomiaal, als er een constante c bestaat, zodat het algoritme.

Presentatie over: "NP-volledigheid Algoritmiek. 2 Polynomiale algoritmen of moeilijke problemen? Algoritme A is polynomiaal, als er een constante c bestaat, zodat het algoritme."— Transcript van de presentatie:

1 NP-volledigheid Algoritmiek

2 2 Polynomiale algoritmen of moeilijke problemen? Algoritme A is polynomiaal, als er een constante c bestaat, zodat het algoritme bij inputs van formaat n O(n c ) tijd gebruikt. Sommige problemen hebben een polynomiaal algoritme dat het oplost; voor andere is zo’n algoritme niet bekend. –NP-volledigheid: theorie die indicatie geeft dat bepaalde problemen geen polynomiaal algoritme hebben.

3 Algoritmiek3 Exponentiele problemen Er zijn problemen waarvoor bewezen kan worden dat elk algoritme voor die problemen exponentiele tijd gebruikt, bijv.: –Generalized Chess; Generalized Go (gegeneraliseerd naar borden van willekeurig formaat) Gegeven een positie in spel, heeft de aan zet zijnde speler een winnende strategie –… Maar … voor veel problemen hebben we niet zo’n bewijs…

4 Algoritmiek4 Het Handelsreizigersprobleem Gegeven: stel steden 1, … n. Voor elk paar steden i, j, een afstand d(i,j), getal K. Gevraagd: is er een route die in stad 1 begint, elke stad precies 1 keer bezoekt en weer in stad 1 eindigt, en totale lengte hooguit K heeft? 12 34 4 5 2 2 3 2 12 34 4 5 2 2 3 2 12 34 4 5 2 2 3 2 13 11

5 Algoritmiek5 Hamiltonian circuit Gegeven: Ongerichte graaf G=(N,A). Gevraagd: Is er een cycle in G, die elke knoop in G precies een keer bezoekt? Een graaf met een Hamiltonian circuit

6 Algoritmiek6 Subsetsum Gegeven getallen w 1, …, w n, W. Bestaat er een deelverzameling van de getallen w 1, …, w n, die som precies W heeft? Representatie: getallen in `binaire notatie’ Een O(nW) algoritme gebruikt exponentiele tijd in het aantal bits nodig om de input te noteren. Representatie: getallen in `binaire notatie’ Een O(nW) algoritme gebruikt exponentiele tijd in het aantal bits nodig om de input te noteren.

7 Algoritmiek7 Knapsack Een inbreker kan hooguit W gewicht dragen. Hij kan voorwerpen 1, …, n meenemen, met gewichten w 1, …, w n, en waardes v 1, …, v n. Alle gewichten en opbrengsten positieve gehele getallen. Gegeven ook getal K. Kan de inbreker minstens spullen van totaalwaarde K meenemen?

8 Algoritmiek8 Satisfiability Gegeven: logische expressie over Boolse variabelen. Gevraagd: kan aan de variabelen waardes true en false toegekend worden zodat de expressie waar wordt? (x 1 or not x 2 ) and (x 2 or not x 1 or x 3 ) and (not x 3 ) Wordt waar als we bijv. nemen: –x 1 = true; –x 2 = true; –x 3 = false

9 Algoritmiek9 3-kleuring Gegeven: graaf G=(N,A). Gevraagd: is er een functie N  {1,2,3}, zodat voor elke kant {v,w} geldt: –f(v)  f(w). 12 3 2 1 3 2

10 Algoritmiek10 ??? Voor elk van deze problemen: –Is er geen algoritme bekend dat het probleem oplost en (worst case) polynomiale tijd gebruikt. –Is er geen bewijs dat het probleem niet in polynomiale tijd op te lossen is. Er zijn nog veel meer problemen die zich net zo gedragen, uit allerlei toepassingen.

11 Algoritmiek11 Versies van problemen Beslissingsprobleem –Vb.: Gegeven n steden met afstand voor elk paar steden, en gegeven een getal k: is er een handelsreizigerstour met totale afstand hooguit k? Optimalisatieprobleem –Gegeven n steden met afstand voor elk paar steden, wat is de lengte van de kortste handelsreizigerstour? Constructieprobleem –Gegeven n steden met afstand voor elk paar steden, wat is de kortste handelsreizigerstour?

12 Algoritmiek12 Minstens zo moeilijk Stelling: Als er voor de optimalisatievariant (constructievariant) van het handelsreizigersprobleem een polynomiaal algoritme bestaat, dan bestaat er ook een polynomiaal algoritme voor de beslissingsvariant van het handelsreizigersprobleem. Wat lastiger, maar ook waar: in de andere richting.

13 Algoritmiek13 Over beslissingsproblemen Theorie van NP-volledigheid gaat met name over beslissingsproblemen. –Als we weten dat een beslissingsprobleem `moeilijk’ is, dan is de bijbehorende optimaliseringsvariant dat ook. Beslissingsprobleem kan je zien als verzameling: –Verzameling van instanties die ja als antwoord geven.

14 Algoritmiek14 P Definitie: Een beslissings-probleem behoort tot de klasse P als er een (deterministisch) algoritme is dat het probleem oplost, en dat polynomiale tijd gebruikt. Deze problemen horen tot de klasse P: –2-Kleuring : gegeven een graaf, is er een kleuring van de knopen met 2 kleuren zodat grenzende knopen verschillend zijn. –Kwadraat : gegeven een getal n, is n een kwadraat van een natuurlijk getal? –Priemgetal : gegeven n, is n een priemgetal? –Minimum Spanning Tree

15 Algoritmiek15 Bewijssysteem Veel problemen zijn van de vorm –Gegeven: …. –Gevraagd: bestaat er een …., zodat …. Bewijssysteem voor probleem X is verzameling F van paren, q  Q, voor een verzameling Q van bewijzen of certificaten, zodat –x  X  er bestaat een q met  F

16 Algoritmiek16 Voorbeelden van bewijssystemen Samengesteld getal : (Niet-Priemgetal) –Neem Q de verzameling getallen, en doe  F  q is een deler van x Hamiltonian Circuit : –Neem Q de verzameling permutaties van knopen, en doe  F   vormt een Hamiltonian circuit in G.

17 Soduku bewijssysteem: (, ) Algoritmiek17

18 Algoritmiek18 Definitie NP NP is de klasse van de beslissingsproblemen B waarvoor een bewijssysteem F bestaat, en een polynoom p(n), en een algoritme A, zodat –Voor alle mogelijke inputs x: er geldt: x  B   q:  F, en als x formaat n heeft, dan heeft q formaat hooguit p(n). –A controleert of voor gegeven x, q,  F. –A gebruikt polynomiale tijd

19 Algoritmiek19 Stellinkjes Stelling. De problemen Knapsack, Subsetsum, 3-kleuring, Satisfiability, Handelsreiziger, Hamiltonian circuit behoren allen tot de klasse NP. Stelling. P  NP NP komt van niet-deterministisch polynomiaal: gebaseerd op Turing machine model met `niet-deterministische berekeningen’.

20 Polynomiaal certificaat Eis: grootte certificaat moet begrensd zijn door polynoom in de inputgrootte Voorbeeld waar dit niet hoeft te gelden: Rush Hour (Schuifpuzzel; Rush Hour zit waarschijnlijk niet in NP). –Er zijn puzzels die exponentieel veel zetten hebben in een oplossing Algoritmiek20

21 Algoritmiek21 Interessant wetenschappelijk probleem Niet bekend: zijn P en NP aan elkaar gelijk? Veel wetenschappers denken van niet. Veel onderzoek is gedaan naar deze vraag! http://www.claymath.org/prizeproblems/pvsnp.htm : verdien een miljoen dollar door dit probleem op te lossen. ?

22 Allerlei gevolgen Als P=NP: –Allerlei moeilijke problemen kunnen dan wel in polynomiale tijd worden opgelost –Cryptografie wordt lastig Als P  NP –We weten dan voor veel problemen dat ze niet in polynomiale tijd kunnen worden opgelost Algoritmiek22

23 Algoritmiek23 Transformaties 1 Stelling: Als er een polynomiaal algoritme voor het Handelsreizigersprobleem bestaat, dan bestaat er een polynomiaal algoritme voor Hamiltonian circuit. Stel we hebben algoritme X voor Handelsreiziger. Neem input G=(N,A) voor Hamiltonian circuit. Maak input voor Hand.reiz.probl.: N verzameling steden d(v,w) = 1 als {v,w} in A d(v,w) = |N|+1 als {v,w} niet in A. Pas algoritme X op deze input toe. G heeft Hamiltonian circuit, desd als X een tour met lengte hooguit N toelaat.

24 Algoritmiek24 Transformaties 2 Stelling: Als er een polynomiaal algoritme voor het Knapsack probleem bestaat, dan bestaat er een polynomiaal algoritme voor Subsetsum. In feite is Subsetsum een speciaal geval, als voor elk voorwerp zijn gewicht gelijk is aan zijn waarde.

25 Algoritmiek25 3-SATISFIABILITY (ook: 3-SAT of SAT-3CNF) 3-SATISFIABILITY: –Eis dat de zin van de vorm is –C 1 en C 2 en … en C n (clauses) met elke C i van de vorm –(z i1 of z i2 of z i3 ) met elke z ij van de vorm: –Variable x a of negatie van variable: not(x a ) Vb: (x 1 of x 3 of not(x 2 )) en (not(x 2 ) of x 3 of not(x 1 )) Conjunctive Normal Form Conjunctive Normal Form

26 Algoritmiek26 Transformaties 3 Stelling: Als er een polynomiaal algoritme voor het 3-SATISFIABILITY probleem bestaat, dan bestaat er een polynomiaal algoritme voor het 3- kleuringsprobleem. Stel we hebben algoritme voor 3-SATISFIABILITY. Gegeven graaf G=(N,A). Neem variabelen x v,i, voor elke knoop v in N, i=1,2,3. Je kan een logische zin  in 3CNF maken, die waargemaakt kan worden, d.e.s.d. als G 3- kleurbaar is. (Op bord.) Pas algoritme voor Satisfiability op  toe.  is O(|N|+|A|) lang

27 Transformaties Elk van de bewijzen had een zelfde soort vorm: reductie: –Neem input x van probleem A We weten dat A moeilijk is –Vertaal input x naar een input y = f(x) van probleem B We willen bewijzen dat B moeilijk is Vertaling zodanig dat: –Gebruikt polynomiale tijd –Antwoorden (ja/nee) hetzelfde Algoritmiek27

28 Algoritmiek28 Definitie Laat Q en R twee (beslissings)problemen zijn. Q is polynomiaal reduceerbaar tot R, als er een algoritme A is, dat –Inputs voor Q afbeeldt op inputs voor R –Polynomiale tijd gebruikt –Voor alle x: x in Q  f(x) in R Notatie:

29 Algoritmiek29 Over polynomiale Turing reducties Als A  P B, en B kan worden opgelost in polynomiale tijd, dan kan A ook worden opgelost in polynomiale tijd. Dus ook: als A  P B, en er bestaat geen polynomiaal algoritme voor A, dan bestaat er ook geen polynomiaal algoritme voor B. We zagen al: –Ham. Circuit  P Handelsreizigersprobleem –SubsetSum  P Knapsack –3-kleuring  P Sat-3CNF

30 Algoritmiek30 Nog zo’n reductie Stelling 3-Satisfiability  T P 3-Kleuring Bewijs: Zij gegeven zin in 3CNF vorm, met variabelen x 1, …,x r. We maken nu een graaf: 1.Vertaal dat variabelen true of false kunnen zijn: truefalse C x1x1 not x 1 x2x2 not x 2 … We noemen de kleuren: C, true, false

31 Algoritmiek31 Vervolg reductie Voor elke clause voegen we stuk graaf met 6 knopen en wat kanten toe. De graaf is precies 3- kleurbaar, desd als aan de variabelen true en false kan worden toegekend zodat de zin waar wordt. true C = een van de literals uit de clause

32 Algoritmiek32 Satisfiability en 3-SAT zijn `even moeilijk’ 3-Satisfiability  P 3-Kleuring 3-Kleuring  P 3-Satisfiability Dus: er is een polynomiaal algoritme voor 3- kleuring, desd als er een polynomiaal algoritme is voor 3-Satisfiability.

33 Algoritmiek33 NP-volledigheid Een probleem A is NP-volledig, als –A behoort tot de klasse NP –Voor elk probleem B in NP geldt: B  P A `Moeilijkste’ problemen in NP. Stelling: Als A NP-volledig, en er is een polynomiaal algoritme voor A, dan is er een polynomiaal algoritme voor elk probleem in NP.

34 Algoritmiek34 Stelling van Cook (1971) (3)-Satisfiability is NP-volledig. Hoe bewijs je nog meer problemen NP-volledig? Stelling Stel A is NP-volledig. Stel beslissingsprobleem B zit in NP, en A  T P B. Dan is B ook NP-volledig. Geeft manier om voor meer problemen te bewijzen dat ze NP-volledig zijn

35 Algoritmiek35 Meer NP-volledige problemen Stelling: 3-Kleuring is NP-volledig. Bewijs: 3-Kleuring  NP. 3-SAT is NP- volledig. 3-SAT  P 3-Kleuring. Stelling: Hamiltonian circuit, Handelsreiziger, Knapsack, Subsetsum, Satisfiability (en duizenden andere problemen uit allerlei toepassingen) zijn allemaal NP-volledig. Bewijs: steeds met behulp van reducties met problemen die al eerder bewezen waren NP- volledig te zijn.

36 Algoritmiek36 Gevolgen Als P = NP: –Dan zijn alle problemen in NP, dus ook alle NP-volledige problemen op te lossen in polynomiale tijd. Maar … veel wetenschappers denken dat dit niet zo is. Als P  NP: –Dan is geen enkel NP-volledig probleem op te lossen in polynomiale tijd.

37 Algoritmiek37 Venn-diagram als P  NP P NP-volledige problemen NP …

38 Algoritmiek38 Gevolgen 2 Als bekend is dat een probleem NP-volledig is, dan: –Weten we dat het onwaarschijnlijk is dat er een polynomiaal algoritme voor bestaat, –Het in elk geval dat het vreselijk moeilijk zal zijn om zo’n algoritme te vinden. Want als we zo’n polynomiaal algoritme gevonden hebben, dan hebben we bewezen P=NP. (Kassa!) –Moeten we dus zoeken naar alternatieve aanpakken: Speciale gevallen, benaderingsalgoritmen, slimme vormen van exponentiele algoritmen, etc.

39 Hoe maak je een NP- volledigheidsbewijs? Stel, we willen bewijzen: probleem Q is NP-volledig Stap 1: toon aan: probleem Q in NP. (Vaak makkelijk, zelfs trivaal) Stap 2: –Neem een NP-volledig probleem R –Geef een algoritme A dat een input voor R vertaalt naar een input voor Q Algoritme moet polynomiale tijd gebruiken –Bewijs: R(x) d.e.s.d. als Q(A(x)) Veel gemaakte fout: verkeerde kant op…  Algoritmiek39

40 Algoritmiek40 Subsetsum Gegeven getallen a 1, …, a n, B. Bestaat er een deelverzameling van de getallen a 1, …, a n, die som precies B heeft? Representatie: getallen in `binaire notatie’ Een O(nB) algoritme gebruikt exponentiele tijd in het aantal bits nodig om de input te noteren. Representatie: getallen in `binaire notatie’ Een O(nB) algoritme gebruikt exponentiele tijd in het aantal bits nodig om de input te noteren.

41 Voorbeeld bewijs Stelling. SubsetSum is NP-volledig Bewijs. –SubsetSum is in NP (want …) –Bewijs met reductie vanuit 3-Satisfiability –Neem een Boolse expressie in conjunctive normaalvorm, met 3 literals per clause Stel met m clauses en n variabelen Algoritmiek41

42 Notatie We gaan getallen decimaal noteren Voor elke variabele en voor elke clause hebben we een digit Voor elke variabele nemen we twee getallen: eentje voor true, en eentje voor false: –0 op een digit, behalve: 1 voor de digit van de variabele 1 als de literal de clause waarmaak Voor elke clause 2 dezelfde getallen, met 0 op alle digits behalve die van de clause Doelgetal: B = 333….333111…111 (clauses; variabelen) Algoritmiek42

43 Voorbeeld (x 1 or not(x 2 ) or x 4 ) and (not(x 1 ) or x 3 or x 4 ) and (x 2 or not(x 3 ) or not(x 4 ) Variabele-getallen: 1001000 (x 1 ); 0101000 (not(x 1 )); 0010100; 1000100; 01000010; 0010010; 1100001; 0010001; Clause-getallen: 1000000; 1000000; 0100000; 010000; 0010000; 0010000 Doelgetal: B = 3331111 Algoritmiek43

44 Correcte transformatie (schets bewijs) De formule kan waargemaakt worden, dan en slechts dan als een deelverzameling van de getallen bestaat met som B => Kies alle getallen die corresponderen met hoe je de variabele kiest; maak de som kloppend met clause-getallen die maakt de clause waar. Algoritmiek44

45 Algoritmiek45 Knapsack Een inbreker kan hooguit W gewicht dragen. Hij kan voorwerpen 1, …, n meenemen, met gewichten w 1, …, w n, en waardes v 1, …, v n. Alle gewichten en opbrengsten positieve gehele getallen. Gegeven ook getal K. Kan de inbreker minstens spullen van totaalwaarde K meenemen?

46 Knapsack Stelling. Knapsack is NP-volledig Nu we SubsetSum hebben is dit relatief makkelijk… Algoritmiek46

47 Bewijs Knapsack in NP, want we kunnen in polynomiale tijd voor een verzameling het totaalgewicht en de totale waarde uitrekenen en vergelijken met W en K Reductie vanuit SubsetSum : als we a 1, …, a n, B hebben, nemen we: –Voorwerpen met waarde a i en gewicht a i –W=K=B Algoritmiek47

48 Algoritmiek48 Achtergronden Discussie: sterk en zwak NP-volledig Cook bewees 3- Satisfiability NP-volledig. Het bewijs gebruikt Turing machines. Zelfde resultaat, gelijkertijd, verkregen door Levin. Veel onderzoek gedaan naar P=NP vraag, maar nog geen oplossing. –O.a.: Millenium probleem Clay Math. Inst. –Veel wetenschappelijke artikelen, boeken, …