NP-volledigheid Algoritmiek.

Presentatie over: "NP-volledigheid Algoritmiek."— Transcript van de presentatie:

1 NP-volledigheid Algoritmiek

2 Polynomiale algoritmen of moeilijke problemen?
Algoritme A is polynomiaal, als er een constante c bestaat, zodat het algoritme bij inputs van formaat n O(nc) tijd gebruikt. Sommige problemen hebben een polynomiaal algoritme dat het oplost; voor andere is zo’n algoritme niet bekend. NP-volledigheid: theorie die indicatie geeft dat bepaalde problemen geen polynomiaal algoritme hebben. Algoritmiek

3 Exponentiele problemen
Er zijn problemen waarvoor bewezen kan worden dat elk algoritme voor die problemen exponentiele tijd gebruikt, bijv.: Generalized Chess; Generalized Go (gegeneraliseerd naar borden van willekeurig formaat) Gegeven een positie in spel, heeft de aan zet zijnde speler een winnende strategie … Maar … voor veel problemen hebben we niet zo’n bewijs… Algoritmiek

4 Moeilijk probleem 1: Het Handelsreizigersprobleem
2 3 4 5 Gegeven: stel steden 1, … n. Voor elk paar steden i, j, een afstand d(i,j), getal K. Gevraagd: is er een route die in stad 1 begint, elke stad precies 1 keer bezoekt en weer in stad 1 eindigt, en totale lengte hooguit K heeft? 4 4 1 2 1 2 3 3 2 2 5 De tweede route is dus beter dan de eerste. We zoeken de kortste route, dat is hier dus : 1, 2, 3, 4. In ‘t Engels: TSP: Travelling Salesman Problem, of: Travelling Sales Person problem. 5 2 2 3 3 4 2 4 2 13 11 Algoritmiek

5 Moeilijk probleem 2: Hamiltonian circuit
Gegeven: Ongerichte graaf G=(N,A). Gevraagd: Is er een cycle in G, die elke knoop in G precies een keer bezoekt? Een graaf met een Hamiltonian circuit Algoritmiek

6 Moeilijk probleem 3: Subsetsum
Gegeven getallen w1, …, wn, W. Bestaat er een deelverzameling van de getallen w1, …, wn, die som precies W heeft? Representatie: getallen in `binaire notatie’ Een O(nW) algoritme gebruikt exponentiële tijd in het aantal bits nodig om de input te noteren. We zien later: als Jim de gewichten afrondt, dan maakt hij een niet al te grote fout! En kan hij DP gebruiken. Algoritmiek

7 Moeilijk probleem 4: Knapsack
Een inbreker kan hooguit W gewicht dragen. Hij kan voorwerpen 1, … , n meenemen, met gewichten w1, …, wn, en waardes v1, …, vn. Alle gewichten en opbrengsten positieve gehele getallen. Gegeven ook getal K. Kan de inbreker minstens spullen van totaalwaarde K meenemen? Ook hier: notatie van getallen binair; dus O(Wn) is exponentieel in inputgrootte Algoritmiek

8 Moeilijk probleem 5: Satisfiability
Gegeven: logische expressie over Boolse variabelen. Gevraagd: kan aan de variabelen waardes true en false toegekend worden zodat de expressie waar wordt? (x1 or not x2) and (x2 or not x1 or x3) and (not x3) Wordt waar als we bijv. nemen: x1 = true; x2 = true; x3 = false Algoritmiek

9 Moeilijk probleem 6: 3-kleuring
Gegeven: graaf G=(N,A). Gevraagd: is er een functie N ® {1,2,3}, zodat voor elke kant {v,w} geldt: f(v) ¹ f(w). 1 2 2 3 3 1 2 Algoritmiek

10 ??? Voor elk van deze problemen:
Is er geen algoritme bekend dat het probleem oplost en (worst case) polynomiale tijd gebruikt. Is er geen bewijs dat het probleem niet in polynomiale tijd op te lossen is. Er zijn nog veel meer problemen die zich net zo gedragen, uit allerlei toepassingen. Algoritmiek

11 Versies van problemen Beslissingsprobleem
Vb.: Gegeven n steden met afstand voor elk paar steden, en gegeven een getal k: is er een handelsreizigerstour met totale afstand hooguit k? Optimalisatieprobleem Gegeven n steden met afstand voor elk paar steden, wat is de lengte van de kortste handelsreizigerstour? Constructieprobleem Gegeven n steden met afstand voor elk paar steden, wat is de kortste handelsreizigerstour? Algoritmiek

12 Minstens zo moeilijk Stelling: Als er voor de optimalisatievariant (constructievariant) van het handelsreizigersprobleem een polynomiaal algoritme bestaat, dan bestaat er ook een polynomiaal algoritme voor de beslissingsvariant van het handelsreizigersprobleem. Wat lastiger, maar ook waar: in de andere richting. Algoritmiek

13 Over beslissingsproblemen
Theorie van NP-volledigheid gaat met name over beslissingsproblemen. Als we weten dat een beslissingsprobleem `moeilijk’ is, dan is de bijbehorende optimaliseringsvariant dat ook. Beslissingsprobleem kan je zien als verzameling: Verzameling van instanties die ja als antwoord geven. Algoritmiek

14 Klassen van problemen We definiëren drie klassen problemen:
P (“makkelijk” – polynomiaal) NP (“verifieerbaar”; “kleine certificaten”) NP-volledig (“moeilijk”) Er bestaan nog heel veel andere klassen (met andere eigenschappen…) Algoritmiek

15 P Definitie: Een beslissings-probleem behoort tot de klasse P als er een (deterministisch) algoritme is dat het probleem oplost, en dat polynomiale tijd gebruikt. Deze problemen horen tot de klasse P: 2-Kleuring: gegeven een graaf, is er een kleuring van de knopen met 2 kleuren zodat grenzende knopen verschillend zijn. Kwadraat: gegeven een getal n, is n een kwadraat van een natuurlijk getal? Priemgetal: gegeven n, is n een priemgetal? Minimum Spanning Tree: Gegeven een samenhangende graaf G met gewichten op de kanten en integer K; heeft G een opspannende boom met totaal gewicht hooguit K? Algoritmiek

16 NP Intuitie: “een oplossing is makkelijk te controleren”
Formele definitie gaat met “bewijssysteem” Algoritmiek

17 Bewijssysteem Veel problemen zijn van de vorm Gegeven: ….
Gevraagd: bestaat er een …., zodat …. Bewijssysteem voor probleem X is verzameling F van paren <x,q>, q Î Q, voor een verzameling Q van bewijzen of certificaten, zodat x Î X Û er bestaat een q met <x,q> Î F Algoritmiek

18 Voorbeelden van bewijssystemen
Samengesteld getal: (Niet-Priemgetal) Neem Q de verzameling getallen, en doe <x,q>Î F Û q is een deler van x Hamiltonian Circuit: Neem Q de verzameling permutaties van knopen, en doe <G,p>Î F Û p vormt een Hamiltonian circuit in G. Knapsack, 3-kleuring, Satisfiability ook in NP. Controleer maar! Algoritmiek

19 Soduku bewijssysteem:
( , ) Algoritmiek

20 Definitie NP NP is de klasse van de beslissingsproblemen B waarvoor een bewijssysteem F bestaat, en een polynoom p(n), en een algoritme A, zodat Voor alle mogelijke inputs x: er geldt: x Î B Û $ q: <x,q> Î F, en als x formaat n heeft, dan heeft q formaat hooguit p(n). A controleert of voor gegeven x, q, <x,q> Î F. A gebruikt polynomiale tijd Staat helaas fout in het boek. Algoritmiek

21 In woorden NP: de problemen waar je oplossingen (certificaten / bewijzen) voor hebt: In polynomiale tijd te controleren Antwoord ja: er bestaat een oplossing met polynomiaal formaat Antwoord nee: er bestaat geen oplossing Algoritmiek

22 Stellinkjes Stelling. De problemen Knapsack, Subsetsum, 3-kleuring, Satisfiability, Handelsreiziger, Hamiltonian circuit behoren allen tot de klasse NP. Stelling. P Í NP NP komt van niet-deterministisch polynomiaal: gebaseerd op Turing machine model met `niet-deterministische berekeningen’. Algoritmiek

23 Polynomiaal certificaat
Eis: grootte certificaat moet begrensd zijn door polynoom in de inputgrootte Voorbeeld waar dit niet hoeft te gelden: Rush Hour (Schuifpuzzel; Rush Hour zit waarschijnlijk niet in NP). Er zijn puzzels die exponentieel veel zetten hebben in een oplossing CC BY-SA 3.0, Algoritmiek

24 Interessant wetenschappelijk probleem
Niet bekend: zijn P en NP aan elkaar gelijk? Veel wetenschappers denken van niet. Veel onderzoek is gedaan naar deze vraag! : verdien een miljoen dollar door dit probleem op te lossen. ? Algoritmiek

25 Allerlei gevolgen Als P=NP:
Allerlei moeilijke problemen kunnen dan wel in polynomiale tijd worden opgelost Cryptografie wordt lastig Als P ¹ NP We weten dan voor veel problemen dat ze niet in polynomiale tijd kunnen worden opgelost Algoritmiek

26 Transformaties 1 Stelling: Als er een polynomiaal algoritme voor het Handelsreizigersprobleem bestaat, dan bestaat er een polynomiaal algoritme voor Hamiltonian circuit. Stel we hebben algoritme X voor Handelsreiziger. Neem input G=(N,A) voor Hamiltonian circuit. Maak input voor Hand.reiz.probl.: N verzameling steden d(v,w) = 1 als {v,w} in A d(v,w) = |N|+1 als {v,w} niet in A. Pas algoritme X op deze input toe. G heeft Hamiltonian circuit, desd als X een tour met lengte hooguit N toelaat. Algoritmiek

27 Bewijsmethode Polynomiale reductie: Methode die:
Krijgt een input van probleem A Van A weten we al dat het moeilijk is Geeft een input van probleem B We willen bewijzen dat B ook moeilijk is Zodat “antwoord (ja/nee) niet veranderd” In polynomiale tijd werkt Algoritmiek

28 Definitie Laat Q en R twee (beslissings)problemen zijn. Q is polynomiaal reduceerbaar tot R, als er een algoritme A is, dat Inputs voor Q afbeeldt op inputs voor R Polynomiale tijd gebruikt Voor alle x: x in Q  f(x) in R Notatie: Algoritmiek

29 Stellingen Stelling 1. Als Q £P R, en Q kan worden opgelost in polynomiale tijd, dan kan R ook worden opgelost in polynomiale tijd. Neem een input van R. Transformeer naar input van Q. Los die op. Geef dat antwoord. Dit is een correct, polynomiaal algoritme. Stelling 2. Als Q £P R, en R kan niet worden opgelost in polynomiale tijd, dan kan Q ook niet worden opgelost in polynomiale tijd. Volgt direct uit Stelling 1 Algoritmiek

30 Transformaties 2 Stelling: Subsetsum £P Knapsack
Bewijs: neem input van Subsetsum. Neem voor ieder getal a(i) een voorwerp met waarde a(i) en gewicht a(i). Zet K=W Algoritmiek

31 3-SATISFIABILITY (ook: 3-SAT of SAT-3CNF)
Eis dat de zin van de vorm is C1 en C2 en … en Cn (clauses) met elke Ci van de vorm (zi1 of zi2 of zi3) met elke zij van de vorm: Variable xa of negatie van variable: not(xa) Vb: (x1 of x3 of not(x2)) en (not(x2) of x3 of not(x1)) Conjunctive Normal Form Algoritmiek

32 Transformaties 3 Stelling: 3-Kleuring £P 3-Satisfiability
Gegeven graaf G=(N,A). Neem variabelen xv,i, voor elke knoop v in N, i=1,2,3. Je kan een logische zin g in 3CNF maken, die waargemaakt kan worden, d.e.s.d. als G 3-kleurbaar is. (Schets op bord.) Pas algoritme voor Satisfiability op g toe. g is O(|N|+|A|) lang Algoritmiek

33 Nog zo’n reductie Stelling 3-Satisfiability £P 3-Kleuring
Bewijs: Zij gegeven zin in 3CNF vorm, met variabelen x1 , …,xr. We maken nu een graaf: Vertaal dat variabelen true of false kunnen zijn: true false We noemen de kleuren: C, true, false C x1 not x1 x2 not x2 … Algoritmiek

34 Vervolg reductie Voor elke clause voegen we stuk graaf met 6 knopen en wat kanten toe. De graaf is precies 3-kleurbaar, desd als aan de variabelen true en false kan worden toegekend zodat de zin waar wordt. C true = een van de literals uit de clause Algoritmiek

35 Satisfiability en 3-SAT zijn `even moeilijk’
3-Satisfiability £P 3-Kleuring 3-Kleuring £P 3-Satisfiability Dus: er is een polynomiaal algoritme voor 3-kleuring, dan en slechts dan als er een polynomiaal algoritme is voor 3-Satisfiability. Algoritmiek

36 NP-volledigheid Een probleem A is NP-volledig, als
A behoort tot de klasse NP Voor elk probleem B in NP geldt: B £P A `Moeilijkste’ problemen in NP. Stelling: Als A NP-volledig, en er is een polynomiaal algoritme voor A, dan is er een polynomiaal algoritme voor elk probleem in NP. Algoritmiek

37 Stelling van Cook (1971) (3)-Satisfiability is NP-volledig.
Knap bewijs met behulp van Turing machines Hoe bewijs je nog meer problemen NP-volledig? Stelling Stel A is NP-volledig. Stel beslissingsprobleem B zit in NP, en A £TP B. Dan is B ook NP-volledig. Geeft manier om voor meer problemen te bewijzen dat ze NP-volledig zijn Algoritmiek

38 Meer NP-volledige problemen
Stelling: 3-Kleuring is NP-volledig. Bewijs: 3-Kleuring Î NP. 3-SAT is NP-volledig. 3-SAT £P 3-Kleuring. Stelling: Hamiltonian circuit, Handelsreiziger, Knapsack, Subsetsum, Satisfiability (en duizenden andere problemen uit allerlei toepassingen) zijn allemaal NP-volledig. Bewijs: steeds met behulp van reducties met problemen die al eerder bewezen waren NP-volledig te zijn. Algoritmiek

39 Gevolgen Als P = NP: Dan zijn alle problemen in NP, dus ook alle NP-volledige problemen op te lossen in polynomiale tijd. Maar … veel wetenschappers denken dat dit niet zo is. Als P ¹ NP: Dan is geen enkel NP-volledig probleem op te lossen in polynomiale tijd. Algoritmiek

40 NP-volledige problemen
Venn-diagram als P ¹ NP … P NP-volledige problemen NP Algoritmiek

41 Gevolgen 2 Als bekend is dat een probleem NP-volledig is, dan:
Weten we dat het onwaarschijnlijk is dat er een polynomiaal algoritme voor bestaat, Het in elk geval dat het vreselijk moeilijk zal zijn om zo’n algoritme te vinden. Want als we zo’n polynomiaal algoritme gevonden hebben, dan hebben we bewezen P=NP. (Kassa!) Moeten we dus zoeken naar alternatieve aanpakken: Speciale gevallen, benaderingsalgoritmen, slimme vormen van exponentiele algoritmen, etc. Algoritmiek

42 Hoe maak je een NP-volledigheidsbewijs?
Stel, we willen bewijzen: probleem Q is NP-volledig Stap 1: toon aan: probleem Q in NP. (Vaak makkelijk, zelfs trivaal) Stap 2: Neem een NP-volledig probleem R Geef een algoritme A dat een input voor R vertaalt naar een input voor Q Algoritme moet polynomiale tijd gebruiken Bewijs: R(x) d.e.s.d. als Q(A(x)) Veel gemaakte fout: verkeerde kant op…  Algoritmiek

43 Subsetsum Gegeven getallen a1, …, an, B.
Bestaat er een deelverzameling van de getallen a1, …, an, die som precies B heeft? Representatie: getallen in `binaire notatie’ Een O(nB) algoritme gebruikt exponentiele tijd in het aantal bits nodig om de input te noteren. We zien later: als Jim de gewichten afrondt, dan maakt hij een niet al te grote fout! En kan hij DP gebruiken. Algoritmiek

44 Voorbeeld bewijs Stelling. SubsetSum is NP-volledig Bewijs.
SubsetSum is in NP (want …) Bewijs met reductie vanuit 3-Satisfiability Neem een Boolse expressie in conjunctive normaalvorm, met 3 literals per clause Stel met m clauses en n variabelen Algoritmiek

45 Notatie We gaan getallen decimaal noteren
Voor elke variabele en voor elke clause hebben we een digit Voor elke variabele nemen we twee getallen: eentje voor true, en eentje voor false: 0 op een digit, behalve: 1 voor de digit van de variabele 1 als de literal de clause waarmaak Voor elke clause 2 dezelfde getallen, met 0 op alle digits behalve die van de clause Doelgetal: B = 333… …111 (clauses; variabelen) Algoritmiek

46 Voorbeeld (x1 or not(x2) or x4) and (not(x1) or x3 or x4) and (x2 or not(x3) or not(x4) Variabele-getallen: (x1); (not(x1)); ; ; ; ; ; ; Clause-getallen: ; ; ; ; ; Doelgetal: B = Algoritmiek

47 Correcte transformatie (schets bewijs)
De formule kan waargemaakt worden, dan en slechts dan als een deelverzameling van de getallen bestaat met som B => Kies alle getallen die corresponderen met hoe je de variabele kiest; maak de som kloppend met clause-getallen <= Geen enkele keuze geeft ooit een “carry”. Je moet dus van elk paar voor een variabele er precies 1 kiezen. Zet de variabelen op die manier waar/onwaar. Nu moet elke clause vervuld zijn: de digit is 3, en hooguit 2 ervan kunnen van clause-getallen komen, dus eentje van een variabele getal -> die maakt de clause waar. Algoritmiek

48 Knapsack Een inbreker kan hooguit W gewicht dragen. Hij kan voorwerpen 1, … , n meenemen, met gewichten w1, …, wn, en waardes v1, …, vn. Alle gewichten en opbrengsten positieve gehele getallen. Gegeven ook getal K. Kan de inbreker minstens spullen van totaalwaarde K meenemen? Ook hier: notatie van getallen binair; dus O(Wn) is exponentieel in inputgrootte Algoritmiek

49 Knapsack Stelling. Knapsack is NP-volledig
Nu we SubsetSum hebben is dit relatief makkelijk… Algoritmiek

50 Bewijs Knapsack in NP, want we kunnen in polynomiale tijd voor een verzameling het totaalgewicht en de totale waarde uitrekenen en vergelijken met W en K Reductie vanuit SubsetSum: als we a1, …, an, B hebben, nemen we: Voorwerpen met waarde ai en gewicht ai W=K=B Algoritmiek

51 Sterk en zwak NP-volledig
Subsetsum kan in O(nW) tijd worden opgelost, maar is toch NP-volledig Hoe zit dat? Algoritmiek

52 Sterk en zwak NP-volledig
Subsetsum kan in O(nW) tijd worden opgelost, maar is toch NP-volledig Want W is exponentieel groot in het aantal bits nodig om de input te geven We noemen Subsetsum zwak NP-volledig. Er bestaan ook sterk NP-volledige problemen Algoritmiek

53 3-Partitie Gegeven: getallen a(1), …, a(3m).
Vraag: kunnen we de getallen in m groepjes verdelen, zodat elk groepje dezelfde som heeft? Voorbeeld: 4, 10, 5, 6, 7, 20, 22, 1, 30 Ja: {5, 10, 20} en {4, 1, 30} en {6, 7, 22} NP-volledig zelfs als we getallen in unaire notatie geven Algoritmiek

54 Achtergronden Cook bewees 3-Satisfiability NP-volledig. Het bewijs gebruikt Turing machines. Zelfde resultaat, gelijkertijd, verkregen door Levin. Veel onderzoek gedaan naar P=NP vraag, maar nog geen oplossing. O.a.: Millenium probleem Clay Math. Inst. Veel wetenschappelijke artikelen, boeken, … Algoritmiek