Benaderingsalgoritmen

Presentatie over: "Benaderingsalgoritmen"— Transcript van de presentatie:

1 Benaderingsalgoritmen
Eerste hulp bij NP-moeilijkheid Algoritmiek

2 Herhaling NP-volledigheid (1)
NP: er is een polynomiaal certificaat voor ja-instanties dat in polynomiale tijd te controleren is Een probleem A is NP-moeilijk als B ≤P A (reductie van B naar A) voor iedere B in NP Een probleem A is NP-volledig als het in NP zit en NP-moeilijk is Er bestaan NP-moeilijke problemen die niet in NP zitten, of waarvan het niet bekend is of ze in NP zitten Algoritmiek

3 Herhaling NP-volledigheid (2)
Belangrijke boodschap: als ook maar één NP-moeilijk probleem in polynomiale tijd oplosbaar is, dan zijn alle problemen in NP in polynomiale tijd oplosbaar Er is een sterk geloof dat geen enkel NP-moeilijk probleem in polynomiale tijd oplosbaar is Maar wat geloof jij? Algoritmiek

4 Herhaling NP-volledigheid (3)
Wat betekent het dat een probleem NP-moeilijk is? Heel veel, maar ook heel weinig Niet: je kunt het probleem niet oplossen Wel: je zult creatief moeten zijn om het probleem op te lossen of geluk met de invoer moeten hebben Algoritmiek

5 Herhaling NP-volledigheid (4)
NP-moeilijkheid/volledigheid gaat meestal over beslisproblemen Maar er zijn veel NP-moeilijke optimaliserings-problemen Bijv. Handelsreizigersprobleem Merk op dat een polynomiale reductie gewoon kan bestaan voor optimaliseringsproblemen; zulke problemen zitten alleen niet in NP Hoe gaan we met dit soort problemen om? Algoritmiek

6 Eerste Hulp bij NP-moeilijkheid
Maak gebruik van/aannames over je invoer Kortste simpele pad NP-moeilijk in het algemeen (reductie van Hamiltonian Path), maar polynomiaal zonder negatieve cycles (Bellman-Ford) Heuristiek: polynomiaal algoritme dat vaak een goede oplossing geeft Genetische algoritmen, benaderingsalgoritmen, sommige greedy algoritmen Gebruik (moderaat) exponentiële tijd Vaak: alle mogelijke oplossing afgaan en beste kiezen Of een combinatie! Algoritmiek

7 Toepassingsgebied: Logistiek
Stel, je werkt bij een supermarkt… Toepassingsgebied: Logistiek Algoritmiek

8 Boodschappenophaalpunten (1)
Nieuw in supermarktland: online bestellen, en dan in de winkel afhalen Onze opdrachtgever is een grote supermarkt die een test wil doen met ophaalpunten Er is geld voor k ophaalpunten, die op willekeurige plekken in het land gebouwd mogen worden Algoritmiek

9 Boodschappenophaalpunten (2)
Dankzij reclames is er inmiddels een verzameling A van n adressen van klanten Zodra de k ophaalpunten gebouwd zijn, zal een klant naar het dichtsbijzijnde ophaalpunt gaan Dichtsbijzijnd: Euclidische afstand Waar bouwen we de ophaalpunten zdd de langste afstand die een klant aflegt zo klein mogelijk is? Algoritmiek

10 k-Center Gegeven een verzameling A van n punten in het vlak en een getal k Als P een verzameling punten in het vlak is, dan is dist(a,P) = minp in P dist(a,p) (het dichtsbijzijnde ophaalpunt) en r(P) = maxa in A dist(a,P) de bedekkingsradius (maximale rij-afstand) Opdracht: vind een verzameling P met |P| ≤ k zdd r(P) zo klein mogelijk is P hoeft geen deelverzameling van A te zijn Algoritmiek

11 k-Center NP-moeilijk We moeten toch een plaatsing genereren
Daar helpt NP-moeilijkheid niet bij Wat is jouw algoritme? Bijvoorbeeld greedy, maar iets anders mag ook Algoritmiek

12 Een greedy aanpak Bijvoorbeeld: bouw P iteratief op, en plaats telkens een ophaalpunt op een plek die r(P) zoveel mogelijk verkleint De gevonden oplossing is niet goed in vergelijking met optimum d Optimaal: r(P*) = 0 Kunnen we een algoritme vinden dat wel goed is in vergelijking met het optimum Greedy: r(P) = d/2 k=2 A B Algoritmiek

13 Benaderingsfactor Gegeven invoer van een optimaliseringsprobleem
Laat SOL de waarde zijn van de oplossing die jouw algoritme vindt Laat OPT de waarde zijn van het optimum Dan is de benaderingsfactor van de door jouw algoritme geleverde oplossing: max{SOL/OPT, OPT/SOL} Relatieve kwaliteit van de gevonden oplossing Altijd minstens 1 Algoritmiek

14 Benaderingsalgoritme
Een algoritme is een c-benaderingsalgoritme als voor iedere probleeminvoer het algoritme een oplossing geeft met benaderingsfactor hoogstens c c kan een constante zijn, maar ook afhangen van (de grootte van) de invoer c heet de benaderingsfactor van het algoritme “Benaderingsalgoritmen zijn heuristieken die een oplossing berekenen van bewijsbaar goede kwaliteit t.o.v. het optimum” Algoritmiek

15 k-Center benaderen: Poging 1
Stel: we weten het optimum R* Kun je een plaatsing P berekenen met r(P) ≤ 2R*? Tip: gebruik greedy Werkend idee: plaats bij willekeurige onbedekte klant een ophaalpunt en verklaar alle klanten binnen afstand 2R* bedekt Algoritmiek

16 Greedy algoritme 1 Markeer alle a in A onbedekt, P = ∅ while er is een onbedekte a in A do p = willekeurige onbedekte a in A plaats p in P en markeer alle punten binnen afstand 2R* van p bedekt return P Algoritmiek

17 Greedy algoritme 1: eigenschappen
Het algoritme heeft polynomiale looptijd r(P) ≤ 2R* per constructie |P| ≤ k bewijs op volgende slide Stelling: k-Center heeft een polynomiale tijd, 2-benaderingsalgoritme, als het optimum bekend is Algoritmiek

18 |P| ≤ k Stel P* heeft r(P*) = R* en |P*| = k, maar |P| > k
Voor iedere p in P* is er hooguit 1 a in P met dist(a,p) ≤ R* Stel er zijn er twee, a en a’ Per constructie geldt dist(a,a’) > 2R* 2R* ≥ dist(a,p) + dist(p,a’) ≥ dist(a,a’) > 2R* Contradictie Iedere a in P wordt door ≥ 1 p in P* bedekt Dus |P*| ≥ |P| > k, een contradictie Algoritmiek

19 k-Center benaderen: Poging 2
Stel: we weten het optimum niet Gelukje: het algoritme kunnen we gebruiken om het volgende te beslissen voor gegeven R Er is een oplossing P met |P| ≤ k en r(P) ≤ 2R Er is geen oplossing P met |P| ≤ k en r(P) ≤ R Algoritme en correctheidsbewijs: zie volgende slides Algoritmiek

20 Greedy algoritme 1” Invoer: verzameling klanten A, getal R Markeer alle a in A onbedekt, P = ∅ while er is een onbedekte a in A do p = willekeurige onbedekte a in A plaats p in P en markeer alle punten binnen afstand 2R van p bedekt if |P| ≤ k then return P else return “geen oplossing met grootte ≤ k en bedekkingsradius ≤ 2R” Algoritmiek

21 Algoritme 1”: |P| ≤ k Stel P* heeft r(P*) = R en |P*| = k, maar |P| > k Voor iedere p in P* is er hooguit 1 a in P met dist(a,p) ≤ R Stel er zijn er twee, a en a’ Per constructie geldt dist(a,a’) > 2R 2R ≥ dist(a,p) + dist(p,a’) ≥ dist(a,a’) > 2R Contradictie Iedere a in P wordt door ≥ 1 p in P* bedekt Dus |P*| ≥ |P| > k, een contradictie Algoritmiek

22 k-Center benaderen: poging 2
Gebruik nu binair zoeken Algoritme 1” kunnen we gebruiken om het volgende te beslissen voor gegeven R Er is een oplossing P met |P| ≤ k en r(P) ≤ 2R Er is geen oplossing P met |P| ≤ k en r(P) ≤ R Dus iedere keer kunnen we ondergrens verhogen of bovengrens verlagen Totdat boven- en ondergrens factor 2 van elkaar liggen Algoritmiek

23 k-Center benaderen: Poging 3
Voorgaande algoritme is niet helemaal precies, en zelfs binair zoeken kan een tijd duren r(P) is niet per se geheeltallig Ander idee, dat ook nog simpeler is Voorheen kozen we adres met afstand > 2R* van eerder gekozen punten Idee: kies adres dat zover mogelijk weg is van eerder gekozen punten Algoritmiek

24 k-Center: greedy algoritme 2
P = {a} voor willekeurige a in A while |P| < k do p = a in A die dist(a,P) maximaliseert plaats p in P return P Algoritmiek

25 Greedy algoritme 2: correctheid
Lemma: r(P) ≤ 2R*, waarbij R* de bedekkingsradius van het optimum Bewijs: Stel r(P) > 2R* en dus er is a in A met dist(a,P) > 2R* Laat ai het punt gekozen in iteratie i en Pi de verzameling P aan het begin van iteratie i Dan is dist(ai,Pi) ≥ dist(a,Pi) ≥ dist(a,P) > 2R*, omdat ai verst weg van Pi ligt, en a minstens zo ver ligt van Pi als van P Algoritmiek

26 Greedy algoritme 2: correctheid
Dus ieder gekozen punt is minstens 2R* weg van eerder gekozen punten Dat betekent dat we a1,…,ak ook hadden kiezen in Algoritme 1”, en dan nog een extra ak+1 hadden gekozen vanwege het bestaan van a Algoritme 1” zou dus een oplossing van grootte > k vinden, en dan nee rapporteren, dwz er is geen oplossing P* met r(P*) ≤ R* en |P*| ≤ k Dit is een contradictie met definitie R*, dus r(P) ≤ 2R* Algoritmiek

27 Greedy algoritme 2: eigenschappen
Het algoritme heeft polynomiale looptijd r(P) ≤ 2R* |P| ≤ k per constructie Stelling: k-Center heeft een polynomiale tijd, 2-benaderingsalgoritme Techniek: greedy algoritme Algoritmiek

28 Verdieping (1) Algoritme werkt zolang dist “redelijk” is
Voldoet aan driehoeksongelijkheid Symmetrisch en dist(x,x)=0 Anders wordt het probleem veel moeilijker: geen constante benaderingsfactor mogelijk in polynomiale tijd, tenzij P=NP Er bestaat geen polynomiale tijd algoritme met benaderingsfactor beter dan 2, tenzij P=NP Algoritmiek

29 Verdieping (2) Stel: R ligt vast is en we willen het minimum aantal ophaalpunten bepalen: Punten bedekken met schijven van radius R Variant van bekende Set Cover probleem Gegeven een verzameling U, en een verzameling F van deelverzamelingen van U, vind een kleinste deelverzameling van F zdd dat heel U bedekt wordt In dit geval, U=A en F = {door schijf S overdekte elementen in A | schijven S} log |U|-benaderingsalgoritme in het algemeen (lees algoritme in boek) Algoritmiek

30 Handelsreizigerprobleem
Logistiek deel 2 Algoritmiek

31 Handelsreizigersprobleem
1 2 3 4 5 Gegeven: steden 1, … n. Voor elk paar steden i, j, een afstand d(i,j) Gevraagd: wat is de kortste route die in stad 1 begint, elke stad precies 1 keer bezoekt en weer in stad 1 eindigt? Optimalisering 4 4 1 2 1 2 3 3 2 2 5 De tweede route is dus beter dan de eerste. We zoeken de kortste route, dat is hier dus : 1, 2, 3, 4. In ‘t Engels: TSP: Travelling Salesman Problem, of: Travelling Sales Person problem. 5 2 2 3 3 4 2 4 2 13 11 Algoritmiek

32 Geval 1: driehoeksongelijkheid
Stel d(i,j) ≤ d(i,k) + d(k,i) voor alle i,j,k Stelling: Er is een polynomiale tijd, 2-benaderingsalgoritme voor Handelsreiziger met driehoeksongelijkheid Techniek: een ondergrens voor het optimum vinden Vaak impliciet in de analyse, hier expliciet Bewijs: het bord-bewijs staat in het boek ook goed uitgelegd Algoritmiek

33 Geval 2: geen driehoeksong.
Stelling: Voor iedere constante c: er is geen c-benaderingsalgoritme voor het Handelsreizigers-probleem zonder driehoeksong., tenzij P=NP Idee: Reductie van Hamiltonian Circuit Gegeven: Ongerichte graaf G=(N,A). Gevraagd: Is er een cycle in G, die elke knoop in G precies een keer bezoekt? Bewijs: het bord-bewijs staat in het boek ook goed uitgelegd Een graaf met een Hamiltonian circuit Algoritmiek

34 Verdieping (1) Dit is een gap-introducing reduction
Een gat in de benaderingsfactor ter grootte c Er bestaan ook gap-preserving reductions Speciale polynomiale reducties, specifiek om benaderingsfactoren te bewaren Er zijn veel ondergrensbewijzen Algoritmiek

35 Verdieping (2) Er bestaat een mooi (3/2)-benaderingsalgoritme voor Handelsreiziger met driehoeksongelijkheid Euclidische geval: Benaderingsfactor (1+𝛜) mogelijk in polynomiale tijd voor iedere vaste 𝛜 PTAS (Polynomial-Time Approximation Scheme) Algoritmiek

36 Verdieping (3) Veel onderzoek naar exacte algoritmen voor Handelsreiziger Werkt zelfs met tienduizenden steden vaak zonder grote problemen “Praktisch” Veel bedrijven leveren software die dit doet Algoritmiek

37 Verdieping (4) Er bestaan benaderingsalgoritmes die in exponentiële tijd lopen En ondergrensbewijzen voor zulke algoritmes! Er bestaan benaderingsalgoritmes voor problemen die in polynomiale tijd oplosbaar zijn Snel een redelijke oplossing op big data Er bestaan benaderingsalgoritmes met een additieve (ipv multiplicatieve) benaderingsfactor Algoritmiek