Telecommunicatie en Informatieverwerking UNIVERSITEIT GENT Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/ Prof. dr. ir. W. Philips Optimalisatietechnieken

© W. Philips, Universiteit Gent, versie: 2/5/ c. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Optimisation Techniques” (Optimalisatietechnieken), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Interne zoekmethoden voor lineaire programma’s

© W. Philips, Universiteit Gent, versie: 2/5/ c. 4 Barrièremethoden Barrièremethode: beperkingen vervangen door extra termen in de winstfunctie die de winst doen zakken naarmate men dichter komt bij de rand van het gebied van mogelijke oplossingen In het ideaal geval is de barrièreterm 0 voor elke mogelijke oplossing -  voor elke niet-mogelijke oplossing Primaal probleem in standaardvorm maximaliseer c t x over x en w mits x  0, w  0 en Ax + w = b met originele veranderlijken x en reserveveranderlijken w Probleem: oplossingen op de rand worden gepenaliseerd, terwijl we weten dat het optimum op de rand ligt In de praktijk is de barrièreterm klein in het binnengebied van mogelijke oplossingen wordt de barrièreterm sterker voor oplossingen dichter bij de rand voorbeeld: ipv. x  0, w  0 maximaliseer

© W. Philips, Universiteit Gent, versie: 2/5/ c. 5 Voorbeeld… == ==

© W. Philips, Universiteit Gent, versie: 2/5/ c. 6 …Voorbeeld… =1=1 == =1=1

© W. Philips, Universiteit Gent, versie: 2/5/ c. 7 …Voorbeeld  =0.01 =1=1 ==

© W. Philips, Universiteit Gent, versie: 2/5/ c. 8 Opmerkingen Probleem: oplossingen op de rand worden gepenaliseerd, terwijl we weten dat het optimum net op de rand ligt Het optimum ligt steeds binnen het gebied van mogelijke oplossingen omdat de penalisatie voor alle  zeer groot wordt naar de rand toe Centraal pad = evolutie locatie optimum i.f.v.  voor   +  overweegt de penalisatie  optimum in midden gebied mogelijke oplossingen voor   0 overweegt de originele winstfunctie  optimum in midden gebied mogelijke oplossingen Er zijn nog steeds randvoorwaarden (stelsel gelijkheden) aanwezig  de oplossing vereist Lagrange-multiplicatoren

© W. Philips, Universiteit Gent, versie: 2/5/ c. 9 Oplossing…  oplossing met Langrange-vermenigvuldigers maximaliseer Notaties: Maximaliseer

© W. Philips, Universiteit Gent, versie: 2/5/ c. 10 …Oplossing We herkennen de primale en duale stelsels (in standaardvorm) complementary slackness voor  =0     Soms is er geen optimum (geen mogelijke oplossingen, optimum op oneindig, …) Het optimum bestaat van zodra het primaal en het duaal probleem beiden mogelijke oplossingen hebben (zie Vanderbei) (concave winstfunctie)  uniek optimum als het bestaat Bestaat het optimum? De Hessiaan vanis overal strikt negatief

© W. Philips, Universiteit Gent, versie: 2/5/ c. 11 Uniek optimum De Hessiaan van h ( x ) is overal strikt negatief  h ( x ) heeft hoogstens één optimum over elk convex gebied (en het gebied bepaald door Ax + w = b is convex)

© W. Philips, Universiteit Gent, versie: 2/5/ c. 12 Methode van Newton… Niet-lineaire vergelijking(en) iteratief oplossen via lineaire benadering Voorbeeld: f ( t )=0 t0t0 t f ( t ) t1t1 f ( t )  f ( t 0 )+ f '( t 0 )( t - t 0 ) f ( t )  f ( t 1 )+ f '( t 1 )( t - t 1 ) t2t2 f ( t )  f ( t 2 )+ f '( t 2 )( t - t 2 ) Als de methode convergeert  steeds betere benadering  oplossing Methode convergeert niet steeds Methode vindt maar één nulpunt, ook als er meerdere zijn t3t3

© W. Philips, Universiteit Gent, versie: 2/5/ c. 13 …Methode van Newton In meerdere dimensies vectorfunctie: … N inputs N outputs … lineaire benadering met Benaderde oplossing

© W. Philips, Universiteit Gent, versie: 2/5/ c. 14 Toepassing op barrièreprobleem… Notaties: Initiele schatting x van de oplossing en betere schatting x+  x  linearisering Opmerking:

© W. Philips, Universiteit Gent, versie: 2/5/ c. 15 …Toepassing op barrièreprobleem Door oplossen van stelsel:  x,  w,  y,  z  betere benadering van de oplossing x+  x, w+  w, y+  y, z+  z Lineair stelsel in de onbekende correcties  x,  w,  y,  z In principe kan men dit enkele keren herhalen om de oplossing verder te verbeteren In de praktijk doet men maar 1 Newton-stap: het barriéreprobleem is immers zelf al een benadering van het gegeven probleem  het heeft geen zin het barriéreprobleem met grote nauwkeurigheid op te lossen en lost men het stelsel meerdere keren op voor dalende waarden van , vertrekkende van de oplossing voor de vorige 

© W. Philips, Universiteit Gent, versie: 2/5/ c. 16 Padvolgende methode 0. Initialisatie: Stel i= 0. Kies een waarde  0  voor  en een schatting  0 =( x 0, w 0, y 0, z 0 ) van de oplossing voor  =  0 Redenering Als de opeenvolgende waarden van  niet te veel verschillen, kan  i dienen als beginschatting voor het zoeken van  i Newton-stap: Zoek betere benadering ( x i +  x i, w i +  w i, y i +  y i, z i +  z i ) van de oplossing van het stelsel voor  i 2. Correctie: maak alle variabelen  0 door (indien nodig) de correctiestap in te krimpen  resultaat:  i+ 1 =( x i +  i   x i, w i +  i   w i, y i +  i   y i, z i +  i   z i ) 3. Aanpassen  : verklein  (  =  i+ 1 ), incrementeer i en ga naar 1. Hiervoor hoeft  i  niet erg nauwkeurig te zijn De methode van Newton kan immers  i+ 1 met willekeurige nauwkeurigheid berekenen door veel Newtonstappen toe te passen We doen er echter maar één (geen hoge nauwkeurigheid vereist) We hopen wel dat de benadering desondanks zeer goed wordt als we  niet te snel verlagen

© W. Philips, Universiteit Gent, versie: 2/5/ c. 17 gemiddelde van de getallen z j x j, j= 1 …n en y i w i, i= 1 …m Keuze van  Criteria Uiteindelijk moet  zo klein mogelijk worden (originele winstfunctie) Motivatie: als  i een goede benadering is voor de oplossing dan geldt: z j x j  en y i w i  Bij een te kleine  riskeren we buiten het gebied van mogelijke oplossingen te stappen: we berekenen immers benaderde oplossingen en geen exacte aan het begin van stap i hebben we graag dat  i een goede beginschatting is voor de oplossing van het stelsel met  =  i+ 1  we kunnen  i+ 1 eventueel aanpassen aan  i Redelijke keuze:  i+ 1 =  i met b.v.  = 0.1 met z, x, y en w de componenten van  i Betere keuze:

© W. Philips, Universiteit Gent, versie: 2/5/ c. 18 Keuze van de staplengte  Kies  i zo groot mogelijk, maar zo dat x i +  i   x i  0 w i +  i   w i  0 y i +  i   y i  0 z i +  i   z i  0 Deze keuze brengt ons net op de rand, terwijl we een marge wensen:  betere keuze:  i =rm -1 met b.v. r= 0.9 Opmerking: als deze keuze zou leiden tot  i >1, dan stellen we  i =1 om het optimum niet voorbij te schieten

© W. Philips, Universiteit Gent, versie: 2/5/ c. 19 Stopcriteria  optimum op  één van de y i te groot wordt (=groter dan drempel M ):  geen mogelijke oplossingen (want duaal optimum op  ) =0  primale vergelijkingen voldaan =0  duale vergelijkingen voldaan =0 (en alle veranderlijken ≥0)  complementary slackness voldaan alle volgende uitdrukkingen zeer klein worden (   ) Stop als één van de x j te groot wordt (=groter dan drempel M ):

© W. Philips, Universiteit Gent, versie: 2/5/ c. 20 Convergentie A priori is er weinig garantie dat algoritme naar optimum convergeert Men kan aantonen dat de volgende uitdrukkingen inderdaad naar 0 convergeren op een “exponentiële manier” (in iedere stap worden ze minstens een constante factor kleiner):