Telecommunicatie en Informatieverwerking UNIVERSITEIT GENT Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/ Prof. dr. ir. W. Philips Optimalisatietechnieken

© W. Philips, Universiteit Gent, versie: 23/4/ c. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Optimisation Techniques” (Optimalisatietechnieken), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Niet-lineaire programma’s met randvoorwaarden Problemen met gelijkheden

© W. Philips, Universiteit Gent, versie: 23/4/ c. 4 Optimalisatie met randvoorwaarden Randvoorwaarden: gelijkheden: maximaliseer f ( x,y ) waarbij g ( x,y ) =0 f ( x,y ) f (x(t ),y(t )) met g (x(t ),y(t )) = 0 ongelijkheden: maximaliseer f ( x,y ) waarbij x  0, y  0, g ( x,y )<0,...

© W. Philips, Universiteit Gent, versie: 23/4/ c. 5 Optimalisatie met randvoorwaarden… Maximaliseer f ( x ) mits g i ( x )=0, i= 1… m Enkel als(zoniet benadering met meer termen nodig) Nodige voorwaarde voor een maximum x is maximum  f ( x+  x ) < f ( x ) voor alle  x  0 voor alle kleine  x met Opmerkingen:  f ( x) hoeft hier niet (maar vervult wel de voorwaarden) indien  g i ( x) voor sommige i  hogere-orde benaderingen nodig Randvoorwaarden beperken mogelijke stappen rond potentieel optimum potentieel optimum x voldoet aan g i ( x )=0, i= 1… m mogelijke stap  x voldoet aan g i ( x+  x )=0, i= 1… m voor alle kleine  x met Dit kan enkel als

© W. Philips, Universiteit Gent, versie: 23/4/ c. 6 g 1 ( x,y,z )=0 g 2 ( x,y,z )= b 1 Voorbeeld Deze techniek is enkel bruikbaar als alle beperkingen gelijkheden zijn: optimaliseer f ( x ) mits g 1 ( x ) = 0 en g 2 ( x ) = 0  mogelijke oplossingen d.w.z.  f ( x )   x, voor alle kleine  x met  x  niet optimaal  f ( x ) optimum, want  f ( x )    f ( x )

© W. Philips, Universiteit Gent, versie: 23/4/ c. 7 …Optimalisatie met randvoorwaarden… Enerzijds:  x moet voldoen aan de beperkingen  g i ( x)·  x =0 : alle mogelijke stappen  x  0 moeten  staan op alle  g i ( x)  x  Anderzijds: optimale x  f ( x)·  x =0 :  f ( x) moet  op alle mogelijke stappen  x  0  f ( x)   (“orthogonaal complement” van  ) En   is de verzameling van vectoren van de vorm Besluit: nodige voorwaarde voor optimum: mogelijke  x   = ruimte van alle vectoren  op   f ( x) moet hier in zitten om optimum te hebben  = ruimte van alle vectoren  op alle  g i ( x)

© W. Philips, Universiteit Gent, versie: 23/4/ c. 8 …Optimalisatie met randvoorwaarden Stel dat x een kandidaat optimum is:  f ( x)·  x= 0 voor elke mogelijke stap  x Besluit: Nodige voorwaarde voor een maximum voor alle  x  0  op alle  g i ( x) o.a. voldaan als H negatief definiet is, maar kan ook voldaan zijn als H niet negatief definiet is  maximum in x vereist ook:voor alle  x  0  op alle  g i ( x)  Voor alle mogelijke  x, d.w.z. voor alle  x  0  op alle  g i ( x) vereenvoudigt de Taylorreeksbenadering rond x tot: 0

Niet-lineaire programma’s met randvoorwaarden Problemen met ongelijkheden

© W. Philips, Universiteit Gent, versie: 23/4/ c. 10 P: Maximaliseer f ( x ) mits g i ( x ) = 0, i= 1, … m ’ - 1 en g i ( x )  0, i=m ’, … m Problemen met ongelijkheden… Opmerkingen: Dit zijn dus nodige, maar geen voldoende voorwaarden Als een mogelijke oplossing x een lokaal maximum is, dan kunnen we in een kleine omgeving geen enkele stap zetten naar een betere mogelijke oplossing x+  x  x, d.w.z. naar een x+  x  x met g i ( x+  x )=0, i= 1… m ’ - 1 en g i ( x+  x )  0, i=m ’ … m en f ( x+  x ) > f ( x ) Taylorreeksbenadering: x is een lokaal maximum  er bestaat geen enkele kleine  x  0 met (stap moet naar mogelijke oplossing gaan) (stap moet naar betere winst leiden) als b.v. sommige  g i ( x) =0 of  f ( x) =0 kunnen de voorwaarden vervuld zijn zonder dat er een maximum is

© W. Philips, Universiteit Gent, versie: 23/4/ c. 11 vertaling: “ x lokaal maximum  het lineair programma heeft geen enkele mogelijke oplossing  x met strikt positieve winst en met voldoend kleine  x …Problemen met ongelijkheden… mag geschrapt worden want als  x aan de voorwaarden voldoet, dan voldoet ook  x met >0 een willekeurig klein getal Interpretatie: lineair programma in de variabelen  x met winstfunctie Taylorreeksbenadering: x is een lokaal maximum  er bestaat geen enkele kleine  x  0 met (stap moet naar mogelijke oplossing gaan) (stap moet naar betere winst leiden)

© W. Philips, Universiteit Gent, versie: 23/4/ c. 12 Taylorreeksbenadering: x is een lokaal maximum  optimale winst van volgend programma =0: “=“ want geen  x  0 voorwaarden in primaal …Problemen met ongelijkheden Duaal lineair programma: minimaliseermits (primale gelijkheden  vrije duale variabelen) (primale ≤ ongelijkheden  duale y i ≥0) minimaliseer b t y over y mits y  0 en A t y  c max. c t x over x mits x  0 en Ax  b dualiteit

© W. Philips, Universiteit Gent, versie: 23/4/ c. 13 deze term is  0 want g i ( x )  0 en y i  0 voor i=m ’ … m Taylorreeksbenadering: x is een lokaal maximum  optimale winst van volgend programma =0: …Problemen met ongelijkheden Duaal lineair programma: (nodige voorwaarden voor stap naar andere mogelijke oplossing) minimaliseermits Indien duaal programma minstens 1 mogelijke oplossing heeft met y i g i ( x ) =0, i=m ’ … m  duale optimale kost =0 De optimale winst is dus ≥ 0 en kan maar 0 zijn als voor alle i : y i g i ( x )=0

© W. Philips, Universiteit Gent, versie: 23/4/ c. 14 …Problemen met ongelijkheden… Indien duaal programma minstens één mogelijke oplossing heeft met y i g i ( x ) =0, i=m ’ … m  duale optimale kost =0 Wegens sterke dualiteit:  primale maximale winst =0  geen enkele mogelijke stap heeft een strikt positieve winst: Besluit: als duaal programma minstens één mogelijke oplossing heeft met y i g i ( x ) =0, i=m ’ … m  er bestaat geen lokaal verbeterende richting in x  x kan een maximum zijn Taylorreeksbenadering: x is een lokaal maximum  optimale winst van volgend programma =0: (nodige voorwaarden voor stap naar andere mogelijke oplossing)

© W. Philips, Universiteit Gent, versie: 23/4/ c. 15 …Problemen met ongelijkheden Omgekeerd: als er geen lokaal verbeterende richting bestaat in x Twee gevallen: de primale optimale winst is 0  de duale optimale kost is ook 0  er bestaat minstens één duale mogelijke oplossing met y i g i ( x ) =0, voor alle i=m ’ … m het primaal probleem heeft geen mogelijke oplossingen  dit kan niet want  x = 0 is een mogelijke oplossing Samengevat: deze slide: als er geen lokaal verbeterende richting bestaat in x  er bestaat minstens één mogelijke oplossing van het duaal programma met y i g i ( x ) =0, voor alle i=m ’ … m vorige slide: als er minstens één mogelijke oplossing van het duaal programma met y i g i ( x ) =0, i=m ’ … m bestaat  er bestaat geen lokaal verbeterende richting in x

© W. Philips, Universiteit Gent, versie: 23/4/ c. 16 Samenvatting: KKT-voorwaarden Er bestaat geen lokaal verbeterende richting in x  er bestaat een y die samen met x voldoet aan de “Karush-Kuhn-Tucker” voorwaarden: ( x is een mogelijke oplossing van origineel probleem) g i ( x )=0, i= 1… m ’ - 1 g i ( x )  0, i=m ’ … m Het KKT-stelsel is een nodige en voldoende voorwaarde voor het niet bestaan van lokaal verbeterende richtingen Het KKT-stelsel is meestal een nodige voorwaarde voor een lokaal maximum, maar geen voldoende voorwaarde (duale optimale kost=0  complementary slackness!) x optimaliseert de “Lagrangiaan” 

© W. Philips, Universiteit Gent, versie: 23/4/ c. 17 Exotisch voorbeeld De redenering is fout, want: x 1 = x 2 =0 is mogelijke oplossing en er zijn geen andere mogelijke oplossingen  x 1 = x 2 =0 is optimaal Oorzaak: als er geen mogelijke stappen bestaan hoeft  f ( x) nergens aan te voldoen; bovenstaande (onmogelijk te voldoene) voorwaarde vervalt dus mits KKT-voorwaarde in x 1 = x 2 =0: In vele probleemklassen voldoen lokale optima wel degelijk aan KKT optima waarin alle actieve beperkingen lineair zijn optima waarin alle  g i lineair onafhankelijk zijn In sommige exotische gevallen klopt onze redenering niet en is het KKT- stelsel geen nodige voorwaarde voor een lokaal maximum: geen oplossing! Aan bovenstaande KKT-voorwaarde kan nooit worden voldaan  KKT theorie zegt: er bestaat wel verbeterende richting  x 1 = x 2 =0 is geen optimimum foute redenering! Minimaliseer

Langrange methoden

© W. Philips, Universiteit Gent, versie: 23/4/ c. 19 Lagrange-vermenigvuldigers Optimaliseer f ( x ) mits g i ( x ) = 0, i= 1, … m Controle: in een optimum van L ( x, y ) geldt:  zoek x en y waarvoor en g i ( x ) = 0, i=1,… m Techniek van de Lagrange-multiplicatoren: bovenstaande probleem lijkt equivalent met optimaliseernaar x en y De nodige voorwaarden voor een lokaal optimum van het origineel probleem (met randvoorwaarden) en het Lagrange-probleem (zonder randvoorwaarden) zijn dezelfde Let op: beschouwd als functie van x en y vertoon L ( x, y ) altijd een zadelpunt in het oppervlak  technieken als de gradiëntmethode zullen niet werken! enkel gelijkheden hier!

© W. Philips, Universiteit Gent, versie: 23/4/ c. 20 Lagrangiaanse dualiteit: onder bepaalde voorwaarden vindt men door minimalisatie van g ( y ) mits y i  0 voor i=m ’, … m het maximum van P: y * minimum van g ( y )  x *( y *) maximum van P Lagrangiaanse dualiteit P: Maximaliseer f ( x ) mits g i ( x ) = 0, i= 1, … m ’ - 1 en g i ( x )  0, i=m ’, … m Hulprobleem P’( y ): met y een constante vector met y i  0 voor i=m ’, … m Maximaliseernaar x zonder randvoorwaarden  maximum: x *( y ) met winst g ( y ) g ( y ) wordt de Lagrangiaanse duale kostfunctie genoemd  Hulprobleem: maximaliseernaar x mits x  0 L ( x, y ) wordt de Lagrangiaanse winstfunctie genoemd; ze bevat de “gedualiseerde” gelijkheden en ongelijkheden De minimalisatie van g ( y ) wordt het duaal probleem genoemd P: Maximaliseer f ( x ) mits g i ( x)  0, i= 1 … m en mits x  0 Opmerking: men hoeft niet al de beperkingen te “dualiseren”; voorbeeld:

© W. Philips, Universiteit Gent, versie: 23/4/ c. 21 Opmerkingen Vraag wat betekent Lagrangiaanse dualiteit in het geval dat er enkel gelijkheden zijn? We aanvaarden Lagrangiaanse dualiteit zonder bewijs De volgende uitspraak is niet 100% correct als het hulpprobleem voor y=y * meerdere oplossingen heeft y * minimum van g ( y )  x *( y *) maximum van P De correcte uitspraak is dan y * minimum van g ( y )  één van de optima x *( y *) is het maximum van P Zie ook

© W. Philips, Universiteit Gent, versie: 23/4/ c. 22 Duale optimalisatietechniek In formulevorm: bereken L ( x,y ) x y maximaliseer L ( x,y ) naar x b.v. met gradiëntmethode y x(y)x(y) g(y)g(y) minimaliseer g ( y ) naar y b.v. met gradiëntmethode yy g(y)g(y) bereken g ( y ) y `

© W. Philips, Universiteit Gent, versie: 23/4/ c. 23 Minimaliseren van g ( y ) (stel dat g ( y ) niet overal +  is): we minimaliseren over alle y  0 ; we mogen de zoekruimte echter beperken tot die y met A t y≥ c aangezien in de rest van de zoekruimte g ( y )=+  wat zeker niet minimaal is Voorbeeld: lineair programma Gegeven probleem P: Maximaliseer c t x mits Ax  b en x  0 Hulpprobleem P’( y ): met y  0 een constante vector: Maximaliseer L ( x, y )= c t x + y t ( b - Ax ) naar x mits x  0 naar x  Maximaliseer L ( x, y )= y t b +( c - A t y ) t x mits x  0 naar x Oplossing:  maximum x *( y ) met winst g ( y ) als c - A t y  0 (d.w.z. c j  ( A t y ) j voor alle j ) zoniet (als c j  ( A t y ) j voor minstens één j )  x *( y )= 0 ; g ( y )= y t b = b t y  g ( y )=+  besluit: minimaliseer g ( y )= b t y mits y  0 en A t y≥ c  het Lagrangiaans duaal probleem is dus equivalent met het duaal lineair programma enige niet-gedualiseerde beperkingen Besluit: g ( y )= b t y voor alle y met A t y≥ c en g ( y )=+  voor alle andere y

© W. Philips, Universiteit Gent, versie: 23/4/ c. 24 Vraag Afgaand op de vorige slide: x*(y*)=0 omdat x*(y)=0 voor elke y Bijgevolg zou het lineair programma “Maximaliseer c t x mits Ax  b en x  0 ” als optimum x*=0 hebben, maar dat is nonsens Op de vorige slide is dus iets over het hoofd gezien/niet volledig correct Wat?

© W. Philips, Universiteit Gent, versie: 23/4/ c. 25 Oefening In de vorige slide hebben we x  0 niet “gedualiseerd” Oefening: leidt de vorige slide af maar behandel hierbij x  0 als bijkomende ongelijkheden die mee “gedualiseerd worden”  Hulpprobleem P’( y ) wordt: met y  0 en z  0 een constante vector: Maximaliseer L ( x, y )= c t x + y t ( b - Ax )+ z t x naar x naar x Wat wordt het duaal probleem nu?

© W. Philips, Universiteit Gent, versie: 23/4/ c. 26 Economische interpretatie Interpretatie in termen van het voetbalprobleem marktprijzen: trofeeprijzen c ; marktprijzen onderdelen y verkoopwaarde van x trofeeën: c t x overschot aan ruw materiaal: b - Ax ; verkoopwaarde: y t ( b - Ax ) Ons probleem: bedenk productiestrategie (kies aantallen te maken trofeeën x ) zodat opbrengst L ( x, y )= c t x + y t ( b - Ax ) maximaal wordt  optimale opbrengst voor ons b t y indien A t y≥ c (winkel sluiten brengt het meest op) zoniet (trofeeën maken en overschot ruw materiaal verkopen) wordt de opbrengst ingewikkelder en gelijk aan de maximale waarde van L ( x, y ) mits Ax  b en x  0, waarbij we minstens één van onze ruwe materialen volledig opgebruiken Van uit het standpunt van de verkoper: om ons ruw materiaal te kunnen kopen moet hij de prijzen y zo kiezen dat A t y≥ c en dat kost hem g ( y )= b t y als hij zijn prijzen anders kiest dan willen we voor geen geld alle ruwe materialen verkopen: g ( y )=+ 

© W. Philips, Universiteit Gent, versie: 23/4/ c. 27 Zwakke en sterke dualiteit Zwakke dualiteit: De duale Lagrangiaanse kostfunctie g ( y ) is voor elke mogelijke y een bovengrens voor de winst f ( x ) van elke mogelijk x in P Bewijs: In elke mogelijke x = x 0 in P geldt: vermits y i  en g i ( x 0 )  voor alle i Sterke dualiteit: onder bepaalde voorwaarden is de waarde van het minimum van g ( y ) gelijk aan de waarde van het maximum van P en is x *( y *) het maximum van P Duale oplossingsmethode: minimaliseer g ( y )  x *( y *) dit vereist als subroutine vele evaluaties van de functie g ( y ) elke evaluatie is equivalent met het oplossen van een maximalisatieprobleem zonder (of met vereenvoudigde) randvoorwaarden als sterke dualiteit geldt  x *( y *) is optimaal in origineel probleem

Sensitiviteitsanalyse Zelfstudie

© W. Philips, Universiteit Gent, versie: 23/4/ c. 29 Sensitiviteitsanalyse… Sensitiviteitsanalyse: Hoe verandert de optimale kost als één van de ongelijkheden n.l. g k ( x )  worden vervangen door g k ( x )  k ? Notaties voor de finale optimale veranderlijken in het nieuw probleem: optimale Lagrange-vermenigvuldigers y *(  k ) optimale primale veranderlijken: x *(  k ) als verkorte notatie voor x *( y *(  k )) oud optimum wordt met deze notaties: y *(  ) en x *(  ) Opmerkingen in het oude optimum x *(  ) zijn sommige ongelijkheden actief (voldaan als gelijkheid) en andere niet in het nieuw optimum x *(  k ) geldt dit ook, maar in het algemeen zijn niet dezelfde ongelijkheden actief uiteraard zijn in beide gevallen alle gelijkheden actief Beperkende veronderstelling in het oude en het nieuwe optimum zijn dezelfde ongelijkheden actief cfr. sensitiviteitsanalyse van lineaire programma’s, waar de formules enkel gelden zolang de NB-veranderlijken dezelfde bleven

© W. Philips, Universiteit Gent, versie: 23/4/ c. 30 …Sensitiviteitsanalyse… In het oude en het nieuwe optimum zijn dezelfde ongelijkheden actief Voor de niet-actieve ongelijkheden geldt wegens complementary slackness: voor j≠k: y i *(  k ) ( g i ( x *(  k ) ) = 0  y i *(  k ) = 0 omdat g i ( x *(  k ))>0 Optimale winst als functie van  k is f ( x *(  k )) alle termen = 0, behalve voor j=k : bij niet-actieve ongelijkheden is de eerste factor =0; bij actieve ongelijkheden is de tweede factor =0 Enkel voor de actieve (on)gelijkheden geldt: voor ongelijkheid k die actief blijft: g k ( x *(  )) =  g k ( x *(  k )) =  k en voor (on)gelijkheid j≠k die actief blijft: g j ( x *(  )) =  g j ( x *(  k )) = 

© W. Philips, Universiteit Gent, versie: 23/4/ c. 31 …Sensitiviteitsanalyse Interpretatie: sensitiviteit aan verandering rechterlid = optimale waarde van corresponderende Lagrange-multiplicator alle termen = 0, behalve voor j=k : bij niet-actieve ongelijkheden is de eerste factor =0; bij actieve ongelijkheden is de tweede factor =0 = 1, indien g k ( x )≥0 actief is = 0, indien g k ( x )≥0 niet actief is Besluit in oud optimum: sensitiviteit aan een verandering rechterlid geëvalueerd in  k = 0 Opmerking: indien g k ( x )≥0 niet actief is in het oud optimum, dan is de sensitiviteit 0 (logisch, cfr. lineaire programma’s)

Barrière- en penalisatiemethoden Zelfstudie

© W. Philips, Universiteit Gent, versie: 23/4/ c. 33 Barrièremethoden Barrièremethode: maximaliseer met q i ( x ) een functie die nadert naar +  naarmate g i ( x )  0, d.w.z. naarmate x de rand bepaald door g i ( x )>0 bereikt en  een (gekozen) positief getal De optimalisatie gebeurt met een aangepaste lijnoptimalisatietechniek (aanpassingen om te vermijden dat men het gebied van mogelijke oplossingen verlaat) en wordt herhaald voor verschillende waarden van  eerst met grote (om oplossing ver weg van verboden zones te houden) nadien met kleinere  Voorbeelden van penalisatiefuncties: -ln( g i ( x )) -1/ g i ( x ) Voorbeeld: “interne zoekmethoden voor lineaire programma’s” Gevraagd: maximaliseer f ( x ) mits g i ( x )  0, i= 1, … m

© W. Philips, Universiteit Gent, versie: 23/4/ c. 34 Penalisatiemethoden... Vergelijkbaar met barrièremethoden Deze zijn differentieerbaar  men kan (toegevoegde-) gradiëntmethoden gebruiken Principe: maximaliseer met p i ( x ) een penalisatiefunctie die nul is in alle x waar de corresponderende (on)gelijkheid is voldaan en p i ( x )>0 in alle x waar de corresponderende (on)gelijkheid niet is voldaan en  een (gekozen) groot positief getal Veel voorkomende penalisatiefuncties: max(0, - g i ( x ) ) en max 2 (0,- g i ( x )) voor g i ( x )  0 -beperkingen | g i ( x )| en | g i ( x )| 2 voor g i ( x ) = 0-beperkingen Praktische implementatie: start met een kleine  : voor die  : doe enkele stappen van (toegevoegde) gradiëntmethode verhoog  en doe weer enige stappen (dwingt oplossingen weg uit de verboden zone)

© W. Philips, Universiteit Gent, versie: 23/4/ c Penalisatiemethoden Penalisatiemethoden leiden niet altijd tot de juiste oplossing  enig stationair punt: x * =- 1/(2  ) In het algemeen vinden we enkel voor    de juiste oplossing Bij de penalisatiefuncties max{ 0, g i ( x ) - b i } en | g i ( x ) - b i | bestaat er meestal wel een eindige  waarvoor men het juiste minimum vindt Voor alle grotere  vindt men dan ook het juiste optimum Het is gevaarlijk  te groot te kiezen (b.v. wegens het risico op overflow)  in de praktijk laat men  tijdens de berekeningen (b.v. iteratieve minimalisatieprocedure) geleidelijk toenemen Voorbeeld: minimaliseer x mits x  0  penalisatiemethode: minimaliseer F ( x ) =x+  max 2 { 0, - x }

Zelfstudie: Convexe niet-linaire programma’s

© W. Philips, Universiteit Gent, versie: 23/4/ c. 37 Uniciteit van het optimum... Een functie f ( x ) is in een convex domein  convex als f (  x 1 + (1 - ) x 2 )   f ( x 1 ) + (1 - ) f ( x 2 ) Niet concaaf/niet convex Concaaf/niet convex x f(x) Convex/niet concaaf Convex en concaaf Als er geen beperkingen zijn (d.w.z.  bevat alle mogelijke x ): dan is elk lokaal minimum (maximum) van een convexe (concave) functie ook een globaal mimimum (maximum) concaaf als f (  x 1 + (1 - ) x 2 )   f ( x 1 ) + (1 - ) f ( x 2 ) voor alle x 1 en x 2 in  en voor alle [ 0, 1 ] dan is elk stationair punt van een gladde convexe (concave) functie een globaal minimum (maximum)

© W. Philips, Universiteit Gent, versie: 23/4/ c. 38 Convexe programma’s Beschouw een algemeen niet-lineair programma: maximaliseer f ( x ) mits A: g i ( x )  0, i= 1 …m 1 B: g i ( x )  0, i=m …m 2 C: g i ( x )= b i, i=m …m Een optimalisatieprobleem is convex als de f ( x ) concaaf is (bij minimalisatie wordt dit: convex) alle functies g i ( x ) in A convex, in B concaaf en in C lineair zijn d.w.z. als het gebied waarover men optimaliseert convex is Bijzonder geval: een lineair programma Belangrijk: elk lokaal optimum van een convex programma is een globaal optimum  dit vergemakkelijkt de oplossing zeer veel

© W. Philips, Universiteit Gent, versie: 23/4/ c Uniciteit van het optimum Een functie f ( x ) kan een uniek optimum hebben en toch niet convex of concaaf zijn x f(x) x uniek minimum en niet convex

© W. Philips, Universiteit Gent, versie: 23/4/ c. 40 Convexe/concave functies herkennen f ( x ) met continue partiële afgeleiden van 2e orde is convex/ concaaf in een convex domein   zijn Hessiaan H is positief/negatief semi-definiet  x Lineaire functies zijn tegelijk convex en concaaf De som van convexe/concave functies is convex/concaaf g ( x ) = max{ g i (x): i= 1 …k } is convex als alle g i ( x ) convex zijn g ( x ) = min{ g i (x): i= 1 …k } is concaaf als alle g i ( x ) concaaf zijn g ( x ) concaaf  f ( x ) = 1 /g ( x ) convex in het gebied waar g ( x )>0 g ( x ) convex  f ( x ) = 1 /g ( x ) concaaf in het gebied waar g ( x )<0 Enkel voor functies met 1 variabele: g ( y ) niet-dalend en h ( x ) convex  f ( x ) =g ( h ( x )) convex g ( y ) niet-stijgend en h ( x ) convex  f ( x ) =g ( h ( x )) concaaf

© W. Philips, Universiteit Gent, versie: 23/4/ c. 41 Voorbeeld convex want lineaire functieconvex als maximum van 2 convexe functies  convex omdat z 8 niet-dalend is in het gebied waar z > 0  convex als som van convexe functies  uniek minimum  Besluit: convexiteit/concaviteit garandeert een uniek optimum en maakt optimalisatie veel

© W. Philips, Universiteit Gent, versie: 23/4/ c. 42 Bijzondere gevallen Niet te kennen Scheidbare programma’s: Rardin p vanderbei (stuksgewijs lineaire benadering) Posynomiale kostfuncties: Rardin p > z=ln x substitutie