Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/ Prof. dr. ir. W. Philips Optimalisatietechnieken Telecommunicatie en Informatieverwerking UNIVERSITEIT GENT

© W. Philips, Universiteit Gent, versie: 25/4/ a. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Optimisation Techniques” (Optimalisatietechnieken), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, ” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Niet-lineaire programma’s

© W. Philips, Universiteit Gent, versie: 25/4/ a. 4 Niet-lineaire programma’s Algemeen niet-lineair programma (NLP): maximaliseer (minimaliseer) f ( x ) mits g i ( x )  b i, i= 1 … m 1 en g j ( x ) = b j, i=m 1 …m Belangrijke verschillen met lineaire programma’s er kunnen meerdere geïsoleerde lokale optima zijn de optima kunnen zowel randpunten als interne punten zijn We bestuderen eerst niet-beperkte NLPs: maximaliseer (minimaliseer) f ( x ) over alle mogelijke x Opmerking: als na berekening blijkt dat het globaal optimum x * van het niet-beperkt probleem voldoet aan de randvoorwaarden (beperkingen) van het beperkt probleem dan is x * meteen ook optimaal in dat beperkt probleem  niet-beperkte NLPs zijn belangrijke hulpmiddelen

© W. Philips, Universiteit Gent, versie: 25/4/ a. 5 Locale en globale optima... ( x 0,y 0 ) is een lokaal maximum van de functie f ( x,y ), als f ( x,y )  f ( x 0,y 0 ) voor alle ( x,y ) in een kleine cirkelvormige omgeving rond ( x 0,y 0 ) f ( x,y ) Het globaal maximum is het grootste lokaal maximum lokaal optimum Eén of enkele lokale optima zoeken is redelijk eenvoudig, maar het globaal optimum zoeken niet Opmerking: er kunnen meerdere (even grote) globale maxima zijn

© W. Philips, Universiteit Gent, versie: 25/4/ a. 6 Analytische visie: Lokale optima Het omgekeerde geldt niet! lokale optima andere punten met analytische visie: x is een lokaal minimum als in een kleine omgeving 0 f ( x ) In een lokaal optimum is globaal minimum

© W. Philips, Universiteit Gent, versie: 25/4/ a. 7 Oplossingsmethoden Eenvoudiger methoden als f ( x ) glad is bestaan en zijn continu f ( x ) is glad  x f(x) glad x f(x) niet-continucontinu, niet afleidbaar x f(x) Verschillende methoden naargelang men eenvoudig kan berekenen en of men dit wil doen een functie f ( x ) is glad als ze continu afleidbaar is in alle relevante x :

Eéndimensionale methoden

© W. Philips, Universiteit Gent, versie: 25/4/ a. 9 De methode van de gulden snede... Beschouw een interval [ a, b ] en een punt x  ] a, b [ axb axb y y Stel dat f ( x )<  f ( a ) en f ( x )<  f ( b )  [ a, b ] bevat een minimum (als f ( x ) continu is)  we noemen ( a, x, b ) een trippelpunt Principe: we proberen recursief [ a, b ] te verfijnen Kies een punt y  ] x, b [ (of y  ] a, x [ ) geval B: f ( y )  f ( x )  ( a, x, y ) is een trippelpunt geval A: f ( y ) < f ( x )  f ( y )< f ( b )  ( x, y, b ) is een trippelpunt  In beide gevallen vinden we een “smaller” trippelpunt!

© W. Philips, Universiteit Gent, versie: 25/4/ a. 10 Stel dat er 1 minimum is in [ a,b ]  elke x kan dienen om het eerste trippelpunt te construeren, maar de methode van de gulden snede kiest x=b-  ( b-a ) met een  constante...De methode van de gulden snede... ab x  ( b-a ) y Kies y in [ x,b ] (het grootste interval) en zo dat x en y symmetrisch liggen in [ a,b ]  y=a+  ( b-a )  Nieuw trippelpunt: ( a,x,y ) of ( x,y,b ) Men wenst dat in dit nieuw trippelpunt, het middelste punt percentueel even ver van de randen ligt als in het oud trippelpunt  a= (de gulden snede) Zonder bewijs: deze keuze minimaliseert de rekentijd nodig om in het slechtst mogelijk geval op het minimum in te zoemen tot een bepaalde nauwkeurigheid

© W. Philips, Universiteit Gent, versie: 25/4/ a. 11 Mogelijke tripelpunten voor  0.618… Een “zelf-similaire” intervalverdeling, waarbij bij de overgang tussen twee niveaus drie van de vier punten ( a,x,y,b ) worden overgenomen is enkel mogelijk voor  = 0.618… a0a0 x0x0 y0y0 b0b0 a1a1 x1x1 y1y1 b1b1 a2a2 x2x2 y2y2 b2b2

© W. Philips, Universiteit Gent, versie: 25/4/ a. 12 Gulden snede: Voorbeeld tax en ybb-af(a)f(a) f(x)f(x) f(y)f(y) f(b)f(b) 1 minimum! excel t opt  ( )/ (32-8) (32-8)

© W. Philips, Universiteit Gent, versie: 25/4/ a. 13 Stopcriterium en nauwkeurigheid Besluit: een te hoge (relatieve) precisie vragen is zinloos Bij dubbele precisie (64 bit) vlottende-kommaberekeningen:   relatieve nauwkeurigheid is beperkt tot Bij enkelvoudige precisie (32 bit):   relatieve nauwkeurigheid is beperkt tot dikwijls grootte-orde 1 relatieve nauwkeurigheid van locatie minimum Definitie: de machineprecisie  is het kleinste getal waarvoor 1 +  1 in vlottende-komma berekening Interpretatie:  is (losweg) de relatieve precisie waarmee een vlottende-komma getal kan worden voorgesteld  in vlottende-komma berekeningen is f ( x ) =f ( a ) van zodra (Taylorreeksbenadering)

© W. Philips, Universiteit Gent, versie: 25/4/ a. 14 Initieel trippelpunt We zoeken een interval [ a, b ] dat exact één lokaal optimum bevat, n.l. een minimum; een trippelpunt ( a, x, b ) levert zo een interval a a+  x a a b a We veronderstellen dat er maar 1 minimum x * is en dat we een ondergrens x l voor x * kennen Initialisatie: a=x l ; b en x onbepaald; kies stapgrootte  > 0 Stap 1: bereken f ( a+  ); als f ( a+  ) < f ( a ) stel dan x = a+  ; ga naar 2 a a+  ax zoniet stel b = a+  ; ga naar 3 Stap 2: verdubbel  en bereken f ( x+  ) als nu f ( x+  ) > f ( x ) stel dan b=x+  ; stop x b a a+  a b zoniet stel ( a, x ) = ( x, x+  ); ga naar 2 Stap 3: halveer  en bereken f ( a+  ) als nu f ( a+  ) < f ( a ) stel dan x=a+  ; stop zoniet stel b=a+  ; ga naar 3

© W. Philips, Universiteit Gent, versie: 25/4/ a. 15 Gulden snede: opmerkingen Gulden snede convergeert eerder traag: Iedere iteratie verkleint [ a, b ] met een factor a  0.6  we winnen - log 2 (  ) = 0.7 bit nauwkeurigheid per iteratie Men wint dus een constant aantal bits per iteratie: men noemt dit lineaire convergentie Gulden snede is zeer betrouwbaar (er kan weinig misgaan) en is de beste methode voor moeilijke (niet-gladde) functies Men hoeft niet persé te starten met x = b  ( b-a ) als men met een andere x start maar y en alle volgende punten volgens de gulden snede kiest dan convergeren de middenpunten x (n) en y (n) naar de gulden-snedeposities dit betekent dat elk initieel trippelpunt meteen bruikbaar is Gulden snede werkt ook als er meer dan één minimum is, op voorwaarde dat men een initieel trippelpunt vindt

© W. Philips, Universiteit Gent, versie: 25/4/ a. 16 Zoeken met parabolische interpolatie Gulden snede is zeer betrouwbaar maar convergeert traag Rond het optimum x * gedraagt f ( t ) zich als een parabool: Taylor-reeks: f ( t )  f ( x *) f ’’ ( x *) ( t-x *) 2 +… Principe van parabolische interpolatie: benader f ( t ) door de parabool P door de punten ( a, f ( a )), ( x, f ( x )) en ( b, f ( b )) zoek de positie y waarvoor P zijn optimale waarde bereikt opmerking: ( a, x, b ) trippelpunt  y  ] a, b [ en f ( y )< f ( a ), f ( y )< f ( x ) en f ( y )< f ( b )  nieuw trippelpunt: ( a, y, x ) als y x Voordeel: snellere convergentie: één van de punten van het nieuwe trippelpunt, n.l., y wordt dicht bij het minimum gekozen

Meerdimensionale methoden

© W. Philips, Universiteit Gent, versie: 25/4/ a. 18 De Taylorreeksontwikkeling Gegeven een scalaire vectorfunctie f ( x ) in een n- dimensionale ruimte In vectornotatie: scalair product Taylorreeksbenadering rond x : de gradient ( n x1 kolomvector) de Hessiaan ( n xn matrix)

© W. Philips, Universiteit Gent, versie: 25/4/ a. 19 Voorbeeld: eerste-orde x

© W. Philips, Universiteit Gent, versie: 25/4/ a. 20 Optima van niet-lineaire programma’s x is een lokaal optimum van een niet-lineair programma  in een kleine omgeving van x kunnen we geen enkele stap zetten naar een betere mogelijke oplossing x is een minimum als f ( x+  x ) > f ( x ) voor alle 0<||  x||   x is een maximum als f ( x+  x ) < f ( x ) voor alle 0<||  x||   Taylorreeksbenadering: x is maximum   Voor voldoend kleine  x is de eerste term veel groter dan de andere  en voor met c >0 geldt: Stel dat Dus : x is maximum  en voor alle kleine  x : 0 maar dat kan niet in een maximum!

© W. Philips, Universiteit Gent, versie: 25/4/ a. 21 Stationaire punten Stationair punt van een gladde functie: punt x waar  f = 0 Zadelpunt Maximum H is de Hessiaan x is een minimum als f ( x+  x ) > f ( x ) voor alle 0<||  x||     x t H  x > 0  H is positief definiet (per definitie)  det( H k ) > 0, k= 1 …n met H k de k -de hoofdsubmatrix van H  f bestaat niet! Taylorreeks rond zo een punt:  f = 0

© W. Philips, Universiteit Gent, versie: 25/4/ a. 22 Opmerking Let op: stel dat we een maximum zoeken ipv. een minimum In dit geval moet  x t H  x < 0 voor alle 0<||  x||   Men spreekt dan van een negatief-definiete H Het is ook mogelijk dat  x t H  x < 0 voor sommige 0<||  x||   en  x t H  x > 0 voor andere 0<||  x||   In dat geval treedt er een zadelpunt op en spreekt men van een indefiniete H

© W. Philips, Universiteit Gent, versie: 25/4/ a. 23 Lijnoptimalisatietechnieken Initialisatie: k= 0; kies een startpunt x 0 en een stoptolerantie  Verbetering: voor k= 0, 1, 2, … kies een richting p k die verbetert in x k ; stop als er geen zijn Optimaliseer f ( x k +  p k ) naar (eventueel zeer ruw benaderend)  (ééndimensionaal) optimum bij  k stel x k+ 1 =x k + k  p k Stop als het optimum niet veel meer verbetert, d.w.z. als | f ( x k+ 1 ) -f ( x k )|<  De methoden verschillen in de keuze van de richtingen p k de 1D-optimalisatiemethode (voor optimaliseren van )

© W. Philips, Universiteit Gent, versie: 25/4/ a. 24 Verbeterende richtingen Beschouw een maximalisatieprobleem (minimalisatie: analoog) en toch is  x= (1,0) verbeterend in x= 0 De gradiëntmethode kiest p=  f ( x ) als  f ( x )  0 dan is p=  f ( x ) zeker een verbeterende richting Een richting p is een verbeterende richting in een punt x  f ( x+ p ) > f ( x ) voor alle voldoend kleine  >  0 Dit is dus een lokale eigenschap Voldoende maar niet nodige voorwaarde:  f ( x )· p > 0 alternatief stopcriterium bij de gradiëntmethode: Opmerking: de gradiënt is de richting waarin de functiewaarde het snelst toeneemt (controleer)

© W. Philips, Universiteit Gent, versie: 25/4/ a. 25 De gradiëntmethode...  f ( x k ) staat loodrecht op het iso-oppervlak f ( x ) =f ( x k ) door x k f ( x,y ) = cte x y x 0x 0 x 2x 2 x 3x 3 x 4x 4 x 1x 1 f ( x k + p k ) wordt optimaal   f ( x k + p k ) p k = 0 Het volgende punt x k+ 1 voldoet dus aan  f ( x k+ 1 ) p k = 0 Interpretatie: in x k+ 1 raakt de rechte x k + p k aan een iso- oppervlak p 0 =  f ( x 0 )   x k+ 1 =  f ( x k+ 1 ) staat loodrecht op  x k  De gradiëntmethode volgt altijd een zigzaglijn optimum

© W. Philips, Universiteit Gent, versie: 25/4/ a De gradiëntmethode f(x,y)= cte x y optimum De gradiëntmethode volgt steeds de richting p k =  f ( x k ) waarin de kost lokaal (rond x k ) het snelst verandert z 0z 0 in het voorbeeld brengt y 0 ons in één stap van x 0 naar x 2 de optimale stap volgens y 0 brengt ons zelfs veel dichter bij het optimum dan 3 optimale stappen volgens de gradiënt Dit is echter niet de globaal beste richting: er is zelfs een z 0 die in 1 stap naar het optimum leidt! y 0y 0 x 0x 0 x 2x 2 x 3x 3 x 1x 1

© W. Philips, Universiteit Gent, versie: 25/4/ a. 27 Vlak-optimalisatie... We leggen deze richting p k a priori niet volledig vast maar zoeken de optimale richting in het vlak bepaald door de gradiënt g k =  f ( x k ) in x k (de lokaal beste richting) x k- 1 x k Principe: we proberen het zigzaggen te verminderen door een betere richting te kiezen p k- 1 p k x k+ 1 en de richting p k- 1 van waaruit we in x k kwamen  we optimaliseren f ( x k +  g k +  p k- 1 ) naar  en   x k+ 1 =x k +  * g k +  * p k- 1 en k p k =  * g k +  * p k- 1 met  * en  * de optimale waarden van  en  Merk op dat p k niet langer loodrecht staat op p k- 1 g k Opmerking: in het geval van een kwa- dratische functie van 2 veranderlijken vinden we onmiddellijk het optimum; in het algemeen is dat niet zo, omdat we de zoektocht beperken tot een 2D-vlak

© W. Philips, Universiteit Gent, versie: 25/4/ a De toegevoegde-gradiëntmethode... Dit is altijd een goede benadering dicht bij het optimum! Voor elk kwadratisch oppervlak kan men A symmetrisch kiezen x k- 1 x k p k- 1 p k x k+ 1 g k We veronderstellen nu dat we minimaliseren en dat f ( x ) een kwadratische vorm is: Optimalisatie van g ( ,  ) =f ( x k +  g k +  p k- 1 ) naar  en  : met  *,  * 

© W. Philips, Universiteit Gent, versie: 25/4/ a De toegevoegde-gradiëntmethode... Als f ( x ) exact een kwadratische vorm is, dan geldt: g k  p k- 1 (dit geldt bij gelijk welke lijnoptimalisatie!) g k  p l voor l < k x k- 1 x k p k- 1 p k x k+ 1 g k Gebruik makend van deze eigenschappen kunnen we p k uitdrukken als functie van enkel g k en p k- 1 : We elimineren A uit de formules (waarom: zie verder) We gebruiken hiervoor speciale eigenschappen van g k en p k g k  g l voor k  l p t k Ap l =0 voor k  l : p k en p l zijn toegevoegde richtingen details van deze slide niet kennen met 1   kkkk pgp  geen A meer!   k k k g g 

© W. Philips, Universiteit Gent, versie: 25/4/ a De toegevoegde-gradiëntmethode Algoritme: 1. Initialisatie: eerste stap volgens de gradiënt: p 0 =g 0 =  f ( x 0 ) We willen A niet berekenen met In de praktijk is f ( x ) geen kwadratische vorm en zouden we A en b moeten berekenen via Taylorreeksbenadering  we willen dit echter vermijden en enkel gradiënten berekenen 2. Verbetering: voor k= 0, 1,…: bereken optimale staplengte k : door f ( x k +  p k ) te optimaliseren naar  optimum bij  k bereken x k+ 1 = x k + k x k en vervolgens g k+ 1 =  f ( x k+ 1 ) stop als | f ( x k+1 ) -f ( x k )|<  bereken de volgende richting p k+ 1 : geen A meer!

© W. Philips, Universiteit Gent, versie: 25/4/ a. 31 Voor een exacte kwadratische vorm Als f ( x ) exact een kwadratische vorm is met n variabelen dan bereikt men in theorie het optimum in n stappen x 0x 0 x 1x 1 p 0p 0 p 1p 1 x 2x 2 g 1g 1 g 2 =0 f ( x ) kwadratisch  g 2  p 1 g 2  p 0 g 2  g l g 2  g 0 in de praktijk duurt het langer wegens afrondingsfouten De richting p k is een betere richting dan de gradiëntrichting g k want we optimaliseren f ( x k +  g k +  p k- 1 ) naar  en  en laten dus meer mogelijke oplossingen toe dan de gradiëntmethode die f ( x k +  g k ) naar  optimaliseert g 1  p 0 g 1  g 0 p t 1 Ap 0 = 0 Reden: g n, g n- 1, …, g 0 staan loodrecht op elkaar en er kunnen maar n zulke vectoren zijn  g n, g n-1, … of g 0 = 0

© W. Philips, Universiteit Gent, versie: 25/4/ a. 32 Stel f ( x ) niet-kwadratisch g 2  p 1 g 2  p 0 g 2  g l g 2  g 0 g 1  g 0 p t 1 Ap 0 = 0 Voor een willekeurige functie x 0x 0 x 1x 1 p 0p 0 p 1p 1 x 2x 2 g 1g 1 g 2 =0 Als f ( x ) geen kwadratische vorm is f ( x ) is dan nog steeds bij benadering kwadratisch lokaal rond x k  p k is lokaal nog een betere richting dan g k maar niet globaal Dicht bij het optimum is de kwadratische benadering relatief beter  het algoritme convergeert daar sneller dan de gradiëntmethode dan gelden de orthogonaliteitsbetrekkingen niet en het optimum wordt niet bereikt in n stappen

© W. Philips, Universiteit Gent, versie: 25/4/ a. 33 Te onthouden over deze methode Als f ( x ) exact een kwadratische vorm is met n variabelen dan bereikt men in theorie het optimum in n stappen in de praktijk duurt het langer wegens afrondingsfouten De richting p k is een betere richting dan de gradiëntrichting g k want we optimaliseren f ( x k +  g k +  p k- 1 ) naar  en  en laten dus meer mogelijke oplossingen toe dan de gradiëntmethode die f ( x k +  g k ) naar  optimaliseert Als f ( x ) geen kwadratische vorm is dan wordt het optimum niet bereikt in n stappen het gaat nog altijd sneller dan bij de gradiëntmethode

© W. Philips, Universiteit Gent, versie: 25/4/ a. 34 Opmerking Slides die in de les worden overgeslagen moeten toch worden gekend, tenzij expliciet anders vermeld

© W. Philips, Universiteit Gent, versie: 25/4/ a. 35 Literatuur Rardin, hfdst. 13: blzn Rardin, hfdst. 14: blzn , (geselecteerde onderwerpen)

Appendix

© W. Philips, Universiteit Gent, versie: 25/4/ a. 37 Het nieuw trippelpunt wordt dan ( a, x, y ) of ( x, y, b ) maar we noemen het ( a’, x’, b’ )...De methode van de gulden snede... We veronderstellen nu dat er 1 minimum is in [ a, b ]  elke x  ] a, b [ levert een trippelpunt We kiezen symmetrisch gelegen x en y in [ a, b ] x=b-  ( b-a ) y=a+  ( b-a ) ab xy a’ x’ b’ y’ axb y a’b’ x’ y’ We kiezen nog een tweede punt in ] a, b [ en noemen dit y’ We doen dat zo dat x’ en y’ symmetrisch liggen in [ a’, b’ ] Zelf-similariteit: We wensen dat ( a’, x’, y’, b’ ) of ( a’, y’, x’, b’ ) een geschaalde (en verschoven) versie is van ( a, x, y, b ): x’=b’-  ’ ( b’-a’ ) y’=a’+  ’ ( b’-a’ ) met  ’=  of  ’= 1 -   ’=   ’= 1 - 

© W. Philips, Universiteit Gent, versie: 25/4/ a De methode van de gulden snede... We hebben: x=b-   ( b-a ) y=a+   ( b-a ) x’=b’-  ’ ( b’-a’ ) y’=a’+  ’ ( b’-a’ ) (1  ’ )  ( b-a ) ( 1 -  )  ( b-a )  ’  ( b-a ) We moeten twee gevallen onderscheiden: axb y a’b’ x’ y’ B: ( a’, x’, b’ ) = ( x, y, b ) axby a’ x’ b’ y’ A: ( a’, x’, b’ ) = ( a, x, y ) (1  ’ )  ( b-a ) = (1-  )  ( b-a )  (1  ’ )  = 1-  voor  ’=    = 1 voor  ’= 1 -    2 +  1 = 0  ’  ( b-a ) = (1 -  )( b-a )  ’ =1- ’ =1- voor  ’=    2 +  1 = 0 voor  ’= 1 -    = 1  ( b-a )

© W. Philips, Universiteit Gent, versie: 25/4/ a De methode van de gulden snede Besluit: mogelijke oplossingen:  = 1 en de wortels van  2 +  1 = 0 gaat niet want y  [ a, b ] Gaat zowel in geval A als B Besluit: gulden snede: we kiezen als nieuwe ( x ’, y ’): 1. x ’ is ofwel x ofwel y, naargelang geval A of B 2. y ’ is het punt dat symmetrisch ligt t.o.v. x ’ in [ a’, b ‘ ] We krijgen zelf-similariteit als we  = kiezen  x en y liggen op ongeveer 1/3 van de rand van [ a, b ] en x’ en y’ liggen op ongeveer 1/3 van de rand van [ a’, b’ ] en … gaat niet want x=a  = is de zogenaamde “gulden snede” d.w.z.:  = 1,  = 0.618,  = -1.61

© W. Philips, Universiteit Gent, versie: 25/4/ a. 40 Als f ( x ) een kwadratische vorm is dan zijn beide formules equivalent omdat g k +1  g k ; voor een willekeurige f ( x ) leidt de tweede formule tot een snellere convergentie Toeg. gradiëntmethode: Opmerkingen De toegevoegde-gradiëntmethode convergeert sneller dan de gradiëntmethode omdat we kunnen bewegen volgens 2 richtingen, n.l. de gradiënt g k en de vorige richting p k-1 Kan men nog beter door nog meer richtingen te gebruiken? b.v. optimaliseer f ( x k +  g k +  1 p k- 1 +  2 p k- 2 +… +  m p k-m ) naar  en  i Antwoord: neen (althans voor een kwadratische vorm) want na berekening blijkt dat  2 =  3 =… =  n =0 Er bestaat nog een tweede formule om  k+ 1 te berekenen: