Didactisch materiaal bij de cursus Academiejaar Tel: 09/ Fax: 09/ Prof. dr. ir. W. Philips Optimalisatietechnieken

© W. Philips, Universiteit Gent, versie: 16/2/ a. 2 Copyright notice This powerpoint presentation was developed as an educational aid to the renewed course “Optimisation Techniques” (Optimalisatietechnieken), taught at the University of Gent, Belgium as of This presentation may be used, modified and copied free of charge for non-commercial purposes by individuals and non-for-profit organisations and distributed free of charge by individuals and non-for-profit organisations to individuals and non-for-profit organisations, either in electronic form on a physical storage medium such as a CD-rom, provided that the following conditions are observed: 1.If you use this presentation as a whole or in part either in original or modified form, you should include the copyright notice “© W. Philips, Universiteit Gent, 1998” in a font size of at least 10 point on each slide; 2.You should include this slide (with the copyright conditions) once in each document (by which is meant either a computer file or a reproduction derived from such a file); 3. If you modify the presentation, you should clearly state so in the presentation; 4.You may not charge a fee for presenting or distributing the presentation, except to cover your costs pertaining to distribution. In other words, you or your organisation should not intend to make or make a profit from the activity for which you use or distribute the presentation; 5. You may not distribute the presentations electronically through a network (e.g., an HTTP or FTP server) without express permission by the author. In case the presentation is modified these requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the presentation, and can be reasonably considered independent and separate works in themselves, then these requirements do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the presentation, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. In particular note that condition 4 also applies to the modified work (i.e., you may not charge for it). “Using and distributing the presentation” means using it for any purpose, including but not limited to viewing it, presenting it to an audience in a lecture, distributing it to students or employees for self-teaching purposes,... Use, modification, copying and distribution for commercial purposes or by commercial organisations is not covered by this licence and is not permitted without the author’s consent. A fee may be charged for such use. Disclaimer: Note that no warrantee is offered, neither for the correctness of the contents of this presentation, nor to the safety of its use. Electronic documents such as this one are inherently unsafe because they may become infected by macro viruses. The programs used to view and modify this software are also inherently unsafe and may contain bugs that might corrupt the data or the operating system on your computer. If you use this presentation, I would appreciate being notified of this by . I would also like to be informed of any errors or omissions that you discover. Finally, if you have developed similar presentations I would be grateful if you allow me to use these in my course lectures. Prof. dr. ir. W. Philips Department of Telecommunications and Information ProcessingFax: University of GentTel: St.-Pietersnieuwstraat 41, B9000 Gent, Belgium

Kennismakingsles De lesgever

© W. Philips, Universiteit Gent, versie: 16/2/ a. 4 Coördinaten Vakgroep: Telecommunicatie en informatieverwerking Onderzoeksgroep: Beeldverwerking en -interpretatie Bureau: TELIN, verdieping T, Technicum, linker ingang, St.-Pietersnieuwstraat 41 Tel: Web:

© W. Philips, Universiteit Gent, versie: 16/2/ a. 5 Onderwijsactiviteiten Opleidingsonderdelen beeldverwerking - optimalisatietechnieken - kantoorautomatisering (Master toegepaste informatica) -

© W. Philips, Universiteit Gent, versie: 16/2/ a. 6 Onderzoeksactiviteiten Onderzoeksgroep: Beeldverwerking en interpretatie 4 post-docs en 1 technologie-ontwikkelaar 30-tal doctoraatsstudenten onderwerpen: beeld- en videorestauratie, beeldanalyse en interpretatie, beeldreproductie toepassingen: aardobservatie, bewaking, medisch Samenwerkingsverbanden academisch: UGent (diverse), Stanford, UPV, UGroningen, U Novi Sad, KULeuven, IMEC, VUB, UA, KMS, VITO, … bedrijven en organisaties: Alcatel-Lucent, Picanol, Trinean, Sanyo, FDA, NICC, PunchGraphix, Medtronic, Tele-Atlas, Traficon, BarcoView, Agfa, NXP, Sodiplan, Arcelor, … spin-off: GeoInvent

Kennismakingsles Praktische regelingen

© W. Philips, Universiteit Gent, versie: 16/2/ a. 8 Organisatie lessen Theorielessen dinsdag 10:00-13:00 systeem: klassieke theorielessen + zelfstudie Oefeningenlessen woensdag 14:30-17:30 (niet elke week) oefeningen worden opgegeven en aangekondigd via minerva Project opgave enkele weken voor de paasvakantie

© W. Philips, Universiteit Gent, versie: 16/2/ a. 9 Didactisch materiaal De “powerpoint”-presentaties: beschikbaar op de web-site in ppt- en pdf-formaat: De syllabus: de syllabus kan nu worden besteld (behandelt slechts een deel van het materiaal) Boek: behandelt een groot deel van het extra materiaal voor de 6sp-versie (en een deel van het materiaal van de 5sp-versie) Robert J. Vanderbei. Linear Programming Foundations and Extensions. International Series in Operations Research and Management Science, Vol. 37, 2nd ed., 2001, 472 p., Hardcover ISBN:

© W. Philips, Universiteit Gent, versie: 16/2/ a. 10 Literatuur ++Robert J. Vanderbei. Linear Programming Foundations and Extensions. International Series in Operations Research and Management Science, Vol. 37, 2nd ed., 2001, 472 p., Hardcover ISBN: R.L. Rardin. Optimization In Operations Research. Prentice Hall, ISBN: J.R. Evans and E. Minieka. Optimization Algorithms for Networks and Graphs. Marcel Dekker, 2nd edition, ISBN A. Dolan and J. Aldoes. Networks and Algorithms. An Introductory Approach. John Wiley, ISBN W.H. Press, B.P. Flannery, S.A. Teukolsky and W.T. Vetterling. Numerical Recipes in C. Cambridge University Press Didactische kwaliteit: +=redelijk ++=goed

© W. Philips, Universiteit Gent, versie: 16/2/ a. 11 Contact met de lesgevers Persoonlijk contact tijdens/na de les of na afspraak (oefeningen) Website: alle aankondigingen worden verspreid via de website en via minerva Feedback meld eventuele problemen (lessen, didactisch materiaal, tijdschema, oefeningen) zo snel mogelijk we zullen ze zo snel mogelijk oplossen

© W. Philips, Universiteit Gent, versie: 16/2/ a. 12 Examenstof Te kennen i.v.m. theorie en oefeningen alle onderwerpen die in de slides aan bod komen en waarvan niet expliciet wordt vermeld dat je ze niet moet kennen dus ook de slides die niet in de les aan bod kwanen (deze zijn bedoeld voor zelfstudie) Opmerkingen consulteer de laatste versie van de slides (op de website); de slides kunnen lichtjes verschillen van deze van voorgaande jaren het examen test vooral het begrijpen van theorie en oefeningen en in mindere mate het kennen en kunnen toepassen van algoritmen

© W. Philips, Universiteit Gent, versie: 16/2/ a. 13 Examensysteem Geen permanente evaluaties (wel project) Periode-gebonden evaluatie in twee (aansluitende) delen 1.gesloten boek (30 tot 45 minuten) 2. open boek (1 tot 2 uur) -testen van parate kennis (definities, eigenschappen, methoden, …) -zeer korte antwoorden (enkele zinnen per deelvraag) -sommige vragen worden onder de vorm van oefeningen gesteld -al dan niet theoretische oefeningen -weinig rekenwerk -korte antwoorden Voorbeelden van examenvragen: zie website

© W. Philips, Universiteit Gent, versie: 16/2/ a. 14 Puntenverdeling 80% van de punten op het examen (ongeveer gelijkmatig verdeeld over gesloten en open boek gedeeltes) 20% van de punten op het project Opmerking: projectpunten blijven behouden in tweede zit gewijzigd op: 16 February 2011

Kennismakingsles De inhoud van de cursus

© W. Philips, Universiteit Gent, versie: 16/2/ a. 16 Overzicht… Inleidingsles Problemen met continue veranderlijken Lineaire programma’s basisbegrippen en algoritmen duale lineaire programma’s sensitiviteitsanalyse “interior point” methoden Niet-lineaire programma’s met/zonder randvoorwaarden zoekmethoden belangrijke bijzondere gevallen -kwadratische lineaire programma’s -algemene convexe problemen voorwaarden voor optimaliteit

© W. Philips, Universiteit Gent, versie: 16/2/ a. 17 …Overzicht Verzwaarde lineaire programma’s Begrippen en soorten problemen Branch-and-bound Graafgebaseerde technieken Enkele begrippen uit de graaftheorie Opspannende bomen Kortste paden en dynamisch programmeren Stromen en huwelijksproblemen Problemen met discrete veranderlijken

Kennismakingsles De inhoud van de cursus Voorbeelden

© W. Philips, Universiteit Gent, versie: 16/2/ a. 19 mogelijke leidingen (met kost) Optimale bomen in een graaf Men kent de kost van het aanleggen van een leiding tussen elk paar platformen (en weet of de aanleg mogelijk is) optimaal leidingennet Oplossing: het optimaal net is de opspannende boom met kleinste kost Een aantal boorplatformen moeten onderling en met de kust worden verbonden via een pijpleidingennet

© W. Philips, Universiteit Gent, versie: 16/2/ a. 20 Kortste paden in een graaf Transportproblemen: gegeven een wegenkaart, zoek de snelste weg van stad A naar stad B, rekening houdend met beperkingen zoals: snelheidsbeperkingen enkelrichtingsstraten files, AB AB Dit is een kortste-pad probleem

© W. Philips, Universiteit Gent, versie: 16/2/ a. 21 Knapzakprobleem: graafformulering Gegeven een aantal objecten met bepaald gewicht en waarde, kies een aantal objecten met in totaal een zo groot mogelijk “nut” een gewicht kleiner dan een gegeven grens 4 Object:ABC Gewicht:2 1 3 “Nut”: Maximaal gewicht: A 30 B C AB A B BC 20 Duurste-pad formulering: enkel zinvol voor kleine problemen! Dit is een voorbeeld van een “Integer programming”-probleem

© W. Philips, Universiteit Gent, versie: 16/2/ a. 22 “Integer programming” (zero-one programming) Lineaire programmering lineaire programmering Knapzakprobleem: ( m 1 ongelijkheden) ( m 2 gelijkheden) Maximaliseer mits Algemene lineaire programmering en mits alle x i  0 maximaliseer mits en mits

© W. Philips, Universiteit Gent, versie: 16/2/ a. 23 Optimale stroom in een graaf Gegeven een transportnetwerk (datatransmissie, water, …) De maximale capaciteit van elke leiding is gekend 2 s t De distributieknopen moeten de stromen zodanig herverdelen dat de totale stroom van s naar t maximaal wordt Verwant probleem: zoek de stroom met de kleinste kost

© W. Philips, Universiteit Gent, versie: 16/2/ a. 24 Huwelijksproblemen Gegeven een aantal mannen en vrouwen; sommige mannen en vrouwen zien elkaar graag onder welke voorwaarden kunnen we alle mannen doen trouwen met één vrouw, waarbij ze elkaar graag zien? mannenvrouwen = wil trouwen met Hoeveel koppels kunnen we maximaal vormen? Wiskundige formulering: zoek een maximale “matching” in een “bi-partite” graaf Maximaal aantal koppels: hier 3

© W. Philips, Universiteit Gent, versie: 16/2/ a. 25 Verwante problemen 2. Elke vrouw rangschikt alle mannen volgens dalende voorkeur; elke man rangschikt alle vrouwen op analoge wijze Kunnen we “stabiele” koppels vormen, d.w.z. koppels waarin elke man “de beste vrouw heeft die hij kan krijgen” en elke vrouw “de beste man die zij kan krijgen?” Hoe vinden we die koppels? 3. Zoals 2, maar voor homo-huwelijken Probleem 2 en probleem 3 zijn fundamenteel verschillend 2  bi-partite graaf; er bestaat een oplossing 3  algemene graaf; er bestaat meestal geen oplossing 1. Aan elk mogelijk koppel wordt een kwaliteit toegekend Hoe kan men de som van de kwaliteiten maximaliseren  het Hongaars algoritme

© W. Philips, Universiteit Gent, versie: 16/2/ a. 26 Een citaat “An interesting by-product of our work with linear programming models is a mathematical proof that of all the possible forms of marriage (monogamy, bigamy, polygamy, etc.), monogamy is the best.” (Dantzig 1955)

© W. Philips, Universiteit Gent, versie: 16/2/ a tot 9 9 tot 10 Algemenere toewijzingsproblemen... Uurroosters opstellen: in een periode van maximaal 4 uur moeten 6 lessen van 1 uur worden gegeven; sommige lessen mogen in parallel worden gegeven maar andere niet x: lessen die niet in parallel mogen Geef elke knoop een kleur (=het uur waarop de les doorgaat) Verbonden knopen mogen niet dezelfde kleur hebben 10 tot tot Conflictgraaf

© W. Philips, Universiteit Gent, versie: 16/2/ a Het 4-kleurenprobleem Probleem: kleur de landen op een landkaart zodat landen die in meer dan een punt grenzen een verschillende kleur hebben; gebruik zo weinig mogelijk kleuren (het kan met 4 kleuren) Oplossing: stel ieder land voor door een knoop en verbind elk paar aangrenzende landen door een tak; dit herleidt het probleem tot dat van de vorige slide Opmerkingen in dit geval is de conflictgraaf planair de graaf gevormd door de grenzen op de landkaart duaal is de duale van de conflictgraaf

© W. Philips, Universiteit Gent, versie: 16/2/ a A B C Drie dorpen A, B en C verbonden door een aantal enkelrichtingsstraten De postbode, de dief en de verkoper De dief: wil exact één keer ieder dorp “bezoeken” (en terugkeren) De verkoper: wil minstens één keer ieder dorp bezoeken De postbode: wil minstens één keer alle straten bezoeken Alle drie willen ze de kortste weg afleggen (en respecteren ze natuurlijk de verkeersregels!) en naar huis terugkeren Verkoper: 4 (ABACA) Postbode: 26 (BCABACAB) Dief: 22 (BCAB)

© W. Philips, Universiteit Gent, versie: 16/2/ a. 30 Optimalisatie zonder randvoorwaarden Voorbeeld: Gegeven een functie f ( x,y ), zoek het globale maximum of de lokale maxima (of minima) f(x,y) Klassieke oplossing: Afdalingsmethoden (voor minima) of klimmethoden (voor maxima)

© W. Philips, Universiteit Gent, versie: 16/2/ a. 31 Optimalisatie met randvoorwaarden Randvoorwaarden: gelijkheden: maximaliseer f ( x,y ) waarbij g ( x,y )=0 f ( x,y ) f ( x ( t ),y ( t )) met g ( x ( t ),y ( t ))=0 ongelijkheden: maximaliseer f ( x,y ) waarbij x  0, y  0, g ( x,y )<0,...

© W. Philips, Universiteit Gent, versie: 16/2/ a. 32 Beleggingsprobleem (Markowitz) Gegeven een aantal mogelijke beleggingen j met verwacht rendement R j variantie op het rendement:  j en een bepaald budget B om te beleggen risico-aversie verwacht rendementvariantie op rendement Randvoorwaarden: 0  x j Dit is een “kwadratisch programma” Gevraagd: bepaal de optimale bedragen x j om het volledige budget te beleggen Te maximaliseren criterium:

© W. Philips, Universiteit Gent, versie: 16/2/ a. 33 Doelstellingen Doelstellingen van de cursus De in de les bestudeerde definities, technieken, eigenschappen, … begrijpen en kunnen toepassen In staat zijn optimalisatieproblemen wiskundig te formuleren In staat zijn elementaire oefeningen over optimalisatie op te lossen In staat zijn optimalisatieproblemen verwant aan deze die in de les gezien zijn op te lossen (eventueel mits enige hints)