II. N eurale netwerken (pag , boek) prof. dr. L. Schomaker (2004) KI RuG

KI RuG ©2003 LRB Schomaker 2 Brief history of AI  “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts –Shannon

KI RuG ©2003 LRB Schomaker 3 Brief history of AI  “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts –Shannon  Cybernetica

KI RuG ©2003 LRB Schomaker 4 ’50/’60 …feedback systems & communication channels for symbols  “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon  Cybernetica Informatica Systeem+regeltechniek

KI RuG ©2003 LRB Schomaker 5 ’60/’70 … electrical engineers separate, AI matures…  “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon  Cybernetica Informatica Systeem+regeltechniek Philosofie, logica Artificial Intelligence

KI RuG ©2003 LRB Schomaker 6 ’69/’75: symbols vs statistics: increased specialisation, AI vs PR  “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon  Cybernetica Informatica Systeem+regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI

KI RuG ©2003 LRB Schomaker 7 …and more specialisation…  “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon  Cybernetica Informatica Systeem+regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI

KI RuG ©2003 LRB Schomaker 8 ’80/’90 … revival of the neuron …  “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon  Cybernetica Informatica Systeem+Regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI Neural Networks Connectionism

KI RuG ©2003 LRB Schomaker 9 ’90/’00 … revival of statistics & Bayes …  “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts –Shannon  Cybernetics Informatics Systeem+Regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI Statistics, Bayes Connectionism hard AI

KI RuG ©2003 LRB Schomaker 10 Today: … embodied & situated systems …   Cybernetics Informatics Systeem+Regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI Machine Learning Connectionism hard AI Biology Embodied cognition Robotics Biologically Inspired Systems

KI RuG ©2003 LRB Schomaker 11 II. Neurale Netwerken  Neurale netwerken & Connectionisme  Ontstaan uit onvrede met teleurstellende resultaten van symbolische AI in computer vision, spraak- en schriftherkenning  … en uit onvrede met computermetafoor in psychologische modellen van cognitie  Baanbrekend werk van McClelland & Rumelhart (boek + software kunstmatige neurale netwerken) midden jaren 1980.

KI RuG ©2003 LRB Schomaker 12 NN vs AI AINN Een enkele (1) CPUmassief parallellisme (neuronen) symbolische representaties ‘analoge’ en discrete maar gedistribueerde representaties door mensen ingebouwde kennis leren op basis van gegevens (voorbeelden) logicastatistiek en geometrie

KI RuG ©2003 LRB Schomaker 13 Uitgangspunt Neurale Netwerk methoden “Als er regelmaat of structuur in gegevens zit, dan moet er een algoritme of mechanisme bestaan dat deze regelmaat ontdekt”

KI RuG ©2003 LRB Schomaker 14 Een neuron in een Neuraal Netwerkmodel Gewogen inputs Sigmoide overdrachtsfunctie Output

KI RuG ©2003 LRB Schomaker 15 Een neuron in een Neuraal Netwerkmodel Gewogen inputs: a i = Σ w ij x j Sigmoide overdrachtsfunctie Output y i Unit i xjxj w ij 1 / ( 1 + e -a ) aiai

KI RuG ©2003 LRB Schomaker 16 Leren in een neuraal net Een leeralgoritme (bv. Error Backpropagation) zorgt voor het vinden van de gewichten W ij op basis van de fout tussen doel en gerealiseerde output W ij Input xjxj Output Target yiyi titi ΔW ij Error ε = y i - t i

KI RuG ©2003 LRB Schomaker 17 Cijferherkenning  Gebruiker geeft voorbeelden van cijfers  De cijfers worden aan het netwerk gepresenteerd  Het netwerk berekent per cel de gewogen som van de inputs, en geeft output (sigmoide)  Het verschil tussen gerealiseerde output van een cel in de laatste laag en de gewenste target (nl de Error) kan worden gebruikt om alle W ij aan te passen

Een 3-laags perceptron voor cijferherkenning

KI RuG ©2003 LRB Schomaker 19 Zie Jrec demo B. Mitchell (1998): Java Handwriting recognition demo. Werkt direct op beeldelementen (pixels) en heeft geen goede voorbewerking (preprocessing) maar is wel illustratief voor het leren van klassen van patronen (de vorm van cijfers) aan een neuraal netwerk.

KI RuG ©2003 LRB Schomaker 20 Een succesvol voorbeeld van NN  NAVLAB: een autonoom navigerende bestelbus, Carnegie Mellon, Uitgerust met een Sun werkstation en een draadloze verbinding met mainframe computer om, op basis van traditionele technieken uit AI en computer vision, zelfstandig rond te rijden

KI RuG ©2003 LRB Schomaker 21 Touretzky & Pomerleau: dat moet eenvoudiger  Gebruik de capaciteit om te leren in een eenvoudig neuraal netwerkmodel  Menselijke chauffeur rijdt over de campus, neuraal netwerk kijkt ‘over de schouder’ naar: Input: 1) camerabeeld, 2) radarbeeld, Output: 3) de stand van het stuur als doel

De ALVINN netwerkarchitectuur (Touretzky & Pomerleau, 1989)

Hidden units als zelflerende ‘feature detectors’ De waarden van de gewichten tussen inputbeeld en een hidden unit kunnen worden afgebeeld als grijstinten. Deze Hidden Unit let op “niet rechtdoorrijden”

KI RuG ©2003 LRB Schomaker 24 Meer problemen….  Voortbeweging op basis van navigatie is perceptueel lastig maar motorisch eenvoudig (links, rechts, langzaam, snel)  Armbeweging is een zeer complex probleem  Kun je hier ook neurale netwerken gebruiken?

KI RuG ©2003 LRB Schomaker 25 Inverse Kinematica: hoe moeilijk is het? Doel (x,y,z) Opdracht: bedien de schuifregelaars en zorg dat de grijper vloeiend naar het doel beweegt

‘Motor babbling’ als basis voor het aanleren van inverse kinematica voor een 2D arm. Willekeurig gegenereerde gewrichthoeken leiden tot gerealiseerde handposities in het werkveld. Zo kan een NN de inverse leren: van vereiste handpositie naar gewrichtshoeken.

KI RuG ©2003 LRB Schomaker 27 Schouderhoek over het werkveld

KI RuG ©2003 LRB Schomaker 28 Ellebooghoek over het werkveld

KI RuG ©2003 LRB Schomaker 29 Wat hebben neurale netwerken gebracht?  Patrooncompletering bij ruizige patronen  Zelforganisatie: Kohonen self-organized maps, het leren van klassen van patronen zonder externe ‘leraar’  Patroonklassificatie  Patroontransformatie  Beroemde namen: McClelland, Rumelhart, Jordan, Elman, Hopfield, Grossberg, Kohonen

KI RuG ©2003 LRB Schomaker 30 Wat hebben neurale netwerken gebracht?  Veel problemen in toepassingen van AI in de echte wereld werden veel minder lastig  Neurale netwerkmodellen geven, eenmaal werkend, niet vanzelf meer inzicht over het onderliggende waarnemings-, cognitie- of motoriekprobleem  NN zijn momenteel als standaardmethode aan de gereedschapskist toegevoegd  Modernere methoden zijn ontwikkeld