Download de presentatie
De presentatie wordt gedownload. Even geduld aub
GepubliceerdGijs Segers Laatst gewijzigd meer dan 10 jaar geleden
1
II. N eurale netwerken (pag. 283-302, boek) prof. dr. L. Schomaker (2004) KI RuG
2
KI RuG ©2003 LRB Schomaker 2 Brief history of AI 1940-1950 “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts –Shannon
3
KI RuG ©2003 LRB Schomaker 3 Brief history of AI 1940-1950 “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts –Shannon Cybernetica
4
KI RuG ©2003 LRB Schomaker 4 ’50/’60 …feedback systems & communication channels for symbols “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon Cybernetica Informatica Systeem+regeltechniek
5
KI RuG ©2003 LRB Schomaker 5 ’60/’70 … electrical engineers separate, AI matures… “the electronic brain” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon Cybernetica Informatica Systeem+regeltechniek Philosofie, logica Artificial Intelligence
6
KI RuG ©2003 LRB Schomaker 6 ’69/’75: symbols vs statistics: increased specialisation, AI vs PR “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon Cybernetica Informatica Systeem+regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI
7
KI RuG ©2003 LRB Schomaker 7 …and more specialisation… “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon Cybernetica Informatica Systeem+regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI
8
KI RuG ©2003 LRB Schomaker 8 ’80/’90 … revival of the neuron … “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts, Rosenblatt –Shannon Cybernetica Informatica Systeem+Regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI Neural Networks Connectionism
9
KI RuG ©2003 LRB Schomaker 9 ’90/’00 … revival of statistics & Bayes … “het electronische brein” –Turing, von Neumann –Wiener –Hebb, Grey Walter –Mc Culloch & Pitts –Shannon Cybernetics Informatics Systeem+Regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI Statistics, Bayes Connectionism hard AI
10
KI RuG ©2003 LRB Schomaker 10 Today: … embodied & situated systems … Cybernetics Informatics Systeem+Regeltechniek Philosofie, logica Artificial Intelligence Psychologie Cognitive science Patroonherkenning Symbolic AI Machine Learning Connectionism hard AI Biology Embodied cognition Robotics Biologically Inspired Systems
11
KI RuG ©2003 LRB Schomaker 11 II. Neurale Netwerken Neurale netwerken & Connectionisme Ontstaan uit onvrede met teleurstellende resultaten van symbolische AI in computer vision, spraak- en schriftherkenning … en uit onvrede met computermetafoor in psychologische modellen van cognitie Baanbrekend werk van McClelland & Rumelhart (boek + software kunstmatige neurale netwerken) midden jaren 1980.
12
KI RuG ©2003 LRB Schomaker 12 NN vs AI AINN Een enkele (1) CPUmassief parallellisme (neuronen) symbolische representaties ‘analoge’ en discrete maar gedistribueerde representaties door mensen ingebouwde kennis leren op basis van gegevens (voorbeelden) logicastatistiek en geometrie
13
KI RuG ©2003 LRB Schomaker 13 Uitgangspunt Neurale Netwerk methoden “Als er regelmaat of structuur in gegevens zit, dan moet er een algoritme of mechanisme bestaan dat deze regelmaat ontdekt”
14
KI RuG ©2003 LRB Schomaker 14 Een neuron in een Neuraal Netwerkmodel Gewogen inputs Sigmoide overdrachtsfunctie Output
15
KI RuG ©2003 LRB Schomaker 15 Een neuron in een Neuraal Netwerkmodel Gewogen inputs: a i = Σ w ij x j Sigmoide overdrachtsfunctie Output y i Unit i xjxj w ij 1 / ( 1 + e -a ) aiai
16
KI RuG ©2003 LRB Schomaker 16 Leren in een neuraal net Een leeralgoritme (bv. Error Backpropagation) zorgt voor het vinden van de gewichten W ij op basis van de fout tussen doel en gerealiseerde output W ij Input xjxj Output Target yiyi titi ΔW ij Error ε = y i - t i
17
KI RuG ©2003 LRB Schomaker 17 Cijferherkenning Gebruiker geeft voorbeelden van cijfers De cijfers worden aan het netwerk gepresenteerd Het netwerk berekent per cel de gewogen som van de inputs, en geeft output (sigmoide) Het verschil tussen gerealiseerde output van een cel in de laatste laag en de gewenste target (nl de Error) kan worden gebruikt om alle W ij aan te passen
18
Een 3-laags perceptron voor cijferherkenning
19
KI RuG ©2003 LRB Schomaker 19 Zie Jrec demo B. Mitchell (1998): Java Handwriting recognition demo. Werkt direct op beeldelementen (pixels) en heeft geen goede voorbewerking (preprocessing) maar is wel illustratief voor het leren van klassen van patronen (de vorm van cijfers) aan een neuraal netwerk.
20
KI RuG ©2003 LRB Schomaker 20 Een succesvol voorbeeld van NN NAVLAB: een autonoom navigerende bestelbus, Carnegie Mellon, 1989. Uitgerust met een Sun werkstation en een draadloze verbinding met mainframe computer om, op basis van traditionele technieken uit AI en computer vision, zelfstandig rond te rijden
21
KI RuG ©2003 LRB Schomaker 21 Touretzky & Pomerleau: dat moet eenvoudiger Gebruik de capaciteit om te leren in een eenvoudig neuraal netwerkmodel Menselijke chauffeur rijdt over de campus, neuraal netwerk kijkt ‘over de schouder’ naar: Input: 1) camerabeeld, 2) radarbeeld, Output: 3) de stand van het stuur als doel
22
De ALVINN netwerkarchitectuur (Touretzky & Pomerleau, 1989)
23
Hidden units als zelflerende ‘feature detectors’ De waarden van de gewichten tussen inputbeeld en een hidden unit kunnen worden afgebeeld als grijstinten. Deze Hidden Unit let op “niet rechtdoorrijden”
24
KI RuG ©2003 LRB Schomaker 24 Meer problemen…. Voortbeweging op basis van navigatie is perceptueel lastig maar motorisch eenvoudig (links, rechts, langzaam, snel) Armbeweging is een zeer complex probleem Kun je hier ook neurale netwerken gebruiken?
25
KI RuG ©2003 LRB Schomaker 25 Inverse Kinematica: hoe moeilijk is het? Doel (x,y,z) Opdracht: bedien de schuifregelaars en zorg dat de grijper vloeiend naar het doel beweegt
26
‘Motor babbling’ als basis voor het aanleren van inverse kinematica voor een 2D arm. Willekeurig gegenereerde gewrichthoeken leiden tot gerealiseerde handposities in het werkveld. Zo kan een NN de inverse leren: van vereiste handpositie naar gewrichtshoeken.
27
KI RuG ©2003 LRB Schomaker 27 Schouderhoek over het werkveld
28
KI RuG ©2003 LRB Schomaker 28 Ellebooghoek over het werkveld
29
KI RuG ©2003 LRB Schomaker 29 Wat hebben neurale netwerken gebracht? Patrooncompletering bij ruizige patronen Zelforganisatie: Kohonen self-organized maps, het leren van klassen van patronen zonder externe ‘leraar’ Patroonklassificatie Patroontransformatie Beroemde namen: McClelland, Rumelhart, Jordan, Elman, Hopfield, Grossberg, Kohonen
30
KI RuG ©2003 LRB Schomaker 30 Wat hebben neurale netwerken gebracht? Veel problemen in toepassingen van AI in de echte wereld werden veel minder lastig Neurale netwerkmodellen geven, eenmaal werkend, niet vanzelf meer inzicht over het onderliggende waarnemings-, cognitie- of motoriekprobleem NN zijn momenteel als standaardmethode aan de gereedschapskist toegevoegd Modernere methoden zijn ontwikkeld
Verwante presentaties
© 2024 SlidePlayer.nl Inc.
All rights reserved.