De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Motoriek, Robotica en Neurale Netwerken prof. dr. L. Schomaker (2003) KI RuG.

Verwante presentaties


Presentatie over: "Motoriek, Robotica en Neurale Netwerken prof. dr. L. Schomaker (2003) KI RuG."— Transcript van de presentatie:

1 Motoriek, Robotica en Neurale Netwerken prof. dr. L. Schomaker (2003) KI RuG

2 KI RuG ©2003 LRB Schomaker 2 Overzicht  perceptie, cognitie en motoriek  motoriek  bewegingssturing via neurale netwerken in de robotica  waarom Motoriek&Robotica&NN?

3 KI RuG ©2003 LRB Schomaker 3 Waarom?  Computers worden steeds sneller: 2x in 18 mnd.  Het menselijk brein ‘rekent’, vergelijkbaar met een centrale processor van GHz  Dus over vier jaar is de computer even intelligent als de mens?  Vandaag al? Verbind 15 gewone PC’s met elkaar en we zijn klaar?

4 KI RuG ©2003 LRB Schomaker 4 Waarom?  Computers worden steeds sneller: 2x in 18 mnd.  Het menselijk brein ‘rekent’, vergelijkbaar met een centrale processor van GHz  Dus over vier jaar is de computer even intelligent als de mens?  Vandaag al? Verbind 15 gewone PC’s met elkaar en we zijn klaar?

5 KI RuG ©2003 LRB Schomaker 5 Hoe…?  “We weten nog te weinig over de architectuur van intelligente systemen”  Vergeet computerschaak en kijk naar ‘embodied systems’ in een fysische omgeving.

6 Traditioneel model voor (menselijke) informatieverwerking Cognitie PerceptieMotoriek

7 Specialisatie van wetenschapsgebieden Cognitie: beslissen leren taal Visuele Perceptie Auditieve Perceptie Tactiele Perceptie Geur-Perceptie psychonomie psychofysica patroonherkenning psychonomie cognitiewetenschap taalkunde kunstmatige intelligentie psychonomie bewegingswetenschappen AI, robotica Voortbeweging Objectmanipulatie Spraak Schrijven

8 Traditioneel model voor (menselijke) informatieverwerking Cognitie PerceptieMotoriek Tevredenstellend?

9 Traditioneel perceptie-onderzoek en computer vision

10

11 KI RuG ©2003 LRB Schomaker 11 Klopt dit model wel?  Waar komt de informatie vandaan?  Waar gaat de informatie naartoe? Cognitie Perceptie Motoriek

12 Aangepast model voor informatieverwerking Cognitie PerceptieMotoriek WERELD AGENT zintuigeneffectoren

13 KI RuG ©2003 LRB Schomaker 13 Klopt dit aangepaste model wel? Cognitie Perceptie Motoriek WERELD AGENT zintuigen effectoren Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden

14 KI RuG ©2003 LRB Schomaker 14 Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  De sensoren hebben verandering in intensiteit nodig: (dS/dt) om te kunnen reageren

15 KI RuG ©2003 LRB Schomaker 15  Deze veranderingen in S worden grotendeels door motoriek bepaald! Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  De sensoren hebben verandering in intensiteit nodig: (dS/dt) om te kunnen reageren

16 KI RuG ©2003 LRB Schomaker 16  Deze veranderingen in S worden grotendeels door motoriek bepaald! Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  De sensoren hebben verandering in intensiteit nodig: (dS/dt) om te kunnen reageren  De sensoren moeten worden gericht en geregeld: dit wordt gedaan door spieren

17 KI RuG ©2003 LRB Schomaker 17  Het zien Perceptie en Motoriek zijn onlosmakelijk verbonden  Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

18 KI RuG ©2003 LRB Schomaker 18  Het zien Perceptie en Motoriek zijn onlosmakelijk verbonden  Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

19 KI RuG ©2003 LRB Schomaker 19  Het zien Perceptie en Motoriek zijn onlosmakelijk verbonden  Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

20 KI RuG ©2003 LRB Schomaker 20  Het zien Perceptie en Motoriek zijn onlosmakelijk verbonden  Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg  Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren.

21 KI RuG ©2003 LRB Schomaker 21  Het zien Perceptie en Motoriek zijn onlosmakelijk verbonden  Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg  Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren.  De indruk van het totaalbeeld wordt geconstrueerd in het brein.

22 KI RuG ©2003 LRB Schomaker 22  Het zien Perceptie en Motoriek zijn onlosmakelijk verbonden  Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg  Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren.  De indruk van het totaalbeeld wordt geconstrueerd in het brein.  Scherpstellen (accomodatie en vergentie) worden gerealiseerd door de oogspieren

23 Oogbewegingen: saccades en fixaties bij het kijken naar een gezicht Van de saccade- trajecten is slechts een deel afgebeeld. De fixaties zijn de verdichtingen Joyce (2000).

24  Resolutie van een biologisch oog: alleen centraal (fovea) is het beeld scherp. Perifeer is het beeld wazig maar de gevoeligheid voor beweging is daar groter.  Gevolg: je mòèt wel actief rondkijken!

25 KI RuG ©2003 LRB Schomaker 25  Het horen Perceptie en Motoriek zijn onlosmakelijk verbonden  Bij het horen is dS/dt van luchtdruk ongelijk aan nul: gratis veranderingen in de tijd! Motoriek is dus niet nodig?

26 KI RuG ©2003 LRB Schomaker 26  Het horen Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  Bij het horen is dS/dt van luchtdruk ongelijk aan nul (gratis veranderingen in de tijd!) Motoriek is dus niet nodig?  Om richting te bepalen moet je hoofd of oren richten

27 KI RuG ©2003 LRB Schomaker 27  Het horen Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig?  Om richting te bepalen moet je hoofd of oren richten  Verder wordt de gevoeligheid wordt door spiertjes bepaald, ook om het oor te beschermen (tensor stapedius)

28 KI RuG ©2003 LRB Schomaker 28 Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  Als je de textuur van een voorwerp wil voelen moet je een tactiele ‘flow’ veroorzaken door je hand te bewegen.  Bij stilstand vervaagt de tactiele indruk  De tast

29 KI RuG ©2003 LRB Schomaker 29  De reuk Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben)

30 KI RuG ©2003 LRB Schomaker 30  De reuk Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben)  de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten

31 KI RuG ©2003 LRB Schomaker 31  De reuk Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben)  de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten  snuffelen: complexe motorische activiteit bestaande uit ego-motion en richten van de sensor

32 KI RuG ©2003 LRB Schomaker 32  De propriocepsis Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen

33 KI RuG ©2003 LRB Schomaker 33  De propriocepsis Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen  De gevoeligheid van de spierspoeltjes wordt door het brein geregeld (de gamma-efferenten) gamma alpha dL/dt naar CZS spiervezels (motor unit) spierspoeltje

34 Motor cortex (precentraal) en somatosensorische cortex (postcentraal)

35 Penfield Penfield & Rasmussen (1950). Twee plakjes brein. Rechts=Voor (pre-centraal): spieraansturing Links=Achter (post-centraal): waarneming van de de (toe)stand van de ledematen.

36 KI RuG ©2003 LRB Schomaker 36 Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden  semi-circulaire kanalen  otholithische sensor  …werken voor en door de motoriek  Het evenwichtsorgaan

37 Aangepast model voor informatieverwerking Cognitie PerceptieMotoriek WERELD AGENT zintuigeneffectoren

38 KI RuG ©2003 LRB Schomaker 38 Ontwikkelingen in AI en robotica  Bewegen om waar te nemen  Waarnemen om te bewegen Cognitie zintuigeneffectoren

39 Foto’s van Robot Hond, AI-lab Zurich Motoriek zorgt ook voor problemen: bewegend beeld bij lopen vergt “gaze stabilisation”: met oogbewegingen ervoor zorgen dat het beeld niet al te veel schudt gedurende lopen.

40 KI RuG ©2003 LRB Schomaker 40 Ontwikkelingen in AI en robotica  Bewegen om waar te nemen  Waarnemen om te bewegen  + afregeling van sensoren door motorische mechanismen Cognitie zintuigeneffectoren

41 KI RuG ©2003 LRB Schomaker 41 Een architectuur voor cognitie cognitie zintuigeneffectoren aandacht&coordinatie reflexen

42 KI RuG ©2003 LRB Schomaker 42 Een architectuur voor cognitie cognitie zintuigeneffectoren aandacht coordinatie reflexen neocortex hypothalamus, basale ganglia, cerebellum ruggemerg

43 KI RuG ©2003 LRB Schomaker 43 Tussentijdse conclusie  Perceptie en motoriek zijn sterk onderling afhankelijk  Wat is het voordeel van deze architectuur?

44

45

46 KI RuG ©2003 LRB Schomaker 46 Ontwikkelingen in AI en robotica  “embodied intelligence”: intelligentie is niet te begrijpen zonder inachtname van  lichaam & omgeving  closed-loop system

47 KI RuG ©2003 LRB Schomaker 47 Voordelen van een closed-loop system  Closed-loop + non-lineariteit  zelforganisatie  Neurale adaptiviteit is de truc!

48 KI RuG ©2003 LRB Schomaker 48 Voordelen van een closed-loop system  Closed-loop + non-lineariteit  zelforganisatie  Neurale adaptiviteit is de truc!  Voorbeeld: het leren van motorische controle

49 KI RuG ©2003 LRB Schomaker 49 Inverse Kinematica  Gegeven een kinematische keten (gewrichten en ledemaatsegmenten), en een gewenste doelpositie in de taakruimte, wat is de vector van gewrichtshoeken als functie van de tijd?

50 KI RuG ©2003 LRB Schomaker 50 Inverse Kinematica: hoe moeilijk is het? Doel (x,y,z) Opdracht: bedien de schuifregelaars en zorg dat de grijper vloeiend naar het doel beweegt

51 KI RuG ©2003 LRB Schomaker 51 Inverse Kinematica φ1φ1 φ2φ2 φ3φ3 φ4φ4 φ5φ5 φ6φ6 φ7φ7 Doel (x,y,z) Gegeven doel (x,y,z), gevraagd: vector φ met gewrichtshoeken?

52 KI RuG ©2003 LRB Schomaker 52 Inverse Kinematica…  Van laag-dimensionaal (3 df) naar hoog- dimensionaal (7 degrees of freedom)  Is dit mathematisch op te lossen?  Nee: het is een “ill-posed problem” of slecht gesteld probleem. Definitie: een probleem waarvoor 1) géén of 2) meerdere oplossingen mogelijk zijn

53 KI RuG ©2003 LRB Schomaker 53 Inverse Kinematica, vervolg  Er zijn meestal zeer veel oplossingen (gewrichtshoeken als functie van de tijd) voor een traject van een eindeffector van positie A naar B in de Cartesiaanse taakruimte  Sommige configuraties hebben geen oplossing (singulariteit)

54 KI RuG ©2003 LRB Schomaker 54 2-d, twee segmenten

55 KI RuG ©2003 LRB Schomaker 55 2-d, twee segmenten Twee oplossingen voor deze arm!

56 KI RuG ©2003 LRB Schomaker 56 Inverse Kinetica (Inverse Dynamica): niet alleen een traject, maar ook krachten! θ1θ1 θ2θ2 θ3θ3 θ4θ4 θ5θ5 θ6θ6 θ7θ7 Doel (m,g) Gegeven massa m, inertie g, gevraagd: vector θ met draaimomenten?

57 KI RuG ©2003 LRB Schomaker 57 Het probleem is dus onoplosbaar?  Nee: wij bewegen nogal veel, bijvoorbeeld  Oplossingen: inperkingen (constraints) maken berekening mogelijk  De inperkingen kunnen structureel zijn (aantal vrijheidsgraden) of contextueel (taak- en systeemparameters)

58 KI RuG ©2003 LRB Schomaker 58 Constraints: natuurlijke bewegers  Hoe komen de natuurlijke motorieksystemen aan de juiste parameterinstelling????  …terwijl het systeem ook nog eens aan allerlei veranderingen onderhevig is zoals –Groei –Veroudering (krachtsverlies) ????  Antwoord: neurale plasticiteit!

59 KI RuG ©2003 LRB Schomaker 59 Neurale plasticiteit  Een analytische, beknopt wiskundige oplossing voor bewegingsturing van complexe effectorsystemen is beperkt toepasbaar in de echte wereld  Het biologische bewegingsapparaat gebruikt “motor babbling”  Dwz: willekeurig genereren van veel gewrichtshoek- combinaties en perceptueel vaststellen waar de eindeffector (hand) zich bevindt

60 Motor babbling

61 KI RuG ©2003 LRB Schomaker 61 Neurale plasticiteit: motor babbling  Leren is een ‘error feedback’ proces  Veel ‘trial & error’  De natuur geeft het foutsignaal vanzelf

62 KI RuG ©2003 LRB Schomaker 62 Neurale plasticiteit: motor babbling Voorbeelden: –willekeurig trappelende baby in de buik leert eigen spiersysteem kennen door propriocepsis –na de geboorte: willekeurige armbewegingen brengen de eigen hand binnen het visuele veld –het pasgeboren veulen leert snel te staan op basis van signalen uit het evenwichtsorgaan

63 KI RuG ©2003 LRB Schomaker 63 Neurale plasticiteit: motor babbling  In de jaren tachtig kwamen adaptieve technieken tot ontwikkeling: ‘neurale’ netwerkmodellen  Hiermee werd het voor het eerst mogelijk om complexe robotsystemen ‘zichzelf te leren kennen’

64 KI RuG ©2003 LRB Schomaker 64 Een neuron in een Neuraal Netwerkmodel Gewogen inputs Sigmoide overdrachtsfunctie Output

65 KI RuG ©2003 LRB Schomaker 65 Een neuron in een Neuraal Netwerkmodel Gewogen inputs: a i = Σ w ij x j Sigmoide overdrachtsfunctie Output y i Unit i xjxj w ij 1 / ( 1 + e -a ) aiai

66 KI RuG ©2003 LRB Schomaker 66 Leren in een neuraal net Een leeralgoritme (bv. Error Backpropagation) zorgt voor het vinden van de gewichten W ij op basis van de fout tussen doel en gerealiseerde output W ij Input xjxj Output Target yiyi titi ΔW ij Error ε = y i - t i

67 KI RuG ©2003 LRB Schomaker 67 Cijferherkenning  Gebruiker geeft voorbeelden van cijfers  De cijfers worden aan het netwerk gepresenteerd  Het netwerk berekent per cel de gewogen som van de inputs, en geeft output (sigmoide)  Het verschil tussen gerealiseerde output van een cel in de laatste laag en de gewenste target (nl de Error) kan worden gebruikt om alle W ij aan te passen

68 Een 3-laags perceptron voor cijferherkenning

69 KI RuG ©2003 LRB Schomaker 69

70 KI RuG ©2003 LRB Schomaker 70 Een succesvol voorbeeld van NN  NAVLAB: een autonoom navigerende bestelbus, Carnegie Mellon, Uitgerust met een Sun werkstation en een draadloze verbinding met mainframe computer om, op basis van traditionele technieken uit AI en computer vision, zelfstandig rond te rijden

71 KI RuG ©2003 LRB Schomaker 71 Touretzky & Pomerleau: dat moet eenvoudiger  Gebruik de capaciteit om te leren in een eenvoudig neuraal netwerkmodel  Menselijke chauffeur rijdt over de campus, neuraal netwerk kijkt ‘over de schouder’ naar: Input: 1) camerabeeld, 2) radarbeeld, Output: 3) de stand van het stuur als doel

72 De ALVINN netwerkarchitectuur (Touretzky & Pomerleau, 1989)

73 Hidden units als zelflerende ‘feature detectors’ De waarden van de gewichten tussen inputbeeld en een hidden unit kunnen worden afgebeeld als grijstinten. Deze Hidden Unit let op “niet rechtdoorrijden”

74 KI RuG ©2003 LRB Schomaker 74 Meer problemen….  Voortbeweging op basis van navigatie is perceptueel lastig maar motorisch eenvoudig (links, rechts, langzaam, snel)  Armbeweging is een zeer complex probleem  Kun je hier ook neurale netwerken gebruiken?

75 ‘Motor babbling’ als basis voor het aanleren van inverse kinematica voor een 2D arm. Willekeurig gegenereerde gewrichthoeken leiden tot gerealiseerde handposities in het werkveld. Zo kan een NN de inverse leren: van vereiste handpositie naar gewrichtshoeken.

76 KI RuG ©2003 LRB Schomaker 76 Schouderhoek over het werkveld

77 KI RuG ©2003 LRB Schomaker 77 Ellebooghoek over het werkveld

78 KI RuG ©2003 LRB Schomaker 78 Samenvatting  We hebben een architectuur (model) dat uitgaat van een nauwsluitende koppeling tussen perceptie en motoriek  We hebben middelen om het leren (adapteren) te kunnen uitvoeren met machines  Steeds meer ingredienten voor cognitieve robotica!

79 KI RuG ©2003 LRB Schomaker 79 Oud robot-onderzoek Koppeling tussen sensor (lichtcel) en stuuras, en niet-lineaire regeling (radiobuis) leidden tot natuurlijke gedragingen: nadering en afstoting Pionierswerk in de 50-er jaren: Grey Walter: simpele middelen, complex effect.

80 KI RuG ©2003 LRB Schomaker 80 Nieuw robot onderzoek BabyBot: G. Sandini, LIRA Genua. ogen oren arm hand continu leren

81 KI RuG ©2003 LRB Schomaker 81 Nieuw onderzoek op basis van deze visie  1. Continu lerende systemen, in plaats van een robotontwerp voor een specifieke oplossing  2. Lezende robots: niet met een ‘scan’ van een totaalbeeld, en dan alles doorrekenen, maar ‘oogsprongen’ met de camera(‘s), om de essentiele informatie op te sporen  3. Navigatie in robocup: leer het veld kennen door rondrijden, botsen en kijken

82 KI RuG ©2003 LRB Schomaker 82 Conclusies  Perceptie en motoriek kunnen niet los van elkaar onderzocht en begrepen worden  De bewegingsproblemen uit de robotica worden in de natuur opgelost met ‘motor babbling’ en neurale adaptatie/plasticiteit  Uitgaande van deze visie op perceptie, cognitie en motoriek worden verschillende nieuwe onderzoeken gestart bij KI/RuG: lezende robots en robotvoetbal.


Download ppt "Motoriek, Robotica en Neurale Netwerken prof. dr. L. Schomaker (2003) KI RuG."

Verwante presentaties


Ads door Google