Motoriek, Robotica en Neurale Netwerken prof. dr. L. Schomaker KI RuG

robotica en neurale netwerken Overzicht perceptie, cognitie en motoriek motoriek robotica robotica en neurale netwerken

Traditioneel model voor (menselijke) informatieverwerking Cognitie Perceptie Motoriek

Specialisatie van wetenschapsgebieden psychologische funktieleer psychofysica patroonherkenning psychologische funktieleer bewegingswetenschappen AI, robotica Cognitie: beslissen leren taal Visuele Perceptie Voortbeweging Auditieve Perceptie Objectmanipulatie Tactiele Perceptie Spraak Geur-Perceptie Schrijven psychologische funktieleer cognitiewetenschap kunstmatige intelligentie

Traditioneel model voor (menselijke) informatieverwerking Cognitie Perceptie Motoriek Tevredenstellend?

Waar komt de informatie vandaan? Waar gaat de informatie naartoe? Klopt dit model wel? Cognitie Perceptie Motoriek Waar komt de informatie vandaan? Waar gaat de informatie naartoe?

de WERELD! Klopt dit model wel? Waar komt de informatie vandaan? Cognitie Perceptie Motoriek Waar komt de informatie vandaan? Waar gaat de informatie naartoe? de WERELD!

Aangepast model voor informatieverwerking AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD

Klopt dit aangepaste model wel? AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden 2. Hypothese: de rol van Motoriek in cognitie wordt onderschat

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De sensoren hebben verandering in intensiteit nodig: (dS/dt) om te kunnen reageren Deze veranderingen in S worden grotendeels door motoriek bepaald! De sensoren moeten worden gericht en geregeld: dit wordt gedaan door spieren

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen…

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren.

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren. De indruk van het totaalbeeld wordt geconstrueerd in het brein.

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren. De indruk van het totaalbeeld wordt geconstrueerd in het brein. Scherpstellen (accomodatie en vergentie) worden gerealiseerd door de oogspieren

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het horen Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig?

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het horen Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig? Om richting te bepalen moet je hoofd of oren richten

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden Het horen Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig? Om richting te bepalen moet je hoofd of oren richten Verder wordt de gevoeligheid wordt door spiertjes bepaald, ook om het oor te beschermen (tensor stapedius)

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De tast Als je de textuur van een voorwerp wil voelen moet je een tactiele ‘flow’ veroorzaken door je hand te bewegen. Bij stilstand vervaagt de tactiele indruk

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De reuk werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben)

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De reuk werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben) de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De reuk werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben) de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten snuffelen: complexe motorische activiteit bestaande uit ego-motion en richten van de sensor

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De propriocepsis Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen

1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden De propriocepsis Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen Het evenwichtsorgaan …werkt voor en door de motoriek

Motor cortex (precentraal) en somatosensorische cortex (postcentraal)

Penfield Relatieve bijdrage van corticale gebieden aan motoriek (Penfield & Rasmussen, 1950). De hand en de mond kunnen met de beste signaal-ruisverhouding worden aangestuurd.

Aangepast model voor informatieverwerking AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD

Ontwikkelingen in AI en robotica Cognitie zintuigen effectoren Bewegen om waar te nemen Waarnemen om te bewegen

2. Hypothese: de rol van Motoriek in cognitie wordt onderschat Motoriek is het ‘final common path’: het beslissen (cognitie) wordt afgedwongen doordat de wereld om een handeling of uitspraak vraagt (motoriek) Motorische handelingen leiden tot persistente effecten in de wereld: de omgeving als extensie van het geheugen

Ontwikkelingen in AI en robotica “embodied intelligence”: intelligentie is niet te begrijpen zonder  lichaam & omgeving ( interactie tussen individuen)

Ontwikkelingen in AI en robotica Daarom: een grotere rol voor perceptie en beweging (robotica, RoboCup), in plaats van computerschaak als uitdaging om intelligentie te modelleren

Demonstratie robotvoetbal voor ‘BNN’ tv

Geschatte bandbreedtes, nodig voor motoriek, cognitie en perceptie Motoriek Perceptie Geschatte bandbreedtes, nodig voor motoriek, cognitie en perceptie

Problemen in de robotica Is motoriek moeilijk? Ruimtes ‘Constraints’

Inverse Kinematica Gegeven een kinematische keten (gewrichten en ledemaatsegmenten), en een gewenste doelpositie in de taakruimte, wat is de vector van gewrichtshoeken als functie van de tijd?

Inverse Kinematica: hoe moeilijk is het? Doel (x,y,z) Opdracht: bedien de schuifregelaars en zorg dat de grijper vloeiend naar het doel beweegt

Gegeven doel (x,y,z), gevraagd: vector φ Inverse Kinematica φ3 φ4 Doel (x,y,z) φ5 φ2 φ6 φ1 φ7 Gegeven doel (x,y,z), gevraagd: vector φ met gewrichtshoeken?

Inverse Kinematica… Van laag-dimensionaal (3 df) naar hoog-dimensionaal (7 degrees of freedom) Is dit mathematisch op te lossen? Nee: het is een “ill-posed problem” of slecht gesteld probleem. Definitie: een probleem waarvoor 1) géén of 2) meerdere oplossingen mogelijk zijn

Inverse Kinematica, vervolg Er zijn meestal zeer veel oplossingen (gewrichtshoeken als functie van de tijd) voor een traject van een eindeffector van positie A naar B in de Cartesiaanse taakruimte Sommige configuraties hebben geen oplossing (singulariteit)  problemen bij het berekenen van een matrix inverse

2-d, twee segmenten

Twee oplossingen voor deze arm! 2-d, twee segmenten Twee oplossingen voor deze arm!

Gegeven massa m, inertie g, gevraagd: vector θ met draaimomenten? Inverse Kinetica (Inverse Dynamica): niet alleen een traject, maar ook krachten! θ3 θ4 Doel (m,g) θ5 θ2 θ6 θ1 θ7 Gegeven massa m, inertie g, gevraagd: vector θ met draaimomenten?

Het probleem is dus onoplosbaar? Nee: wij bewegen nogal veel, bijvoorbeeld Oplossingen: inperkingen (constraints) maken berekening mogelijk De inperkingen kunnen structureel zijn (aantal vrijheidsgraden) of contextueel (taak- en systeemparameters)

Constraints: industriele robots In de industriele robotica maakt men gewoon de robots eenvoudig: basis (1df), schouder (1df), elleboog (1df) en kogelpolsgewricht (3df). Verder wordt van de eindeffector niet alleen de positie (x,y,z) gevraagd, maar ook de orientatie (ωx, ωy, ωz). Totaal: 6 df in taakruimte, 6 df in gewrichtsruimte. Afgezien van singuliere configuraties is het probleem handelbaar geworden!

Constraints: natuurlijke bewegers Bij mens en dier is er sprake van een groot aantal parameters waardoor het aantal mogelijke oplossingen van trajecten wordt ingeperkt: Uit de perceptie (visueel, propriocepsis) Uit het systeem zelf: M(t-Δt) Uit de taak Een groot aantal neurale systemen, met veel aangeleerde parameters, houdt zich met motoriek bezig.

Constraints: natuurlijke bewegers Hoe komen de natuurlijke motorieksystemen aan de juiste parameterinstelling???? …terwijl het systeem ook nog eens aan allerlei veranderingen onderhevig is zoals Groei Veroudering (krachtsverlies) ???? Antwoord: neurale plasticiteit!

Neurale plasticiteit Een analytische (beknopte wiskundige) oplossing voor bewegingsturing van complexe effectorsystemen is beperkt toepasbaar in de echte wereld Het biologische bewegingsapparaat gebruikt “motor babbling” Dwz: random genereren van veel gewrichtshoek-combinaties en perceptueel vaststellen waar de eindeffector (hand) zich bevindt

Neurale plasticiteit: motor babbling Leren is een ‘error feedback’ proces De natuur geeft het foutsignaal vanzelf Voorbeelden: willekeurig trappelende baby in de buik leert eigen spiersysteem kennen door propriocepsis na de geboorte: willekeurige armbewegingen brengen de eigen hand binnen het visuele veld pasgeboren veulen leert snel staan op basis van evenwichtsorgaan

Neurale plasticiteit: motor babbling In de jaren tachtig kwamen adaptieve technieken tot ontwikkeling: ‘neurale’ netwerkmodellen Hiermee werd het voor het eerst mogelijk om complexe robotsystemen ‘zichzelf te leren kennen’

Een neuron in een Neuraal Netwerkmodel Synapsen  dendrieten Axon  synapsen Soma

Een neuron in een Neuraal Netwerkmodel Gewogen inputs Output Sigmoide overdrachtsfunctie

Een neuron in een Neuraal Netwerkmodel Gewogen inputs: ai = Σ wij xj Output yi Uniti xj wij Sigmoide overdrachtsfunctie 1 / ( 1 + e-a)

Leren in een neuraal net Een leeralgoritme (bv. Error Backpropagation) zorgt voor het vinden van de gewichten Wij op basis van de fout tussen doel en gerealiseerde output Output Target Input yi ti xj Wij ε = yi - ti Fout ΔWij

Een succesvol voorbeeld van NN NAVLAB: een autonoom navigerende bestelbus, Carnegie Mellon, 1989. Uitgerust met een Sun werkstation en een draadloze verbinding met mainframe computer om, op basis van traditionele technieken uit AI en computer vision, zelfstandig rond te rijden

Touretzky & Pomerleau: dat moet eenvoudiger Gebruik de capaciteit van leren in een eenvoudig neuraal netwerkmodel Menselijke chauffeur rijdt over de campus, neuraal netwerk kijkt ‘over de schouder’ naar: Input: 1) camerabeeld, 2) radarbeeld, Output: 3) de stand van het stuur als doel

De ALVINN netwerkarchitectuur (Touretzky & Pomerleau, 1989)

Hidden units als zelflerende ‘feature detectors’ De waarden van de gewichten tussen inputbeeld en een hidden unit kunnen worden afgebeeld als grijstinten. Deze Hidden Unit let op “niet rechtdoorrijden”

‘Motor babbling’ als basis voor het aanleren van inverse kinematica voor een 2D arm. Willekeurig gegenereerde gewrichthoeken (interne vrijheidsgraden) leiden tot gerealiseerde handposities in het werkveld (externe vrijheidsgraden). Zo kan een NN de inverse leren: van vereiste handpositie naar gewrichtshoeken.

Schouderhoek over het werkveld

Ellebooghoek over het werkveld

Accuratesse van posities (Kohonen LVQ oplossing)

Conclusies Perceptie en motoriek kunnen niet los van elkaar onderzocht en begrepen worden De problemen van inverse kinematica en inverse kinetica uit de robotica worden in de natuur opgelost met ‘motor babbling’ en neurale adaptatie/plasticiteit Neurale Netwerkmodellen geven de mogelijkheid de bewegingsfuncties van een robot aan te leren, gebruikmakend van het principe van ‘motor babbling’ en een nauwsluitende koppeling tussen sturing en waarneming