Motoriek, Robotica en Neurale Netwerken

Presentatie over: "Motoriek, Robotica en Neurale Netwerken"— Transcript van de presentatie:

1 Motoriek, Robotica en Neurale Netwerken
prof. dr. L. Schomaker KI RuG

2 robotica en neurale netwerken
Overzicht perceptie, cognitie en motoriek motoriek robotica robotica en neurale netwerken

3 Traditioneel model voor (menselijke) informatieverwerking
Cognitie Perceptie Motoriek

4 Specialisatie van wetenschapsgebieden
psychologische funktieleer psychofysica patroonherkenning psychologische funktieleer bewegingswetenschappen AI, robotica Cognitie: beslissen leren taal Visuele Perceptie Voortbeweging Auditieve Perceptie Objectmanipulatie Tactiele Perceptie Spraak Geur-Perceptie Schrijven psychologische funktieleer cognitiewetenschap kunstmatige intelligentie

5 Traditioneel model voor (menselijke) informatieverwerking
Cognitie Perceptie Motoriek Tevredenstellend?

6 Waar komt de informatie vandaan? Waar gaat de informatie naartoe?
Klopt dit model wel? Cognitie Perceptie Motoriek Waar komt de informatie vandaan? Waar gaat de informatie naartoe?

7 de WERELD! Klopt dit model wel? Waar komt de informatie vandaan?
Cognitie Perceptie Motoriek Waar komt de informatie vandaan? Waar gaat de informatie naartoe? de WERELD!

8 Aangepast model voor informatieverwerking
AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD

9 Klopt dit aangepaste model wel?
AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden 2. Hypothese: de rol van Motoriek in cognitie wordt onderschat

10 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De sensoren hebben verandering in intensiteit nodig: (dS/dt) om te kunnen reageren Deze veranderingen in S worden grotendeels door motoriek bepaald! De sensoren moeten worden gericht en geregeld: dit wordt gedaan door spieren

11 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

12 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg

13 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen…

14 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren.

15 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren. De indruk van het totaalbeeld wordt geconstrueerd in het brein.

16 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het zien Als de oogspieren worden ingespoten met een spierverlammend middel valt het beeld in enkele tientallen ms weg Visuele waarneming vindt niet plaats door een ‘Ganzfeld’ projectie van oog naar hersenen… Reeksen van oogfixaties en saccades (oogsprongen) worden verzorgd door de oogspieren. De indruk van het totaalbeeld wordt geconstrueerd in het brein. Scherpstellen (accomodatie en vergentie) worden gerealiseerd door de oogspieren

17 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het horen Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig?

18 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het horen Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig? Om richting te bepalen moet je hoofd of oren richten

19 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
Het horen Bij het horen is dS/dt van luchtdrukvariaties ongelijk aan nul (gratis veranderingen in de tijd). Motoriek is dus niet nodig? Om richting te bepalen moet je hoofd of oren richten Verder wordt de gevoeligheid wordt door spiertjes bepaald, ook om het oor te beschermen (tensor stapedius)

20 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De tast Als je de textuur van een voorwerp wil voelen moet je een tactiele ‘flow’ veroorzaken door je hand te bewegen. Bij stilstand vervaagt de tactiele indruk

21 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De reuk werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben)

22 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De reuk werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben) de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten

23 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De reuk werkt door een gerichte sturing van de ademhaling (intercostaalspiertjes, tussen de ribben) de neusgaten kunnen door spieren worden opengezet en bij sommige diersoorten ook worden gesloten snuffelen: complexe motorische activiteit bestaande uit ego-motion en richten van de sensor

24 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De propriocepsis Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen

25 1. Stelling: Perceptie en Motoriek zijn onlosmakelijk verbonden
De propriocepsis Het waarnemen van je lichaamshouding gebeurt door sensoren in de spieren (spierspoeltjes) die reageren op spierlengteveranderingen Het evenwichtsorgaan …werkt voor en door de motoriek

26 Motor cortex (precentraal) en somatosensorische cortex (postcentraal)

27 Penfield Relatieve bijdrage van corticale gebieden aan motoriek (Penfield & Rasmussen, 1950). De hand en de mond kunnen met de beste signaal-ruisverhouding worden aangestuurd.

28 Aangepast model voor informatieverwerking
AGENT Cognitie Perceptie Motoriek zintuigen effectoren WERELD

29 Ontwikkelingen in AI en robotica
Cognitie zintuigen effectoren Bewegen om waar te nemen Waarnemen om te bewegen

30 2. Hypothese: de rol van Motoriek in cognitie wordt onderschat
Motoriek is het ‘final common path’: het beslissen (cognitie) wordt afgedwongen doordat de wereld om een handeling of uitspraak vraagt (motoriek) Motorische handelingen leiden tot persistente effecten in de wereld: de omgeving als extensie van het geheugen

31 Ontwikkelingen in AI en robotica
“embodied intelligence”: intelligentie is niet te begrijpen zonder  lichaam & omgeving ( interactie tussen individuen)

32 Ontwikkelingen in AI en robotica
Daarom: een grotere rol voor perceptie en beweging (robotica, RoboCup), in plaats van computerschaak als uitdaging om intelligentie te modelleren

33 Demonstratie robotvoetbal voor ‘BNN’ tv

34 Geschatte bandbreedtes, nodig voor motoriek, cognitie en perceptie
Motoriek Perceptie Geschatte bandbreedtes, nodig voor motoriek, cognitie en perceptie

35 Problemen in de robotica
Is motoriek moeilijk? Ruimtes ‘Constraints’

36 Inverse Kinematica Gegeven een kinematische keten (gewrichten en ledemaatsegmenten), en een gewenste doelpositie in de taakruimte, wat is de vector van gewrichtshoeken als functie van de tijd?

37 Inverse Kinematica: hoe moeilijk is het?
Doel (x,y,z) Opdracht: bedien de schuifregelaars en zorg dat de grijper vloeiend naar het doel beweegt

38 Gegeven doel (x,y,z), gevraagd: vector φ
Inverse Kinematica φ3 φ4 Doel (x,y,z) φ5 φ2 φ6 φ1 φ7 Gegeven doel (x,y,z), gevraagd: vector φ met gewrichtshoeken?

39 Inverse Kinematica… Van laag-dimensionaal (3 df) naar hoog-dimensionaal (7 degrees of freedom) Is dit mathematisch op te lossen? Nee: het is een “ill-posed problem” of slecht gesteld probleem. Definitie: een probleem waarvoor 1) géén of 2) meerdere oplossingen mogelijk zijn

40 Inverse Kinematica, vervolg
Er zijn meestal zeer veel oplossingen (gewrichtshoeken als functie van de tijd) voor een traject van een eindeffector van positie A naar B in de Cartesiaanse taakruimte Sommige configuraties hebben geen oplossing (singulariteit)  problemen bij het berekenen van een matrix inverse

41 2-d, twee segmenten

42 Twee oplossingen voor deze arm!
2-d, twee segmenten Twee oplossingen voor deze arm!

43 Gegeven massa m, inertie g, gevraagd: vector θ met draaimomenten?
Inverse Kinetica (Inverse Dynamica): niet alleen een traject, maar ook krachten! θ3 θ4 Doel (m,g) θ5 θ2 θ6 θ1 θ7 Gegeven massa m, inertie g, gevraagd: vector θ met draaimomenten?

44 Het probleem is dus onoplosbaar?
Nee: wij bewegen nogal veel, bijvoorbeeld Oplossingen: inperkingen (constraints) maken berekening mogelijk De inperkingen kunnen structureel zijn (aantal vrijheidsgraden) of contextueel (taak- en systeemparameters)

45 Constraints: industriele robots
In de industriele robotica maakt men gewoon de robots eenvoudig: basis (1df), schouder (1df), elleboog (1df) en kogelpolsgewricht (3df). Verder wordt van de eindeffector niet alleen de positie (x,y,z) gevraagd, maar ook de orientatie (ωx, ωy, ωz). Totaal: 6 df in taakruimte, 6 df in gewrichtsruimte. Afgezien van singuliere configuraties is het probleem handelbaar geworden!

46 Constraints: natuurlijke bewegers
Bij mens en dier is er sprake van een groot aantal parameters waardoor het aantal mogelijke oplossingen van trajecten wordt ingeperkt: Uit de perceptie (visueel, propriocepsis) Uit het systeem zelf: M(t-Δt) Uit de taak Een groot aantal neurale systemen, met veel aangeleerde parameters, houdt zich met motoriek bezig.

47 Constraints: natuurlijke bewegers
Hoe komen de natuurlijke motorieksystemen aan de juiste parameterinstelling???? …terwijl het systeem ook nog eens aan allerlei veranderingen onderhevig is zoals Groei Veroudering (krachtsverlies) ???? Antwoord: neurale plasticiteit!

48 Neurale plasticiteit Een analytische (beknopte wiskundige) oplossing voor bewegingsturing van complexe effectorsystemen is beperkt toepasbaar in de echte wereld Het biologische bewegingsapparaat gebruikt “motor babbling” Dwz: random genereren van veel gewrichtshoek-combinaties en perceptueel vaststellen waar de eindeffector (hand) zich bevindt

49 Neurale plasticiteit: motor babbling
Leren is een ‘error feedback’ proces De natuur geeft het foutsignaal vanzelf Voorbeelden: willekeurig trappelende baby in de buik leert eigen spiersysteem kennen door propriocepsis na de geboorte: willekeurige armbewegingen brengen de eigen hand binnen het visuele veld pasgeboren veulen leert snel staan op basis van evenwichtsorgaan

50 Neurale plasticiteit: motor babbling
In de jaren tachtig kwamen adaptieve technieken tot ontwikkeling: ‘neurale’ netwerkmodellen Hiermee werd het voor het eerst mogelijk om complexe robotsystemen ‘zichzelf te leren kennen’

51 Een neuron in een Neuraal Netwerkmodel
Synapsen  dendrieten Axon  synapsen Soma

52 Een neuron in een Neuraal Netwerkmodel
Gewogen inputs Output Sigmoide overdrachtsfunctie

53 Een neuron in een Neuraal Netwerkmodel
Gewogen inputs: ai = Σ wij xj Output yi Uniti xj wij Sigmoide overdrachtsfunctie 1 / ( 1 + e-a)

54 Leren in een neuraal net
Een leeralgoritme (bv. Error Backpropagation) zorgt voor het vinden van de gewichten Wij op basis van de fout tussen doel en gerealiseerde output Output Target Input yi ti xj Wij ε = yi - ti Fout ΔWij

55 Een succesvol voorbeeld van NN
NAVLAB: een autonoom navigerende bestelbus, Carnegie Mellon, Uitgerust met een Sun werkstation en een draadloze verbinding met mainframe computer om, op basis van traditionele technieken uit AI en computer vision, zelfstandig rond te rijden

56 Touretzky & Pomerleau: dat moet eenvoudiger
Gebruik de capaciteit van leren in een eenvoudig neuraal netwerkmodel Menselijke chauffeur rijdt over de campus, neuraal netwerk kijkt ‘over de schouder’ naar: Input: 1) camerabeeld, 2) radarbeeld, Output: 3) de stand van het stuur als doel

57 De ALVINN netwerkarchitectuur
(Touretzky & Pomerleau, 1989)

58 Hidden units als zelflerende ‘feature detectors’
De waarden van de gewichten tussen inputbeeld en een hidden unit kunnen worden afgebeeld als grijstinten. Deze Hidden Unit let op “niet rechtdoorrijden”

59 ‘Motor babbling’ als basis voor het aanleren van inverse kinematica voor een 2D arm. Willekeurig gegenereerde gewrichthoeken (interne vrijheidsgraden) leiden tot gerealiseerde handposities in het werkveld (externe vrijheidsgraden). Zo kan een NN de inverse leren: van vereiste handpositie naar gewrichtshoeken.

60 Schouderhoek over het werkveld

61 Ellebooghoek over het werkveld

62 Accuratesse van posities (Kohonen LVQ oplossing)

63 Conclusies Perceptie en motoriek kunnen niet los van elkaar onderzocht en begrepen worden De problemen van inverse kinematica en inverse kinetica uit de robotica worden in de natuur opgelost met ‘motor babbling’ en neurale adaptatie/plasticiteit Neurale Netwerkmodellen geven de mogelijkheid de bewegingsfuncties van een robot aan te leren, gebruikmakend van het principe van ‘motor babbling’ en een nauwsluitende koppeling tussen sturing en waarneming