Vision-based robot motion planning using a topology representing neural network Gebaseerd op onderzoek verricht door Prof. M. Zeller et al. (1997), verbonden.

Presentatie over: "Vision-based robot motion planning using a topology representing neural network Gebaseerd op onderzoek verricht door Prof. M. Zeller et al. (1997), verbonden."— Transcript van de presentatie:

1 Vision-based robot motion planning using a topology representing neural network Gebaseerd op onderzoek verricht door Prof. M. Zeller et al. (1997), verbonden aan het Beckman Institute for Advanced Science and Technology, University of Illonois. Allard Kamphuisen

2 Neurale netwerken: een overzicht - neuraal netwerk = statistisch rekenmodel - 2 componenten: neuronen, hebben een activatiewaarde, y i verbindingen,hebben een gewicht, w ji - netwerk heeft verschillende lagen: input laag, krijgt informatie van buitenaf output laag, krijgt informatie van input laag via verbindingen * - activatiefunctie: y j =  y i w ji * dit kan nog via meerdere hidden lagen verlopen

3 Neurale netwerken: een overzicht input laag hidden laag output laag 0.30.60.40.8 0.90.1 input patroon output patroon ykyk w kj w ji yjyj yiyi y j =  y i w ji

4 Neurale netwerken: een overzicht Leren van neurale netwerken: - Voer de input van een datapunt in. * - Bereken de output. - Vergelijk netwerkoutput met gewenste output. - Pas gewichten lichtelijk aan om het verschil te verminderen. - Herhaal voor alle datapunten. * traindata = (input, output)

5 Neurale netwerken: een overzicht Voordelen: - goed omgaan met onzekerheid - zelfstandig leren (= generaliseren) Nadelen: - niet exact - netwerken kunnen erg complex worden  geschikt voor vision based motion planning?

6 Vision-based robot motion planning Motivatie: - Workspace vaak onbekend  waarneming cruciaal. - Interne representaties zijn duur  gebruik de wereld. (“The world is its own best model.”) Probleem: Interne representaties nog steeds noodzakelijk.  Hoe integreer en calibreer je de waarneming met deze representaties?

7 Zeller’s onderzoek: Integratie van waarneming in configuratieruimte - Perceptual Control Manifold (PCM) - Topology Representing Neural Networks - Diffusion-based search algorithm - Implementatie in robotarm Vision-based robot motion planning

8 De PCM ruimte: C-space = configuratieruimte S-space = sensorruimte PCM = CxS-space Voorbeelden S-space dimensies: * - toonhoogte - kleur - coördinaten van punt in een camera-image * S-dimensies kunnen het gevolg zijn van preprocessing.

9 Vision-based robot motion planning Opzet van 3-dof robotarm met 2 externe cameras - 3-dof robotarm met gripper en 2 externe cameras - C = (q1,q2,q3), S = (s1,s2,s3,s4) - S berekend m.b.v. preprocessing: (s1,s2) = (punt) positie gripper camera 1 (s3,s4) = (punt) positie gripper camera 2 - PCM = CxS = (q1,q2,q3,s1,s2,s3,s4)

10 Vision-based robot motion planning Voorbeeld PCM: Een 2-dof arm en een 3D-projectie in de PCM. De Perceptual Control Manifold werkt net als gewone C-space!

11 Topology Representing Network (TRN) Principe: - Grid-achtige benadering van PCM m.b.v. neurale netwerken. Neuraal netwerk: - inputlaag = dimensies (activatie = dimensiewaarde) - input = robotconfiguratie - outputlaag = nodes in grid (activatie = afstand tot robotconfiguratie) - gewichten = posities van nodes Edges = connecties tussen neuronen in outputlaag (in tabel) Leermethode: - Neural-gas vector quantization - Competitive Hebbian learning Vision-based robot motion planning

12 Topology Representing Network (TRN) Voorbeeld: 2-dimensionale PCM met 5 nodes: - inputlaag met 2 neuronen - outputlaag met 5 neuronen (  5 nodes in grid) - 2 x 5 gewichten - robotconfiguratie = (0.6, 0.4) 0.60.4 Inputlaag (d = 2) Outputlaag (k = 5) w kd Outputactivatie: k t = (d 1 w t1 +d 2 w t2 +d 3 w t3 +d 4 w t4 ) 2D-PCM met 5 grid-nodes d2 d1 (0.6,0.4) Input 1 2354 1 2 3 4 5

13 Vision-based robot motion planning Topology Representing Network (TRN) Voorbeeld: 2-dimensionale PCM met 5 nodes: edges = waarden in tabel tussen neuronen k en l in outputlaag: c kl = 0, wanneer geen edge tussen k en l c kl = 1, wanneer wel edge tussen k en l In ons geval hebben connecties met waarde 1 ook een leeftijd 2D-PCM met 5 grid-nodes en verbindingen d1 (0.6,0.4) 12 3 4 5 Connenctie-tabel met connectiewaarden (bold) en connectieleeftijd (italic)

14 Topology Representing Network (TRN) Leermethode: Hybride algoritme van neural-gas methode (nodes) en competitive Hebbian learning (edges). 1) gewichten (w 1 …w d ) van neuraal netwerk worden random ingesteld en alle connecties in de connectietabel op 0 gezet 2) for n random inputpatronen u (= robotconfiguraties) do - bepaal rank r van elk outputneuron gebaseerd op aktivatie (0 = aktiefst, 1 = daarna aktiefst, …, k = minst aktief) - pas gewichten aan: w i (t+1) = w i (t) +  (r,t)·(u - w i ) waar:  (r,t) = een functie die afneemt naarmate r en t toenemen - zet connectie c kl = 1 en leeftijd kl = 1 waar: k is neuron met r = 0, l is neuron met r = 1 - incrementeer leeftijd van alle connecties met 1 - zet connectiewaarde op 0 voor alle connecties met een leeftijd boven een bepaalde threshold Vision-based robot motion planning

15 a) Gewichten worden random tussen 0.45 en 0.55 ingesteld. Een 2D voorbeeld B) Netwerk begint te leren: - gewichten worden aangepast - connecties worden aangemaakt C) Netwerk is volleerd en benaderd de PCM. Vision-based robot motion planning calibreren waarneming = gewichten aanpassen

16 Vision-based robot motion planning PCM obstakel = TRN gebied zonder connecties Motion planning = pathsearch door TRN (diffusion based) Figuur: free space = gebied met connecties obstakel space = gebied zonder connecties motion plan = witgekleurde neuronen

17 Vision-based robot motion planning Toepassing: robotarm (SoftArm) - 3 dof: C-space = (q1, q2, q3) - 2 externe cameras die na preprocessing 4 dimensies opleveren (puntpositie gripper): S-space = (s1, s2, s3, s4) - PCM = (q1, q2, q3, s1, s2, s3, s4) - grid met 750 nodes - 1 rechthoekig obstakel - traindata: 5000 random robotconfiguraties  TRN: 7 input neuronen 750 hidden neuronen 3 output neuronen * * output stuurt pneumatische arm: 1 neuron per joint (neuron aktivatie = hydraulische druk)

18 Vision-based robot motion planning Deel van getrainde TRN met motion plan Robot setup Tijd training: enkele minuten pathsearch: enkele seconden hertraining: tientallen seconden

19 Vision-based robot motion planning Uitvoering motion plan

20 Vision-based robot motion planning Nadelen: - Motion plan voor gripper; niet voor arm - Nauwe doorgangen kunnen worden overgeslagen - Smalle objecten kunnen over het hoofd gezien worden (andere connectie-genereer methode?) Mogelijke verbeteringen en uitbreidingen: - Motion plan ook voor gripper - Meer hidden neuronen: smoothere planning - Meer input en output neuronen: meer sensoren en/of dof - Real-time motion planning (aktieve update connectietabel?) - eye-in-hand cameras

21 Vragen?