De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005.

Verwante presentaties


Presentatie over: "Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005."— Transcript van de presentatie:

1 Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005

2 hc 5 Hopfield netwerken Hopfield netwerken boek: H7 boek: H7

3 overzicht het idee 7.1 – 7.3 het idee 7.1 – 7.3 het netwerk 7.4, 7.9 het netwerk 7.4, 7.9 de energie 7.4 de energie 7.4 het leren 7.5 – 7.7 het leren 7.5 – 7.7 het “traveling sales person” probleem 7.8 het “traveling sales person” probleem 7.8

4 herinneren in een Hopfield netwerk als iets wordt aangeboden dat lijkt op een ‘T’, zegt het netwerk dat het een ‘T’ is analoog met vage herinnering die wordt geassocieerd met het volledige plaatje, liedje of wat dan ook stored patternsensory cues evolution under clamp fig. 7.12

5 stored patterns are attractors #inputs = #outputs input: sensory cue output: stored pattern opnieuw energie minimaliseren,stable states dit keer is elk minimum een goede oplossing basins of attraction, elke input geeft als output de “stored pattern” die het dichtst bij is The ball comes to rest in the same place each time, because it “remembers” where the bottom of the bowl is.

6 huidige state x(t) en opgeslagen patterns x 1, x 2,..., x n zijn vectoren het systeem evolueert van x(0) naar één van de stable states x 1, x 2,..., x n x i (1 ≤ i ≤ n) correspondeert met een energie minimum E i (basin of attraction) (0,0) x(0) x 1 = x(4) x(1) x(3) x(2)

7 overzicht het idee 7.1 – 7.3 het idee 7.1 – 7.3 het netwerk 7.4, 7.9 het netwerk 7.4, 7.9 de energie 7.4 de energie 7.4 het leren 7.5 – 7.7 het leren 7.5 – 7.7 het “traveling sales person” probleem 7.8 het “traveling sales person” probleem 7.8

8 van single layer perceptron naar Hopfield net begin met een single layer net met even veel inputs als outputs en full connectivity de volgende verbindingen verdwijnen: input 1 – output 1, input 2 – output 2, input 3 – output 3 recurrente verbindingen worden toegevoegd

9 van single layer perceptron naar Hopfield net de inputs worden onderdeel van de output neuronen

10 van single layer perceptron naar Hopfield net de inputs worden onderdeel van de output neuronen

11 van single layer perceptron naar Hopfield net

12 Hopfield (1982)

13 aan het begin van elke run wordt er een “sensory cue” aangeboden de output van een neuron is steeds input voor alle andere neuronen, waardoor de network state kan veranderen het netwerk convergeert naar een “stored pattern”

14 de state van het netwerk alle mogelijke states van een Hopfield net met drie neurons elke state correspondeert met een binair getal een netwerk met n neuronen heeft 2 n states

15 uitgewerkt voorbeeld p. 98, 99 stel, de externe input is x(0) = (0, 0, 0) het netwerk bevindt zich in state 0 (0,0,0) en neuron 1 vuurt

16 Het netwerk bevindt zich nu in state 4 (1,0,0) en neuron 3 vuurt

17 Het netwerk blijft in state 4 (1,0,0) en neuron 2 vuurt

18 Het netwerk bevindt zich nu in state 6 (1,1,0) state 6 is een stable state welk neuron ook vuurt, het netwerk blijft in state 6

19 de basins of attraction: {4, 2, 0, 5, 7} → 6 {1, 2, 0, 5, 7} → 3 basins of attraction overlappen, waar je terecht komt is afhankelijk van de volgorde waarin de neuronen vuren nondeterminisme

20 overzicht het idee 7.1 – 7.3 het idee 7.1 – 7.3 het netwerk 7.4, 7.9 het netwerk 7.4, 7.9 de energie 7.4 de energie 7.4 het leren 7.5 – 7.7 het leren 7.5 – 7.7 het “traveling sales person” probleem 7.8 het “traveling sales person” probleem 7.8

21 energie van verbindingen ij ij hoge e ij state verandert lage e ij state blijft gelijk

22 energie tabel bij x i, x j Є {0,1} xixi xjxj e ij w ij w ij positief xixi xjxj e ij w ij w ij negatief e ij = -w ij x i x j

23 energie tabel bij x i, x j Є {-1,1} xixi xjxj e ij -w ij 1w ij 1w ij 11-w ij w ij positief xixi xjxj e ij -w ij 1w ij 1w ij 11-w ij w ij negatief e ij = -w ij x i x j

24 afleiding ΔE:

25 ΔE is in elke situatie negatief, true gradient descent a k ≥ 0neuron k zal “aan” gaan of “aan” blijven Δx k ≥ 0 (Δx k is 0 of 2) ΔE = -Δx k a k ≤ 0 a k < 0neuron k zal “uit” gaan of “uit” blijven Δx k ≤ 0 (Δx k is 0 of -2) ΔE = -Δx k a k ≤ 0

26 (non)determinisme asynchrone update gaat gepaard met nondeterminisme bij elke update kiezen welk neuron vuurt alternatief: synchroon updaten, alle neuronen vuren tegelijk

27 effect van synchrone update hogere ruimte complexiteit, de vorige en huidige globale state van het netwerk moeten worden opgeslagen geen overlappende basins of attraction meer eenduidige state transition diagrams, uit elk neuron vertrekt maar één pijl met probability 1: fig in tegenstelling tot het nondeterministische transition diagram van fig. 7.6

28 overzicht het idee 7.1 – 7.3 het idee 7.1 – 7.3 het netwerk 7.4, 7.9 het netwerk 7.4, 7.9 de energie 7.4 de energie 7.4 het leren 7.5 – 7.7 het leren 7.5 – 7.7 het “traveling sales person” probleem 7.8 het “traveling sales person” probleem 7.8

29 leren one-shot-learning schaling van {0, 1} naar {-1, 1}

30 de Hebb leer regel Hebb (1949): “When an axon of cell A is near enough to excite cell B and repeatedly or persistently firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency as one of the cells firing B, is increased.” James (1892): When two elementary brain processes have been active together or in immediate succession, one of them recurring, tends to propagate its excitement to the other. in ANNs: “Als twee cellen dezelfde waarde hebben, wordt de verbinding positiever, als ze verschillende waardes hebben wordt de verbinding negatiever.”

31 Hebb algoritme 1.willekeurig training pattern aanbieden 2.voor elke verbinding: pas toe maak positieve weight change als twee cellen dezelfde waarde hebben maak negatieve weight change als twee cellen verschillende waardes hebben

32 spurious stable states inverse patronen, zijn niet echt spurious (arbitraire labels -1 en 1) daarnaast zijn er andere spurious stable states: mengsels van de opgeslagen patronen de energie van de spurious stable states is altijd hoger of gelijk aan de opgeslagen patronen (en hun inversen), daar kan je gebruik van maken

33 de analoge versie Hopfield (1984) states: N neuronen → hoeken van een ND hyperkubus sigmoid ipv. threshold; niet alleen de hoeken, maar de hele kubus leaky integrator dynamics biologisch plausibel hardware implementatie opnieuw: ontsnappen uit locale minima, dit keer dmv. sigmoid

34 overzicht het idee 7.1 – 7.3 het idee 7.1 – 7.3 het netwerk 7.4, 7.9 het netwerk 7.4, 7.9 de energie 7.4 de energie 7.4 het leren 7.5 – 7.7 het leren 7.5 – 7.7 het “traveling sales person” probleem 7.8 het “traveling sales person” probleem 7.8

35 TSP zoek de korste route door alle steden TSP Є class of combinatorial problems exponentiële worst-case-time-complexity variant op TSP: chip layout design

36 TSP oplossen met Hopfield net applet

37 standaard Hopfield net applet

38 NN vs ML neurale netwerken zullen nooit hun doel verliezen als onderzoeksmiddel, maar het engineering doel is onzeker, NN verliest steeds vaker van ML en HMM, maar NN heeft één heel groot voordeel: leren kost veel tijd en computerkracht, maar het eindresultaat is een elegant programma van een paar kB dat binnen 0 seconden het antwoord geeft de snelheid is vele malen hoger dan bij machine learning technieken

39 volgende college Kohonen Kohonen boek H8 boek H8


Download ppt "Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005."

Verwante presentaties


Ads door Google