Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005

2 hc 7 self-organization self-organization boek: H8 boek: H8

3 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

4 het doel cluster analyse self organization, unsupervised learning

5 competitive dynamics input vector één neuron heeft een hogere output dan alle andere door willekeurige innitialisatie de voorsprong van dit neuron wordt vergroot tot in het extreme door de competitive dynamics

6 competitive dynamics v x w

7 v x w middelste neuron heeft na eerste keer aanbieden van input de hoogste activatie

8 leaky integrator, zie paragraaf 2.5 v x w

9 v x w

10 v x w

11 v x w equilibrium

12 a neuron activatie na innitialisatie en aanbieden input a neuron activatie bij equilibrium, winner takes all neuron a activatie bij equilibrium, neighbourhood

13 leaky-integrator dynamics full-connectivity, zowel inter-layer (learning) als intra-layer (fixed) intra-layer symmetrie: v ij = v ji on-centre, off-surround (winner-takes-all):

14 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

15 competitive learning genormalizeerde inputvectors genormalizeerde gewichtsvectors alle vectoren liggen op de “unit hypersphere”

16 drie clusters van input vectoren drie neuronen met willekeurig geïnnitialiseerde gewichtsvectoren er wordt steeds een input aangeboden, de dichtstbijzijnde gewichtsvector wordt aangepast in de richting van deze input dichtstbijzijnde: neuron met de hoogste activatie, inproduct x ∙ w is alleen afhankelijk van de hoek vanwege genormalizeerde x en w schematische weergave van het leerproces x 1 w 1 → ↑x2w2 ↑x2w2

17 schematische weergave van het leerproces x 1 w 1 → ↑x2w2 ↑x2w2

18 leerregel en algoritme algoritme: 1.bied input vector aan, bereken s = w ∙ x voor ieder neuron 2.update het netwerk met eq train elk neuron met eq. 8.5

19 stable solutions elk neuron is de gemiddelde/typerende representatie, oftewel template van een cluster input vectoren er moet aan een aantal eisen voldaan worden om dat te garanderen: –clusters –aantal neuronen –renormalizatie bij benadering, eq. 8.6 – 8.9, fig. 8.7 –learning rate

20 letter en woord herkenning Rumelhart en Zipser (1985) input 14 x 7 pixels, fig. 8.8 mogelijke inputs: AA, AB, BA, BB 2 neuronen, clusters: {AA, AB} en {BA, BB} of {AA, BA} en {AB, BB} 4 neuronen, clusters: {AA}, {AB}, {BA} en {BB}

21 letter en woord herkenning Rumelhart en Zipser (1985) uitbreiding: mogelijke inputs AA, AB, AC, AD, BA, BB, BC, BD 2 neuronen, clusters: {AA, AB, AC, AD} en {BA, BB, BC, BD} 4 neuronen, clusters: {AA, BA}, {AB, BB}, {AC, BC} en {AD, BD}

22 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

23 self-organizing feature maps Kohonen (1982) naast clustering ook topographic mapping neuronen die in het netwerk dicht bij elkaar zitten, representeren patterns die “dicht bij elkaar zitten” in pattern space biologische plausibiliteit: topographic mapping in hersengebieden: –cortex (visueel, auditief en somatosensorisch) –inferior colliculus (auditief) –superior colliculus (cross modal perception) –...

24

25 Hubel en Wiesel (1962) onderzoek naar de visuele cortex van katten 2D topographic map, “pinwheel” structuur, fig. 8.11

26 Marius Bulacu (2005) PhD study on writer identification

27 Grapheme Codebook – K-Means

28 Grapheme Codebook – SOM 1D filmpje

29 Grapheme Codebook – SOM 2D

30 neighbourhood, 1D, 2D (3D of nog hoger) rectangular, hexagonal or lineair neighbourhood ● afstand 0 ● afstand 1 ● afstand 2

31 neighbourhood winner-takes-all vs neighbourhood global mapping vs local mapping wat zijn de beste waarden voor de intra- layer gewichten? veel voorkomende methode: de neighbourhood laten krimpen tijdens het leren

32 SOM algoritme (p. 128) het SOM algoritme gebruikt een afnemende learning rate en een krimpende neighbourhood belangrijkste verschil met eerder beschreven algoritme: where N k = neighbourhood of winning neuron k

33 clusters en classes x 1 w 1 → ↑x2w2 ↑x2w2

34 clusters en classes x 1 w 1 → ↑x2w2 ↑x2w2

35 clusters en classes x 1 w 1 → ↑x2w2 ↑x2w2

36 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

37 grafische voorbeelden (p. 130 – 133) 5 x 5 neurons 200 random input vectors (2 componenten)

38 grafische voorbeelden (p. 130 – 133) 10 x 10 neurons “constrained/random” input vectors

39 grafische voorbeelden (p. 130 – 133) applet

40 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

41 wat kan je hier mee? STEEKWOORDEN: f amiliarity, similarity clustering prototyping encoding feature mapping extreme dimensie reductie: nD → 2D/1D voorbeeld boek p. 134: orientatie map

42 Linear Vector Quantization SOM leert de globale class-neuron- mapping, unsupervised LVQ doet fine-tuning, supervised effect: gewichtsvectoren verplaatsen zich, weg van de klasse grenzen statistische methode, Gray (1984) code-book vectors fase 2: LVQ where N k = neighbourhood of winning neuron k fase 1: SOM

43 redundante representaties, globaal en locaal minimale “bedrading” door leren/evolutie biologische plausibiliteit visueel: retinotopic maps orientation maps mapping voor elk oog image velocity somatosensorisch auditief

44 phoneme maps nD → 2D mogelijke eerste fase van speech-to-text NN is geschikt, omdat het met ruis om kan gaan; inter- speaker, intra-speaker and context differences probleem: “chunking”, hoe scheidt je de fonemen van elkaar? probleem treedt ook op bij PAPNET en werk van Marius Bulacu

45 klinkers groeperen zich bovenin een woord is een pad door de map, zonder grote sprongen, weerspiegelt fysieke beperkingen op het spreek kanaal Fins: “kortti” Engels: “map”

46 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

47 Principal Component Analysis andere vorm van self-organization statistische methode met een NN implementatie rotatie van de assen → zo veel mogelijk variantie in zo weinig mogelijk componenten het 2D geval:

48 hoogdimensionaal voorbeeld oorspronkelijke input: superpositie van pixels input na PCA: superpositie van principal components eigenfaces; eerste 8 principal components voor herkenning van gezichtsuitdrukkingen

49 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen toepassingen Principal Component Analysis 8.4 Principal Component Analysis 8.4

50 volgende college Adaptive Resonance Theory Adaptive Resonance Theory boek: H9 boek: H9