Download de presentatie
De presentatie wordt gedownload. Even geduld aub
GepubliceerdAlbert Gerritsen Laatst gewijzigd meer dan 10 jaar geleden
1
Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005
2
2 hc 7 self-organization self-organization boek: H8 boek: H8
3
3 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
4
4 het doel cluster analyse self organization, unsupervised learning
5
5 competitive dynamics input vector één neuron heeft een hogere output dan alle andere door willekeurige innitialisatie de voorsprong van dit neuron wordt vergroot tot in het extreme door de competitive dynamics
6
6 competitive dynamics v x w + - - - -
7
7 v x w + - - - - middelste neuron heeft na eerste keer aanbieden van input de hoogste activatie
8
8 leaky integrator, zie paragraaf 2.5 v x w + - - - -
9
9 v x w + - - - -
10
10 v x w + - - - -
11
11 v x w + - - - - equilibrium
12
12 a neuron 0 --- 1 --- activatie na innitialisatie en aanbieden input a neuron 0 --- 1 --- activatie bij equilibrium, winner takes all neuron a 0 --- 1 --- activatie bij equilibrium, neighbourhood
13
13 leaky-integrator dynamics full-connectivity, zowel inter-layer (learning) als intra-layer (fixed) intra-layer symmetrie: v ij = v ji on-centre, off-surround (winner-takes-all): + -- --
14
14 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
15
15 competitive learning genormalizeerde inputvectors genormalizeerde gewichtsvectors alle vectoren liggen op de “unit hypersphere”
16
16 drie clusters van input vectoren drie neuronen met willekeurig geïnnitialiseerde gewichtsvectoren er wordt steeds een input aangeboden, de dichtstbijzijnde gewichtsvector wordt aangepast in de richting van deze input dichtstbijzijnde: neuron met de hoogste activatie, inproduct x ∙ w is alleen afhankelijk van de hoek vanwege genormalizeerde x en w schematische weergave van het leerproces x 1 w 1 → ↑x2w2 ↑x2w2
17
17 schematische weergave van het leerproces x 1 w 1 → ↑x2w2 ↑x2w2
18
18 leerregel en algoritme algoritme: 1.bied input vector aan, bereken s = w ∙ x voor ieder neuron 2.update het netwerk met eq. 8.2 3.train elk neuron met eq. 8.5
19
19 stable solutions elk neuron is de gemiddelde/typerende representatie, oftewel template van een cluster input vectoren er moet aan een aantal eisen voldaan worden om dat te garanderen: –clusters –aantal neuronen –renormalizatie bij benadering, eq. 8.6 – 8.9, fig. 8.7 –learning rate
20
20 letter en woord herkenning Rumelhart en Zipser (1985) input 14 x 7 pixels, fig. 8.8 mogelijke inputs: AA, AB, BA, BB 2 neuronen, clusters: {AA, AB} en {BA, BB} of {AA, BA} en {AB, BB} 4 neuronen, clusters: {AA}, {AB}, {BA} en {BB}
21
21 letter en woord herkenning Rumelhart en Zipser (1985) uitbreiding: mogelijke inputs AA, AB, AC, AD, BA, BB, BC, BD 2 neuronen, clusters: {AA, AB, AC, AD} en {BA, BB, BC, BD} 4 neuronen, clusters: {AA, BA}, {AB, BB}, {AC, BC} en {AD, BD}
22
22 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
23
23 self-organizing feature maps Kohonen (1982) naast clustering ook topographic mapping neuronen die in het netwerk dicht bij elkaar zitten, representeren patterns die “dicht bij elkaar zitten” in pattern space biologische plausibiliteit: topographic mapping in hersengebieden: –cortex (visueel, auditief en somatosensorisch) –inferior colliculus (auditief) –superior colliculus (cross modal perception) –...
24
24
25
25 Hubel en Wiesel (1962) onderzoek naar de visuele cortex van katten 2D topographic map, “pinwheel” structuur, fig. 8.11
26
26 Marius Bulacu (2005) PhD study on writer identification
27
27 Grapheme Codebook – K-Means
28
28 Grapheme Codebook – SOM 1D filmpje
29
29 Grapheme Codebook – SOM 2D
30
30 neighbourhood, 1D, 2D (3D of nog hoger) rectangular, hexagonal or lineair neighbourhood ● afstand 0 ● afstand 1 ● afstand 2
31
31 neighbourhood winner-takes-all vs neighbourhood global mapping vs local mapping wat zijn de beste waarden voor de intra- layer gewichten? veel voorkomende methode: de neighbourhood laten krimpen tijdens het leren
32
32 SOM algoritme (p. 128) het SOM algoritme gebruikt een afnemende learning rate en een krimpende neighbourhood belangrijkste verschil met eerder beschreven algoritme: where N k = neighbourhood of winning neuron k
33
33 clusters en classes x 1 w 1 → ↑x2w2 ↑x2w2
34
34 clusters en classes x 1 w 1 → ↑x2w2 ↑x2w2
35
35 clusters en classes x 1 w 1 → ↑x2w2 ↑x2w2
36
36 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
37
37 grafische voorbeelden (p. 130 – 133) 5 x 5 neurons 200 random input vectors (2 componenten)
38
38 grafische voorbeelden (p. 130 – 133) 10 x 10 neurons “constrained/random” input vectors
39
39 grafische voorbeelden (p. 130 – 133) applet
40
40 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
41
41 wat kan je hier mee? STEEKWOORDEN: f amiliarity, similarity clustering prototyping encoding feature mapping extreme dimensie reductie: nD → 2D/1D voorbeeld boek p. 134: orientatie map
42
42 Linear Vector Quantization SOM leert de globale class-neuron- mapping, unsupervised LVQ doet fine-tuning, supervised effect: gewichtsvectoren verplaatsen zich, weg van de klasse grenzen statistische methode, Gray (1984) code-book vectors fase 2: LVQ where N k = neighbourhood of winning neuron k fase 1: SOM
43
43 redundante representaties, globaal en locaal minimale “bedrading” door leren/evolutie biologische plausibiliteit visueel: retinotopic maps orientation maps mapping voor elk oog image velocity somatosensorisch auditief
44
44 phoneme maps nD → 2D mogelijke eerste fase van speech-to-text NN is geschikt, omdat het met ruis om kan gaan; inter- speaker, intra-speaker and context differences probleem: “chunking”, hoe scheidt je de fonemen van elkaar? probleem treedt ook op bij PAPNET en werk van Marius Bulacu
45
45 klinkers groeperen zich bovenin een woord is een pad door de map, zonder grote sprongen, weerspiegelt fysieke beperkingen op het spreek kanaal Fins: “kortti” Engels: “map”
46
46 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
47
47 Principal Component Analysis andere vorm van self-organization statistische methode met een NN implementatie rotatie van de assen → zo veel mogelijk variantie in zo weinig mogelijk componenten het 2D geval:
48
48 hoogdimensionaal voorbeeld oorspronkelijke input: superpositie van pixels input na PCA: superpositie van principal components eigenfaces; eerste 8 principal components voor herkenning van gezichtsuitdrukkingen
49
49 overzicht competitive dynamics 8.1 competitive dynamics 8.1 leren 8.2 leren 8.2 Self-Organizing-feature-Maps 8.3 Self-Organizing-feature-Maps 8.3 grafische voorbeelden 8.3.4, 5 grafische voorbeelden 8.3.4, 5 toepassingen 8.3.6 toepassingen 8.3.6 Principal Component Analysis 8.4 Principal Component Analysis 8.4
50
50 volgende college Adaptive Resonance Theory Adaptive Resonance Theory boek: H9 boek: H9
Verwante presentaties
© 2024 SlidePlayer.nl Inc.
All rights reserved.