Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Mei 2005

AGENDA deze week –maandag: ART –woensdag: Elman –donderdag/vrijdag: practicum volgende week –maandag: Spiking neurons –woensdag: voorbeeld-tentamen-vragen en feedback practicum –donderdag/vrijdag: practicum tentamen: vrijdag 17 juni van 9:00 tot 12:00, examenhal DE STOF →

tentamenstof BOEK, behalve H10, H11 artikelen Elman en Spiking Neurons college slides practicum

hc 8 ART ART boek: H9 boek: H9

Wat is ART? Adaptive Resonance Theory: unsupervised learning network Carpenter en Grossberg (1987) Kohonen oplossing voor plasticity-stability dilemma is ad hoc Kohonen: afnemende learning rate en neighbourhood, beperkt simpelweg de plastische periode van het netwerk

ART claims biologische plausibiliteit en engineering pluspunten –geen aparte training/test fases –bepaalt zelf hoeveel templates er zijn, afhankelijk van vigilance parameter –system control is integrated into the fabric of the network (9.1.4) –wiskundige bewijzen (voorkomt werken aan het onmogelijke) 9.1

drie beschrijvings niveau’s computational level algorithmic level implementation level

ART1, computational level binaire patterns en templates bits die aan staan, noemen we features resonantie tussen pattern en template treedt op als... aantal overeenkomende features / totaal aantal features in pattern > vigilance parameter ρ kleine ρ, weinig gelijke features nodig grote ρ, veel gelijke features nodig 0 ≤ ρ ≤ 1

F 2 (j) F 1 (i) Z ji Z ij I leaky-integrator dynamics (beide lagen) competitive dynamics (winner-takes-all) het netwerk

voorbeeld, p

netwerk bij dit voorbeeld top-down and bottom-up full connectivity

A Top down templates initial I=11 X= 11 template 1: |X| / |I| = 11 / 11 = 1 1 > 0,8 (ρ) pattern A

A B Top down templates initial I=11 X= 11 8 template 1: |X| / |I| = 8 / 11 = 0,73 0,73 < 0,8 template 2: |X| / |I| = 11 / 11 = 1 1 > 0,8 pattern B

A B C Top down templates initial I=11 I=17 X= pattern C template 1: |X| / |I| = 11 / 17 =0,65 0,65 < 0,8 template 2: |X| / |I| = 8 / 17 = 0,47 0,47 < 0,8 template 3: |X| / |I| = 17 / 17 = 1 1 > 0,8

A B C D Top down templates initial I=11 I=17 X= pattern D template 1: |X| / |I| = 8 / 17 = 0,47 0,47 < 0,8 template 2: |X| / |I| = 11 / 17 =0,65 0,65 < 0,8 template 3: |X| / |I| = 14 / 17=0,82 0,82 > 0,8

ART leer algoritme initialize top-down weights //all 1 initialize bottom-up weights //random repeat present input initialize J //set of all template nodes resonance = FALSE repeat find winning node v j in J X = I ∩ Z //the template’s features if |X|/|I| > ρ //feature overlap template and pattern resonance = TRUE else delete v j from J until resonance or J is empty if resonance adjust top-down and bottom-up weights until stabilization

F 2 (j) F 1 (i) Z ji Z ij I

opmerkingen bij het algoritme self-scaling property; hoe minder features, hoe belangrijker het is dat ze hetzelfde zijn getrainde templates worden eerst bekeken initialisatie top-down weights op 1 zorgt dat ongetrainde templates resoneren met elke input het noodzakelijke aantal templates hangt samen met ρ stabilisatie is gegarandeerd geen gescheiden training en testing getrainde netwerk afhankelijk van input volgorde en innitialisatie (zoals altijd)

9.3.5, best moeilijk... deze twee sub-paragrafen worden niet getoetst

The ART1 network at system level. Right hand side: ‘short term memory’ sets F2-node which responds strongest to I, other F2 nodes inactive (winner takes all) Left hand side: F1 gain control allows input to be transmitted to F2 under the so-called 2/3 rule. Rhs2: if match, then resonance, else reset F2 , vigilance F1 inputs Layer F2 Layer F1 STMGC1 F2 reset F1 gain attentional gain control output 2/3 rule

ART2, ART3 en ARTMAP ART2, meer lagen fuzzy set membership ARTMAP, twee ART1 netwerken verbonden door een map field template paren voor vector paren (x, y) fuzzy ARTMAP ART3, concatenatie van ART2 netwerken

toepassingen Boeing; classificeren van onderdelen dmv. vorm-vector ensemble van ART netwerken, verschillende vigilance parameters plaatjes groeperen in het algemeen modelleren van processen in de hersenen, voorspellen van fMRI scans

ART claims (herhaling) biologische plausibiliteit en engineering pluspunten –geen aparte training/test fases –bepaalt zelf hoeveel templates er zijn, afhankelijk van vigilance parameter –system control is integrated into the fabric of the network –wiskundige bewijzen

volgende college Elman Elman stof: artikel stof: artikel