Opdrachttaak kennissystemen:

Presentatie over: "Opdrachttaak kennissystemen:"— Transcript van de presentatie:

1 Opdrachttaak kennissystemen:
Neurale netwerken Opdrachttaak kennissystemen: Door: Jeroen Van den Elsen Piet Vermeir Koen Van Campenhout

2 Inleiding Geschiedenis Wat is een neuraal netwerk?

3 Biologisch Neuron

4 Artificieel Neuron

5 Artificieel Neuraal Netwerk
Een eenvoudig voorbeeld van een artificieel neuraal netwerk met drie lagen.

6 Eigenschappen van Artificiële Neurale Netwerken
Local processing Parallel processing Leren Geheugen Bestand tegen ruis

7 Definitie van Artificiële Neurale Netwerken
Een ANN is een rekenmodel, gebaseerd op het dierlijk neuraal netwerk, waarbij een invoer verwerkt wordt door een parallel netwerk van neuronen, de een al belangrijker dan de andere, en verbindingen om zo tot een uitvoer te komen. Elk van die neuronen verwerkt simpele functies en beschikken over een geheugen waardoor ‘leren’ mogelijk wordt gemaakt.

8 Mogelijkheden van een Artificiële Neurale Netwerken
Classificatie Voorspellen Data associatie Data conceptualisatie Data filtering

9 Enkele toepassingen Muis en trackerball Kunstmatige intelligentie
Handschrift herkenning

10 Eigenschappen van verschillende soorten ANN
Type Neuronlagen Soort invoer Activatie functie Leermethode Leeralgoritme

11 Eigenschap 1: het type Feedforward type Feedback type
Eenrichtingsinformatiestroom Alleen verbindingen met andere neuronlaag Feedback type Ook verbindingen met eigenlaag

12 Eigenschap 2: de neuronlaag
Input layer Output layer Hidden layer Matrix layer Map layer

13 Eigenschap 3: Soort invoer
Binaire waarde Reële waarde

14 Eigenschap 4: activatie functie
Verschillende types onderscheiden zich van elkaar door het type output die ze geven

15 Eigenschap 5: Leermethode
Supervised learning Met antwoordboekje Generaliserend gedrag Unsupervised learning Zonder antwoorden Gebruiken van patronen Reinforcement learning Met een goed/fout signaal

16 Eigenschap 6: leeralgoritme
Hebb learning rule Delta learning rule Backpropgation Simulated annealing: gebruikt bij feedback types Self organization: gebruikt bij kohonen Maken gebruik van supervised learning

17 Enkele verschillende soorten:
Perceptron Multilayer perceptron Backpropagation net Hopfield net Kohonen Kaart Boltzmann Machine

18 Het perceptron Type Feedforward Neuron Lagen 1 inputlaag 1 outputlaag
Input Waarde Types Binair Activatie Functie Hard Limiter Leermethode Supervised Leeralgoritme Hebb Learnig Rule Wordt vooral gebruikt bij Simpele logische operaties patroon classificatie

19 Het multilayer perceptron
Type Feedforward Neuron Lagen 1 inputlaag of meer verborgen lagen outputlaag Input Waarde Types Binair Activatie Functie Hard Limiter / Sigmoid Leermethode Supervised Leeralgoritme Delta Learnig Rule Backpropagation (meest gebruikt) Wordt vooral gebruikt bij Complexe logische operaties patroon classificatie

20 Backpropagation

21 Topografische Kaarten
Een groep units heeft verbindingen naar elke unit in een competitieve laag. De units zijn geordend Dit wil zeggen de unit die het sterkst reageert op een invoer omringt wordt door de units die ook, maar minder sterk, reageren. En hoe verder de units liggen hoe minder sterk deze reageren.

22 Vervolg De topografische kaart ordent zich
Leert reageren op een extern invoer Past zich aan de invoer aan Heeft geen hulp nodig van buiten af Wordt ook wel self organizing map genoemd

23 Leren in een competitieve map
Definitie: Wanneer een axon van cel A dicht genoeg staat om een cel B te exciteren, en dit herhaaldelijk of continu activeert, dan ontstaat er een groeiproces of metabolische verandering in 1 of beide cellen. Hierdoor stijgt A’s efficiëntie.

24 Minimale competitieve kaart
Twee invoervectoren p1 en p2 en gewichten u1 voor unit 1 en u2 voor unit 2. De bedoeling is dat tijdens het lerev de vectoren van de gewichten zich verplaatsen naar de invoervectoren.

25 Reactie van ongetrainde units

26 Training van minimale competitieve netwerken

27 Reactie van getrainde units

28 Vergelijking van reactie door ongetrainde en getrainde units

29 Analyse van complexe data
Hoe kan data (items met een label en een reeks getallen die een statistische eigenschap van het item representeren) in beeld gebracht worden zodat er verbanden kunnen gelegd worden tussen de items? De meest simpele oplossing:

30 Andere oplossingen Een kohonen kaart met minimal spanning tree

31 Andere oplossing Merge clustering algoritme

32 Enkele Toepassingen