Opdrachttaak kennissystemen: Neurale netwerken Opdrachttaak kennissystemen: Door: Jeroen Van den Elsen Piet Vermeir Koen Van Campenhout

Inleiding Geschiedenis Wat is een neuraal netwerk?

Biologisch Neuron

Artificieel Neuron

Artificieel Neuraal Netwerk Een eenvoudig voorbeeld van een artificieel neuraal netwerk met drie lagen.

Eigenschappen van Artificiële Neurale Netwerken Local processing Parallel processing Leren Geheugen Bestand tegen ruis

Definitie van Artificiële Neurale Netwerken Een ANN is een rekenmodel, gebaseerd op het dierlijk neuraal netwerk, waarbij een invoer verwerkt wordt door een parallel netwerk van neuronen, de een al belangrijker dan de andere, en verbindingen om zo tot een uitvoer te komen. Elk van die neuronen verwerkt simpele functies en beschikken over een geheugen waardoor ‘leren’ mogelijk wordt gemaakt.

Mogelijkheden van een Artificiële Neurale Netwerken Classificatie Voorspellen Data associatie Data conceptualisatie Data filtering

Enkele toepassingen Muis en trackerball Kunstmatige intelligentie Handschrift herkenning

Eigenschappen van verschillende soorten ANN Type Neuronlagen Soort invoer Activatie functie Leermethode Leeralgoritme

Eigenschap 1: het type Feedforward type Feedback type Eenrichtingsinformatiestroom Alleen verbindingen met andere neuronlaag Feedback type Ook verbindingen met eigenlaag

Eigenschap 2: de neuronlaag Input layer Output layer Hidden layer Matrix layer Map layer

Eigenschap 3: Soort invoer Binaire waarde Reële waarde

Eigenschap 4: activatie functie Verschillende types onderscheiden zich van elkaar door het type output die ze geven

Eigenschap 5: Leermethode Supervised learning Met antwoordboekje Generaliserend gedrag Unsupervised learning Zonder antwoorden Gebruiken van patronen Reinforcement learning Met een goed/fout signaal

Eigenschap 6: leeralgoritme Hebb learning rule Delta learning rule Backpropgation Simulated annealing: gebruikt bij feedback types Self organization: gebruikt bij kohonen Maken gebruik van supervised learning

Enkele verschillende soorten: Perceptron Multilayer perceptron Backpropagation net Hopfield net Kohonen Kaart Boltzmann Machine

Het perceptron Type Feedforward Neuron Lagen 1 inputlaag 1 outputlaag Input Waarde Types Binair Activatie Functie Hard Limiter Leermethode Supervised Leeralgoritme Hebb Learnig Rule Wordt vooral gebruikt bij Simpele logische operaties patroon classificatie

Het multilayer perceptron Type Feedforward Neuron Lagen 1 inputlaag 1 of meer verborgen lagen 1 outputlaag Input Waarde Types Binair Activatie Functie Hard Limiter / Sigmoid Leermethode Supervised Leeralgoritme Delta Learnig Rule Backpropagation (meest gebruikt) Wordt vooral gebruikt bij Complexe logische operaties patroon classificatie

Backpropagation

Topografische Kaarten Een groep units heeft verbindingen naar elke unit in een competitieve laag. De units zijn geordend Dit wil zeggen de unit die het sterkst reageert op een invoer omringt wordt door de units die ook, maar minder sterk, reageren. En hoe verder de units liggen hoe minder sterk deze reageren.

Vervolg De topografische kaart ordent zich Leert reageren op een extern invoer Past zich aan de invoer aan Heeft geen hulp nodig van buiten af Wordt ook wel self organizing map genoemd

Leren in een competitieve map Definitie: Wanneer een axon van cel A dicht genoeg staat om een cel B te exciteren, en dit herhaaldelijk of continu activeert, dan ontstaat er een groeiproces of metabolische verandering in 1 of beide cellen. Hierdoor stijgt A’s efficiëntie.

Minimale competitieve kaart Twee invoervectoren p1 en p2 en gewichten u1 voor unit 1 en u2 voor unit 2. De bedoeling is dat tijdens het lerev de vectoren van de gewichten zich verplaatsen naar de invoervectoren.

Reactie van ongetrainde units

Training van minimale competitieve netwerken

Reactie van getrainde units

Vergelijking van reactie door ongetrainde en getrainde units

Analyse van complexe data Hoe kan data (items met een label en een reeks getallen die een statistische eigenschap van het item representeren) in beeld gebracht worden zodat er verbanden kunnen gelegd worden tussen de items? De meest simpele oplossing:

Andere oplossingen Een kohonen kaart met minimal spanning tree

Andere oplossing Merge clustering algoritme

Enkele Toepassingen