Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen April 2005

2 hc 1 neurale netwerken – een overzicht neurale netwerken – een overzicht biologische en kunstmatige neuronen biologische en kunstmatige neuronen boek: H1 en H2, 2.5 komt later boek: H1 en H2, 2.5 komt later

3 overzicht organisatie organisatie Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 biologische neuronen 2.1 biologische neuronen 2.1 kunstmatige neuronen: threshold logic unit 2.2 kunstmatige neuronen: threshold logic unit 2.2 wanneer gebruikt men neurale netwerken? 2.3 wanneer gebruikt men neurale netwerken? 2.3 informatie overdracht 2.4 informatie overdracht 2.4

4 organisatie boek An Introduction to Neural Networks door Kevin Gurney vandaag H1 en H2 (behalve 2.5) practicumhandleiding website - docenten - weekschema - inhoud - toetsing en cijfers - collegesheets - practicum

5 Wat zijn neurale netwerken? Waarom zijn ze interessant? kunstmatige neurale netwerken: sterke vereenvoudiging van biologische neuronen leren neurale netwerken als model voor echte neuronen, onderzoeksmiddel neurale netwerken als oplossing voor problemen, engineering

6 overzicht organisatie organisatie Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 biologische neuronen 2.1 biologische neuronen 2.1 kunstmatige neuronen: threshold logic unit 2.2 kunstmatige neuronen: threshold logic unit 2.2 wanneer gebruikt men neurale netwerken? 2.3 wanneer gebruikt men neurale netwerken? 2.3 informatie overdracht 2.4 informatie overdracht 2.4

7 biologische neuronen axon synaps dendriet axon synaps cellichaam (soma)

8 biologische neuronen uitleg termen op p. 12, 13 boek

9 biologische neuronen dendrieten: activatie uit dendrieten depolariseert of hyperpolariseert het mebraan (PostSynaptic Potential) depolarisatie werkt exciterend (EPSP) hyperpolarisatie werkt inhiberend (IPSP) graded potentials axon: rust potentiaal axon: 70 mV met binnenkant neuron negatief als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal all-or-nothing potentials Hodgkin & Huxley (1952)

10 biologische neuronen

11 biologische neuronen

12 biologische neuronen

13 biologische neuronen

14 biologische neuronen

15 biologische neuronen

16 biologische neuronen

17 biologische neuronen

18 overzicht organisatie organisatie Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 biologische neuronen 2.1 biologische neuronen 2.1 kunstmatige neuronen: threshold logic unit 2.2 kunstmatige neuronen: threshold logic unit 2.2 wanneer gebruikt men neurale netwerken? 2.3 wanneer gebruikt men neurale netwerken? 2.3 informatie overdracht 2.4 informatie overdracht 2.4

19 kunstmatige neuronen: de Threshold Logic Unit y = 1 if a >= Θ y = 0 if a < Θ x1x1 w1w1 x3x3 w3w3 x2x2 y w2w2 boek: figuur 2.4 (iets andere weergave). McCullogh & Pitts (1943)

20 neuraal netwerk

21 overzicht organisatie organisatie Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 biologische neuronen 2.1 biologische neuronen 2.1 kunstmatige neuronen: threshold logic unit 2.2 kunstmatige neuronen: threshold logic unit 2.2 wanneer gebruikt men neurale netwerken? 2.3 wanneer gebruikt men neurale netwerken? 2.3 informatie overdracht 2.4 informatie overdracht 2.4

22 wanneer gebruikt men neurale netwerken? onderzoeksmiddel: neurale netwerken als model voor biologische neuronen of hersengebieden. engineering: Gebruik neurale netwerken als je zelf de oplossing niet kan bedenken. voorbeeld: Optical Character RecognitionOptical Character Recognition –applet moet getraind worden –96 inputs (12 * 8 = 96 pixels) –hidden neurons –10 output neurons (een voor elk cijfer, 0-9)

23 wanneer gebruikt men neurale netwerken? Neurale netwerken zijn robuust (ruis tolerant) ze kunnen problemen oplossen met onvolledige en vervuilde data. Ze leren vanuit willekeurige initialisatie de juiste oplossing, gebruik makend van labeled training data.

24 informatieoverdracht tussen biologische en kunstmatige neuronen biologische neuronen gebruiken spike patronen kunstmatige neuronen gebruiken activatie tussen 0 en 1 axon activatie: biologischkunstmatig 00 f max 1

25 overzicht organisatie organisatie Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 Wat zijn neurale netwerken en waarom zijn ze interessant? 1.1, 1.2 biologische neuronen 2.1 biologische neuronen 2.1 kunstmatige neuronen: threshold logic unit 2.2 kunstmatige neuronen: threshold logic unit 2.2 wanneer gebruikt men neurale netwerken? 2.3 wanneer gebruikt men neurale netwerken? 2.3 informatie overdracht 2.4 informatie overdracht wordt in een later college behandeld 2.5 wordt in een later college behandeld

26 volgende college TLUs, lineaire scheidbaarheid en vectoren TLUs, lineaire scheidbaarheid en vectoren TLUs trainen; de perceptron regel TLUs trainen; de perceptron regel boek: H3 en H4 boek: H3 en H4