Kunstmatige Intelligentie Rijksuniversiteit Groningen

Presentatie over: "Kunstmatige Intelligentie Rijksuniversiteit Groningen"— Transcript van de presentatie:

1 Kunstmatige Intelligentie Rijksuniversiteit Groningen
Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Welkom Mei 2005

2 hc 10 Spiking neurons stof: artikel

3 overzicht inleiding l

4 drie generaties threshold transfer function
continuous transfer function (bv sigmoid) spike trains (integrate-and-fire) beschouwing biologische plausibiliteit: elke generatie meer natuurgetrouw dan de vorige beschouwing computationele kracht: 1 is universeel voor digitale functies 2 en 3 ook voor analoge functies 3 heeft een hogere uitdrukkingskracht dan 2 (met minder neuronen kun je hetzelfde) relatie van 1 en 2 met spike trains

5 biologische neuronen menselijk zenuwstelsel: ±100 miljard neuronen
1 mm3 cortex: ± neuronen met elk ± verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3) neural staining: uitzonderingen: electrical synapse, zeldzame neuron types

6 biologische neuronen axon synaps dendriet synaps cellichaam (soma)
synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht

7

8 biologische neuronen uitleg termen op p. 12, 13 boek

9 dendrieten: activatie uit dendrieten depolariseert of hyperpolariseert het mebraan (PostSynaptic Potential) depolarisatie werkt exciterend (EPSP) hyperpolarisatie werkt inhiberend (IPSP) graded potentials axon: rust potentiaal axon: -70 mV met binnenkant neuron negatief (firing threshold -50 mV) als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal all-or-nothing potentials Hodgkin & Huxley (1952)

10 4 s spikes in 30 visual cortex cells
benodigde tijd voor visuele verwerking!

11

12

13

14

15

16

17

18 informatieoverdracht tussen biologische en kunstmatige neuronen
spiking neurons gebruiken spike patronen standaard kunstmatige neuronen gebruiken activatie tussen 0 en 1 axon activatie: let op: in biologische neuronen kan informatie overgedragen worden in de vorm van wisselende patronen, dan verandert de vuurfrequentie steeds (zie grafiek). Verder: een actie potentiaal is binair, all-or-nothing spiking nonspiking fmax 1

19 PSPs vs actiepotentialen
graded vs all-or-nothing EPSPs, IPSPs vs spike trains integrate-and-fire (spike 1-2 ms) informatie in aantal spikes en de timing van losse spikes (relative/absolute) refractory period (10 ms) beperkt vuurfrequentie refractory period = undershoot resting potential leuke vraag: waarom hebben we evolutionistisch gezien zo’n gespannen resting potential?!?!

20 NV neural viewer www.btinternet.com/~cfinnie recovery periods, flames
edge detector interaural

21 neurale dynamica intracellular clamp: potentiaal verschil meten tussen binnen en buiten de cel clamp voorbeelden ui(t) – urest = εij EPSP in neuron i veroorzaakt door spike van neuron j: εij(t – tj(f)) clamp Hubel en Wiesel, katten SLAKKEN, met grote neuronen (100x) en weinig! inktvis (Hodgkin en Huxley) ook vertellen over stroom toedienen t – tjf is gewoon om te zorgen dat de laatste firing time bij 0 ligt!

22 all PSPs have the same shape!!!

23 wiskundig model SRM0 zie artikel voor uitleg functionaliteit en symbolen GEBRUIK HET BORD de spike is een delta puls, ziet er dus NIET zo uit als in het bovenste plaatje!!! refractory period kun je implementeren door theta een scherp afnemend exponentieel verloop te geven, met oneindig hoge waarde bij t = last firing time... parameters η0, τ, Δt > 0

24 verschillende PSPs verschil in teken (IPSP, EPSP), verschil in hoogte
actie potentiaal (blauw) niet in goede proportie verschil in teken (IPSP, EPSP), verschil in hoogte verschil in lengte vertraging in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal

25 netwerk types MLP, Hopfield, Kohonen, Elman, ...
leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde Hebbian is makkelijker aan te passen voor spikes ((bijna) synchrone spikes versterken gewicht) dan backprop

26 beperkingen van SRM0 alle PSPs hebben dezelfde vorm
PSPs niet afhankelijk van de toestand van het neuron dynamica alleen afhakelijk van laatste spike geen adaptatie geen bursting neurons geen inhibitory rebound spike bij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen) uitgebreidere modellen... bijvoorbeeld uitgeput neuron, lagere PSPs

27 spiking neurons in hardware [3], [4] geen tentamenstof
VLSI systems can use data representations of either binary (digital VLSI) or continuous (analog VLSI) voltages. Progress in digital technology has been tremendous, providing us with ever faster, more precise and smaller equipment. In digital systems an energy-hungry synchronisation clock makes it certain that parts are ready for action. Analog systems consume much less power and space on silicon than digital systems (in many orders of magnitude) and are easily interfaced with the analog real world. However, their design is hard, due to noise computation is fundamentally (slightly) inaccurate and sufficiently reliable non-volatile analog memory does not (yet) exist [20,4]. Hybrid (noise resistant digital communication and memory, cheap analog computation)

28 referenties [1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press [2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press) [3] J. Vreeken (in press) Spiking neural networks, an introduction. [4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown [5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning

29 laatste college aanstaande woensdag
voorbeeld-tentamen-vragen practicum: feedback en ruimte voor vragen