Kunstmatige Intelligentie Rijksuniversiteit Groningen Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen Welkom Mei 2005

hc 10 Spiking neurons stof: artikel

overzicht inleiding l

drie generaties threshold transfer function continuous transfer function (bv sigmoid) spike trains (integrate-and-fire) beschouwing biologische plausibiliteit: elke generatie meer natuurgetrouw dan de vorige beschouwing computationele kracht: 1 is universeel voor digitale functies 2 en 3 ook voor analoge functies 3 heeft een hogere uitdrukkingskracht dan 2 (met minder neuronen kun je hetzelfde) relatie van 1 en 2 met spike trains

biologische neuronen menselijk zenuwstelsel: ±100 miljard neuronen 1 mm3 cortex: ±10.000 neuronen met elk ±10.000 verbindingen naar andere neuronen (kilometers axonen/dendrieten per mm3) neural staining: uitzonderingen: electrical synapse, zeldzame neuron types

biologische neuronen axon synaps dendriet synaps cellichaam (soma) synaptic efficacy is BIOLOGISCHE TEGENHANGER van gewicht

biologische neuronen uitleg termen op p. 12, 13 boek

dendrieten: activatie uit dendrieten depolariseert of hyperpolariseert het mebraan (PostSynaptic Potential) depolarisatie werkt exciterend (EPSP) hyperpolarisatie werkt inhiberend (IPSP) graded potentials axon: rust potentiaal axon: -70 mV met binnenkant neuron negatief (firing threshold -50 mV) als de PSPs genoeg activatie veroorzaken, dan ontstaat een aktiepotentiaal all-or-nothing potentials Hodgkin & Huxley (1952)

4 s spikes in 30 visual cortex cells benodigde tijd voor visuele verwerking!

informatieoverdracht tussen biologische en kunstmatige neuronen spiking neurons gebruiken spike patronen standaard kunstmatige neuronen gebruiken activatie tussen 0 en 1 axon activatie: let op: in biologische neuronen kan informatie overgedragen worden in de vorm van wisselende patronen, dan verandert de vuurfrequentie steeds (zie grafiek). Verder: een actie potentiaal is binair, all-or-nothing spiking nonspiking fmax 1

PSPs vs actiepotentialen graded vs all-or-nothing EPSPs, IPSPs vs spike trains integrate-and-fire (spike 1-2 ms) informatie in aantal spikes en de timing van losse spikes (relative/absolute) refractory period (10 ms) beperkt vuurfrequentie refractory period = undershoot resting potential leuke vraag: waarom hebben we evolutionistisch gezien zo’n gespannen resting potential?!?!

NV neural viewer www.btinternet.com/~cfinnie recovery periods, flames edge detector interaural

neurale dynamica intracellular clamp: potentiaal verschil meten tussen binnen en buiten de cel clamp voorbeelden ui(t) – urest = εij EPSP in neuron i veroorzaakt door spike van neuron j: εij(t – tj(f)) clamp Hubel en Wiesel, katten SLAKKEN, met grote neuronen (100x) en weinig! inktvis (Hodgkin en Huxley) ook vertellen over stroom toedienen t – tjf is gewoon om te zorgen dat de laatste firing time bij 0 ligt!

all PSPs have the same shape!!!

wiskundig model SRM0 zie artikel voor uitleg functionaliteit en symbolen GEBRUIK HET BORD de spike is een delta puls, ziet er dus NIET zo uit als in het bovenste plaatje!!! refractory period kun je implementeren door theta een scherp afnemend exponentieel verloop te geven, met oneindig hoge waarde bij t = last firing time... parameters η0, τ, Δt > 0

verschillende PSPs verschil in teken (IPSP, EPSP), verschil in hoogte actie potentiaal (blauw) niet in goede proportie verschil in teken (IPSP, EPSP), verschil in hoogte verschil in lengte vertraging in modellen hebben alle PSPs vaak dezelfde vorm, rechthoekig of driehoekig meestal

netwerk types MLP, Hopfield, Kohonen, Elman, ... leren: algoritmes moeten aangepast worden, maar het idee is hetzelfde Hebbian is makkelijker aan te passen voor spikes ((bijna) synchrone spikes versterken gewicht) dan backprop

beperkingen van SRM0 alle PSPs hebben dezelfde vorm PSPs niet afhankelijk van de toestand van het neuron dynamica alleen afhakelijk van laatste spike geen adaptatie geen bursting neurons geen inhibitory rebound spike bij veel input spikes tellen de PSPs niet lineair op (in biologische neuronen) uitgebreidere modellen... bijvoorbeeld uitgeput neuron, lagere PSPs

spiking neurons in hardware [3], [4] geen tentamenstof VLSI systems can use data representations of either binary (digital VLSI) or continuous (analog VLSI) voltages. Progress in digital technology has been tremendous, providing us with ever faster, more precise and smaller equipment. In digital systems an energy-hungry synchronisation clock makes it certain that parts are ready for action. Analog systems consume much less power and space on silicon than digital systems (in many orders of magnitude) and are easily interfaced with the analog real world. However, their design is hard, due to noise computation is fundamentally (slightly) inaccurate and sufficiently reliable non-volatile analog memory does not (yet) exist [20,4]. Hybrid (noise resistant digital communication and memory, cheap analog computation)

referenties [1] W. Gernster, W.M. Kistler (2002) Spiking neuron models: single neurons, populations, plasticity. Cambridge university press [2] W. Maass (1997) Networks of spiking neurons: the third generation of neural network models. Journal unknown (Elsevier press) [3] J. Vreeken (in press) Spiking neural networks, an introduction. [4] G. Indeviri et al. (2002) A competitive network of spiking VLSI neurons. Journal unknown [5] J. W. Kalat (2001) Biological Psychology. Wadsworth Thomson learning

laatste college aanstaande woensdag voorbeeld-tentamen-vragen practicum: feedback en ruimte voor vragen