Neurale Netwerken Kunstmatige Intelligentie Rijksuniversiteit Groningen April 2005

2 hc 2 TLUs, lineaire scheidbaarheid en vectoren TLUs, lineaire scheidbaarheid en vectoren TLUs trainen; de perceptron regel TLUs trainen; de perceptron regel boek: H3 en H4 boek: H3 en H4

3 overzicht voorbeeld TLU: logical AND operator 3.1 voorbeeld TLU: logical AND operator 3.1 vectoren en lineaire scheidbaarheid 3.2, 3.3 vectoren en lineaire scheidbaarheid 3.2, 3.3 TLU’s trainen 4.1, 4.2, 4.3 TLU’s trainen 4.1, 4.2, 4.3 uitbreiding 4.4, 4.5, 4.6 uitbreiding 4.4, 4.5, 4.6

4 een TLU met 2 inputs, 1 output y = 1 if a >= Θ y = 0 if a < Θ x1x1 w1w1 x2x2 w2w2 y

5 logical AND operator y = 1 if a >= Θ y = 0 if a < Θ where Θ = 1,5 x1x1 1 x2x2 1 y

6 input pattern 1 y = 1 if a >= Θ y = 0 if a < Θ where Θ = 1,

7 input pattern 2 y = 1 if a >= Θ y = 0 if a < Θ where Θ = 1,

8 input pattern 3 y = 1 if a >= Θ y = 0 if a < Θ where Θ = 1,

9 input pattern 4 y = 1 if a >= Θ y = 0 if a < Θ where Θ = 1,

10 van klasse grens naar decision hyperplane In het voorbeeld van de logical AND operator wordt dat x 2 = -1 * x 1 + 1,5 de klasses moeten te scheiden zijn door een rechte lijn (hyperplane), anders kan een TLU het niet oplossen.

11 overzicht voorbeeld TLU: logical AND operator 3.1 voorbeeld TLU: logical AND operator 3.1 vectoren en lineaire scheidbaarheid 3.2, 3.3 vectoren en lineaire scheidbaarheid 3.2, 3.3 TLU’s trainen 4.1, 4.2, 4.3 TLU’s trainen 4.1, 4.2, 4.3 uitbreiding 4.4, 4.5, 4.6 uitbreiding 4.4, 4.5, 4.6

12 vectoren 2D input space (bv. AND): x = (x 1, x 2 ) nD input space: (bv. 6 * 8 pixels): x = (x 1, x 2,..., x n ) w = (w 1, w 2,..., w n )

13 kv = (kv 1, kv 2,..., kv n ) w = u + v w = (u 1 + v 1, u 2 + v 2,..., u n + v n ) w = u - v w = (u 1 - v 1, u 2 - v 2,..., u n - v n ) v u-v-v u w w u v w u

14 inproduct v w

15 lineaire scheidbaarheid

16 overzicht voorbeeld TLU: logical AND operator 3.1 voorbeeld TLU: logical AND operator 3.1 vectoren en lineaire scheidbaarheid 3.2, 3.3 vectoren en lineaire scheidbaarheid 3.2, 3.3 TLU’s trainen 4.1, 4.2, 4.3 TLU’s trainen 4.1, 4.2, 4.3 uitbreiding 4.4, 4.5, 4.6 uitbreiding 4.4, 4.5, 4.6

17 y = 1 if a >= Θ y = 0 if a < Θ x1x1 w1w1 x2x2 y w2w2 1 TLU trainen (2 inputs, 1 output) “ordening” patterns en opsplitsen in trainingset {p 1,..., p n } en testset {p n + 1,..., p m } training set van patterns {p 1,..., p n }, p i = (x i1, x i2, t i ) voor elk pattern p i gewichten aanpassen dmv. error estimate (t i – y i ) y i is de output die de TLU geeft t i is wat de output zou moeten zijn test set van patterns {p n + 1,..., p m } error op de test set is de prestatie maat testen gebeurt na elk epoch

18 the augmented weight vector y = 1 if w ∙ x >= Θ y = 0 if w ∙ x < Θ w ∙ x = Θ decision hyperplane Θ kun je zien als extra gewicht met vaste input -1 y = 1 if w ∙ x >= 0 y = 0 if w ∙ x < 0 w ∙ x = 0 decision hyperplane y = 1 if a >= Θ y = 0 if a < Θ x1x1 w1w1 x2x2 y w2w2 y = 1 if a >= 0 y = 0 if a < 0 x1x1 w1w1 x2x2 y w2w2 θ

19 de gewichtsvector aanpassen misclassificatie: 1.t = 1, y = 0 miss inputvector v = (v 1, v 2,..., v n ) en gewichtsvector w = (w 1, w 2,..., w n ) wijzen verschillende kanten op terwijl dat niet de bedoeling is inproduct is negatief pas de gewichtsvector aan, zodat het inproduct positief wordt 2.t = 0, y = 1 false alarm inputvector en gewichtsvector wijzen dezelfde kant op terwijl dat niet de bedoeling is het inproduct is positief pas de gewichtsvector aan, zodat het inproduct negatief wordt learning rate α ongeveer 0,2

20 w’ = w + αvw’ = w – αv t y w’ = w + α(t – y)v Δw = α(t – y)v vector components i = 1 t/m (n + 1): Δw i = α(t – y)v i w = (w 1, w 2,..., w n, θ) v = (v 1, v 2,..., v n, -1) Perceptron Training Rule

21 the perceptron training algorithm boek p. 34 repeat for each training vector pair (v, t) update weight vector w end for loop until y = t for all input vectors.

22 the perceptron training algorithm boek p. 34 repeat for each training vector pair (v, t) evaluate the output y when v is input to the TLU if y ≠ t then form new weight vector w’ according to (4.4) else do nothing end if end for loop until y = t for all input vectors (4.4) w’ = w + α(t – y)v Perceptron Convergence Theorem: Als twee klasses lineair scheidbaar zijn zal het toepassen van bovenstaand algoritme leiden tot een decision hyperplane dat de twee klasses van elkaar scheidt. bewezen door Rosenblatt (1962)

23 y = 1 if a >= 0 y = 0 if a < 0 x1x1 w1w1 x2x2 y w2w2 θ δw i = α(t – y)v i where α = 0.25 tabel 4.1 in het boek, logical AND operator w1w1 w2w2 θx1x1 x2x2 ayt α(t–y) δw1δw1 δw2δw2 δ θ 0,00,40, ,00,40,3010,410-0,250 0,25 0,00,150, ,00,150,55110,15010,25 -0,25 0,250,40,3

24 overzicht voorbeeld TLU: logical AND operator 3.1 voorbeeld TLU: logical AND operator 3.1 vectoren en lineaire scheidbaarheid 3.2, 3.3 vectoren en lineaire scheidbaarheid 3.2, 3.3 TLU’s trainen 4.1, 4.2, 4.3 TLU’s trainen 4.1, 4.2, 4.3 uitbreiding 4.4, 4.5, 4.6 uitbreiding 4.4, 4.5, 4.6

25 het perceptron

26

27 niet-lineair scheidbare klasses neuron 1 zegt AB, neuron 2 zegt AD: tabel 4.2 kan alleen als de input van klasse A is dit gaat ook op voor klasse B, C en D decoderen: tabel 4.3

28

29

30 neurale netwerken: modellen op een gewone von Neumann computer... black box:

31 overzicht voorbeeld TLU: logical AND operator 3.1 voorbeeld TLU: logical AND operator 3.1 vectoren en lineaire scheidbaarheid 3.2, 3.3 vectoren en lineaire scheidbaarheid 3.2, 3.3 TLU’s trainen 4.1, 4.2, 4.3 TLU’s trainen 4.1, 4.2, 4.3 uitbreiding 4.4, 4.5, 4.6 uitbreiding 4.4, 4.5, 4.6

32 volgende college –Herhaling van vandaag TLUs, lineaire scheidbaarheid en vectoren TLUs, lineaire scheidbaarheid en vectoren TLUs trainen; de perceptron regel TLUs trainen; de perceptron regel –De delta regel boek: H3, H4 en H5 boek: H3, H4 en H5