1 Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowePerceptrony proste nieliniowe Pojedynczy perceptron nieliniowy

2 Perceptrony proste nielinioweStosowane funkcje aktywacji nieliniowe różniczkowalne z łatwo obliczalnymi pochodnymi względem sygnału pobudzenia Przykład: funkcje sigmoidalne - funkcja sigmoidalna logarytmiczna (niesymetryczna): - funkcja sigmoidalna tangensa hiperbolicznego (symetryczna)

3 Perceptrony proste nielinioweFunkcja sigmoidalna logarytmiczna (niesymetryczna): Pochodna funkcji sigmoidalnej logarytmicznej

4 Perceptrony proste nielinioweFunkcja sigmoidalna tangensa hiperbolicznego (symetryczna) Pochodna funkcji sigmoidalnej tangensa hiperbolicznego

5 Perceptrony proste nieliniowePerceptrony proste nieliniowe - warstwa Konwencje notacji: jak poprzednio

6 Reguła uczenia perceptronów nieliniowych – reguła deltyPerceptrony proste nieliniowe Reguła uczenia perceptronów nieliniowych – reguła delty Sposób wyprowadzenia jak dla perceptronów liniowych bazujący na błędzie średnim kwadratowym Podobnie też rozważamy pojedynczy neuron

7 Błąd średni kwadratowyPerceptrony proste nieliniowe Funkcjonał jakości działania sieci w procesie uczenia Błąd średni kwadratowy gdzie: E[ ] oznacza wartość średnią (oczekiwaną) zmiennej losowej. Wartość oczekiwana liczona jest po wszystkich zbiorach par uczących. Zakładamy przy tym, że wybory kolejnych par uczących są niezależne od siebie

8 Perceptrony proste nieliniowePoszukiwanie iteracyjne najlepszych wartości wag sieci nieliniowej prostej Zastępujemy (estymujemy)  wartość oczekiwaną kwadratu błędu  kwadratem błędu w k-tej iteracji (po pokazaniu sieci k-tej pary uczącej)

9 Perceptrony proste nieliniowePodobnie jak dla perceptronu prostego liniowego, będziemy poszukiwać minimum metodą iteracyjną gradientu prostego; musimy zatem określić 1. kierunek gradientu (kierunek zmian x) 2. wielkość zmiany x w kierunku gradientu (wielkość kroku w kierunku gradientu)

10 Perceptrony proste nielinioweOgólna postać gradientu jest taka jak perceptronu liniowego, inne jest wyliczenie wyrażeń oraz wynoszą one teraz

11 Perceptrony proste nieliniowe

12 Perceptrony proste nielinioweOtrzymaliśmy Ostatecznie możemy napisać wyrażenie na gradient miary jakości

13 Perceptrony proste nielinioweWyrażenie nazywane jest deltą (błędem) i-tego neuronu przy pokazaniu k‑tego wzorca sieci perceptronów prostych nieliniowych Metoda gradientu prostego daje nam regułę zmiany wartości wag i progów po pokazaniu sieci k-tej pary wzorców uczących

14 Perceptrony proste nieliniowePodstawiając uzyskane wyniki (postać gradientu kwadratu błędu) do iteracyjnej formuły gradientu prostego otrzymamy lub Ostatnie zależności noszą nazwę reguły uczenia delty

15 Perceptrony proste nielinioweUogólnienie reguły delty dla warstwy

16 Sieci wielowarstwowe jednokierunkoweStruktura i wielkości związane

17 Sieci wielowarstwowe jednokierunkowe

18 Sieci wielowarstwowe jednokierunkowe

19 Sieci wielowarstwowe jednokierunkoweDwie stosowane notacje Szczegóły: DODATEK 1

20 Sieci wielowarstwowe jednokierunkowePrzetwarzanie realizowane przez sieć Obliczanie odpowiedzi sieci (wzorców wyjściowych rzeczywistych) Dla m-tej warstwy możemy napisać lub gdzie: możemy traktować jako nieliniowy operator wektorowy Będziemy zakładali, że są identyczne dla całej warstwy i używali dla elementów wektora oznaczenia Szczegóły: DODATEK 2

21 Sieci wielowarstwowe jednokierunkowePrzetwarzanie realizowane przez sieć Przedstawione zależności ukazują: Odpowiedzi poszczególnych neuronów m-tej warstwy kształtowane są całkowicie przez aktualne wartości wag i progów związanych tylko z danym neuronem oraz przez wartości docierających aktualnie do warstwy sygnałów

22 Sieci wielowarstwowe jednokierunkoweWyjście sieci (wyjście M-tej warstwy) Notacja 1 czyli

23 Sieci wielowarstwowe jednokierunkoweNotacja 2 czyli

24 Sieci wielowarstwowe jednokierunkowePrzedstawione zależności ukazują: Na wartości docierających do m-tej warstwy sygnałów wpływ mają wartości wag i funkcje przetwarzania wszystkich poprzednich warstw

25 Sieci wielowarstwowe jednokierunkoweFakty Przy podaniu na wejście sieci pewnego wektora wejściowego p wektor wyjścia a zależy od wszystkich macierzy wag oraz wszystkich wektorów progów , lub inaczej od wszystkich Przy podaniu na wejście sieci pewnego wektora wejściowego p sygnał wyjścia im - tego neuronu m‑tej warstwy sieci zależy bezpośrednio od wartości wag tworzących im  - ty wiersz macierzy wag oraz od wartości progu znajdującego się w im - tym wierszu wektora progów , lub inaczej od im - tego wiersza macierzy

26 Koniec materiału prezentowanego podczas wykładuDziękuję za uczestnictwo w wykładzie i uwagę

27 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje

28 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Konwencje oznaczeń  liczba warstw w sieci M; indeks numeru warstwy przebiega zbiór  liczba neuronów w m-tej warstwie ; indeks numeru wyjścia warstwy m-tej przebiega zbiór ; wejście sieci jest traktowane jako wyjście otoczenia, przyjmuje się zatem Wyjście ostatniej warstwy jest wyjściem sieci

29 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  w sieci wielowarstwowej wyjście jednej warstwy staje się wejściem warstwy następnej; Można by zrezygnować z wprowadzania oddzielnego oznaczania indeksu wejścia warstwy m-tej, bowiem Dla odróżnienia jednak, kiedy indeks przebiega wejścia a kiedy wyjścia będziemy używali indeksu j dla wejść poszczególnych warstw; przyjmiemy zatem Liczba wejść m-tej warstwy ; indeks numeru wejścia warstwy m‑tej przebiega zbiór ; zachodzi oczywiście równość

30 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  wielkości związane z poszczególnymi warstwami będziemy oznaczali stosowanymi dotąd symbolami z indeksem górnym określającym numer warstwy  wektor wejść sieci Notacja 1 Notacja 2

31 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Możemy też używać terminu wektora wejść w odniesieniu do każdej warstwy. Wówczas wektor wejść m-tej warstwy Notacja 1 Notacja 2

32 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Zachodzi oczywiście:

33 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Z wszystkich wektorów wejść uczących tworzymy macierz Notacja 1 Czasem będziemy utożsamiali zapisy: ; dla dowolnego wektora wejściowego będziemy stosowali też symbol p

34 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Notacja 2 Czasem będziemy utożsamiali zapisy: ; dla dowolnego wektora wejściowego będziemy stosowali też symbol z

35 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Operując pojęciem wektora wejść dla poszczególnych warstw będziemy mieli Notacja 1

36 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Notacja 2

37 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  macierze wag i wektory progów m-tej warstwy neuronów Notacja 1

38 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Macierz wag związana jest z warstwą sieci. Z pojedynczym neuronem warstwy związany jest wektor wag. Mówiąc wektor wag domyślnie będziemy przyjmowali, że jest to wektor wierszowy (wiersz macierzy wag) Czasem będziemy utożsamiali zapisy: Wektor progów związany jest z warstwą sieci. Z pojedynczym neuronem warstwy związany jest próg (element wektora progów)

39 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Notacja 2 Czasem będziemy utożsamiali zapisy:

40 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  zbiór macierzy wag i wektorów progów Notacja 1 Notacja 2

41 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  wektor pobudzeń neuronów m-tej warstwy sieci dla danego wektora wejść (przy pewnych wartościach wag i progów) Notacja 1 i 2

42 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Możemy też operować pojęciem macierzy pobudzeń neuronów m-tej warstwy sieci dla danej macierzy wejść (przy pewnych wartościach wag i progów) Notacja 1 i 2 Dla dowolnego wektora pobudzeń m-tej warstwy będziemy stosowali też symbol

43 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  wektor wzorców wyjściowych rzeczywistych m-tej warstwy sieci dla danego wektora wejść (przy pewnych wartościach wag i progów) Notacja 1 i 2

44 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Możemy też operować pojęciem macierzy wzorców wyjściowych rzeczywistych neuronów m-tej warstwy sieci dla danej macierzy wejść (przy pewnych wartościach wag i progów) Notacja 1 i 2 Dla dowolnego wektora wzorców wyjściowych rzeczywistych m-tej warstwy będziemy stosowali też symbol

45 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje  wektor wzorców wyjściowych docelowych m-tej warstwy sieci dla danego wektora wejść (przy pewnych wartościach wag i progów) Notacja 1 i 2

46 Sieci wielowarstwowe jednokierunkoweDODATEK 1 - Notacje Możemy też operować pojęciem macierzy wzorców wyjściowych docelowych neuronów m-tej warstwy sieci dla danej macierzy wejść (przy pewnych wartościach wag i progów) Notacja 1 i 2 Dla dowolnego wektora wzorców wyjściowych docelowych m-tej warstwy będziemy stosowali też symbol

47 Sieci wielowarstwowe jednokierunkoweDODATEK 2 Przetwarzanie realizowane przez sieć jednokierunkową wielowarstwową

48 Przetwarzanie realizowane przez siećObliczanie odpowiedzi sieci (wzorców wyjściowych rzeczywistych) Dla m-tej warstwy możemy napisać lub gdzie: możemy traktować jako nieliniowy operator wektorowy Będziemy zakładali, że są identyczne dla całej warstwy i używali dla elementów wektora oznaczenia

49 Przetwarzanie realizowane przez siećRozpisując dalej jak wyrażają się sygnały pobudzenia neuronów m-tej warstwy w notacji 1

50 Przetwarzanie realizowane przez siećlub w notacji 2

51 Przetwarzanie realizowane przez siećPoszczególne składowe wektora odpowiedzi m-tej warstwy wyrażają się zatem Notacja 1 Notacja 2