1 Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść?Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Dla uproszczenia, skupmy się dalej na sieciach o jednym wyjściu i jednym wejściu (SISO)

2 Wartość wyjścia sieci

3 Wartość wyjścia sieci - macierzowo

4 Wartość wyjścia sieci - macierzowo

5 Elementarna komórka jednowarstwowaCzy potrafimy sobie wyobrazić jak działa sieć neuronowa? Zbudujmy przykładową sieć perceptronową , przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Elementarna komórka jednowarstwowa (dwuwarstwowa)

6 Połączenie komórek elementarnych.

7 Sieć dwuwarstwowa (trójwarstwowa) – narzędzie aproksymacji funkcjiUproszczenia i wynik końcowy . Sieć dwuwarstwowa (trójwarstwowa) Sieć dwuwarstwowa (trójwarstwowa) – narzędzie aproksymacji funkcji

8 Przykład Weźmy dwuwarstwową (trójwarstwową) sieć o strukturze 1-2-1 Liczba wejść Liczba neuronów warstwy 1 Liczba neuronów warstwy 2 – liczba wyjść Funkcje aktywacji kolejnych warstw są następujące

9 Struktura sieci

10 Bieżące wartości wag i progówZakres zmian wejścia sieci

11 Składowe odpowiedzi sieci

12 Przykłady – funkcje jednej zmiennej; a funkcje większej liczby zmiennych?x1 x2

13 x1 x2

14 Właściwości aproksymacyjne perceptronów wielowarstwowychOdpowiednio skonstruowane sieci wielowarstwowe są uniwersalnymi aproksymatorami ! Podam twierdzenie, które zapewnia, że standardowa sieć wielowarstwowa z pojedynczą warstwą ukrytą składającą się z skończonej liczby neuronów jest uniwersalnym aproksymatorem

15 W 1989r. Funahashi udowodnił następujące twierdzenieNiech będzie niestałą, ograniczoną i monotonicznie rosnącą funkcją. Niech ponadto będzie zbiorem zwartym i będzie rzeczywistowartościową funkcją na . Wówczas dla dowolnej wartości istnieją stała oraz stałe rzeczywiste takie, że spełnia

16 Sieć neuronowa Funahashi

17 Metody uczenia sieci neuronowychW korzystaniu z sieci neuronowej można wyróżnić dwa etapy:  etap uczenia – w oparciu o przedstawiane sieci dane, sieć uczy się realizować zadanie dla którego została zbudowana  etap uogólniania – sieć realizuje zadanie dla którego została zbudowana dla danych które są jej przedstawiane Powinniśmy mieć miary oceny jakości każdego z tych etapów

18 Podstawowy podział metod uczenia to rozróżnienie pomiędzy uczeniem z nadzorem (supervised learning) i bez nadzoru (unsupervised learning)  W uczeniu z nadzorem występuje “nauczyciel”, który w fazie uczenia sieci, “mówi” sieci jak dobrze ona działa (uczenie z ukierunkowywaniem - reinforcement learning) lub jakie powinno być prawidłowe zachowanie sieci (uczenie z całkowitym nadzorem - fully supervised learning)

19 Proces uczenia z całkowitym nadzorem Posiadany pewien zbiór wektorów (wzorców) wejściowych sieci o liczebności Q, które zamierzamy wykorzystać w procesie uczenia sieci realizacji zadania – wektory te będziemy nazywać uczącymi wzorcami wejściowymi. Możemy z posiadanych wektorów utworzyć macierz wzorców wejściowych uczących P(atterns)

20 Proces uczenia z całkowitym nadzorem – c.d. Dla każdego wzorca wejściowego uczącego posiadamy wektor wyjściowy sieci jakim powinna ona odpowiedzieć na dany wzorzec wejściowy - wektor ten nazywamy wzorcem wyjściowym docelowym. Z wektorów tych możemy utworzyć macierz wzorców wyjściowych docelowych T(argets) Macierze P oraz T nazywamy zbiorami uczącymi - ich elementami są kolumny wzorców wejściowych oraz wzorców wyjściowych docelowych.

21 Proces uczenia z całkowitym nadzorem – c.d. Faktycznie sieć na każdy z wzorców wejściowych odpowiada wektorem wyjściowym, który będziemy nazywać wzorcem wyjściowym rzeczywistym – z wektorów tych możemy utworzyć macierz wzorców rzeczywistych A(nswers)

22 Proces uczenia z całkowitym nadzorem – c.d. Wektory z wejściowego zbioru uczącego są przedstawiane sieci w pewnej kolejności  Jeżeli wyjście sieci jest poprawne, to znaczy wzorzec rzeczywisty jest równy wzorcowi docelowemu, nie dokonywane są żadne zmiany wartości wag i progów  Jeżeli wyjście sieci nie jest poprawne, to znaczy wzorzec rzeczywisty nie jest równy wzorcowi docelowemu, wagi i progi są modyfikowane przy użyciu odpowiedniej reguły uczenia w taki sposób, aby minimalizować występujące różnice

23 Proces uczenia z całkowitym nadzorem – c.d. Pełne przejście przez wszystkie wzorce uczące nazywane jest epoką uczenia  Jeżeli takie pełne przejście zbioru uczącego zajdzie bez pojawienia się błędu lub pewna miara wszystkich pojawiających się błędów jest wystarczająco mała, uczenie uznaje się za zakończone - możemy wówczas powiedzieć, że zbiór uczący jest ,,znany" sieci lub "znany" z zadowalającą dokładnością  Jeżeli takie pełne przejście zbioru uczącego zajdzie z pojawieniem się błędu lub pewna miara wszystkich pojawiających się błędów nie jest wystarczająco mała, uczenie jest kontynuowane – rozpoczynamy kolejną epokę uczenia

24 Sprawdzenie zdolności uogólniania sieci Po zakończeniu procesu uczenia możemy podawać na wejście sieci wzorce nie pochodzące z uczącego zbioru wejściowego, to znaczy nie będące uczącym wzorcem wejściowym – w ten sposób możemy badać, czy sieć efektywnie uogólnia rozwiązywanie zadania, którego się uczyła na przykładach  Jeżeli tak, to na podany na wejście wzorzec powinna ona odpowiedzieć wzorcem wyjściowym równym lub bliskim wzorcowi docelowemu, który odpowiada wzorcowi wejściowemu bliskiemu podanemu wzorcowi  Jeżeli nie, to na podany na wejście wzorzec sieć odpowie wzorcem wyjściowym odległym od wzorca docelowego, który odpowiada wzorcowi wejściowemu bliskiemu podanemu wzorcowi