1 Inteligencja Obliczeniowa PerceptronyWykład 8 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) Tralvex Yeap. All Rights Reserved

2 Co było Learnmatrix. Adeline. Madeline.Aproksymacja elementami liniowymi Demo w Matlabie (c) Tralvex Yeap. All Rights Reserved

3 Co będzie Perceptron jednowarstwowy. Uczenie się perceptronówNieliniowa reguła delta Adatron (c) Tralvex Yeap. All Rights Reserved

4 Perceptron Rosenblatt (Cornell Univ.) 1960, klasyfikator neuronowy Mark I wzorowany na biologicznej percepcji. Trzy warstwy, elementy: wejściowe (S-units), np. fotokomórki 20 x 20 asocjacyjne (A-units), zbierające dane z większych obszarów, 512 wyjściowe (R-units), 8 Identyfikacja figur, znaków, eksperymenty psychologiczne, szybkość uczenia, błędy. Jakich klasyfikacji dokonać może perceptron? Jak można go uczyć? (c) Tralvex Yeap. All Rights Reserved

5 Perceptron - schemat Perceptron jednowarstwowy.(c) Tralvex Yeap. All Rights Reserved

6 Działanie perceptronówSygnał błędu obliczany jest po przepuszczeniu przez element progowy. Sj= –1, +1 sygnały docierające do elementów sensorycznych; Połączenia Cij = 0, ±1 elementów Sj i Ai (przypadkowo rozrzucone w pewnym obszarze, nie ulegają zmianom). Pary treningowe (Sm,Ym), Ym= ±1; sygnał wyjściowy Rm = +1 dla  > 0 próg wyjściowy g( ) – funkcja bipolarna daje Ai = +1 powyżej progu, Ai = –1 poniżej. (c) Tralvex Yeap. All Rights Reserved

7 Czego można je nauczyć? Przy aktywacji Akm dla sygnału wejściowego Sm prawidłowa odpowiedź: Kiedy istnieje rozwiązanie? Wystarczy, by dla każdego obszaru asocjacji A(Si) istniał element Aim należący tylko do tego obszaru. Kładąc wszystkie Wk = 0 oprócz mamy rozwiązanie; ale tylko dla problemów liniowo separowalnych. Zwykle przez „perceptron” rozumie się teraz jeden neuron z wieloma wejściami (bez jednostek S, bo tu nie ma adaptacji). (c) Tralvex Yeap. All Rights Reserved

8 Uczenie perceptronów Jeśli rozwiązanie istnieje to korekcja błędów (reguła uczenia) je znajdzie: Chcemy by: Reguła delta (c) Tralvex Yeap. All Rights Reserved

9 Uczenie perceptronów cdOcena trudności uczenia: zdefiniujmy Jeśli D(W) > 0 to można nauczyć bez błędu. Najlepsza separacja, perceptron optymalny, gdy bo k może być największe. Liczba kroków uczenia nie przekracza: (c) Tralvex Yeap. All Rights Reserved

10 Perceptron dla M klas Reguła uczenia perceptronu:skończona liczba kroków sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas. (c) Tralvex Yeap. All Rights Reserved

11 Elementy progowe Hiperpowierzchnia decyzyjna dla różnych neuronów:I(X), net – aktywacja; f(I) – funkcja wyjścia. Typowe nieliniowości – bipolarne i unipolarne funkcje sigmoidalne. Demonstracje NeuroSolution (c) Tralvex Yeap. All Rights Reserved

12 Co dalej? Samoorganizacja Adatron i maksymalizacja margines.Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe (c) Tralvex Yeap. All Rights Reserved

13 Koniec wykładu 8 Dobranoc (c) Tralvex Yeap. All Rights Reserved