1 SIECI NEURONOWE Sztuczne sieci neuronowe są to układy elektroniczne lub optyczne, złożone z jednostek przetwarzających, zwanych neuronami, połączonych wzajemnie w bardzo silnie sprzężoną sieć. Sztuczne sieci neuronowe są układami, których zasada działania i struktura są wynikiem inspiracji biologicznej. Cała wiedza sieci zgromadzona jest w postaci wag, których wartości dobierane są w procesie uczenia

2 Sztuczna sieć neuronowa jest bardzo uproszczonym modelem mózguW typowej komórce nerwowej wyróżniamy 3 podstawowe elementy: ciało komórki (soma), aksony – długie cylindryczne włókna służące jako linie transmisyjne dla impulsów nerwowych, dendryty

3 BUDOWA neuronu biologicznegoDendryty tworzą gęsto rozgałęzioną pajęczynę cienkich włókien wokół ciała neuronu. Informacja dociera od neuronu do dendrytów neuronu sąsiedniego za pomocą aksonów. Zarówno akson jak i jego cieńsze odgałęzienia (kolaterale) tworzą na końcach pęk drobnych odgałęzień zwany drzewkiem końcowym. Poprzez synapsę (złącze akson-dendryt) przekazywane są sygnały elektryczne między neuronami.

4 Model neuronu według McCullocha-PittsaIstotnym elementem tego modelu jest sumowanie sygnałów wejściowych z odpowiednią wagą i poddanie otrzymanej sumy działaniu nieliniowej funkcji aktywacji. W efekcie sygnał wyjściowy neuronu yi jest określony w postaci: gdzie:  xj (j = 1, 2, ..., N) – sygnały wejściowe mające wartość 1 lub 0 (w zależności od tego czy sygnał pojawił się czy też nie),  Wij – odpowiednie współczynniki wagowe, zwane wagami synaptycznymi (przy dodatniej wartości waga przekazuje sygnał pobudzający, przy ujemnej – gaszący) – wyrażają stopień ważności informacji,  f ( ) – funkcja aktywacji, jest to funkcja typu skoku jednostkowego. yi = f ( ),

5 Model neuronu dla sztucznych sieci neuronowychPowyższy model neuronu składa się : z węzła czyli elementu przetwarzającego połączonego z wejściami synaptycznymi i jednym wyjściem. Przepływ sygnałów we wszystkich połączeniach jest jednokierunkowy. Funkcja f (wtx) nazywana jest zwykle funkcją aktywacji, a jej dziedziną jest zbiór łącznych pobudzeń neuronu.

6 Model neuronu dla sztucznych sieci neuronowychSztuczny neuron jest blokiem funkcjonalnym, posiadającym dokładnie jedno wyjście (odpowiednio: akson – wyjście komórki, neuronu biologicznego) i wiele wejść (dendryty neuronu biologicznego). Rolę synaps neuronu biologicznego (specjalnych połączeń w żywych organizmach) w sztucznym neuronie odgrywają wagi połączeń.

7 Model neuronu dla sztucznych sieci neuronowychBlok NET – ważone sumowanie wejść, opisane wzorem: gdzie xj – wejścia neuronu, wij – wagi, N – ilość wejść. Blok OUT, gdzie OUT– jest funkcją wyjściową, charakterystyczną dla sieci lub jej warstwy: yj = OUT(neti ).

8 Typowymi funkcjami aktywacji są:Bipolarna funkcja ciągła: bipolarna funkcja binarna: unipolarną funkcja ciągła:

9 Podstawowe właściwości neuronu :każdy neuron otrzymuje wiele sygnałów wejściowych i wyznacza na ich podstawie swoją “odpowiedź”, tzn. jeden sygnał wyjściowy, z każdym oddzielnym wejściem neuronu związany jest parametr nazywany wagą (ang. weight) – wyraża on stopień ważności informacji docierających tym właśnie wejściem, sygnał wchodzący określonym wejściem jest najpierw przemnażany przez wagę danego wejścia, w związku z czym w dalszych obliczeniach uczestniczy już w formie zmodyfikowanej: wzmocnionej, stłumionej lub nawet przeciwstawnej w stosunku do sygnałów z innych wejść, gdy waga ma wartość ujemną (tzw. wejścia hamujące),

10 Podstawowe właściwości neuronu :po przemnożeniu sygnały wejściowe są w neuronie sumowane, dając pewien pomocniczy sygnał wewnętrzny, nazywany łącznym pobudzeniem neuronu, do tak utworzonej sumy sygnałów dodaje się niekiedy pewien dodatkowy składnik niezależny od sygnałów wejściowych, nazywany progiem, suma tak przetworzonych sygnałów może być bezpośrednio traktowana jako sygnał wyjściowy neuronu, każdy neuron dysponuje pewną wewnętrzną pamięcią (reprezentowaną przez aktualne wartości wag i progu) oraz pewnymi możliwościami przetwarzania sygnałów wejściowych w sygnał wyjściowy.

11 Sieć jednokierunkowa jednowarstwowaKażdy węzeł wejściowy jest połączony z każdym neuronem warstwy wyjściowej. Przepływ sygnałów występuje w jednym kierunku – od wejścia do wyjścia.

12 WIELOWARSTWOWY PERCEPTRONCechą charakterystyczną sieci jednokierunkowej wielowarstwowej jest występowanie co najmniej jednej warstwy ukrytej neuronów. Warstwa ta pośredniczy w przekazywaniu sygnałów między węzłami wejściowymi a warstwą wyjściową.

13 FUNKCJE AKTYWACJI

14 Charakterystyka sieci neuronowejarchitekturę sieci – położenie poszczególnych neuronów i powiązania między nimi; proces wyszukiwania – metoda przesyłania informacji z wejścia na wyjście; metodę uczenia sieci – metoda ta wyznacza początkowy zbiór wag i sposób, w jaki te wagi mają być zmieniane w procesie uczenia. Cała wiedza sieci zgromadzona jest w postaci wag, których wartości dobierane są w procesie uczenia.

15 CECHY sztucznych sieci neuronowych (przejęte z biologicznego pierwowzoru) Zalety sieci neuronowychparalelizm przetwarzania informacji – wynika z niego duża szybkość rozwiązywania pewnych klas problemów, zdolność pracy z informacją niepełną, niepewną bądź sprzeczną, odporność na uszkodzenia – zniszczenie części neuronów lub synaps nie powoduje załamania systemu, lecz jego łagodną degradację, skojarzeniowy mechanizm przetwarzania informacji i co za tym idzie zdolność uogólniania, sieć posiada zdolność uczenia się z przykładów i wyciągania z nich reguł.

16 Rodzaje SIECI NEURONOWESposób połączenia neuronów między sobą i ich wzajemnego współdziałania spowodowały powstanie różnych typów sieci. Każdy typ sieci jest z kolei ściśle powiązany z odpowiednią metoda uczenia (doboru wag). Wyróżniamy w związku z tym sieci neuronowe : jednokierunkowe i ze sprzężeniem zwrotnym, sieci o działaniu rekurencyjnym; jednowarstwowe i wielowarstwowe, sieci neuronowe uczące się z nauczycielem (z nadzorem ) i bez nauczyciela (bez nadzoru).

17 SIEĆ NEURONOWA RBF

18 Probabilistic Neural Networks

19 Sieć neuronowa Kochonena

20 SIEĆ NEURONOWA Hopfielda.

21 REKURENCYJNE SIECI neuronowe HammingaSieć Hamminga jest siecią dwuwarstwową. Każda z dwóch warstw sieci tworzy podsieć o innej architekturze. Pierwsza warstwa (podsieć wejściowa) wyznacza odległość w sensie Hamminga między wzorcem wejściowym a każdą z zapamiętanych klas (wagi wejściowe są metryką Hamminga dla wzorca wejściowego: oceniają one dopasowanie tego wzorca do każdej z klas).

22 Jednowarstwowe klasyfikatory neuronowe.

23 Jednowarstwowe klasyfikatory neuronoweSygnały na wejściu klasyfikatora oznaczamy jako wektory X i będziemy je nazywać wektorami obrazu lub obrazami. Klasyfikator realizuje funkcje decyzyjną przyjmującą wartości 1,2,...,R reprezentującą kategorie, do których należą obrazy wejściowe. Funkcja decyzyjna iy =iy (x), odwzorowuje n-wymiarowy wektor x w jeden z numerów kategorii. Rys.1 ilustruje dwa sposoby tworzenia wektorów obrazu w przypadku klasyfikacji obiektów przestrzennych i czasowych. Dla obiektu będącego funkcja czasu t wektor obrazu może zostać utworzony przez próbkowanie sygnału w dyskretnych chwilach ti i podstawiane xi =f(ti), i=1,2,...,n