1 Systemy Wspomagania Decyzji

2 Zagadnienia omawiane na kursieSieci neuronowe Algorytmy genetyczne i ewolucyjne Systemy ekspertowe

3 Sieci neuronowe Sieci neuronowe to matematyczne i obliczeniowe modele, których budowa została zainspirowana strukturą i funkcjonowaniem biologicznych sieci neuronowych. Zbudowane są z połączonych grup sztucznych neuronów. W większości przypadków są układami adaptacyjnymi, które potrafią zmieniać swoją strukturę w oparciu o zewnętrzne lub wewnętrzne informacje, które przepływają przez sieć w fazie uczenia. Podstawowym elementem obliczeniowym takiej sieci jest sztuczny neuron.

4 Uproszczony schemat neuronu biologicznego

5 Sztuczny neuron bez funkcji aktywacjix1 x3 x2 w1 w3 w2 Sumator wyjście, y

6 Przykład 0,7 0,5 Sumator 1,2 -0,2 2,89 2,3 1,0 Jest to przykład neuronu liniowego. Można pominąć funkcję aktywacji.

7 Ogólny neuron nieliniowydowolna nieliniowa funkcja aktywacji x1 x3 x2 w1 w3 w2 Sumator Funkcja aktywacji wyjście

8 Zauważmy, że w przypadku gdy funkcja aktywacji ma postaćto neuron nieliniowy staje się liniowym, gdyż

9 Neuron z funkcją progową1 -1 (Inna nazwa to funkcja Heaviside’a)

10 Przykłady funkcji aktywacjiFunkcja bipolarna Funkcja unipolarna

11 sigma (s) w greckim alfabecie).Funkcja sigmoidalna (kształtem przypomina literę s, co odpowiada literze sigma (s) w greckim alfabecie). Wykres dla b=1.

12 S Poniżej jest przedstawiony schemat perceptronu wejście wyjście x0=1-1 xn wn

13 Oznaczenia Wektory Dla wektorów zdefiniowane są dwie pierwotne operacje: dodawanie wektorów Oraz mnożenie wektora przez skalar (liczbę – na ogoł R lub C): gdzie v, u to wektory, a  to skalar. Ważne jest, że operacje te spełniają Szereg praw (przemienność, łączność, rozdzielność itd.)

14 Oznaczenia Wektory: Dodawanie wektorów (wierszowych) i mnożenie przez skalar (liczbę): Czasami wektor wierszowy zapisujemy uzywając nawiasów kwadratowych: Iloczyn skalarny:

15 Funkcja aktywacji perceptronuRysunkowy schemat perceptronu sugeruje następującą funkcję aktywacji W literaturze spotyka się także (może nawet częściej) inną definicję W gruncie rzeczy nie ma tu zasadniczej różnicy, gdyż perceptron służy do klasyfikacji: czy sygnał wejściowy (reprezentowany przez punkt lub wektor) należy do jednej klasy czy do drugiej.

16 Cześć liniowa perceptronu (sumator, S)Dla danych wag perceptronu w1, …, wn oraz progu -b, gdy impulsy wejściowe są równe x1, …, xn, to pobudzenie neuronu jest równe Używając symbolu iloczynu skalarnego możemy to zapisać też tak gdzie

17 Istota działania perceptronuFunkcja aktywacji rozróżnia dwa przypadki: (i) s > 0, (ii) s ≤ 0, zatem to co jest kluczowe w działaniu perceptronu sprowadza się do klasyfikacji punktów (wektorów) x=(x1,…,xn) wg poniższych nierówności: Oznacza to, że punkty x spełniające nierówność (i) będą klasyfikowane do jednej kategorii a punkty spełniające nierówność (ii) do drugiej.

18 Algorytm uczenia perceptronuUczenie sieci polega na dobieraniu wag tak, aby dla zadanych impulsów wejściowych otrzymywać oczekiwane wartości wyjściowe z neuronów. Za chwilę zajmiemy się prostym przypadkiem (mamy tylko jeden neuron) poszukiwania wag wi oraz progu b dla perceptronu. Mamy dany ciąg uczący, który składa się z dowolnej skończonej liczby wektorów oraz dodatkowych informacji mówiących do której z dwóch klas te wektory należą. Tę dodatkową informację będziemy reprezentować symbolem d (d=+1 (pierwsza klasa) lub d=-1 (druga klasa)). Przy numeracji kolejnych wektorów uczących użyjemy indeksów górnych, np. x(2), aby odróżniać się od numerowania składowych wektora (indeksy dolne). Mamy więc ciąg uczący Liczba elementów ciągu uczącego (długość ciągu) oznaczamy przez T: T=liczba par uczących w epoce

19 Algorytm uczenia perceptronuLosujemy wagi początkowe w1, …,wn oraz próg b. Dla t=1 do t=T wykonujemy 3., 4., 5. Na wejście podajemy kolejny wektor uczące x=x(t) i obliczamy y=f(s(x)). Porównujemy wartość wyjściową y z oczekiwaną wartością d=dt z ciągu uczącego. Dokonujemy modyfikacji wag: 5.1 Jeżeli y≠d, to w := w + d·x, b=b+d. 5.2 Jeżeli y=d, to wagi pozostają bez zmian. 6. Jeżeli w 4. była choć jedna modyfikacja, to wracamy do 2. 7. Koniec. Uwagi: 1) Zauważmy, że w p. 5.1) operacja w:=w+d·x oznacza tak naprawdę w:=w+x, b=b+1 lub w:=w-x, b=b-1. 2) Tak naprawdę to nie musimy obliczać wartości y=f(s) w p. 2. Wystarczy sprawdzać warunek: s=w○x+b > 0.

20 Podaj wektor x(t) na wejście neuronu i pobierz d(t)Start Losowy dobór wag t=1 Podaj wektor x(t) na wejście neuronu i pobierz d(t) Oblicz wyjście y z neuronu y(t)=d(t) ? Wagi bez zmian: w(t+1) = w(t) Modyfikacja wag: w(t+1) ← w(t)+d(t)x(t) t=t+1 t > T Czy była jakaś modyfikacja wag? Stop

21 Przykładowy plik z danymi, n=2perceptron-input.txt 3 2 1 2 2 0 6 4 -2 8 -2 0 0 0 4 -20 Wynik uczenia perceptronu:

22 Uwagi do implementacjiZbiór danych (samples) do uczenia neuronu ma liczność T=numOfSamples. Zbiór tych wektorów, czyli ciąg jest przechowywany w tablicy dwuwymiarowej double test[LIMIT][N], gdzie N=n (czyli liczba wejść perceptronu). Należy więc sprawdzać warunek Wektory uczące są przechowywane wierszami: i-ty wiersz w tablicy test to i-ty wektor uczący: Pierwszy wektor 2 3 … -1 5 -2 7

23 Wczytywanie danych (uproszczona funkcja, n=NUM=2)void get_data() { char* fileName = "perceptron-input.txt"; FILE *fp; int i, posnum, negnum; double x, y; if ((fp = fopen(fileName,"r")) == NULL) { printf ("Could not open file. Quitting ..."); exit(1);} /* Total number of learning vectors */ numOfSamples = 0; /* read first group */ fscanf(fp, "%d", &posnum); for (i = 0; i < posnum; i++) { fscanf(fp, "%lf %lf", &x, &y); test[numOfSamples][0] = x; test[numOfSamples][1] = y; d[numOfSamples++] = 1; /* 1 for one group */ } /* read second group */ fscanf(fp, "%d", &negnum); for (i = 0; i < negnum; i++) { d[numOfSamples++] = -1; /* -1 for second group */

24 Przykład klasyfikacji perceptronowej