1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006SVM cz.2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Plan wykładu Przypomnienie i demonstracja Klasyfikacja wieloklasowa Zastosowania w rozpoznawaniu twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006SVM jako klasyfikator Cel: możliwość przyporządkowania elementu do jednej z klas Dwa etapy: nauka klasyfikacja próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006SVM – charakterystyka Rozwiązywanie problemów separowalnych liniowo Zwiększenie liczby wymiarów danych wejściowych Znajdowanie optymalnej hiperpłaszczyzny maksymalizacja marginesu rozdzielającego próbki Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Dodanie wymiarów Funkcja: Konieczna zamiana x(x) Wykorzystywany iloczyn skalarny Iloczyn skalarny = jądro przekształcenia Zbędna znajomość funkcji  Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Jądra przekształceń Liniowe Wielomianowe RBF (radial basis functions) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Hiperpłaszczyzna Optymalna hiperpłaszczyzna: w0 • x + b0 = 0 dla przykładu 2D jest to prosta Optymalna szerokość marginesu: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Wektory wspierające Margines: Optymalna hiperpłaszczyzna: yi – identyfikator klasy i – mnożniki Lagrange’a Problem: znaleźć i Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9 Rezultat optymalizacjiWspółczynniki : niezerowe dla wektorów wspierających równe zeru dla reszty wektorów Próbka treningowa po nauce: wektory wspierające współczynniki  dla każdego wektora liczba wektorów zdecydowanie mniejsza Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Nauka 1 ... n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11 Klasyfikacja SVM Obliczenie y dla dowolnego wektora:xr, xs – wektory wspierające z obydwu klas Wybór klasy i moc przynależności Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Miękki margines Nauka z błędem: Minimalizacja liczby błędów Modyfikacja optymalizowanej funkcji Parametr C: 1/C – tolerancja błędu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13 Bez miękkiego marginesuMaksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Z miękkim marginesem Maksymalizacja funkcji: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Prezentacja... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16 Klasyfikacja wieloklasowaPrzedstawienie problemu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17 Klasyfikacja wieloklasowaPunkt wyjścia – klasyfikacja dwuklasowa Próbka treningowa – N klas Możliwe podejścia: wykorzystanie klasy bazowej porównywanie 1 – N porównywanie 1 – 1 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Metoda klasy bazowej Jedna z klas traktowana jako klasa bazowa Klasyfikacja każdej z klas z wybraną klasą bazową Wygrywa najmocniejsza odpowiedź Klasyfikacja wieloklasowa: N – 1 klasyfikacji dwuklasowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Cechy metody Zalety: duża szybkość skuteczna dla łatwo separowalnych klas niebazowych Wady: słabe możliwości separowania klas niebazowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Porównywanie 1 – N Każda klasa porównywana z resztą Decyduje najsilniejsza odpowiedź Porównanie z metodą klasy bazowej: Bardziej uniwersalne podejście Porównywalna szybkość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykład... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Porównywanie 1 – 1 Każda klasa porównywana z każdą Największa dokładność N(N – 1)/2 klasyfikacji dwuklasowych Niektóre porównania są nadmiarowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Zastosowania SVM Detekcja i weryfikacja Porównywanie wektorów cech Łączenie wyników Inne zastosowania związane z klasyfikacją wektorów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Detekcja twarzy Wykrywanie elips uogólniona Transformata Hougha zbiór kandydatów na twarze Wstępna normalizacja kandydatów Weryfikacja porównywanie obrazu ze średnim zastosowanie klasyfikatora (SVM) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30 Porównywanie wektorówCel: określenie podobieństwa wektorów cech Odległość dwóch wektorów: Euklidesowa Mahalanobisa SVM określa podobieństwo: dwóch wektorów wektora będącego różnicą porównywanych wektorów K11 K21 K12 K22 ... ... K1n K2n Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

31 K11 K12 ... Ta sama klasa K1n SVM K21 Różne klasy K22 ... K2n

32 K11 - K21 Ta sama klasa K12 - K22 SVM ... Różne klasy K1n - K2n

33 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Łączenie metod Wiele metod ekstrakcji cech K1 K1 S1 K2 K2 S2 S ... ... ... Kn Kn Sn Dwa obrazy Wektory cech Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

34 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006SVM i łączenie metod Klasyfikacja wektora podobieństw jądro liniowe jądro wielomianowe długi czas wykonania Wykorzystanie treningu z jądrem liniowym wagi dla poszczególnych elementów obliczanie średniej ważonej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

35 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Inne zastosowania SVM Detekcja kąta obrotu głowy Wyznaczanie kierunku padania światła Określanie pewności rozpoznania klasyfikacja wektora posortowanych podobieństw do elementów bazy Ocena jakości obrazu twarzy zastosowanie przy sekwencjach video Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

36 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Wyniki Znaczna poprawa dla metody opartej o Gabor Wavelets Brak zadowalających rezultatów dla Eigenfaces prawdopodobna przyczyna: niereprezentatywna próbka Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

37 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Ograniczenia SVM Stała, stosunkowo mała liczba klas Zbiór treningowy: potrzebna duża ilość danych próbki muszą być reprezentatywne! Ciężko dobrać optymalne parametry Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

38 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006SVM i sieci neuronowe SVM: bardziej przejrzysty mechanizm większa kontrola niż w przypadku ANN implementuje podstawowe rodzaje ANN przydatny do przetwarzania obrazów ANN: więcej zastosowań możliwa realizacja sprzętowa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

39 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Podsumowanie Klasyfikacja wieloklasowa: kilka możliwości różna złożoność czasowa SVM – bardzo uniwersalny mechanizm Szerokie zastosowanie Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

40 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006