1 Ulepszenia metody EigenfacesRozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Plan wykładu Eigenfaces – główne wady Wykorzystanie topografii twarzy Linear Discriminant Analysis Fisherfaces Bayesian Matching Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3 Główne wady EigenfacesBrak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi „Większość różnic pomiędzy obrazami twarzy jest spowodowana zmiennymi warunkami oświetleniowymi” (Y.Moses, 1994) różnice mimiki Twarz traktowana jako wektor utrata informacji 2D Podejście holistyczne twarz jako niepodzielna całość Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Topografia twarzy Cechy intra- i ekstra-personalne oczy i nos usta i policzki Charakter cech, a ich lokalizacja Maska – modyfikacja ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Maska „T” Sztuczna maska na nos i oczy Wartości 0 i 1 Poprawa wyników: FeretA: 813 -> 834 (3,6%) wyniki dla „czystego” EF Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Maska różnicowa Zbiory par obrazów: intra-personalne extra-personalne Uśrednienie różnic obydwu klas par: średnia różnica intra-personalna średnia różnica extra-personalna Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Maska dynamiczna Tworzona osobno dla każdego obrazu Wykorzystanie projekcji wstecznej: projekcja pojedynczych pikseli wartość maski odwrotnie proporcjonalna do błędu projekcji Zmniejszenie wpływu obszarów zasłoniętych Można stosować dla grup pikseli Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przykłady... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9 Wagi wektorów własnychNie zawsze związana z lokalizacją np. oświetlenie „Rzut oka” na twarze własne niosą różne rodzaje informacji (kierunki) Wektor własny, element wektora cech, funkcja porównująca Modyfikacja: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10 Problem rozpoznawaniaDefinicja problemu rozpoznawania: C klas i C wektorów bazowych NC wektorów w każdej klasie klasyfikacja wszystkich wektorów Punkt wyjścia – porównanie dwóch wektorów cech Klasa własna i obca Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Błąd rozpoznania 1 Błąd pojedynczego porównania: uij – rozpoznawany wektor ui1 – wektor bazowy klasy własnej uk1 – wektor bazowy klasy obcej S – funkcja porównująca (norma L2) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Błąd rozpoznania 2 Błąd rozpoznania pojedynczego wektora: Błąd dla całej próbki: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Funkcja błędu Błąd jest funkcją maski i wag funkcja wymierna Minimalizacja funkcji znalezienie optymalnej maski i wag Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Problem dostosowania Silne dostosowanie do próbki znaczne polepszenie dla zbioru treningowego pogorszenie dla reszty Rozwiązanie: optymalizacja częściowa Dostosowanie do osób, nie obrazów możliwe usprawnienie klasyfikacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Lokalne PCA Detekcja cech charakterystycznych oczy, usta, nos Rozpoznawanie po cechach fragment obrazu twarzy różnica w normalizacji łączenie kilku lokalnych PCA (eigeneyes, eigennoses, itp.) Przestrzenie posiadają mniej wymiarów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Lokalne PCA K1 K2 K3 K4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17 Tworzenie przestrzeniPCA wyznacza główne kierunki różnic Brak wykorzystania informacji o przynależności do klasy Rozwiązanie problemu: Linear Discriminant Analysis (LDA) Fisherfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18 PCA – przykład działaniaRozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19 PCA – przykład działaniaRozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20 Przykład nie działaniaRozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Tak by było lepiej... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Jak działa LDA? PCA: próbka treningowa  macierz kowariancji LDA: sklasyfikowana próbka treningowa  dwie macierze kowariancji wewnątrz-klasowa między-klasowa Znalezienie bazy ortogonalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Macierze kowariancji Międzyklasowa CB – międzyklasowa macierz kowariancji c – liczba klas Ni – liczba elementów i-tej klasy  – obraz średni i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Macierze kowariancji Wewnątrzklasowa CW – wewnątrzklasowa macierz kowariancji c – liczba klas Xi – zbiór obrazów i-tej klasy xk – k-ty obraz należący do i-tej klasy i – obraz średni i-tej klasy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Jak to policzyć? PCA:  - macierz złożona z wektorów własnych LDA: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Fisherfaces LDA – skomplikowane obliczenia na dużych macierzach Fisherfaces: PCA do redukcji wymiarów LDA do znalezienia optymalnej bazy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27 Ekstrakcja cech FisherfacesPoliczyć wektor cech za pomocą PCA na wejściu znormalizowany obraz redukcja liczby wymiarów Policzyć wektor cech za pomocą LDA na wejściu wektor cech PCA rotacja wektora cech zachowanie liczby wymiarów wektora cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Bayesian Matching Podobieństwo wektorów oparte o prawdopodobieństwo przynależności ich różnicy I – zbiór par intrapersonalnych E – zbiór par ekstrapersonalnych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Prawdopodobieństwo P(|) - prawdopodobieństwo pojawienia się różnicy w określonej przestrzeni różnic jest funkcją błędu projekcji PCA – () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30 Projekcja wsteczna (przypomnienie)Wektor cech -> obraz twarzy Różnica między obrazem wejściowym a odtworzonym (błąd projekcji) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

31 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Przestrzenie różnic Dwie klasy par obrazów intra- i ekstra-personalne Obrazy będące różnicami między obrazami dwie klasy różnic Stworzenie baz ortogonalnych przestrzeni różnic za pomocą PCA Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

32

33 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Kwintesencja BM Rozpoznawana różnica dwóch obrazów Dual Eigenfaces Odległość różnicy od dwóch przestrzeni Metoda dość wolna różnica obrazów dla każdego porównania można zastosować inną metodę do wstępnej selekcji (wybrania n najlepszych) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

34 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Inne metody Local Feature Analysis 2D PCA, 2D LDA Independent Component Analysis Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

35 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Podsumowanie Istnieje wiele metod bazujących na Eigenfaces Ulepszanie: topologia twarzy koncentrowanie się na szczegółach klasyfikacja różnic Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

36 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006Dziękuję za uwagę! Za tydzień – metoda EBGM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006