1 PRACA DYPLOMOWA MAGISTERSKA Kraków 2006Politechnika Krakowska im. Tadeusza Kościuszki Wydział Inżynierii Elektrycznej i Komputerowej PRACA DYPLOMOWA MAGISTERSKA Kraków 2006

2 Rozpoznawanie mówcy z wykorzystaniem GSDMPiotr Mizera Rozpoznawanie mówcy z wykorzystaniem GSDM Promotor: dr inż. Tomasz Gąciarz

3 Wyjaśnienie tematu Proces rozpoznawania mówcy zawiera w sobie procedury identyfikacji oraz weryfikacji, które są dokonywane na podstawie pobranych próbek głosu. Genetyczna rozrzedzona pamięć rozproszona GSDM (ang. Genetic Sparse Distributed Memory) pełni rolę klasyfikatora.

4 M - krotna procedura porównaniaIdentyfikacja Identyfikacja głosów ma na celu ustalenie tożsamości mówcy poprzez przypisanie jego wypowiedzi do mówcy z danego zbioru mówców M - krotna procedura porównania Zapamiętane wzorce mówcy m = 1 Zapamiętane wzorce mówcy m = 2 Wypowiedź nieznanego mówcy ... Zapamiętane wzorce mówcy m = M

5 Weryfikacja Weryfikacja głosów to procedura potwierdzająca lub odrzucająca zgłoszoną tożsamość mówcy na podstawie jego wypowiedzi. Zapamiętane wzorce mówcy m = 1 Zapamiętane wzorce mówcy m = 2 Wypowiedź nieznanego mówcy z żądaniem sprawdzenia, że należy do głosu m* Jednokrotna procedura porównania ze wskazanym m-tym głosem Zapamiętane wzorce mówcy m = m* ... Zapamiętane wzorce mówcy m = M

6 Cel i zakres Celem pracy jest zaproponowanie metodyrozpoznawania mówcy oraz jej praktyczna realizacja w postaci oprogramowania przeznaczonego do rozpoznawania mówcy na podstawie nagranych wypowiedzi. Program ma obejmować poszczególne etapy procesu rozpoznawania mówcy z użyciem pamięci GSDM jako klasyfikatora.

7 Etapy procesu rozpoznawania mówcywstępne przetwarzanie – zapisanie sygnału mowy w postaci cyfrowej oraz przygotowanie próbek głosu (m.in. usunięcie ciszy z początku i końca nagrania), ekstrakcja parametrów osobniczych – wydobycie cech charakteryzujących głos mówcy (budowa wektora cech), klasyfikacja – porównanie wartości ekstrahowanych parametrów z wartościami wzorcowymi znajdującymi się w pamięci.

8 Zawartość pracy Sygnał mowy Przygotowanie próbek głosuEkstrakcja parametrów Rozrzedzona pamięć rozproszona Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”

9 Sygnał mowy 1z2 Mowa ludzka jest jednym z najbardziejefektywnych sposobów przekazywania myśli i odczuć człowieka. Metody wytwarzania mowy Wytwarzanie mowy Artykulacja Odtwarzanie Generacja mowa naturalna mowa rekonstruowana mowa syntezowana

10 Schemat blokowy systemu przetwarzającego sygnał mowySygnał mowy 2z2 Schemat blokowy systemu przetwarzającego sygnał mowy Zmienia ciągły sygnał elektryczny na ciąg zakodowanych wartości cyfrowych Układ przetwarzania wstępnego Przetwarza zmiany ciśnienia akustycznego na sygnał elektryczny Układ wzmacniający Filtry Przetwornik A/C System komputerowy Układ wzmacniający Filtry Przetwornik C/A Przechowuje dźwięk w postaci cyfrowej w plikach muzycznych (np. pliki WAVE) Przetwarza sygnał elektryczny w falę akustyczną Przetwarza dźwięk z postaci cyfrowej na analogową

11 Przygotowanie próbek głosu 1z2Usunięcie ciszy z początku i końca nagrania: algorytm energii sygnału, algorytm częstości zmian sygnału. Preemfaza – zamiana sygnału rzeczywistego na sygnał różnicowy (filtr o skończonej odpowiedzi impulsowej). Funkcja przejścia filtru: y(n) = s(n) - as(n-1) Gdzie: a parametr preemfazy (wartości z zakresu: )

12 Przygotowanie próbek głosu 2z2Ramki sygnału i funkcja okna - próbki sygnału mowy dzielone są na ramki o stałym rozmiarze, ponieważ zakłada się, że sygnał mowy jest stacjonarny w krótkim okresie czasu ok. 10 ms. Funkcja okna tłumi skrajnie położone próbki w wydzielonych ramkach. Funkcja okna Hamminga w(n) = 0.54 – 0.46cos(2n/N) Gdzie: k=1...N-1, N – rozmiar okna Hamminga

13 Ekstrakcja parametrów1z4Ekstrakcja parametrów ma na celu wydobycie z sygnału mowy informacji jednoznacznie charakteryzujących mówcę. Rodzaj wydobywanych parametrów i ich liczba mają decydujące znaczenie w procesie rozpoznawania. Parametry biorące udział w procesie rozpoznawania mówcy: - parametry liniowego kodowania predykcyjnego (metoda LPC) - parametry cepstralne (metody: LPCC, MFCC)

14 Ekstrakcja parametrów2z4LPC (Linear Predictive Coefficients) Metoda autokorelacji: minimalizacja błędu średnio kwadratowego

15 Ekstrakcja parametrów3z4LPCC (Linear Predictive Cepstral Coefficients) Obliczenie współczynników cepstralnych na podstawie parametrów LPC:

16 Ekstrakcja parametrów4z4MFCC (Mel frequency Cepstral Coefficients) moc spektrum mowa Podział sygnału na ramki ramki FFT Skala mel log mel spektrum mel spektrum mel cepstrum IFFT Log

17 Rozrzedzona pamięć rozproszona1z2Operacja zapisu:

18 Rozrzedzona pamięć rozproszona2z2Operacja odczytu:

19 Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”1z5Program “Speaker Recogniotion – Genetic Sparse Distributed Memory” (SR-GSDM) jest aplikacją umożliwiającą identyfikację mówcy lub jego weryfikację na podstawie pobranych próbek głosu.

20 Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”2z51. Przygotowanie plików WAVE (m.in. usunięcie ciszy) 2. Ekstrakcja parametrów – budowa wektora cech 3. Tworzenie zbiorów uczących Uczenie pamięci GSDM

21 Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”3z5 identyfikacja mówcy weryfikacja mówcy 

22 Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”4z5LPC identyfikacja MFCC LPCC

23 Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”5z5weryfikacja

24 KONIEC Dziękuję za uwagę