1 Mobilne Systemy wykrywania obiektów z sygnałów wizyjnych Pracę dyplomową opracował: inż. Michał Szepielak Promotor: dr inż. Krzysztof Różanowski

2 01. Wstęp teoretyczny Przegląd, opis działania i zastosowanie wybranych metod wykrywania obiektów. Podstawy sygnału wizyjnego. 02. Metody i algorytmy wykrywania obiektów Przegląd wybranych metod przetwarzania obrazów cyfrowych. 03. Mobilne systemy Opis wybranych systemów mobilnych używających analizę obrazu z sygnału wizyjnego do wykrywania obiektów. Kroki podjęte podczas przygotowywania pracy dyplomowej. plan działania 04. Praca nad aplikacją Wybór algorytmu pod kątem detekcji i wydajności. Implementacja aplikacji mobilnej.

3 Wstęp Teoretyczny Efekt Dopplera Opisując sposoby wykrywania obiektów nie sposób nie wspomnieć o efekcie Dopplera i jego roli w pomiarach odległości od badanego obiektu. Echolokacja Jest jednym ze sposobów na poznawanie otoczenia, w szczególności bardzo skutecznym przy niedostatecznych warunkach oświetleniowych. Radiolokacja Lokalizacja obiektów na podstawie badania fali odbitej i porównywaniu jej z sygnałem radiolokacyjnym. Termografia Technika termografii wykorzystuje fale podczerwone. Dzięki przetwarzaniu tego rodzaju sygnałów można zbudować mapę termalną otoczenia i lokalizować obiekty o innej temperaturze niż średnia temperatura otoczenia. Przegląd, opis działania i zastosowanie wybranych metod wykrywania obiektów służących jako inspiracje do utworzenia mobilnego systemu wykrywania obiektów. Definicja sygnału wizyjnego. Sygnały wizyjne są nośnikiem informacji o obrazie, a nawet dźwięku w formie fal elektromagnetycznych. Można je opisać jako zapis sekwencji obrazów w czasie. W pracy opisano różne metody przesyłania i kodowania sygnałów wizyjnych, wyjaśniono różnicę pomiędzy sygnałami analogowymi a cyfrowymi, z przeplotem oraz bez przeplotu.

4 Operacje na punktach Klasyfikator cech HAAR Deskryptor cech LBP Wykrywanie krawędzi Metody I algorytmy Przetwarzanie obrazów cyfrowych

5 Mobilne systemy wykrywania obiektów Mobileye dzięki integracji z komputerem pokładowym pojazdu jest w stanie bezpośrednio wpływać́ na pojazd. Jedna z funkcji urządzenia, taka jak ostrzeganie przed kolizja ̨, poza informowaniem sygnałem świetlnym oraz dźwiękowym generowanym przez urządzenie, jest w stanie zahamować́ pojazd aby tej kolizji uniknąć́. Mobileye Jednym z produktów Itseez jest urza ̨ dzenie wspomagaja ̨ ce kierowcę. Z kamery, umieszczonej za przednia ̨ szyba ̨ pojazdu, wykrywane są ̨ znaki drogowe (europejskie i amerykańskie) oraz badana jest pozycja pojazdu względem pasa drogowego. itseez OpenCV (Open Source Computer Vision Library) jest biblioteka ̨ zawieraja ̨ ca ̨ oprogramowanie do analizy obrazu (ang. computer vision) oraz do nauki maszyn (ang. machine learning). Została stworzona w celu dostarczenia wspólnej infrastruktury dla aplikacji korzystających z obróbki obrazu cyfrowego. OPENCV W aparatach cyfrowych, służą ̨ do automatycznego dostosowywania parametrów urządzenia, tak aby ostrość́ była skierowana na twarz osoby fotografowanej. Konstrukcje niektórych aparatów cyfrowych używają specjalnych filtrów do separacji kolorów ze strumienia świetlnego w matrycach światłoczułych. Wykrywanie twarzy

6 założenia aplikacji Urządzenia mobilne posiadaja ̨ pewne ograniczenia, które są ̨ uwarunkowane warunkami w jakich pracują ̨ oraz natury ich przeznaczenia. System wspomagający Zapleczem dla głównego systemu. W tej części systemu realizowane są zadania przygotowujące. Odpowiedzialny jest za trening klasyfikatora oraz zebranie i przygotowanie odpowiednich próbek wykorzystując różnego typu narzędzia

7 Jednym z częściej występujących czynników powodujących wypadki drogowe jest wymuszanie pierwszeństwa na drugim pojeździe. Znak ustąp pierwszeństwa (A- 7) jest odwróconym trójkątem równobocznym z zaokrąglonymi rogami koloru pomarańczowego z czerwonym obrysem. Podstawa tego trójkąta jest równoległa do podłoża, a jego wierzchołek, z którego poprowadzona jest wysokość na podstawę, skierowany jest ku podłożu. charakterystyka Wykrywanego obiektu

8 Przeprowadzenie badań MetodaIIIIIIIVV HAAR24 fps23 fps22 fps20 fps22 fps LBP30 fps 29 fps28 fps29 fps Wykrywanie krawędzi Wyróżniało się szybkim działaniem, ale posiadało duże problemy z identyfikacją znaku ze względu na jego prostą konstrukcję. Wykrywanie na podstawie koloru Hipotetycznie skuteczne dla znaków o niskim poziomie szczegółowości, wrażliwe na różny rodzaj oświetlenia. Badanie wydajności dla algorytmów typu HAAR oraz LBP Test wydajnościowy przeprowadzono na podstawie jednakowych sygnałów wizyjnych wykorzystując dostępne wytrenowane klasyfikatory twarzy dla metod LBP oraz HAAR.

9 interfejs użytkowni ka Obraz nieprzetworzony Bieżący podgląd obrazu, który nie został przetworzony przez algorytmy wykrywania obiektów. Obraz przetworzony Bieżący podgląd obrazu, który został poddany algorytmowi wykrywania obiektów. Wykrywanie obiektów Aplikacja wykryte obiekty oznacza prostokątną ramką. Belka sterowania Wbudowanie sterowanie zmiany aktywnej kamery oraz zatrzymanie lub rozpoczęcie pracy

10 Dziękuję za uwagę