1 Eyetracking (okulografia)Jacek Matulewski Instytut Fizyki, WFAiIS, UMK ICNT, UMK WWW: Bibianna Bałaj Katedra Psychologii, WH, UMK ICNT, UMK Eyetracking (okulografia) WWW: Narząd wzroku Budowa i funkcjonowanie eyetrackera semestr letni 2017

2 Plan wykładu Wprowadzenie do eyetrackingu (BB1)System wzrokowy i ruchy oczu (BB2) Oko okiem fizyka. Budowa i funkcjonowanie eyetrackera (JM1) Demonstracja eyetrackera (Mirametrix) (BB3) Projektowanie eksperymentów okulograficznych (BB4) Platforma do przygotowywania eksperymentów i aplikacji korzystających z eyetrackera. Język GIML (JM2) Interpretacja wyników. Wskaźniki psychologiczne (BB5) Programy do analizy danych: Ogama i BeGaze (BB6) Algorytmy analizy danych okulograficznych i ich implementacja. Tworzenie map fiksacji, map uwagi, map cieplnych, itd. Analiza obrazu. Programy GDE i EVM (JM3) Eyetracker w grach i aplikacjach. Szersza perspektywa: HCI (JM4) Studium przypadku: dyskalkulia (JM5) Studium przypadku: badania pilotów (BB7) Studium przypadku: wprowadzanie tekstu wzrokiem (JM6) Prezentacja projektów zaliczeniowych (JM7) Egzamin

3 Narząd wzroku Zmysły i receptory u człowiekaWzrok fotoreceptorów Węch chemoreceptorów Dotyk (ucisk, ból) mechanoreceptorów Smak chemoreceptorów Słuch mechanoreceptorów Cały organizm jest „oczujnikowany” – np. ból 80% informacji o otoczeniu – wzrok, 10% kory mózgowej Źródło: dr hab. inż. Władysław Artur Woźniak

4 Narząd wzroku Oko człowieka Ptaki drapieżne (orzeł, sokół)200 tysięcy fotokomórek / mm2 (średnio) 90 milionów pręcików (rejestracja jasności) 4,5 miliona czopków (rejestracja barw) Ptaki drapieżne (orzeł, sokół) 1 milion fotokomórek / mm2 Matryca CCD (lub CMOS) 10 Mpx / cm2 = 0.1 Mpx / cm2 Źródło zdjęć: Wikipedia

5 Narząd wzroku Ciekawostka: ile stopni swobody ma ludzkie oko?Źródło: Holmqvist i in. Eye Tracking. A Comprehensive Guide to Methods and Measures

6 Obroty opisywane kwaternionami (korzyści przy składaniu wielu obrotów)Narząd wzroku Sieci neuronowe pnia mózgu (PPRF – ruchy poziome; riMLF – pozostałe dwa) za pomocą mięśni oka może obracać oko w trzech wymiarach (w tym wokół osi oka) Takie ustawienie oka, żeby dołek środkowy siatkówki znajdował się na osi dołek-źrenica-bodziec to problem dwuwymiarowy  nadmiarowy stopień swobody Dodatkowo: składanie obrotów nie jest przemienne Frans Cornelis Donders ( ): mózg zawsze ustawia oko w pozycji bez obrotu (jak B na rysunku) – prawo Dondersa Obroty opisywane kwaternionami (korzyści przy składaniu wielu obrotów) Źródło:

7 Jaki jest cel spełniania przez oko prawa Dondersa?Narząd wzroku Prawo Dondersa - mózg tak dobiera oś obrotu (kilka razy na sekundę), żeby oko kończyło sakadę bez obrotu wokół osi oka (to nie jest dodatkowe skręcenie korygujące) Innymi słowy: dla każdego kierunku spojrzenia ustawienie oka w 3D jest zawsze takie samo (niezależnie od długości i kierunku sakady, która do tego ustawienia doprowadziła) Wniosek: eyetracking 2D jest OK Mechanizm: kontrola mózgu, a nie tylko fizjologia mięśni oka Jaki jest cel spełniania przez oko prawa Dondersa? Źródło:

8 Spontaniczne ruch głowy spełniają prawo Dondersa, ale nie ListingaNarząd wzroku Johann Benedict Listing ( ): najprostszy model oka = idealna kula wypełniona wodą Prawo Listinga: prawo określające kierunek osi obrotu oka tak, żeby spełnione było prawo Dondersa Wszystkie osie obrotów z lub do centralnej pozycji oka leżą na jednej płaszczyźnie (płaszczyzna Listinga) Wszystkie obroty oka z pozycji centralnej mają zerowe skręcenie Z/Do innych pozycji innych – nie! Spontaniczne ruch głowy spełniają prawo Dondersa, ale nie Listinga Źródło:

9 Narząd wzroku Prawo Listinga (L1) dotyczy oka patrzącego na odległe obiekty (bez konwergencji). Rozszerzenie do ruchu obu oczu (L2): przy konwergencji jest skręcenie przy pionowym ruchu oczu (cyclovergence) Prawo Listinga nie jest spełnione podczas snu przy kompensacji ruchów głowy (łatwo sprawdzić przy lustrze) gdy dużym sakadom towarzyszy ruch głowy Źródło:

10 Narząd wzroku Eksperyment: Zbliż głowę do ekranu Zamknij jedno okoPatrz na środkową kropkę przez pół minuty Spójrz na jedną z kropek i zwróć uwagę na kierunek kreski-powidoku względem siatki Powtórz dla wszystkich zewnętrznych kropek Źródło:

11 Narząd wzroku Eksperyment: Zbliż głowę do ekranu Zamknij jedno okoPatrz na środkową kropkę przez pół minuty Spójrz na jedną z kropek i zwróć uwagę na kierunek kreski-powidoku względem siatki Powtórz dla wszystkich zewnętrznych kropek ocena symetrii powidoków Źródło:

12 Narząd wzroku Eksperyment:Jeżeli powidoki wyglądają jak na rysunku, pochyl głowę w dół. To wyznacza jeden kąt nachylenia płaszczyzny Listinga. Podobnie w poziomie. Źródło:

13 Narząd wzroku Eksperyment:Obraz widziany przez oko (siatka nie jest pozioma). Mózg koryguje obraz na podstawie informacji o pozycji oka. Dzięki temu siatka nie jest zakrzywiona. Źródło:

14 Narząd wzroku Źródło: https://www.quora.com/...

15 Narząd wzroku Wybór „drogi”:Pochylenie najkrótszej drogi jest wyznaczone przez kierunek patrzenia (= oś obrotu). W obrocie wokół osi bez pochylenia droga źrenicy jest zwykle dłuższa. Rzeczywisty obrót odbywa się wokół osi, której pochylenie jest równe połowie kąta z pierwszego przypadku (zasada połowy kąta). To nie jest droga w pełni optymalna (ze względu na długość sakady), ale to konsekwencja prawa Listinga. Źródło:

16 Narząd wzroku Źródło zdjęć: Wikipedia

18 Narząd wzroku Źródło zdjęć:

19 Narząd wzroku Zjawisko Purkiniego – przy zmniejszeniu oświetlenia maleje rola czopków na rzecz pręcików Joahannes Purkinje ( ) czeski fizjolog, eksperymentator

20 Narząd wzroku Składowe RGB, alternatywa HSB i wiele innychR = 650 nm, G = 530 nm, B = 450 nm

21 Narząd wzroku Składowe RGB, alternatywa HSBR = 650 nm, G = 530 nm, B = 450 nm Czopki typu X (czerwień) – 64% Czopki typu Y (zieleń) – 32% Czopki typu Z (niebieski) – 4%

22 Narząd wzroku Test Shinobu Ishihary

23 Kolor Inne układy wsp. kolorów: CMY(K), HSB, YPbPr, CIE xyY, CIE LUV, CIE Lab RGB – dobre dla monitorów, TV (emisja światła), odpowiada fizjologii oka CMY(K) = 1 – RGB – drukarki (absorpcja światła)

24 Kolor HSB (HSV, HSL) – hue, saturation, brightness (value, lightness, luminance) Bardziej intuicyjne, używane w interakcji z człowiekiem

25 Rozbłyski Purkiniego twardówka (sclera) rogówka (cornea)P4 - odbicie od wewnętrznej powierzchni soczewki P3 - odbicie od zewnętrznej powierzchni soczewki P2 - odbicie od wewnętrznej powierzchni rogówki soczewka (lens) P1 - odbicie od zewnętrznej powierzchni rogówki (glint) tęczówka (iris) promień wchodzący Źródło zdjęć: https://ppw.kuleuven.be/home/english/research/lep/images/resources/eye1

26 Rozbłyski Purkiniego Źródło zdjęć:

27 Eyetracker – sprzęt Wady i zalety eyetrackerów nagłownych MirametrixSMI SMI Mirametrix EyeLink Kamil Pleskot (inż.) Wady i zalety eyetrackerów nagłownych Źródło zdjęć:

28 Eyetracker – sprzęt DIYoprawka od okularów diody IR układ scalony z matrycą CMOS kabel USB kątownik Źródło zdjęć: Kamil Pleskot (praca inż.)

29 Eyetracker – sprzęt DIYkątownik diody IR układ scalony z matrycą CMOS oprawka od okularów Źródło zdjęć: Kamil Pleskot (praca inż.)

30 Eyetracker – sprzęt DIYMicrosoft LifeCam VX-3000 Interface: USB 2.0 Matryca CMOS – układ wielu elementów światłoczułych (działających podobnie do fotodiody) Rozdzielczość wideo VGA (640×480) zdjęcia 1280×960 FoV – 55° po przekątnej Źródło zdjęć: Kamil Pleskot (praca inż.)

31 Eyetracker - oprogramowanieUstalenie punktu spojrzenia na podstawie lokalizacji źrenicy Bardzo prosty algorytm działający przy założeniu, że głowa pozostaje nieruchoma Źródło zdjęć: Kamil Pleskot (praca inż.)

32 Eyetracker – algorytmy (krok po kroku)Pobierz klatkę obrazu z kamery Konwersja do skali szarości Dopasowanie jasności (rozciąganie histogramu) Binarne odcięcie wartości Wybór fragmentu obrazu z okiem Transformacje morfologiczne Użyty próg: 60 1 Źródło zdjęć: Kamil Pleskot (praca inż.)

33 Eyetracker – algorytmy (krok po kroku)1 Detekcja krawędzi Znajdowanie otoczki wypukłej Dopasowanie elipsy Źródło zdjęć: Kamil Pleskot (praca inż.)

34 Eyetracker – algorytmy (krok po kroku)Błąd ustalenia położenia źrenicy wynikający z przymkniętych powiek (opadające powieki, rzęsy, użycie „zalotki”) Źródło zdjęć: Kamil Pleskot (praca inż.)

35 Eyetracker – algorytmy (krok po kroku)Użycie P1 (glint) do uniezależnienia detekcji punktu spojrzenia od ruchu głowy Źródło: Holmqvist i in. Eye Tracking. A Comprehensive Guide to Methods and Measures

36 Eyetracker – algorytmy (krok po kroku)Problem z okularami przy detekcji P1 Źródło zdjęć: Kamil Pleskot (praca inż.)

37 Eyetracker – algorytmy (krok po kroku)Oświetlenie IR: efekt jasnej źrednicy (bright pupil) Źródło zdjęć:

38 Eyetracker – KalibracjaNa obrazie zebranym z kamery eyetrackera wykrywamy zmieniające się położenie źrenicy Jak to przekłada się na punkt spojrzenia w eyetrackerze nagłownym lub ustawionym przed badanym? Proces kalibracji – proste i skuteczne rozwiązanie (unikamy niepewnej „geometrii” z wieloma niewiadomymi) Najprostsze podejście: przekształcenie liniowe współrzędnych położenia źrenicy do współrzędnych położenia oka (3 punkty) Lepsze podejścia: więcej punktów kalibracji (podział obszaru na mniejsze lub funkcja wielomianowa wyższego stopnia)

39 Eyetracker – KalibracjaŹródło zdjęć: Kamil Pleskot (praca inż.)

40 Eyetracker – KalibracjaŹródło zdjęć: Kamil Pleskot (praca inż.)

41 Eyetracker – KalibracjaŹródło zdjęć: Kamil Pleskot (praca inż.)

42 Eyetracker – KalibracjaŹródło zdjęć: Kamil Pleskot (praca inż.)

43 Eyetracker – WalidacjaŹródło zdjęć: Kamil Pleskot (praca inż.)

44 Eyetracker – WalidacjaAccuracy vs Precision Celność/trafność zmierzone średnie położenie jest bliskie rzeczywistemu punktowi spojrzenia Precyzja/dokładność niewielki rozrzut zmierzonych położeń spojrzenia Źródło zdjęć: Tobi Pro (http://www.tobiipro.com/learn-and-support/learn/eye-tracking-essentials/what-affects-the-accuracy-and-precision-of-an-eye-tracker/)

45 Eyetracker – WalidacjaDobra trafność Słaba trafność Accuracy vs Precision Celność/trafność zmierzone średnie położenie jest bliskie rzeczywistemu punktowi spojrzenia Precyzja/dokładność niewielki rozrzut zmierzonych położeń spojrzenia Źródło zdjęć: Tobi Pro (http://www.tobiipro.com/learn-and-support/learn/eye-tracking-essentials/what-affects-the-accuracy-and-precision-of-an-eye-tracker/)

46 Eyetracker – WalidacjaDobra dokładność Słaba dokładność Accuracy vs Precision Celność/trafność zmierzone średnie położenie jest bliskie rzeczywistemu punktowi spojrzenia Precyzja/dokładność niewielki rozrzut zmierzonych położeń spojrzenia Źródło zdjęć: Tobi Pro (http://www.tobiipro.com/learn-and-support/learn/eye-tracking-essentials/what-affects-the-accuracy-and-precision-of-an-eye-tracker/)

47 Eyetracker i dalsze przetwarzaniesprzężenie zwrotne / kontrola Gra / Eksperyment Eyetracker i oprogramowanie dostarczone przez producenta Obraz z kamery Wykrycie pozycji źrenic(y) Hz Obliczenie punktu spojrzenia Uproszczona analiza zdarzeń Analiza zdarzeń (fiksacje, sakady, mrugnięcia) w czasie rzeczywistym offline Oprogramowanie producenta lub własne (przy ograniczeniach) Monitoring/Diagnoza/Badania

48 Eyetracker i dalsze przetwarzaniesprzężenie zwrotne / kontrola GIML / GCAF Eyetracker i oprogramowanie dostarczone przez producenta Obraz z kamery Wykrycie pozycji źrenic(y) Obliczenie punktu spojrzenia GCAF GIML Gaze Data Explorer (GDE) w czasie rzeczywistym offline IEyetracker Oprogramowanie producenta lub własne (przy ograniczeniach) Monitoring/Diagnoza/Badania

49 Ruchy oczu – zdarzenia - zapowiedźZdarzenie Czas trwania Długość Prędkość Fiksacja (fixation) ms - Sakada (saccade) 30-80 ms 4-20° °/s Glisada (glissade) - dociągnięcie oka do położenia bodźca, korekta po sakadzie 10-40 ms 0.5-2° 20-140°/s Gładkie podążanie (smooth pursuit) 10-30°/s Dryft (drift) – powolne wysunięcie punktu spojrzenia z centrum fiksacji ms 1-60’ 6-25’/s Mikrosakada (microsaccade) – powrót do bodźca, szybkie skorygowanie dryfu 10-30 ms 10-40’ 15-50°/s Tremor – drżenie mięśni oka, pobudzanie nerwów oka (?) < 1’ < 20’/s

50 Ruchy oczu – zdarzenia - zapowiedźfiksacja mikrosakada glisada dryf sakada fiksacja Schemat nie zachowuje skali rzeczywistych wielkości ruchów oka

51 Zespół ICNT – badania ET

52 Zespół ICNT – badania ET

53 Zespół ICNT – badania ET