1 Wprowadzanie tekstu wzrokiemJacek Matulewski Instytut Fizyki, WFAiIS, UMK ICNT, UMK WWW: Wprowadzanie tekstu wzrokiem prowadzić źródła z wniosku!!!! semestr letni 2017

2 Technologie „tradycyjne”

3 Tradycyjne wprowadzanie tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Klawiatura – obecnie standardowy sposób wprowadzania tekstu, układ klawiszy (każdy wprowadza jedną literę + kombinacje z klawiszami spec.), naturalny „potomek” maszyny do pisania (zob. układ klawiatury QWERTY) Własności: prędkość wprowadzania ograniczona tylko zdolnościami (średnia K 37 wpm, M 44 wpm, rekord 216 wpm – 1946 maszynistka z IBM) dla porównania: pismo ręczne 13 wpm, czytanie 270 wpm, stenopisanie 360 wpm, najszybszy mówca 637 wpm, audiobooki 150 wpm

4 Tradycyjne wprowadzanie tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Klawiatura – obecnie standardowy sposób wprowadzania tekstu, układ klawiszy (każdy wprowadza jedną literę + kombinacje z klawiszami spec.), naturalny „potomek” maszyny do pisania (zob. układ klawiatury QWERTY) Własności: średnia „celność” to 92% (8 błędów na 100 wyrazów) brak optymalizacji: palce robią kilka kilometrów w ciągu dnia (!) siedlisko pierwotniaków, bakterii, zarodników grzybów, drożdży, pyłków i alg

5 Tradycyjne wprowadzanie tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Wirtualna klawiatura (dotykowa) tablety i smartphone’y (inaczej w PS3/4, TV) mniejsza prędkość, więcej błędów Swype – korzystanie ze słownika Klawiatura numeryczna (telefony DTMF, tonowe w. n.) słowa  liczby np JACEK = (bez 1) liczby  słowa: wielokrotne naciskanie klawiszy E.161 T9 (text on 9 keys) – wymaga słownika, bez powtarzania Szybkości: multitap, początkujący – 7.95 wpm ekspert – wpm T9, początkujący – wpm ekspert – wpm

6 Tradycyjne wprowadzanie tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Rozpoznawanie mowy (ang. voice/speech recognition) – przyszły standard Obecnie: mimo sporej reklamy jeszcze nie jest powszechnie używane Transformata Fouriera vs. Uczenie maszynowe Problemy i ograniczenia: nadmiar informacji: emocje, głosy tła, zakłócenia, rozpoznawanie mówiącego zmęczenie głosu (dłuższy tekst), jedna osoba w pomieszczeniu zależność od języków (rozpoznawanie na poziomie słów, a nie fonemów)

7 Tradycyjne wprowadzanie tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Głębiej: analiza języka naturalnego (NLP, ang. natural language processing) fonologiczna  morfologiczna  syntaktyczna  semantyczna  pragmatyczna Dołożenie kontekstu ogranicza słownik i zwiększa trafność rozpoznawania mowy Synteza mowy, automatyczne tłumaczenie

8 Techniki oparte na wykrywaniu miejsca spojrzenia

9 Wprowadzanie tekstu wzrokiemHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Podział technik wprowadzania tekstu z użyciem wzroku: Systemy „tradycyjne” z udziałem odbiorcy (bez eyetrackera, tzw. human eyetracker) Systemy elektroniczne (Majaranta 2009) wirtualna klawiatura (+ słowniki, Swype, itd.) direct gaze pointing przełączniki (np. mrugnięcia) eye switches gesty wykonywane oczami discrete gaze gestures ciągłe wprowadzanie tekstu continuous gaze gestures / gaze writing Dwa problemy: Wybór litery (przestrzeń – ruch oka, czas – zatrzymanie przewijania) Zatwierdzanie litery (dwell-time, mrugnięcie, inny mięsień - przycisk) Używanie myszy komputerowej pozbawionej przycisków. Co może być przyciskiem?

10 Wprowadzanie tekstu wzrokiemHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Oczekiwania: szybkie wprowadzanie tekstu mała podatność na błędy wygoda, intuicyjność, niski próg wejścia Te oczekiwania mogą być wzajemnie sprzeczne np. szybkość = osobne klawisze dla każdej litery mała podatność na błędy = duże klawisze Znaczenie informacji zwrotnej (feedback). Oznaczenie wybranej litery, głośne wypowiedzenie, itp.

11 Techniki oparte na wykrywaniu miejsca spojrzenia(human eyetracker)

12 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. Wybór grupy liter, a potem koloru (kropki) odpowiadającego literze COGAIN,

13 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. J Julita Zawadzka, Szymon Murawski Niech przemówią twoje oczy Fundacja Światło 2015

14 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. J Julita Zawadzka, Szymon Murawski Niech przemówią twoje oczy Fundacja Światło 2015

15 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. JA Julita Zawadzka, Szymon Murawski Niech przemówią twoje oczy Fundacja Światło 2015

16 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. JAC Julita Zawadzka, Szymon Murawski Niech przemówią twoje oczy Fundacja Światło 2015

17 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. JACE Julita Zawadzka, Szymon Murawski Niech przemówią twoje oczy Fundacja Światło 2015

18 Tablice do wprowadzania tekstuHCI: Text entry interface – sposób wprowadzania tekstu do urządzeń elektron. JACEK Julita Zawadzka, Szymon Murawski Niech przemówią twoje oczy Fundacja Światło 2015

19 Techniki oparte na wykrywaniu miejsca spojrzenia (z użyciem eyetrackera)

20 Wirtualna klawiatura Każda litera ma swój klawisz/przycisk Ułożenie liter na klawiaturze Wirtualna klawiatura - bezpośrednie wskazywanie liter wzrokiem z zatwierdzeniem opartym na dwell-time (odpowiednik kliknięcia) Dwell-time: ms (teor. ok. 25 wpm, w praktyce wolniej) Eksperci: ms (rzeczywista > 20 wpm), adaptacja czasu EC Key (1996) za: Majaranta 2009

21 Wprowadzanie tekstu Dla komfortu wpisywania ważny jest feedback, jaki daje system użytkownikowi System firmy Tobii za: Majaranta 2009

22 Wprowadzanie tekstu z sugestiamiPodgląd tekstu Sugerowane słowa Tylko wybrane klawisze Kompromis między liczbą klawiszy i ich rozmiarem (kalibracja, kontrola wzroku) Wypróbować w domu GazeTalk (darmowy, Hansen i in. 2001)

23 Sugerowanie słów A priori możliwe sposoby wyszukiwania w słowniku:początek frazy, dowolny fragment frazy, odległość Levensteina (liczba „atomowych” operacji na łańcuchu), BCM dla par lub trójek liter Sugestie na bazie słownika z wcześniejszych tekstów danego użytkownika (analiza częstości słów) + kontekst Po spacji: sugerowanie całych następnych wyrazów lub grup wyrazów (typowe zwroty + analiza tekstów)

24 Sugerowanie słów Badania: zysk czasu wynikający z wykorzystania sugerowanych wyrazów może być mniejszy niż strata będąca efektem przerzucania uwagi (dodatkowe obciążenie poznawcze) Należy uwzględnić dodatkowe problemy piszących (udar) Sugerowanie liter i wyrazów jest jednak konieczne w sytuacji słabej kontroli mięśni oka (liczba „klawiszy”) Feedback zmniejsza obciążenie i zwiększa szybkość Najlepsza kombinacja: zaznaczenie wizualne + dźwięk klik Lepsze od samego zaznaczania lub odczytywania lub razem

25 pEye Huckauf, Urbina (2008)

26 Przełączniki (eye switches)A B C D E F G H I J K L M .. Mrugnięcie jednym okiem przesuwa, drugim zatwierdza – męczące i długie Ulepszenie: system sam przewija, a mrugnięcie wybiera (presja czasowa) Niezbyt udane próby wykorzystania dużych ruchów oczy jako przełączników A B C D E F G H I J K L M N O P R S T W X Y Z Ułożenie liter w macierz ułatwia orientację Rozwiązanie dość wolne (2-6 wpm) Wymóg: pełna kontrola nad mięśniami powieki

27 Gesty (eye switches) Alfabet wyświetlany w prawym okuPatrzenie na literę nie powoduje jej wybrania (por. efekt Midasa)  Dwustopniowe wybieranie liter Przykład: wybór litery J VisionKey (EyeCan) za: Majaranta 2009

28 Gesty (eye switches) Aktywne obszary (hot spots) – po okresie nauki mogą być ukryte Kolejność „aktywacji” (po 400 ms) wyznacza wprowadzaną literę. Aktywowane obszary są podświetlane (feedback). Kody przypominają pismo ręczne. Eye-S (Porta, Turina, 2008) za: Majaranta 2009

29 Gesty (eye switches) EyeWrite – osobne okno do wpisywania tekstuNie zajmuje ekranu (por. wirtualna klawiatura) Niepotrzebna kalibracja!! (względne położenia wzroku) My: gesty na całym ekranie (niewidoczne obszary) EyeWrite – osobne okno do wpisywania tekstu W ostatnim obszarze pojawia się wpisywana litera. Brak opóźnienia związanego z zatwierdzaniem (bez dwell-time!) Wobbrock, Rubinstein, Sawyer, Duchowski (2007) EyeWrite (Porta, Turina, 2008)

30 Gesty (eye switches) Quickwriting (Perlin, 1998); Bee, Andree (2008)

31 Ciągłe wprowadzanie tekstuDasher – silnie bazuje na sugerowaniu słów Pisanie = nawigacja między możliwymi wersjami tekstu Niepotrzebna kalibracja!! (względne położenia wzroku) Darmowy (link) Film (YouTube) Wypróbować w domu Dasher (Ward, McKay, 2002)

32 Ciągłe wprowadzanie tekstuUkryty dwell-time spowalniający wprowadzanie tekstu Stargazer – zoomowanie liter Wzrok skierowany na literę – litera przesuwa się na środek + zoom in Wybieramy literę, gdy przez nią przelecimy  Następny okrąg Stagazer (Hansen i in. 2008)

33 Szybkość wprowadzania tekstuSystem dwell-time Nowicjusz Ekspert QWERTY (500 ms) tak 10.9 wpm 15.8 wpm pEYEdit 6 wpm StarWrite 5.9 wpm 8.4 wpm Iwrite 7.6 wpm 11.4 wpm Dasher (bez sugerowania) nie 4.7 wpm 7.4 wpm Dasher (pełen) 20-30 wpm Stagazer 3.47 wpm 8.16 wpm Rekord indywidualny należy do użytkownika Dashera (39 wpm)

34 Komunikacja to więcej niż słowa

35 Komunikacja Codzienna komunikacja bazuje na kilkudziesięciu „grach językowych”, w których używa się stałych zwrotów: powitanie jedzenie, picie chcę... boli... Ludzka mowa – wpm

36 Komunikacja PCS (Picture Communication Symbols) Minspeak, Bliss i wiele innych

37 Komunikacja Wirtualne tablice z zatwierdzeniem opartym na dwell-timeLC EyeGaze (Chapman 1991) za: Majaranta 2009

38 Burza mózgów: jak przyspieszyć wprowadzanie tekstu wzrokiem