1 Eyetracking w kontekście diagnozy i terapii dyskalkuliiJacek Matulewski Instytut Fizyki, WFAiIS, UMK ICNT, UMK WWW: Magda Kmiecik studentka kognitywistyki, WH, UMK ICNT, UMK Eyetracking w kontekście diagnozy i terapii dyskalkulii semestr letni 2017

2 Dyskalkulia rozwojowa

3 Relacja numeryczno-przestrzennaLiczby są zwykle prezentowane w przestrzeni. W jednym wymiarze otrzymujemy w ten sposób oś liczbową (rysunek). W ten sposób można przedstawić dowolne wielkości (także w wielu wymiarach). Oś liczbowa manifestuje porządek. Porządek to fundamentalne pojęcie arytmetyki (jako dziedziny matematyki). Zdolność porządkowania jest również niezbędna do rozwinięcia umiejętności: liczenia, porównywania wartości i prostych operacji matematycznych (np. +, -). Są dowody, że pojęcie osi liczbowej (relacji numeryczno-przestrzennej, SNA) ma „silną” reprezentację w umyśle: mentalna oś liczbowa (MNL) - Dehaene O jakiej przestrzeni mowa w SNA? Other disorders: delayed speach developement, ADHD, dislexia Brigthness, size, longiness, pitch of sound Wiele badań pokazuje związek między liczbami a przetstrzenią (efekt dystansu, efect SNARC, efekt kolejności (pierwsze – lewy), efekt wielkości (szybciej na małe niż na duże)) – wspólne mózgowe podłoże – płaty ciemieniowe -> SNARC rozwinąć Dobrym przykładem jest SNARC – mentalna oś liczbowa Dyskalkulia – deficyt – brak osi liczbowej ->

4 SNARC Przejaw obecności mentalnej osi liczbowej: efekt SNARC (ang. Spatial-Numerical Association of Response Codes): ludzie szybciej reagują na mniejsze liczby lewą dłonią/nogą, a na większe – prawą dłonią/nogą (także po ich skrzyżowaniu). Ten związek jest wyćwiczony, zależny od kultury, dotyczy głównie liczb z zakresu 1-9. Inne manifestacje MNL: efekt dystansu, efekt wielkości Other disorders: delayed speach developement, ADHD, dislexia Brigthness, size, longiness, pitch of sound Wiele badań pokazuje związek między liczbami a przetstrzenią (efekt dystansu, efect SNARC, efekt kolejności (pierwsze – lewy), efekt wielkości (szybciej na małe niż na duże)) – wspólne mózgowe podłoże – płaty ciemieniowe -> SNARC rozwinąć Dobrym przykładem jest SNARC – mentalna oś liczbowa Dyskalkulia – deficyt – brak osi liczbowej ->

5 Dyskalkulia U niektórych dzieci nie dochodzi do wytworzenia mentalnej osi liczbowej. To prowadzi do dyskalkulii tj. zaburzenia nabywania podstawowych umiejętności matematycznych nie wynikające z obniżonej inteligencji Nieprawidłowość w strukturze mózgu u młodych dyskalkulików (Butterworth et. al, 2011) Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC) Uszkodzenia płatów ciemieniowych (np. w wypadkach) prowadzą do akalkulii.

6 Dyskalkulia Dyskalkulię można rozumieć jako nieprawidłowe wykształcenie poczucia liczby (ang. number sense), czyli intuicyjnego rozumienia liczb, ich wartości, związków między nimi i związku z ilością obiektów oraz operacji na liczbach. Zwykle wyróżnia się dwa rodzaje poczucia liczby: szacowanie (ang. aproximate number sense, ANS) na podstawie percepcji i kontekstu wartości konkretne (ang. exact number sense, ENS) automatyczne zliczanie i automatyczne obliczenia W pewnym zakresie (z wyłączeniem zliczania) poczucie liczby mają także zwierzęta. Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC)

7 Dyskalkulia Definicja: Dyskalkulia rozwojowa to zaburzenie dziedziczne powodujące trudności w nabywaniu umiejętności arytmetycznych. Przyczyna (hipoteza): Osoby z dyskalkulią nie rozwinęły typowej reprezentacji mentalnej osi liczbowej (Butterworth 2005, Dehaene 1997) Występowanie: % (pokazane w wielu eksperymentach) u 30% z nich – dyskalkulia czysta, reszta – współwystępująca Diagnoza: inteligencja (w normie lub powyżej), porządkowanie (nie tylko liczb), „poczucie liczby” (number sense, ENS i ANS), proste operacje arytmetyczne (abstrakcyjne i na konkretach) Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC)

8 Dyskalkulia Problem: Ostateczna diagnoza dyskalkulii może być ustalona dopiero u nastolatków, gdy jest praktycznie za późno ma jakąkolwiek skuteczną terapię. Wcześniej można orzekać „ryzyko dyskalkulii”. Wówczas można rozpocząć terapię w pierwszych klasach podstawówki. W Polsce (ale nie tylko) nie ma programu przesiewowej diagnozy dyskalkulii. Nasze cele: stworzyć komputerowy test przesiewowy ryzyka dyskalkulii (TPRD), darmowy, ale z ograniczonym dostępem stworzyć krótki i intensywny trening poznawczy mentalnej osi liczbowej dla dzieci w wieku od 6 do 9 lat (Kalkulilo) Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC)

9 Test Przesiewowy Ryzyka DyskalkuliiTest składa się z 7 zadań (kilkaset prób ) – klawiatura i mysz Zajmuje około 45 min. Różne formaty bodźców: cyfry, uporządkowane i losowo ułożone kropki. Program może łączyć się z okulografem firmy SMI Śledzenie ścieżek spojrzenia, np. podczas liczenia kropek, może być ważną informacją diagnostyczną (pozwala ustalić np. strategie liczenia) Test jest długi i nudny (jeszcze przed normalizacją) - grywalizacja Other disorders: delayed speach developement, ADHD, dislexia Zmienne: formaty, strona po której większa, distance effect + proporcje in numerocity ***************** Rozdzielić zadania !******

10 Ruchy oczu i oś liczbowa

11 3 Zaznacz liczbę na osi... 1 9 dzieci rozwijające się prawidłowo (TD)Strategia: counting-up (wynika z rozumienia uporządkowania liczb) Źródło: Viersen i in. The added value of eye-tracking in diagnostic discalculia: a case study Frontiers in Psychology 4 (2013)

12 8 Zaznacz liczbę na osi... 1 9 dzieci rozwijające się prawidłowo (TD)Strategia: counting-down (wynika z rozumienia uporządkowania liczb) Źródło: Viersen i in. The added value of eye-tracking in diagnostic discalculia: a case study Frontiers in Psychology 4 (2013)

13 6 Zaznacz liczbę na osi... 1 9 dzieci rozwijające się prawidłowo (TD)Strategia: midpoint (wynika z rozumienia uporządkowania liczb + life hacks) Źródło: Viersen i in. The added value of eye-tracking in diagnostic discalculia: a case study Frontiers in Psychology 4 (2013)

14 6 Zaznacz liczbę na osi... 1 9 dzieci z dyskalkulią (DD)Chaotyczne ruchy oczu, nie korzystają z punktów referencyjnych (brak uporządkowania – brak MNL) Źródło: Viersen i in. The added value of eye-tracking in diagnostic discalculia: a case study Frontiers in Psychology 4 (2013)

15 Zaznacz liczbę na osi... dzieci rozwijające się prawidłowo (TD)1 klasa 2 klasa 3 klasa Dystrybucja fiksacji na osi liczbowej „Rozmycie” nie oznacza, że dzieci stają się dyskalkuliczne Źródło: Viersen i in. The added value of eye-tracking in diagnostic discalculia: a case study Frontiers in Psychology 4 (2013)

16 Trafność (oś 0 – 1000) dzieci rozwijające się prawidłowo (TD)Dokładność: podane liczby vs. wskazane liczby Źródło: Booth i Siegler Numerical Magnitude Representations Influence Arithmetic Learning Child Development 79 (2008)

17 Trafność (oś 0 – 1000) grupa kontrolna (TD) dziecko z dyskalkulią (DD)Dokładność: podane liczby vs. wskazane liczby 9-latki Źródło: Viersen i in. The added value of eye-tracking in diagnostic discalculia: a case study Frontiers in Psychology 4 (2013)

18 dzieci rozwijające się prawidłowo (TD)Trafność (oś 0 – 1000) dzieci rozwijające się prawidłowo (TD) Źródło: Ebersbach i in. The relationship between the shape of the mental number line... J. of Exp. Child Psychology 99 (2008)

19 dzieci rozwijające się prawidłowo (TD)Trafność (oś 0 – 1000) dzieci rozwijające się prawidłowo (TD) Źródło: Ebersbach i in. The relationship between the shape of the mental number line... J. of Exp. Child Psychology 99 (2008)

20 Ocena strategii z danych okulogr.grupa kontrolna (TD) / dzieci z trudnościami mat. (MLD) dzieci z MLD nieco częściej stosują niewydajne strategie Źródło: vant Noordende i in. Number line estimation strategies in children with MLD measured by eye tracking Psych. Res. 80 (2016)

21 Ruchy oczu i SNA

22 Eyetracker – MNL, SNARC, OMstudenci (TD) Zadanie: sygnalizować pojawienie się 5 (20%) przez naciśnięcie przycisku (gwarantuje stałą uwagę) Badany słucha odczytywanych liczb nieparzystych: 1, 3, 5, 7, 9 Na ekranie znajdował się jedynie punkt fiksacji (czarna kropka) Źródło: Myachykov i in. Ocular drift along the mental number line Psychological Research 80 (2016)

23 Eyetracker – MNL, SNARC, OMdźwięk Automatyczny ruch oka w kierunku zgodnym z wartością liczby (por. SNARC) Źródło: Myachykov i in. Ocular drift along the mental number line Psych. Res. 80 (2016)

24 Eyetracker – MNL, SNARC, OM9 Podaj dowolne liczby z przedziału 1-30: 1, 24, 17, 6, 20... sakady Kierunek i długość sakad poprzedzające wypowiedzenie liczb pozwalały przewidzieć ich wartości

25 Eyetracker – MNL, SNARC, OMstudenci (TD) Liczenie do przodu i wstecz Źródło: Hartmann i in. Counting is a spatial process: evidence from eye movements Psychological Research 80 (2016)

26 Eyetracker – MNL, SNARC, OMstudenci (TD) Liczenie do przodu i wstecz Oko przesuwa się w prawo i do góry Źródło: Hartmann i in. Counting is a spatial process: evidence from eye movements Psychological Research 80 (2016)

27 Eyetracker – MNL, SNARC, OMGallus gallus domesticus (3 dniowe) Trening Źródło: Ruganii in. Number-space mapping in the newborn chick resembles humans’ mental number line Science 30 (2015)

28 Eyetracker – MNL, SNARC, OMGallus gallus domesticus (3 dniowe) Test Źródło: Ruganii in. Number-space mapping in the newborn chick resembles humans’ mental number line Science 30 (2015)

29 Eyetracker – MNL, SNARC, OMGallus gallus domesticus (3 dniowe) Test Źródło: Ruganii in. Number-space mapping in the newborn chick resembles humans’ mental number line Science 30 (2015)

30 Eyetracker – MNL, SNARC, OMGallus gallus domesticus (3 dniowe) Wyniki dla ENS (subitizing): Trening dla liczby 5 Test: lewa strona dla liczby 2: % vs 29.33% prawa strona dla liczby 8: 71% vs 29% Wyniki dla ANS: Trening dla liczby 20 Test: lewa strona dla liczby 8: % vs 30% prawa strona dla liczby 32: 77.5% vs 22.5% Źródło: Ruganii in. Number-space mapping in the newborn chick resembles humans’ mental number line Science 30 (2015)

31 Eyetracker – MNL, SNARC, OMKluger Hans Koń odpowiadał poprawnie, o ile treser znał odpowiedź Źródło: Wikipedia

32 Eyetracker – MNL, SNARC, OMstudenci (TD) Operacje arytmetyczne na liczbach (kropki) Podajemy wynik przeszacowany przy dodawaniu i niedoszacowany przy odejmowaniu Operational Momentum Źródło: MCrink, Dehaene in. Moving along the number line.... Perception & Psychophysics 69 (2007)

33 Eyetracker – MNL, SNARC, OM19-45 latki (TD) Operacje arytmetyczne na liczbach w pamięci przed pustym ekranem Wynik operacji arytm. wypowiadany na głos W danych okulograficznych brak dowodu na OM Źródło: MCrink, Dehaene in. Moving along the number line.... Perception & Psychophysics 69 (2007)

34 Ruchy oczu i ENS/ANS

35 Subitizing (ENS) niemowlęta 9-msc (N = 25)Źródło: Ceulemans i in. To be or not to be: an infotmative non-symbolic... J. of Spetial Education and Rehabilitation 15 (2014)

36 Subitizing (ENS) niemowlęta 9-msc (N = 25)Źródło: Ceulemans i in. To be or not to be: an infotmative non-symbolic... J. of Spetial Education and Rehabilitation 15 (2014)

37 Subitizing (ENS) niemowlęta 9-msc (N = 25) 1 vs 4Źródło: Ceulemans i in. To be or not to be: an infotmative non-symbolic... J. of Spetial Education and Rehabilitation 15 (2014)

38 Subitizing (ENS) niemowlęta 9-msc (N = 25) 4 vs 8Źródło: Ceulemans i in. To be or not to be: an infotmative non-symbolic... J. of Spetial Education and Rehabilitation 15 (2014)

39 dziesięciolatki z gr. kontrolnej (TD) / z dyskalkulią (DD)Subitizing (ENS) dziesięciolatki z gr. kontrolnej (TD) / z dyskalkulią (DD) Źródło: Moeller i in. Basic number processing deficits in DD Cognitive Development 24 (2009)

40 Gallus gallus domesticusWiększe liczby (ANS) Gallus gallus domesticus

41 Ruchy oczu i czytanie liczb

42 Interpretacja liczb wielocyfrowychdzieci rozwijające się prawidłowo (TD) 372 Strategia: całościowa (holistic) Źródło: Moeller i in. Sequential or parallel decomposed processing of ... Q. J. Exp. Psychology 62 (2009)

43 Interpretacja liczb wielocyfrowychdzieci rozwijające się prawidłowo (TD) 372 Strategia: decomposed parallel Źródło: Moeller i in. Sequential or parallel decomposed processing of ... Q. J. Exp. Psychology 62 (2009)

44 Interpretacja liczb wielocyfrowychdzieci rozwijające się prawidłowo (TD) 372 Strategia: decomposed sequential Źródło: Moeller i in. Sequential or parallel decomposed processing of ... Q. J. Exp. Psychology 62 (2009)

45 Eyetracking i treningi poznawcze dyskalkulii

46 Nie ma takich treningów!

47 Lektura Eyetracking + dyskalkulia – artykuł przeglądowy:J. Mock, S. Huber, E. Klein, K. Moeller Insight into numerical cognition: considering eye-fixations in number processing and arithmetic Psychological Research (2016) 80: DOI: /s

48 Do zapamiętania Eyetracking pozwala na wgląd w procesy poznawcze badanego (przedmiot uwagi i głębokość przetwarzania) także w przypadku arytmetyki Efekty (widoczne w eksperymentach) pozwalające na skonstruowanie testów diagnostycznych dyskalkulii rozwojowej, w których wykorzystywany jest eyetracker Nie ma treningów bazujących na wykorzystaniu eyetrackera

49 Bonus: motoryka i zdolności matematyczne

50 Motoryka i zdolności matematyczneTramontana i in (1988) : Dzieci z dobrze rozwiniętymi zdolnościami motorycznymi oddziałują z przedmiotami w bardziej skuteczny sposób. Wydają się rozumieć relacje przestrzenne, takie jak symetria i szeregowanie lepiej niż dzieci z gorzej wykształconymi tymi umiejętnościami. Dysponują lepszą reprezentacją mentalną. ruch świadomość przestrzeni arytmetyka i geometria Reikeras i in (2015): Zdolności motoryczne są dobrym prognostykiem rozwoju w innych dziedzinach (w tym w matematyce) To odnosi się do dzieci przedszkolnych i wczesnoszkolnych Embodied cognition, embodied numerocity

51 Motoryka i zdolności matematycznenorweskie przedszkolaki (TD) Wyróżnienie trzech grup o różnych zdolnościach motorycznych (N = 1093). Każda z grup – 10%·N Zbadanie zdolności matematycznych w grupach Grupa słaba (N = 124) Grupa średnia (N = 174) Grupa mocna (N = 152) EYMSC 46.78 (34-50) 57.53 (57-58) 65.78 (64-69) MIO 23.58 30.36 36.84 język mat. 4.47 5.57 6.32 rozumowanie 3.71 5.09 6.21 kształty i prz. 4.96 5.90 6.72 Liczenie 3.06 4.11 5.66 Źródło: Reikeras i in. Mathematical skills and motor life skills in toddlers... European Early Childhood Education Research Journal July 2015

52 Motoryka i poczucie liczbyWpływ liczb na postrzeganie przestrzeni: np. SNARC Wpływ poruszania ciałem na aktywacje reprezentacji liczb Pozycja ręki (lewa-prawa) wpływa na „losowanie” liczb Ściągnięcie wzroku w lewo zmniejsza „losowane” liczby i wiele innych...

53 Motoryka i poczucie liczbystudenci (TD) Wpływ poruszania całego ciała (spacerowanie przy ścianie) na „przesunięcie” losowanych liczb (od 1 do 9) Badany sam wybieram moment zawrócenia Źródło: Shaki i Fischer. Random walks on the mental number line Exp Brain Res 232 (2014)

54 Motoryka i poczucie liczbystudenci (TD) Wysłuchaj liczby od 1 do i zrób zwrot w lewo lub w prawo Źródło: Shaki i Fischer. Random walks on the mental number line Exp Brain Res 232 (2014)

55 Trening poczucia liczby via motorykadzieci, druga klasa (TD) Trening: wykonywanie zadanej liczby równych kroków (do pokazanej linii). Dane zebrane Kinectem (Microsoft) Kontrola: narysowanie zadanej liczby linii na tablecie 6 tygodni w szkole w sesjach po 20 minut Zadania z osią – Źródło: Dackerman i in Training the equidistant principle of number ... Cogn Process 16 (2016)

56 Trening poczucia liczby via motorykadzieci, druga klasa (TD) zasadniczy eksperyment to samo zadanie, ale bez ruchu ciała inne zadanie, podobny ruch ciała Źródło: Fischer i in Full-body Movement in Numerical Trainings... International Journal of Serious Games 2 (2015)

57 Trening poczucia liczby via motorykadzieci, druga klasa (TD) Źródło: Fischer i in Full-body Movement in Numerical Trainings... International Journal of Serious Games 2 (2015)

58 Trening dyskalkulików via motorykagrupa kontrolna (TD) / dyskalkulicy (DD), druga klasa Trening: Rescue Calcularis, wyląduj w odp. miejscu osi Testy: fMRI z wykrywaniem monotoniczności (np ) 5 dni/tydzień w domu w sesjach po 15 minut Źródło: Kucian i in Mental number line training in children with DD NeuroImage 57 (2011)

59 Trening dyskalkulików via motorykagrupa kontrolna (TD) / dyskalkulicy (DD), druga klasa TD DD Źródło: Kucian i in Mental number line training in children with DD NeuroImage 57 (2011)

60 Trening dyskalkulików via motorykagrupa kontrolna (TD) / dyskalkulicy (DD), druga klasa TD DD Źródło: Kucian i in Mental number line training in children with DD NeuroImage 57 (2011)

61 Kalkulilo

62 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

63 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

64 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

65 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

66 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

67 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

68 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

69 Trening poznawczy – gra „Kalkulilo”Kluczowe cechy / czynniki terapeutyczne: - oś pozioma (sterowanie) i oś pionowa (efekt) - opóźnienie między akcją a efektem - „oś” dźwiękowa (efekt SMARC) – tony – orientacja pozioma - akcja, atrakcyjność i grywalizacja - sterowanie wzrokiem (problemy!) i sterowanie ciałem (Kinect) - PC, tablety (iOS), telefony komórkowe Other disorders: delayed speach developement, ADHD, dislexia