1 Uniwersytet Mikołaja KopernikaKatedra Informatyki Stosowanej Zakład Fizyki Technicznej i Zastosowań Fizyki, Wydział Fizyki, Astronomii i Informatyki Stosowanej Laboratorium Neurokognitywne, Interdyscyplinarne Centrum Nowoczesnych Technologii Uniwersytet Mikołaja Kopernika (c) Tralvex Yeap. All Rights Reserved

2 Nasze projekty Rozwiązania sprzętowo-programowe.Akcelerometria – rozwój sensorów i analiza sygnałów do śledzenia ruchu, posturometria. Okulometria, systemy wizyjne, analiza zachowania dzieci. Technologie neurokognitywne: wspomaganie rozwoju niemowląt i dzieci, rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci, zabawki i łóżeczka interaktywne, testy przesiewowe, terapia dyskalkulii. Alter Ego do przechowywania własnych wspomnień i do terapii osób cierpiących na demencję. Detekcja kłamstwa, stanu mentalnego, wykorzystanie termowizji. Data mining, analiza danych, big data. sztuczna inteligencja, sieci neuronowe Internet semantyczny, analiza tekstów, technologie WWW. Analiza sygnałów, głosu, EEG/fMRI, neuroobrazowanie. Informatyka medyczna, testy psychometryczne, neuroinformatyka. Spirografia: ocena stanu pacjentów z niedokrwiennym udarem mózgu. (c) Tralvex Yeap. All Rights Reserved

3 Data Mining: GhostminerStrona projektu w FQS - Google: ghostminer Projekt zrealizowany w KIS w latach , w kategorii data mining, business intelligence. GhostMiner to zaawansowane narzędzie firmy Fujitsu do analitycznej eksploracji danych, które nie tylko wspiera rozmaite bazy danych (oraz arkusze kalkulacyjne), zaawansowane algorytmy uczenia maszynowego, ale także przygotowanie i selekcję danych, walidację modeli, multimodele takie jak komitety lub k-klasyfikatory i wizualizację danych/modeli. Klienci: uniwersytety, politechniki, instytuty badawcze, banki i różne firmy w Polsce, Austrii, Australii, Chinach, Czechach, Holandii, Indiach, Japonii, Kanadzie, Niemczech, Norwegii, Singapurze, Wielkiej Brytanii i USA. Np. Abbott Laboratories używa GhostMiner'a do badań oraz odkrywania właściwości wielowymiarowych danych naukowych. (c) Tralvex Yeap. All Rights Reserved

4 Testy PsychometryczneProgram IDSS - Intelligent Decision Support System. System wspomagania decyzji psychometry. Pomaga zinterpretować wyniki testu psychometrycznego MMPI. Możemy zautomatyzować analizę dowolnych testów, mając przykłady ich interpretacji przez ekspertów. (c) Tralvex Yeap. All Rights Reserved

5 Testy: papier lub komputer(c) Tralvex Yeap. All Rights Reserved

6 Testy PsychometryczneProgram używa reguł logicznych odkrytych z przykładowych danych sklasyfikowanych przez ekspertów. Przedstawia swoje wnioski w postaci reguł logiki klasycznej, wizualizacji podobnych przypadków, komentarzy słownych. (c) Tralvex Yeap. All Rights Reserved

7 Testy PsychometrycznePozwala traktować dane jako nieprecyzyjne z pewnym rozkładem prawd. Używany w przychodni akademickiej UMK i zastosowaniach psychiatrycznych, podobne testy robi się w większych firmach. Opracowana technologia umożliwia analizę testów w postaci dowolnych kwestionariuszy, skanowanych lub komputerowych. (c) Tralvex Yeap. All Rights Reserved

8 Meta-uczenie Problemy z programami do data mining: trudne w użyciu, mają setki komponentów, wymagają wysokiej klasy ekspertów, opracowanie modeli jest czasochłonne i kosztowne. Rynek programów analizy danych i wspomagania decyzji jest obecnie bardzo konkurencyjny, ale programy wykorzystujące głębokie uczenie wymagają modeli stworzonych przez ekspertów. Program nowej generacji do Data Mining. Pierwszy program wykorzystujący idee meta-uczenia dla automatycznego odkrywania modeli/wiedzy z danych, w znacznej mierze gotowy. Zastosowania w wielopoziomowej analizie danych przemysłowych, medycznych, finansowych, np: skoring kredytowy, ubezpieczeniowy, segmentacja klientów, wzory zachowań klientów, wykrywanie oszustw w Internecie jak i za pomocą czujników analizujących reakcje fizjologiczne. (c) Tralvex Yeap. All Rights Reserved

9 Głębokie uczenie w analizie dużych danychAutomatyczne rozpoznawanie sygnału mowy: Przyśpieszenie treningu i zwiększenie skuteczności modeli akustycznych wykorzystujących głębokie sieci neuronowe (DNN), sieci splotowe (ConvNet), sieci rekurencyjne (LSTM). Planowane prace dotyczące zastosowania głębokiego uczenia w modelowaniu języka i zamianie mowy na tekst. Współpraca: VoiceLab AI Sp. z.o.o. Analiza sygnałów biomedycznych: klasyfikacja i automatyczna ekstrakcja cech sygnału EEG (Symfonia 4); zastosowanie do nowych form neurofeedback – zastąpienie obecnych systemów ograniczonych głównie do a-biofeedback; redukcja wymiarowości sygnałów na potrzeby IoT, ekstrakcja cech i klasyfikacja sygnałów. (c) Tralvex Yeap. All Rights Reserved (c) Tralvex Yeap. All Rights Reserved 9

10 Awatar, HIT: interfejs graficzny http://diodor.eti.pg.gda.plZapy- tanie Pamięć semantyczna Zastosowania, np gra w 20 pytań. Awatar, HIT: interfejs graficzny Magazynowanie Oznaczanie części mowy i ekstrakcja frac weryfikacja Słowniki, ontologie, informacja tekstowa Parser ręczne poporawki (c) Tralvex Yeap. All Rights Reserved

11 Asystent lekarza Awatar/mówiąca głowa zbierająca informacje w przychodni przed wizytą u lekarza. Komunikacja: głos/klawiatura. Skrypt wypytujący pacjenta o zmiany od ostatniego spotkania. Analiza reakcji na zadawane pytania: analiza obrazu z kamery, dźwięku, oddechu, czujników pulsu, GSR zakładanego na palec, termowizji. Dodatkowe pytania w przypadku wykrycia próby zatajenia informacji bądź podania informacji nieprawdziwych. Podsumowanie dla lekarza/psychiatry przed spotkaniem z pacjentem. Zalety: skrócenie czasu potrzebnego lekarzowi do zorientowania się w sytuacji. Łatwiejsze wydobywanie informacji w interakcji z pacjentem. Ocena stanu mentalnego, wykrywanie kłamstwa. (c) Tralvex Yeap. All Rights Reserved

12 Alter Ego Problem: podtrzymywanie pamięci.W ramach projektu LifeNaut ludzie tworzą repozytoria pozwalające na tworzenie ich awatarów lub w przyszłości robotycznych kopii. Psychiatria: w przypadku osób starszych, cierpiących na problemy z pamięcią, taki system zbierający informacje o ich życiu, dopytujący się o relacje rodzinne, prezentujący zdjęcia i filmy służy podtrzymaniu struktury ich osobowości. Komunikacja: głos, gesty. Skrypt wypytujący o brakujące informacje, przypominający ostatnie rozmowy, oznaczanie osób na zdjęciach i opis miejsc. Analiza reakcji na zadawane pytania: analiza obrazu z kamery, mikrofonów, oddechu, czujników pulsu, GSR zakładanego na palec, termowizji. Analiza mikroekspresji twarzy, napięcia w głosie, emocji, gestów. Prezentacja: synteza głosu, obrazy, wideo. Zalety: wspomagająca terapia w przypadku choroby Alzeimera i innych form demencji. (c) Tralvex Yeap. All Rights Reserved

13 Zabawy słowne Gry słowne są przydatne do rozwoju zdolności analitycznego myślenia. Do niedawna słownych gier komputerowych było bardzo mało. Budowa pamięci semantycznej na dużą skalę: podstawa wszystkich zastosowań wymagających rozumienia tekstu i mowy. Gra w 20 pytań i inne gry słowne, tekstowe i mówione; mówiące zabawki. Testy szkolne, kwizy realizowane na serwerach przez telefon. Identyfikacja obiektów na podstawie ich opisu, np. roślin czy ptaków. Boty w środowiskach wirtualnych wykorzystujące pamięć semantyczną. Boty prezentujące informację na stronach firm. Osobiste awatary przekazujące wiadomości i negocjujące. Uściślanie zapytań dla wyszukiwarek internetowych: znajdywanie dobrych pytań wymaga wiedzy i kreatywności. Serwer do tworzenia nowych, oryginalnych nazw dla produktów, stron internetowych czy firm, na podstawi ich opisu. (c) Tralvex Yeap. All Rights Reserved

14 NLP: kodowanie ICD-9 Analiza wypisów ze szpitala i automatyczne przypisywanie kodów dla firm ubezpieczeniowych: czy można to zrobić automatycznie? 5 programów poradziło sobie równie dobrze jak 3 firmy komercyjne! (c) Tralvex Yeap. All Rights Reserved

15 Rozwój niemowląt Projekt inteligentnej kołyski i zabawek kognitywnych, do wczesnej diagnostyki, wykrywania nieprawidłowości rozwoju, ciągłego monitorowania dziecka i ukierunkowania rozwoju. Inteligentna kołyska: czujniki ruchu, smoczek telemetryczny, mikrofony i kamery. Stymulacja słuchu, wzroku i dotyku, analiza reakcji. Stymulacje rozwoju słuchu fonematycznego umożliwią dzieciom naukę dowolnego języka, w tym języków tonalnych. Stymulacje rozwoju słuchu muzycznego. Rozwój inteligencji przez stymulację pamięci roboczej. Rozwój ciekawości i potrzeby działania dziecka. Patent: Układ aktywnego stymulatora ośrodków mowy, zwłaszcza niemowląt i dzieci ( ). (c) Tralvex Yeap. All Rights Reserved

16 GCAF/GIML Gaze Controlled Application Framework (GCAF) platforma służąca do łatwego przygotowywania spersonalizowanych aplikacji obsługiwanych wzrokiem (badania kognitywne niemowląt i osoby niepełnosprawne) Other disorders: delayed speach developement, ADHD, dislexia

18 Tani (stosunkowo) sprzęt (Mirametrix)Profesjonalny eyetracker (SMI) Sprzęt, którym dysponujemy: Mirametrix – kilka tysięcy zł, SMI – 250 tys., własny < 100zł Eksperymenty z własnym super tanim eyetrackerem

19 Własne oprogramowaniesprzężenie zwrotne / kontrola Gra / Eksperyment Eyetracker i oprogramowanie dostarczone przez producenta Obraz z kamery Wykrycie pozycji źrenic(y) Hz Obliczenie punktu spojrzenia Uproszczona analiza zdarzeń Analiza zdarzeń (fiksacje, sakady, mrugnięcia) w czasie rzeczywistym offline Ogólny schemat badania lub gry/eksperymentu korzystających z ET jako kontrolera Oprogramowanie producenta lub własne (przy ograniczeniach) Monitoring/Diagnoza/Badania

20 Własne oprogramowaniesprzężenie zwrotne / kontrola GIML / GCAF Eyetracker i oprogramowanie dostarczone przez producenta Obraz z kamery Wykrycie pozycji źrenic(y) Obliczenie punktu spojrzenia GCAF GIML Gaze Data Explorer (GDE) w czasie rzeczywistym offline IEyetracker Sfery, które pokrywamy własnym oprogramowaniem ze względu na braki w oryginalnym sofcie Monitoring/Diagnoza/Badania

21 Przetwarzanie i kompresja wideoWielowidokowe, 3D, 360 stopni. Przechwytywanie, kalibracja, odszumianie, interpolacja kolorów, super-resolution, rektyfikacja, rejestracja, estymacja wektorów ruchu, kompresja, optymalizacja obliczeniowa, synteza widoków. Inteligentna analiza obrazów, systemy pomiarowe, dedykowane systemy akwizycji obrazów.

22

23 Prototyp mobilnego wieloczujnikowego systemu pomiarowego do 6-min testu marszu (6MWT)Test diagnostyczny układu oddechowego dla osób z chorobami płuc/krążenia, European Respiratory Society/American Thoracic Society Technical Standard Konstrukcja czujnika oddechu i oprogramowania testu, zastosowanie do analiz zaburzeń oddychania w czasie snu, bezdechu sennego, do analizy emocji. Połączenie czujnika oddechu z pulsoksymetrem.

24

25 Trening poznawczy – gra „Kalkulilo”Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

26 HRV: biofeedback serce-mózg

27 Analiza sygnałów Nowoczesna analiza sygnałów umożliwia osiąganie rezultatów kilka lat temu nieosiągalnych – klasyczne twierdzenie o próbkowaniu Nyquista-Shannona, podstawa analizy sygnałów, jest już zbędne w przypadku sygnałów rzadkich (sparse) – L1 norm magic! Zastosowania w przewidywaniu rekomendacji dla klientów, rekonstrukcji obrazów, analizie sygnałów biomedycznych, … - wszędzie tam, gdzie potrzebna jest rekonstrukcja rzadkiego sygnału z niewielu próbek Nowoczesne metody segmentacji i reprezentacji sygnału umożliwiają klasyfikację sygnałów o bardzo zbliżonych parametrach statystycznych, przykładem niedawno przeprowadzona analiza sakad. Analiza sygnałów mózgu za pomocą odpornych metod estymacji liniowych może dawać estymaty o małej wariancji źródeł sygnałów EEG/MEG w trybie on-line, z wykorzystaniem przetwarzania równoległego: cf. MV-PURE estimator (c) Tralvex Yeap. All Rights Reserved

28 Obiektywny pomiar zmian procesów mózgu na skutek treningówBiomedical Signal Analysis Neuroinformatics Neuroimaging (c) Tralvex Yeap. All Rights Reserved

29 (c) 1999. Tralvex Yeap. All Rights Reserved