1 Sistema de tele-consulta y ayuda al diagnóstico mediante procesado de imagen basado en web Programa de Doctorado en Ingeniería Informática y Telecomunicación Dirigida por Dra. M a Begoña García-Zapirain Soto Tesis doctoral presentada por Gonzalo Eguíluz Pérez Bilbao, 20 de noviembre de 2015

2 ” Entre todos podemos cambiar el significado de esta enfermedad para poder disfrutar de la vida, dentro de nuestras posibilidades Francisco J. Argüeso La actitud ante la adversidad Mertxe Fernández Las ayudas técnicas han mejorado mi vida Silvia Guruceta Luchemos juntos y la vida nos será más fácil Anicia Cabrera “

3 3 Introducción Agenda Hipótesis y objetivosEstado del arte DiseñoResultadosConclusiones y líneas futuras

4 Introducción Para empezar un gran proyecto, hace falta valentía. Para terminar un gran proyecto, hace falta perseverancia “ ” Federico Vir

5 5 Introducción La Esclerosis Múltiple (EM), es una enfermedad crónica del sistema nervioso central (SNC). Se desconoce la causa que la provoca, pero se considera una enfermedad Autoinmune. Afecta con más frecuencia a personas jóvenes. Puede ser leve, incapacitante o devastadora. Esta asociada a problemas visuales, del habla, de la sensibilidad, el equilibrio, la coordinación, etc. En la EM no existe, actualmente, ninguna actuación médica efectiva contra la misma.

6 6 Los pacientes jóvenes pueden presentan diversos problemas psicológicos Traslado al centro de salud Proceso degenerativo de la enfermedad Falta de capacidad por parte de los centros de salud Imposibilidad de realizar terapias diarias Impacto en la progresión Importancia de la tele-rehabilitación Permite realizar terapia diaria Disponibilidad inmediata sin traslados

7 7 Las personas con EM pueden verse obligadas a pasar gran parte del día sentadas. Puntos clave de una postura correcta en sedestación: Mantener la pelvis bien situada. Mantener la simetría del cuerpo. Separar las rodillas. Es importante y necesario eliminar la subjetividad del método y objetivar la postura.

8 8 Haciendo uso de la tecnología de cálculo de profundidad para imágenes tiempo-de-vuelo (ToF), es posible detectar y reconocer, durante la ejecución de ejercicios de rehabilitación, los movimientos que realizan los pacientes con Esclerosis Múltiple para analizarlos y aplicar una corrección en tiempo real. El análisis previo a la corrección se realizará mediante el desarrollo de algoritmos de procesamiento de imágenes que se combinarán con un sistema web. Esta corrección supondrá una mejora objetiva, que repercutirá en la evolución de los pacientes. Haciendo uso de la tecnología de cálculo de profundidad para imágenes tiempo-de-vuelo (ToF), es posible detectar y reconocer, durante la ejecución de ejercicios de rehabilitación, los movimientos que realizan los pacientes con Esclerosis Múltiple para analizarlos y aplicar una corrección en tiempo real. El análisis previo a la corrección se realizará mediante el desarrollo de algoritmos de procesamiento de imágenes que se combinarán con un sistema web. Esta corrección supondrá una mejora objetiva, que repercutirá en la evolución de los pacientes. Hipótesis

9 9 Objetivo Diseñar y validar una solución tecnológica que permita realizar un seguimiento de los pacientes con Esclerosis Múltiple durante las sesiones de tele- rehabilitación. Sub-objetivos Analizar la evolución física de los pacientes a través del sistema de seguimiento. Validar las terapias psicomotrices aplicadas a los pacientes con EM. Validar un sistema de seguimiento en tiempo real mediante una cámara con tecnología de tiempo-de-vuelo (ToF). Comparar el sistema desarrollado con sistemas comerciales de similares características.

10 Estado del arte Si quieres llegar a donde la mayoría no llega, necesitas hacer algo que la mayoría de las personas no hacen “ ” Octave Basal

11 11 Estado del arte La Esclerosis Múltiple (EM) es una enfermedad crónica del sistema nervioso central que afecta a la mielina, sustancia que facilita la conducción de los impulsos nerviosos.

12 12 S. XIX 1869 1931 1954 1965 1970- 1983 1990- 2010 Estado del arte Sydney Allison [Allison+31a] hace un nuevo intento para caracterizar la EM. Aparece el primer esquema diagnóstico, por Sydney Allison y Harold Millar [Pollman+10a]. Broman [Broman+85a] y colaboradores establecieron los principios de los esquemas diagnósticos posteriores. Sucesión de esquemas de criterios, los de McAlpine [McAlpine+72a], Lumsden [Lumsden70a] y Acheson [Acheson+77a], el de Martin Halliday [Hallidai73a], hasta llegar a la clasificación de Poser [Poser83a] y colaboradores en 1983. Primeros indicios Jean-Martin Charco hace las primeras indagaciones a cerca de la ELA (Esclerosis Lateral Amiotrófica). Uso de técnicas MRI para detección precoz de la EM. Aceptación del término CIS (Síndrome Clínico Aislado). Presentación del criterio de MacDonald [MacDonald01a], con posteriores revisiones en el año 2010 [MacDonald10a].

13 13 Estado del arte Prevalencia de la Esclerosis Múltiple

14 14 Estado del arte Combinar Terapia farmacológica Tratamiento rehabilitador Beneficios Tratamiento de síntomas Freno de la progresión Mejora motora y de calidad de vida

15 15 La rehabilitación difiere dependiendo del grado, la expresión, la gravedad y la progresión de los síntomas. Recuperar funciones que son esenciales para las actividades cotidianas Ayudar al paciente a alcanzar la mayor independencia posible Establecer un programa de ejercicios personalizado Restablecer las habilidades de movimiento Estado del arte

16 16 Realizar los ejercicios rehabilitadores correctamente es de vital importancia. Una postura correcta es esencial Evitar problemas asociados (debilidad de los músculos, dolores, sufrir lesiones, etc.) Analizar la posición en sedestación De manera subjetiva mirando al usuario. De manera objetiva mediante técnicas de visión avanzadas. Estado del arte

17 17 Estado del arte Técnicas de visión

18 18 Estado del arte > Técnicas de visión Triangulación de cámaras

19 19 Estado del arte > Técnicas de visión Escáner láser

20 20 Estado del arte > Técnicas de visión Luz estructurada

21 21 Estado del arte > Técnicas de visión Tiempo de vuelo (ToF)

22 22 Estado del arte > Técnicas de visión Termografía infrarroja

23 23 EstéreoEstructuradaToFInfrarroja Alta Media BajoMedio/altoMedioMuy alto MedioBajoAlto DébilDependienteBien MedioMalBien cmµm - cmnm - cm- Medio< 4 m 30 m< 0.3m - ∞ ~ 10 pfs~ 15 pfs> 30 fps Estado del arte > Técnicas de visión Parámetros Complejidad Coste Respuesta Baja luminosidad Exterior Precisión Rango Velocidad ToF Media Medio Alto Bien Mal nm - cm 30 m > 30 fps

24 Base de datos Es un error capital teorizar antes de poseer datos. Uno comienza a alterar los hechos para encajarlos en las teorías, en lugar de encajar las teorías en los hechos “ ” Sir Arthur Ignatius Conan Doyle

25 25 Base de datos Centro de rehabilitación Eugenia Epalza Residencia Urizar Torre 490 9916 14816 Población de pacientes con EM Hombres Mujeres Total 164

26 26 Base de datos LogopedasT. OcupacionalesFisioterapeutasPsicólogosYoga --1-1 1241- T. socialesNeuropsicólogos Animadores socio-culturales AuxiliaresEnfermerasTotal - --4- 6 2 12151 28 Población de profesionales relacionados con EM Hombres Mujeres

27 27 Base de datos Criterios de inclusión Ser Fisioterapeuta, Logopeda, Terapeuta ocupacional o Animadores socio-culturales Tener conocimientos de informática a nivel de usuario Edad comprendida entre 18 y 56 años Tener diagnosticado Esclerosis Múltiple y del tipo Benigno o Recaídas-Remisiones Tener un valor de EDSS entre 0.0 y 5.5 Ser capaz de usar un ordenador personal, un navegador web y una aplicación Criterios de inclusión y exclusión Colectivo Profesionales Personas con EM

28 28 Base de datos ColectivoCriterios de exclusión Profesionales Personas con EM Edad menor de 18 o mayor de 56 años Tener un valor de EDSS mayor de 5.5 Tener una discapacidad cognitiva severa (MMSE < 24) Criterios de inclusión y exclusión

29 29 Estratos de población Muestra sistema WEB Muestra sistema corrector 1645020 3410- 1986040 Base de datos Estratos de la muestra Tipo Pacientes con EM Profesionales Total

30 Diseño Ten muy presente que tu enfoque determina tu realidad “ ” Stuart Freeborn

31 31 Diseño Sistema integral Hogar del paciente Centro médico Centro de datos

32 32 Diseño Módulos principales

33 33 Profesional Diseño > WEB Módulos principales Módulo Grabación de ejercicios Gestión de usuarios Ejercicios y preguntas Historial Centro de notificaciones Seguimiento de usuarios Videoconferencia y chat Paciente

34 34 Diseño > WEB > Acceso al sistema Log-in de usuario Formato de la contraseña: {encrypt}:{salt} Cifrado MD5

35 35 Diseño > WEB > Grabación de ejercicios Cliente en Flex ejecutado en Flash Servidor en Red5 Uso del códec H.264

36 36 Diseño > WEB > Grabación de ejercicios Cliente en Flex ejecutado en Flash Servidor en Red5 Códec On2 VP6Códec H.264 Uso del códec H.264

37 37 Diseño > WEB > Gestión de usuarios Niveles de acceso

38 38 Diseño > WEB > Ejercicios y preguntas Repositorio on-line de ejercicios y preguntas multimedia Imágenes Áreas Rehabilitación Fisioterapia Logopedia Terapia ocupacional Neurosicología Yoga Preguntas 15 22 14 10 9 0 Vídeos DocumentosEjercicios 43 118 162 49 19 25

39 39 Diseño > WEB > Centro de Notificaciones Últimas actualizaciones en el sistema Vista personalizada paciente/profesional Actualización automática

40 40 Diseño > WEB > Seguimiento de pacientes Vista personalizada paciente/profesional Seguimiento de 60 días

41 41 Diseño > WEB > Historial Búsqueda entre fechas Vistas resumidas Generador de informes

42 42 Diseño > WEB > Videoconferencia y chat Comunicación en tiempo real 1 a 1 Basado en el servidor Red5 Uso del protocolo RTMPS

43 43 Diseño > WEB LogopediaNeuropsicologíaTerapia ocupacionalYogaFisioterapiaRehabilitación

44 44 Diseño Sistema de escritorio

45 45 Diseño > Sistema de escritorio > Obtener los datos Módulo de comunicación cámara-PC Conversión RGB a mapa de bits Conversión imagen de profundidad a mapa de bits

46 46 Diseño Sistema de escritorio

47 47 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen Mejorar la imagen Obtener el contorno Cálculo de puntos clave

48 48 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen

49 49 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen (1 de 2) Obtener primer plano y generar Trimap Imagen de profundidad Mapa preliminar con tres colores Trimap final

50 50 Diseño > Sistema de escritorio > Procesamiento de imágenes Eliminar el fondo de la imagen (2 de 2) Aplicar filtro Bilateral Imagen originalTrimapMáscara binaria & =

51 51 Diseño > Sistema de escritorio > Procesamiento de imágenes Mejorar la imagen

52 52 Diseño > Sistema de escritorio > Procesamiento de imágenes Mejorar la imagen Aplicar filtro Gaussiano Matriz de convolución de 5x5 Máscara binaria x Máscara binaria suavizada

53 53 Diseño > Sistema de escritorio > Procesamiento de imágenes Obtener el contorno

54 54 Diseño > Sistema de escritorio > Procesamiento de imágenes Obtener el contorno Aplicar el algoritmo de Histéresis ∇ f(x, y) ≥ t 1 es borde ∇ f(x, y) < t 1 puede ser, depende del contexto ∇ f(x, y) < t 0 no es borde t0t0 ≥ Máscara binaria suavizada Contorno de la máscara

55 55 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave

56 56 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave Aplicar la transformada de Hough para rectas Contorno de la máscara binaria Acumulador HoughLíneas Hough Espacio acumulador

57 57 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave Línea perpendicular común Obtener la posición de la pelvis d(r, r’) = d(P, Q) Punto medio de la línea

58 58 Diseño > Sistema de escritorio > Procesamiento de imágenes Cálculo de puntos clave Aplicar la transformada de Hough para círculos Contorno de la máscara binaria suavizada Acumulador HoughCírculo Hough

59 59 Diseño Sistema de escritorio

60 60 Diseño > Sistema de escritorio > Sistema de corrección Sistema de corrección

61 61 Diseño > Sistema de escritorio > Sistema de corrección Punto de la pelvis Calcular ángulos Ángulo resultante Punto de la cabeza

62 62 Diseño > Sistema de escritorio > Sistema de corrección Calcular ángulos Construir el vector cabeza-pelvis Construir el vector pelvis-vertical Calcular el ángulo entre dos vectores α Punto de la cabeza Punto de la pelvis U → V →

63 63 Diseño > Sistema de escritorio > Sistema de corrección Comparar ángulo con parámetros Generar mensaje y audio Almacenar información Aplicar y mostrar correcciones

64 64 Diseño > Sistema de escritorio SoftKinetic ® DepthSense 311

65 Resultados No importa lo que esperas ni lo que te mereces, sino lo que consigues “ ” Frank T.J. Mackey

66 66 Resultados Sistema web > 3 prototipos Escala de usabilidad del sistema (SUS) Desestimación de otros test (SUPR-Q, QUIS) Sistema de escritorio > 2 prototipos Medida de Independencia Funcional (FIM) Escala de Equilibrio de Berg (BBS) Ángulos Tiempo de reacción Datos no normales (test de Shapiro-Wilk)

67 67 Resultados > Plataforma WEB 50 pacientes y 10 profesionales Escala de usabilidad del sistema (SUS) Escala Likert que genera un único número 10 preguntas con valores de 0 a 4 Valores por encima de 68 se consideran como aceptables

68 68 Profesionales y pacientes Prueba de Mann-Withney Significancia (p = 0.009) en el primer prototipo Resultados > Plataforma WEB (p = 0.009) *

69 69 Profesionales y pacientes Prueba de Friedman Significancia (p = 0.000) entre pares de prototipos Resultados > Plataforma WEB (p = 0.000) * * *

70 70 Pacientes Significancia (p = 0.000) entre pares de prototipos Resultados > Plataforma WEB (p = 0.000) * * *

71 71 Profesionales Significancia (p = 0.005) entre pares de prototipos Resultados > Plataforma WEB (p = 0.005) * * (p = 0.004) *

72 72 Otros sistemas disponibles Resultados > Plataforma WEB SistemaPuntuación de los pacientes Puntuación de los profesionales Sistema 1 73 ± 15- Sistema 2 75 ± 11.100- Sistema 3 87.95 ± 2.399- Sistema 4 59- Sistema propio 73.9 ± 8.45475.75 ± 3.344

73 73 20 pacientes y 20 control Medida de Independencia Funcional (FIM) 18 ítems dentro de 6 áreas de funcionalidad con valores de 1 a 7 La puntuación debe valorarse Escala de Equilibrio de Berg (BBS) 14 tareas con valores del 0 a 4 < 20: riesgo de caídas 20-40: riesgo moderado > 40: bajo riesgo de caídas Resultados > Sistema de escritorio

74 74 Significancia (p = 0.000) en valores de FIM inicial y final Mejora del valor Resultados > Sistema de escritorio (p = 0.000) *

75 75 Valores en las áreas de FIM para los pacientes Hombres Resultados > Sistema de escritorio

76 76 Valores en las áreas de FIM para los pacientes Mujeres Resultados > Sistema de escritorio

77 77 Significancia (p = 0.000) en valores de BBS inicial y final Mejora del valor Resultados > Sistema de escritorio (p = 0.000) *

78 78 Significancia (p = 0.001) en valores de ángulo inicial y final Reducción del valor Resultados > Sistema de escritorio (p = 0.001) *

79 79 Significancia (p = 0.001) en valores de tiempo de reacción inicial y final Reducción del valor Resultados > Sistema de escritorio (p = 0.001) *

80 80 Significancia (p = 0.005) en valores de FIM inicial y BBS inicial Evolución positiva Resultados > Sistema de escritorio

81 81 Significancia (p = 0.004) en valores de FIM final y BBS final Evolución positiva Resultados > Sistema de escritorio

82 82 Impacto científico Resultados Revistas científicas con JCR 2 publicados y 3 en revisión Congresos4 Capítulos de libro 1 Registros de software 1 Proyectos de investigación 3

83 83 Revistas con JCR Bio-Medical Materials and Engineering (BIOMED) Comprehensive verticality analysis and web-based rehabilitation system for people with multiple sclerosis with supervised medical monitoring FI: 0.847 · DOI:10.3233/BME-141175 International Journal of Environmental Research and Public Health (IJERPH) Use of a Time-of-Flight Camera With an Omek Beckon™ Framework to Analyze, Evaluate and Correct in Real Time the Verticality of Multiple Sclerosis Patients during Exercise FI: 1.998 · DOI:10.3390/ijerph10115807 Sensors State-of-the-Art of Depth Measurement Technologies for Human Body Detection in Rehabilitation Systems Telemedicine and e-Health Human Body Verticality Detection and Correction System for Multiple Sclerosis Patients Using a Time-of-Flight Camera and Image Processing Algorithms Journal of Medical Internet Research (JMIR) Web-based Rehabilitation System for People with Multiple Sclerosis with Supervised Medical Monitoring Resultados > Impacto científico

84 84 Proyectos de investigación eMUGI Herramienta tecnológica para el apoyo a la movilidad de las personas con Esclerosis Múltiple Bizkailab DFB Universidad de Deusto ADEMBI 2012 - 2014 E-REMEDU Solución Tecnológica para la Telerehabilitación para pacientes con trastornos medulares Gaitek Kernet Hospital de Basurto Fekoor 2010 - 2012 TELEREHAB Telerehabilitación para pacientes con movilidad reducida Dpto. De promocion economica (DFB) Kernet Fekoor Deustotech LIFE 2010 - 2011 Resultados > Impacto científico ProyectoConvocatoriaParticipantesAño

85 Conclusiones y líneas futuras No sin motivo los antiguos decían que en el fin se encuentra el inicio “ ” Vasili Grossman

86 86 Hipótesis «Haciendo uso de la tecnología de cálculo de profundidad para imágenes tiempo-de-vuelo (ToF), es posible detectar y reconocer durante la ejecución de ejercicios de rehabilitación, los movimientos que realizan los pacientes con esclerosis múltiple para analizarlos y aplicar una corrección en tiempo real. El análisis previo a la corrección se realizará mediante el desarrollo de algoritmos de procesamiento de imágenes que se combinarán con un sistema web. Esta corrección supondrá una mejora objetiva, que repercutirá en la evolución de los pacientes» Conclusiones y líneas futuras Hipótesis válida, basada en los resultados obtenidos

87 87 Objetivo Diseñar y validar una herramienta ad-hoc que permita realizar un seguimiento de los pacientes con Esclerosis Múltiple durante las sesiones físicas Conclusiones y líneas futuras Sistema diseñado en base a las necesidades específicas. Uso del sistema en áreas como la Logopedia, Rehabilitación y Fisioterapia. Sistema validado tanto en las instalaciones de ADEMBI como en hogares por parte de profesionales y pacientes.

88 88 Sub-Objetivo número 1 Analizar la evolución física de los pacientes a través del sistema de seguimiento, analizando las variables objetivas definidas Conclusiones y líneas futuras Sistemas web y sistema de escritorio. Obtención de información adicional mediante los sistemas diseñados. Información centralizada y disponible.

89 89 Sub-Objetivo número 2 Validar las terapias psicomotrices aplicadas a los pacientes con Esclerosis Múltiple mediante el sistema de seguimiento diseñado Conclusiones y líneas futuras Uso de test físicos, FIM y BBS para la evaluación. Evolución psicomotriz en positivo. Compaginación de terapias presenciales y terapias en el hogar del paciente.

90 90 Sub-Objetivo número 3 Validar un sistema de seguimiento en tiempo real mediante una cámara con tecnología de tiempo de vuelo Conclusiones y líneas futuras Elección de la tecnología. Sistema diseñado bajo las premisas de los profesionales médicos. Mejora en los pacientes en aspectos físicos validado mediante el uso de test FIM y BBS.

91 91 Sub-Objetivo número 4 Comparar el sistema desarrollado con sistemas disponibles similares comerciales 115 Conclusiones y líneas futuras VirtualReha b Neurodegenerativo Neuromuscular Movilidad Aplicación web Nube Kinect Basic OnPremises Unlimited OnPremises Unlimited SaaS Jintronix Neuromuscular Movilidad PC Windows 7/8 Nube Kinect Integrado Kiosko En casa Kinetisense Neuromuscular Movilidad PC Windows 8.1 Kinect v2 Suscripción anual (Profesional y premium) Sistema propio Neurodegenerativo Neuromuscular Movilidad Aplicación web Nube DS311 No SistemaPoblaciónArquitecturaModelo de negocio

92 92 Sistema web Evolución positiva y creciente de los resultados en los tres prototipos Aceptación más rápida en los profesionales Sistema de escritorio Evolución positiva y creciente de los resultados en los dos prototipos Mejora en las variables analizadas Obtención de datos extra Conclusiones y líneas futuras > Resultados

93 93 Sistema web Generación de ejercicios y cuestionarios adaptados a los pacientes Prueba del sistema en otras áreas geográficas (scaling-up) Sistema de escritorio Detección de nuevas partes del cuerpo Mejorar la calidad del mapa de profundidad Prueba del sistema en otras áreas geográficas (scaling-up) Conclusiones y líneas futuras

94 94 Agradecimientos Asociación de Esclerosis Múltiple de Bizkaia Conclusiones y líneas futuras

95 Sistema de tele-consulta y ayuda al diagnóstico mediante procesado de imagen basado en web Programa de Doctorado en Ingeniería Informática y Telecomunicación Tesis doctoral presentada por Gonzalo Eguíluz Pérez Bilbao, 20 de noviembre de 2015