1 Investigación en Técnicas de Interacción de Usuarios con Limitaciones Visuales - Ordenador Utilización en Ambientes Virtuales Por : Javier Gil Q.

2 Esquema Presentación  El Problema.  El Reto.  Soluciones “Tradicionales”.  Nuevas Propuestas. 1. `Trabajo Desarrollado.  Más acerca de …..

3 El Problema GUI vs. Usuario con limitaciones visuales.

4 El Reto  Acceso de usuarios con limitaciones visuales a la información y utilización de medios digitales.

5 Traducir Información alfa- numérica dentro de contexto.

6 Traducir Información gráfica.

7 Involucrar la componente espacial.

8 Legislación  Disability Discrimination Act (1995) UK.  Title 508 of the Rehabilitation Act of 1986, 1990 Americans with Disabilities Act.

9 Soluciones Tradicionales  Traducción texto – voz digitalizada.  Teclado braile.

10 Nuevas Propuestas

11 Algunas Investigaciones  Conceptos.  Aprendizaje y manejo espacial.  Interfaces Auditivas y traducción de interfaces graficas al canal sonoro.  Interfaces Multimodales.

12 Conceptos Interfaces Multimodales La comunicación humana es multimodal.  Modos de comunicación : visual, sonoro, gestual, etc.  Modalidades : Ej. Modo Sonoro: ruido, música, habla.

13 Conceptos Interfaces de igual oportunidad. Interfaces multimodales en las cuales el usuario puede decidir por si mismo la distribución de la información presentada entre los canales visual y auditivo.

14 Conceptos Earcons Sonidos Musicales construidos de pequeñas unidades y que pueden ser manipulados para construir unidades complejas. Abrir, cerrar, archivo, programa. Abrir Archivo = Abrir + Archivo Cerrar Programa = Cerrar + programa. Ej:Earcon ExperimentsEarcon Experiments

15 Conceptos Auditory Icons Sonidos diseñados para crear asociaciones con objetos comunes, a la manera que lo hacen los iconos visuales. Ej: Tocar una ventana suena como golpear una lamina de vidrio.

16 Conceptos HRTF Head Related Transfer Function.  Sonido Tridimensional.

17 Conceptos HRTF

18 Aprendizaje y manejo espacial

19 Constructive Exploration of Spatial Information by Blind Users Schneider Strothotte. Dp. Simulation and Graphics. University of Magdeburg. Germany

20 Bases  Aprendizaje mediante construcción de artefactos.  “Learning by doing” vs Aprendizaje Pasivo.  Exploración Constructiva: Construir siguiendo instrucciones.  Ayudas actuales: Mapas Táctiles, Ayudas electrónicas de viaje.

21 Exploración Constructiva Implementación basada en análisis de imágenes.

22 Exploración Constructiva Implementación basada en un dispositivo de retroalimentación de fuerza. Haptic VRML Guide

23 Interfaces Auditivas y Traducción de Interfaces Graficas al canal sonoro

24 Mapping GUI’s to Auditory Interfaces Mynatt and Edwards. Graphics, Visualization and Usability Center. College of Computing. Georgia Institute of Technology U.S.

25 Bases  Navegación en ambientes de ventanas.  Traducir ambientes X Windows a interfaces Auditivas.  Implementación de “Hear and feel”  “Look and feel”.  Consistencia en la interfaz + usabilidad.

26 Implementación  Traducción a nivel de Widgets  Auditory Interface Components (AIC) 1. Algunos widgets visuales innecesarios (layout). 2. Para muchos widgets mapeo uno a uno (botones). 3. Traducción de iconos visuales a auditivos(auditory icons). 4. AIC compuesto de uno o combinación de Auditory Icons.

27 Navegación  Mapeo de la interfaz de usuario a una estructura de árbol de AIC’s.  Usuario navega en el árbol mediante teclado.  Selección tecla enter.

28 An Evaluation of Earcons for Use in Auditory HCI. Brewster, Wright and Edwards. Dep. Of Computer Science University of York U.K.

29 Base  Mejor desempeño de tareas.  El canal auditivo es un muy buen complemento del canal visual.  Usuarios con limitaciones visuales.

30 Algunos Resultados  Los sujetos prefieren earcons pero mejor asociación con auditory icons.  Earcons son mejores para presentar informacion que secuencias inestructuradas de sonido.  Altos niveles de reconocimiento pueden ser alcanzados con uso cuidadoso de tono, ritmo y timbre.  Guía de creación de earcons: Timbre, Tono, Ritmo, Intensidad, Combinaciones.

31 Communicating Graphical Information to Blind Users Using Music Alty and Rigas. Loughborough University University of Huddersfield U.K.

32 Interfaz del Sistema

33 Resultados en Identificación

34 Interfaces Multimodales

35 Soundgraphs  Eje X  Tiempo.  Eje Y  Tono.

36 Desventajas SoundGraphs  Movimiento mediante las flechas del teclado.  Trabaja bien con graficas simples.

37 MultiVis : A Multimodal Visualization System for Blind Students Using Virtual Reality Brewster, Burton and Dimigen. Dep. Of Comp. Science and Psychology. Univesity of Glasgow. UK.

38 Bases  Usuarios videntes hacen inferencias a partir de la imagen de los datos  Matriz.  Memoria de corto plazo no permite almacenar información para hacer observaciones no triviales únicamente a través del canal auditivo.  Como analizar graficas 3D???  Dispositivos hapticos permiten “sentir” objetos virtuales.  Sonido 3D se ha desarrollado para localizar fuentes de sonido en cualquier parte del espacio alrededor del escucha (HRTF).

39 Propósito  Investigar las diferentes modalidades sensoriales para ver como pueden ser usadas adecuadamente para crear sistemas de visualización multimodales poderosos que hagan uso los sentidos de que disponen los usuarios.

40 Precedentes  Screen Reader  No incluye información contextual acerca de lo que se esta presentando. Solo información alfa-numérica. Ej: Matriz.  Sonificación: Presentación de datos complejos en sonido.  Soundgraphs: Mansur and Edwards. Sonido 3D  Earcons: Presentación de información jerárquica y multidimensional. Brewster.

41 Precedentes  Desarrollo de dispositivos hápticos y retroalimentación de fuerza  Phantom

42 Programa de Investigación  Investigar los problemas inherentes cognitivos y de memoria que enfrentan los usuarios invidentes cuando tratan de visualizar información.  Construir sistemas prototipo que permitan evaluar técnicas VR de visualización.  Investigar los métodos mas apropiados de transmitir información en las diferentes modalidades sensoriales.

43 Más acerca de ……  Earcons: Glasgow Interactive Systems Groups http://www.dcs.gla.ac.uk/~stephen/research.shtml  Hrtf: http://www.engr.sjsu.edu/~knapp/HCIROD3D/3D_home.ht m  Interfaces Multimodales: LIMSI – CNRS INSERM. FRANCE http://www.limsi.fr/Individu/bellik/  Conferencia personas discapacitadas???