1 Primera Reunión de arranque del proyectoDesarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM
2 INDICE y AGENDA Introducción Tipos de Evaluación Sistema de Diálogo10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz 11:30-12:00 Café 12:00-13:20 Tareas T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación 13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio PROYECTOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
3 INTRODUCCIÓN Introducción Tipos de Evaluación Sistema de DiálogoMedidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
4 El proceso de traducción se puede llevar a cabo en los dos sentidosENFOQUE COMPLICADO RAZONABLE VOZ TEXTO SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones El proceso de traducción se puede llevar a cabo en los dos sentidos
5 SIGNOS - VOZ Introducción Tipos de Evaluación Sistema de DiálogoCOMPLICADO Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes Mejores tasas Poco práctico Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
6 VOZ - SIGNOS Introducción Tipos de Evaluación Sistema de DiálogoRAZONABLE Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Dominios Restringidos En torno a palabras: información meteorológica, deportes,....
7 UN PRIMER PROTOTIPO Introducción Tipos de EvaluaciónEn primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una persona experta Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
8 OBJETIVO Y PLANIFICACIÓN GENERALTAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
9 OBJETIVO CONCRETO Introducción Tipos de Evaluación Sistema de DiálogoDiseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico). Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
10 PLANIFICACIÓN GENERALOriginal (15 meses) Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Real (12 meses)
11 ESTUDIO LINGÜÍSTICO Introducción Tipos de EvaluaciónSistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
12 1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOSDescripción de situaciones y escenarios Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
13 2 PASO: RECOPILACIÓN DE FRASESel denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
14 3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDADel denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Desde los catorce años el denei es obligatorio Con más de catorce años te tienes que sacar el denei Cuando tengas catorce años tienes que disponer del denei Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases
15 4 PASO: TRADUCCIÓN Introducción Tipos de Evaluación Sistema de DiálogoSe podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados
16 DISEÑO DE LA ARQUITECTURAIntroducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
17 ARQUITECTURA Introducción Tipos de Evaluación Sistema de DiálogoMedidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Requiere de un corpus paralelo de varios miles de frases para entrenar los motores de traducción
18 Gran Experiencia: Optimizado en múltiples proyectosARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Gran Experiencia: Optimizado en múltiples proyectos
19 RECONOCIMIENTO DE VOZ Introducción Tipos de EvaluaciónSistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
20 RECONOCIMIENTO DE VOZ Introducción Tipos de EvaluaciónSistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
21 RECONOCIMIENTO DE VOZ Introducción Tipos de EvaluaciónSistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Ya hecho Disponible
22 Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Café
23 TRADUCCIÓN BASADA EN REGLASIntroducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
24 TRADUCCIÓN POR REGLAS Introducción Tipos de EvaluaciónReglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas: Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos. El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO: Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
25 TRADUCCIÓN ESTADÍSTICAIntroducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
26 TRADUCCIÓN ESTADÍSTICAGeneración de Modelos Traducción y Modelos de Lenguaje Texto Signos Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Signos Texto Traducción
27 TRADUCCIÓN ESTADÍSTICAGeneración de Modelos Traducción y Modelos de Lenguaje Texto Signos Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Signos Texto Traducción
28 GENERACIÓN DE LA BASE DE DATOS DE SIGNOSIntroducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
29 LISTA DE SIGNOS A GENERAR Lista de signos a generarMuy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo podemos generar sin problemas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Lista de signos a generar
30 REPRESENTACIÓN DE LOS SIGNOSVGUIDO: Agente animado del proyecto eSIGN Desarrollado en colaboración con la empresa VISICAST: Libre para investigación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones
31 REPRESENTACIÓN DE LOS SIGNOSEditor de SIGNOS Genera un fichero SIGML (formato XML) para representar cada SIGNO Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Notación HamNoSys
32 REPRESENTACIÓN DE LOS SIGNOS
33 INTRODUCCIÓN A HAMNOSYSTipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Demo de generación de un signo
34 EVALUACIÓN DE LOS PROTOTIPOS
35 EVALUACIÓN DE LOS PROTOTIPOS Evaluación subjetiva según una encuestaInteligibilidad Velocidad Utilidad.... Evaluación objetiva Tasa de reconocimiento Velocidad.... Número de repeticiones USUARIOS FINALES
36 DIVULGACIÓN DE RESULTADOSPágina web con los resultados del proyecto. Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....
37 RUEGOS Y PREGUNTAS