1

2 Implementación de una Aplicación Móvil de Teleoperación bajo la Plataforma Android para Controlar un Robot Industrial Autores Buenas tardes Mi nombre es Juan Camilo Yepes y mi compañero es Juan José Yepes, y nuestro director es el ingeniero especialista José Rafael Martínez A continuación les vamos a presentar el proyecto de trabajo de grado para optar al título de ingenieros electrónicos llamado: Implementación de una Aplicación Móvil de Teleoperación bajo la Plataforma Android para Controlar un Robot Industrial Juan C. Yepes Juan J. Yepes Director José R. Martínez Grupo de Investigaciones en Bioingeniería, Centro de Bioingeniería

3 Introducción Con la finalidad de aprovechar las ventajas y beneficios que conlleva usar dispositivos móviles, se desarrolló una aplicación móvil bajo la plataforma Android para el control inalámbrico de un brazo robótico industrial KUKA KR6, mediante la tecnología WiFi con fines de teleoperación. Dados los avances tecnológicos en los teléfonos móviles y tabletas, es posible usarlas como herramientas para el desarrollo de aplicaciones más complejas, que puedan intervenir en un sistema de control. Por ello se decidió desarrollar una aplicación móvil para el control inalámbrico de un brazo robótico industrial KUKA KR6, mediante la tecnología WiFi con fines de teleoperación

4 Introducción (II) En el desarrollo de la aplicación se implementó el modelo de sistema maestro esclavo, en el cual un dispositivo controla de forma unidireccional (maestro) las acciones que ejecuta el otro (esclavo). Este sistema se implementó además usando el concepto de  teleoperación, que es donde un operador controla y monitorea de forma remota sensores y actuadores. Manipulando el sistema robótico a distancia. El sistema se compone de dos zonas: La zona local es el lugar donde se encuentra el operador con un dispositivo móvil a través del cual envía los datos para ejercer el control sobre el robot La zona remota es el lugar donde se encuentra el brazo robótico con una pinza como efector final que interactua con el entorno, y un controlador que recibe y procesa los datos enviados por un microcontrolador

5 Alcances y objetivos Compatibilidad de comunicación Competencias Android Interfaz amigable Comparación Teach Pendant Pruebas Telemedicina Cinemática del robot El proyecto surgió como continuación y apoyo a trabajos realizados en la Línea de Robótica Médica del Centro de Bioingeniería de la UPB a partir de lo cual se planteó Diseñar e implementar una aplicación móvil para teleoperación y con base a esto se propusieron los siguientes objetivos específicos: - Estudiar los protocolos de comunicación compatibles entre el robot industrial y un dispositivo móvil, con el fin de determinar cuál se implementará según el estudio realizado. - Adquirir las competencias necesarias para el desarrollo de una aplicación móvil. - Diseñar e implementar una interfaz amigable para el usuario que permita realizar acciones de control sobre el robot de forma fácil y rápida con la ayuda de un sistema de visualización. - Realizar una comparación de los tiempos empleados en el aprendizaje del manejo del robot con el teach pendant y con la interfaz implementada en una aplicación móvil. - Elaborar pruebas en el sistema maestro esclavo para evaluar su posible uso en aplicaciones de telemedicina. - Implementar los conceptos de cinemática en manipuladores robóticos con el fin de restringir movimientos del robot Diseñar e implementar una aplicación móvil para teleoperación

6 Alcances y objetivos Compatibilidad de comunicación Competencias Android Interfaz amigable Comparación Teach Pendant Pruebas Telemedicina Cinemática del robot El proyecto actual en desarrollo, surgió como continuación y apoyo a trabajos realizados en la Línea de Robótica Médica del Centro de Bioingeniería de la UPB y con él se propusieron los siguientes objetivos: Estudiar los protocolos de comunicación compatibles entre el robot industrial y un dispositivo móvil, con el fin de determinar cuál se implementará según el estudio realizado. Adquirir las competencias necesarias para el desarrollo de una aplicación móvil. Diseñar e implementar una interfaz amigable para el usuario que permita realizar acciones de control sobre el robot de forma fácil y rápida con la ayuda de un sistema de visualización. Realizar una comparación de los tiempos empleados en el aprendizaje del manejo del robot con el teach pendant y con la interfaz implementada en una aplicación móvil. Elaborar pruebas en el sistema maestro esclavo para evaluar su posible uso en aplicaciones de telemedicina. Implementar los conceptos de cinemática en manipuladores robóticos con el fin de restringir movimientos del robot. Diseñar e implementar una aplicación móvil para teleoperación

7 Antecedentes Como trabajo previo se desarrolló una aplicación móvil (Tilt Control) basada en el Sistema Operativo Android, utilizando la tecnología USB para la comunicación. Con el objetivo de conocer las limitaciones y la viabilidad del proyecto, se realizó una implementación previa bajo el nombre Tilt Control, en la cual se desarrolló una aplicación que permitiera realizar un control básico del robot a través de una comunicación USB. Dicho desarrollo fue sometido a pruebas de concepto y encuestas, donde el usuario debía usar los sensores de movimiento y los botones de la interfaz para controlar el movimiento del robot para agarrar un objeto en una mesa. En donde se obtuvo como resultado significativo que el 100% de los usuarios les gustó la interfaz gráfica y el 71.42% destaco la ergonomía en el control del sistema robótico y los demás resultados que se aprecian en las figuras. En dicho trabajo se encontró como limitante el uso de USB por la longitud del cable y la incomodidad que da el tenerlo conectado al dispositivo. *Basados en este desarrollo, en sus resultados y en el desarrollo del presente trabajo de grado se realizó un artículo que fue presentado como POSTER en el VIII Panamerican Health Care Exchanges Conference (PAHCE-2013) y en el V Congreso Colombiano de Bioingeniera e Ingeniera Biomedica (V-CCBIO-2013). Disponible en la librería digital IEEE Explore.

8 Sistema Maestro Aplicación desarrollada como mejora a Tilt Control, donde se implementaron nuevas funcionalidades y compatibilidad tanto con tabletas como con teléfonos inteligentes. A continuación les presentaré las características del sistema maestro Asimov, desarrollado como mejora a partir de Tilt Control, donde se implementaron nuevas funcionalidades, un nuevo sistema de comunicación y compatibilidad tanto con tablets como con teléfonos inteligentes.

9 Sistema Maestro Sistema OperativoAlgunas ventajas que nos ofrece Android son: Gran cantidad de desarrolladores. Estabilidad. Velocidad. Código abierto. Multitareas y gestión de aplicaciones. Curva de aprendizaje baja. Como sistema operativo del sistema maestro se escogió Android, principalmente por su baja curva de aprendizaje, la amplia documentación disponible y su característica de código abierto que amplia las posibilidades de desarrollo libre.. The Android robot is reproduced or modified from work created and shared by Google and used according to terms described in the Creative Commons 3.0 Attribution License.

10 Sistema Maestro Pantallas Principales SEGURIDAD MENÚ AYUDAAsimov cuenta con tres pantallas principales que dan al usuario seguridad, soporte y le permiten navegar dentro de la aplicación La pantalla inicial tiene un inicio de sesión para brindar seguridad a la aplicación. El menú principal cuenta con un acceso rápido a tres de las funciones del robot, aunque desde cualquier parte de la aplicación se puede acceder a cada una de ellas desde el menú de navegación lateral. La pantalla de ayuda permite al usuario acceder fácilmente a un video demostrativo, al manual de usuario y a contactarnos en caso de necesitar soporte. SEGURIDAD MENÚ AYUDA

11 Sistema Maestro Funciones BOTONES INCLINACIÓN CINEMÁTICA VISUALIZACIÓNLas cinco pantallas para el control del robot En esta parte de la aplicación es posible mover y controlar cada una de las articulaciones de forma independiente o el efector final en un plano cartesiano mediante botones y se puede visualizar las coordenadas actuales del robot. En la parte superior se encuentra la barra de acción, desde donde se puede abrir y cerrar la pinza del robot, guardar la posición actual, cambiar el tipo de movimiento (PTP o lineal), cambiar la velocidad, configurar la conexión con el robot, configurar la cámara e ingresar a la sección de ayuda. Mediante el uso de los sensores del dispositivo móvil, se puede mover el robot a posiciones especificadas por el usuario mediante la visualización de un sistema de círculos en un eje coordenado. Mediante el uso de la cinemática del robot se puede restringir el espacio de trabajo del robot, por motivos de seguridad y para limitar el movimiento del robot según sea necesario. La pantalla de visualización, implementa el control por botones y permite mediante una cámara web de un computador o de otro dispositivo, visualizar los movimientos del robot desde un lugar sin línea de vista directa con este, por ejemplo, un médico desde otra ciudad puede controlar el robot a distancia y visualizar los movimientos que este realiza. La pantalla permite organizar, y seleccionar los puntos almacenados previamente para ejecutar una secuencia de trabajo por parte del robot. VISUALIZACIÓN PUNTOS ALMACENADOS

12 Sistema Maestro Sensor FusionAlgunos de los últimos e innovadores dispositivos móviles incluyen sensores como Giróscopos, Acelerómetros y Brújulas. Los acelerómetros miden la aceleración lineal más la gravedad. Las brújulas son sensores de campo magnético. Los giróscopos miden la velocidad angular de su propia rotación. Es importante destacar los sensores utilizados en la función de inclinación, el la cual a través de una fusión de sensores (giroscópio, acelerómetro) fue posible obtener una respuesta más fluida y precisa a los movimientos del operador.

13 Sistema Maestro Sensor FusionUna muestra de ello se observa en esta gráfica en la cual hay dos respuestas ante el mismo movimiento del operador, la linea punteada muestra la respuesta usando únicamente el acelerómetro y la negrilla muestra la respuesta usando la fusión de sensores.

14 Sistema Esclavo Brazo Robótico KUKA KR66 grados de libertad con espacio de trabajo esférico. Velocidad Máxima de 2 m / s. Repetitividad ± 0.05 mm. Rango Máximo 1611 mm Como se mencionó anteriormente se uso como sistema esclavo el Brazo Robótico KUKA KR6 de la UPB, que tiene 6 grados de libertad con espacio de trabajo esférico, una velocidad máxima de 2 metros por segundo, una repetividad de 0.05 milímetros y que soporta un peso en la punta de hasta 6 kilogramos.

15 Sistema Esclavo Cinemática DirectaPara comprender y utilizar la cinemática del robot, se realizó un análisis de la cinemática directa, mediante el cual teniendo la posición de las articulaciones del robot, se puede determinar la posición espacial del efector final, utilizando la metodología de de Denavit-Hartenberg que permite describir la geometría de un brazo robótico y la cual indica el primer paso para la obtención de las ecuaciones de transformación siguientes, obtenidas a través de un tratamiento matricial. 𝑋=260 𝐶 𝐶 1 𝐶 𝐶 5 𝐶 1 𝑆 23 −115 𝑆 5 𝑆 1 𝑆 4 − 𝐶 4 𝐶 1 𝐶 𝑆 1 𝑆 4 − 𝐶 4 𝐶 1 𝐶 𝐶 1 𝐶 𝐶 1 𝑆 23 𝑌=−35 𝑆 1 𝐶 23 −680 𝐶 2 𝑆 1 −115 𝐶 5 𝑆 1 𝑆 23 −115 𝑆 5 𝐶 1 𝑆 4 − 𝐶 4 𝑆 1 𝐶 𝐶 1 𝑆 4 − 𝐶 4 𝑆 1 𝐶 23 −670 𝑆 1 𝑆 23 −260 𝑆 1 𝑍=670 𝐶 23 −680 𝑆 2 −35 𝑆 𝐶 5 𝐶 23 − 𝐶 4 𝑆 5 𝑆

16 Sistema Maestro-EsclavoProtocolos de Comunicación Característica Bluetooth USB WiFi ZigBee Velocidad 24 Mbps 5 Gbps 450 Mbps 250 Kbps Rango 10 m – 100 m Variable 30 m – 160 m 10 m – 75 m Frecuencia 2.4 GHz N/A 2.4/5 GHz 868/915/2400 MHz Implementación Media Consumo de Energía Bajo Alto Costo Medio Basados en uno de los objetivos se estudiaron diferentes protocolos de comunicación Bluetooth, USB, WiFi y Zigbee, sus características, ventajas y desventajas. A partir de ello se escogió el protocolo WiFi ya que ofrece una mayor cobertura, una conexión segura y estable con una velocidad de transmisión de datos mayor. Adicionalmente permite conectarse a internet y realizar funciones adicionales con las que Bluetooth no cuenta. Los protocolos estudiados (excepto USB) ofrecen el beneficio de ergonomía de no utilizar cables, realizando una comunicación inalámbrica.

17 Sistema Maestro-EsclavoSistema de Comunicación La comunicación está compuesta por el dispositivo móvil como cliente TCP, que se comunica con un dispositivo Arduino WiFi Shield que actúa como servidor TCP y que transfiere y recibe datos del controlador KUKA KR C2 a través de una conversión TTL a RS232 (Serial) de los datos. Las órdenes y comandos son enviados en tramas al controlador KUKA KR C2, quien interpreta su estructura y contenido para ejecutar las acciones de control. A1/X A2/Y A3/Z A4/A A5/B A6/C Pinza Velocidad Movimiento Control

18 Video

19 Pruebas Descripción El usuario debía llevar el efector final desde la posición inicial del brazo robótico hasta un punto inicial y luego hasta un punto final. Se debía agarrar uno de los objetos dispuestos sobre una mesa, y luego depositarlos en un recipiente. En las pruebas se evaluó: Usabilidad Facilidad de aprendizaje Interfaz gráfica Comodidad Manejabilidad Se realizó un estudio para determinar la viabilidad, comodidad y funcionalidad del proyecto a través del desarrollo de unas pruebas de concepto y posteriormente se realizaron encuestas demográficas y de percepción. Con el fin de comparar los sistemas Asimov y Teach Pendant, las pruebas se dividieron en dos etapas iguales para cada uno de ellos, donde se contabilizó el tiempo de ejecución  y los errores cometidos para analizar los tiempos de aprendizaje. En la primera los usuarios debían llevar el efector final del robot desde la posición inicial del robot a un punto y luego a un segundo punto. En la segunda etapa se debía agarrar uno de los objetos dispuestos sobre una mesa y luego depositarlo en un recipiente. La encuesta se calificó de 1 a 7, siendo 1 Mala y 7 Excelente.

20 Pruebas Resultados A continuación se presentan las gráficas de los resultados más significativos obtenidos de las encuestas realizadas a los usuarios. Algunos de los resultados a destacar fueron la interfaz gráfica donde el 88,9% de los usuarios calificaron sobre 6 a Asimov y 33,3 % a Teach Pendant y la comodidad del sistema donde el 77,8% calificaron sobre 6 a Asimov y 22,2% a Teach Pendant. En la medición de tiempos en la primera prueba con Asimov tardó 9,57% más y en la segunda Teach Pendant tardó 4,83% más, y también se obtuvo que los usuarios preferirían usar Asimov como sistema maestro para teleoperación con un 89%. Interfaz Gráfica Asimov 88.9% calificaron por encima de 6 Teach Pendant 33.3% calificaron por encima de 6 Comodidad Asimov 77,8% calificaron por encima de 6 Teach Pendant 22,2% calificaron por encima de 6 Tiempos de Aprendizaje Prueba I Asimov se demoró 9.57% más Prueba II Teach Pendant se demoró 4.83% más

21 Productos Tipo de Producto Referencia Título Tesis o Trabajo de GradoDe Pregrado Implementación de una Aplicación Móvil de Teleoperación bajo la Plataforma Android para Controlar un Robot Industrial Algoritmo Código en JAVA y XML de la aplicación desarrollada (Interfaz gráfica + Funciones de Control + Manejo de Sensores + Comunicación Sistema Maestro-Esclavo) N/A Código para la programación de un microcontrolador encargado de la comunicación con el sistema robótico. Manual de Usuario Documentación cuyo objetivo es explicar a los usuarios como manejar el programa principal Tipo de Producto Referencia Título Artículo, poster y ponencia. Acta disponible en línea en IEEE Xplore VIII Panamerican Health Care Exchanges Conference (PAHCE-2013) y V Congreso Colombiano de Bioingeniería e Ingeniería Biomédica (V-CCBIO-2013) Implementation of an Android based teleoperation application for Controlling a KUKA-KR6 robot by using sensor fusion Exposición 3ra Feria de la Innovación e Invención Aplicada - ACIEM & ACOFI Sistema de monitoreo remoto de ambientes inteligentes en cunas para el cuidado de bebes SBCC (Smart Baby Care Crib) Ponencia Jornadas de Instrumentación y Control Politécnico Colombiano Jaime Isaza Cadavid Teleoperación de manipulador robótico utilizando una aplicación móvil Registro de Software UPB Tilt Control Asimov Estos son los productos inciales propuestos para el trabajo de grado Como productos adicionales a los planteados se obtuvieron los siguientes:: ACIEM -  con base al sistema de comunicación desarrollado en Asimov, se realizó un aporte y apoyo al proyecto tal del Centro de Bioingeniería.

22 Conclusiones Con el desarrollo de las competencias apropiadas, se logró diseñar e implementar la aplicación móvil de control Asimov, la cual se valida con los resultados obtenidos en las pruebas. USB tiene un menor consumo de energía y genera menores costos pero por sus limitaciones físicas, se eligió la tecnología WiFi que ofrece una mayor cobertura y velocidad de transmisión de datos que el estándar Bluetooth. La implementación de una interfaz gráfica amigable permite realizar las acciones de control de manera cómoda y ágil, lo que se evidencia con un 66.7% de los usuarios que calificaron como excelente la interfaz gráfica del sistema Asimov y un 22.2% como muy buena, sobre un 33.3% que calificó la del Teach Pendant como buena, 22.2% como muy buena y solo el 11.1% como excelente. Mediante el uso de la cámara web como sistema de visualización del robot, es posible realizar acciones de control de forma remota, sin contar con una línea de vista directa del espacio de trabajo del robot.

23 Conclusiones El 67% expresaron que usar Asimov es más práctico que el Teach Pendant. Incluso el 89% de ellos tuvo tendencia a preferir el sistema maestro propuesto, por encima del actual. Estos resultados indican que Asimov es una alternativa viable para el control de manipuladores robóticos y para aplicaciones en el campo de la medicina. En la primera prueba los usuarios tardaron un 9.57% de tiempo más usando la aplicación móvil con respecto al otro dispositivo y para la segunda tardaron 4.83% de tiempo más usando el Teach Pendant con respecto a lo tardado con Asimov. No se pudo superar al Teach Pendant, sin embargo se alcanzó un rango cercano a este. De acuerdo a los resultados de las encuestas se propone el uso de la aplicación para la manipulación de medicamentos en ambientes estériles, manipulación de materiales de riesgo biológico en una sala de cirugía, en laboratorios donde se deban manipular bacterias o virus que puedan ser un foco de enfermedades o se hagan mezclas de alto peligro ambiental o en el posicionamiento de camillas automáticas en una sala de cirugía para la ubicación de los pacientes durante los tratamientos o procedimientos quirúrgicos.

24 Conclusiones Los resultados de las encuestas evidencian que el 44.4% de los usuarios valoraron el control de inclinación como muy bueno, lo que lleva a pensar que causó gran impacto en los usuarios aunque prefirieron usar el control mediante botones. En ocasiones la respuesta a las acciones de control tenían un retardo entre 250ms y 2.8s para ejecutarse, esto debido a que el búfer del puerto serial del robot se llena, y se debe esperar para enviar una nueva trama de control, por ello se propone para diminuir el retardo el uso de un módulo Ethernet para el controlador KUKA KR C2. La implementación de los conceptos de cinemática en manipuladores robóticos permite a los usuarios modificar y reducir el espacio de trabajo del robot, restringiendo sus movimientos al espacio contenido dentro de estos límites definidos en la aplicación, reduciendo el riesgo de colisiones del robot en casos en que el ambiente cuente con obstáculos y el robot no cuente con unos limites definidos previamente por el usuario.

25 Ing. Esp. José R. Martínez (Director)GRACIAS Ing. Esp. José R. Martínez (Director) Dra. Vera Z. Pérez A nuestros padres, al público y a todos quienes hicieron que fuera posible