1 Manteniendo el foco: control de seguimiento y vergencia en un sistema de atención visual Pilar Bachiller y Pablo Bustos Departamento de Tecnología de los Computadores y de las ComunicacionesUNIVERSIDAD DE EXTREMADURA

2 Índice Introducción Sistema de seguimiento 3D Experimentos Conclusiones Pilar Bachiller y Pablo Bustos Manteniendo el foco 1. Introducción 2. Sistema de seguimiento 3D Control de seguimiento Control de vergencia 3. Experimentos La plataforma robótica Resultados experimentales 4. Conclusiones

3 Introducción Sistema de seguimiento 3D Experimentos Conclusiones Pilar Bachiller y Pablo Bustos Manteniendo el foco SISTEMA DE ATENCIÓN VISUAL Detección de regiones de interés Harris-Laplace Selección de un objetivo visual Integración bottom-up y top-down Seguimiento binocular del objetivo Respuesta motora

4 Introducción Sistema de seguimiento 3D Experimentos Conclusiones Pilar Bachiller y Pablo Bustos Manteniendo el foco Separación del control Cámara de vergencia Cámara dominante Control monocular de seguimiento Control asimétrico de vergencia Configuración maestro-esclavo

5 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de seguimiento Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Objetivo Imagen Pirámide Prisma Seguimiento monocular del objetivo Falsos positivos Búsqueda de correspondencias Problema: aparición de falsos positivos Maximización del coeficiente de correlación Solución: Búsqueda en el espacio de escala

6 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de seguimiento Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Pirámide[0] Prisma[0] cCorrel iCorrel iCorrel  cCorrel(prisma[0],w E /2,h E /2,w E, h E, piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H,  Correl, maxCorrel) l  0 while listMax.length()>1  l1  l

7 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de seguimiento Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia LocalMaximaTh iCorrel listMax  Correl maxCorrel (x,y) correl iCorrel  cCorrel(prisma[0],w E /2,h E /2,w E, h E, piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H,  Correl, maxCorrel) l  0 while listMax.length()>1  l1  l

8 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de seguimiento Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia listMax l iCorrel  cCorrel(prisma[0],w E /2,h E /2,w E, h E, piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H,  Correl, maxCorrel) l  0 while listMax.length()>1  l1  l

9 iCorrel  cCorrel(prisma[0],w E /2,h E /2,w E, h E, piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H,  Correl, maxCorrel) l  0 while listMax.length()>1  l1  l No Sí

10 l iCorrel  cCorrel(prisma[0],w E /2,h E /2,w E, h E, piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H,  Correl, maxCorrel) l  0 while listMax.length()>1  l1  l maxCorrel then maxCorrel  correl endif endfor maxCorrel  0 for p=0 to listMax.length() -1 do x C  (listMax[p].x)*s l y C  (listMax[p].y)*s l correl  sCorrel(prisma[l], w E /2, h E /2, w E, h E, piramide[l], x C, y C, w E, h E ) listMax[p].correl  correl if correl > maxCorrel then maxCorrel  correl endif endfor Cálculo de correlación listMax sCorrel maxCorrel > p l

11 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de seguimiento Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia listMax l l l iCorrel  cCorrel(prisma[0],w E /2,h E /2,w E, h E, piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H,  Correl, maxCorrel) l  0 while listMax.length()>1  l1  l

12 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de vergencia Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Extensión de la zona de vergencia Cámara Dominante (CD) Cámara de Vergencia (CV) Vergencia asimétrica Búsqueda de la ventana central de CD en CV Maximización del coeficiente de correlación ¿Extensión de la zona de vergencia? Prisma (CD)Pirámide (CV) Búsqueda descendente en el espacio de escala

13 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de vergencia Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel <  Correl  correlLevel>maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel <  Correl  correlLevel>maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s Control asimétrico de vergencia wS Pirámide Prisma 0 1 nLevels-1 hS (xS, yS)

14 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de vergencia Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel <  Correl  correlLevel>maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel <  Correl  correlLevel>maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s Control asimétrico de vergencia Pirámide Prisma l iCorrel cCorrel correlLevel maximumXY (xMax, yMax)

15 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de vergencia Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel >  Correl  correlLevel > maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel >  Correl  correlLevel > maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s Control asimétrico de vergencia Pirámide Prisma l l+1 correlLevel  correl < maxCorrel > y  SÍ NO ?

16 Pilar Bachiller y Pablo Bustos Manteniendo el foco Control de vergencia Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel >  Correl  correlLevel > maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel >  Correl  correlLevel > maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s Control asimétrico de vergencia Pirámide Prisma l l l (xVerg, yVerg)

17 Pilar Bachiller y Pablo Bustos Manteniendo el foco La plataforma robótica Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Robot móvil con visión estéreo Torreta estéreo Base móvil 3 grados de libertad 2 grados de libertad Experimentos Control de seguimiento Seguimiento durante una tarea de navegación Control de vergencia Favorable Sin textura Sin correspondencia Control conjunto Seguimiento binocular de un objetivo en movimiento

18 Pilar Bachiller y Pablo Bustos Manteniendo el foco Resultados experimentales Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Seguimiento de una región en una secuencia de avance

19 Pilar Bachiller y Pablo Bustos Manteniendo el foco Resultados experimentales Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Vergencia en una situación favorable Cámara Dominante Cámara de Vergencia

20 Pilar Bachiller y Pablo Bustos Manteniendo el foco Resultados experimentales Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Vergencia en una zona sin textura Cámara Dominante Cámara de Vergencia

21 Pilar Bachiller y Pablo Bustos Manteniendo el foco Resultados experimentales Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Zona de vergencia fuera del campo de visión Cámara Dominante Cámara de Vergencia

22 Pilar Bachiller y Pablo Bustos Manteniendo el foco Resultados experimentales Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Control conjunto de seguimiento y vergencia Fijación inicial sobre el objetivo Avances en línea recta Respuestas inmediatas en el control Vergencia posterior al seguimiento Variaciones de aspecto producidas por cambio de trayectoria Captura continua de cambios en el objetivo

23 Pilar Bachiller y Pablo Bustos Manteniendo el foco Conclusiones Introducción Sistema de seguimiento 3D Experimentos Conclusiones Sistema de seguimiento binocular Separación del control: seguimiento monocular y vergencia asimétrica Búsqueda en el espacio de escala Seguimiento mediante localización ascendente Vergencia mediante correspondencia descendente Experimentos reales Líneas futuras Interacción con un sistema conceptual de categorización Anticipación como medio de sincronización de los dos controladores