1 Artificial Neural Networks for Computer Vision Zhou, Chelappa Springer Verlag

2 Introducción Algoritmos de visión de bajo nivel implementados mediante redes neuronales –Extracción de información tridimensional a partir de imágenes bidimensionales –Información sobre movimiento en secuencias de imágenes En general los problemas de vision de bajo nivel están mal planteados (ill posed). La regularización de Tikhonov consiste en –introducir restricciones dadas por el conocimiento apriorístico –Estabilizar la solución añadiendo funciones auxiliares La computación cooperativa toma en cuenta múltiples restricciones para regularizar las soluciones y tiene una cierta base biológica

3 introduccion La computación cooperativa emplea unidades de proceso masivamente paralelas que se comunican mediante señales inhibitorias y excitatorias La computación cooperativa proporciona una mayor robusted debido a la distribución del conocimiento en las conexiones y a la posibilidad de entrenar o aprender los pesos de las conexiones Las redes neuronales implementan este tipo de computación cooperativa Aplicaciones tratadas –Static stereo –Lateral motion stereo –Longitudinal motion stereo –Computation of optical flow –Image restoration

4 Introducción Las redes empleadas son similares a las de Amari y Hopfield –Dos reglas de decisión: Determinista (búsqueda de mínimos locales) y Estocástica (búsqueda de mínimos globales, muy costosa) –Dos tipos de funciones de activación Umbral Máxima evolución

5 Introducción Visión estéreo convencional se basa en el emparejamiento de líneas, bordes. Inconvenientes: sensibilidad al ruido, escasez de características Utiliza derivadas densas, calculadas utilizando un operador suavización/diferenciación Se escoge el tamaño de la ventana para minimizar el efecto de la discretización espacial. Finalmente utiliza filtros de Gabor (sinusoidales en una ventana gausiana)

6 Introducción Motion stereo utiliza dos o más imágenes monoculares, observadas por la misma cámara en instantes y/o posiciones distintas La red neuronal implementa un campo de disparidades para calcular el emparejamiento estereo. Catefgorias de motion stereo: –Lateral: el movimiento es ortogonal al eje de visión (aprox) –Longitudinal: el movimiento es a lo largo del eje de visión –Rotational: el plano imagen rota en torno al eje de visión

7 Introducción El cálculo del flujo óptico es la distribución de velocidades aparentes de objetos en movimiento en la imagen Problema: localizar discontinuidades en el movimiento Restauración: es la recuperación de una imagen a partir de una imagen degradada

8 Amari Networks Dinámica y estados estables de la red recurrente (neuronas biestables)

9

10

11 Hopfield network Red recurrente, asíncrona

12

13 Hopfield Versión discreta, unidades binarias, interconexiones simétricas y autoconexiones no nulas

14 Hopfield Posiblemente conjuntos disjuntos de unidades para los que se calcula el máximo local, en base a información local

15 Hopfield Estudio de convergencia

16

17 Un conjunto de unidades cambian de estado sim.

18

19 Vision estereo estática Recuperación de la profundidad a partir de dos imágenes tomadas desde distintos puntos de vista Basada en la estereopsis de la vista humana (fig 3.1) Las disparidades en las proeyecciones de los puntos en la retina permiten reconstruir la profundidad Métodos básicos de establecimento de correspondencias y cálculo de disparidades –Basados en regiones: se establece la correspondencia entre regiones mediante correlaciones: –Basados en caracteristicas (ptos, lineas) : son más robustos frente a ruido y variaciones de iluminación, más rápidos, pero no son densos

20 Visión estereo El método propuesto se basa en la correspondencia de regiones Para eliminar la sensibilidad al nivel medio de intensidad se consideran las derivadas de la imagen. Para disminuir el efecto del ruido se combina la derivación con un filtrado de suavización Método resumido –Se toman imágenes desde dos cámaras –Se filtran las imágenes –La Red Neuronal calcula las disparidades

21

22

23

24 La distancia en el eje Z, la profundidad, puede obtenerse a partir de la disparidad Los problemas centrales son –Extraer las características para establecer las correspondencias –Obtener el mapa de disparidad entre esos puntos

25 Estimar las derivadas de primer equivale a calcular el segundo coeficiente del ajuste polinomial de una imagen La restriccón epipolar permite trabajar con lineas solo. Ajuste polinomial de la imagen

26 Estimación de las derivadas Partiendo del ajuste polinomial el cálculo

27

28 Función intensidad continua aproximada Minimizando el error cuadratico

29 El filtro M(y) debe cumplir las siguientes restricciones –Debe eliminar la sensibilidad al sesgo de amplitud –Debe eliminar el ruido eficientemente

30 Imagen corrompida con ruido y sesgo de iluminación El filtro elimina es sesgo La varianza del filtro es de la forma

31

32 La varianza del filtro decrece con el aumento del tamaño de la ventana El aumento de tamaño de ventana produce suavizaciones indeseadas que elimina detalles locales Ventanas muy pequeñas son sensibles al ruido

33 Ejemplos Muestran la reducción de sensibilidad del filtro –Ej1: un sesgo de 20 y ruido blanco gausiano de 30 db se añade a la imagen –Idem con 20 db de ruido

34

35

36

37

38 Consideraciones comp Debido a la discretización de las imágenes, un punto puede no encontrar correspondiente Considerando que la discretización en la imagen izqda induce una discretización en la escena, los ptos en la imagen dcha pueden no coincidir con las proyecciones de los ptos en la escena. Fig 3.5 El error de discretización depende de la profundidad, la longitud de foco y el baseline Para objetos paralelos al plano imagen el error es cero

39

40 La red neuronal Tiene N r xN c x(D+1) neuronas interconectadas D es la máxima disparidad N r y N c son las filas y columnas de la imagen Cada punto se representa por D neuronas mutuamente excluyentes

41 Restricción fotométrica Restricción de suavidad

42

43

44 El emparejamiento se realiza mediante la evaluación de la red. Cada neurona actualiza su estado de acuerdo a sus entradas Su salida es la función maximo (mutuamente excluyentes) por grupos que representan la disparidad

45

46 Los incrementos de la función de energía no son negativos siempre, por lo que no se puede garantizar la convergencia de la red.

47

48

49

50 Resultados experimentales Estereogramas de puntos aleatorios –Generados aleatoriamente –128x128, con forma de pastel de bodas, en tres niveles –La disparidad crece en cada nivel Exp 1: 10% random dot stereogram. 10% pixels blancos Exp2: 50% densidad, 20% de la imagen izqda decorrelados al azar Exp 3: 5 db de ruido gausiano

51

52

53

54 Experimentos Imágenes naturales. –Exigen un cierto alineamiento –Se distingue entre regiones homogeneas y regiones inhomogeneas en base a la varianza, Regiones homogeneas: Actualización secuencial Regiones inhomogeneas: act. síncrona

55

56

57

58 Motion stereo-Lateral Motion Se toma una secuencia de imágenes mientras la cámara se desplaza lateralmentea velocidad constante El eje óptico es perpenticular a la dirección de movimiento Todas las imágenes están espaciadas uniformemente Se aplica la restricción epipolar La disparidad (y la profundidad) pueden determinarse a partir de dos imágenes consecutivas Las primitivas utilizadas son las imágenes de gradiente calculadas a partir de la interpolación con polinomios de Chebyshev y la distancia de Chamfer

59

60 La proyección de un punto en la i-esima imagen La disparidad se puede calcular como

61 Medidas primitivas Aproximación a las derivadas de la imagen mediante polinomios de Chebyshev

62 Medidas primitivas Distancia de Chamfer: distancia al pixel borde más cercano –Construir una imagen binaria de bordes (prewitt) –Construir la imagen de distancias mediante la ecuación recursiva

63 Aproximación batch Realiza el emparejamiento sobre todas las imágenes de la secuencia simultaneamente Cuantifica la disparidad en D valores separados por W Usa tantas neuronas como pixels por valores de disparidad. Son unidades binarias que

64 Batch Movimiento de un pixel en la secuencia sobre el eje y en la imagen p Coordenadas

65 Batch Función de error o energía para el emparejamiento a partir de las distancias de Chamfer y las derivadas

66 Batch Interconexiones e imputs

67 Aproximación recursiva (on-line) Consiste en la realización con cada nueva imagen de dos pasos –Actualización de los bias input –Cálculo del emparejamiento

68 On-line El modelo de la observación La actualización adaptativa

69 Error de emparejamiento Conocidas la varianza del ruido y las segundas derivadas de la imagen

70 Detección de oclusiones Los pixels ocluidos se caracterizan por tener valores infradeterminados de disparidad Las restricciones de suavidad tienden a difuminar las oclusiones (sus altos valores de disparidad)

71

72 Oclusiones Regla de deteccion basada en el error Corrección de bias modificados

73 Resultados experimentales Batch y on-line sobre una secuencia

74

75

76 Motion stereo longitudinal motion Aplicaciones en robótica movil Asume movimiento a lo largo del eje óptico No hay asunciones sobre las superficies Se asume conocimiento de la velocidad de la cámara Utilizan filtros de Gabor para las primitivas

77

78

79

80

81 Se necesitan dos valores de disparidad para calcular la profundidad, debido a la dependencia temporal de la profundidad respecto del plano imagen.

82

83 Dependiendo de la relación usada se restringe la aplicación a los planos X-Z o Y- Z. No se aplica a los puntos en el FOE, por lo que deben ser estimados mediante interpolación Para evitar el error acumulado se utiliza:

84

85

86 Para reducir el efecto del error

87

88

89

90

91

92

93

94

95

96 Optical flow Flujo optico es la distribución de velocidades aparentes de los patrones en movimiento en las imágenes.

97

98

99 Calculan en flujo en base a la intensidad de las imágenes y a las curvaturas principales Para detectar discontinuidades detectan primero las oclusiones y luego aplican un proceso de lineas Utilizan múltiples tramas para mejorar la robusted de la estimación

100

101 Se ajustan la intensidad con un polinomio bivariado para Disminuir el efecto del ruido y la cuantización Utiliza los polinomios de Chebyshev

102

103 Curvatura principales Son los valores minimo y máximo de las curvaturas normales de la función intensidad. Se definen en términos de la curvatura media y la curvatura gausiana.

104 Bajo la asunición Curvatura gausiana Curvatura media

105 Las segundas derivadas pueden calcularse en base a la aproximación de Chebyshev

106

107 Sustituyendo pueden expresarse las curvaturas En terminos de las segundas derivadas

108

109

110

111

112

113 Consideraciones fisiológicas El cortex visual está organizado en capas y con correspondencias topográficas Neuronas con orientación similar se apilan en columnas perpenticulares al la superficie Todas las neuronas en una columna tienen la misma orientación del campo receptivo Una hipercolumna reune varias columnas que cubren 180º aprox. Cada hipercolumna es una unidad visual y codifica complemente un area visual La hipercolumna es selectiva en relación a la dirección, velocidad

114

115

116

117 Computación Las unidades están distribuidas en un plano cartesiano. Las hipercolumnas corresponden a pixels de la imagen Se modelan los desplazamientos para cada pixel (hipercolumnas...) por filas y columnas N r xN c x(D+1) 2 unidades Las hipercolumnas son exclusivas

118

119 Estructura de la red neuronal (i,j) pixel (k.l) direccion de movimiento cuantizada

120

121 Realización Incluye una restricción de suavidad del flujo y un proceso de detección de lineas para detectar discontinuidades del flujo El error se compone de –Diferencia de curvaturas e intensidades –Restricción de suavidad –Proceso de discontinuidades para interrumpir la restricción de suavidad

122

123

124 En la formulación neuronal –Input bias corresponden a las diferencias entre curvaturas e intensidades –Las conexiones entre unidades son Excluyentes entre hipercolumnas Implementan el proceso de lineas Implementan la restricción de suavidad

125

126 Definición del incremento de energía debido a Un cambio de estado en un par de unidades

127

128 Las lineas se actualizan independientemente en Función de los siguientes incrementos de energía Para lineas verticales y horizontales

129 Detección de discontinuidades Resultan de los fenomenos de oclusión producidos por los contornos de los objetos en movimiento Es nesario detectarlas para evitar la sobresuavización del flujo Se basan en la detección de oclusiones para determinar las discontinuidades

130 Split motion: un elemento se divide en varios (fig 6.10) Fusion motion: varios elementos se funden en uno (fig 6.9) El proceso de fusión esta infradeterminado mientras que el de split está sobredeterminado

131

132

133

134 La detección se hace en función de los errores de emparejamiento

135

136 Errores de emparejamiento producidos por la oclusion en (i,j) Bajo proyección ortográfica o de perspectiva sin movimeinto en el eje optico

137

138

139 Multiples tramas

140

141

142 Experimentos Imágenes sinteticas de puntos y un disco rotando Imágenes naturales –Pick-up frente a background estacionario

143

144

145

146

147

148

149 Image restoration

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176