1 Aplicación de visión por computador para el reconocimiento del número de placa de vehículos usando modelos de aprendizaje (OCR convencionales) Fernanda Frydson T Richard Gutierrez P. Facultad de Ingeniería en Electricidad y Computación Escuela Superior Politécnica del Litoral – ESPOL Guayaquil – Ecuador

2 Esquema general ANPR

3 Justificación del proyectoControl de acceso a parqueaderos Control de fraudes en autopistas Control de velocidad media en autopistas Control de camiones Inventariado de vehículos … etc

4 1. Introducción 1.1 ANPR 1.2 OCR 1.2.1 Modelos 1.2.1 Técnicas 1.2.1 Análisis de los OCR’s 2. Implementación de la solución 3. Resultados Experimentales 3. Conclusiones y Recomendaciones

5 Introducción: Sistemas ANPREs una aplicación de Visión por Computador que utiliza Reconocimiento Óptico de Caracteres OCR en imágenes para leer las matriculas de los vehículos Trabaja en un entorno NO CONTROLADO

6 OCR: Reconocimiento Óptico de CaracteresLos sistemas OCR simulan la habilidad humana mediante la creación y el uso de modelos físicos o matemáticos

7 OCR: Reconocimiento Óptico de CaracteresModelos Redes Neuronales: Es un sistema inspirado en el funcionamiento del cerebro humano Método Lógico: Se utiliza conjuntos difusos, lógica simbólica, etc.

8 OCR: Reconocimiento Óptico de CaracteresModelos Método Probabilista: Utiliza análisis de varianzas, covarianzas, dispersión, distribución, etc. Método Geométrico (Clustering): Es un método de agrupación de una serie de vectores de acuerdo a un criterio de cercanía.

9 OCR: Reconocimiento Óptico de CaracteresTécnicas GOCR: Desarrollada por Joerg Schulenburg, se basa en un conjunto de reglas, portable a diferentes SO’s, sensible a imágenes con ruido e inclinación. OCRAD: Creado por Antonio Díaz, es un método de extracción de características geométrico, rápido pero muy sensible al ruido

10 OCR: Reconocimiento Óptico de CaracteresTécnicas TESSERACT: Desarrolla originalmente por Hewlett Packard, luego liberado por Google, es multiplaforma, preciso, potente. El formato que procesa es el TIFF

11 OCR: Reconocimiento Óptico de CaracteresTécnicas Ocrad GOCR Tesseract Precisión en el reconocimiento Buena Excelente Tiempo de respuesta Mala Sistemas Operativos desarrollado Unix Windows Linux Mac OS Lenguaje desarrollado C++ C C y C++ Licencia GNU General Public License Licencia Apache Formato de imagen de entrada Bmp, pgm, ppm pnm, PBM, pgm y otros TIFF Calidad de imagen para análisis Versión estable disponible Julio 2010 Agosto 2009 Sept. 2010

12 OCR: Reconocimiento Óptico de CaracteresAnálisis de los OCR’s Driver Gothic License Plate

13 OCR: Reconocimiento Óptico de CaracteresAnálisis de los OCR’s: GOCR Prueba para imagen 1 Prueba para imagen 2

14 OCR: Reconocimiento Óptico de CaracteresAnálisis de los OCR’s: OCRAD Prueba para imagen 1 Prueba para imagen 2

15 OCR: Reconocimiento Óptico de CaracteresAnálisis de los OCR’s: Tesseract Prueba para imagen 1 Prueba para imagen 2

16 OCR: Reconocimiento Óptico de CaracteresAnálisis de los OCR’s: Tesseract entrenado Prueba para imagen 1 Prueba para imagen 2

17 Reconocidos Correctamente Reconocidos CorrectamenteOCR: Reconocimiento Óptico de Caracteres Análisis de los OCR’s Resultados para imagen 1 OCR Total de Caracteres Reconocidos Correctamente No Reconocidos Porcentaje de Error GOCR 37 35 2 5.41 Ocrad 29 8 21.62 Tesseract 31 6 16.22 Tesseract entrenado 36 1 2.70 Prueba para imagen 2 OCR Total de Caracteres Reconocidos Correctamente No Reconocidos Porcentaje de Error GOCR 37 34 3 8.10 Ocrad 30 7 18.92 Tesseract 31 6 16.22 Tesseract entrenado

18 1. Introducción 2. Implementación de la solución 2.1 Placas Vehiculares 2.2 Tesseract 2.2.1 Fase de entrenamiento 2.2.1 Fase de reconocimiento 3. Resultados Experimentales 4. Conclusiones y Recomendaciones

19 Tipos de placas vehicularesen el ecuador Placa Particular Placa de Alquiler Placa Municipal Placa Gubernamental

20 Esquema General del OCR

21 Fases del Tesseract

22 OCR implementado Etapa 1: Entrenamiento paso a pasoDeterminar el conjunto de caracteres que van a ser utilizados Diseñar imagen con texto que contenga un conjunto de ejemplos

23 OCR implementado Puntos importantes para crear imagen de entrenamientoTener muestras Caracteres frecuentes mínimo 20 muestras No hacer frases sin significado ejemplo, Los datos de entrenamiento se debe agrupar por tipo de letra Mas de 10 muestras para caracteres cerca de los 15 pixeles

24 OCR implementado Imágenes Plantilla

25 OCR implementado Cuadro comparativo de pruebas

26 OCR implementado Características de las imágenesLas imágenes son previamente binarizadas El formato es TIFF, sin compresión Resolución es de 72ppp - 300ppp

27 OCR implementado Clasificación de las placas BuenasParcialmente Buenas Malas

28 OCR implementado Análisis de pagina Antes Despues

29 OCR implementado Detección de errores AntesDistinción entre caracteres alfabéticos y numéricos La letra “B” era reconocida como el número “8”. El cero “0” era reconocido como la letra “O”, “Q” o “D”, “U”. El seis “6” fácilmente era reconocido como la letra “G” El número “1” fácilmente era reconocido con la “I” El “4” hallaba similitud con la letra “A” El número “5” hallaba similitud con la letra “S” El número “2” hallaba similitud con la letra “Z”. El número “7” hallaba similitud con la letra “T” Antes

30 OCR implementado Detección de errores DespuésDistinción entre caracteres alfabéticos y numéricos Después Placas Tasa de Reconocimiento % de Rec. Con Clasificación 100 Placas (606 Imágenes) 28% 66%

31 OCR implementado Detección de errores Similitud de caracteres

32 OCR implementado Detección de erroresPatrones para caracteres especiales

33 OCR implementado Detección de errores Caracteres Sesgados

34 OCR implementado Detección de errores Caracteres Sesgados

35 OCR implementado Detección de errores Caracteres Sesgados

36 OCR implementado Detección de errores: Rotación sobre eje vertical45 Grados Corrección geométrica: Ninguna Resultado: GMX 672 100% Caracteres Reconocidos Imagen Binaria B/N - TIFF Sin compresión: 65 Grados Corrección geométrica: Ninguna Resultado: GMX 672 100% Caracteres Reconocidos Imagen Binaria B/N - TIFF Sin compresión:

37 OCR implementado Detección de errores 7 0 GradosCorrección geométrica: Ninguna Resultado: GMX 672 100% Caracteres Reconocidos Imagen Binaria B/N - TIFF Sin compresión: 75 Grados Corrección geométrica: Ninguna Resultado: GMX 672 83,33% Caracteres Reconocidos Errores: Mientras el ángulo de rotación horizontal aumenta, los caracteres tienden a tomar similitud con otros como es el caso del 1 y 7, M y H.

38 OCR implementado Detección de errores: Rotación sobre eje horizontal45 Grados Corrección geométrica: Ninguna Resultado: GMX 672 100% Caracteres Reconocidos Imagen Binaria B/N - TIFF Sin compresión: 65 Grados Corrección geométrica: Ninguna Resultado: GMX 672 100% Caracteres Reconocidos Imagen Binaria B/N - TIFF Sin compresión:

39 OCR implementado Detección de errores: Rotación sobre eje horizontal70 Grados Corrección geométrica: Ninguna Resultado: GMX 672 83.33% Caracteres Reconocidos Imagen Binaria B/N - TIFF Sin compresión: Errores: Mientras aumente su rotación vertical, luego de la binarización, los caracteres tienden a verse aplastados causando problemas de reconocimiento y como en el presente ejemplo la “M” la reemplaza por “III” o simplemente no la reconoce.

40 RESULTADO SOBRE 100 PLACAS / 606 IMAGENES Total de Placas ReconocidasOCR implementado Etapa 2: Reconocimiento RESULTADO SOBRE 100 PLACAS / 606 IMAGENES Librería pv2 pv3 pv4 pv5 pv6 pv7 Pv8 (Final) Total de Placas Reconocidas 66 72 75 60 83

41 1. Introducción 2. Implementación de la solución 2.1 Placas Vehiculares 2.2 Tesseract 2.2.1 Fase de entrenamiento 2.2.1 Fase de reconocimiento 3. Resultados Experimentales 4. Conclusiones y Recomendaciones

42 Pruebas de campo Puntos 24 Tomas 240 Corrección aplicada AlineamientoImágenes procesadas 1440

43 Resultados: pruebas de campo

44 Pruebas de campo % de eficiencia algoritmo implementado

45 1. Introducción 2. Implementación de la solución 2.1 Placas Vehiculares 2.2 Tesseract 2.2.1 Fase de entrenamiento 2.2.1 Fase de reconocimiento 3. Resultados Experimentales 4. Conclusiones y Recomendaciones

46 Conclusiones y RecomendacionesSe consiguió realizar una librería de entrenamiento con excelentes resultados Se podría crear un entrenamiento mucho más robusto utilizando placas de otros países

47 Conclusiones y RecomendacionesEn el presente proyecto se realizó la toma de imagen de manera manual, por lo que se puede realizar de manera autónoma.