View
63
Download
2
Category
Preview:
Citation preview
Visión Artificial
MSc. Edgar Taya AcostaUniversidad Nacional Jorge Basadre
Grohmann
1
2
• Introducción a los Sistemas de Visión Artificial (SVA)
• Aspectos generales sobre imágenes
• Etapas de los SVA
• Elementos de un SVA
• Clases fundamentales de procesado de imágenes
• Algoritmos y aplicaciones sobre imágenes digitales
Panorámica de la Visión Artificial
3
Introducción a los SVA: Objetivo
• Imagen o una secuencia de imágenes extraer e interpretar de manera automática la información del mundo real 3D.
- Escena de tráfico
- Número de vehículos
- Clases de vehículos
- Localización de obstáculos
- Interpretación de la escena
4
Panorámica de la Visión Artificial
Introducción a los SVA:
¿Por qué un SVA?
• “Una imagen tiene más información que mil palabras”
• Muchos sistemas biológicos dependen de su sistema
de visión (inspiración biológica)
• En la actualidad, los ordenadores, cámaras y otros
dispositivos son baratos y sus prestaciones aumentan
• El “mundo real” es 3D y dinámico
5
Panorámica de la Visión Artificial
Introducción a los SVA: Visión Activa• En ocasiones, los sensores y su entorno se pueden modificar de manera activa en un SVA (sistemas activos). • Se trata de controlar la óptica y la estructura soporte de las cámaras para simplificar el problema de Visión Artificial a resolver.• Características de un sistema activo:
-modo continuo, -filtrado de la información, -tiempo real (tiempo de respuesta limitado),-control del proceso (regiones de interés), …
6
Panorámica de la Visión Artificial
Introducción a los SVA:
Aspectos de Interés para un SVA:• ¿Cuál es la información relevante a extraer de la escena para el problema a resolver?• ¿Cómo se puede extraer dicha información?• ¿Cuál es la forma más apropiada de representar la información extraída? • ¿Cómo se puede usar dicha información para resolver el problema de VA planteado?
7
Panorámica de la Visión Artificial
Introducción a los SVA:
La Visión Artificial es un área multidisciplinar, relacionada con: • Tratamiento de imágenes• Reconocimiento de patrones• Fotogrametría• Gráficos por ordenador• Inteligencia artificial• Geometría proyectiva• Teoría de control• ….
8
Panorámica de la Visión Artificial
Física de la imagen: ¿Cómo se forman las imágenes?
* Cámaras (sensores): - ¿Cómo funciona una cámara?- ¿Cómo posicionar la/s cámara/s en un SVA?
* Luz:- ¿Cómo medir la cantidad de energía luminosa?- ¿Cómo interactúa la luz con la superficie de los objetos?- ¿Cómo se calculan los valores de brillo de los píxeles?
* Color:- ¿Cuáles son los mecanismos físicos del color?- ¿Cómo representar y medir el color?
9
• Teorías antiguas: “luz emitida por el ojo”,...• Teoría corpuscular (Newton, 1669): explica fenómenos como la reflexión y la refracción• Teoría ondulatoria (Huygens, 1690): explica fenómenos de difracción e interferencia luminosa• Posteriores trabajos de Young y Fresnel (s. XIX), relacionados con la teoría ondulatoria• Teoría electromagnética (Maxwell, s. XIX): teórico del modelo ondulatorio, establece relaciones entre luz y electromagnetismo. Cada tipo de radiación electromagnética se caracteriza por su longitud de onda ( = c/).
Panorámica de la Visión ArtificialAspectos generales sobre imágenes: la luz
10
• Teoría cuántica (Planck, 1900): la radiación electromagnética emitida no se realizaba en forma continua sino en “cuantos de energía” o fotones de valor E = h. • Efecto fotoeléctrico (Einstein, 1905): “un haz de luz que incide sobre una superficie metálica limpia hace que emita electrones”. Se explica mediante la teoría cuántica.• Teoría onda-corpúsculo (de Broglie-Bohr, 1925): la luz tiene a la vez naturaleza ondulatoria (teoría electromagnética) y corpuscular (teoría cuántica). Ambas son manifestaciones diferentes de un mismo fenómeno: el luminoso.
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz
11
• Una parte pequeña del espectro electromagnético es la zona visible (luz visible)• Comprende longitudes de onda aproximadamente desde los 400 hasta los 700 nm
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz
12
• La reflexión se produce cuando las ondas (luz, sonido,..) inciden sobre una superficie de separación entre dos medios, sin pasar de uno a otro.• Se presenta en un límite entre dos medios diferentes como una superficie aire-vidrio, en cuyo caso parte de la energía incidente se refleja y parte se absorbe.• El ángulo entre rayo incidente y la normal es el ángulo de incidencia, que por la Ley de la Reflexión es el mismo que el reflejado (reflexión especular).
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz
13
• La refracción se produce cuando la luz incide sobre una superficie límite de separación entre dos medios, atravesando de uno a otro • La parte transmitida se desvía un cierto ángulo de refracción• El índice de refracción (n) de un material:
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz
mm v
cn
14
• Otro fenómeno a destacar es la dispersión (Newton)• Descomposición de la luz en sus componentes monocromáticos al penetrar en un medio, como consecuencia de la variación del índice de refracción del medio, que desvía las distintas componentes de la luz según sus respectivas longitudes de onda.• Así cuando luz blanca penetra en un prisma, este descompone el haz en sus colores básicos constituyentes.
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: la luz
15
Aspectos generales sobre imágenes: Sistema Visual Humano
Panorámica de la Visión Artificial
16
Panorámica de la Visión Artificial
Ilusiones ópticas:
17
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: Sistema Visual Humano
18
• La luz visible es absorbida (enfocada) por el cristalino, que actúa como lente, y se proyecta en la retina.• La retina está compuesta por 2 tipos de células fotosensibles:
• Conos: responsables del color • Bastones: responsables de la percepción de la intensidad (concentrados en el exterior)
• En general un humano posee del orden de 120 millones de bastones y 6 millones de conos
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: el Sistema Visual Humano
19
• Un típico ojo humano mide unos 24 mm desde la córnea hasta la retina• Un ojo puede desviarse de su medida “ideal” siendo su sistema de enfoque normal, en tal caso:
• Si el ojo es más largo: ojo miope• Si es más corto: ojo hipermétrope
• Si el ojo no posee una buena simetría de revolución respecto al eje óptico hablamos del astigmatismo• Las cataratas es una opacidad del cristalino que impide la llegada de luz a la retina
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: el Sistema Visual Humano
20
• Las imágenes se forman cuando un sensor (p.ej. cámara) registra la cantidad de radiación luminosa que ha interaccionado con los objetos físicos de la escena.• Una imagen digital es una función bidimensional discreta f(x,y) que asocia a cada punto o píxel (x, y) un valor de brillo.•El valor f(x,y), podría representar un valor de distancia u otra cantidad física.• El tratamiento digital de imágenes consiste en destacar las características de interés en imágenes (y atenuar el detalle irrelevante) para conseguir de éstas información útil
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes digitales
21
• Parámetros ópticos: caracterizan al sensor
- tipo de lente, distancia focal, campo de visión, grado de apertura angular, ...
• Parámetros fotométricos: caracterizan la luz reflejada por el objeto
-características de la iluminación (tipo, intensidad, dirección), propiedades de reflectancia del objeto visto, ...
• Parámetros geométricos: caracterizan la proyección del objeto en el sensor
- tipo de proyección, posición y orientación del (de los) sensor(es), distorsiones debidas a la perspectiva, …
Panorámica de la Visión ArtificialAspectos generales sobre imágenes:
Parámetros físicos involucrados
22
• Imágenes fotográficas: luz reflejada • Imágenes de rango: distancias • Imágenes de tomografía: densidad de tejidos • Imágenes infrarrojas: temperatura
Trabajaremos principalmente con imágenes fotográficas (tanto en niveles de gris y como en color)
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes:
Tipos de imágenes
23
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: Tipos de imágenes
256 colores/canal3 canales (RGB)
24 bpp = 8 bpp/canal
256 colores/canal1 canal (gris)
8 bpp
2 colores/canal1 canal (gris)
1 bpp
24
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: Tipos de imágenes
Escala de grises256 colores/canal
Valores: {0,1,2,...,255}[0,255] [0,1]
Monocromática2 colores/canal
Valores: {0,255}{0,255} {0,1}
25
Panorámica de la Visión Artificial
Aspectos generales sobre imágenes: Representación de las imágenes
xy
26
Panorámica de la Visión ArtificialAspectos generales sobre imágenes: Reconstrucción 3D
• Las formas 3D se pueden obtener a partir de:– visión estereroscópica (múltiples imágenes 2D)– movimiento (secuencias de vídeo)– variaciones de intensidad, textura, enfoque, …
• Estrategia de la Visión Estereoscópica:– Obtener distintas medidas del mismo objeto (o región)
de la imagen• Aspectos a considerar:
– Correspondencia: ¿qué píxeles en las diferentes imágenes son proyecciones del mismo punto 3D?
– Representación: ¿cómo describir el objeto 3D?– Ruido: ¿cómo minimizar su influencia?
27
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Definición
• Es el análogo artificial de la visión humana
28
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
• Las etapas en un SVA son:• Adquisición de la imagen• Preproceso• Segmentación•Representación y descripción (extracción de características)• Reconocimiento e interpretación
29
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
• El preproceso es la mejora de la calidad de una imagen para usarse en etapas posteriores: p. ej. aumento de contraste
30
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
31
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
• Segmentación: División de una imagen en regiones homogéneas que se corresponden con los objetos contenidos en ella
32
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
• Extracción de características: Obtención de medidas de características de los objetos segmentados.
• Color• Textura• Forma (área, perímetro, número de agujeros, ...)
• Características invariantes a transformaciones geométricas.• Obtención de vectores de características normalizados.
33
Panorámica de la Visión Artificial
Ejemplos de texturas:
34
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
Ejes mayor y menor
PerímetroÁrea
Bounding box
35
Panorámica de la Visión Artificial
Reconocimiento: Consiste en clasificar los objetos de la escena a partir de características extraídas. Los objetos vienen descritos mediante vectores de características.
Nú
me
r o d
e a
gu
jero
s
De svia c ió n típ ic a d e l ra d io d e la fig ura
0.1 0.2 0.3 0.4 0.5
0
1
To rn illo s
Tue rc a s
Ara nd e la s
Sistemas de Visión Artificial: Etapas
36
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Etapas
Escena 3D
Modelos / HipótesisAplicaciones
Imagen(es) Bordes / Regiones / Profundidad
Superficies / Características
37
Panorámica de la Visión Artificial
Ejemplos de reconocimiento (tras segmentar):
Interpretación de imágenes: Un paso más allá
38
Panorámica de la Visión Artificial
Elementos de un SVA: Sensores
• Cámaras analógicas + tarjetas digitalizadoras• Cámaras CCD• Cámaras de infrarrojos• Escáneres 2D y 3D• Cámaras digitales de fotografía
39
Panorámica de la Visión ArtificialElementos de un SVA: relación entre dispositivos
40
Panorámica de la Visión Artificial
Cámaras: modelo “pinhole”
• Se trata de un modelo abstracto de cámara (caja que contiene un agujero pequeño en ella)
• Modelo sencillo que funciona en la práctica
41
Panorámica de la Visión Artificial
Cámaras: modelo “pinhole” Los objetos distantes son más pequeños
42
Panorámica de la Visión Artificial
Cámaras: ecuación de proyección
En coordenadas cartesianas, por semejanza de triángulos e ignorando la tercera componente se obtiene:
(x,y, z) ( fxz
, fyz)
43
Panorámica de la Visión Artificial
Cámaras: parámetros y calibración
- Dos tipos de parámetros: 1. Extrínsecos: (posición de la cámara con respecto
al origen de referencia del S.V.A.2. Intrínsecos: son los parámetros internos de la
cámara, como la distancia focal, el ratio de aspecto, los ángulos entre ejes, etc.
- Calibración: obtener los parámetros de la cámara minimizando el error (por ejemplo, mediante mínimos cuadrados)
- Estrategia general de calibración:1) Utilizar un objeto (plantilla de calibración)2) Identificar ciertos puntos de la imagen3) Obtener la matriz de calibración de la cámara minimizando el error4) Obtener los parámetros intrínsecos a partir de la matriz de
calibración
44
Panorámica de la Visión Artificial
Elementos de un SVA: Cámaras de visión• Capturan la imagen proyectada en el sensor y la transmiten al computador que la almacena, analiza y/o visualiza.• Sensores CCD y CMOS. • Estándar de vídeo analógico: Europa y USA
• CCIR y PAL: 625 líneas entrelazadas, 25 cuadros/seg (50 campos/seg)• RS-170 y NTSC: 525 líneas entrelazadas, 30 cuadros/seg (60 campos/seg)
• Características cámaras visión artificial: obturación, integración, captura asíncrona, sincronización.• Tipos cámaras: analógicas y digitales, alta velocidad, alta definición, cámaras lineales, lineales color, cámaras inteligentes, cámaras infrarrojas térmicas, ...
45
Panorámica de la Visión Artificial
Elementos de un SVA: Escáner 3D
• Un escáner 3D dispone de un elemento activo que recorre el objeto a escanear tomando medidas de las posiciones de los puntos por los que pasa. •Se pueden distinguir los digitalizadores táctiles y los láser. •El digitalizador 3D láser no tiene contacto con el objeto durante el muestreo. Utiliza un método conocido como tiempo de vuelo para obtener puntos de la superficie del objeto, y genera una nube de puntos regular de su superficie.
46
Panorámica de la Visión Artificial
Elementos de un SVA: Problemas con la captura de imágenes
• La captura de imágenes no está exenta de problemas:
imagen óptica señal eléctrica continua señal digital
• El más típico es el ruido que es información no deseada que contamina la imagen.• Existen fundamentalmente 2 tipos de ruido:
• Ruido gausiano : produce pequeñas variaciones en la imagen
• Ruido impulsional (o Salt and Pepper) : el valor del píxel no tiene relación con el valor ideal sino con el valor de ruido que toma valores muy altos o bajos
47
Panorámica de la Visión Artificial
Elementos de un SVA: Problemas con la captura de imágenes
Ruido Impulsivo Ruido Gaussiano
48
Panorámica de la Visión Artificial
Clases fundamentales de procesado de imágenes
• Podemos distinguir:• Realzado• Restauración• Compresión• Síntesis • Análisis
49
Panorámica de la Visión Artificial
Clases fundamentales de procesado de imágenes
• Realzado: mejora de la calidad de una imagen como preproceso de tratamientos posteriores
50
Panorámica de la Visión Artificial
Clases fundamentales de procesado de imágenes• Restauración:
- mejora de imágenes degradadas: g(x,y) = H [f(x,y)] + η(x,y)
- Soluciones: filtrado inverso, aproximación algebraica, …
51
Panorámica de la Visión Artificial
Clases fundamentales de procesado de imágenes
• Compresión: reducción de la cantidad de memoria para representar una imagen
52
Panorámica de la Visión Artificial
Clases fundamentales de procesado de imágenes• Síntesis:
- crear imágenes de objetos o escenas a partir de imágenes o primitivas geométricas básicas
- objetivo de la Informática Gráfica (Computer Graphics)
53
Panorámica de la Visión Artificial
Clases fundamentales de procesado de imágenes
• Análisis: extracción de información relevante de una imagen
54
• Se pueden utilizar diferentes niveles de cómputo• Nivel punto• Nivel local• Nivel global• Nivel objeto
Panorámica de la Visión Artificial
Algoritmos y aplicaciones sobre imágenes digitales
55
• Algunas operaciones que hacemos sobre imágenes producen una salida basándose en los píxeles de la misma: Nivel punto• Un ejemplo claro es la umbralización
Panorámica de la Visión Artificial
Algoritmos y aplicaciones sobre imágenes digitales
fA(x,y) fB(x,y)
(x,y) (x,y)
56
• Una operación a nivel local produce una salida en la que la intensidad de un punto depende de la vecindad del correspondiente punto en la imagen de entrada• Ejemplos pueden ser los filtros espaciales para detección de bordes, reducción de ruido,...
Panorámica de la Visión Artificial
Algoritmos y aplicaciones sobre imágenes digitales
fA(x,y)fB(x,y)
(x,y)
57
• Existen ciertos operadores cuya salida depende de toda la imagen de entrada• El histograma o ciertas transformaciones son ejemplos de operaciones de nivel global
Panorámica de la Visión Artificial
Algoritmos y aplicaciones sobre imágenes digitales
fA(x,y) fB(x,y)
(x,y)
58
• Muchas aplicaciones de Visión Artificial requieren realizar operaciones, que permitan extraer características a nivel de objeto• P. ej. tamaño, forma, media de intensidad,… deben ser calculados por un SVA para llegar a reconocerlo• Otro ejemplo de operación a nivel de objeto es el análisis de su movimiento. Seguimiento de un móvil en una secuencia de fotogramas es más sencillo si se analizan sólo las zonas de movimiento
Panorámica de la Visión Artificial
Algoritmos y aplicaciones sobre imágenes digitales
59
Panorámica de la Visión Artificial
Sistemas de Visión Artificial: Aplicaciones
• Sistemas de inspección visual automática• Aplicaciones médicas• Reconocimiento biométrico • Análisis de terrenos (remote sensing images)• Robótica• Videovigilancia /Aplicaciones militares• Recuperación de imágenes por contenido (CBIR)• Domótica• …
60
• Algunas librerías y herramientas SW:• Entorno de programación MATLAB para trabajar con matrices de forma sencilla: Image Processing Toolbox• Entornos dispositivos (Matrox MIL, Logitech SDK,…)• Entorno de programación visual Khoros mediante uso de módulos o toolboxes específicas• OpenCV, AVIFile, DirectShow, WMF (DXVA2.0),…• OpenGL• Programas de usuario: PhotoShop, Paint Shop Pro, Gimp, Xv, ...
Panorámica de la Visión Artificial
Herramientas SW: imágenes digitales y vídeo
61
• Imagen cabecera + mapa de bits • Formatos:
• Imágenes:
TIFF, GIF, BMP, JPEG, RAW (sin formato)...• Secuencias de imágenes (vídeos):
MPEG, AVI, ...
Panorámica de la Visión Artificial
Ficheros de imágenes (Graphical File Formats)
Recommended