Procesamiento adaptativo de señales y reconocimiento de ... · PDF fileProcesamiento adaptativo de señales y reconocimiento de patrones Presenta: Dr. Victor Hugo Diaz Ramirez Centro

Procesamiento adaptativo de señales y Procesamiento adaptativo de señales y reconocimiento de patronesreconocimiento de patrones

Presenta:Presenta:Dr. Victor Hugo Diaz RamirezDr. Victor Hugo Diaz Ramirez

Centro de Investigación y Desarrollo de Tecnología DigitalCentro de Investigación y Desarrollo de Tecnología Digital

TituloTitulo

CITEDI-IPNCITEDI-IPN

24/03/09 2

Contenido

Introducción

Procesamiento adaptativo de señales

Reconocimiento adaptativos de objetos

Conclusiones

Referencias

24/03/09 3

Introducción

Sistemas de procesamiento de señales

Que hace diferentes a los sistemas de procesamiento??

Tipos de señales:AnalógicasDigitalesDimensión: 1D, 2D, 3D, etc.

Tipo de Tecnología:AnalógicaDigitalOpto-Digital

Enfoque TeóricoSeñales y sistemasEstadísticaHeurísticas

24/03/09 4

Introducción

Operadores clásicos de transformación de señales

Operador GlobalSu complejidad computacional es veces el tamaño de la entrada.Transformadas Ortogonales.Filtros Lineales

N2

Operador LocalSu complejidad computacional es veces el tamaño de la entrada.Mascaras de convoluciónOperaciones Morfológicas

V×N

Operador PuntualSu complejidad computacional es veces el tamaño de la entrada.Umbralización.Realce de contraste.

N

24/03/09 5

Problemática

Filtrado local clásico

Destruyen los detalles de las señales como bordes y estructuras finas.

Pueden suprimir distorsiones ocasionadas por procesos estocásticos estacionarios.

24/03/09 6

Procesamiento local adaptativoFiltros localmente adaptativosSon espacialmente no-homogéneos.Se adaptan en base a información espacial local: estadística robusta, relación espacial entre elementos de la señal.Pueden implementarse en el dominio temporal/espacial y en el dominio de la frecuencia usando transformadas de tiempo corto.

Filtros de orden prioritario

Muestra local

Vecindarios localmente adaptativos

24/03/09 7

Procesamiento local adaptativo

Dominio de la frecuencia: Transformadas de tiempo corto

24/03/09 8

Procesamiento local adaptativo

Filtros de orden prioritario utilizando vecindades adaptativas (V. Kober, Opt. Eng. 2001)

Filtrado adaptativo local en el dominio de transformadas de tiempo-corto

24/03/09 9

Procesamiento local adaptativoSupresión de ruido utilizando vecindades adaptativas

24/03/09 10

Métodos adaptativos para el reconocimiento de objetos

Cuanto tiempo tarda el sistema en darrespuesta a estas preguntas?

Esta o no, el objeto deseado en la escena?

Cual es la posición del objeto en la escena?

Preguntas:

Escena de entrada

Objeto deseado

Que es el reconocimiento de objetos?

Rama de la óptica cuyo objetivo es el de detectar y localizar objetos de interés a partir de una escena observada.

Que aplicaciones tiene?

Industria, Para inspección automática de control de calidad.Biología, Detección de microorganismos.Medicina, Diagnostico de enfermedades.Seguridad, Para el reconocimiento de huellas digitales y/o rostros.Robótica, Para programar los movimientos de un robot.muchas otras

24/03/09 11

Reconocimiento de patronesAlternativas para desarrollar reconocimiento de patrones

Implementación

Reconocimientode

Patrones

MatemáticaClásica

Correlación ClasificadoresEstadísticos

ProcesadoresOptodigitales

ProcesadoresDigitales

Heurísticas

RedesNeuronales

AlgoritmosEvolutivos

24/03/09 12

Reconocimiento de objetosEstimación estadística en la detección de objetos

Sea un ensamble de k imágenes observado, donde , y son muestras de la señal de entrada y de la función de ruido (Gaussiano), respectivamente.

La probabilidad a-posteriori de detectar , dado , esta dada por

La estimación de máxima probabilidad a-posteriori de , esta dada por

bk x =ak x ; x0 nk x ak nk

x0 bk

P {ak x ; x0∣bk }=P {ak x ; x 0}P {bk∣ak x ; x0}

P {bk }=P {ak x ; x 0}P {nk=bk−ak x ; x 0}

P {bk }

x0=argmaxx0

{P {ak x ; x0}P {bk−ak x ; x 0}}

=argminx0

{∑k=0

N−1

∣bk−ak x ; x 0∣2−22 lnP x0}

=argmaxx0

{∑k=0

N−1

bk ak x ; x022ln P x 0}

xO

El estimador de máxima verosimilitud, es entonces

x0=argmaxx0

{∑k=0

N−1

⟨bk x , ak x ; x 0⟩}

24/03/09 13

Reconocimiento de objetos por correlación

x0={ ⟨b[k ]a k ;20 ⟩ }

La estimación es

Análisis de Correlación

c [k ]=∑n=0

N−1

f [n]h[kn]

x0=argmaxk

{⟨b[n] ,h[n ;k ]⟩}

Cuando k = 20, se obtiene el valor máximo

24/03/09 14


Diagrama a bloques de un correlador de señales

Captura dela escena

Escena

s x , y

f x ,y =s x , y n x , y

Sistema LIT

h x , y

Salida

c x ,y =f x , y⊗hx , y Pos-procesamiento

(localizar coordenadasde intensidad máxima)

Decisión

Se necesita poner especial atención en el diseño del filtro Se necesita poner especial atención en el diseño del filtro h x , y

⊗LIT: Lineal Invariante en el Tiempo

Convolución

24/03/09 15

Reconocimiento de objetos

Transformadade Fourier

Filtro linealen el dominio

de la frecuencia

Transformadainversa

de Fourier

Imagen de entrada

Imagen de salida

f x , y F ,

H ,

C ,=F ,H , c x , y =f x , y ⊗h x , y

Procesador digital 4f (VanderLugt, IEEE Trans. Inf. Th. 1964)

Imagen de entrada

Corrrelador digital de transformada conjunta (JTC) (Weaver y Goodman, Appl. Opt. 1966)

Imagen de referencia

+Transformada

de Fourier

Sensor deintensidad(cámara)

Transformadainversa

de Fourier

Imagen de salida

f c x , y =f xa , y r x−a, y

Fc ,=F ,exp iaR ,exp −ia

∣Fc ,∣2=∣F ,∣2∣R ,∣2

F ,R∗ ,exp i2aR ,F∗ ,exp −i2a

cx , y =cff x , y crr x , y cfr x2a , y c rf x−2a , y

Arquitecturas Básicas

24/03/09 16


Como implementar un correlador de señales?

Computadora PersonalMediante algoritmos programados en lenguajes de alto nivel.

Sistemas InmersosA través de la programación de circuitos integrados especiales como: procesadores digitales de señales (DSP) o controladores digitales de señales (DSC).

http://www.electronics123.com/s.nl/it.A/id.2714/.f?sc=8&category=241

24/03/09 17

Procesamiento de objetos

LáserPrisma

equilátero

Placa retardadora

Diafragma

Filtroespacial

LenteLCD

Polarizador

CCD

Diafragma

Lente

Procesadores opto-digitales (en tiempo-real)

24/03/09 18

Reconocimiento de objetosModelos de Imagen

+ =

+ * =

* =

Modelo aditivo

Modelo disjunto

Modelo multiplicativo

s x , y nax , y f ax , y

s x , y

ndx , y w x ,y f dx , y

nmx , y

s x , y

f mx , y

f ax , y =s x , y nax , y

f dx , y =s x , y ndx , y w x , y

f mx , y=s x ,y nmx , y

24/03/09 19


Escena 1Dist. Geométricas

Escena 2Ruido disjunto

Objeto deseado

Correlación 1

Escena 3Iluminación no-homogénea

La operación de correlación clásica, es muy sensible a:

Distorsionesgeométricas de los objetos.

Ruido no-homogéneo, en la escena.

Iluminación no-homogénea de la escena.Correlación 2 Correlación 3

24/03/09 20

Diseño de filtros lineales

Existen tres formas de diseñar filtros lineales de correlación:

Enfoque clásico Los filtros se diseñan optimizando algún criterio estadístico.

Enfoque compuestoLos filtros se diseñan como una combinación de imágenes de entrenamiento que, deben representar a los objetos y las distorsiones esperadas.

Enfoque adaptativoLos filtros se diseñan con un algoritmo de adaptación que, sintetiza la respuesta al impulso del filtro usando información del entorno.


24/03/09 21

Métricas de desempeño

POE Relación pico a energía de salida; medida para caracterizar la claridad del pico de correlación

POE=∣E {c 0,0}∣2

∣E {c x , y }∣2

DC Capacidad de discriminación; Habilidad del filtro para reconocer los objetos de la clase verdadera y rechazar los objetos de la clase falsa

DC=1−∣cb0,0∣2

∣ct 0,0 ∣2

LE Eficiencia de luz; Medida de la relación de la intensidad de la luz en el plano de correlación con el total de luz de la entrada.

LE=∫−∞

∞

∫−∞

∞

∣c x , y ∣2dxdy

∫−∞∞

∫−∞∞

∣f x , y ∣2dxdy

SNR Relación señal a ruido; medida para caracterizar el ruido en el pico de correlación

SNR=∣E {c 0,0}∣2

VAR {c 0,0}* c(0,0): Correlación en el origen.

* : valor máximo, área del fondo.* : valor máximo, área del objeto.cb0,0 c t 0,0

(V. B. K. Vijaya-Kumar, 2005)

24/03/09 22


Filtro de acoplamiento clásico, CMF (Vanderlugt, IEEE Trans. Inf. Th. 1964)

H , =T ∗ ,

Pn , Optimiza la SNR para el modelo aditivo

Filtro óptimo, OF (Javidi, 1997)

Hopt ,=t [T

∗ ,bW , ]

∗

12

Nm ,⊗[∣T ,bW ,∣2 12

Nb0 ,⊗∣W ,∣2 ]Na ,

Optimiza la POE para el modelo mixto (aditivo, disjunto y multiplicativo)

Filtro homomorfico HF (Arsenault, Opt. Lett. 2001)

f x , y =log [f x ,y =u x , y t x ,y ]=log[ux , y]log [t x , y ]

TF H ,= T∗ , TIF

24/03/09 23

Correladores de transformada conjunta (JTC)

JTC no-lineal (Javidi, Appl. Opt. 1989)

Imagen de entrada


+ Transformadade Fourier


Transformadainversa

de Fourier

Imagen de salidaJPS=∣ JPS∣1/k

JTC con ajuste de franjas, FAJTC (Alam, Appl. Opt. 1993)

Imagen de entrada


+ Transformadade Fourier


Transformadainversa

de Fourier

Imagen de salidaFAF

k=1

k=x

k=0

FAF=B ,

A ,∣T ,∣2B ,

A ,

T ,

Función de ganancia

Función para controlar polos

Espectro del objeto de referencia

24/03/09 24

Funciones discriminantes sintéticas (SDF)

Propuestos por Hester & Casasent en 1980

h x , y =a1 s1 x , y a2 s2 x , y ⋯an sn x , y

{s i∣ i=1,2,,n}

Imágenes de entrenamiento.

{a i∣ i=1,2, , n }

Coeficientes de peso

Con la restricción

∬−∞

∞

h∗x , y six , y dxdy=ciSmatriz mxN, donde cada columna contiene una imagen de entrenamiento si

En notación vectorial

h=Sa , c=Sh ,

Sustituyendo ecuaciones, y si esno-singular, se obtiene

Q= SS

h=S SS −1C

avector columna de {ai }

La clase verdadera y la clase falsa, se definen mediante

c=[1,1,,0,0,0]T

24/03/09 25

Métodos adaptativos de reconocimiento de objetos

Pueden garantizar un nivel de calidad para un problema en particular

La función del filtro se sintetiza utilizando información a priori del entorno, por ejemplo:

Estadísticas localesMorfología de los objetosInformación cromáticaCoordenadas a-priori de localización

A través de un algoritmo de adaptación sintetizan la función del filtro de correlación

24/03/09 26

Algoritmo de adaptación

correlación DC>=

deseada?

Encontrar coordenadasde máxima intensidaden área de correlación

Crear imagende entrenamiento

Agregar aclase-falsa

Crear filtroSDF

Agregar aclase-verdadera

Fin

Objeto deseado

Ruido disjunto

Escena de entrada

24/03/09 27

correlación DC>=

deseada?




Crear filtroSDF


Fin

Objeto deseado

Ruido disjunto

Salida de correlaciónfiltro-ruido

(iteración 0)


24/03/09 28

correlación DC>=

deseada?




Crear filtroSDF


Fin

Objeto deseado

Ruido disjunto


(iteración 0)


24/03/09 29

correlación DC>=

deseada?




Crear filtroSDF


Fin

Objeto deseado

Ruido disjunto

Imagen de entrenamiento


24/03/09 30

correlación DC>=

deseada?




Crear filtroSDF


Fin

Objeto deseado

Ruido disjunto


(iteración 1)Filtro SDF


24/03/09 31

correlación DC>=

deseada?




Crear filtroSDF


Fin

Objeto deseado

Ruido disjunto


(iteración 4)Filtro SDF


24/03/09 32

Resultados

Escena

BJTC FAJTC AJTC

Objeto deseado

Respuesta al impulso del filtro adaptativo (8 iteraciones)

Diaz-Ramirez et. al. Appl. Opt 2006

24/03/09 33

Reconocimiento adaptativo de objetosDesempeño del filtro, 29 iteraciones: DC=0.95

24/03/09 34

Reconocimiento adaptativo de objetosSimulación por computadoraSimulación por computadora

24/03/09 35

Reconocimiento adaptativo de múltiples objetos

Escena de entrada Objeto no deseado (fondo)Objetos de interés

Intensidad del plano de correlación de salida, DC = 0.93

Diaz-Ramirez et. al. SPIE 2008

24/03/09 36

Reconocimiento adaptativo de múltiples objetosSeñales multicomponente (Policromaticas)

Escena de entrada

t1

t2

t3

Plano de correlación de salida

Comparación de desempeño de diferentes métodos

17 iteraciones, DC = 0.92

Diaz-Ramirez et. al. CIINDET 2008

24/03/09 37

Reconocimiento adaptativo de objetos en tiempo-real

Procesador optodigital 4f (VanderLugt, IEEE Trans. Inf, Th. 1964)

Correlador optodigital de transformada conjunta (JTC) (Weaver y Goodman, Appl. Opt. 1966)

f f f f

SLM 1 SLM 2L1 L2 CCD

f f

SLM 1 CCD 1L1

f f

SLM 2

CCD 2L2

luz coherente

plano de salida

imagen de entrada filtro lineal

imagen conjunta espectro conjunto plano de salida

24/03/09 38

Implementación opto-digitalMétodo de descomposición bipolar (Diaz-Ramirez et al, Appl. Opt. 2006)

hx , y =h x , y −h− x , y

h x , y ={hx , y ; hx , y 00 ; otra manera} h− x , y ={hx , y ; hx , y 0

0 ; otra manera}donde

Des esta forma, el área de correlación puede obtenerse mediante

c x ,y =∣f x , y⊙[h x , y −h− x ,y ]∣2

=∣f x , y⊙hx , y ∣2∣f x , y ⊙h− x , y∣

2

−2 [f x , y ⊗h x , y ] [f x , y⊗h−x , y ]

=∣f x , y⊙hx , y ∣2∣f x , y ⊙h− x , y∣

2

−2 [f x , y ⊙h x , y ]2 [f x , y⊙h−x , y ]2

24/03/09 39

Resultado Opto-digital

Imágenes conjuntas de entradaSalidas de correlación

Salida después de aplicar el pos-procesamientoRespuesta de intensidad del LCD

24/03/09 40

Resultados

a) Objeto deseado; b) Objeto falso; Fondo real. a) Escena de prueba; b) Intensidad de la imagen de referencia adaptativa solo-fase (3 iteraciones)

a) CJTC; b) BJTC; c) FAJTC; d) PIJTC; e) SDF mapped a) AJTC; b) APIJTC

24/03/09 41

Resultados: Pruebas estadísticas

24/03/09 42

Reconocimiento de objetos invariante a iluminación

Como se representa la iluminación en imágenes?Los modelos de iluminación describen la relación que existe entre la dirección de iluminación y la forma de la superficie.

Que tipos de superficies existen?Lambertiano (Superficies opacas)Especular (Superficies metálicas)Híbrido (Combinación de ambos modelos)

Geometría del modelo de iluminación

La luz reflejada en dirección el eje-z, es

depende de los parámetros de la dirección de la fuente: , , y .I x0, y0

r=∣S0∣

Estos parametros son conocidos o pueden ser estimados(Zheng y Chellapa, IEEE 1991)(Valles, Appl. Opt. 2006).

Diaz-Ramirez y Kober, Appl. Opt. 2009

24/03/09 43

Invariancia a iluminación

Consideremos la siguiente escena de entrada (modelo mixto)

donde y

En el dominio de Fourier, la escena es

En este caso, el filtro de Wiener es óptimo:

La señal restaurada en el dominio espacial es :f x = f x hr x

f x ≈t x ; x0 nx ; x0hr x

hr x =u∗x P t x

P t x ∣ux ∣2P nx

=1ux

∣ux ∣2

∣u x ∣2x

donde y , son estimaciones de la densidad espectral de potencia en el dominio espacial de y , respectivamente, y

P t x P n x T F =P n x / P t x

t x ; x0=t x−x0bW x−x0 n x ; x0=n x−x0w x−x0b0x

F =12

T ⊗U N

f x =[ t x−x0w x−x0b x ]u xn x=t x ; x0u xn x ; x0

24/03/09 44


Bajo este nuevo modelo, optimizando la métrica MSE se obtiene el filtro de correlación óptimo

HMSE =[T bW ]

∗

∣T bW ∣2

12

B0 ⊗∣W ∣2

12

N ⊗∣Hr ∣2

El diagrama a bloques del sistema propuesto es como a continuacion:

24/03/09 45


(a) Escena sin degradaciones (b) Función de iluminación (c) Señal observada

Resultados

24/03/09 46

Invariancia a Iluminación

Resultados con métodos existentes

Filtro homomorficoArsenault, Opt. Lett. 2001

Correlacion morfológicaGarcia, Appl. Opt. 2002

Filtro homomorfico-MSE Filtro óptimoJavidi, Appl. Opt. 1997

24/03/09 47


Señal pre-procesada con el método propuesto

Intensidad del plano de correlación de salida

24/03/09 48

Conclusiones

Se han presentado diversas técnicas de procesamiento de señales. Explotando un enfoque adaptativo, es posible mejorar el desempeño de estos sistemas de procesamiento, en relación a las estrategias clasicas.

A través de las técnicas propuestas, pueden abordarse exitosamente los problemas típicos en el reconocimiento de objetos en imágenes, es decir, se proporciona invariancia a distorsiones geométricas de los objetos, ruido del fondo, ruido del sensor e iluminación no-homogénea

El desempeño de los procesadores propuestos fue comparado con las técnicas similares mas exitosas de la literatura reciente, en términos de su capacidad de discriminación, tolerancia a ruido aditivo, y complejidad computacional. En todos los casos, las técnicas propuestas proporcionan los mejores resultados.

Se realizaron un gran numero de experimentos físicos en los procesadores opto-digitales. En la implementación se contempla la configuración y caracterización de los LCDs como moduladores espaciales de luz. Como resultado, hemos obtenido reconocimiento de objetos en tiempo-real.

24/03/09 49

ReferenciasRevistas con Arbitraje RigurosoV. H. Diaz-Ramirez, V. Kober, Target recognition under nonuniform illumination conditions. Applied Optics 48(7), (2009).V. H. Díaz-Ramírez, V. Kober, Adaptive phase-input joint transform correlator. Applied Optics. 46(26): 6543-6551 p., (2007).V. H. Díaz-Ramírez, V. Kober, and J. Alvarez-Borrego, Pattern recognition with an adaptive joint transform correlator, Applied Optics. 45(23): 5929-5941 p. (2006)

Capítulos de librosV. Kober, V. H. Díaz-Ramírez, J. A. González-Fraga, and J. Alvarez-Borrego, Real-time pattern recognition with adaptive correlation filters. Vison Systems. Segmentation and Pattern Recognition. I-Tech Education and Publishing. 357-379 p. (2007).V. Kober, J. A. Gonzalez-Fraga, V. H. Diaz-Ramirez, y J. Alvarez-Borrego, “Sistemas adaptativos para el reconocimiento de patrones biologicos,” En: J. Alvarez-Borrego y M. C. Chavez-Sanchez, Eds., “Introduccion a la identificacion automatica de organismos y estructuras microscopicas y macroscopicas”. (2008)

Congresos InternacionalesV. H. Díaz-Ramírez, and V. Kober, “Detection of circuit board components with an adaptive multiclass correlation filter,” in optics and photonics for information processing, A. S. Awwal, K. M. Iftekharuddin, and B. Javidi, Eds., Proc. SPIE San Diego CA, (2008).V. H. Diaz-Ramirez, V. Kober, O. Jacuinde, and E. R. Lopez, “Procesador digital multicanal para el reconocimiento de multiples objetos en tiempo-real,” CIINDET (2008), Cuernavaca Moelos.V. H. Díaz-Ramírez, V. Kober. 2007. Illumination invariant adaptive joint transform correlator . Proc SPIE. San Diego, California. Vol. 6695, pp 66951B1-7. V. H. Díaz-Ramírez, V. Kober, J. Alvarez-Borrego. 2006. Pattern recognition with an adaptive phase-input joint transform correlator . En Proc. SPIE, San Diego, California. Vol. 6311, pp 6311131-11.M. I. Pinedo-Garcia, V. H. Díaz-Ramírez, V. Kober. 2007. Recognition of multiple objects with adaptive correlation filters . En 7th Workshop PRIS 2007, pp 199-206. Lisboa Portugal.M. I. Pinedo-Garcia, V. H. Díaz-Ramírez, V. Kober. 2007. Multiclass object recognition and classification with adaptive correlation filters. International Conference on Image Processing, Computer Vision, and Pattern Recognition (IPCV'07). Las Vegas, Nevada.V. H. Díaz-Ramírez, V. Kober, J. Alvarez Borrego. 2005. Real-time pattern recognition with adaptive correlation filters . Proc SPIE, San Diego, California. Vol. 5909, pp 5909211-5909217.J. A. González-Fraga, V. H. Díaz-Ramírez, V. Kober , J. Alvarez Borrego. 2005. Improving the discrimination capability with an adaptive synthetic discriminant function filter. En 2nd Iberian Conference on Pattern Recognition and Image Analysis. Lisboa Portugal. Vol. 3523, pp 83-90.

24/03/09 50

Fin

Gracias a Todos por su Presencia !!!

Documents

Procesamiento adaptativo de señales y reconocimiento de ... · PDF fileProcesamiento adaptativo de señales y reconocimiento de patrones Presenta: Dr. Victor Hugo Diaz Ramirez Centro