Técnicas Avanzadas de Visión por Computador
Sistemas Informáticos Avanzados
T5. Registrado de ImágenesT5. Registrado de ImágenesT5. Registrado de Imágenes
2T5. Registrado de Imágenes
ÍndiceÍndice
Introducción.
Registrado basado en grises.
Funciones criterio.
Métodos de minimización.
Registrado multimodal.
Registrado basado en contornos.
3T5. Registrado de Imágenes
Registrado de imágenesRegistrado de imágenes
Análisis multivista: Mosaicos, Imágenes satélite, ...
Análisis temporal: Segmentación video, seguimiento, ...
Análisis multimodal: Sensores diferentes (CT-MR, ...)
Escena a modelo: GIS, Imagen médica, ...
“Encontrar la correspondencia entre los píxeles de dos
imágenes”
“Encontrar una transformación única que ajuste mejor todos los
píxeles de dos imágenes
4T5. Registrado de Imágenes
Mosaicos de vídeoMosaicos de vídeo
5T5. Registrado de Imágenes
Registrado de imágenesRegistrado de imágenes
Superposición con imagen de referencia (mapas).
Registrado de imágenes médicas
6T5. Registrado de Imágenes
TécnicasTécnicas
Basados en características:
• Utilizar puntos característicos seleccionados:
Reducir información.
• Computacionalmente eficiente.
Basados en “niveles de gris”:
• Utilizar información en bruto de la imagen:
Datos sobredeterminados.
• Más exactos.
• Métodos de optimización:
Función criterio.
7T5. Registrado de Imágenes
De movimiento 3D a 2DDe movimiento 3D a 2D
Proyección del movimiento de un punto en 3D en una imagen 2D.
xy
Z
X
Y
P
P’ p’
p
I(x,y)
8T5. Registrado de Imágenes
Modelos de movimiento 2DModelos de movimiento 2D
Modelo afín:
• Corresponde a la proyección ortográfica del movimiento de un plano en 3D:
Transformación de perspectiva
• Corresponde a la proyección de perspectiva del movimiento de un plano en 3D.
x’= a1 x + a2 y + a3;y’= a4 x + a5 y + a6;(x’,y’)=T(x,y)
a1 x + a2 y + a3x’=
a7 x + a8 y + 1
a4 x + a5 y + a6y’=
a7 x + a8 y + 1
(x’,y’)=T(x,y)
9T5. Registrado de Imágenes
Función criterioFunción criterio
Establecer una función criterio:
Buscar parámetros que minimizan función criterio:
• Elegir estrategia o método de minimización.
• Ejemplo:
minimización por mínimos cuadrados:
10T5. Registrado de Imágenes
Registrado basado en grisesRegistrado basado en grises
Constancia del nivel de gris (BCA)
Linealización: ecuación del Flujo Óptico
11T5. Registrado de Imágenes
Función criterioFunción criterio
Linealización: Ecuación del Flujo Óptico
• Modelo de movimiento afín:
• Flujo óptico:
12T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Mínimos cuadrados (OLS):
• Para funciones lineales. Solución cerrada.
• Sensibles a los “outliers”.
Jacobiano de la función criterio.Matriz (r x p) (observaciones x parámetros)
Término independiente de la función criterio.Vector (r x 1)
Vector de parámetros a estimar. Vector (p x 1)
13T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Mínimos cuadrados (OLS):
• Funciones no lineales:
Solución iterativa Newton-Gauss.
Hasta que incremento pequeño
14T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Algoritmo iterativo Newton-Gauss:
• Inicializar
• Repetir
• Hasta lo suficientemente pequeño.
15T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Estimadores robustos:
• Influencia de “outliers” acotada.
• Estimadores M:
Se convierten en LS iterativo con pesos:
16T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Estimadores M. Ejemplo:
• Estimador Tukey:
17T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Estimadores M. Algoritmo iterativo:
• Crear una matriz diagonal de dimensión
• Inicializarla como matriz identidad
•• Repetir
Actualizar pesos
• Hasta sea lo suficientemente pequeño
18T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Mínimos cuadrados generalizados (GLS):
• Utiliza distancias ortogonales o geométricas.
• Funciones no lineales.
• Minimización de residuales de las observaciones..
• Puede estimar parámetros y modificar las observaciones.
• Simplificación para sólo parámetros.
19T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Solución iterativa
Función criterio
Residual
20T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Técnica parecida a basada en el gradiente:
• Matriz de “pesos”:
- Pesos de los residuales dependen de lo similaresque son los gradientes en las observacionescorrespondientes.
- Puede tratar satisfactoriamente con algunos tipos de errores reales en las observaciones.
21T5. Registrado de Imágenes
Métodos de minimizaciónMétodos de minimización
Algoritmo iterativo GLS:
• Inicializar
• Repetir
Calcular matrices y utilizando
• Hasta lo suficientemente pequeño.
22T5. Registrado de Imágenes
Ejemplos de resultadosEjemplos de resultados
23T5. Registrado de Imágenes
Ejemplos de resultadosEjemplos de resultados
GLS (BCA) OLS (OF) RLS (BCA)
GLS (BCA) OLS (OF) RLS (BCA)
24T5. Registrado de Imágenes
Registrado Registrado multimodalmultimodal
Imagen de la misma escena.
Diferentes sensores (Visible, CT, MR, Pet, …).
Se utiliza mucho en imagen médica.
25T5. Registrado de Imágenes
InformaciónInformación mútuamútua
Entropia de Shanon:
• Medida de cantidad de información
Información mútua:
26T5. Registrado de Imágenes
RegistradoRegistrado basadobasado en MIen MI
Imágenes A y B.Variable aleatoria: nivel de gris.
Prob. a priori de los niveles de gris en cada imagen:• Histogramas de cada imagen, p(a),p(b).
Distribución conjunta de los niveles de gris:• Histograma conjunto, p(a,b).
Medida de correlación o independencia estadística
27T5. Registrado de Imágenes
RegistradoRegistrado basadobasado en MIen MI
CT MR
28T5. Registrado de Imágenes
RegistradoRegistrado basadobasado en MIen MI
Maximización de la información mútua:
Suponer un modelo de movimiento:
• Ej. Afín
Utilizar algún método de optimización:
• Ej. Simplex.
))','(),,((),( yxByxApbap =
29T5. Registrado de Imágenes
EjemploEjemplo resultadosresultados
CT registrada
CT MR
30T5. Registrado de Imágenes
OtroOtro tipotipo de de aplicaciónaplicación
Control de tratamientos de radioterapia:
• Planificación del tratamiento.
DRR
Planificación basada en CT
31T5. Registrado de Imágenes
OtroOtro tipotipo de de aplicaciónaplicación
Control de tratamientos de radioterapia:
• Planificación del tratamiento.
• Control del tratamiento en línea.
Imagen Portal
32T5. Registrado de Imágenes
RegistradoRegistrado de de imágenesimágenes PortalPortal
Registrado de:
Registrado basado en “Nivel de gris”/Gradiente falla.
Uso de técnicas basadas en características.
DRR Portal Image
33T5. Registrado de Imágenes
RegistradoRegistrado de de contornoscontornos
Registrado de contornos de forma libre:
Imagen Portal actualImagen Portal de referencia
34T5. Registrado de Imágenes
RegistradoRegistrado de de contornoscontornos
Enfoque basado en Información Mútua:
• Definir el espacio de las variables aleatorias.
• Estimar distributiones de probabilidad.
• Aplicar el concepto de información mútua.
Marco probabilístico:
• a = puntos característicos en la imagen A
• b = puntos característicos en la imagen B
• p(a,b) probabilidad que un punto a y b co-occurran, dada una transformación imagen T
( ) ( ) ( ) ( )( )baObaGa,bEbapT ,,,,f, =
35T5. Registrado de Imágenes
RegistradoRegistrado de de contornoscontornos
)ba
exp()b,a(GGδ∇−∇
−=
( ) ( ))
b,adexp(a,bE
E
T
δ−=
( ))
b,aexp()b,a(O
o
T
δα−=
( ) ( ) ( ) ( )( ) ( ) ( )( )∑∑ ∗∗
∗∗=
a b
T baObaGa,bE
baObaGa,bEbap
,,
,,,
Distancia entre puntos caracteristicos
Diferencia de magnitudes de gradiente
Diferencia de direcciones de gradiente
36T5. Registrado de Imágenes
EjemplosEjemplos
Antes del registrado Después del registrado
Para transformación rigida (rotaciones 2D + desplazamiento)
37T5. Registrado de Imágenes
EjemplosEjemplos
Antes del registrado
Después del registrado
38T5. Registrado de Imágenes
EjemplosEjemplos
Antes del registrado
Después del registrado
39T5. Registrado de Imágenes
BibliografíaBibliografía
J.R. Bergen, P.J. Burt, R.Hingorani, and S. Peleg, “Athree-frame algorithm for estimating two-component image motion,” IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 14, no. 9, pp. 886–896, 1992.J.M. Odobez and P. Bouthemy, “Robust multiresolution estimation of parametric motion models,” Int. J. Visual Communication and Image Representation, vol. 6, no. 4, pp. 348–365, 1995.Montoliu, R. and Pla, F. “Multiple Parametric Motion Model Estimation and Segmentation”, International Conference on Image Processing, ICIP, Thessaloniki, Greece, 2001, ISBN 0-7803-6725-1, Vol. II, pp. 933-936.G. Danuser and M. Stricker,“Parametric model-fitting: From inlier characterization to outlier detection,” IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 20, no. 3, pp. 263–280, 1998.Z. Zhang, “Parameter-estimation techniques: A tutorial with application to conic fitting,” Image and Vision Computing, Vol 15, no 1, pp. 59–76, 1997.Pluim, J.P.W., Maintz, J.B.A., and Viergever, M.A., (2003). "Mutual information based registration of medical images: a survey", IEEE Transactions on Medical Imaging, 22(8), pp. 986-1004.Alvarez, N.A. et al; “Contour-Based Image Registration Using Mutual Information” IbPRIA 2005, LNCS 3522, pp. 227–234, 2005.