Campo de Movimiento 3-D y en La Imagen

Movimiento 3 D Estudio delMovimiento 3-D. Estudio del campo de movimiento en elcampo de movimiento en el

plano de la imagen. Flujo ptico y correspondencia

R f l M liRafael MolinaDepartamento de Ciencias de laDepartamento de Ciencias de la

Computacin e I.A.

Rafael Molina Campo de Movimiento en el plano de la imagen 1

ContenidosContenidos

I. IntroduccinA Ejemplos de uso de movimientoA. Ejemplos de uso de movimiento.B. Tipos de problemas de anlisis de

i i tmovimiento.C. Importancia del movimiento visual

II. Modelos de movimiento tridimensionalA Movimiento rgidoA. Movimiento rgidoB. Movimiento deformable


III Movimiento 2-D vs movimiento aparenteIII.Movimiento 2 D vs movimiento aparente.A. Correspondencia y flujo ptico.B. Ejemplo.

IV Correspondencia 2-DIV.Correspondencia 2 DV. Flujo ptico.VI.El problema de la oclusinVII El problema de la aperturaVII.El problema de la aperturaVIII.Bibliografa


I. Introduccin

Los datos para la resolucin de un problema relacionado con elLos datos para la resolucin de un problema relacionado con el movimiento son una secuencia temporal de imgenes.

El anlisis del movimiento est relacionado, entre otros, con aplicaciones en tiempo real como la navegacin y seguimiento y con la obtencin de informacin sobre los objetos estticos y encon la obtencin de informacin sobre los objetos estticos y en movimiento en una escena.

El anlisis del movimiento es tambin fundamental en problemas como la restauracin de secuencias de imgenes, as como su compresin y la obtencin de imgenes y secuencias de imgenes de alta resolucin a partir de secuencias de baja resolucin


resolucin.

I.A Ejemplos de uso de movimientoj p

Ejemplos vistos en el primer tema del curso

Universidad de Cambridge. Computer Vision and Robotics Group. http://svr-www.eng.cam.ac.uk/research/vision/research.html

Universidad de Granada Dpto Ciencias de la Computacin eUniversidad de Granada. Dpto. Ciencias de la Computacin e Inteligencia Artificial. http://decsai.ugr.es

Trinity College Dublin. The Department of Electronic and Electrical Engineering. http://www.mee.tcd.ie.


Universidad de OxfordRobotics Research GroupRobotics Research Group

http://www.robots.ox.ac.uk/

Sistema de navegacin acercndose Sistema de navegacin alejndose

Puntos importantes localizacin y posicin Navegacin y seguimiento


Puntos importantes, localizacin y posicin Navegacin y seguimiento

Vision & Autonomous Systems Center (VASC), The Robotics Institute Carnegie Mellon UniversityInstitute, Carnegie Mellon University

http://www.ri.cmu.edu/

S. Baker and T. Kanade, Limits on Super-Resolution and How to Break Them, IEEE Transactions on Pattern Analysis and Machine Intelligence Vol 24 No 9 September 2002Intelligence, Vol. 24, No. 9, September, 2002.

Secuencia original

Secuencia de alta resolucin


Cognitec http://www.cognitech.com

Restauracin de video


Fusin de imgenes


Mosaicingg


I B Problemas de anlisis del movimientoI.B Problemas de anlisis del movimiento

Deteccin de movimiento El objetivo es detectar si hay Deteccin de movimiento. El objetivo es detectar si hay movimiento en la escena. Tiene aplicaciones a seguridad.

Deteccin y localizacin de objetos en movimiento. Es ms complicado que el anterior y puede incluir tambin la deteccin de trayectorias y prediccin de futuras trayectoriasdeteccin de trayectorias y prediccin de futuras trayectorias.

Obtencin de propiedades 3-d de objetos a partir delObtencin de propiedades 3 d de objetos a partir del movimiento. Un problema tpico de Visin Artificial.

Un cuarto grupo (relacionado con el primero): Estimacin de movimiento en problemas de compresin de vdeo.


I.C Importancia del movimiento visual

La dimensin temporal es importante en el procesamiento i l f d t l t dvisual fundamentalmente por dos razones:

El movimiento aparente de los objetos en el plano de la El movimiento aparente de los objetos en el plano de la imagen es fundamental para entender la estructura y el movimiento 3-D.

Los sistemas visuales biolgicos utilizan el movimiento visual t i d d d l d 3 Dpara extraer propiedades del mundo 3-D con poco

conocimiento a priori sobre l. Recuerda los ejemplos del tema primero


primero.

II. Modelos de movimiento tridimensional(T k l Di it l Vid P i 1995)(Tekalp, Digital Video Processing, 1995)

El movimiento 3-D se puede clasificar en rgido y no rgido.

l i i id l d l lEn el movimiento rgido las distancias relativas entre el conjunto de puntos 3-D permanece fija en el tiempo. La forma 3-D del objeto que se mueve se puede modelar mediante3-D del objeto que se mueve se puede modelar mediante superficies no deformables.

En el movimiento no rgido se utiliza un modelo de superficie deformable (tambin llamado template deformable) para

d l l 3 Dmodelar la estructura 3-D.


II A Movimiento rgido en coordenadasII.A Movimiento rgido en coordenadas cartesianas

El desplazamiento 3-D de un objeto rgido en coordenadas cartesianas se modeliza mediantecartesianas se modeliza mediante

X= RX +T

donde R es la matriz de rotacin 3x3, T es un vector de traslacin 3x1 y X y X son las coordenadas en los tiempos t y t con respecto3x1 y X y X son las coordenadas en los tiempos t y t con respecto al centro de rotacin respectivamente.


II.B Movimiento deformable

La modelizacin de la estructura 3-D y el movimiento de objetos no rgidos es muy compleja. En principio, este movimiento puede modelizarse mediantemodelizarse mediante

X= (D+R)X +Tdonde R es la matriz de rotacin 3x3, T es un vector de traslacindonde R es la matriz de rotacin 3x3, T es un vector de traslacin 3x1, X y X son las coordenadas en los tiempos t y t y D es una matriz de deformacin arbitraria.

Para la modelizacin de la matriz D ver, por ejemplo,

A. Pentland y B. Horowitz, Recovery of nonrigid motion and structure, IEEE Trans. Patt. Anal. Mach. Intel., vol. 13, 730-742. (1991).D T l A Wi ki M K C i d f bl d lD. Terzopoulos, A. Witkin y M. Kass, Constraints on deformable models:

recovering 3-D shape and non rigid motion, Art. Intel., vol. 36, 91-123, (1998).D. Terzopoulos y K. Fleischer, Deformable models, Visual Comput., vol. 4, 306-


331, (1998).

III. Movimiento 2-D vs Movimiento Aparente

El movimiento 3-D produce un movimiento 2-D en el plano deEl movimiento 3 D produce un movimiento 2 D en el plano dela imagen. No analizaremos aqu como el movimiento 3-D seve en el plano de la imagen y nos centraremos en elve en el plano de la imagen y nos centraremos en elmovimiento 2-D.

El objetivo de esta seccin es clarificar la diferencia entre velocidad 2-D y flujo ptico y entre desplazamiento 2-D y correspondenciaentre desplazamiento 2-D y correspondencia

2-D.


El movimiento 2-D es la proyeccin del movimiento 3-D en elEl movimiento 2 D es la proyeccin del movimiento 3 D en el

plano de la imagen.

El objetivo es estimar el movimiento 2-D, bien sea la velocidadi t t l d l i t ti d l i dinstantnea o el desplazamiento, a partir de la secuencia deimgenes de que disponemos.

Tanto la velocidad 2-D como el desplazamiento pueden no serobservables, las razones las veremos despus.

En su lugar observaremos el llamado movimiento aparente (flujoptico o correspondencia).


III.A Correspondencia y Flujo ptico.

El desplazamiento de las coordenadas del plano de laEl desplazamiento de las coordenadas del plano de laimagen x del tiempo t al t basado en la variacin delnivel de gris, f(x,t), recibe el nombre de vector deg , ( , ),correspondencias.

El vector de flujo ptico se define como la razn deEl vector de flujo ptico se define como la razn decambio temporal de las coordenadas del plano de laimagen, (u,v)=(dx1/dt,dx2/dt), en un punto (x,t)R3g ( ) ( 1 2 ) p ( )determinado por la variacin espacio-temporal del patrnde intensidades f(x,t).


El campo de correspondencias y el campo de flujo pticoreciben tambin el nombre campo aparente de desplazamiento2 d l d d 22-D y campo aparente de velocidad 2-D, respectivamente.

Ya que slo podemos observar el flujo ptico y lascorrespondencias supondremos que son lo mismo que el campocorrespondencias supondremos que son lo mismo que el campode movimiento y los desplazamientos. Sin embargo ....


Puesto que estamos estimando el movimiento a partir de los niveles de gris tenemos problemas:niveles de gris, tenemos problemas:

Problema 1: TieneProblema 1: Tieneque haber suficientevariacin en el nivel

de gris de la reginque se mueve paraque su movimientoque su movimientose detecte. (esferacon nivel de grisgconstante que gira,su movimiento no se Problema 2: Puede detectarse flujodetecta). Flujo: No,Movimiento: S.

ptico cuando no haya movimiento.(cambio en la iluminacin externa).Fl jo S Mo imiento No


Flujo: S, Movimiento: No.

III.BEjemploj p

Las imgenes han sido obtenidas del Computer Vision Research as ge es a s do obte das de Co pute s o esea cGroup , Department of Computer Science, University of Otago Dunedin, New Zealand(http://www.cs.otago.ac.nz/research/vision/Research/OpticalFlow/opticalflow.html) que posee generadores, de libre disposicin, de flujo ptico basados en Tcl/Tk y ray tracerbasados en Tcl/Tk y ray-tracer.


La esfera gira de izquierda a derecha y genera el movimiento que vemos en la imagenque vemos en la imagen

Flujo ptico Imagen 2Imagen 1 j pg

En el directorio pub/vision de ftp.csd.uwo se encuentran los cdigos que implementan los mtodos de estimacin de flujo ptico que veremos a p j p qcontinuacin, as como varias secuencias y programas que generan imgenes y su flujo ptico. Ver el trabajo de Barron y col. (1992) (material adicional de la asignatura en pdf)


asignatura en pdf)

IV. Correspondencia 2-D

El problema de la correspondencia puede establecerse como la estimacin hacia delante o hacia atrs del movimiento aparente, d, que tiene la forma d=(d1(x1,x2),d2(x1,x2))

Hacia delante:

coordenadas,tiempo

Hacia delante:f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k+l)

con l>0, se ha suprimido en d su dependencia de k y l, de hecho debemos escribir d(x,k,l).

Hacia atrs (usado ms en compresin):

f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k-l) con l>0.


con l>0.

Se dice que un problema est mal definido si no existe unaSe dice que un problema est mal definido si no existe una solucin nica y/o sus soluciones no dependen continuamente de los datos. La estimacin del movimiento es un problema mal definido ya que sufre de:

Problema de la oclusin,

Problema de la apertura,

No continuidad de la solucin.

Veremos estos problemas con posterioridad.


V. Flujo pticoj p

Consideremos la distribucin de intensidades en un sistemaespacio-temporal continuo, f(x,y,t) (es importante recordar queluego tendremos que aproximar nuestros clculos a partir de lasluego tendremos que aproximar nuestros clculos a partir de lassecuencias de imgenes, discretas en el espacio y el tiempo).


Hiptesis: la intensidad de cada objeto permanece constante p j pdurante el movimiento

La constancia de la intensidad puede escribirse como

df( t)/dt 0df(x,y,t)/dt=0

Tengamos en cuenta que esta derivada no es lo mismo que (f/Tengamos en cuenta que esta derivada no es lo mismo que (f/t) y que lo que estamos afirmando es que el nivel de gris comofuncin del tiempo no cambia durante la trayectoria (veremos,p y ( ,posteriormente, en qu casos esto es cierto). Es decir, afirmamos

df( (t) (t) t)/dt 0df(x(t),y(t),t)/dt=0

Por la regla de la cadena tendremos


Por la regla de la cadena tendremos

),,(),,(),,()),(),(( tyxfdytyxfdxtyxfttytxdf

)()()( tyxftyxftyxftdtydtxdt

)1(

0),,(),,(),,(

ttyxfv

ytyxfu

xtyxf

)1(

d ibique podemos escribirufx+vfy+ft=0 (2)

En esta ecuacin llamada del flujo ptico aparecen derivadasparciales teniendo en cuenta que nosotros trabajamos conparciales, teniendo en cuenta que nosotros trabajamos conimgenes discretas, tanto en el espacio como en el tiempoCmo reescribiramos esta ecuacin en su versin discreta?.


Si z=(x,y) podemos utilizar

)1()1(1),( tyxftyxftzf 1)(

),,1(),,1(2

tzf

tyxftyxfx

),1,(),1,(21),( tyxftyxf

ytzf

),,()1,,(),( tyxftyxfttzf

bl fil l i i launque es ms razonable filtrar las imgenes tanto espacial como temporalmente antes de realizar los clculos.


VI. Problema de oclusin

El trmino oclusin se refiere a `tapar/destapar unasuperficie debido a la rotacin 3-D y a la traslacin de unobjeto que ocupa slo parte del campo de visin.

Imagen k Imagen k+l

Se cubre este fondo en la imagen siguiente.Ninguna regin en la imagen siguiente secorresponde con sta

Se descubre este fondo en estaimagen. Ninguna regin en laimagen anterior predice esta regin


corresponde con sta. imagen anterior predice esta regin.

VIII. El problema de la apertura

Consideremos la ecuacin del flujo ptico,

uf +vf +ft=0ufx+vfy+ft=0

observemos que tenemos una ecuacin y dos incgnitas y portanto existen infinitas soluciones en u y v Reexpresemos (u v)tanto existen infinitas soluciones en u y v. Reexpresemos (u,v)en funcin de (fx,fy) y (fy,-fx) (dos vectores perpendiculares):

),(),(),( 22 xyyxyx

t ffffff

fvu . variablecon

yx ff

lo que significa que podemos determinar la componente delo que significa que podemos determinar la componente de(u,v) en la direccin del gradiente espacial (fx,fy) pero no ensu direccin perpendicular. Es el llamado problema de la


apertura.

El problema de la apertura

direccin

El problema de la apertura

direccin normal al gradiente (f -f )(fy, fx)

direccin del gradiente (fx,fy)

direccin del gradiente (fx,fy)g ( x, y) g ( x, y)

Cul es su flujo ptico?


IX. BibliografaTekalp, A.M., (1996), Digital Video Processing, Prentice-Hall.Trucco, E. y Verri, A., (1998), Introductory Techniques for 3-D Computer Vision Prentice HallD Computer Vision, Prentice Hall.

Complementaria (incluida en material adicional)p ( )

J.L. Barron, D.J. Fleet, D.J., y S. Beauchemin, (1994) Performance ofoptical flow techniques. International Journal of Computer Vision,optical flow techniques . International Journal of Computer Vision,12(1):43-77.S. Beauchemin y J.L. Barron, (1996) The Computation of OpticalFlow ACM Computing Surveys 27(3):433-467Flow . ACM Computing Surveys 27(3):433 467.J. Stiller and J. Konrad, (1999), Estimating Motion in ImageSequences, IEEE Signal Processing Magazine, 16(4):70-91.A J Tabatabai and R S Jasinschi and T Naveen (1998) MotionA.J. Tabatabai and R.S. Jasinschi and T. Naveen, (1998) Motionestimation methods for video compression. A review, J. FranklinInstitute, vol. 335B, 8, 1411-1441.


Documents

Campo de Movimiento 3-D y en La Imagen