20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 1
Classe 7
(Des)Enfocament.
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
L’enfocament (o desenfocament) és un fenomen òptic relativament intuïtiu i clar. Tothom l’ha experimentat!
Però perquè existeix aquest fenomen?
L’enfocament (o desenfocament) és un efecte
Jordi Vitrià 20391: Visió per Computador 2
L’enfocament (o desenfocament) és un efecte col·lateral de l’existència de les lents en els sistemes de formació de la imatge per a fer-lo més eficient respecte a la quantitat d’energia rebuda de cada punt del món.
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
El control de l’enfocament (o desenfocament) és bàsic en qualsevol sistema de captació d’imatges, i té l’objectiu fonamental d’adquirir en cada moment la millor imatge possible del món (“millor” en el sentit de “millor definició
Jordi Vitrià 20391: Visió per Computador 3
del món (“millor” en el sentit de “millor definició espacial”).
Aquest control es coneix amb el nom d’ACOMODACIÓ.
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
L’acomodació en el sistema visual humà està controlada pels muscles ciliats, que deformen el cristal·lí per a modificar les seves propietats òptiques (la f ).
Jordi Vitrià 20391: Visió per Computador 4
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
L’acomodació en el sistema visual humà és útil a distàncies curtes.
Jordi Vitrià 20391: Visió per Computador 5
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
És realment important, o té algun paper important, l’acomodació en el processament visual?
L’experiment de Müller (1826) (vergència acomodativa) demostra que sí.
Jordi Vitrià 20391: Visió per Computador 6
Podem calcular distàncies!
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
En el món animal hi ha animals pels quals els processos d’acomodació tenen un valor de supervivència.
Jordi Vitrià 20391: Visió per Computador 7
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
Jordi Vitrià 20391: Visió per Computador 8
20391: Visió per ComputadorApunts de l’assignatura
Quina és la relació entre la lent i l’enfocament?
Què és l’enfocament?
Jordi Vitrià 20391: Visió per Computador 9
f
20391: Visió per ComputadorApunts de l’assignatura
Quina és la relació entre la lent i l’enfocament?
Què és l’enfocament?
Punt de llum
Eix òptic
u
v’
L
v
Pla d’enfocamentfvu
1
'
11 =+Fórmula de Gauss
Jordi Vitrià 20391: Visió per Computador 10
Eix òptic
ff
Pla imatge
'2
)'(2
v
vvLD
−=
Si v és fixa, llavors D � v’, i v’� u, pel que D� u.
Pla imatge
D és un bon descriptor de profunditat.
20391: Visió per ComputadorApunts de l’assignatura
Formació de la imatge (aproximació de primer ordre):
Un punt que hauria de tenir valor I(x,y) si estes enfocat, quan està desenfocat produeix un cercle de diàmetre Di valor
Què és l’enfocament?
( ) ),(2/2
12
yxIDπ
Jordi Vitrià 20391: Visió per Computador 11
També podem considerar un model més realista, que tingui en compte els efectes del a difracció, aberracions òptiques, presència de diferents λ’s, etc.Llavors un punt produeix una PSF (Point Spread Function) h(x,y) que es pot aproximar amb una Gaussiana.
( )2/2 Dπ
20391: Visió per ComputadorApunts de l’assignatura
Formació de la imatge (aproximació de segon ordre): Aberracions cromàtiques longitudinals i tangencials.
Què és l’enfocament?
Jordi Vitrià 20391: Visió per Computador 12
20391: Visió per ComputadorApunts de l’assignatura
Formació de la imatge (aproximació de segon ordre): Com podem “escriure” una imatge que conté objectes a diferents profunditats?
Què és l’enfocament?
Jordi Vitrià 20391: Visió per Computador 13
20391: Visió per ComputadorApunts de l’assignatura
Formació de la imatge (aproximació de segon ordre): Model d’imatge:
Què és l’enfocament?
∑ ⊗=u
vuuv yxhyxSyxI ),(),(),( ),(
Jordi Vitrià 20391: Visió per Computador 14
On Su(x,y) representa la irradiància dels punts de la superficie visible que es troben a distància u de la lent i h(u,v)(x,y) la funció de dispersió puntual d’un punt situat a una distància u de la lent amb un pla imatge col·locat a v.
u
20391: Visió per ComputadorApunts de l’assignatura
Què és l’enfocament?
Jordi Vitrià 20391: Visió per Computador 15
20391: Visió per ComputadorApunts de l’assignatura
Objectiu : Trobar la millor posició d’enfocament d’un objecte (o punt de la imatge). Això obliga a definir un criteri d’enfocament, que ha de complir:
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 16
1. El criteri ha de ser una funció amb el màxim a la posició d’enfocament òptima.
2. El criteri hauria de ser una funció unimodal.3. Ha de ser robust.
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Valor del criteri
Molt Alt
Alt
Baix
Jordi Vitrià 20391: Visió per Computador 17
Molt Baix
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Criteris basats en la Transformada de Fourier, analitzant els continguts en altes freqüències de imatge.
Criteri de la variança,
Jordi Vitrià 20391: Visió per Computador 18
∑∑ ==−= N
y
N
xyxI
N 1
2
12
2 |),(|1 µσ
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Criteri de Tenengrad,Calculem sobre cada finestra de la imatge
∑ + 22
yx II
Jordi Vitrià 20391: Visió per Computador 19
I el criteri és
22 )),(()),((),( yxIIyxIIyxS yx ×+×=
∑∑yx
yxS 2),(max
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Criteri de Tenengrad.El mòdul del Gradient es comporta bé.
Jordi Vitrià 20391: Visió per Computador 20
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Criteri de Tenengrad.Resultat.
Jordi Vitrià 20391: Visió per Computador 21
20391: Visió per ComputadorApunts de l’assignatura
Tenengrad (a partir de 30 imatges)
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 22
20391: Visió per ComputadorApunts de l’assignatura
Tenegrad Focus Measure, Neighborhood k = 10
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 23
Tenegrad Focus Measure, Neighborhood k = 30
20391: Visió per ComputadorApunts de l’assignatura
Tenegrad Focus Measure, Neighborhood k = 50
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 24
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Aproximació intuïtiva:
Quan comparem dues imatges de la mateixa escena amb diferents enfocaments, quin és el “criteri visual” més intuïtiu? El CONTRAST entre els nivells de gris.
Jordi Vitrià 20391: Visió per Computador 25
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Aproximació intuïtiva:
Però, Què és el contrast (des d’un punt de vista formal)?És el contrast suficient per a acomodar?
Definim l’histograma de contrast dinàmic (DCH) per
Jordi Vitrià 20391: Visió per Computador 26
Definim l’histograma de contrast dinàmic (DCH) per a cada parella d’imatges consecutives en una seqüència d’enfocament-desenfocament:
{ }'),( i ),( amb ),(# 11 gyxIgyxIWyxDCH ii
I
Ii
i==∈= +
+
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
DCH:
Jordi Vitrià 20391: Visió per Computador 27
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Definim el Criteri d’Enfocament Dinàmic (DFC) d’una regió de la imatge com la pendent de la línia de regressió ortogonal estimada sobre el seu DCH.
Si DFC>1, llavors la primera imatge està menys enfocada que la primera, i viceversa.
Jordi Vitrià 20391: Visió per Computador 28
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 29
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 30
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir de l’enfocament .
Jordi Vitrià 20391: Visió per Computador 31
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Objectiu : Fer una estimació en paral·lel per a tots els punts de la imatge a partir d’un parell d’imatges.
Observació: L’operador de convolució que representa
Jordi Vitrià 20391: Visió per Computador 32
Observació: L’operador de convolució que representa el desenfocament, h(x,y), canvia quan variem:
1. La posició del pla imatge.2. La posició de l’objecte.3. L’obertura.
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Obertura
Jordi Vitrià 20391: Visió per Computador 33
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
OberturaMàxima
Jordi Vitrià 20391: Visió per Computador 34
OberturaMínima
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Lent
Pla d’enfocament
Pla imatge
Jordi Vitrià 20391: Visió per Computador 35
Objecte
Objecte
LentPla
d’enfocament
Pla imatge
Obertura
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Donada una regió de l’escena s(x,y) i l’operador de desenfocament h(x,y), llavors obtenim una versió de la imatge amb l’obertura màximament tancada, i1(x,y), i una amb una obertura gran:
),(),(),( yxsyxhyxi ⊗=
Jordi Vitrià 20391: Visió per Computador 36
Llavors es compleix que:
Si determinem la PSF ja hem acabat!
),(),(),(2 yxsyxhyxi u ⊗=
),(),(),( 21 yxiyxhyxi u =⊗
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Donat un sistema òptic, podem determinar experimentalment la taula corresponent a les hu(x,y).
Donada una parella d’imatges, podem determinar per a cada regió de la imatge la PSF que li correspon
Jordi Vitrià 20391: Visió per Computador 37
cada regió de la imatge la PSF que li correspon minimitzant la següent expressió:
[ ]∑∑ −⊗y
v
x
yxiyxhyxi2
21 ),(),(),(
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Jordi Vitrià 20391: Visió per Computador 38
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Jordi Vitrià 20391: Visió per Computador 39
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Jordi Vitrià 20391: Visió per Computador 40
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Jordi Vitrià 20391: Visió per Computador 41
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Jordi Vitrià 20391: Visió per Computador 42
20391: Visió per ComputadorApunts de l’assignatura
Càlcul de la profunditat a partir del desenfocament .
Jordi Vitrià 20391: Visió per Computador 43