20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 1
Classe 4
Detecció deCaracterístiques 2D
(Espai Escala).
20391: Visió per ComputadorApunts de l’assignatura
El món està estructurat.
Els objectes del món, i per tant les estructures en les imatges, només existeixen com a unitats significatives dins d’un cert rang d’escales.
Jordi Vitrià 20391: Visió per Computador 2
El concepte d’escala en una imatge està limitat per l’escala interna i l’escala externa.
Volem observar la imatge a diferents escales, i definirem un conjunt d’operadors per fer-ho i per extreure informació útil .
20391: Visió per ComputadorApunts de l’assignatura
Escala vs. Resolució
Jordi Vitrià 20391: Visió per Computador 3
El concepte d’escala s’ha d’associar a la idea de detall i no de resolució.
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 4
20391: Visió per ComputadorApunts de l’assignatura
Escala. Definició.
El paràmetre escala és un valor escalar s que representa a quin nivell de detall observem una imatge, i anomenarem espai escala al conjunt d’imatges generades de forma continua a partir d’una imatge I(x,y), que representa les diferents
Jordi Vitrià 20391: Visió per Computador 5
d’una imatge I(x,y), que representa les diferents escales.
Requeriments a imposar (racionals):1. Linealitat2. Invariànça a translació.3. Isotropia.4. Invariànça a escala.
20391: Visió per ComputadorApunts de l’assignatura
Escala. Definició.
Aquests requeriments ens condueixen a una única solució: la convolució amb el nucli Gaussià.
2
22
22exp
2
1),,( σ
πσσ
yx
yxG
+−=
Jordi Vitrià 20391: Visió per Computador 6
Que podem reparametritzar de la següent manera (amb s=σ2/2):
2exp
2),,(
πσσyxG =
s
yx
ssyxG 4
22
exp4
1),,(
+−=
π
20391: Visió per ComputadorApunts de l’assignatura
Escala. Definició.
Un element de l’espai escala és
'')','(),','(2 dydxyxIsyyxxG∫ −−ℜ
Jordi Vitrià 20391: Visió per Computador 7
20391: Visió per ComputadorApunts de l’assignatura
Escala. Definició.
Jordi Vitrià 20391: Visió per Computador 8
20391: Visió per ComputadorApunts de l’assignatura
Escala. Definició.
Hi ha infinits elements diferents!
Jordi Vitrià 20391: Visió per Computador 9
20391: Visió per ComputadorApunts de l’assignatura
Escala. Definició.
L’espai escala ens ofereix un mètode per extreure estructures de la imatge de forma bottom-up, és a dir, sense informació a priori del contingut o de l’estructura de la imatge.
Jordi Vitrià 20391: Visió per Computador 10
Un dels objectius d’aquestes tècniques és fer aquestes estructures explícites, creant representacions.
Quina és la primitiva a usar?
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 11
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Les taques (blobs) són l’element bàsic preatentiu.
Què hem de fer?
Jordi Vitrià 20391: Visió per Computador 12
Què hem de fer?
1. Definir-ho geomètricament.2. Definir un mètode de detecció.3. Veure com s’utilitza.
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Definicions geomètriques:
1. Creuaments per zero del Laplacià.2. Parts de la imatge entre un punt “coll” i un
Jordi Vitrià 20391: Visió per Computador 13
2. Parts de la imatge entre un punt “coll” i un extrem.
3. Zones determinades per les línies de cresta de la superfície topogràfica.
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
L’espai escala té una propietat geomètrica interessant: la continuïtat dels creuaments per zero del Laplacià.
Jordi Vitrià 20391: Visió per Computador 14
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 15
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
...tot i que s’ha d’anar amb compte, doncs hi ha fenòmens “estranys” associats a la vida d’una taca: mort, fusió, bifurcació i naixement.
Jordi Vitrià 20391: Visió per Computador 16
naixement.
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 17
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
La detecció de l’estructura de la imatge es basa en la següent assumpció:→ Les característiques significants en
l’espai escala corresponen a
Jordi Vitrià 20391: Visió per Computador 18
l’espai escala corresponen a característiques significants en la imatge.
Les taques es poden organitzar dins l’espai escala segons el seu comportament.
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Taques amb volum gran a l’espai escala .
L’escala a la qual una taca té el seu màxim en nivell de gris és l’escala a la que aquesta
Jordi Vitrià 20391: Visió per Computador 19
nivell de gris és l’escala a la que aquesta característica ha de ser considerada.
El conjunt de suport d’una taca de l’espai escala és el conjunt de suport de la taca a l’escala on és considerada.
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 20
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Amb aquestes assumpcions podem definir segmentacions raonables de les imatges. La metodologia bàsica seria:
1. Generar la representació multiscala amb extracció
Jordi Vitrià 20391: Visió per Computador 21
1. Generar la representació multiscala amb extracció i encadenament de taques.
2. Calculem el volum espai-escala de cada taca.3. Per a cada tca, determinem la seva escala de
consideració i la seva regió de suport.4. Ordenem les taques per order decreixent en
importància.
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i estructura d’una imatge.
Jordi Vitrià 20391: Visió per Computador 22
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Un altre objectiu interessant és la detecció de punts o zones de la imatge que presenten una determinada característica geomètrica (2D): cantonades, unions-T, unions-X,
Jordi Vitrià 20391: Visió per Computador 23
(2D): cantonades, unions-T, unions-X, contorns...
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Considerem l’estructura de la imatge a partir de la seva expansió en serie de Taylor d’ordre n:
Jordi Vitrià 20391: Visió per Computador 24
Fins a ordre 4...
)5(...),,(),,(2
1),,(
2
1
),,(),,(),,(),,(
22 OyxsyxIysyxIxsyxI
ysyxIxsyxIsyxIsyyxxI
xyyyxx
yx
++∂∂+∂+∂+
+∂+∂+=∂+∂+
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Com calculem les derivades de la imatge?...
Jordi Vitrià 20391: Visió per Computador 25
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Considerem operadors definits en coordenades cartesianes i calibrades.
−
=
xIIv xy1
Jordi Vitrià 20391: Visió per Computador 26
−
+=
y
x
II
II
IIw
v
yx
xy
yx
22
1
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Isòfotes...
Jordi Vitrià 20391: Visió per Computador 27
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
vvxxyyyxxyyx
wwvvyyxx
wyx
IIIIIIIIIsòfotesCurv
IIIILaplacià
IIIGradient
3
22
222
2.
−−++
+
Jordi Vitrià 20391: Visió per Computador 28
vvwxxyxyyxyyx
vvvxxx
vv
yx
yyyxyyxxxx
w
yx
IIIIIIIIICantonades
IITUnions
III
IIIIIIICrestes
III
IsòfotesCurv
222
22
22
2
3
22
2
......
)(
2
)(
.
−−+−−
+−+
+
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Jordi Vitrià 20391: Visió per Computador 29
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.
Cantonades..
32
w
w
vvwvv I
I
III
−=
Curvatura de les isòfotes!
Jordi Vitrià 20391: Visió per Computador 30
Laplacià...
És una aproximació de detector de contorns ideal, però a vegades no és zero quan la segona derivada en la direcció del gradient ho és!!
wI
w
w
vvwwwwvvyyxx I
I
IIIIII +=+=+
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.Cantonades.
Jordi Vitrià 20391: Visió per Computador 31
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.Contorns i crestes.
Jordi Vitrià 20391: Visió per Computador 32
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.Crestes.
Jordi Vitrià 20391: Visió per Computador 33
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.Crestes.
Jordi Vitrià 20391: Visió per Computador 34
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.Original, escala, mòdul del gradient, Laplacià..
Jordi Vitrià 20391: Visió per Computador 35
20391: Visió per ComputadorApunts de l’assignatura
Espai Escala i Operadors diferencials.Creuament per zero del Laplacià, contorns, cantonades i crestes.
Jordi Vitrià 20391: Visió per Computador 36
20391: Visió per ComputadorApunts de l’assignatura
L’espai escala és una part important del model visual:
La base per a definir un “frontal visual” que precedeix qualsevol altre procés, i en les dades del qual, qualsevol altre procés està
Jordi Vitrià 20391: Visió per Computador 37
dades del qual, qualsevol altre procés està basat.