COLOR, TEXTURA I FORMA

X.Cufí, J.Martí,J.Freixenet, X.Muñoz i X.Lladó

Visió per computador

Dept. Electrònica, Informàtica i Automàtica

UdGUniversitat de Girona

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometric stereo

Índex

Fonts d�informació visual:

1. Introducció

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

Color

Textura

Forma

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometric stereo

Índex

2. Color

- Definició de color:

El color és una característica de la llum, que no és deguda a no-homogeneïtats espacials o temporals, considerant que la llum ésl�aspecte de l�energia radiant que l�observador humà és capaç depercebre per l�estimulació que produeix a la retina.

[Comitè de Colorimetria de la Optical Society of America]

- La llum:

La llum és una radiació electromagnètica. Una forma d�energia que espot caracteritzar d�acord amb les seves components que venendonades per la seva longitud d�ona.

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

Espectre de la radiació electromagnètica.

2. Color (II)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2. Color (III)

La llum visible és una part molt petita de tot l�espectre.

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2. Color (IV)

Espectre de la llum visible:

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2. Color (V)

Atributs perceptius bàsics: descriuen la informació de la distribucióde potència espectral.

- Intensitat (Lluminositat): Atribut de la sensació visual per la queun color pot semblar més o menys intens.

- To (Hue): Atribut de la percepció d�un color que es denota pelseu nom: blau, verd, groc, vermell, púrpura.

- Cromacitat (saturació): Atribut de la percepció d�un color per lala que s�exhibeix més o menys quantitat del seu to (puresa delcolor).

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2. Color (VI)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.1. Espais de color

Espai RGB:

RGB normalitzat:

Espai HSI (Carron i Lambert):

3

BGRI

++=

I

BGRminS

),,(1−=

>

−−+−

−+−−Π

≤

−−+−

−+−

=

GBifBGBRGR

BRGR

GBifBGBRGR

BRGR

H

))(()(

))()((2

1

arccos2

))(()(

))()((2

1

arccos

2

2

BGR

Rr

++=

BGR

Gg

++=

BGR

Bb

++=

BGR

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.1. Espais de color (II)

Espai HSV (Smith):

Espai HSV (Tenenbaum):

),,(

),,(

),,(

)4(*60

)2(*60

)(*60

BGRmaxBif

BGRmaxGif

BGRmaxRif

gr

br

gb

H

===

′−′+′−′+

′−′= ),,(),,(

),,(

BGRminBGRmax

RBGRmaxr

−−

=′

min(R,G,B)max(R,G,B)

Gmax(R,G,B)g

−−

=′

),,(

),,(),,(

BGRmax

BGRminBGRmaxS

−=

),,(),,(

),,(

BGRminBGRmax

BBGRmaxb

−−

=′

),,( BGRmaxV =

−−−

=BGR

BGarctanH

2

)(3

3

BGRV

++=

++++++−=

BGR

B

BGR

G

BGR

RminS ,,*31

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.1. Espais de color (III)

Espai CIEL*a*b (Celenk):

I1I2I3 (Ohta):

( ) 2122 *** baC +=

** LL =[ ] 01.016116* 031

0 >−= YYYYL

( ) ( )[ ] 01.0500* 031

031

0 >−= XXYYXXa

( ) ( )[ ] 01.0200* 031

031

0 >−= ZZZZYYb

( )**º 1 abtanH −=

BGRX 1300.17518.17690.2 +−=BGRY 0601.05907.40000.1 +−=BGRZ 5943.50565.00000.0 +−=

31

BGRI

++= BRI −=2

2

23

BRGI

−−=

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.2. Aplicacions

Tasques visuals en les que intervé el color:

- Segmentació d�imatges.

- Reconeixement d�objectes.

- Classificació.

- Indexació en bases de dades.

- Extracció de la forma a partir de la variació del color. (Shape from colour)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.2. Aplicacions (II)

Segmentació:

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

Reconeixement i indexació:

2.2. Aplicacions (III)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.2. Aplicacions (IV)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

2.2. Aplicacions (V)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

Classificació:

2.2. Aplicacions (VI)

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometric stereo

Índex

1. Què és la textura?

� Conjunt de característiques que ens informen visualment deltacte dels objectes, sense necessitat de tocar-los

Imatge amb 4 textures

� És una propietat de superfície, no

està definida en un punt

� Depèn de l�escala a la que

s�observa

�La textura és considerada com una propietat estadísticaassociada a una regió de la imatge obtinguda o d�una imatgetransformada.� [Ama96]

�Podem entendre una textura com allò que constitueix una regiómacroscòpica. La seva estructura és simplement una sèrie demotius repetitius en els que els elements o primitives estanordenats segons una regla de col·locació.� [TJ93]

�Malgrat la seva importància, no hi ha una definició de texturageneralment acceptada.� [Law80]

1. Què és la textura?

Imatge original Imatge segmentada

� La majoria d�algoritmes de segmentació suposen regionsuniformes en intensitat o color.

� La superfície de l�objecte, la il· luminació i d�altres factorsinflueixen en aquesta intensitat o color

1. Què és la textura?

2. Operadors de Textura

� Mètodes estadístics� Energia

� Matriu de co-ocurrències

� Màscares paramètriques

� Patrons binaris locals

� Mètodes estructurals

� Mètodes de modelització� Camps aleatoris de Markov

� Mètodes de filtratge espai-freqüencials� Filtres de Gabor

� Wavelets

0 0 1 1

0 0 1 1

0 2 2 2

2 2 3 3

3. Matriu de co-ocurrències

� Probabilitat que existeixin dos punts amb nivell de gris i,jrespectivament, tals que estiguin a una distància (d) i en unaorientació θ donades

4 2 1 0

2 4 0 0(1,0º )

1 0 6 1

0 1 1 2

HM M

= =

6 0 2 0

0 4 2 0(1,90º )

2 2 2 2

0 0 2 0

VM M

= =

1

, 0

N

iji j

Uniformitat m−

=

= ∑1

, 0

log( )N

ij iji j

Entropia m m−

=

= ×∑

1

, 0Pr max ( )

N

iji j

obabilitat m−

==

12

, 0

( )N

iji j

Contrast i j m−

=

= − ×∑

1

2, 0 ( )

Nij

i j

mInversa i j

i j

−

=

= ≠−∑

1

, 0 1 | |

Nij

i j

mHomogeneitat

i j

−

=

=+ −∑

1

2, 0

1

, 0

12

, 0

( ) ( )

( )

Nij

i j

N

iji j

N

iji j

i j mCorrelació

i m

i m

µ µσ

µ

σ µ

−

=

−

=

−

=

− × − ×=

= ×

= − ×

∑

∑

∑

3. Matriu de co-ocurrències

� Estadístics:

3. Matriu de co-ocurrències

3. Matriu de co-ocurrències

� Problemes:

- Tamany de la matriu.

- Cost computacional del càlcul de les matrius.

- Quina configuració s�ha de seleccionar per caracteritzarmillor la textura?

» Distància?

» Orientació?

» Estadístic?

4. Màscares paramètriques

� Es defineixen una série de màscares que defineixen diferentsparàmetres de la textura d�una imatge.

� Pre-processat: Es treballa sobre les imatges de contornsafinats.

4. Màscares paramètriques

� Procediment:

1.- Es defineix el concepte d�un paràmetre de textura.

2.- Es reuneixen tots els casos on es produeix aquest concepte.

3.- Es reflecteixen aquests casos en les diferents màscares.

� Màscares:

0 0 1 1

0 0 1 1

1 0

0 0

4. Màscares paramètriques

� Granulositat: punts aïllats de la imatge.

0 0 0

0 1 0

0 0 0

0 0 0 0

0 1 1 0

0 0 0 0

0 0 0

0 1 0

0 1 0

0 0 0

0 0 0 0

0 1 1 0

0 1 1 0

0 0 0 0

4. Màscares paramètriques

� Estadístics:� Mitjana

� Desviació estàndard

Abruptitat Discontinuïtat

Abruptitat Granulositat

4. Màscares paramètriques

� Problemes:

- Dependència del pre-processat de la imatge.

- Definició intuitiva de les màscares.

ImatgeSegmentada

ImatgeSegmentada

Operadorde

Textura1

Imatge característica

1

Imatge característica

1

SegmentacióImatgeOrigen

ImatgeOrigen

Operadorde

Textura2

Imatge característica

2

Imatge característica

2

Operadorde

Texturan

Imatge característica

n

Imatge característica

n

Vector de característiques

5. Vector de Característiques

Imatge original Segmentació: K-Means Extés

Operador: matriu deco-ocurrencies

Operador: covarianciessimètriques

Eliminació de regionsno significatives

5. Vector de Característiques

Imatge original Segmentació: region growing

Operador: matriu de co-ocurrencies

Operador: energia Eliminació de regionsno significatives

Operador: PBL Contrast

5. Vector de Característiques

6. Conclusions

� La textura és fonamental en Visió per Computador.

� No hi ha un operador que es pugui anomenar �millor�.

Vector de característiques de textura

� Manca integració de textura i color.

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometric stereo

Índex

4. Forma

- Reconeixement estadístic: descripció d�una forma mitjançant unvector de característiques numèriques. Similaritat entre formesdefinida com a una distància mètrica sobre l�espai de característiques.

- Reconeixement estructural: representació explícita o implícita del�estructura d�una classe, on estructura significa l�organitzaciórelacional i jeràrquica de característiques de baix nivell o componentsen estructures de nivell més elevat.

Descripció estadística: F = (#components,alçada, amplada)

Descripció estructural:

camaD, camaE: RECTANGLE VERTICAL;

braçD, braçE: RECTANGLE HORITZONTAL;

cos: QUADRAT;

cap: CERCLE;

F = cap ⇑ (braçE ⇔ (cos ⇑ (camaE ⇔ camaD)) ⇔ braçD)Forma F

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

4.1. Reconeixement estadístic

Descriptors de forma:

- Àrea- Perímetre- Coordenades de la caixa envolvent- Perímetre de la caixa envolvent- Compactness (rodonesa de la forma): Perimetre2/4πÀrea- Allargada- Amplada- Centroide- ...

- Descriptors per moments d�inèrcia- Descriptors de Fourier

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

4.2. Reconeixement estructural

a

a

a

a

b

b

bb

b

b

bb

c

c c

c

S

ab b

c B S

ab b

c B Sab b

c B S

ab b

c B

(cbab)4

CADENA

ARBRE

GRAF

Representació simbòlica de les formes:

- Representació estructural (cadenes, arbres, grafs, taules, etc.) perdescriure els objectes. Representació de relacions espacials,temporals, conceptuals, etc.

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

4.2. Reconeixement estructural (II)

Dues categories dins del reconeixement estructural en base alsmodels de representació de la informació:

- Reconeixement sintàctic:

- Representació mitjançant gramàtiques formals.

- Utilització d�un parser com a motor de reconeixement.

- Reconeixement basat en prototipus estructurals:

- Representació de manera explícita mitjançant prototipusestructurals (Estructures unidimensionals: Strings).

- Reconeixement mitjançant matching relacional amb funciódistància implícita (Estructures multidimensionals: Grafs).

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

4.2.2. Reconeixement basat en prototipus estructurals

Reconeixement basat en prototipus estructurals

La mateixa estructura de dades s�utilitza per a representar els modelsi les formes desconegudes.

Reconeixement per comparació directa entre models i formadesconeguda utilitzant una funció distància.

Dos tipus d�estructures per a representar les formes:

- Patrons unidimensionals. Strings.- Patrons multidimensionals. Grafs.

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

Programació dinàmica per realitzar el reconeixement (distància entrestrings).

22221220201000070070

Conjunt discret de símbols.

la

φa

lb

φb

lcφc

ld

φd

le

φe

a

la

φa

b

lb

φb

c

lc

φc

d

ld

φd

e

le

φe

F =

Cadenes amb atributs.

Chain Codes

6

21

0

3

4

5 7

Representació mitjançant cadenes

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

Elements principals: conjunt de nodes, conjunts d�arcs, etiquetessimbòliques (valors d�atributs).

(β,2.25)

(t,1,2)

(r,1,20)

(t,0,4)

(α,3)

(α,3)

(α,3.25)

(t,2,5)

Representació mitjançant grafs

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo

4.3. Aplicacions

- Caracterització.

- Descripció d�objectes.

- Reconeixement.

- Classificació.

1 Introducció

2 Color

3 Textura

4 Forma

5 Photometricstereo