Visió per Computador - cvc.uab.es · Imatge en el SWIR de nit sense lluna ni llum artificial....

Visió per Computadorformació de la imatge

Felipe LumbrerasDept. Ciències de la Computació / Centre de Visió per Computador

Universitat Autònoma de Barcelonahttp://www.cvc.uab.es/shared/teach/a102784/

Elements implicats

font: szeliski.org/Book/

Llum

El que percebem com a llum és una estreta porció de l’espectre electromagnètic.Cada freqüència es correspon amb un color pur (de vermells fins als violetes).

Espectre electromagnètic

E = hn

c = ln

relació de Planckh: constant de Planckc: velocitat de la llum en el buit

Imatges en altres rangs

Copyright © ONERA - All rights reserved

Imatge en el SWIR de nit sense lluna ni llum artificial. Només nightglow.

Façana de l’ETSE vista en el visible (a dalt), i en el LWIR (esquerra).

font: Wikipedia, user:Drgnu23

Röntgen (1895), mà de Berta.

UV Gammagrafia

raigs X

La intensitat emesa o reflectida per un objecte per totes les longituds d’ona defineix el seu color.

• Espectre (distribució espectral de potencia): potencia (energia per unitat de temps) radiant per unitat de longitud d’ona.

Llum

• Llum blanca: espectre pla (equienergètic). Per obtenir una sensació de llum blanca no és necessari que l’espectre sigui pla.

• Llum monocromàtica: espectre concentrat en una única longitud d’ona. Representa un color espectral pur.

PR

l

PR

l

Llum

• Longitud d’ona dominant / to

longitud d’ona amb més energia. Pic del espectre (e2).

• Puresa / saturació

relació entre l’energia de la longitud d’ona dominant (e2) i l’energia de la llum blanca (e1). Si e1=e2 la puresa és zero i si e1 és zero la puresa és 1 (màxima).

• Luminància / Lluminositat

proporcional a l’àrea sota la corba de la distribució espectral.

PR

l

e1

e2

lD

teòrica

PR

l

e1

e2

lD

exemple

Paràmetres espectrals / color

Color

sensació visual produïda per una determinada distribució espectral que incideix en la retina ...

... i es processa pel SVH

Font de

llum

Objecte

Observadoremissió

reflexió

Elements implicats

font: szeliski.org/Book/

Escena

L

NR

V

superfície

L: vector en la direcció de la font de llumN: vector normal a la superfícieR: vector direcció de reflexióV: vector en la direcció de l’observador

ambient+difusa

brillantor

Geometria

Reflectància

• BRDF (bidirectional reflectance distribution function)

– Difusa

– Especular

– Phong

– Dicromatic

font: szeliski.org/Book/

(Phong) (Torrance Sparrow)

r: reflectanced: diffuses: speculari: interfaceb: surface body

materials isotròpics

Photometric Stereo for Outdoor Webcamshttp://www.gris.informatik.tu-darmstadt.de/projects/webcam-ps/

Face Reconstruction in the Wildhttp://grail.cs.washington.edu/3dfaces/

Elements implicats

font: szeliski.org/Book/

L’ull humàEstructura• La còrnia, el cristal·lí i l’humor

aquós s'encarreguen de projectar una imatge sobre la retina.

lents/òptiques

• L’iris és un diafragma que regula la quantitat de llum que entra en l’ull.

diafragma

• La retina és una capa de cèl·lules nervioses que transforma l’energia lluminosa en impulsos elèctrics.

sensor

L’ull humà

Receptors

Bastons: sensibles a intensitat baixa, no al color, situats a la perifèria de la fòvea.

Cons: sensibles a nivells alts, al color i bàsicament a la fòvea.

Nom Màxima sensibilitat

S (short) 445 nm (violeta)

M (medium) 535 nm (verd)

L (long) 570 nm (groc)

• Experiment de correspondència

Mesura del color

Observador estàndard

• En 1931 es defineix un observador estàndard a partir de mesures realitzades a un conjunt de persones mitjançant experiments de correspondència.

• Els tres primaris són X, Y, Z. Aquests primaris són colors imaginaris (no es poden donar a la natura).

• Les corbes x(l), y(l), z(l) són les funcions de correspondència i s’han triat positives.

Mesura del color

reflexiva f. )()()( emisiva; f. )()(

)()( ;)()( ;)()(

lllll

lllllllll

SILIL

dzLZdyLYdxLX

Càlcul de valors triestímul

• A partir de la distribució espectral de un determinat estímul de color obtenim els valors X,Y,Z així:– multipliquem per les funcions

de correspondència.– integrem l’àrea sota la corba.

• A la pràctica això és el que fan els aparells que mesuren les components de color.

Mesura del color

• Els valors XYZ dels possibles colors defineixen una mena de con “sòlid de color”. Tots els possibles colors són dins d’ell.

• Els eixos de l’espai XYZ no cauen a dins del sòlid (colors imaginaris).

• L’origen es correspon amb el negre

• La frontera representa els colors espectrals purs (locus), els púrpures que no hi són a l’espectre estan representats per una línia que uneix vermell i violeta. Z

X

Y

locus

línia de

púrpures

Espai XYZ

• Una representació que separa la component de lluminositat del color és el diagrama xy.x=X/(X+Y+Z), y=Y/(X+Y+Z),z=Z/(X+Y+Z)

• Com que x+y+z=1 eliminem la

redundància treien una d’elles.

• Podem veure-ho com el

sòlid de color projectat

sobre el pla X+Y+Z=1.

Diagrama xy

• Independents de dispositiu

– CIEXYZ (1931, 1964): espai base. Útil per mesurar.

– CIELUV: uniforme. Utilitzat per emissors.

– CIELAB: uniforme. Utilitzat per pintures i colors reflectits.

• Dependents de dispositiu

– RGB: monitors, càmeres, imatges. Molt utilitzat.

– CMY /CMYK : impressió

– Y’U’V’ y Y’I’Q’: televisió, vídeo.

– HSV : imiten espais perceptuals. Útil per definir colors i per processament de imatges en color

– HLS : similar a l’anterior.

Espais de color

Z

X

Y

• Independents de dispositiu

– CIEXYZ, CIELUV, CIELAB

• Dependents de dispositiu

– RGB, HSV, HLS

Espais de color

G B

R

Elements implicats

font: szeliski.org/Book/

Càmeres

• Model simple: pinhole, projecció central

focal distance

holeimage

plane

Càmeres

• Model simple: pinhole, projecció central

Càmeres

• Model simple: pinhole, projecció central

focal distance variation

Càmeres

pinhole

Hartley R , Zisserman. A Multiple View Geometry In Computer Vision, 2 Ed. 2003 (pàg. 154)

(X,Y,Z)T→ (𝑓X/Z, 𝑓Y/Z, 𝑓)

T

Coordenades homogènies

XYZ1

→𝑓X𝑓YZ

=𝑓

𝑓

1

000

XYZ1

x = P X

XYZ1

→𝑓X+Z𝑝𝑥𝑓Y+Z𝑝𝑦

Z

=𝑓

𝑓

1

𝑝𝑥𝑝𝑦0

XYZ1

Centre òptic (principal point)

x = K[I | 𝟎] XcamK =𝑓 𝑝𝑥

𝑓 𝑝𝑦1

Matriu de paràmetres intrínsecs

Rotació i Translació de la càmera

x = K[R | 𝐭] XMatriu de paràmetres

extrínsecs

[R | 𝐭] P=K[R | 𝐭]

Matriu de projecció

pinhole

Radial distortion

33Computer vision: models, learning and inference. ©2011 Simon J.D. Prince

Calibratge de càmeres

• Intrínsecs :

– focal (en píxels),

– punt principal (centre)

– distorsions

• Extrínsecs

– Rotació

– Translació

http://www.vision.caltech.edu/bouguetj/calib_doc/

Óptica Cámara

filtros

enfoquezoom

diafragma

montura

extensoresvídeo / imagen

anclaje

alimentación

elementos ópticos: filtros IR, beam splitters

sensor/es

configuración

amplificación, conversión, proceso

Captación

Ópticas

• Esquema simplificado

eje ópticoF’

O

h

vu

f

Formación de la imagen

• Esquema simplificado

O

I

h

h’

vu

f

F’

El rayo que pasa por el centro de la

lente no se desvía

El rayo que llega horizontal se

desvía por el foco

Formación de la imagen

eje óptico

• Esquema simplificado

O

I

h

h’

vu

f

F’

Formación de la imagen

eje óptico

• Esquema simplificado

O

I

h

h’

vu

f

F’

vuf

111 fórmula de Gauss

Formación de la imagen

eje óptico

• Grupo óptico que forma la imagen sobre el sensor

Características:

Distancia focal: f

Apertura: f-numero, N.A.,

Profundidad de campo DOF. mínima y máxima distancia de enfoque

Campo de vista FOV

Aumento

Tipos Focal fija, Variable

Gran angular, Ojo de pez

Zoom

Telecéntricos

Monturas Especificas de vídeo: C, CS

Microlentes

Otras

Otros elementos Extensores

Filtros

Tornillos

Objetivos

• Los objetivos están formados por grupos ópticos en

los que la suposición de lente delgada no se da.

– Simplificamos los cálculos suponiendo lente delgada

• El término distancia focal hace referencia a la EFL

(distancia focal efectiva).

– Otras medidas útiles son la BFD (back focal distance) y

– la FFD (flange focal distance).

F2

f = EFL

N2

FFD

BFD

Para un tamaño de sensor fijo la distancia focal está relacionada con el ángulo que abarca la imagen:

a menor distancia focal, mayor campo angular

Distancia focal

• Apertura relativa: Relacionado con la luminosidad que tendrá la imagen:- diámetro del objetivo luz que entra. - distancia focal tamaño de la imagen.

• La luz que llega al sensor es proporcional a D2

D

fN

f = focal

D = de la lente

N: 16 11 8 5.6 4 2.8 2 1.4

Apertura

• Los objetivos ajustan la distancia lente-sensor con el enfoque, consiguiendo una imagen nítida sobre el sensor.

– El posicionamiento con rosca de paso fino (Dz ~ 5 mm).

– Cuando la lente está lo más cerca posible del sensor, éste se sitúa en el plano focal del sistema (objetos distantes enfocados).

– Con el anillo de enfoque al máximo tenemos la mínima distancia entre el objeto y objetivo (MOD: minimunobject distance). La calculamos con formula de Gauss.

Nota: en aplicaciones con condiciones adversas conviene fijar el enfoque con un tornillo.

mm MOD mm mm mm

150;525

11

25

1

u

u

Ejemplo: para un objetivo de f=25 mm con 5 mm de recorrido de enfoque tenemos un rango

F

Anillo de enfoque

Enfoque

• FOV (Field Of View): área de la escena, a la distancia de trabajo u, que forma su imagen en el sensor. También medido como campo de vista angular 2q. Depende de tres factores:

– Distancia focal f

– Distancia de trabajo u

– Tamaño del sensor

Nota: Si la óptica está bien diseñada la apertura (iris) no debe influir en el campo. Incluso cerrando mucho el iris debemos seguir viendo el mismo campo.

q

FOV

f

u v

sensor

v

usFOV

v

s

2/

arctan2qs

Campo de vista

• Cómo varía la magnificación total i el campo de vista en función de la distancia focal para una distancia de trabajo fija.

Magnificación y campo de vista

f = 12 mm f = 25 mm f = 50 mm

• Cómo depende de la distancia focal

A mayor distancia focal menor campo de vista y mayor MOD.

• Clasificación en función del campo

angular (vídeo)

100°super-wide angle

65° wide angle

35° standard wide angle

20° standard

12° light telephoto

6° telephoto

MO

D

Campo de vista

• Círculo de confusión– el ojo humano y cualquier otro sensor es incapaz de

distinguir detalles más pequeños que el elemento utilizado para captarlos.

– Dependiendo del sensor que utilicemos tendremos uno u otro círculo de confusión. En las cámaras este valor suele ser: c’=10mm - 30mm.

elementosensor

plano imagen

CCD

cono de luz incidente

Profundidad de campo

CCD

A A’B B’

sensor

cono de luz incidente

(pequeño)

cono de luz incidente (grande)

Rango de posiciones en las que el objeto se encuentra bien enfocado (el tamaño de un punto imagen es igual o menor al del círculo de confusión).

• Factores que influyen en la profundidad de campo:– Apertura: a menor apertura, mayor profundidad de campo

– Distancia del objeto: a mayor distancia, mayor profundidad

– Distancia focal: a menor distancia focal, mayor profundidad

Profundidad de campo (DOF)

• Ejemplo de variación de la profundidad de campo según la apertura,

mmf 25

4.1#f 2#f 8.2#f 4#f 8#f

Profundidad de campo

• Anillos que colocados entre el objetivo y la cámara aumentan la distancia lente-sensor

• Consecuencias:– Disminución DOF

– Disminución distancia mínima

de trabajo

– Disminución FOV

– El aumento se hace mayor

Extensores

• Objetivos fijos

• Teleobjetivos

• Gran angular

• Zoom

• Macro

• Telecéntricas

Tipos de objetivos

Distancia desde el plano posterior de la óptica

(sin contar la rosca) y el sensor (plano focal).

• Dos estándares:

-Tipo C (industria y ciencia): distancia c = 17,5 mm

-Tipo CS (vigilancia): distancia c = 12,5 mm

El paso de rosca es de 1/32” TPI (threads per inch).

Se puede pasar de CS a C con extensor, pero no al revés.

• Los sensores de gran formato (lineales/matriciales) usan

otros tipos de montura: F-Nikon, 42mm.

• Las cámaras de bajo coste suelen tener montura de 12 mm

o menores (microlentes). De poco uso en visión industrial.

Nota: el soporte de la lente suele contener el filtro IR

Montura53/160

Cámaras

Luz(fotones)

Carga eléctrica(electrones)

Sensor

• Los sensores convierten la energía radiante en una señal eléctrica.

• La luz está “formada” por fotones. El sensor “cuenta” fotones.

Sensor

QE (Quantum Efficiency): Número de electrones generados por cada fotón incidente.

WC (Well Capacity): Número de electrones que puede almacenar la celda sensora.

• Arquitectura del chip

• Tiempo de integración

• Tipo de integración

• Transferencia

• Sensibilidad espectral

• Relación señal ruido, Corriente oscura

• Respuesta, Saturación

• Color

• Tecnología

Características del sensor

Cámaras linealesCámaras matriciales

Celda CCD

Anchura del elemento sensor

Altura del elemento sensor

NM

Celda CCD

Anchura del elemento sensor

Altura del elemento sensor

Arquitectura

Matricial: estructura

• Número efectivo de celdas (HxV).

• Tamaño de las celdas (THxTV).

• Forma de las celdas (TH/TV). Ideal = 1 (cuadrada).

• Formato de la matriz (1’’, 2/3”,1/2”,1/3”,1/4”).

Formato de la matriz: aspect ratio 4:3 (unidades en mm)

Número efectivo de píxeles(captan luz)

SensorNúmero total de píxeles

Nota: relacionado con el concepto de corriente oscura

Zona de píxeles que no capta luz

Número efectivo de celdas

• Misma focal y enfoque (mismo sistema óptico)• Diferente tamaño de sensor

1/2”

1/3”

Formato de la matrizTamaño y relación de aspecto del sensor.

Afecta a: • campo de vista

• magnificación total

sensor

Monitor

Sensor lineal• Arquitectura de descarga lineal, bilineal o trilineal.

• Gran resolución en la línea: de 128 a 8800 píxeles.

• Formato de salida no estándar.

• Permite trabajar con diferentes condiciones de iluminación y movimiento.

• La señal que lo controla se denomina shutter (obturador).

Ejemplo: poca luz mayor tiempo de integración

Tiempo de integración

El tiempo de integración afecta a:

• cantidad de electrones que se almacenan por unidad de tiempo,

• desenfoque por movimiento

Tiempo de integración

Objeto estático 1/250 s

1/1000 s 1/10000 s

Tiempo de integración

Menor tiempo de integración implica:

• O tener que aumentar la potencia de luz en la escena:

CALOR

• O ser compensado abriendo el iris del objetivo:

MENOR PROFUNDIDAD DE CAMPO

Tiempo de integración

Rolling shutter

expuesto

expuesto

t0

ti

La mayoría de CMOS

CCD y algunos CMOS

Tipo de integración

Frame shutter

1) Adquisición (tiempo de integración de la imagen).2) Lectura (readout)3) Reset (descarga de las fotocélulas)

Transferencia (CCD)

Problemas asociados al proceso de transferencia:

•Blooming: desbordamiento de carga.

•Smear: La luz llega en la etapa de lectura.

La carga se propaga a lo largo de toda la columna.

Posible soluciones:Tiempo de integración menor blooming menor

Tapar el sensor en el tiempo de lectura.

Transferencia

Nota: fenómenos más presentes en CCD que en CMOS

• La sensibilidad del sensor depende de los materiales con los que está fabricado. El semiconductor nos da la envolvente de sensibilidad.

• En el caso de tener filtros adosados, éstos limitarán el rango.

Para generar un par electrón-hueco, la energía de los fotones tiene que ser superior al gap del semiconductor.

Sensibilidad espectral

Longitud de onda (nm)

Res

pu

esta

rel

ativ

a

1.0

400 500 600 700 800 900 1000

0.8

0.6

0.4

0.2

0.0 1100

CCD (Si)

SVH

Curva de respuesta espectral

visibleuv nir

Proporción de ruido en dela señal

VruidoV

t

ruido

señal

V

VSNR log20

Vseñal

SNR

• Por el hecho de estar a una determinada temperatura se genera una pequeña señal (pares electrón-hueco), incluso en ausencia de luz, que recibe el nombre de corriente oscura.

• Los píxeles no efectivos se utilizan para cuantificar y contrarrestar esta señal.

• Podemos disminuir este efecto bajando la temperatura.

Corriente oscura

• Para una longitud de onda dada y un rango de intensidades la respuesta del sensor es lineal.

• Podemos alterar la forma de esta respuesta para los dispositivos no lineales (CRT), corrección gamma

Saturación

Corriente oscura

Intensidad de luz

Ran

go

din

ámic

o

Salida

• Procesar imágenes señal lineal.

• Si se requieren grandes diferencias entre zonas claras y oscuras (HDR: high dynamicrange) se puede optar por sensores que tienen respuesta logarítmica o no-lineal.

Respuesta

Color

Bayer pattern (1 único sensor)

• El sistema más utilizado

• No tenemos R,G,B en ningún pixel. Se necesita interpolar (demosaicing)

3 sensores independientes

• Prismas y filtros dividen el haz de luz en 3 componentes que iluminan 3 sensores monocromáticos.

Pixeles apilados

• La luz dependiendo de su energía (color) llega a diferentes profundidades.

Calibratge del color

CCD (Charge-Coupled Device)• Tecnología especifica para CCD.

• Necesita electrónica extra para sacar la señal del sensor.

CMOS (Complementary Metal Oxide Semiconductor)• Misma tecnología que para otros dispositivos electrónicos.

• Bajo coste

• Se puede integrar electrónica extra en el mismo chip (conversores, proceso,…)

Tipos de sensor

Sensor CCD

Sensor CMOS

Característica CCD CMOS

Windowing Muy restringida Sí

Consumo Alto Bajo

Integración Baja Alta

Velocidad Baja Alta

Blooming y smear Sí Bajo

Coste económico Alto Medio, bajo

Fill Factor Alto Medio/bajo

Ruido Bajo Medio/alto (FPN)

Shuttering Fácil Presenta complicaciones

CCD vs. CMOS

• CCD y CMOS son tecnologías complementarias.

• A corto/medio plazo:CCD donde se requiera alta calidad de imagen

CMOS: para aplicaciones de bajo coste,

cuando se necesiten transferencias de áreas parciales,

si se requiere alta velocidad,

para obtener rangos dinámicos altos (HDR).

• A largo plazo, CMOS irá mejorando los problemas de ruido, fillfactor.

CCD vs. CMOS - Tendencia

Señal, conectividad

• Analógicas

• Digitales

• Autónomas (smart cameras)

• Ventajas

– Longitud del cable prácticamente ilimitada (~ 100 metros)

– Bajo precio de las cámaras

• Inconvenientes

– Típicamente, menor resolución

– Requieren del uso de un frame grabber

– Los problemas de sincronismo cuando se usan múltiples cámaras requieren cables específicos.

• Barrido

– Entrelazado: proviene de la TV. CCIR (25 Hz), RS-170/EIA (30 Hz)

– Progresivo: no estándar

Cámaras Analógicas

• Al no derivar de un estándar de televisión, se pueden encontrar modelos de mayor resolución, mayor velocidad, ventana variable.

• Varios sistemas:

– Cámaras Firewire (IEEE1394a, IEEE1394b)

– Cámaras CameraLink

– Otros: USB 2.0, USB 3.0, GigaEthernet , Cameralink, …

Cámaras Digitales

• Analógicas:– BNC

– RCA

– Específico del fabricante

• Digital:– USB 2, USB 3

– FireWire

– Cameralink

– Ethernet

Conectores

• Captación y proceso integrado en un mismo producto. Sistema de visión industrial integrado:– Lente + sensor (CCD, CMOS, matricial, lineal) +

digitalización + memoria (imagen)

– Procesador (CPU, DSP) + memoria de programa

– Comunicaciones, entradas y salidas: RS232,Etherner, i/o optoacopladas.

– Sistema de iluminación (LED)

• Realizan labores sencillas de visión en una línea de producción, sin necesidad de hardware externo.

• Programación con lenguajes (C, C++), o a partir de librerías suministradas por el fabricante.

Smart cameras