PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión

1/60

PERCEPCIÓN AVANZADA

Fusión Sensorial

MASTER EN Automática, Robótica y Telemática

Dr. J. RAMIRO MARTINEZ DE DIOS

2/60

• Introducción

• Clasificación

• El problema de la asociación de datos

• Fusión sin incertidumbre

• Lógica borrosa en fusión sensorial

• Técnicas estadística de fusión sensorial

Fusión Sensorial

3/60

• Objetivos:

– Explotar las sinergias entre medidas: la unión de medidas es mejor que la suma de todas ellas

– Mejorar fiabilidad: ruido, fallos de algún sensor

• Consideraciones:

– Asociación: determinar si datos de dos o más sensores provienen del mismo fenómeno

– Filtrado de datos: evitar datos contradictorios

– Carga computacional: velocidad de repuesta necesaria

Sensor

Fusión de información

Mejora en la Percepción

Sensor Sensor

Ruido RuidoRuido

Fusión Sensorial

4/60

Tipos de fusión sensorial:

• Complementaria

– Sensores obtienen información que se complementa

– Los sensores no dependen unos de otros

– Es sencilla de implantar

• Competitiva

– Sensores proporcionan información redundante

– Posibles conflictos

– Se usa en sistemas críticos

• Cooperativa

– Sensores colaboran para proporcionar información que uno sólo no podría

– Obtiene medida que no podría obtener por ninguno de ellos solos

Visión estéreo

Cámaras cubrenzonas muertas

Sistema estéreo y efector final

Fusión Sensorial

5/60

• Introducción

• Clasificación





Fusión Sensorial

6/60

• Clasificación básica:

– Nivel de datos (nivel bajo)

– Nivel de características (nivel medio)

– Nivel de decisión (nivel alto)

Fusión Sensorial

7/60

• Fusión de nivel de datos

– Se aplican sobre los datos capturados por los sensores, e.g. fusión de

intensidades de píxeles

– Los datos a funcionar sean de características similares, e.g. sumables

– Ventaja: fácil implantación

– Desventaja: opera sobre todos los datos, originando carga computacional

Fusión Sensorial

8/60

• Fusión de nivel de características

– Combinan características obtenidas de datos procesados

Fusión Sensorial

9/60

• Fusión de nivel decisión

– Se fusionan decisiones, e.g. decisión del tipo de objeto

– Normalmente emplean técnicas probabilísticas

Feature

Feature

Feature

Fusión Sensorial

10/60

Representación de la incertidumbre

– No existe incertidumbre

– Empleo de lógica borrosa

– Empleo de incertidumbre estadística

• Máxima verosimilitud

• Filtros Bayesianos. Filtros de Kalman

– Empleo de incertidumbre de Dempster-Shafer

Técnicas de fusión sensorial

11/60

• Introducción

• Clasificación





Fusión Sensorial

12/60

• Determinar si datos de dos o más sensores provienen del mismo fenómeno

• Paso previo a la fusión de datos

• Relativamente sencillo si los sensores están concentrados

• Muy complejo si los sensores están distribuidos:

– Mido velocidades de coches en una autopista con varios Doppler. ¿Qué medidas de

los Doppler 1 y 2 son del mismo coche?

• Problema muy complejo en el caso general

• Criterios para asociación:

– Posición del fenómeno medido mediante ambos sensores

– Similitud de lecturas tomadas por ambos sensores

– ...

– ¿Cómo puede aplicarse a imágenes? �

Asociación de datos


Fusión

de datos

rectificación de imágenes

13/60

Asociación temporal:– Algoritmos de sincronización de máquinas remotas

• NTP

– Establecimiento de etiquetas temporales

Asociación espacial:– Asociación del mismo objeto en dos imágenes de cámaras distribuidas


14/60

Matriz de homografía

• Permite relacionar escenas planas tomadas desde puntos diferentes

• Permite alinear imágenes de escenas planas

12 ImIm H=

=

44434241

34333231

24232221

14131211

hhhh

hhhh

hhhh

hhhh

H


15/60

Matriz de Homografía

Buen ajuste

Mal ajuste

Escenas planas


16/60

Matriz de Homografía

Permite asociar los píxeles y aplicar métodos de fusión de

datos, por ejemplo sumando niveles de píxeles

Detección de objetos


17/60

Correspondencia Visual/IR

• Problema:

18/60

� Paso 1 de 6: Selección de las imágenes

Imagen visual de referencia Imagen de infrarrojos a corregir

Sector representativo de imagen

(píxeles)

64x64

128x128

256x256

512x512

Resolución/Rango de detección


19/60

� Paso 2 de 6: Detección de bordes para hallar la rotación

Suma cuadrática

del gradiente

bidireccional

Normalización

en el rango

[0,255]

Igualación de

histogramas

Imagen visual Imagen de infrarrojos


20/60

� Paso 3 de 6: Cálculo de la DFT

Visual

IRElimina DC


21/60

� Paso 4 de 6: Conversión a polar-semilogarítmica

Visual IR - Discretización logarítmica polar

- Interpolación bilineal

- Suavizado mediante un filtro de

la mediana con máscara 5x5

- Filtro sinosoidal y ventana de

Hanning

θ

log ρ

θ- Desplazamiento centro

de masas umbralizado

- SPOMF

log ρ


22/60

Suma cuadrática

del gradiente

direccional

� Paso 5 de 6: Preprocesamiento en detección de traslación

0 255 255

255

127

255

255

255

191

191

Visual

Infrarrojos

Esquema de inversiones

de intensidad

Normalización

en el rango

[0,255]

Igualación de

histogramas

Detector debordes direccional


23/60

� Paso 6 de 6: Cálculo SPOMF para hallar la traslación

Desplazamiento vertical

Desplazamiento horizontal

Parámetro de calidad: Comparación entre

picos máximos distantes para desestimar

detecciones incorrectas


24/60

� Adquisición de imágenes

� Representación por pantalla

Estabilización conjunta Visual/IR

25/60

o Ejemplo de fusión de imágenes:

Imagen visual Imagen IR

Objetos calientes sobre imagen visual Suma de ambas imagenes

Fusión IR/Visual

26/60

Fusión IR/Visual

Fusión mediante

selección de umbralFusión con media

sobre la visual

Fusión con media de niveles sobre la de IR

Fusión con media ponderada sobre la de IR

27/60

• Introducción

• Clasificación





Fusión Sensorial

28/60

� Objetivo: medir automáticamente parámetros del incendio en tiempo real

� Fuentes de incertidumbre:- Percepción en exteriores - Específicos de percepción de incendios

� Sensores de magnitudes heterogéneas en múltiples localizaciones- Redundancia espacial - Redundancia de magnitudes

� Sensores:- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser

Fusión sensorial para mejorar medidas

Monitorización de Incendios

29/60


Vista frontalVista aérea

Vista lateral B

Vista lateral A

30/60


� Percepción combinada: obtención indirecta de magnitudes

� Fusión sensorial: magnitudes obtenidas de varias fuentes

� Filtrado de Kalman

∑

∑

=

jjk

jjkjk

k

m

Mω

ω2jkjjk rF=ω

--0.670.71Lateral IR

--0.760.89Frontal IR

Altura de llamaAncho frentePosición frente

0.24

0.67

0.22

0.53

0.58Lateral Visual

0.51Frontal Visual

31/60


Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006

Puntos: evolución real

Líneas: evolución estimada

32/60


33/60

1) Identificación del punto D VF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:

AIR = HIR H-1VF AVF

3) Identificación de CIR en la imagen de infrarrojos4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:

A = H-1IR AIR

5) Cálculo de B como el punto medio entre A y C6) Cálculo de BVL como la proyección de B sobre la imagen lateral visual:

BVL = HVL B

D

A

vista lateral

terreno

vista IR visual frontal

Sistemas multi-cámara. Coordenadas comunes

34/60

1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de A VF sobre la imagen frontal IR mediante la expresión:

AIR = HIR H-1VF AVF


A = H-1IR AIR


BVL = HVL B

D

A

vista lateral

terreno



35/60

1) Identificación del punto DVF y AVF en la imagen visual frontal2) Proyección de AVF sobre la imagen frontal IR mediante la expresión:

AIR = HIR H-1VF AVF

3) Identificación de C IR en la imagen de infrarrojos.4) Proyección de AIR y CIR sobre el terreno para obtener A y C empleando la expresión:

A = H-1IR AIR


BVL = HVL B

D

A

vista lateral

terreno



36/60


AIR = HIR H-1VF AVF

3) Identificación de CIR en la imagen de infrarrojos4) Proyección de A IR y C IR sobre el terreno para obtener A y C empleando :

A = H-1IR AIR


BVL = HVL B

D

A

vista lateral

terreno



37/60


AIR = HIR H-1VF AVF


A = H-1IR AIR


BVL = HVL B

D

A

vista lateral

terreno



38/60


AIR = HIR H-1VF AVF


A = H-1IR AIR

5) Cálculo de B como el punto medio entre A y C6) Cálculo de B VL como la proyección de B sobre la imagen lateral vis ual:

BVL = HVL B

D

A

vista lateral

terreno



39/60

• Introducción

• Clasificación





Fusión Sensorial

40/60

• Frecuentemente se emplea en

Fusión de niveles medio y alto

• Representan la información de

forma deliberadamente imprecisa

• Permite recoger información de

la aplicación

Sistemas borrosos

• Expresa las relaciones entre medidas mediante reglas explícitas

cercanas al lenguaje natural

Reglas

– Conocimiento de expertos humanos

– Análisis del problema

41/60

Ejemplo: Conducción automática de automóviles

– Sensores:

• Cámaras � Detecta carretera mediante proces. de imágenes

• GPS � Conoce su posición y dispone de mapa de carretera

– Funciones de pertenencia:

cámara GPS

CI CC CDMI I C D MD

GiroIzq Centro Der

Sistemas borrosos

42/60


– cámara: -20 grados

– GPS: -35 gradosGPS

cámaraCI CC CD

MI I C D MD

cámara es CI con valor 0.35

cámara es CC con valor 0.6

GPS es MI con valor 0.32

GPS es I con valor 0.65

Sistemas borrosos

43/60


SI (cámara es CI) O (GPS es I) ENTONCES (Giro es Izq)

0.35 O 0.65 ENTONCES (Giro es Izq)

Giro es Izq con peso 0.65

GiroIzq Centro Der

GiroIzq Centro DerGiro es Centro con peso 0.95

Otras reglas:

Sistemas borrosos

44/60


Salida:

Cálculo del centroide

Giro0.65

0.95

Gira 30 Grados a la izquierda

Sistemas borrosos

45/60

Detección de Incendios. Reducción de falsas alarmas

Tasa de Detección: 100%

Tasa de Falsa Alarmas: 1,93 %

90,0 % proc. infrarrojo85,4 % análisis de oscilación24,0 % proc. imagen visual

9,1 % información geográfica

46/60


� Análisis de falsas alarmas- Reflejos, objetos calientes, luces, actividades humanas

� Información a integrar:- Análisis temporal de imágenes de infrarrojo- Análisis de imágenes visuales- Análisis del terreno: combustible, uso, pendiente- Análisis de actividades humanas- Índice de riesgo de incendio

� Sistema Borroso para integración de información

a)Extrem_Alt ES lidad(FF_posibi ENTONCES Alta)Muy ES _humana(actividad SI (1.0)

Alta) ES lidad(FF_posibi ENTONCES Alta) ES (pendiente SI (0.04)

47/60


• Interpretación:

– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias

• 10 neuronas 120 iteraciones • ME = 9 13 iteraciones

– Neuronas Wavelet binarias

• MME: ME=9 6 iteraciones (PD=100% PFA=0%)

• Al-Jaroudi: ME=9 6 iteraciones (PD=100% PFA=0%)

( )

∑ −−−==

N

1iiiMME T))T)(f(x(yu N

N

1E ∑=

=

N

1iiiJM ))f(x-y-ln(1

N

1E

Falsas alarmas Incendio

48/60

• Introducción

• Clasificación





Fusión Sensorial

49/60

• Se emplea para fusionar características

• Sensores que obtienen información complementaria del fenómeno

mi es la medida del sensor i

• Supone que los sensores y medidas son estadísticamente independientes

• La medida M resulta de suma ponderada:

Las medidas con más ruido contribuyen menos a la medida global

Cov2i matriz de covarianzas de la medida del sensor i

Técnicas estadísticas. Máxima verosimilitud

( )1

1 1

1 1

N N

i i i

i i

M Cov mCov

−− −

= =

= ∑ ∑

50/60

Ejemplo

• Sensor 1: {1,09 1,13 0,97 0,87 0,86 1,05 1,04}

• Sensor 2: {0,74 1,33 1,07 0,81 0,93 1,21 1,18}

• Supongamos ruido Gaussiano

• Varianza: σ21=0,0095 y σ22=0,0412

{1.02 1.17 0.99 0.86 0.87 1.08 1.07}

Falla si algún sensor deja de tomar medidas

Técnicas estadísticas. Máxima verosimilitud

51/60

• Se emplea para fusionar características

• Estima iterativamente el estado de un sistema a partir de medidas

• Ventajas:

– Estimador óptimo en presencia de ruido blanco Gaussiano de media 0

– Permite integrar medidas de

varios sensores

• Desventajas:

– Requiere conocimiento preciso de

modelos de sistema y sensores

Técnicas estadísticas. Filtro de Kalman

52/60

– Fenómeno sigue modelo lineal:

El modelo puede ser no invariante en el tiempo: Ak, Bk, Ck

– wk y rk son muestras de ruido blanco Gaussiano de media nula

y matriz de covarianza:

kkkk wBuAxx ++=+1

kkk rCxy +=

[ ] QwwE kT

k =

[ ] RrrE kT

k =

Imprecisiones del modelo o perturbaciones

Ruido en el sensor


53/60

Fases:

– Predicción: predice estado del sistema• Modelo de predicción

– Actualización: compara predicción con medidas y corrige• Modelo de observación

En cada paso estima:-

-

kkx /

⌢

kkP /

medidasyk

Filtro

Predicción

Actualización


54/60

• Fase de predicción:

• Fase de actualización

Predicción del estado

Matriz de covarianza de la estimación del estado

kkkkk uBxAx +=+ //1

⌢⌢

QAPAP T

kkkk +=+ //1

Corrección de la estimación del estado futuro

Ganancia del filtro de Kalman

[ ]kkkkkkkk xCyLxx /111/11/1 ++++++ −+= ⌢⌢⌢

kkkkkkk PCLPP /11/11/1 +++++ −=

[ ] 1

/1/11

−+++ += RCPCCPL T

kk

T

kkk


55/60

• La estimación del estado se realiza considerando el modelo del sistema y de los sensores

• R y Q determinan el peso relativo de cada contribución

– Si el ruido del sensor es alto � se fía más del modelo

– Si el modelo es impreciso � se fía más del sensor

• Si no hay medidas, se toma el

modelo para interpolar


56/60

Modelos no lineales: Filtro de Kalman extendido (EKF)

• Modelos no lineales: linealizar

• Resto queda igual

( )( )

( )( )

( )( )

,

,

k k k

k

k k k

k

k k

k

A F x ux

B F x uu

C G xx

∂=∂∂=

∂∂=

∂

⌢

⌢

⌢

kkkk wBuAxx ++=+1

kkk rCxy +=

( )1 ,k k k kx F x u w+ = +

( )k k ky G x r= +

F o G son no lineales


57/60

• Una red de cámaras WSN

Seguimiento de objetos con cámara motes

58/60

• Técnicas ML

( )∑∑=

−−

=

−

=

N

i

ii

N

i

i CovXCovX1

1

1

1

1


59/60

• Técnicas EKF

– Modelo dinámico del sistema

• Velocidad lineal

– Modelo de observación (no lineal)

[ ] [ ][ ] [ ] kT

kiT

ki

Tki

Tki

kkik vXtXt

XtXtvXhZ +

==

11

11),(

,3,2

,3,1,

∂∂

∂∂

∂∂

∂∂

∂∂

∂∂

∂∂

kkk

kkk

k

k

z

h

y

h

x

h

z

h

y

h

x

h

=X

h=H

222

111


60/60

• Técnicas EKF


61/60

PERCEPCIÓN AVANZADA

Fusión Sensorial

MASTER EN Automática, Robótica y Telemática

Dr. J. RAMIRO MARTINEZ DE DIOS

Documents

PERCEPCIÓN AVANZADA - esi2.us.esjdedios/asignaturas/Clase4.pdf · Fusión Sensorial. 5/60 • Introducción • Clasificación • El problema de la asociación de datos • Fusión