Perceptrón Multicapa

Aplicaciones

Perceptrón Multicapa

MLP

Latitud Longitud ... Altitud

Radiación solar

Aproximación de funciones

MLP

Estado de un reactor nuclear

Peligro Calma

ClasificaciónCompresión

MLP

Datos originales

Datos comprimidos

MLP-1

Datos originales

¿Para qué se puede usar un perceptrón multicapa?

A New Compression Technique Using an Artificial Neural Network

• Objetivo: presentar un método basado en Redes Neuronales para compresión de imágenes

• Problemática: transmisión de imágenes como proceso costoso reducir la cantidad de bits aumentar el volumen de datos transmitidos en un lapso

• Superioridad de las redes neuronales frente a datos incompletos o con ruido

B. Verma, M. Blumenstein, S. KulkarniGriffith University - Australia

Compresión de imágenes por encoder/decoder

• Entrada=salida (autoasociador)• M << N

Compresión de imágenes por encoder/decoder

• Entrada: ventanas de 8x8 de la imagen (blanco y negro). Las entradas similares fueron eliminadas

• Parámetros:

– Cantidad de neuronas en la capa oculta: 20– Pares del conjunto de entrenamiento: entre 100 y 400– Velocidad de aprendizaje: 0.2 – Momentum: 0.2

Compresión de imágenes con wavelets

“Improving Wavelet Image Compression with Neural Networks”, Christopher Burges, Patrice Simard y Henrique Malvar

Transferencia de imágenes comprimidas con wavelets

– Wavelet es una transformada, como Taylor o Fourier• señal = a f1(x) + b f2(x) + c f3(x) + ...

– Se transmiten los coeficientes (a,b,c) discretizados y codificados

Si se consigue codificarlos con menos bits, la imagen ocupa menos.

• Con un MLP se intenta predecir el siguiente coeficiente a partir de los anteriores

Se logra que el residuo (lo que se transmite) sea mucho más chico, y pueda ser codificado con menos bits

Compresión de imágenes con wavelets

-Predictor

-Una capa oculta (20 unidades) y una unidad de salida, sigmoideas

-Las unidades de entrada corresponden al contexto del coeficiente a predecir (24 / 42 unidades).

-Valores de velocidad de aprendizaje: 0.1; 0.01

-Se entrena una red por cada subbanda de detalle de resolución 0 y 1

-Entrenamiento con un conjunto fijo de16 imágenes. Testeo 7 imágenes

-Conjunto de entrenamiento para LH0: 150.000 patrones (con más patrones el resultado no mejoraba)

-Medida de error: Error Cuadrático Medio

Compresión de imágenes con wavelets

Resultados

- Buena calidad de la imagen reconstruida

- Mejora la tasa de compresión para la misma calidad de imagen

- El uso del predictor incorpora un tiempo adicional de procesamiento

Compresión de imágenes con wavelets

• Modelo más usado: Hidden Markov Model

• Un Modelo de Markov es un Autómata Finito, con probabilidades asignadas a las transiciones

Reconocimiento de voz

• En un Hidden Markov Model no podemos saber en qué estado estamos.• A partir de algunos datos tenemos una distribución de probabilidad sobre

los estados.

• Si: estado i

• aij: transición entre el estado i y el estado j

qi: estado i

P(qi|qj): probabilidad de pasar del estado i al estado j

u: emisión

bi(u): probabilidad de obtener la emisión u en el estado i

Reconocimiento de voz

Fonema

Probabilidad de que el fonema j aparezca después del fonema i

Sonido

Probabilidad de que el fonema i sea pronunciado con el sonido u

“"An Introduction to HMM/Connectionist Continuous Speech Recognition", Nelson Morgan and Hervé Bourland

• Modelos híbridos: Utilizan un MLP para estimar la probabilidad de que un sonido x corresponda a un fonema i

–Entrada: Características del sonido–Salida: Fonema que representa el sonido

{0,0,...,1,...,0}

Se puede demostrar que entrenando de esta manera se consigue una red cuya salida es la probabilidad de que la entrada pertenezca a cada una de las clases

{0.2, 0.4, 0.1, ...} = 1.Nelson Morgan1988 (Paper original): Precisión 30%1995: Precisión 70%

• 9 x 26 entradas• 500 – 4000 unidades en la capa oculta• 61 salidas

Reconocimiento de voz

• Características importantes

– Actualización on-line

– Cross validation para mejorar la generalización y evitar el sobreentrenamiento

• Conjunto de 10%-20% de los patrones de entrenamiento para validación• Después de cada época se calcula el error en ese conjunto.• Si el error no mejoró en ese conjunto, se reduce la velocidad de aprendizaje

– Es muy importante la representación de la entrada

• Características dinámicas (que dependen de la secuencia de frames)• Más de un frame por vez (información de contexto)

– Función de energía: entropía o Kullback-Leibler

i i

ii O

E ln

Reconocimiento de voz

Calibración de cámara de video

A partir de una imagen de video, un robot tiene que deducir la distancia y la orientación respecto de un objeto

Características:

• No paramétrico– No requiere estimación de parámetros (distorsión de la lente, distancia

focal, etc)

• Método aproximado– La precisión aumenta con el tamaño del conjunto de entrenamiento

A Non-parametric Method for Video Camera Calibration Using a Neural Network", Enrique Segura

Calibración de cámara de video

f(x,y) = (d,θ,h)

x,y coordenadas de la cámara (CCD)

d,θ distancia y ángulo al objeto

h tamaño del objeto

Se utiliza un MLP para aproximar la función f.

Una capa oculta, unidades sigmoideas, aprendizaje con el algoritmo SAGA (simulated annealing + gradient descent + adaptative growing)