REDES NEURONALES Algoritmos de Aprendizaje

AGOSTO 2002 ESCOM IPN 1

Algoritmos de Aprendizaje.

Aprendizaje

• El aprendizaje es el proceso por medio del cual, los parámetros libres de una red neuronal son adaptados a través de un proceso de estimulación por el ambiente en el cual la red se encuentra inmersa.

• El tipo de aprendizaje es determinada por la manera en la cual el cambio de parámetros tiene lugar.

– Mendel and Mc Claren (1970)

El aprendizaje es el proceso por el cual una red neuronal modifica sus pesos en respuesta a una informacíon de entrada.Los cambios que se producen durante el proceso de aprendizaje son la destrucción, modificación y creación de conexiones entre las neuronas.

W = 0 Destrucción; W › 0 Creación

Aprendizaje

Tipos de Aprendizaje

• Aprendizaje Supervisado– entrada, salida, objetivo

• Aprendizaje No supervisado– entrada, salida

• Aprendizaje por Reforzamiento.– Recompensa/castigo

Reglas de Aprendizaje

p1 t1{ , } p2 t2{ , } pQ tQ{ , }

• Aprendizaje Supervisado A la red se le proporciona un conjunto de ejemplos del

comportamiento propio de la red (inputs/targets)

• Aprendizaje por ReforzamientoA la red se proporciona un grado de desempeño de la

misma.

• Aprendizaje No supervisadoLas entradas son las unicas disponibles para el

aprendizaje, el algoritmo de la red aprende a categorizar las entradas (clustering)

Aprendizaje Supervisado

• Se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro), que determina la respuesta que debería generar la red apartir de una entrada determinada.

Algoritmos de Aprendizaje Supervisado

Algoritmos con Algoritmos con Aprendizaje SupervisadoAprendizaje Supervisado

Se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro), que determina la respuesta que debería generar la red apartir de una entrada determinada.

Aprendizaje por Corrección de error.

Aprendizaje por Refuerzo.

Aprendizaje Estocástico.

Aprendizaje por Aprendizaje por Corrección de ErrorCorrección de Error

:factor de aprendizaje ( 0 < < 1 )

Consiste en ajustar los pesos de las conexiones de la red en función de la diferencia entre los valores deseados y los obtenidos en la salida de la red; es decir en función del error cometido en la salida

Ejemplos de Ejemplos de Corrección de ErrorCorrección de Error

• Regla de aprendizaje del perceptrón

• Regla delta () o del mínimo error cuadrado ; LMS (Widrow - Hoff).

• Regla delta generalizada o algoritmo de Retropropagación de error (Rumelhart, Hinton, Williams),

• Ejemplos de Redes: Perceptrón, Adaline/Madaline, y Backpropagation

Redes que utilizan el Redes que utilizan el Aprendizaje por Corrección Aprendizaje por Corrección

de Error:de Error:

AprendizajeNo Supervisado

Aprendizaje no Aprendizaje no supervisadosupervisado

Aprendizaje No supervisado

• El aprendizaje no supervisado o El aprendizaje no supervisado o autosupervisado no hay un maestro o autosupervisado no hay un maestro o critico externo para supervisar el critico externo para supervisar el proceso de aprendizaje.proceso de aprendizaje.

• No existen ejemplos etiquetados de la No existen ejemplos etiquetados de la función que será aprendida por la redfunción que será aprendida por la red

Aprendizaje No Supervisado

• Esta constituido por un conjunto de reglas que dan a la red la habilidad de aprender asociaciones entre los patrones que ocurren en conjunto frecuentemente.

• Una vez aprendido como asociación permite a las redes realizar tareas útiles de reconocimiento de patrones y recordar.

REDES CON APRENDIZAJEREDES CON APRENDIZAJE NO SUPERVISADO NO SUPERVISADO

Tambien llamado autosupervisado, no requieren influencia externa para ajustar los pesos de las conexiones entre sus neuronas. existen varias posibilidades en cuanto a la interpretación de la salida de estas redes, que dependen de su estructura o del algoritmo de aprendizaje empleado los casos de salida pueden representar:

grado de familiaridad o similitud entre la información que se presenta a la entrada y las informaciones que se han mostrado hasta entonces.

agrupamiento o establecimiento de categorías.

Prototipado, es decir obtener ejemplares representantes de las clases a las que pertenecen las informaciones de entrada.

Codificación de los datos de entrada, generando a la salida una versión codificada de la entrada, con menos bits, pero manteniendo la información relevante de los datos.

Mapeo de características, obteniendo a la salida un mapa topográfico de las características de los de entrada, de tal forma que si se presentan en la red informaciones similares, siempre sean afectadas neuronas de salida próximas entre si, en la misma zona del mapa.

• El aprendizaje Supervisado no involucra valores objetivo. De hecho, los objetivos son los mismos que las entradas.

• En otras palabras, el aprendizaje no supervisado usualmente realiza la misma tarea que una red autoasociativa, la compresión de la información de las entradas.

Algoritmos de Aprendizaje

No Supervisado

Tipos de aprendizaje Tipos de aprendizaje No SupervisadoNo Supervisado

• Aprendizaje Asociativo

• Aprendizaje Competitivo y cooperativo

¿Qué es una Asociación?

• Es cualquier relación entre la entrada de un sistema y su salida de tal forma que cuando el patrón A se presenta al sistema este responde con un patrón B.

Aprendizaje Aprendizaje HebbianoHebbiano.

Donald O. Hebb (1949)Pretende medir la familiaridad o extraer características de los datos de entrada. Este tipo de aprendizaje consiste en el ajuste de los pesos de las conexiones de acuerdo con la correlación (multiplicación en el caso de valores binarios +1, -1) de los valores de activación (salidas) de las dos neuronas conectadas:

Aprendizaje Aprendizaje HebbianoHebbiano.

• Si las dos unidades son activas (positivas), se produce un reforzamiento de la conexión.

• Cuando una unidad es activa y la otra pasiva (negativa) se produce un debilitamiento de la conexión.

Ejemplos de redes: Red de Hopfield, Additive Grossberg, Shunting Grossberg, Learning Matrix, BAM, TAM, LAM.

Variantes del Variantes del Aprendizaje HebbianoAprendizaje Hebbiano

– Drive - Reinforcement (Sejnowski)– Hebbiano Diferencial (Kosko)– Aprendizaje Hebbiano Difuso (Kosko)

• Adaptive bidirectional associative memory (ABAM en 1987)• Fuzzy Asociative Memory (FAM), utilizando aprendizaje Hebbiano Difuso.

– También se utiliza el aprendizaje hebbiano combinado con otros métodos, esto se puede ver en las redes :

• Maquina de Boltzmann • Maquina de Cauchy• Counterpropagation (CPN en 1987)• Learning Vector Quantization (LVQ).

Aprendizaje Competitivo Aprendizaje Competitivo y Cooperativo.y Cooperativo.

En estas redes las neuronas compiten y cooperan unas con otras con el fin de llevar a cabo una tarea dada.

Cuando se presenta a la red cierta información de entrada, solo una de las neuronas de salida o un cierto grupo de neuronas, se activan. quedando anuladas las demás (valores de respuesta mínimos).

• El objetivo de este tipo de aprendizaje es categorizar (Clustering) los datos que se introducen en la red.

Ejemplos de Redes con Ejemplos de Redes con Aprendizaje Competitivo Aprendizaje Competitivo

y Cooperativoy Cooperativo.

• LVQ (Learning Vector quantization) Kohonen.

• Cognitron y Neocognitron (Fukushima).

• SOM (Kohonen).

• ART (Carpenter y Grossberg).

Ejemplos de Redes con Ejemplos de Redes con Aprendizaje Competitivo y Aprendizaje Competitivo y

CooperativoCooperativo

LVQ ART

Metas del AprendizajeMetas del AprendizajeNo supervisadoNo supervisado

• El encontrar grupos de información

• Reducción de la dimensionalidad

• la Construcción de mapas topográficos

• el encontrar las causas ocultas o fuentes de datos

• Modelar la densidad de datos

Usos del AprendizajeUsos del AprendizajeNo supervisadoNo supervisado

• Compresión de Datos..

• Clasificación.

• Hacer otras tares de aprendizaje mas fácil.

• Una teoría del aprendizaje humano y la percepción.

Aprendizaje Por Refuerzo

Aprendizaje por Aprendizaje por ReforzamientoReforzamiento

Aprendizaje por Reforzamiento

• El aprendizaje de una comparación entrada/salida se desempeña a través de la interacción continua del medio ambiente de tal forma que se minimice un índice escalar de su desempeño.

Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.

Algoritmos de Aprendizaje Por Refuerzo

Algoritmos de Algoritmos de Aprendizaje por RefuerzoAprendizaje por Refuerzo

• Algoritmo Lineal con Recompensa y penalización (Linear Reward - Penalty), Narendra /Thathacher.

• Algoritmo Asociativo con recompensa y penalización (Barto / Anandan).

• Adaptive Heuristic Critic (Barto, Sutton, Anderson).

Aprendizaje por Aprendizaje por RefuerzoRefuerzo

Es un aprendizaje supervisado mas lento que el anterior que se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso=-1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.

Ejemplos de algoritmos Ejemplos de algoritmos que usan el Aprendizaje por que usan el Aprendizaje por

RefuerzoRefuerzo

• Algoritmo Lineal con Recompensa y penalización (Linear Reward - Penalty), Narendra /Thathacher.

• Algoritmo Asociativo con recompensa y penalización (Barto / Anandan).

• Adaptive Heuristic Critic (Barto, Sutton, Anderson).

Aprendizaje Aprendizaje EstocásticoEstocástico

Este tipo de aprendizaje consiste en básicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de distribuciones de probabilidad.

Aprendizaje Aprendizaje EstocásticoEstocástico

• Posee una analogia en terminos termodinamicos.

• El estado energetico E representa el grado de estabilidad.

• Un estado de minima energia representa que su funcion se aproxima al objetivo deseado.

• La función de Lyapunov se emplea tipicamente.

Ejemplos de algoritmos de Ejemplos de algoritmos de Aprendizaje EstocásticoAprendizaje Estocástico

• Maquina de Boltzmann (Hinton, Ackley, Sejnowky).

• Temple Simulado (Simulated Anneling).

• Maquina de Cauchy (Szu)

• El aprendizaje de una comparación entrada/salida se desempeña a través de la interacción continua del medio ambiente de tal forma que se minimice un índice escalar de su desempeño.

Tipos de Asociación

Entrada /Salida

Tipos de Asociación entreTipos de Asociación entre las Informaciones de las Informaciones de

Entrada y SalidaEntrada y Salida

• Heteroasociación:Heteroasociación:Se refiere al caso en el que la red aprende parejasSe refiere al caso en el que la red aprende parejasde datos; de tal forma que cuando se presente de datos; de tal forma que cuando se presente cierta información de entrada Acierta información de entrada A ii, deberá responder, deberá responder

generando la correspondiente salida asociada Bgenerando la correspondiente salida asociada B ii..

Tipos de Asociación entre Tipos de Asociación entre las Informaciones de las Informaciones de

Entrada y SalidaEntrada y Salida

• Autoasociación:Autoasociación:La red La red aprendeaprende cierta informaciones A cierta informaciones A11, A, A22, ... A, ... ANN, ,

de tal forma que cuando se le presenta ciertade tal forma que cuando se le presenta ciertainformación de entrada realizará una autocorrelacióninformación de entrada realizará una autocorrelaciónrespondiendo con uno de los datos almacenados, el respondiendo con uno de los datos almacenados, el más parecido al de entrada.más parecido al de entrada.

Características de las Redes

Hetereoasociativas

Precisan al menos de dos capas.Precisan al menos de dos capas.

• Conectividad:Conectividad:• Con conexiones hacia delante (Perceptrón,Con conexiones hacia delante (Perceptrón, Backpropagation, etc..)Backpropagation, etc..)• Con conexiones hacia atrás (Art, Bam, etc..)Con conexiones hacia atrás (Art, Bam, etc..)• Con conexiones laterales (CABAM)Con conexiones laterales (CABAM)• Con capas multidimensionales (Neocognitron)Con capas multidimensionales (Neocognitron)

Características de las Redes

Hetereoasociativas• AprendizajeAprendizaje

• Con supervisión (Perceptron, Backpropa-Con supervisión (Perceptron, Backpropa- tion, etc..)tion, etc..)• Sin supervisión (Art, Bam, etc..)Sin supervisión (Art, Bam, etc..)

• Objetivo de utilizaciónObjetivo de utilización• Computar una función general de entradaComputar una función general de entrada• Clasificación de datos de entradaClasificación de datos de entrada

Redes AutoasociativasRedes Autoasociativas

Una red autoasociativa asocia una Una red autoasociativa asocia una información de entrada con el ejemplar más información de entrada con el ejemplar más parecido de los almacenados parecido de los almacenados conocidosconocidos por por la red. De esta manera, su principal misión es la red. De esta manera, su principal misión es reconstruir una determinada información de reconstruir una determinada información de entrada que se presenta incompleta o entrada que se presenta incompleta o distorsionada.distorsionada.

Características de las Redes Autoasociativas

Precisan al menos de una capaPrecisan al menos de una capa

• ConectividadConectividad• Conexiones laterales entre las neuronasConexiones laterales entre las neuronas (Hopfield, etc.)(Hopfield, etc.)• Conexiones autorrecurrentes (Brain-StateConexiones autorrecurrentes (Brain-State in-a-Box, Additive Grossberg, etc)in-a-Box, Additive Grossberg, etc)

• AprendizajeAprendizaje• No supervisado (Hopfield, Additive No supervisado (Hopfield, Additive Grossberg, etc..)Grossberg, etc..)

• Objetivo de utilizaciónObjetivo de utilización• Filtrado de información para la Filtrado de información para la reconstrucción de datosreconstrucción de datos• Facilitar la búsqueda por contenidoFacilitar la búsqueda por contenido en bases de datosen bases de datos• Resolver problemas de optimizaciónResolver problemas de optimización

Características de las Características de las Redes AutoasociativasRedes Autoasociativas

REPRESENTACIÓN DE LA REPRESENTACIÓN DE LA INFORMACIÓN DE ENTRADA INFORMACIÓN DE ENTRADA

Y SALIDA.Y SALIDA.

Las neuronas pueden también clasificarse por el tipo de entradas y salidas que manejen.

Así unas redes manejaran valores analógicos en sus entradas y salidas, es decir valores reales continuos. Cuando esto ocurre las funciones de activación de las neuronas serán también continuas, del tipo lineal o sigmoidal.

Otras redes admiten solamente valores discretos o binarios (0, 1) en sus entradas y salidas, en este caso las funciones de activación serán del tipo escalón. Existen un tipo de redes que podrían denominarse como híbridas en los que los valores de entrada pueden ser valores continuos, aunque las funciones de salida sean discretas.

Dudas ???

Hasta la próxima !!!

Uff !!!Uff !!!

REDES NEURONALES Algoritmos de Aprendizaje

Education

Optimización con redes neuronales, lógica difusa y algoritmos genéticos

ENTRENAMIENTO DE REDES NEURONALES BASADO EN …materias.fi.uba.ar/7500/bertona-tesisingenieriainformatica.pdf · ENTRENAMIENTO DE REDES NEURONALES BASADO EN ALGORITMOS EVOLUTIVOS

REDES NEURONALES ARTIFICIALES Y PREDICCIÓN · PDF fileredes neuronales artificiales y predicciÓn de fallo empresarial: superaciÓn del enfoque de “caja negra” con algoritmos

Introducción a las redes neuronales de convolución ... · Las redes neuronales son modelos matemáticos que se incluyen en la familia de algoritmos conocida como deep learning (aprendizaje

Entrenamiento Redes Neuronales Algoritmos Evolutivos

Redes neuronales

ENTRENAMIENTO DE REDES NEURONALES BASADO EN ALGORITMOS ...laboratorios.fi.uba.ar/lsi/bertona-tesisingenieriainformatica.pdf · entrenamiento de redes neuronales basado en algoritmos