Cap 3 redes neuronales

Reporte Bloque 3 REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES Cachorros Reporte 1 19 de Agosto 2014

Página 1 de 19

UNIVERSIDAD AUTÓNOMA DEL ESTADO DE

MÉXICO

CENTRO UNIVERSITARIO UAEM ATLACOMULCO

LÍNEA DE APRENDIZAJE: REDES NEURONALES

INGENIERO: MARCO ANTONIO LOPEZ PAREDES

Reporte 1.

REDES NEURONALES ARTIFICIALES FUNDAMENTOS, MODELOS Y APLICACIONES

Capítulo 3 Características de las redes neuronales

ICO 17 5to Semestre

“Cachorros”

Rogelio Valdés Sánchez

Juan Carlos Tomas Reyes

Oscar Longinos Velázquez

Oliver Sánchez Cruz

Levi Guadarrama Tercero

Contenido


Página 2 de 19

Topologías de las redes neuronales……………………………………….……pag1

Redes monocapa……………………………………………………………...........pag3

Redes multicapa………………..……………………………………………………pag3

Redes con conexiones hacia adelante (feedforward) ………………….........pag4

Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)......

……………..………………………………………..………………………………….pag4

Mecanismo de aprendizaje………………..……………………………………… pag4

Redes con aprendizaje supervisado………………..…………………………....pag5

Aprendizaje por corrección de error………………..………………………..…. pag5

Aprendizaje por refuerzo………………..………………………………………… pag7

Aprendizaje Estocástico………………..………………………………………….pag8

Redes con aprendizaje no supervisado………………..………………………. pag8

Aprendizaje hebbiano………………..……………………………………………..pag9

Aprendizaje Competitivo y Cooperativo………………..…………………….. pag10

Tipo de asociación entre las informaciones de entrada y salida………… pag12

Red Heteroasociativa………………..…………………………………………… pag12

Red Autoasociativa………………..………………………………………………pag13

Representación de la información de entrada y salida………………..…....pag15

Caracteristicas de los modelos de redes neuronales mas conocidos…..pag15

Topologías de las redes neuronales


Página 3 de 19

La topología o arquitectura de las rede neuronales consiste en la organización y

disposición de la neuronas en la red formando copas o agrupaciones.

Párrafo 2/pag.69/renglón 1,2,3/reporte 1

Los parámetros fundamentales: el número de capaz, el número de neuronas por

capa, el grado de conectividad y el tipo de conexiones entre neuronas.

Párrafo 2/pag.69/renglón 4/reporte 1

Una clasificación de las redes en términos topológicos, suele distinguir entre las

redes con una sola capa o nivel de neuronas y las redes múltiples capas.


Redes monocapa

En la redes monocapa, la red HOPFIELD, la red BRAIN-STATE-IN-A-BOX

establece conexiones laterales entre las neuronas que pertenecen a la única capa

que constituye la capa, pueden existir capaz conexiones autorrecurrentes.


Crossbar suele utilizarse como etapa de transición cuando se pretende implementar

físicamente una red monocapa.

Las redes monocapa se utilizan típicamente en tareas relacionadas con lo que se

conoce como auto asociación.

Redes multicapa

Son aquellas que disponen de conjuntos de neuronas, una forma para distinguir la

capa a la que pertenece una neurona, consistirá en fijarse en el origen de las

señales que reciben a la entrada y el destino de la señal de salida.


Un gran número de estas redes también existen la posibilidad de conectar las

salidas de las neuronas de capas posteriores a las entradas de las capas anteriores,

a estas conexiones se les denomina conexiones hacia atrás o feedback.

Párrafo 2/pag.71/renglón 1,2/reporte 1

Las redes con conexiones hacia adelante o redes feedforward y las redes que

disponen de conexiones tanto hacia adelante como hacia atrás o redes

feedback/feedforward.


Redes con conexiones hacia adelante (feedforward)


Página 4 de 19

En las redes feedforward todas las señales neuronales se propagan hacia adelante

a través de las capas de la red, por ende es mas factible para obtener resultados.


En el caso de los modelos de red propuestos por Kohonen denominados

LEARNING VECTOR QUANTIZER (LVQ) y TOPOLOGY PRESERVING MAP

(TPM), en las que existen unas conexiones implícitas muy particulares entre las

neuronas de la capa de salida.


Las redes feedforward más conocidas son: PERCEPTRON, ADALINE, MADALINE,

LINEAR ADAPTIVE MEMORY (LAM), DRIVE-REINFORCE-MENT,

BACKPROPAGATION. Son específicamente útiles en las aplicaciones de

reconocimiento o clasificación de patrones.


Redes con conexión hacia adelante y hacia atrás (feedforward/feedback)

En este tipo de redes circulan información tanto hacia delante como hacia atrás

durante el funcionamiento de la red esto es posible feedforward y conexiones

feedback entre las neuronas las redes cagnitron y neocognitron suelen ser bicapa

los valores de los pesos de estos tiposde conexiones no tienen por que coincidir

siendo diferentes en la mayor parte de los casos este tipo de estructura es

principalmente para realizar una asociación de información o patrón de entrada con

otra información este tipo de funcionamiento basado en lo que se conoce como

resonancia de tal forma que la primera y segunda capa interactúen entre si hasta

que alcance un estado estable

Párrafo 2/pag.72/renglón 5,7,12,13/reporte 1

Mecanismo de aprendizaje

El aprendizaje es el proceso por el cual una re modifica sus pesos en respuesta a

una información de entrada.

Los modelos de redes neuronales artificiales le creación de una nueva conexión

implica que el paso de la misma pasa tener un valor distinto de cero. En el proceso

de las conexiones de la red sufren modificación por lo tanto estos procesos se han

terminado.

El conocer cómo se modifica los valores d los pesos cambia el valor asignado a las

conexiones cuando se pretende que la red aprende una nueva información, La regla

de aprendizaje las que responde a lo que habitualmente se conoce como

aprendizaje supervisado y correspondiente a un aprendizaje no supervisado


Página 5 de 19

RNA CON APRENDIZAJE SUPERVISADO

RNA CON APRENDIZAJE NO SUPERVISADO

Párrafo 1,2,3,4/pag.75/renglón 1,2 7,8,9,10,12,15,20/reporte 1

Redes con aprendizaje supervisado

ESTE SE CARACTERIZA por el proceso de aprendizaje se realiza mediante un

entrenamiento controlado por un agente externo que determina la respuesta que

debería generar la red a partir de una entrada determinada el supervisor comprueba

la salida de la red y en el caso de que coincida se producirá una modificación en los

pesos de las conexiones Aprendizaje por corrección de error Aprendizaje por

refuerzo Aprendizaje por estocástico

Párrafo 1,/pag.76/renglón 1,2,3,7/reporte

Aprendizaje por corrección de error

Presenta al sistema un conjunto de pares de datos, representado la entrada y la salida deseada para dicha entrada. Ajustando los pesos de las conexiones de la red

para después hacer la relación en función de la diferencia entre los todos los valores deseados y obtenidos en la salida, como se muestra: Fig. 3.1

Párrafo 1,/pag.77/renglón 1,2,3/reporte 1

Es un aprendizaje ON Line


Página 6 de 19

Aquí se muestra un esquema mas claro:

Algoritmos que utilizan este tipo de aprendizaje son:

Regla de aprendizaje del perceptron: utilizada en la red PERCEPTRON

Regla delta o del mínimo error cuadrado: utilizado en las redes ADALINE y MADALINE.

Regla delta generalizada: utilizada en redes multicapa

:factor de aprendizaje ( 0 < < 1 )


Página 7 de 19

Aprendizaje por refuerzo

Es un aprendizaje ON Line. Donde hay una relación de entrada-salida a través de

un proceso de éxito o fracaso (éxito=+1 o fracaso=-1), el cual produce la señal de

refuerzo que ayuda al sistema a su buen funcionamiento en todos los aspectos.

Párrafo 3,/pag.80/renglón 1,2,3 /reporte 1


Página 8 de 19

Algunos personajes han formulado el aprendizaje por Refuerzo, lo han hecho como

una estrategia de aprendizaje en donde no se necesita un conjunto de ejemplos

evaluados por un profesor. Estos Personajes fueron Barto, Sutton y Anderson

El sistema descrito por Barto explora el espacio entrada-salida y usa una señal de

refuerzo (feeback) sobre las consecuencias de la señal de control (salida de la red)

sobre el entorno.

Entonces se puede decir: Los pesos se ajustan en base a la señal de refuerzo

basándose en un mecanismo de probabilidades.

Párrafo 3,/pag.80/renglón 3 y 4 /reporte 1

Aprendizaje Estocástico

A partir del objetivo deseado y de distribuciones de probabilidad vienen los cambios

en los valores de los pesos y de inmediato se evalúa. De acuerdo algunas

indagaciones una red que utiliza este tipo de aprendizaje es la red Boltzman

Machine, ideada por Hinton, Ackley y Sejnowski en 1984 y la red Cauchy Machine

desarrollada por Szu en 1986.


Proceso de la red que utiliza este tipo de Aprendizaje Estocástico:

Se realiza un cambio aleatorio en los Pesos. Se determina la nueva energía de la red

Si la energía no decrece: se aceptaría el cambio en función de una

determinada y preestablecida distribución de probabilidades.

Es un aprendizaje OFF Line

Redes con aprendizaje no supervisado

Conocido como auto supervisado es decir, que no depende de lo externo para

ajustar los pesos entre la conexión de neuronas.


Su objetivo de este aprendizaje es encontrar grupos de información, reducción de

la dimensionalidad, construcción de mapas topográficos, encontrar causas ocultas

y modelar la densidad de datos.


Página 9 de 19

Algunos usos de este aprendizaje son:

• Compresión de Datos.

• Clasificación.

• Hacer otras tares de aprendizaje más fácil.

• Una teoría del aprendizaje humano y la percepción.

Aprendizaje hebbiano

Este modelo memorístico fue postulado en 1949 por Donald Hebb. Afirmó que la

huella de un recuerdo fruto de una experiencia ocurre y se mantiene por medio de

modificaciones celulares que primero trazan y luego consolidan la estructura

espacial de las redes neuronales.

Entonces es el ajuste de los pesos de las conexiones de acuerdo con correlación.

Se entiende por correlación es este caso como la multiplicación de valores binarios

+1 y -1, de los valores de activación, ósea; salidas de las dos neuronas conectadas.


Topología de Red:

Si las dos unidades son activas (positivas), se produce un reforzamiento de la

conexión, pero si una es activa y la otra pasiva (negativa), se produce un

debilitamiento de la conexión.


i

j

W

ji


Página 10 de 19

La modificación de los pesos se realiza en función de los estados (salidas) de las

neuronas obtenidas tras la presentación de cierto estímulo (información de entrada

a la red), sin tener en cuenta si se deseaba obtener o no esos estados de activación.

Hebb sugirió que la fuerza de la sinapsis en el cerebro cambia proporcionalmente

a la correlación entre el disparo de las neuronas pre y post sinápticas.

La regla de aprendizaje de Hebb es NO Supervisada y se utiliza en redes

neuronales feedforward debido a que solo se emplea el producto de las entradas y

las salidas actuales para la modificación de los pesos.

Ninguna salida deseada se proporciona para generar la señal de aprendizaje que

actualizará los pesos, Porque requiere de la inicialización de los pesos en valores

pequeños y aleatorios cercanos a cero antes de realizar el aprendizaje.

Para finalizar con este subtema existen varias aplicaciones de este tipo de

aprendizaje; en el diseño de circuitos integrados VLSI. Por su fácil implementación,

reconocimiento de voz, reconocimiento de imágenes, control de motores, y

reconocimiento de patrones.

Así como la resolución de problemas de optimización, ecuaciones, manipulación de

grafos procesamiento de señales (diseño de convertidores analógico-digitales) y

procesamiento de imágenes.

Aprendizaje Competitivo y Cooperativo

Suele decirse que las neuronas compiten (y cooperan) unas con otras con el fin de

llevar a cabo una tarea dada. Con este tipo de aprendizaje, se pretende que cuando

se presente a la red cierta información de entrada, solo una neurona de la salida de

la red.

El objetivo de este aprendizaje es categorizar (clusterizar) datos que se introducen

en la red; las informaciones similares son clasificadas formando parte de la misma

categoría, y por tanto deben activar la misma neurona de salida.

Página 87/Párrafo 1/Renglón 1, 2, 3, 4/Reporte 1

Una forma de aplicar este tipo de aprendizaje fue propuesta por Rumelhart Zisper

en 1985 [Rumelhart 85], utilizaban redes multicapa dividiendo cada capa en grupos

de neuronas, estas disponían de conexiones inhibitorias con otras neuronas de su

mismo grupo, y conexiones excitadoras con las neuronas de la siguiente capa.

Página 87/Párrafo 2/Renglón 1, 2, 3, 4, 5 /Reporte 1

En este tipo de red, cada neurona tiene asignado un peso total, suma de todos los,

pesos de las conexiones que tiene a su entrada. El aprendizaje afecta solo a las

neuronas ganadoras (activas), redistribuyendo este peso total entre sus conexiones,

sustrayendo una porción a los pesos de todas las conexiones que llegan a la


Página 11 de 19

neurona vencedora y repartiendo esta cantidad por igual entre todas las conexiones

procedentes de unidades activas.

Página 87/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6/Reporte 1

Un ejemplo de este tipo fue desarrollado por Kohonen [Kohonen 88b], conocido

como LVQ aplicado en redes feedforward de dos capas, y su uso depende de cómo

de precise obtener una o varias unidades vencedoras en la capa de salida.


En otro caso en el que se emplea el aprendizaje competitivo es la conocida Teoría

de la resonancia adaptativa desarrollado por Carpenter y Grossberg en 1986

[Carpenter 86] utilizado en la red ART en sus dos variantes (ART1 y ART2) de dos

capas que maneja información analógica. Esta red realiza un prototipo de la

informaciones que recibe a la entrega, generando como salida un ejemplar o

prototipo que representa a todas las informaciones que podrían considerarse

pertenecientes a la misma clase de categoría.

Página 88/Párrafo 4/Renglón 3, 4, 5, 6, 7, 8, 9, 10/Reporte 1

Clasificación de Redes Neuronales con aprendizaje supervisado mas

importantes

Tipos de aprendizaje

no supervisado

Modelo de Red

Aprendizaje

Hebbiano

HIOPFIELD

Off Line LEARNING MATRIX

TEMPORAL ASSOC. MEMORY

LINEAR ASSOC. MEMORY (LAM)

OPTIMAL LAM

DRIVE-REINFORCEMENT

FUZZY ASSOC. MEMORY

ADDITIVE GROSSBERG

On Line SHUNTING GROSSBERG

BIDIRECTIONAL ASSOC. MEMORY

(BAM)

Aprendizaje

Competitivo

/Cooperativo

ADAPTIVE BAM

LEARNING VECTOR QUANTIZER

Off Line COGNITRON/NEOCOGNITRON

TOPOLOGY PRESERVING MAP

ADAPTIVE RESONANCE THEORY On Line

Página 89/ Tabla 1/ Renglón / Reporte 1


Página 12 de 19

Tipo de asociación entre las informaciones de entrada y salida

Las redes neuronales son sistemas que almacenan cierta información aprendida;

esa se registra de forma distribuida en los pesos asociados a las conexiones entre

neuronas. Cuando se aplica un estímulo (Dato de entrada) la red responde con una

salida asociativa a dicha información de entrada, a esto se le llama memoria

asociativa.

Página 90/Párrafo 1/Renglón 1, 2, 3, 6, 8/Reporte 1

Existen dos formas primarias de realizar esta asociación entre entrada/salida que

se corresponden con la naturaleza de la información almacenada en la red.

La primera se llama Heteroasociación que se refiere a que la red aprende parejas

de datos [(𝐴1, 𝐵1),(𝐴2, 𝐵2) … (𝐴𝑁1, 𝐵𝑁2 )], de tal forma que cuando se presente cierta

información de entrada Ai, deberá responder generando la correspondiente salida

asociada Bi.

La segunda se conoce como Autoasociación, donde la red aprende ciertas

formaciones 𝐴1, 𝐴2 … 𝐴𝑁 , de tal forma que cuando se le presenta una informacion

de entrada realizara una autocorrelacion, respondiendo con uno de los datos

almacenados, el más parecido a la entrada.

Página 90/Párrafo 2/Renglón 1, 2, 3,4, 6, 7, 9, 10/Reporte 1

Estos mecanismos dan lugar a dos tipos de redes: Las Heteroasociativas y las

Autoasociativas.

La red Heteroasociativa podrían considerarse aquella que computa cierta función,

que en l mayorías de los casos no podría expresarse analíticamente, entre un

conjunto de entradas y un conjunto de salidas, correspondiendo a cada posible

entrada y una determinada salida.

En una red Autoasociativa su principal misión es reconstruir una determinada

informacion de entrada que se presenta incompleta o distorsionada (le asocia el

dato almacenado más parecido).

Página 90/Párrafo 3/Renglón 1, 2, 3, 4, 5, 6, 7, 8, 9/Reporte 1

Red Heteroasociativa

Al asociar informaciones de entrada con diferentes informaciones de salida,

precisan al menos de dos capas, una para captar y retener informacion de entrada

y otra para mantener la salida con la información asociada.

Página 91/Párrafo 2/Renglón 2, 3, 4/Reporte 1


Página 13 de 19

Se pueden clasificar según el objetivo pretendido con su utilización, en cuanto a la

conectividad existen redes con conexiones hacia adelante o feedforward

(Perceptron, Backpropagation), con conexiones hacia atrás o feedforward/feedback

(Art, Bam, etc.) y con conexiones laterales (Cabam)

El aprendizaje de este tipo de redes puede ser con supervisión (Perceptron,

Backpropagation), o sin ella (Art, Bam, etc.).

Página 91/Párrafo 3, 4/Renglón 2, 3, 4, 6, 7, 8/Reporte 1

Red Autoasociativa

Asocia una informacion de entrada con el ejemplar más parecido de los

almacenados conocidos por la red. Este tipo de res se puede implementar con una

sola capa de neuronas; esta tiene la informacion inicial presentada a la entrada, y

terminara representando la informacion autoasociada, si se quiere mantener la

informacion de entrada se debe añadir capa o capas adicionales.

Página 91, 92/Párrafo 1, 1/Renglón 1, 2- 1,2 3, 4/Reporte 1

En cuanto a conectividad, existen conexiones laterales entre neuronas (Hopfield,

etc.), en algunos casos conexiones autorrecurrentes (salida de una neurona como

entrada de la misma).


El tipo de aprendizaje de estas redes es no supervisado (Hopfield, Additive

Grossberg, etc.) aunque existe una con supervisado (Brain-State-In-A-Box).

Página 92/Párrafo 3/Renglón 1, 2, 3/Reporte 1

Suelen utilizarse en tareas de filtrado de informacion para la reconstrucción de

datos, eliminando distorsiones o ruido, etc.


Página 14 de 19

Página 92/Párrafo 4/Renglón 1, 2/Reporte 1

Red Heteroasociativa Red Autoasociativa

PERCEPTRON BRAIN-STATE-IN-A-BOX

ADALINE/MADALINE HOPFIELD

BACKPROPAGATION OPTIMAL LINEAR ASSOC MEMORY

LINEAR REWARD PENALTY

ASSOC. REWARD PENALTY ADDITIVE GROSSBERG

ADAPTIVE HEURISTIC CRITIC SHUNTING BROSSBERG

BOLTZMANN MACHINE

CAUCHY MACHINE

LEARNING MATRIX

TEMPORAL ASSOC. MEMORY

LINEAR ASSOC. MEMORY

OPTIMAL LINEAR ASSOC. MEMORY

DRIVE-REINFORCEMENT

FUZZY ASSOC. MEMORY

COUNTERPROPAGATION

BIDIRECTIONAL ASSOC. MEMORY

ADAPTIVE BIDIRECTIONAL ASSOC.

MEMORY

COGNITRON/NEOCOGNITRON

TOPOLOGY PRESERVING MAP

LEARNING VECTOR QUANTIZER


Página 15 de 19

ADAPTIVE RESONANCE THEORY

Página92, 93/ Tabla 1, 2/Reporte 1

Representación de la información de entrada y salida

Las redes neuronales pueden también clasificarse en diferentes maneras y función

de la forma en que se representan las informaciones de entrada y las respuestas o

datos de salida.


Normalmente estarán normalizadas y su valor absoluto será menor que la unidad,

solo admiten valores discretos o binarios {0,1} a su entrada generando también unas

respuestas en la salida de tipo binario.


Se ha realizado una versión continua de los mismo, como es el caso del modelo de

HOPFIELD (DISCRETE HOPFIELD, CONTINOUS HOPFIELD) y el denominado

ADOPTIVE RESONANCE THEORY. La información de entrada pueden ser valores

continuos, aunque las salidas de la red sean discretas.


Caracteristicas de los modelos de redes neuronales mas conocidos

Topologias

Mecanismos de aprendizaje

Tipo de asociacion de la informacion de entrada y salida y la forma de representar

Señaes de entrada/salida

Autores


Página 16 de 19


Página 17 de 19


Página 18 de 19


Página 19 de 19

Engineering

Cap 3 redes neuronales