View
2
Download
0
Category
Preview:
Citation preview
Redes Neuronales Artificiales
2
Red
es N
euro
nale
s A
rtifi
cial
es
Red de Hopfield
Problema de memoria asociativa
Almacenar un conjunto de p patrones de forma talque cuando se presente un nuevo patrón, la redresponda produciendo alguno de los patronespreviamente almacenados que más se parezca alpresentado.
3
Red
es N
euro
nale
s A
rtifi
cial
es
Red de Hopfield
Las memorias asociativas resuelven problemas deltipo de reconstrucción de patrones y memoriasdireccionables por contenido.La red de Hopfield consiste de una red monocapacon N neuronas cuyos valores de salida pueden serbinarios o continuos.Cada neurona se encuentra conectada a todas las demás perono consigo misma.
Los pesos asociados a las conexiones entre pares de neuronasson simétricos, es decir, wij=wji.
4
Red
es N
euro
nale
s A
rtifi
cial
es
1 N32 ...
x1 x2 x3 xN
e1 e2 e3 eN
wN3wN2
wN1
Red de Hopfield
Estructura:
5
Red
es N
euro
nale
s A
rtifi
cial
es
Funcionamiento:– En el instante (t=0) se aplica la información de
entrada (valores e1,e2,...,eN)si(t=0)=ei para 1
6
Red
es N
euro
nale
s A
rtifi
cial
es
Aprendizaje:No supervisado de tipo hebbiano.Expresión:wij= Σk=1,M ei(k) ej(k) para 1
7
Red
es N
euro
nale
s A
rtifi
cial
es
Suponiendo K clases a almacenar en una redcon N nodos.1. Se calculan los pesos Wij
2. Se muestra a la red un vector
3. La red itera en pasos discretos hasta laconvergencia.
4. El vector mostrado es el vector de salida.
Red de Hopfield
8
Red
es N
euro
nale
s A
rtifi
cial
es
Red de Hopfield
1. Calcule los pesos: wij=ΣXkiXkj2. Inicialice la red con un vector de entrada X3. Itera hasta converger:
yj(t+1)=Fh[Σwij yj(t)]Siendo: Fh(x)=1 si x>0
-1 si x
9
Red
es N
euro
nale
s A
rtifi
cial
es
Red de HopfieldEjemplo
1. Almacenar los patrones:
X1=[1,-1,1,1] y X2=[-1,1,1,1]Multiplicamos cada patrón por su traspuesta
1 -1 1 1
-1 1 -1 -1
1 -1 1 1
1 -1 1 1
1
-1
1
1
* [1, -1, 1, 1] =
10
Red
es N
euro
nale
s A
rtifi
cial
es
1 -1 -1 -1
-1 1 1 1
-1 1 1 1
-1 1 1 1
Sumamos estos productos haciendo ladiagonal 0. 0 -2 0 0
-2 0 0 0
0 0 0 2
0 0 2 0
-1
1
1
1
* [-1, 1, 1, 1] =
W=
11
Red
es N
euro
nale
s A
rtifi
cial
es
Red de HopfieldEjemplo
Sea que deseamos recuperar el vector X=[1, 1, 1, -1]Evaluamos la red, X*W
[1, 1, 1, -1] *
0 -2 0 0
-2 0 0 0
0 0 0 2
0 0 2 0
== [-2, -2, -2, 2]
Y1=[-1, -1, -1, 1] Y1 < > X
12
Red
es N
euro
nale
s A
rtifi
cial
es
Red de HopfieldEjemplo
Ahora evaluamos la red, y1*W
[-1, -1, -1, 1] *
0 -2 0 0
-2 0 0 0
0 0 0 2
0 0 2 0
= [2, 2, 2, -2]
Y2=[1, 1, 1, -1] Y1 < > Y2
13
Red
es N
euro
nale
s A
rtifi
cial
es
Red de Hopfield
Aplicaciones:Reconocimiento de imágenes y de vozControl de motoresResolución de problemas de optimizaciónDiseño de conversores análogosProcesamiento de señales.
14
Red
es N
euro
nale
s A
rtifi
cial
es
En teoría de redes neuronales podemos distinguir tres nivelesen su arquitectura:
Microestructura. Hace referencia a los elementos máspequeños de las redes neuronales: las neuronas.
Mesoestructura. Resultado de la combinación de lasneuronas. Serían las redes neuronales propiamente dichas.
Macroestructura. Combinación de redes, se podríadenominar a este nivel “comité de expertos”. Existendiferentes tipos de combinación: paralelo, jerárquica, etc.dependiendo de la aplicación que se quiera implementar.
Arquitectura de las redes
15
Red
es N
euro
nale
s A
rtifi
cial
es
Microestructura
La neurona puede tener diferentes formas dependiendo de laaplicación:
16
Red
es N
euro
nale
s A
rtifi
cial
es
Mesoestructura
La combinación de las neuronas se puede realizar de muchasformas diferentes. En esta combinación se habla de capas ydependiendo del número de éstas y de la conexión entre ellastenemos diferentes clasificaciones.
Número de capas
Tipos de conexiones
Número de conexiones
Monocapa (1 capa)
Multicapa
Recurrente (Hay realimentación)
No recurrente
Totalmente conectada
Parcialmente conectada
17
Red
es N
euro
nale
s A
rtifi
cial
es
Macroestructura
Existen problemas donde una combinación de redesda un mejor comportamiento que usar una sola red.Esta combinación puede ser en paralelo (todastienen el mismo peso), en serie (la salida de una redes la entrada a otra mayor), jerárquica (enproblemas de clasificación, existen redes másexpertas que otras), etc. o variaciones de ellasdependiendo de la aplicación concreta.
18
Red
es N
euro
nale
s A
rtifi
cial
es
Algoritmos de aprendizaje
Los procedimientos para determinar las conexiones entreneuronas reciben el nombre de algoritmos de aprendizaje yaque es en los pesos donde reside el “conocimiento” de una red.
NO-Supervisado
Extracción de características
Agrupamiento de datos
Supervisado
Clasificación de patronesClasificación de patrones
Modelización Modelización de sistemasde sistemas
Por Refuerzo Por Corrección
19
Red
es N
euro
nale
s A
rtifi
cial
es
El supervisado dispone de información sobre la salida deseadade la red.Aprendizaje por corrección. Se dispone de informaciónadecuada. Al disponer de información lógica (es o no la señaldeseada) estamos en un aprendizaje por refuerzo.La función debe ser siempre una función monótona crecientede la diferencia entre la señal deseada (señal que debería darla red) y la salida proporcionada por la red. El problema es,pues, de optimización: búsqueda del mínimo de una función .
20
Red
es N
euro
nale
s A
rtifi
cial
es
Hay que tener en cuenta que una de la principalescaracterísticas de las redes neuronales, que las hacenespeciales frente a otros métodos, es su capacidad degeneralización; es decir, ante entradas desconocidas soncapaces de dar salidas aproximadas a las deseadas.
21
Red
es N
euro
nale
s A
rtifi
cial
es
Aprendizaje por propagación posterior
Se le presentan a la red las entradas (ejemplos), y siesta calcula un vector de salida que coincida con lameta, no hay nada que hacer. Pero si existe un error(diferencia entre la salida y la meta) los pesos seajustan para disminuir el error. El secreto consisteen evaluar las consecuencias del error y dividirlasentre todos los pesos contribuyentes.
22
Red
es N
euro
nale
s A
rtifi
cial
es
Regla de actualización
Wi,j Wi,j + α x aj x Erri x g’(Ini)
23
Red
es N
euro
nale
s A
rtifi
cial
es
Wi,j Wi,j+α x aj x Erri x g’( Ini)
Wi,j = Peso del enlace que está entre la unidad j y la unidad i
g’ = Derivada de la función de activación
α = Velocidad de aprendizaje
aj = Unidades ocultas
Ti = Salida Meta
Erri = Ti - Oi
Ii = Activación de un a unidad i en el nivel de entrada
24
Red
es N
euro
nale
s A
rtifi
cial
es
Aprendizaje por refuerzo
Un ejemplo. El ambiente propone pares de entrada/salida yel objetivo consiste en aprender la función que hayaproducido tales pares.
En el aprendizaje por refuerzo no se le proporcionanejemplos, se empieza sin contar con un modelo de ambienteni con una función de utilidad.
25
Red
es N
euro
nale
s A
rtifi
cial
es
El aprendizaje por refuerzo es otra forma de plantear todo el problema dela inteligencia artificial.Un agente en un ambiente recibe percepciones, los correlaciona conutilidades positivas o negativas y luego decide que acción emprender.La utilidad de un estado es la suma esperada de recompensas recibidasentre el momento presente y el final de la secuencia.
Para aprender la utilidades pueden utilizarce 3 metodos
1- PMC (Promedio de mínimos cuadrados)
2- PDA (Programación dinámica adaptativa)
3- DT (Desviaciones temporales )
26
Red
es N
euro
nale
s A
rtifi
cial
es
Conclusiones
El aprendizaje es la adaptación al ambiente.
El aprendizaje por refuerzo es una área muy activas en lainvestigación del aprendizaje maquinal. Sus aplicaciones en larobótica son prometedoras, el aprendizaje por refuerzo enambientes inaccesibles es también tema de investigacionesactuales.
27
Red
es N
euro
nale
s A
rtifi
cial
es
Redes Neuronales ArtificialesRed de HopfieldRed de HopfieldRed de HopfieldRed de HopfieldRed de HopfieldRed de HopfieldAprendizaje por propagación posteriorRegla de actualizaciónWi,j Wi,j+? x aj x Erri x g’( Ini)Aprendizaje por refuerzoConclusiones
Recommended