Embed Size (px)
Citation preview
Inteligencia Artificial
(W0I9)
Sesión: 6
MSc. Ing. José C. Benítez P.
Red Backpropagation
2
La red Backpropagation
� Características.
� Arquitectura.
� Algoritmo de Aprendizaje(LMS).
� Aplicaciones.
3
Red Backpropagation
• Fue primeramente propuesto por Paul Werbos en los
70s en una Tesis doctoral.
• Sin embargo, este algoritmo no fue conocido sino hasta
1980 año en que fue re-descubierto por David
Rumelhart, Geoffrey Hinton y Ronald William, también
David Parker y Yan Le Cun.
• Fue publicado “Procesos Distribuidos en Paralelo” por
David Rumelhart y Mc Clelland, y ampliamente
publicitado y usado el algoritmo Backpropagation.
• El perceptron multicapa entrenado por el algoritmo de
retro propagación es la red mas ampliamente usada.
4
Red Backpropagation
• En muchas situaciones del mundo real, nos
enfrentamos con información incompleta o con ruido, y
también es importante ser capaz de realizar
predicciones razonables sobre casos nuevos de
información disponible.
• La red de retro propagación adapta sus pesos, para
adquirir un entrenamiento a partir de un conjunto de
pares de patrones entrada/salida
• Después que la red ha aprendido ha esta se le puede
aplicar un conjunto de patrones de prueba, para ver
como esta generaliza a patrones no proporcionados.
5
Red Backpropagation
• Red feedforward, completamente conectada.
• El flujo de información fluye de la capa de entrada a la
de salida a través de la capa oculta.
• Cada unidad de procesamiento en la capa se conecta a
todas las de la siguiente capa.
• El nivel de activación en la capa de salida determina la
salida de la red.
• Las unidades producen valores reales basados en una
función sigmoide.
6
Red Backpropagation
• Si n=0 a=0.5, conforme n se incrementa la
salida se aproxima a 1, conforme n
disminuye, a se aproxima a 0.
• Funciones de transferencia (diferenciables)
• Sigmoidales,
• Lineales
ne
a−
+=
1
1
7
Red Backpropagation
• La función de error define una superficie en el espacio de
pesos, y estos son modificados sobre el gradiente de la
superficie
• Un mínimo local puede existir en la superficie de decisión:
esto significa que no hay teorema de convergencia para la
retropropagación (el espacio de pesos es lo
suficientemente grande que esto rara ves sucede)
• Las redes toman un periodo grande de entrenamiento y
muchos ejemplos.
• Además mientras la red generaliza, el sobre entrenamiento
puede generar un problema.
8
Red Backpropagation: Arquitectura
R – S1 – S2 – S3 Network
9
Red BP: Algoritmo de Aprendizaje
• Los pesos se ajustan después de ver los pares entrada/salida
del conjunto de entrenamiento.
• En el sentido directo la red permite un flujo de activación en
las capas.
• En la retropropagación, la salida actual es comparada con la
salida deseada, entonces se calcula el error para las unidades
de salida
• Entonces los pesos en la salida son ajustados para reducir el
error, esto da un error estimado para las neuronas ocultas y
así sucesivamente.
• Una época se define como el ajuste de los pesos para todos los
pares de entrenamientos, usualmente la red requiere muchas
épocas para su entrenamiento.
10
Red BP: Algoritmo de Aprendizaje
1. Inicialice los pesos de la red con valores pequeños aleatorios.
2. Presentar un patrón de entrada y especificar la salida
deseada.
3. Calcule los valores de ajuste de las unidades de salida en base
al error observado.
4. Empezando por el nivel de salida, repita lo siguiente por cada
nivel de la red, hasta llegar al primero de los niveles ocultos:
• Propague los valores de ajuste de regreso al nivel anterior
• Actualice los pesos que hay entre los dos niveles.
5. El proceso se repite hasta que el error resulta
aceptablemente pequeño para cada uno de los patrones
aprendidos.
11
Red BP: Algoritmo de Aprendizaje
Gradiente Descendente:
Después que se calcula el error, cada peso se ajusta en
proporción al gradiente del error, retropropagado de la
salidas a las entradas.
El cambio en los pesos reduce el error total.
Mínimo Local:
Entre mas unidades ocultas se tengan en red, menor es
la probabilidad de encontrar un mínimo local.
12
Red BP: Algoritmo de Aprendizaje
La superficie del error:
13
Red BP: Algoritmo de Aprendizaje
La superficie del error: En 2D
14
Red BP: Algoritmo de Aprendizaje
La superficie del error: En 3D
15
Red BP: Algoritmo de Aprendizaje
Selección de los Wij iniciales:
• El error retro propagado a través de la red es proporcional
al valor de los pesos.
• Si todos los pesos son iguales, entonces el error retro
propagado será igual, y todos los pesos serán actualizados
en la misma cantidad
• Si la solución al problema requiere que la red aprenda con
pesos diferentes, entonces el tener pesos iguales al inicio
previene a la red de aprender.
• Es también recomendable tener valores pequeños de
activación (umbral) en las unidades de procesamiento.
16
Red Backpropagation: Aplicaciones
Determinar si un hongo es venenoso
• Considera 8124 variedades de hongo
• Cada hongo es descrito usando 21 características.
17
Red Backpropagation: Aplicaciones
Diagnostico Medico
• Basado en Visión
por computadora.
• Los síntomas son las
entradas.
• Los síntomas son
trasladadas a un
punto en el espacio
de los patrones.
18
Red Backpropagation: Aplicaciones
19
Red Backpropagation: Ejemplo XOR
011
14
110
13
111
02
010
01
=
=
=
=
=
=
=
=
TP
TP
TP
TP
Diseñe una red de retropropagación que
solucione el problema de la OR-exclusiva
usando el algoritmo de retropropación
(regla delta generalizada)
20
Red Backpropagation: Ejemplo XOR
[ ] 27.102.188.0
66.1
19.0
12.287.0
12.292.0
22
11
=−=
−=
−
−=
bw
bw
01.0=α
Parámetros iniciales
Resumen
Las Tareas que no cumplan las
indicaciones no serán considerados
por el profesor.21
� Realizar un resumen mediante mapas conceptuales (CMapTools)
de esta diapositiva.
� Serán mejor consideradas los resúmenes que tengan información
extra a esta diapositiva.
� Las fuentes adicionales utilizadas en el resumen se presentarán
en su carpeta personal del Dropbox y deben conservar el nombre
original y agregar al final _S6.
� Las fuentes y los archivos *.cmap deben colocarse dentro de su
carpeta personal del Dropbox, dentro de una carpeta de nombre:
IA_PaternoM_S6
Preguntas
El resumen con mapas conceptuales solicitado de la Sesión al
menos debe responder las siguientes preguntas:
1. ¿Cuáles son las características de la red Backpropagation?
2. Describir el algoritmo de aprendizaje de la red BP.
3. Comparar las características del Perceptron, Adaline y
Backpropagation.
4. Comparar la regla de aprendizaje de Adaline y BP.
5. Listar cinco aplicaciones de las redes BP.
22
23
Sesión 6. Red Backpropagation
Inteligencia Artificial
http://utpiayse.blogspot.com
