Upload
adrianchus-prz
View
11
Download
0
Embed Size (px)
DESCRIPTION
Inteligencia Artificial redes neuronales parte 1 de 3.
Citation preview
1
REDES NEURONALES I
Co
nte
nid
o
Definiciones.
Referencias histricas.
El modelo biolgico.
El modelo matemtico.
Diferentes esquemas de RNA.
Analoga biolgica artificial.
Clasificacin de las RNA.
Mecanismos de aprendizaje.
Ejemplo de aplicacin.
Referencias bibliogrficas.
2
T3-1 REDES NEURONALES
RNA - DEFINICIONES
Son modelos en hardware o en software que
intentan reproducir el comportamiento del
cerebro humano, con el propsito de
resolver problemas.
El estudio de las redes neuronales
est fuertemente motivado por la
necesidad de producir modelos
biolgicos para ser utilizados en la
resolucin de problemas.
Es la interconexin en paralelo, de
elementos de procesamiento unitarios,
capaces de resolver problemas, luego de un
proceso de aprendizaje.
3
1943 - Origen de los modelos conexionistas con la primera idea de
neurona artificial, dada por McCulloch y Pitts.
1949 - Donald Hebb, introduce las hiptesis del modo en que las
neuronas memorizan informacin, basadas en investigaciones
psicofisiolgicas.
1959 - Widrow publica una teora sobre la adaptacin neuronal y un
modelo inspirados en esa teora, el Adaline (Adaptative Linear
Neuron).
1962 - Rosemblatt desarrolla el Perceptrn, un identificador de patrones
pticos binarios y salida binaria, junto con la regla de aprendizaje
delta.
1969 - Minsky y Papert realizan una seria crtica del Perceptrn, reve-
lando serias limitaciones. Se crean serias dudas sobre las capaci-
dades de los modelos conexionistas y decaen las investigaciones.
1977 - Anderson desarrolla modelos de memorias asociativas. conocidos
como brain-state-in-a-box.
1982 - Hopfield elabora un modelo de red consistente en unidades de
proceso interconectadas que alcanzan mnimos energticos.
1984 - Kohonen siguiendo el trabajo de Anderson, desarrolla modelos
de aprendizaje competitivo basados en el principio de inhibicin
lateral.
1987 - Grossberg realiza un importante trabajo terico - matemtico a
travs de sus modelos ART (Adaptative Resonance Theory).
T3-1 REDES NEURONALES
REFERENCIAS HISTRICAS
4
El cerebro
humano
Sistema de procesamiento no lineal
y paralelo.
Aproximadamente 1010 neuronas.
Alrededor de 1012 interconexiones.
Las interconexiones se modifican en funcin al
tiempo.
Los estmulos externos pueden sensibilizar la
calidad y cantidad de
interconexiones.
T3-1 REDES NEURONALES
EL MODELO BIOLGICO
5
Cerebro humano y red de neuronas
T3-1 REDES NEURONALES
EL MODELO BIOLGICO
6
T3-1 REDES NEURONALES
EL MODELO BIOLGICO
La neurona biolgica
Una neurona tpica recoge seales procedentes de
otras neuronas a travs de un conjunto de delicadas
estructuras
llamadas
dendritas. La
neurona emite
impulsos de
actividad
elctrica a lo
largo de una fibra
larga y delgada
denominada axn,
que se escinde en
millares de
ramificaciones.
7
T3-1 REDES NEURONALES
EL MODELO BIOLGICO
Las extremidades de estas ramificaciones llegan
hasta las dendritas de otras neuronas y establecen
unas conexiones llamadas sinapsis, en las cuales se
produce una transformacin del impulso elctrico en
un mensaje neuro-qumico, mediante la liberacin de
sustancias llamadas neurotransmisores
Las conexiones biolgicas
8
T3-1 REDES NEURONALES
EL MODELO MATEMTICO
9
f(xi ,wi )
x1
x2
xn
y
w1
w2
wn
g(f)
q
Pesos
Bias
Funcin de excitacin
Funcin de activacin
En
trada
s
Salida
La neurona artificial
Se modelan mediante unidades de proceso. Cada
unidad de proceso se compone de un conjunto de
conexiones de entrada, modificadas por valores de
peso, una funcin de excitacin ( de red), encargada
de computar la entrada total ponderada, un ncleo
central de proceso, encargado de aplicar la funcin
de activacin, y la salida, por donde se transmite el
valor de activacin a otras unidades.
T3-1 REDES NEURONALES
EL MODELO MATEMTICO
10
f(xi ,wi ) xi
y wji g(f)
Funciones internas
f
n
j i ij j
i 1
x .w
f
n
2j i ij j
i 1
x .w cuadrtica
2)f
n
-2j i ij j
i 1
(x .w esfrica
signo
rampa
sigmoide
escaln
lineal
T3-1 REDES NEURONALES
EL MODELO MATEMTICO
11
Actividad de neurona aislada
1
0
1
1
0,75
2
-0,5
S
Entradas X = [1 ; 0 ; 1]
Pesos W = [0,75 ; 2 ; -0,5]
Funcin de
excitacin lineal f = } S(X . W) 1*0,75+0*2+1*(-0,5) = 0,25 {
Funcin de
activacin escaln y = g(f) = } 0 si f 0 1 si f > 0 { = 1
Neurona activada o disparada
T3-1 REDES NEURONALES
EL MODELO MATEMTICO
Se corresponde
con la neurona
original de
McCulloch-Pitts
12 12
Actividad de neurona aislada
Funcin de
excitacin lineal f = } {
Funcin de
activacin escaln y = g(f) = } { = 0
Neurona inhibida o bloqueada
(X . W) 1*0,5+0*2+1*(-0,75)
= -0,25
0 si f 0
1 si f > 0
1
0
1
0
0,5
2
-0,75
S
Entradas X = [1 ; 0 ; 1]
Pesos W = [0,5 ; 2 ; -0,75]
T3-1 REDES NEURONALES
EL MODELO MATEMTICO
Se corresponde
con la neurona
original de
McCulloch-Pitts
13
T3-1 REDES NEURONALES
DIFERENTES ESQUEMAS DE RNA
14
Organizacin por capas
T3-1 REDES NEURONALES
TOPOLOGA DE REDES E
ntr
ad
a Salid
a
Entr
ad
a Salid
a
Monocapa Bicapa E
ntr
ad
a Salid
a. . .
. . .
Capa de
entradaCapa de
salida
Capas internas
(ocultas)
Multicapa
15
Conexiones entre neuronas
Conexiones progresivas:
Transmiten la informacin
hacia delante.
Se
ale
s d
e en
trad
a Se
ales d
e salid
aSe
ale
s d
e en
trad
a Se
ales d
e salid
a
Se
ale
s d
e en
trad
a Se
ales d
e salid
a
Conexiones regresivas:
Transmiten la informacin
hacia atrs, a la entrada o
hacia capas anteriores.
Conexiones laterales:
Transmiten la informacin
entre neuronas de la
misma capa. Permiten
competir.
Conexiones autolazo:
realimentan la informacin
a la entrada de la misma
neurona. Permiten
mantener la salida.
T3-1 REDES NEURONALES
TOPOLOGA DE REDES
16
Aprendizaje inductivo: No se le indican las reglas para dar
una solucin, sino que extrae sus propias reglas a partir
de los ejemplos de aprendizaje.
Generalizacin: Una vez entrenada, se le pueden
presentar a al red datos distintos a los usados durante el
aprendizaje. La respuesta obtenida depender del
parecido de los datos con los ejemplos de entrenamiento
Abstraccin o tolerancia al ruido: Las RNA pueden
procesar correctamente datos incompletos o
distorsionados.
Procesamiento paralelo: las neuronas reales trabajan en
paralelo; las neuronas artificiales simuladas en
computador emplean un paralelismo inherente.
Memoria distribuida: el conocimiento acumulado por la
red se halla distribuido en numerosas conexiones, esto
tiene como consecuencia la tolerancia a fallos: una red
neuronal es capaz de seguir funcionando adecuadamente
a pesar de sufrir lesiones con destruccin de neuronas o
sus conexiones, ya que la informacin se halla distribuida
por toda la red.
T3-1 REDES NEURONALES
PROPIEDADES INTRNSECAS
17
Comparacin entre las neuronas biolgicas
reales y las unidades de proceso artificiales
Redes Neuronales
Biolgicas
Redes Neuronales
Artificiales
Neuronas Unidades de proceso
Conexiones sinpticas Conexiones ponderadas
Efectividad de las sinpsis Peso de las conexiones
Efecto excitatorio o
inhibitorio de una conexin
Signo del peso de una
conexin
Efecto combinado de las
sinpsis
Funcin de propagacin
o de red
Activacin tasa de
disparo
Funcin de activacin
Salida
T3-1 REDES NEURONALES
ANALOGA BIOLGICA ARTIFICIAL
18
Redes mononeuronales: Utilizan una sola neurona con varias
entradas y una salida. Por ejemplo Perceptrn, Adaline.
Redes monocapa: Las neuronas se organizan en una capa
nica, generalmente conectadas con conexiones laterales o
autorecurrentes. Por ejemplo redes de Kohonen, redes de
Hopfield.
Segn la topologa
T3-1 REDES NEURONALES
CLASIFICACIN
Ref.
Garca Martnez
et al, Sistemas Inteligentes.
19
Redes multicapa: Las
neuronas se organizan en
varias capas, con
distintos tipos de
conexiones. Estas
estructuras suelen
utilizarse para realizar
tareas ms complejas.
Por ejemplo redes
feedforward, redes ART.
Segn la
topologa
T3-1 REDES NEURONALES
CLASIFICACIN
Ref.
Garca Martnez
et al, Sistemas Inteligentes.
20
Redes con aprendizaje supervisado: Existe un parmetro
externo ( tutor) que determina si la respuesta de la RNA
durante el proceso de aprendizaje es correcta. Por
ejemplo redes feedforward/backpropagation.
Segn el tipo de aprendizaje
T3-1 REDES NEURONALES
CLASIFICACIN
Ref.
Garca Martnez
et al, Sistemas Inteligentes.
21
Redes con aprendizaje no
supervisado: La RNA no
recibe influencia externa
sobre su comportamiento.
La modificacin de los par-
metros responde exclusiva-
mente a las entradas.
Fundamentalmente, bajo
esta categora de aprendi-
zaje la ANN intenta rescatar
propiedades comunes de los
patrones de entrada. Por
ejemplo redes de Hopfield,
redes de Kohonen.
Segn el tipo
de aprendizaje
T3-1 REDES NEURONALES
CLASIFICACIN
Ref. Garca Martnez et al,
Sistemas Inteligentes.
22
Redes heteroasociativas: Las redes aprenden
pares de datos entrada-salida que se presentan
durante la fase de entrenamiento. En general
presentan una topologa de 2 ms capas. Por
ejemplo redes feedforward/ backpropagation.
Redes autoasociativas: En este tipo de redes,
las entradas se clasifican de acuerdo a los
patrones intrnsecos generados o aprendidos
por la red. Puede implementarse inclusive en
topologas monocapa. Por ejemplo redes ART,
redes de Kohonen.
Segn la relacin entrada-salida
T3-1 REDES NEURONALES
CLASIFICACIN
23
Redes continuas: Tanto los valores de entrada
como de salida, son de tipo analgicos y reales,
pudiendo estar normalizados a un intervalo
predefinido. Por ejemplo redes feedforward/
backpropagation, redes de Hopfield (continuas).
Redes discretas: En este tipo de redes, tanto las
entradas como las salidas son discretas y
particularmente binarias. Por ejemplo redes de
Hopfield (discretas, redes ART1.
Redes hbridas: Manejan distintos tipos de
valores entre las entradas y salidas.
Comnmente reciben valores analgicos en las
entradas y responden con valores binarios.
Segn el tipo de seales de
entrada-salida
T3-1 REDES NEURONALES
CLASIFICACIN
24
Segn el
tipo de
seales
de
entrada-
salida
T3-1 REDES NEURONALES
CLASIFICACIN
Ref.
Garca Martnez
et al, Sistemas Inteligentes.
25
Redes sincrnicas o determinsticas: Son
aquellas donde se calcula la activacin de todas
las unidades de una capa en cada ciclo de
aprendizaje.
Redes asincrnicas o probabilsticas: En este
tipo de redes, cada unidad de proceso tiene una
cierta posibilidad de computar su activacin en
cada ciclo de aprendizaje. Tienen la ventaja de
ser menos propensas a caer en mnimos
locales.
Segn el proceso de
actualizacin
T3-1 REDES NEURONALES
CLASIFICACIN
26
Los cambios que se producen durante el proceso de
aprendizaje se reducen a la destruccin, modifica-
cin y creacin de conexiones entre las neuronas.
La creacin de una nueva conexin implica que el
peso asociado pasa a tener un valor distinto de cero.
Una conexin se destruye cuando su peso pasa a ser
cero. Representa una desconexin virtual en el
modelo.
Se puede afirmar que el proceso de aprendizaje ha
finalizado (la red ha aprendido) cuando los valores
de los pesos permanecen estables (dwij / dt = 0).
El aprendizaje es el proceso
por el cual una red neuronal modifica sus
pesos en respuesta a una informacin de
entrada.
T3-1 REDES NEURONALES
PROCESOS DE APRENDIZAJE
27
Se realiza mediante un entrenamiento controlado por un agente
externo (supervisor, maestro) que determina la respuesta que
debera generar la red a partir de una entrada determinada. En el
caso de que la salida no coincida con la deseada, se proceder a
modificar los pesos de las conexiones. Se consideran tres formas
de llevar a cabo este tipo de aprendizaje:
Aprendizaje por correccin de error: Consiste en ajustar los
pesos en funcin de la diferencia entre los valores deseados
y los obtenidos en la salida; es decir, en funcin del error.
Aprendizaje por refuerzo: La funcin del supervisor se reduce a
indicar mediante una seal de refuerzo si la salida obtenida en la
red se ajusta a la deseada (xito = +1 fracaso = -1), y en funcin
de ello se ajustan los pesos basndose en un mecanismo de
probabilidades.
Aprendizaje estocstico: Consiste bsicamente en realizar
cambios aleatorios en los valores de los pesos de las conexiones
de la red y evaluar su efecto a partir del objetivo deseado y de
distribuciones de probabilidad.
Aprendizaje supervisado
T3-1 REDES NEURONALES
PROCESOS DE APRENDIZAJE
28
Aprendizaje supervisado -ESQUEMA-
T3-1 REDES NEURONALES
PROCESOS DE APRENDIZAJE
Capa oculta
Capa de entrada
Capa de salida
n p
pesos
salida
actual
salida
deseada
p m
pesos
m neuronas
n neuronas
p neuronas
error
29
1. Aleatorizar los pesos de todas las conexiones
(preferiblemente con valores pequeos).
2. Seleccionar un par de entrenamiento.
3. Presentar el patrn de entrada y calcular la funcin de
excitacin (red), funcin de activacin y transferencia a
la siguiente capa, hasta llegar a la capa de salida.
4. Calcular el error o discrepancia entre la salida obtenida y
la deseada. El error (funcin objetivo) se suele definir
como la suma de los cuadrados de las diferencias entre
las salidas reales obtenidas y las deseadas, promediado
para todas las unidades de salida y todos los patrones de
entrenamiento. Si todos los ejemplos se han clasificado
correctamente, finalizar, sino continuar.
5. Aplicar la regla de aprendizaje (ajustar los pesos)
tratando de disminuir el error.
6. Volver al paso 2.
Aprendizaje supervisado -ALGORITMO-
T3-1 REDES NEURONALES
PROCESOS DE APRENDIZAJE
30
No se requiere influencia externa para ajustar los pesos
entre neuronas. La red no recibe ninguna informacin por
parte del entorno que le indique si la salida generada es o
no correcta. En algunos casos, la salida representa el grado
de familiaridad o similitud entre la informacin que se le
est presentando en la entrada y las que se le han mostrado
en el pasado. En general en este tipo de aprendizaje se
suelen considerar dos tipos:
Aprendizaje Hebbiano: Consiste bsicamente en el ajuste de
los pesos de las conexiones de acuerdo con la correlacin,
as si las dos unidades son activas (positivas), se produce un
reforzamiento de la conexin. Por el contrario cuando un es
activa y la otra pasiva (negativa), se produce un
debilitamiento de la conexin.
Aprendizaje competitivo y cooperativo: Las neuronas compiten (y
cooperan) unas con otras con el fin de llevar a cabo una tarea
dada . Cuando se presenta a la red cierta informacin de entrada,
solo una de las neuronas de salida se activa. Por tanto las
neuronas compiten por activarse, quedando finalmente una,
como neurona vencedora
Aprendizaje no supervisado
T3-1 REDES NEURONALES
PROCESOS DE APRENDIZAJE
31
Feed-Forward Backpropagation (Recurrente)
Capa de entrada
5 entradas
Capa intermedia
15 neuronas log-sig
Capa de salida
1 neurona tan-sig
Realimentacin de la salida
con retardo de 1 muestra
Va
ria
ble
s d
e
en
tra
da
Va
ria
ble
d
e
sa
lid
a
T3-1 REDES NEURONALES
EJEMPLO DE RED NEURONAL
32
RNA Ejemplo de red neuronal Feed-forward Backpropagation (Recurrente)
Sistema de
deteccin de fallas
en un
tanque hidrulico
Prueba de deteccin
de componentes
principales por
anulacin de entradas
T3-1 REDES NEURONALES
EJEMPLO DE RED NEURONAL
33
RNA Aplicaciones
Modelado de procesos lineales y no lineales.
Control de procesos y equipos.
Reconocimiento de patrones.
Asociacin de datos.
Deteccin de trayectorias.
Prediccin de series temporales.
Reconocimiento ptico de caracteres.
Aproximacin de funciones de cualquier tipo.
T3-1 REDES NEURONALES
APLICACIONES
34
Del Brio, B.M. Sanz Molina, A. REDES NEURONALES Y SISTEMAS BORROSOS. Editorial RA-MA.
Hilera Gonzalez, J.R. Martnez Hernando, B.J. REDES NEURONALES ARTIFICIALES. Editorial RA-MA. 1995.
Isasi Viuela P., Galvn Len L. M. REDES DE NEURONAS ARTIFICIALES Un Enfoque Prctico. Ed. Pearson Educacin, Madrid, 2004.
T3-1 REDES NEURONALES
REFERENCIAS