REDES NEURONALES ARTIFICIALES
Una red neuronal artificial es una herramienta diseada para imitar la formaen que el cerebro humano funciona. Se parece al cerebro en dos aspectos,por una parte la red adquiere conocimientos a travs de un proceso deaprendizaje, y por otra las conexiones interneuronales, conocidas comocargas sinpticas presentan una gran solidez que se encargan de almacenarlos conocimientos.
Cmo funciona el cerebro humano ?
Cmo aprende el ser humano ?
Dnde se guarda el conocimiento ?
Por qu es tan eficiente el cerebro humano ?
LIC. NEL QUEZADA LUCIO
El cerebro humano est compuesto por una gran cantidad de elementos bsicos denominados neuronas
Bsicamente las neuronas estn formadas por:
Un Cuerpo central o Ncleo Dendritas Sinapsis (Un mecanismo de conexin con otras neuronas) Axn
LIC. NEL QUEZADA LUCIO
Los estmulos recibidos en el cerebro son transmitidos entre lasneuronas mediante las conexiones sinpticas.
Cuando una neurona es estimulada libera una pequea cantidad de uncomponente qumico (neurotransmisor). Este viaja a travs del axnhasta llegar a las dendritas de otras neuronas en las cuales el proceso serepite.
Este proceso sirve para incrementar o disminuir la relacin entre lasneuronas involucradas en el.
As, ante un determinado estmulo ciertas neuronas se activan y otras seinhiben
LIC. NEL QUEZADA LUCIO
Del mismo modo que el cerebro est constituido por neuronas, la unidadbsica constituyente de la red neuronal es el nodo, (neurona) Un nodo esun elemento de clculo interconectado con otros muchos elementos,imitando las sinapsis nerviosas. La idea era que, tal vez, conectando unnmero suficientemente alto de neuronas o nodos la inteligencianaciese de modo natural del aprendizaje.
A un nodo pueden llegar muchas entradas, xi, proporcionando grancantidad de informacin. El nodo condensar esta informacin de algnmodo.
LIC. NEL QUEZADA LUCIO
Mediante un proceso de aprendizaje se logran establecer los nivelescorrectos de activacin-inhibicin de las neuronas.
Cuando este proceso se completa entonces ante determinados estmulossabemos como responder y aprendemos.
El conocimiento adquirido est entonces en los niveles de relacin entrelas neuronas logrados durante el proceso de aprendizaje.
El cerebro es entrenado por repeticin de estmulos !
Cmo puede ser el cerebro tan eficiente ?Por la enorme cantidad de neuronas (aprox. 100billones) y la manera en queestn interconectadas (aprox. 60 trillones de sinapsis).
Por la capacidad de organizarse, construir reglas y aprender de la experiencia
Qu es y cmo construir una red neuronal artificial?LIC. NEL QUEZADA LUCIO
Beneficios de usar RNA
Generalizacin: Capacidad para producir respuestas razonables aestmulos no presentados durante su entrenamiento.
Adaptabilidad: La red puede ser construida para adaptar sus pesossinpticos al medio ambiente (re-entrenar).
Robusta: Por su carcter distributivo, una red maneja muy bien daos asu estructura (ruido).
Complejidad: Puede capturar comportamiento complejo que no esposible con mtodos tradicionales.
No-paramtrico: No hace suposiciones a priori.
LIC. NEL QUEZADA LUCIO
I.- CLASIFICACIN DE LAS REDES NEURONALES
Se clasifica por; su conexin que presenta, la arquitectura o topologa, y elmtodo de aprendizaje empleado para su entrenamiento.
1.- Segn sus Conexiones: Se clasifican en
1.1 Redes con conexiones hacia adelante (feedforward)La informacin se propaga hacia adelante por las distintas capas a travsde los pesos. Son la mayora de los casos que se estudiara
1.2 Redes con conexiones hacia adelante y hacia atrs (feedforward / feedback) La informacin circula tanto hacia adelante como hacia atrs, pues existenconexiones y pesos, en ambos sentidos, que pueden ser diferentes.Generalmente son redes bicapa. Basan su comportamiento en laresonancia, esto es, en la interaccin de las informaciones de la primera yla segunda capa, hasta alcanzar un estado estable. En ocasiones se danconexiones laterales entre neuronas de una misma capa.LIC. NEL QUEZADA LUCIO
2.- Segn su Topologa Las dos arquitecturas de redes neuronales ms usada son losPerceptrones Multicapa (MLP- Multilayer Perceptron), y las Funciones deBase Radial (Radial Basis Functions Bsicas).
2.1 El Perceptrn (F. Rosenblatt 1958)El primer modelo con l que se pretenda ilustrar algunas propiedades delos sistemas inteligentes. se desarrollaron diversas variantes del perceptrn,como el perceptrn simple, esto es, sin capa oculta, la gran flexibilidad deacab desembocando en las redes neuronales. Los perceptrones seclasifican por el nmero de capas que presentan. As aquellos con doscapas, esto es, sin capa oculta, son perceptrones simples, y los de una oms capas ocultas se llaman perceptrones multicapa.
Un perceptrn simple calcula la combinacin lineal de las entradas (con untrmino de sesgo) lo que se llama entrada de red; a esa combinacin linealse aplica una funcin de activacin, dando lugar a la salida de la red. Lafigura 1.4 muestra el diseo de un perceptrn simple.
LIC. NEL QUEZADA LUCIO
a.- Esquema del Perceptron Simple
La Funcin de activacin y las ecuaciones del proceso son las siguientes
LIC. NEL QUEZADA LUCIO
b.- Esquema de un Perceptron Multicapa, con una capa oculta (NI-NH-NO)
La Funcin de activacin y las ecuaciones del proceso son las siguientes
LIC. NEL QUEZADA LUCIO
2.2 Redes Neuronales de Base Radial (RBF)
La filosofa es huir de los modelos preestablecidos, y que las observacionespasadas den el comportamiento de las salidas. La influencia radica en elentrenamiento, pero adems se establecen ciertos valores de las variablesde entrada y sus correspondientes variables respuesta de tal forma querepresen a todos los estados del sistema que se desea modelar. Lo quediferencia a estas redes es el modo en que actan sobre los datos deentrada, esto es, cmo condensan la informacin que les proporcionan lasdistintas variables. Las neuronas de la capa oculta calculan las funcionesradiales bsicas de las entradas.
LIC. NEL QUEZADA LUCIO
Esquema de un Red de Base Radial Mltiple con Salida Unidimensional
La Funcin de activacin y las ecuaciones del proceso son las siguientes
LIC. NEL QUEZADA LUCIO
3 Segn el Tipo de Aprendizaje
La caracterstica distintiva y original de las redes neuronales es elaprendizaje, generando sus propias reglas, aprendiendo de los datos, Elaprendizaje consiste en la modificacin de los pesos. El proceso deaprendizaje se llama entrenamiento, los tipos de aprendizaje son.
3.1 Redes On-Line frente a Redes Off-Line
a.- Off line.- Para realizar su aprendizaje se detiene el funcionamiento. Setiene dos etapas: una de entrenamiento y otra en que se dedica apredecir. Cuando proporciona predicciones, no entrena, y mientrasentrena est inhabilitada para dar respuesta a nuevos datos.
b.- On line,- Se caracterstica porque entrena con cada nuevo dato, sinnecesidad de detenerse. Los datos se modifican dinmicamente concada nueva informacin. Pero a cambio su carcter esttico durante losperodos de prediccin hace ms estable al sistema.
LIC. NEL QUEZADA LUCIO
3.2 Redes con Aprendizaje Supervisado versus No Supervisado
La diferencia principal radica en la existencia de un "supervisor quecontrola el aprendizaje, indicando, bien hacia dnde han de modificarselos pesos, o si la modificacin es correcta o no.
a.- Aprendizaje SupervisadoSe caracteriza por la existencia de una agente externo que conoce larespuesta que debera generar la red a partir de una determinada entrada.La salida de la red es comparada con la respuesta deseada, y si nocoinciden los pesos de las conexiones sern modificados de modo que lasalida obtenida se aproxime a la deseada. La Regla de Aprendizaje delPerceptrn, constituye el primer ejemplo de aprendizaje supervisado.Existen tres grandes clases de aprendizaje supervisado
(i) Aprendizaje por correccin de error.(ii) Aprendizaje por refuerzo.(iii) Aprendizaje estocstico.
LIC. NEL QUEZADA LUCIO
(i) Aprendizaje por correccin de error. El conjunto de entrenamiento estconstituido por las variables de entrada (situacin del sistema) y la salida(variables objetivo). El ajuste de los pesos se realizar en funcin de ladiferencia entre los valores deseados y los que se obtuvieron en la salida.
(ii) Aprendizaje por refuerzo. En este caso el supervisor no conoce larespuesta, pero dispone de algn mecanismo que indica si la respuesta esbuena o no. Si la respuesta es adecuada se reforzarn las conexiones queactuaron para obtener esa respuesta, y si no es, se inhibirn.
(iii) Aprendizaje estocstico. Los cambios de los pesos son de modoaleatorio, y si el nuevo estado resulta ser ms estable, se aceptarn loscambios. En caso de que los nuevos pesos aumenten la inestabilidad delsistema, no sern rechazados de modo inmediato, sino que seaceptarn los cambios en funcin de cierta distribucin de probabilidades.
Otro tipo de clasificacin. Redes Heteroasociativas tiene variables objetivodiferentes de las variables de entrada, y Redes Autoasociativas tienenvariables objetivo iguales a las variables de entrada.LIC. NEL QUEZADA LUCIO
Diagrama de Flujo del Entrenamiento
LIC. NEL QUEZADA LUCIO
b.- Aprendizaje No Supervisado No existe supervisor. Las redes no reciben ninguna seal del exterior que lesindique si su salida es o no la adecuada, se auto organizan, en funcin de lassimilitudes y diferencias que presenten los datos de entrada (AnlisisCluster). Hay dos tipos de aprendizaje.
(i) Regla de Hebb.- El peso de conexin entre dos neuronas se incrementacuando aparecen la entrada y la salida deseada. Se considera que se haactivado la conexin, si el producto de los valores de los nodos es positivo,esto es, ambas neuronas son activas (+) o pasivas (-). Cada vez que se activauna conexin se incrementar el peso. Si una neurona es activa y otrapasiva el peso que las une disminuir su valor (inhibir).
(ii) Aprendizaje Competitivo.-Los nodos de la capa oculta compiten entres, de modo que slo uno de ellos se activa, y el resto de salidaspermanecen inactivas. Una de las neuronas de la capa de salida ser lavencedora (winner take all). Se trata de asociar los datos segn suscaractersticas de modo que observaciones prximas den como vencedora ala misma neurona en la capa de salida.LIC. NEL QUEZADA LUCIO
II.- MODELO DE UNA NEURONA
Ncleo:Procesa la informaci
n
x1
x2
xi
xp
.
.
.
.
.
.
w1
w2
wi
wp
w0=b
Dendritas:Recibe el estmulo o establece las conexiones sinpticas
Pesos Sinpticos:Cada dendrita tendr un peso wi para guardar el conocimiento adquirido
Axn:Enva la respuesta
x0=1Parmetro de sesgo
LIC. NEL QUEZADA LUCIO
x1
x2
xi
xp
.
.
.
.
w1
w2
wi
wp
w0=bx0=1
=
El estmulo es procesado en el ncleo mediante la operacin
=
= + ++ = X=
11..
W=
1..
Los estmulos es un vectores. Cada entrada del vector corresponde a un estmuloo variable en particular de la cual se tiene cierta cantidad de observaciones.
Estmulo que recibe la neurona Respuesta de la
neurona al estmulo recibido
Parmetros del modelo Neuronal:: Funcin de transferencia (link, activacin)w: Pesos sinpticosb : Sesgo LIC. NEL QUEZADA LUCIO
III.- FUNCIN DE TRANSFERENCIA (LINK, ACTIVACIN)
La funcin de transferencia se utiliza para limitar el rango de valores de larespuesta de la neurona. Generalmente los rangos de valores se limitan a[0,1] o [-1,1], sin embargo otros rangos son posibles de acuerdo a laaplicacin o problema a resolver. Las funciones de transferencia msconocidas son las siguientes
1.-FUNCIN UMBRAL
Se define como:
Los valores se pueden asociar a xito y fracaso esta condicin depender si.
xito Fracaso
= + ++ = = 0
< 0
++ ++<
LIC. NEL QUEZADA LUCIO
1.1-GRFICA DE LA FUNCIN UMBRAL:
Para dos variables donde: X=112
W= 011
1
1
-1
-1
+ ++ = = +
=1=
=0=
LIC. NEL QUEZADA LUCIO
1.2- EJEMPLO:
Sea;
Estimulo Pesos sinpticos
Sesgo b =-1
X=
10110
W=
10.8110.5
+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
(-1)=0
LIC. NEL QUEZADA LUCIO
2.-FUNCIN SIGNO
Se define como:
La respuesta de la neurona es entonces -1, 0 1.
= + ++ = =
< 0
= 0
> 0
-1
1
LIC. NEL QUEZADA LUCIO
2.1- GRFICA DE LA FUNCIN SIGNO:
Para dos variables donde: X=112
W= 011
1
1
-1
-1
+ ++ = = +
=1=
=-1=
>
=0 =
=
LIC. NEL QUEZADA LUCIO
2.2- EJEMPLO:
Sea;
Estimulo Pesos sinpticos
Sesgo b =-1
X=
10110
W=
10.8110.5
+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
(-1)=-1
LIC. NEL QUEZADA LUCIO
3.-FUNCIN LOGSTICA (ms utilizada)
Se define como:
Es la versin continua de la funcin umbral. Es continua en [0,1] einfinitamente diferenciable. Se utiliza en problemas de aproximacin.
= + ++ = =
+ ; ,>
LIC. NEL QUEZADA LUCIO
3.1- EJEMPLO:
Sea;
Estimulo Pesos sinpticos
Sesgo b =-1
Cul es la respuesta de la neurona si =1 (Parmetro)
X=
10110
W=
10.8110.5
+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)=(-1)
=
+= 0.2689
LIC. NEL QUEZADA LUCIO
4.-FUNCIN TANGENTE HIPERBLICA
Se define como:
Es la versin continua de la funcin signo. Es continua en [1,-1] einfinitamente diferenciable. Se utiliza en problemas de aproximacin
= / =
+ ; ,>
LIC. NEL QUEZADA LUCIO
4.1- EJEMPLO:
Sea;
Estimulo Pesos sinpticos
Sesgo b =-1
Cul es la respuesta de la neurona si =2 (Parmetro)
X=
10110
W=
10.8110.5
+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)
=
+= 0.76159
LIC. NEL QUEZADA LUCIO
5.-FUNCIN LINEAL (IDENTIDAD)
Se define como:
No limita la respuesta de la neurona, Se utiliza en aproximacin oestimacin lineal
= ; ,>
5.1- EJEMPLO:
= LIC. NEL QUEZADA LUCIO
5.2.-FUNCIN REGRESIN LINEAL SIMPLE
Se define como:
+ = + ; ,>
w1= a
w0= b
x0=1
+ + = +
X=1
W=
x1= x
LIC. NEL QUEZADA LUCIO
6.-FUNCIN LINEAL ACOTADA
Se define como:
6.1- EJEMPLO:
=
=
0
0 1
1
1
LIC. NEL QUEZADA LUCIO
7.-FUNCIN LINEAL ACOTADA SIMTRICA
Se define como:
7.1- EJEMPLO:
=
=
1
1 1
1
1
-1
-1
LIC. NEL QUEZADA LUCIO
IV.- PESOS SINPTICOSLos pesos sinpticos guardan el conocimiento adquirido, los valores seobtienen mediante un proceso de aprendizaje que se divide en.
1.- Paradigmas de aprendizajeSe debe a la manera en que la red neuronal interacta o se relaciona con elambiente en el cual opera, y pueden ser Aprendizaje supervisado(Supervisedlearning) Aprendizaje no supervisado (Non supervisedlearning)
2.- Algoritmos de entrenamientoTcnicas que permiten obtener los valores de los pesos sinpticos y elparmetro de sesgo (No modifican la funcin de activacin). Consiste enmodificar los pesos sinpticos utilizando el valor anterior de este mas unfactor de correccin y se diferencian uno de otro en la forma en que dichacorreccin es obtenida.
= + Existen una variedad de algoritmos de entrenamiento cada cual con susfortalezas y debilidades.
Nota: Distintos paradigmas de aprendizaje junto con distintos algoritmos de entrenamiento producen diversas redes neuronales.LIC. NEL QUEZADA LUCIO
2.1 Error correction learning or delta rule:Se usa el error obtenido en la presentacin del estmulo para determinar elfactor de correccin. Se utiliza bajo un paradigma de entrenamientosupervisado. La respuesta de la red neuronal se compara con la respuestadeseada y el error cometido se utiliza para modificar los pesos sinpticos
+ = + ()
x2
xi
xp
.
.
.
.
w1
wi
wp
w0=b
x0=1
=
= =
= ()
Neurona k
=
=Contante de aprendizajeLIC. NEL QUEZADA LUCIO
2. Hebbian learning o ractivity product rule (Hebb, 1949) :
Correlaciona la actividad pre y post sinptica (si ambas neuronas se activanse fortalece la conexin y se debilita en caso contrario). Aqu el factor decorreccin es multiplicativo entre la actividad pre y post sinptica.
El postulado de Hebb establece: Cuando dos neuronas conectadas(sinpsis) se activan simultneamente, la relacin entre estas se fortalece.En caso contrario, la relacin se debilita o es eliminada.
La formulacin es establecer la correlacin entre el estimulo de entrada y larespuesta a dicho estmulo y utilizar esta informacin para actualizar el valorde los pesos sinpticos.
+ = + ()
xiwki
= ()
Neurona k=Contante de aprendizajeLIC. NEL QUEZADA LUCIO
2.3 Competitive learning:
Las neuronas compiten entre si para hacerse activas estableciendo. Solouna se activa a la vez. Es decir se establece un mecanismo de competenciaentre las neuronas y la respuesta de la red ante un determinado estmuloproviene exclusivamente de la neurona ganadora.
X(t)
+ = + () ()
= () ()
LIC. NEL QUEZADA LUCIO
2.4 Memory Based learning:
La red almacena data ya procesada en memoria. Un nuevo patrn esprocesado segn su cercana (en sentido euclideo) a un patrn en memoria.
En este tipo de entrenamiento las experiencias pasadas estn almacenadasen la memoria de ejemplos que han sido clasificados correctamente.
En este tipo de entrenamiento un nuevo patrn de entrada es comparadocon k patrones cercanos (concepto de vecindad) y luego es asignado laclasificacin ms frecuente en la vecindad.
Las RBF utilizan este tipo de postulado en su entrenamiento, al igual que lasredes SOMDistanciasEuclidea : ||x-y||Producto interno : xt*y
||x-y||x
yxty
LIC. NEL QUEZADA LUCIO