Redes Neuronales 2

REDES NEURONALES ARTIFICIALES

Una red neuronal artificial es una herramienta diseada para imitar la formaen que el cerebro humano funciona. Se parece al cerebro en dos aspectos,por una parte la red adquiere conocimientos a travs de un proceso deaprendizaje, y por otra las conexiones interneuronales, conocidas comocargas sinpticas presentan una gran solidez que se encargan de almacenarlos conocimientos.

Cmo funciona el cerebro humano ?

Cmo aprende el ser humano ?

Dnde se guarda el conocimiento ?

Por qu es tan eficiente el cerebro humano ?

LIC. NEL QUEZADA LUCIO

El cerebro humano est compuesto por una gran cantidad de elementos bsicos denominados neuronas

Bsicamente las neuronas estn formadas por:

Un Cuerpo central o Ncleo Dendritas Sinapsis (Un mecanismo de conexin con otras neuronas) Axn


Los estmulos recibidos en el cerebro son transmitidos entre lasneuronas mediante las conexiones sinpticas.

Cuando una neurona es estimulada libera una pequea cantidad de uncomponente qumico (neurotransmisor). Este viaja a travs del axnhasta llegar a las dendritas de otras neuronas en las cuales el proceso serepite.

Este proceso sirve para incrementar o disminuir la relacin entre lasneuronas involucradas en el.

As, ante un determinado estmulo ciertas neuronas se activan y otras seinhiben


Del mismo modo que el cerebro est constituido por neuronas, la unidadbsica constituyente de la red neuronal es el nodo, (neurona) Un nodo esun elemento de clculo interconectado con otros muchos elementos,imitando las sinapsis nerviosas. La idea era que, tal vez, conectando unnmero suficientemente alto de neuronas o nodos la inteligencianaciese de modo natural del aprendizaje.

A un nodo pueden llegar muchas entradas, xi, proporcionando grancantidad de informacin. El nodo condensar esta informacin de algnmodo.


Mediante un proceso de aprendizaje se logran establecer los nivelescorrectos de activacin-inhibicin de las neuronas.

Cuando este proceso se completa entonces ante determinados estmulossabemos como responder y aprendemos.

El conocimiento adquirido est entonces en los niveles de relacin entrelas neuronas logrados durante el proceso de aprendizaje.

El cerebro es entrenado por repeticin de estmulos !

Cmo puede ser el cerebro tan eficiente ?Por la enorme cantidad de neuronas (aprox. 100billones) y la manera en queestn interconectadas (aprox. 60 trillones de sinapsis).

Por la capacidad de organizarse, construir reglas y aprender de la experiencia

Qu es y cmo construir una red neuronal artificial?LIC. NEL QUEZADA LUCIO

Beneficios de usar RNA

Generalizacin: Capacidad para producir respuestas razonables aestmulos no presentados durante su entrenamiento.

Adaptabilidad: La red puede ser construida para adaptar sus pesossinpticos al medio ambiente (re-entrenar).

Robusta: Por su carcter distributivo, una red maneja muy bien daos asu estructura (ruido).

Complejidad: Puede capturar comportamiento complejo que no esposible con mtodos tradicionales.

No-paramtrico: No hace suposiciones a priori.


I.- CLASIFICACIN DE LAS REDES NEURONALES

Se clasifica por; su conexin que presenta, la arquitectura o topologa, y elmtodo de aprendizaje empleado para su entrenamiento.

1.- Segn sus Conexiones: Se clasifican en

1.1 Redes con conexiones hacia adelante (feedforward)La informacin se propaga hacia adelante por las distintas capas a travsde los pesos. Son la mayora de los casos que se estudiara

1.2 Redes con conexiones hacia adelante y hacia atrs (feedforward / feedback) La informacin circula tanto hacia adelante como hacia atrs, pues existenconexiones y pesos, en ambos sentidos, que pueden ser diferentes.Generalmente son redes bicapa. Basan su comportamiento en laresonancia, esto es, en la interaccin de las informaciones de la primera yla segunda capa, hasta alcanzar un estado estable. En ocasiones se danconexiones laterales entre neuronas de una misma capa.LIC. NEL QUEZADA LUCIO

2.- Segn su Topologa Las dos arquitecturas de redes neuronales ms usada son losPerceptrones Multicapa (MLP- Multilayer Perceptron), y las Funciones deBase Radial (Radial Basis Functions Bsicas).

2.1 El Perceptrn (F. Rosenblatt 1958)El primer modelo con l que se pretenda ilustrar algunas propiedades delos sistemas inteligentes. se desarrollaron diversas variantes del perceptrn,como el perceptrn simple, esto es, sin capa oculta, la gran flexibilidad deacab desembocando en las redes neuronales. Los perceptrones seclasifican por el nmero de capas que presentan. As aquellos con doscapas, esto es, sin capa oculta, son perceptrones simples, y los de una oms capas ocultas se llaman perceptrones multicapa.

Un perceptrn simple calcula la combinacin lineal de las entradas (con untrmino de sesgo) lo que se llama entrada de red; a esa combinacin linealse aplica una funcin de activacin, dando lugar a la salida de la red. Lafigura 1.4 muestra el diseo de un perceptrn simple.


a.- Esquema del Perceptron Simple

La Funcin de activacin y las ecuaciones del proceso son las siguientes


b.- Esquema de un Perceptron Multicapa, con una capa oculta (NI-NH-NO)



2.2 Redes Neuronales de Base Radial (RBF)

La filosofa es huir de los modelos preestablecidos, y que las observacionespasadas den el comportamiento de las salidas. La influencia radica en elentrenamiento, pero adems se establecen ciertos valores de las variablesde entrada y sus correspondientes variables respuesta de tal forma querepresen a todos los estados del sistema que se desea modelar. Lo quediferencia a estas redes es el modo en que actan sobre los datos deentrada, esto es, cmo condensan la informacin que les proporcionan lasdistintas variables. Las neuronas de la capa oculta calculan las funcionesradiales bsicas de las entradas.


Esquema de un Red de Base Radial Mltiple con Salida Unidimensional



3 Segn el Tipo de Aprendizaje

La caracterstica distintiva y original de las redes neuronales es elaprendizaje, generando sus propias reglas, aprendiendo de los datos, Elaprendizaje consiste en la modificacin de los pesos. El proceso deaprendizaje se llama entrenamiento, los tipos de aprendizaje son.

3.1 Redes On-Line frente a Redes Off-Line

a.- Off line.- Para realizar su aprendizaje se detiene el funcionamiento. Setiene dos etapas: una de entrenamiento y otra en que se dedica apredecir. Cuando proporciona predicciones, no entrena, y mientrasentrena est inhabilitada para dar respuesta a nuevos datos.

b.- On line,- Se caracterstica porque entrena con cada nuevo dato, sinnecesidad de detenerse. Los datos se modifican dinmicamente concada nueva informacin. Pero a cambio su carcter esttico durante losperodos de prediccin hace ms estable al sistema.


3.2 Redes con Aprendizaje Supervisado versus No Supervisado

La diferencia principal radica en la existencia de un "supervisor quecontrola el aprendizaje, indicando, bien hacia dnde han de modificarselos pesos, o si la modificacin es correcta o no.

a.- Aprendizaje SupervisadoSe caracteriza por la existencia de una agente externo que conoce larespuesta que debera generar la red a partir de una determinada entrada.La salida de la red es comparada con la respuesta deseada, y si nocoinciden los pesos de las conexiones sern modificados de modo que lasalida obtenida se aproxime a la deseada. La Regla de Aprendizaje delPerceptrn, constituye el primer ejemplo de aprendizaje supervisado.Existen tres grandes clases de aprendizaje supervisado

(i) Aprendizaje por correccin de error.(ii) Aprendizaje por refuerzo.(iii) Aprendizaje estocstico.


(i) Aprendizaje por correccin de error. El conjunto de entrenamiento estconstituido por las variables de entrada (situacin del sistema) y la salida(variables objetivo). El ajuste de los pesos se realizar en funcin de ladiferencia entre los valores deseados y los que se obtuvieron en la salida.

(ii) Aprendizaje por refuerzo. En este caso el supervisor no conoce larespuesta, pero dispone de algn mecanismo que indica si la respuesta esbuena o no. Si la respuesta es adecuada se reforzarn las conexiones queactuaron para obtener esa respuesta, y si no es, se inhibirn.

(iii) Aprendizaje estocstico. Los cambios de los pesos son de modoaleatorio, y si el nuevo estado resulta ser ms estable, se aceptarn loscambios. En caso de que los nuevos pesos aumenten la inestabilidad delsistema, no sern rechazados de modo inmediato, sino que seaceptarn los cambios en funcin de cierta distribucin de probabilidades.

Otro tipo de clasificacin. Redes Heteroasociativas tiene variables objetivodiferentes de las variables de entrada, y Redes Autoasociativas tienenvariables objetivo iguales a las variables de entrada.LIC. NEL QUEZADA LUCIO

Diagrama de Flujo del Entrenamiento


b.- Aprendizaje No Supervisado No existe supervisor. Las redes no reciben ninguna seal del exterior que lesindique si su salida es o no la adecuada, se auto organizan, en funcin de lassimilitudes y diferencias que presenten los datos de entrada (AnlisisCluster). Hay dos tipos de aprendizaje.

(i) Regla de Hebb.- El peso de conexin entre dos neuronas se incrementacuando aparecen la entrada y la salida deseada. Se considera que se haactivado la conexin, si el producto de los valores de los nodos es positivo,esto es, ambas neuronas son activas (+) o pasivas (-). Cada vez que se activauna conexin se incrementar el peso. Si una neurona es activa y otrapasiva el peso que las une disminuir su valor (inhibir).

(ii) Aprendizaje Competitivo.-Los nodos de la capa oculta compiten entres, de modo que slo uno de ellos se activa, y el resto de salidaspermanecen inactivas. Una de las neuronas de la capa de salida ser lavencedora (winner take all). Se trata de asociar los datos segn suscaractersticas de modo que observaciones prximas den como vencedora ala misma neurona en la capa de salida.LIC. NEL QUEZADA LUCIO

II.- MODELO DE UNA NEURONA

Ncleo:Procesa la informaci

n

x1

x2

xi

xp

.

.

.

.

.

.

w1

w2

wi

wp

w0=b

Dendritas:Recibe el estmulo o establece las conexiones sinpticas

Pesos Sinpticos:Cada dendrita tendr un peso wi para guardar el conocimiento adquirido

Axn:Enva la respuesta

x0=1Parmetro de sesgo


x1

x2

xi

xp

.

.

.

.

w1

w2

wi

wp

w0=bx0=1

=

El estmulo es procesado en el ncleo mediante la operacin

=

= + ++ = X=

11..

W=

1..

Los estmulos es un vectores. Cada entrada del vector corresponde a un estmuloo variable en particular de la cual se tiene cierta cantidad de observaciones.

Estmulo que recibe la neurona Respuesta de la

neurona al estmulo recibido

Parmetros del modelo Neuronal:: Funcin de transferencia (link, activacin)w: Pesos sinpticosb : Sesgo LIC. NEL QUEZADA LUCIO

III.- FUNCIN DE TRANSFERENCIA (LINK, ACTIVACIN)

La funcin de transferencia se utiliza para limitar el rango de valores de larespuesta de la neurona. Generalmente los rangos de valores se limitan a[0,1] o [-1,1], sin embargo otros rangos son posibles de acuerdo a laaplicacin o problema a resolver. Las funciones de transferencia msconocidas son las siguientes

1.-FUNCIN UMBRAL

Se define como:

Los valores se pueden asociar a xito y fracaso esta condicin depender si.

xito Fracaso

= + ++ = = 0

< 0

++ ++<


1.1-GRFICA DE LA FUNCIN UMBRAL:

Para dos variables donde: X=112

W= 011

1

1

-1

-1

+ ++ = = +

=1=

=0=


1.2- EJEMPLO:

Sea;

Estimulo Pesos sinpticos

Sesgo b =-1

X=

10110

W=

10.8110.5

+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)

(-1)=0


2.-FUNCIN SIGNO

Se define como:

La respuesta de la neurona es entonces -1, 0 1.

= + ++ = =

< 0

= 0

> 0

-1

1


2.1- GRFICA DE LA FUNCIN SIGNO:

Para dos variables donde: X=112

W= 011

1

1

-1

-1

+ ++ = = +

=1=

=-1=

>

=0 =

=


2.2- EJEMPLO:

Sea;


Sesgo b =-1

X=

10110

W=

10.8110.5

+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)

(-1)=-1


3.-FUNCIN LOGSTICA (ms utilizada)

Se define como:

Es la versin continua de la funcin umbral. Es continua en [0,1] einfinitamente diferenciable. Se utiliza en problemas de aproximacin.

= + ++ = =

+ ; ,>


3.1- EJEMPLO:

Sea;


Sesgo b =-1

Cul es la respuesta de la neurona si =1 (Parmetro)

X=

10110

W=

10.8110.5

+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)=(-1)

=

+= 0.2689


4.-FUNCIN TANGENTE HIPERBLICA

Se define como:

Es la versin continua de la funcin signo. Es continua en [1,-1] einfinitamente diferenciable. Se utiliza en problemas de aproximacin

= / =

+ ; ,>


4.1- EJEMPLO:

Sea;


Sesgo b =-1

Cul es la respuesta de la neurona si =2 (Parmetro)

X=

10110

W=

10.8110.5

+ ++ = = (-1+0*0.8+1*1-1*1+0*0.5)= (-1)

=

+= 0.76159


5.-FUNCIN LINEAL (IDENTIDAD)

Se define como:

No limita la respuesta de la neurona, Se utiliza en aproximacin oestimacin lineal

= ; ,>

5.1- EJEMPLO:

= LIC. NEL QUEZADA LUCIO

5.2.-FUNCIN REGRESIN LINEAL SIMPLE

Se define como:

+ = + ; ,>

w1= a

w0= b

x0=1

+ + = +

X=1

W=

x1= x


6.-FUNCIN LINEAL ACOTADA

Se define como:

6.1- EJEMPLO:

=

=

0

0 1

1

1


7.-FUNCIN LINEAL ACOTADA SIMTRICA

Se define como:

7.1- EJEMPLO:

=

=

1

1 1

1

1

-1

-1


IV.- PESOS SINPTICOSLos pesos sinpticos guardan el conocimiento adquirido, los valores seobtienen mediante un proceso de aprendizaje que se divide en.

1.- Paradigmas de aprendizajeSe debe a la manera en que la red neuronal interacta o se relaciona con elambiente en el cual opera, y pueden ser Aprendizaje supervisado(Supervisedlearning) Aprendizaje no supervisado (Non supervisedlearning)

2.- Algoritmos de entrenamientoTcnicas que permiten obtener los valores de los pesos sinpticos y elparmetro de sesgo (No modifican la funcin de activacin). Consiste enmodificar los pesos sinpticos utilizando el valor anterior de este mas unfactor de correccin y se diferencian uno de otro en la forma en que dichacorreccin es obtenida.

= + Existen una variedad de algoritmos de entrenamiento cada cual con susfortalezas y debilidades.

Nota: Distintos paradigmas de aprendizaje junto con distintos algoritmos de entrenamiento producen diversas redes neuronales.LIC. NEL QUEZADA LUCIO

2.1 Error correction learning or delta rule:Se usa el error obtenido en la presentacin del estmulo para determinar elfactor de correccin. Se utiliza bajo un paradigma de entrenamientosupervisado. La respuesta de la red neuronal se compara con la respuestadeseada y el error cometido se utiliza para modificar los pesos sinpticos

+ = + ()

x2

xi

xp

.

.

.

.

w1

wi

wp

w0=b

x0=1

=

= =

= ()

Neurona k

=

=Contante de aprendizajeLIC. NEL QUEZADA LUCIO

2. Hebbian learning o ractivity product rule (Hebb, 1949) :

Correlaciona la actividad pre y post sinptica (si ambas neuronas se activanse fortalece la conexin y se debilita en caso contrario). Aqu el factor decorreccin es multiplicativo entre la actividad pre y post sinptica.

El postulado de Hebb establece: Cuando dos neuronas conectadas(sinpsis) se activan simultneamente, la relacin entre estas se fortalece.En caso contrario, la relacin se debilita o es eliminada.

La formulacin es establecer la correlacin entre el estimulo de entrada y larespuesta a dicho estmulo y utilizar esta informacin para actualizar el valorde los pesos sinpticos.

+ = + ()

xiwki

= ()

Neurona k=Contante de aprendizajeLIC. NEL QUEZADA LUCIO

2.3 Competitive learning:

Las neuronas compiten entre si para hacerse activas estableciendo. Solouna se activa a la vez. Es decir se establece un mecanismo de competenciaentre las neuronas y la respuesta de la red ante un determinado estmuloproviene exclusivamente de la neurona ganadora.

X(t)

+ = + () ()

= () ()


2.4 Memory Based learning:

La red almacena data ya procesada en memoria. Un nuevo patrn esprocesado segn su cercana (en sentido euclideo) a un patrn en memoria.

En este tipo de entrenamiento las experiencias pasadas estn almacenadasen la memoria de ejemplos que han sido clasificados correctamente.

En este tipo de entrenamiento un nuevo patrn de entrada es comparadocon k patrones cercanos (concepto de vecindad) y luego es asignado laclasificacin ms frecuente en la vecindad.

Las RBF utilizan este tipo de postulado en su entrenamiento, al igual que lasredes SOMDistanciasEuclidea : ||x-y||Producto interno : xt*y

||x-y||x

yxty


Documents

Redes Neuronales 2