Perceptron

PERCEPTRON PERCEPTRON

NESTOR A. ARIAS H.NESTOR A. ARIAS H.

Universidad de PamplonaUniversidad de PamplonaDepartamento de Física y GeologíaDepartamento de Física y Geología

Maestría en FísicaMaestría en Física

Néstor A. Arias H. Universidad de Pamplona 2

CONTENIDOCONTENIDOCONTENIDOCONTENIDO

1. PERCEPTRON1. PERCEPTRON1. PERCEPTRON1. PERCEPTRON

Fue el primer módelo de red neuronal artificial desarrollado por Rosemblatt en 1958.

Desperto enorme interés en los años 60,debido a su capacidad para aprender a reconocer patrones sencillos.

1w

2w

a

1p

2p

2

1i i

i

a f w p b

2p

1p

11 22a f w w bp p 1

22

21p p

w b

w w

( ) 0f n

f n

1 2 210 w w bp p

1

1

Es necesario Es necesario modificar los modificar los pesos para pesos para resolver el resolver el problema.problema.

1b

3Néstor A. Arias H. Universidad de

Pamplona

La separabilidad lineal limita a las redes con una capa y una neurona a la resolucion de problemas en los cuales el conjunto de puntos (correspondientes a los valores de entrada) sean separables geometricamente.

Como el perceptron consta de solo una neurona, tiene una capacidad bastante limitada. Este modelos solo es capaz de discriminar patrones muy sencillos, linealmente separables.

El caso mas conocido es la imposibilidad del perceptron de representar la función OR-EXCLUSIVA(XOR)OR-EXCLUSIVA(XOR)

P1 P2 a

1 1 1

1 0 0

0 1 0

0 0 1

2p

1p1

1

0

No existe una No existe una recta que recta que

separe las dos separe las dos clases.clases.

No existe una No existe una recta que recta que

separe las dos separe las dos clases.clases.

La red Perceptron La red Perceptron no soluciona no soluciona problemas problemas linealmente linealmente separables (XOR)separables (XOR) 4

Néstor A. Arias H. Universidad de Pamplona

1w

2w

Nw

y1x

2x

Nx

Red de dos entradas:Red de dos entradas: La separacion se llava a cabo mediante una linea recta.linea recta.

Red tres entradas:Red tres entradas: La separación se realiza por medio de un plano un plano en el espacio tridimensional.

Red de N entradas:Red de N entradas: La separación se realiza por un hiperplano un hiperplano en el espacio N-dimensional.

ESPACIO DE CLASES O DE ACARACTERISTICASESPACIO DE CLASES O DE ACARACTERISTICAS

f n


Pamplona

1.1 Regla de Aprendizaje del 1.1 Regla de Aprendizaje del PerceptronPerceptron

1.1 Regla de Aprendizaje del 1.1 Regla de Aprendizaje del PerceptronPerceptron

El algoritmo de aprendizaje del Perceptron es de tipo supervisado.

El cual requiere que sus resultados sean evaluados y se realicen las oportunas modificaciones si fuera necesario.

El algoritmo de convergencia del Perceptron fue desarrollado por Rosemblat.

Los valores de los pesos pueden determinar el funcionamiento de la red; estos valores se pueden fijar o adaptar utilizando algoritmos de entrenamiento de la red.

Veremos los requisitos que deben cumplirse para que una red perceptron sea entrenada para comportarse como las compuestasOR y AND


Pamplona

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0

2p

1p1

1

0

2

1i i

i

a f w p b

11 22a f w w bp p

1w

2w

a

1p

2p

f n

1b

P1 P2 a

1 1 1

1 0 0

0 1 0

0 0 0

2p

1p1

1

0

OROR

ANDAND

1 21 2 0p pw w b

1 21 2 0p pw w b

1 21 2 0p pw w b

1a 0a 1a


Pamplona

ALGORITMO DE APRENDIZAJE POR CORRECCION DE ERRORALGORITMO DE APRENDIZAJE POR CORRECCION DE ERROR

INICIALIZACION DE INICIALIZACION DE PESOS Y UMBRALPESOS Y UMBRAL

PRESENTACION DE UN PRESENTACION DE UN NUEVO PAR (ENTRADA Y NUEVO PAR (ENTRADA Y

SALIDA DESEADA)SALIDA DESEADA)

CALCULO DE LA CALCULO DE LA SALIDA ACTUALSALIDA ACTUAL

ADAPTACION ADAPTACION DE PESOSDE PESOS

ErrorError==00

NONO

FINFIN

SISI

Inicialmente se asigna Inicialmente se asigna valores aleatoriamente.valores aleatoriamente.

11 12 13 14

21 22 23 24

p p p p

p p p p

1 2 3 4d d d d

2

1i i

i

a f w p b

1 ( )i i iw t w t d t a t p t

e d t a t

FACTOR DE FACTOR DE GANANCIA O RATA GANANCIA O RATA

DE APRENDIZAJEDE APRENDIZAJE


Pamplona






ErrorError==00

FINFIN

EJEMPLO PARA LA COMPUERTA EJEMPLO PARA LA COMPUERTA “OR”“OR”

Se inicializan los pesos

1

2

1.50.51.5

bww

En forma matricial

1 2W b w w

1.5 0.5 1.5W


Pamplona






ErrorError==00

FINFIN


Se van tomando uno a uno los cuatro patrones y se aplica el metodo.

0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0

Se presenta el primer parprimer par:

1

0

0

p

1

2

1

p p

p

0d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

1.5 0.5 1.5 0

0

n

1.5n

( * )a f W p

1a

Salida del primera entrada


Pamplona






ErrorError==00

FINFIN


1 ( )W t W t d t a t p t

1 2 [1.5 0.5 1.5] 1 (0 1) [1 0 0]b w w

1 2 [0.5 0.5 1.5]b w w

Tomaremos la rata de aprendizaje = 1

Nuevos pesos


Pamplona






ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0

Se presenta el segundo parsegundo par:

1

0

1

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 0

1

n

2n

( * )a f W p

1a

Salida del segunda entrada


Pamplona






ErrorError==00

FINFIN



1 2 [0.5 0.5 1.5] 1 (1 1) [1 0 1]b w w

1 2 [0.5 0.5 1.5]b w w


Nuevos pesos(los pesos no se modifican)


Pamplona






ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0

Se presenta el tercer partercer par:

1

1

0

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 1

0

n

1n

( * )a f W p

1a

Salida del tercera entrada


Pamplona






ErrorError==00

FINFIN



1 2 [0.5 0.5 1.5] 1 (1 1) [1 1 0]b w w

1 2 [0.5 0.5 1.5]b w w


Nuevos pesos (no se modifican los

pesos)


Pamplona






ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0

Se presenta el cuarto parcuarto par:

1

1

1

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 1

1

n

2.5n

( * )a f W p

1a

Salida del cuarta entrada


Pamplona






ErrorError==00

FINFIN



1 2 [1.5 0.5 1.5] 1 (0 1) [1 0 0]b w w

1 2 [0.5 0.5 1.5]b w w


Nuevos pesos


Pamplona






ErrorError==00


Como existe un patron de entrada 00, Como existe un patron de entrada 00, para el cual el error no es cero.para el cual el error no es cero.

Por tanto, se realiza de nuevo.Por tanto, se realiza de nuevo.

Presentando nuevamente todos los Presentando nuevamente todos los ejemplos, hasta que todos presenten ejemplos, hasta que todos presenten error 0.error 0.

Es decir, se presentan los cuatro Es decir, se presentan los cuatro ejemplos anteriores.ejemplos anteriores.


Pamplona






ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

0

0

p

1

2

1

p p

p

0d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 0

0

n

0.5n

( * )a f W p

1a

Salida de la primera entrada


Pamplona






ErrorError==00

FINFIN



1 2 [0.5 0.5 1.5] 1 (0 1) [1 0 0]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos


Pamplona






ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

0

1

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 0

1

n

1n

( * )a f W p

1a

Salida de la segunda entrada


Pamplona






ErrorError==00

FINFIN



1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 0 1]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos (no se

modifican)28







ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

1

0

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 1

0

n

0n

( * )a f W p

1a

Salida de la tercera entrada

1 0

1 0

1 1

n

a n

n


Pamplona






ErrorError==00

FINFIN



1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 0]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos (no se

modifican)31







ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

1

1

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 1

1

n

1.5n

( * )a f W p

1a

Salida de la cuarta entrada


Pamplona






ErrorError==00

FINFIN



1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 1]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos (no se

modifican)34







ErrorError==00


Como existe tadavia un patron de Como existe tadavia un patron de entrada 00, para el cual el error no es entrada 00, para el cual el error no es cero.cero.

Por tanto, se realiza de nuevo.Por tanto, se realiza de nuevo.

Presentando nuevamente todos Presentando nuevamente todos los ejemplos, hasta que todos los ejemplos, hasta que todos presenten error 0.presenten error 0.

Es decir, se presentan los Es decir, se presentan los cuatro ejemplos anteriores.cuatro ejemplos anteriores.


Pamplona






ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

0

0

p

1

2

1

p p

p

0d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 0

0

n

0.5n

( * )a f W p

0a

Salida de la primera entrada


Pamplona






ErrorError==00

FINFIN



1 2 [0.5 0.5 1.5] 1 (0 0) [1 0 0]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos(no se modifican

los pesos)38







ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

0

1

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 0

1

n

1n

( * )a f W p

1a

Salida de la segunda entrada


Pamplona






ErrorError==00

FINFIN



1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 0 1]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos (no se

modifican)41







ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

1

0

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 1

0

n

0n

( * )a f W p

1a

Salida de la tercera entrada

1 0

1 0

1 1

n

a n

n


Pamplona






ErrorError==00

FINFIN



1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 0]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos (no se

modifican)44







ErrorError==00

FINFIN



0 0 1 1

0 1 0 1p

0 1 1 1d

P1 P2 a

1 1 1

1 0 1

0 1 1

0 0 0


1

1

1

p

1

2

1

p p

p

1d

ENTRADAENTRADA

SALIDASALIDA


Pamplona






ErrorError==00

FINFIN


*n W p 1

0.5 0.5 1.5 1

1

n

1.5n

( * )a f W p

1a

Salida de la cuarta entrada


Pamplona






ErrorError==00

FINFIN



1 2 [ 0.5 0.5 1.5] 1 (1 1) [1 1 1]b w w

1 2 [ 0.5 0.5 1.5]b w w


Nuevos pesos (no se

modifican)47







ErrorError==00

FINFIN


Como el error es cero en todos los ejemplos, entonces se finaliza el ciclo de entrenamiento.

( * )a f W pDonde,

1 2 [ 0.5 0.5 1.5]W b w w

Tenemos, una red perceptronperceptron de una neurona con función de transferencia “escalon bipolar” “escalon bipolar” que emula una compuerta OR. Donde el conocimiento está en W.W.

Tenemos, un red neuronal entrenada para una tarea especifica.


Pamplona

1.2 Solución al Problema de Separabilidad 1.2 Solución al Problema de Separabilidad lineallineal

1.2 Solución al Problema de Separabilidad 1.2 Solución al Problema de Separabilidad lineallineal

P1 P2 a

1 1 1

1 0 0

0 1 0

0 0 1

2p

1p1

1

0

La red Perceptron La red Perceptron no soluciona no soluciona problemas problemas linealmente linealmente separables (XOR)separables (XOR)

No existe No existe una recta una recta

que separe que separe las dos las dos clases.clases.

La solución La solución radica en radica en crear mas crear mas

de dos de dos regionesregiones

Region 1Region 1

Region 2Region 2

Cómo Cómo ??

En la compuerta XOREn la compuerta XOR


Pamplona

P1 P2 a

1 1 1

1 0 0

0 1 0

0 0 1

2p

1p1

1

0

Region Region 11

Region Region 22

Region Region 33

Region 1 y 3: Region 1 y 3: Pertenecen a una Pertenecen a una clase.clase.

Region 2 : Region 2 : Pertenecen a otra Pertenecen a otra clase.clase.

Las rectas Las rectas corresponden cada una corresponden cada una a una neuronala una neuronal

Una Una recta recta por por

NeuronNeuronaa

Cada Cada recta recta

separa separa dos dos

regionesregiones

Se Se necesita necesita una red una red

que que separa las separa las

dos dos clases.clases.

Hay Hay tres tres

regionregioneses

11

00

Es necesario otra Es necesario otra neuronaneurona 50


P1 P2 a

1 1 1

1 0 0

0 1 0

0 0 1

2p

1p1

1

0

Region 1Region 1

Region 1Region 1

Region 2

Region 2

Por tanto se ha de utilizar Por tanto se ha de utilizar una red neuronal de tres una red neuronal de tres neuronas.neuronas.

Dos que crean las dos Dos que crean las dos rectas en los lugares rectas en los lugares adecuados, para adecuados, para establecer tres establecer tres regiones. regiones.

Y otra neurona que Y otra neurona que configura dos zona configura dos zona de tres regiones.de tres regiones.

y1p

2p f n

f n

f n


Pamplona

2. PERCEPTRON MULTINIVEL2. PERCEPTRON MULTINIVEL2. PERCEPTRON MULTINIVEL2. PERCEPTRON MULTINIVELII11

II22

IInn

Nivel de Nivel de entradaentrada

Niveles Niveles ocultosocultos

Nivel de Nivel de salidasalida

OO11

OO22

OOnn

Un perceptron multinivel o multicapa es una red de tipo feedforward compuesta de varias capas de neuronas entre la entrada y la salida de la misma.

Esta red permite establecer regiones de decisión mucha mas complejas que las de dos semiplanos, como hacía el Perceptron de un solo nivel.


Pamplona

ESTRUCTURA

REGIONES DE

DECISION

PROBLEMA DE LA XOR

CLASES CON

REGIONES MEZCLADA

S

FORMA DE REGIONES

MAS GENERALES

MEDIO PLANO

LIMITADO POR UN

HIPERPLANO

REGIONES CERRADAS O CONVEXAS

ARBITRARIA COMPLEJIDAD LIMITADA

POR EL NUMERO DE NEURONAS

2 CAPAS2 CAPAS

3 CAPAS3 CAPAS

AA

AABB

BB

AA

AABB

BB

AA

AABB

BB

AABB

AABB

AABB


Pamplona

Documents

Perceptron