View
11.724
Download
6
Category
Preview:
DESCRIPTION
Base Radial
Citation preview
Abril del 2000 ESCOM IPN 2
Desarrolladas por Broomhead y Lowe (1988)
J. Moody y C. Darken (1989)
Las redes de función de base radial (RBFN) han sido tradicionalmente asociados con funciones radiales en una red de capa simple.
Abril del 2000 ESCOM IPN 3
Modelo de Neurona INTRODUCCIÓN
Los modelos de redes tratados anteriormente están basados en unidades (neuronas) que producen a la salida una función lineal del producto escalar del vector de entrada y el vector de pesos.
a= F( WP +b)a= F( WP +b)
Abril del 2000 ESCOM IPN 4
* Ahora consideraremos una clase dentro de los modelos de las redes neuronales, en el cual la activación de las unidades ocultas, esta determinada por la distancia entre el vector de entrada y el vector de pesos
A= f(dist(W,P)*b)A= f(dist(W,P)*b)
Abril del 2000 ESCOM IPN 6
Fundamentos
* En el sistema nervioso de los organismos biológicos se encuentra la evidencia de neuronas cuyas características de respuesta son locales o enfocadas para alguna región en el espacio de entrada.
Abril del 2000 ESCOM IPN 7
Fundamentos
* Un ejemplo es la sensibilidad de orientación de las células de la corteza visual, cuya respuesta es sensible a regiones locales en la retina.
Abril del 2000 ESCOM IPN 8
* Esto quiere decir que la activación de las unidades (la respuesta de las células como son las neuronas o las terminaciones nerviosas), grupos de neuronas están específicamente en una región y cumplen una función especifica para una región.
Abril del 2000 ESCOM IPN 11
ARQUITECTURA DE RED
La red de función de base radial ó RBFN , tiene una estructura feedforward consta de 3 capas, la capa de entrada, la oculta y la capa de salida.
Los nodos de la capa de entrada simplemente propagan los valores a los nodos de la capa oculta.
Abril del 2000 ESCOM IPN 12
Arquitectura
La salida de los nodos de la capa de entrada están completamente conectados (fully conect) con los nodos de la capa oculta.
La función de activación es una función de base radial.
Abril del 2000 ESCOM IPN 14
Arquitectura
Las conexiones entre la capa de entrada y la capa oculta especifican el conjunto de funciones centro los cuales son denotados por Cij.
Abril del 2000 ESCOM IPN 15
Arquitectura
Las funciones centro Cij pueden ser fijas antes del entrenamiento de la red neuronal o leídos durante el entrenamiento de la red.
Cada nodo de la capa oculta calcula una distancia medida entre el vector de entrada X y el vector centro C.
Abril del 2000 ESCOM IPN 16
Arquitectura Esta distancia es denotada por: || X – Cj ||(la distancia medida normalmente se toma como la norma Euclideana).
La Norma Euclideana
21
)( xxx T
222
21 n
xxxx
Abril del 2000 ESCOM IPN 17
Arquitectura
y entonces ejecuta una función no lineal:
j = ( || X – Cj || )
donde es la función de base radial y j denota la salida del j-ésimo nodo de la capa oculta.
Abril del 2000 ESCOM IPN 18
Función de Base Radial
La función toma La función toma un valor de 1 un valor de 1 cuando la cuando la entrada es cero.entrada es cero.
a
n
1
Abril del 2000 ESCOM IPN 19
Función de Base Radial
La funciónLa función de de transferencia transferencia puede ser puede ser utilizada cuando utilizada cuando una neurona una neurona cuenta con cuenta con pesos y un bías.pesos y un bías.
a
w-p
1
Abril del 2000 ESCOM IPN 20
Arquitectura
Así una neurona de base radial actúa como un detector el cual tiene una salida igual a 1 siempre que la entrada p es idéntica al vector de pesos w (la entrada es cero por que w=p => 1-1 = 0 ).
Abril del 2000 ESCOM IPN 21
Arquitectura
La función de base radial comúnmente utilizada en las redes RBF es la función Gausiana:
222 ii cx e
Abril del 2000 ESCOM IPN 22
Donde:
xxii y ccii son los componentes de n dimensión del vector de entrada x y el vector centro c, respectivamente.
es el factor suavizante o el ancho del campo receptivo (spread).
Abril del 2000 ESCOM IPN 26
MODELO DE NEURONA Dentro de la arquitectura de la neurona se puede
notar que difiere con las estructuras anteriores (antes era la suma de las entradas ponderadas).
p (1)
p (2)
p (R)b
n aw (1,1)
Abril del 2000 ESCOM IPN 27
Arquitectura
Una neurona de base radial recibe como entrada neta el vector de distancia entre su vector de pesos w y el vector de entradas p multiplicado por el bias b.
La siguiente figura muestra gráficamente una función de base radial.
Abril del 2000 ESCOM IPN 28
Estructura de una RNA de Base Radial
f (x)
h1 (x) hj (x) hm (x)
w1wj
wm
x1 xj xm
CENTRALES
Abril del 2000 ESCOM IPN 29
Red neuronal compuesta de 3 capas Una capa oculta de S1 neuronas,
con funciones de transferencia de campana de Gauss.
Una capa de salida de S2 neuronas, con funciones de transferencia lineales
Abril del 2000 ESCOM IPN 30
Redes de Base Radial
X
( || x - cj || )
.
.
.
( || x - cj || )
( || x - cj || )
1
2
j
w11
w12
w1j
y1
y2
yj
Estructura de una red de base radial
Abril del 2000 ESCOM IPN 32
Para este tipo de redes se crearon procedimientos para entrenamiento de redes de función de base radial, los cuales son mucho más rápidos que los métodos usados para entrenar un perceptrón multicapa.
Abril del 2000 ESCOM IPN 33
Emplea más neuronas que la Backpropagation.
Trabajan mejor con un numero mayor de vectores de entrenamiento
Rápido entrenamiento
Aprendizaje híbrido – No supervisado (capa de entrada).– Supervisado (capa de salida)
Abril del 2000 ESCOM IPN 34
Para la estructura de una red de base radial se requiere de un procedimiento de entrenamiento de dos etapas:
Abril del 2000 ESCOM IPN 35
En la primer etapa: Los parámetros dominantes de las
funciones base son determinados de una manera rápida por métodos no supervisados, es decir, métodos que únicamente usan datos de entrada y no datos meta.
Abril del 2000 ESCOM IPN 36
En la segunda etapa: Se encuentra implicada la
determinación de los pesos de la capa de salida, con la solución de un problema lineal, la cual también es de rápido cálculo.
Abril del 2000 ESCOM IPN 37
Cada nodo de la capa de salida calcula una suma de pesos de las salidas de los nodos de la capa oculta.
En este tipo de redes es muy probable que se requiera una estructura con un mayor número de neuronas, que por ejemplo, la de backpropagation, pero tendremos una mayor velocidad en el entrenamiento.
Abril del 2000 ESCOM IPN 38
Como especificar una red RBFN Para resolver problemas de Interpolación:
Unir puntos para lograr una función continua. Y Problemas de aproximación.
El numero de nodos en la capa de entrada es igual al numero de variables independientes, y el número de nodos en la capa de salida es igual al número de variables dependientes.
Abril del 2000 ESCOM IPN 39
Propiedades de RBFN
Tienden a tener buenas propiedades de interpolación.
Pero no buenas propiedades de extrapolación.
Para extrapolación un perceptrón multicapas resulta mejor.
Abril del 2000 ESCOM IPN 43
Se eligen los centros de la funciones de base radial. Ci donde i= 1, 2, ...,m1. m1 es el numero de RBF´s
Calculo de la salida de la función de base radial
Donde:
Ci son los centros de las RBF´s es el ancho de campo receptivo
2
2
21)( ij CP
i enf
Abril del 2000 ESCOM IPN 44
Los parámetros de la segunda capa (lineal) se obtienen mediante:
Donde:TGW
TNtttT ,,, 21
TNwwwW ,,, 21
Abril del 2000 ESCOM IPN 45
Donde: G es la Matriz de Green dada por:
121
122212
112111
,,,
,,,
,,,
mNNN
m
m
CpGCpGCpG
CpGCpGCpG
CpGCpGCpG
G
Abril del 2000 ESCOM IPN 46
Los pesos en la segunda capa seran:
Donde: es la matriz pseudo inversa dada por:
TGW
TT GGGG1
G
Abril del 2000 ESCOM IPN 47
La solución para W es:
Los parámetros de la segunda capa serán:
Donde:
TGGGW TT 1
TNwwwW ,,, 21
bwN
Abril del 2000 ESCOM IPN 51
Ejemplo 1: Solución de XOR
Usando una red de base radial RBFN resuelva el problema de la XOR. Los parámetros de la red son:
10
10
0
0
11
00
1
1
4433
2211
tPtP
tPtP
0
0
1
121 CC
12 2
Abril del 2000 ESCOM IPN 53
APLICACIONES
Las redes RBF son frecuentemente utilizadas para resolver problemas de clasificación, aunque generalmente son para problemas de Mapeo y poseen capacidades de “aproximación universal”.
Abril del 2000 ESCOM IPN 54
También utilizadas en:También utilizadas en:
Control.Aproximación de funciones Procesamiento del lenguaje. Visión y procesamiento de
imágenes. Reconocimiento de Patrones. Estadística.
Abril del 2000 ESCOM IPN 55
También para:También para:
Reconocimiento de rostro Sensores de olor Clasificación de imágenes en color Predicción Aplicación en series de tiempo
Abril del 2000 ESCOM IPN 57
Las RBFN y Perceptron multicapa (MLP) son ejemplos de redes multicapa no lineales Feedforward.
Ambas son aproximadores universales.
Abril del 2000 ESCOM IPN 58
Una red RBFN es capaz de resolver un mismo problema que un perceptron multicapa y viceversa.
Una RBFN en su forma básica tiene una sola capa oculta mientras que un MLP puede tener una o mas capas ocultas.
Abril del 2000 ESCOM IPN 59
La capa oculta de una RBFN es no lineal , mientras que la capa de salida es lineal. Sin embargo la capa oculta y la capa de salida de un MLP son usualmente no lineales cuando se usa como clasificador de patrones. Cuando MLP se usa para regresión lineal la capa de salida es preferida lineal.
Abril del 2000 ESCOM IPN 60
Los argumentos de la función de activación en cada unidad oculta de una RBFN calcula la Norma Euclidiana (distancia) entre el vector de entrada y el centro de esa unidad. Mientras que para el MLP calcula el producto punto del vector y el vector de pesos de cada unidad.
Abril del 2000 ESCOM IPN 61
El MLP construye aproximaciones globales a un mapeo no lineal de entrada salida. Mientras que las RBFN usan funciones Gaussianas las cuales constituyen aproyimaciones locales a un mapeo no lineal entrada salida.
Abril del 2000 ESCOM IPN 65
Función de Base Radial A= RADBAS(n) = exp(-n)2
SOLVERBE SOLVERBE crea una red de base radial la cual realiza un exacto mapeo de la entrada a la salidas con tantas neuronas en la capa oculta como vectores de entrada P
Abril del 2000 ESCOM IPN 66
[W1,B1,W2,B2] = SOLVERBE(P,T,Z)[W1,B1,W2,B2] = SOLVERBE(P,T,Z)
P - matriz RxQ de Q vectores de entrada.
T - matriz SxQ de Q vectores objetivo. Z - ancho del campo receptivo (Spread)
de las funciones de base radial(default = 1).
Abril del 2000 ESCOM IPN 67
Regresa: W1 - matriz de pesos S1xR para la capa
de base radial . B1 - vector de umbral S1x1 para la capa
de base radial. W2 - matriz de pesos S2xS1 para la
capa linear. B2 - vector de umbral S2x1 para la
capa linear.
Abril del 2000 ESCOM IPN 68
SOLVERB SOLVERB crea una red de base radial de una
neurona a la vez; las neuronas son adicionadas a la red hasta que encuentra el error mínimo cuadrático o caen en nuestro margen de error o cuando se ha creado un numero máximo de neuronas.
Abril del 2000 ESCOM IPN 69
[W1,B1,W2,B2,TE,TR] = [W1,B1,W2,B2,TE,TR] = SOLVERB(P,T,DP)SOLVERB(P,T,DP)
P - matriz RxQ de Q vectores de entrada. T - matriz SxQ de Q vectores objetivo. DP - Parámetros de diseño (opcional).
Abril del 2000 ESCOM IPN 70
Regresa: W1 - matriz de pesos S1xR para la capa de
base radial. B1 - vector de umbral S1x1 para la capa de
base radial. W2 - matriz de pesos S2xS1 para la capa linear. B2 - S2x1 vector de umbral para la capa lineal. NR - El numero de neuronas de base radial
usadas. TR - récord de entrenamiento : [fila de errores]
Abril del 2000 ESCOM IPN 72
%EJEMPLO: Aproximación de Funciones
clear;echo on;clc;NNTWARN OFF;clear;echo on;clc;NNTWARN OFF; % Diseña una RBFN para aproximar una función coseno
t=0:0.3:6;t=0:0.3:6; y= cos(t);y= cos(t); %conjunto de puntos de una funcion coseno
[w1,b1,w2,b2]=solverb(t,y)[w1,b1,w2,b2]=solverb(t,y) echo offecho off
Abril del 2000 ESCOM IPN 73
%EJEMPLO: Solución de la OR-EXCLUSIVA
clear;echo on;clc;NNTWARN OFF; % RBFN soluciona OR-Exclusiva P = [0 0 1 1 ; 0 1 0 1]; T = [0 1 1 0 ]; disp_freq= 1; max_neuron= 1000; err_goal= 0.02; spread= 1.0;
Abril del 2000 ESCOM IPN 74
dp=[ disp_freq max_neuron err_goal spread ]
[W1,b1,W2,b2,nr,dr]=solverb(P,T,dp)
[a1,a2]=simurb(P,W1,b1,W2,b2) pause % pulse una tecla para graficar.
plotpv(P,T); plotpc(W2,b2); echo off
Recommended