34
Edmundo R. Durán C. 1.2.4 CUANTIZACIÓN DEL VECTOR DE APRENDIZAJE . INTRODUCCIÓN

CUANTIZACIÓN DEL VECTOR DE APRENDIZAJE

  • Upload
    escom

  • View
    1.841

  • Download
    1

Embed Size (px)

Citation preview

  • 1. 1.2.4 CUANTIZACIN DEL VECTOR DEAPRENDIZAJE . INTRODUCCIN

2. Que es LVQ?

  • Es un mtodo para entrenamiento de capas competitivas en una manera supervisada.

3. Cual es su ventaja?

  • Una capa competitiva aprende automticamente a clasificar los vectores de entrada.
  • Aprende a clasificar vectores de entrada en clases objetivo escogidas por un usuario.

4. ...

  • Las clases que las capas competitivas encuentran son dependientes solamente de las distancias que existen entre los vectores de entrada

5. Arquitectura

  • Consiste en dos capas :
    • La primera capa es una capa competitiva que aprende a clasificar los vectores de entrada de la misma forma que las capas competitivas.
    • La segunda capa transforma las clases de la capa competitiva en clasificaciones objetivo definidas por el usuario.

6. ...

  • Las primeras son conocidas como subclases .
  • Las segundas son conocidas como clases objetivo.

7. ...

  • AMBAS CAPAS (COMPETITIVA Y LINEAL) TIENEN UNA NEURONA POR CLASE.
  • Entonces la capa competitiva puede aprender de s1 subclases y la lineal puede formar s2 clases objetivo con la restriccin de que s1 debe ser menor que s2.

8. Funciones de Matlab.

  • initlvqpara inicializar
  • simulvqpara simular
  • trainlvqpara entrenar la red
  • plotvecpara graficar los vectores de entrada.

9. Inicializacin.

  • [w1,w2 ] = initlvq(p,s1,t)

10. Simulacin.

  • a= simullvq(p,w1,w2)

11. Regla de aprendizaje.

  • Se deriva de la regla de Kohonen. Cuando se aplica, la neurona competitiva cuyo vector de peso forma el ms cercano patrn, pone un 1 a su salida. Despus es actualizada, moviendo el vector de peso acercandolo al vector de entrada.

12.

  • La regla de Kohonen es utilizada SOLO para actualizar el peso de la i-sima neurona competitiva si esa neurona objetivo es 1.
  • El peso de la neurona ganadora se mueve hacia el vector de entrada si esa neurona forma una subclase de la clase actual objetivo.

13.

  • Si el objetivo de la neurona ganadora es cero ( es decir la neurona forma una subclase distinta a la clase objetivo actual ) la regla de Kohonen es aplicada con un cambio de signo alejando a la neurona del vector de peso actual.

14.

  • El resultado final es que las neuronas competitivas se mueven hacia vectores de entrada si pertenecen a sus clases y se alejan si no es as. Las neuronas competitivas que forman la misma clase compiten para formar subclases.
  • dw1=learnlvq(w1,p,a1,t1,lr)

15. ENTRENAMIENTO DE LVQ

  • Por medio del entrenamiento, la red LVQ obtiene los pesos de las capas de neuronas con que cuenta: la competitiva y la lineal.
  • En MATLAB el entrenamiento de la red LVQ se realiza por medio de la funcin.
  • trainlvq()
  • Esta funcin realiza aplicaciones de la funcin learnlvq para entrenar a la red.

16. ENTRENAMIENTO DE LVQ

  • El funcionamiento de la red LVQ se basa en la aplicacin sucesiva de vectores de entrada en orden aleatorio, y el uso de la regla de aprendizaje, adems de la actualizacin de pesos, ya que learnlvq solo regresa las diferenciasdWen los pesos para actualizarse.

17. ENTRENAMIENTO DE LVQ

  • La sintaxis de la funcin trainlvq es la siguiente:
  • [W1,W2] = trainlvq(W1,W2,P,T,tp);
  • donde:
  • W1 es el peso de la capa competitiva
  • W2 es el peso de la capa lineal
  • Pes el vector de entradas

18. ENTRENAMIENTO DE LVQ

  • T es el vector meta.
  • tpson los parmetros de entrenamiento, y seconforman de los siguientes subparmetros :
  • disp_freq= es la frecuencia con la que se despliegan las actualizaciones
  • max_cycle = nmero mximo de ciclos para entrenamiento
  • lr =es la tasa de aprendizaje

19. ENTRENAMIENTO LVQ

  • En caso de que en la aplicacin de la funcin de entrenamiento los valores de los parmetros sean nulos o NaN, se utilizan los que tiene por default :
  • frecuencia de despliegue = 25
  • mximo nmero de ciclos = 100
  • tasa de aprendizaje = 0.01
  • * En un momento dado, solo una neurona de salida tiene valor de 1.0, #neuronas lineales = # de clases objetivo.

20. 1.2.4 CUANTIZACIN DEL VECTOR DEAPRENDIZAJE PARTE 2 21. ARQUITECTURA DE LA LVQ. La entrada de red no es calculada mediante el producto punto de los vectoresprototipos con la entrada. En vez de esto, la entrada de la red es la distancia negativa entre los vectores prototipos y la entrada. 22. Subclases Para la red LVQ, la neurona ganadora en la primera capa indica lasubclase a la cual el vector de entrada pertenece. Posiblemente existanvarias neuronas diferentes (subclases) las cuales hacen cada clase. La segunda capa de la redLVQcombina las subclasesen unasola clase. Las columnas deW 2 representan subclases, y las filasrepresentan clases. La matrizW 2 tiene un1 en cada columna, con los otros elementos iguales a cero. La filaen la cual el1 ocurreindica a cual clase pertenece la subclase apropiada. w k i 2 1 = subclasei es una parte de laclase k 23. Ejemplo Subclases 1, 3 y 4 pertenecen a la clase 1. Subclase 2 pertenece a la clase 2. Subclases 5 y 6 pertenece a la clase 3. Una red competitiva de una sola capa puede crear regiones de clasificacin convexas. La segunda capa de la redLVQpuede combinar las regiones convexas para crearcategoras ms complejas. 24. Aprendizaje LVQ Si el patrn de entrada se clasifica correctamente,entonces el peso ganador se mover hacia el vector de entrada de acuerdo a la regla de aprendizaje de Kohonen. Si el patrn de entrada se clasificaincorrectamente, entonces el peso ganadorse alejar del vector de entrada. El aprendizaje LVQcombina el aprendizaje competitivo con el aprendizaje supervisado. Se requiere un conjunto de ejemplos deentrenamiento para un comportamiento correcto de la red. 25. Ejemplo p 2 1 0 = t 2 0 1 = p 3 1 1 = t 3 1 0 = 26. PrimeraIteracin a 1 c o m p e t 0.25 0.75 T 0 1 T 0.75 0.75 T 0 1 T 1.00 0.25 T 0 1 T 0.50 0.25 T 0 1 T c o m p e t 0.354 0.791 1.25 0.901 1 0 0 0 = = = a 1 c o m p e t n 1 c o m p e t w 1 1 p 1 w 1 2 p 1 w 1 3 p 1 w 1 4 p 1 = = 27. Segunda capa Esta es la clase correcta, Por lo tanto el vector de pesos se mover hacia el vector de entrada. 28. Representacin: 29. Regiones de Decisin Finales 30. Practica3 Caractersticas de los MapasAuto - organizativosyla red LVQ 31. Mtodos LVQ-2.1 y LVQ-3

  • Otras versiones propuestas del aprendizaje LVQ son los llamados mtodos LVQ-2.1 y LVQ-3. La principal diferencia respecto a LVQ-1 es que modifican ms de un prototipo de referencia en cada paso de aprendizaje.
  • Sin embargo, requieren ms parmetros que especificar.

32. RedLVQ 2 Si la neurona ganadora en la capa oculta clasifica incorrectamente la entrada actual, se moverel vector de peso alejndose del vector de entrada. Sin embargo, tambin se ajustaran los pesos de las neuronasms cercanas al vector de entrada que lo clasificaran apropiadamente. Los pesos para esta segunda neurona deberan moverse hacia el vector de entrada. 33. RedLVQ 2

  • Cuando la red clasifica correctamente un vector de entrada, los pesos de solamente una neurona se movern hacia el vector de entrada. Sin embargo, si el vector de entrada se clasifica incorrectamente, los pesos de las dos neuronas son actualizados, un vector de pesose mover alejndose del vector de entrada, y el otro se mover hacia el vector de entrada. El algoritmo resultante se conocecomo LVQ .

34. EjemploLVQ 2