Reconocimiento de Patrones

PROYECTO DE SISTEMAS INTELIGENTES

Universidad Cesar VallejoLima Este

Facultad de Ingenierıa y Arquitectura

Escuela de Ingenierıa de Sistemas

RECONOCIMIENTO DE PATRONES CON UN

ENFOQUE DE REDES NEURONALES

Curso: Sistemas Inteligentes

Autor(s)Felipe Tolentino, JesusGarro Murillo, GeorgeMeza Hinostroza, KevinOchoa Goizueta, Omar

Ruelas Rojas, Leo

Lima Este-2014.

1


Indice

1. Resumen 3

2. Introduccion 3

3. Antecedentes 4

4. Objetivos 5

5. Problema 5

6. Marco Teorico 66.1. ¿Que es reconocimiento de patrones? . . . . . . . . . . . . . . 66.2. Enfoques del reconocimiento de Patrones . . . . . . . . . . . . 66.3. Procesamiento Digital de Imagenes . . . . . . . . . . . . . . . 76.4. Redes Neuronales Biologicas . . . . . . . . . . . . . . . . . . 86.5. Redes neuronales artificales . . . . . . . . . . . . . . . . . . . 96.6. Caracterısticas de una RNA . . . . . . . . . . . . . . . . . . . 106.7. Proceso de Aprendizaje de una RNA . . . . . . . . . . . . . . 10

6.7.1. Sin entrenamiento . . . . . . . . . . . . . . . . . . . . . 106.7.2. Entrenamiento Supervisado . . . . . . . . . . . . . . . 106.7.3. Entrenamiento No Supervisado . . . . . . . . . . . . . 10

6.8. Arquitectura de una RNA . . . . . . . . . . . . . . . . . . . . 116.8.1. Capa Feed-Forward . . . . . . . . . . . . . . . . . . . . 116.8.2. Multi-Capa Feed-Forward . . . . . . . . . . . . . . . . 116.8.3. Red Recurrente . . . . . . . . . . . . . . . . . . . . . . 12

6.9. Tipos de Redes Neuronales: . . . . . . . . . . . . . . . . . . . 126.9.1. Red Perceptron . . . . . . . . . . . . . . . . . . . . . . 126.9.2. Red Hopfield . . . . . . . . . . . . . . . . . . . . . . . 136.9.3. Red backpropagation . . . . . . . . . . . . . . . . . . . 14

7. Metodologıa 167.1. Representacion Teorica . . . . . . . . . . . . . . . . . . . . . 167.2. Representacion en Mathlab . . . . . . . . . . . . . . . . . . . . 227.3. Representacion en Java . . . . . . . . . . . . . . . . . . . . . . 247.4. Representacion en Prolog . . . . . . . . . . . . . . . . . . . . . 27

8. Resultados y discusion 29

9. Conclusiones 29

2


1. Resumen

Nuestro trabajo consiste en reconocer los patrones haciendo el uso de laredes neuronales como Perceptron, Backpropagation y Hopfield para elreconocimiento de siluetas de letras ingresadas por el usuario vıa interfazlas cuales seran comparadas con las que el sistema ya conoce, dicho y hechose debe entrenar al agente para reconocer los patrones como determinadoobjeto para ası poder determinar a cual de los patrones se asemeja mas ydarnos como respuesta que ha que letra se asemeja mas.

2. Introduccion

Gracias a la inteligencia artificial se han dado avances tecnologicos im-portantes que ayudan a resolver problemas, es interesante ver como funcionael ser humano frente a diversas situaciones con las que se encuentra, relacio-nando hechos en forma de patrones, ademas de la forma en como se adaptaal realizar esas actividades.

Podemos incluso reconocer imagenes y letras aun cuando la informacionno esta completa o se encuentre distorsionada. Esto es posible gracias al co-nocimiento y la experiencia que se tiene, no solo con la pura percepcion,esto puede ser llevado hacia las computadoras orientandolo a resolver ciertosproblemas relacionados al manejo de conocimiento, dotando de esta manearaun comportamiento similar al del ser humano frente a situaciones dadas. Ac-tualmente mas del 50 % de las aplicaciones de la industria de la inteligenciaartificial es de Reconocimiento de Patrones. Clasificando un patron u obje-to de prueba en una determinada categorıa, a fin de determinar la clase delobjeto con la informacion que se tiene sobre un conjunto conocido de objetos.

Para esto se debe entender los conceptos teoricos implicados en la inte-ligencia artificial, busqueda de soluciones, sistemas expertos, reconocimientode patrones y redes neuronales.

3


3. Antecedentes

Segun Roldan Rueda, Manuel, en su proyecto: “Implementacion MedianteMatlab de un Sistema de Reconocimiento de Patrones por Redes Neurona-les para la Inspeccion Visual de gajos de mandarina.” Madrid, Espana. Noscuenta sobre el reconocimiento de patrones usando el software MatLab. Lospatrones se utilizaran a traves de una camara que detectara los gajos demandarina donde el objetivo es hacer una distincion y comparacion de ellos.Tambien nos habla de una clasificacion con ındices de calidad en los gajospara ası obtener una emulacion de un sistema multievaluado de logica difusa.Esta aplicacion sera unicamente para reconocimiento de patrones. Se ha rea-lizado una comparacion de distintos tipos redes neuronales entre el numerode nodos, capas, salidas y las funciones de activaciones pasando tambien porlos algoritmos de minimizacion de error. Se especulara y ejecutara su aplica-cion en tiempo real.

Segun Huerta, Hugo Vega - Cortez Vasquez, Augusto - Huayna, AnaMaria - Alarcon Loayza, Luis & Romero Naupari, Pablo, en su artıculo: “Re-conocimiento de patrones mediante redes neuronales artificiale.” Nos hablasobre la importancia del reconocimiento de patrones en la identificacion dematerias referentes a alguna especie. Nos habla tambien sobre la metodologıaimplementada para modelar una RNA para reconocer patrones, para ello sedebe establecer cuantas neuronas en total se identifican en la capa de salida.Sin embargo sus funcionalidades, aplicaciones al entorno sistematico medico,nos dice que tenemos que seguir pasos muy estrictos ya que si lo llevamos alcampo tendremos que analizar las salidas en cada red neuronal establecidapor lo cual pasan los datos y las funcionalidades.

4


4. Objetivos

Proporcionar un esquema para el reconocimiento de imagenes conside-rando una base de diseno para una futura implementacion. Implementar elcaso de reconocimiento de letras considerando una red neuronal que apren-da a reconocer si silueta mediante su comparacion con el patron ingresadomediante probabilidades. Para un rendimiento aceptable la red es entrenadacada vez que se presente un nuevo patron.

5. Problema

El reconocimiento de Patrones a traves de Redes Neuronales Artificiales,es un tema de estudio amplio que demanda saber los principios basicos decomo funciona una neurona biologica y como esta se implementa de maneraartificial (RNA), de los cuales muchos de sus componentes que se relacio-nan son representados bajo diferentes terminos y funciones matematicas. Lasolucion no se da de forma facil, es por ello que se tiene que elegir un tipode red neuronal, la que mas se adecue al objetivo buscado. En el presentetrabajo se presentara las alternativas que encontramos de la cuales logramosimplementar tanto de forma teorica como practica.

5


6. Marco Teorico

6.1. ¿Que es reconocimiento de patrones?

Es la ciencia que se ocupa de los procesos sobre ingenierıa, computaciony matematicas relacionadas con objetos fısicos y matematicas relacionadoscon objetos fısicos y/o abstractos, con el proposito de extraer informacionque permita establecer propiedades de o entre conjuntos de dichos objetos.

Es la rama del conocimiento, de caracter multidisciplinario, cuyo objetode estudio son los procesos de identificacion, caracterizacion, clasificacion yreconstruccion sobre conjuntos de objetos o fenomenos, ası como el desarrollode teorıas, tecnologıas y metodologıas relacionadas de dichos procesos.

6.2. Enfoques del reconocimiento de Patrones

Estadıstico o Teorıa de la decision:Usa probabilidad y estadıstica, supone la existencia de distribucion deprobabilidad a partir de ellas se hace el reconocimiento.

Sintactico o estructural:Encuentra relaciones estructurales, utilizando teorıa de lenguajes formales,construyendo una gramatica que describa al objeto.

Redes Neuronales:Se utiliza la arquitectura para que la red aprenda a reconocer ciertosvalores y pueda dar un respuesta.

Logico combinatorio:Se modela el problema lo mas cercana a la realidad del mismo, se estudiansus caracterısticas cuidadosamente, para no hacer suposiciones.

6


6.3. Procesamiento Digital de Imagenes

Es un area de permanente importancia tecnologica. Su objetivo van desdeprocesar datos adquiridos satelitalmente para mejorar la percepcion, detec-cion o interpretacion de algun patron especıfico o aplicar filtrados a imagenesfotograficos para reconstruir o retocar sus caracterısticas visuales.

Entre sus areas podemos mencionar al reconocimiento de patrones y vi-sion robotica, en las cuales se requiere el uso combinado de tecnicas de todotipo, desde las puramente numericas hasta las mas cercanas a la inteligenciaartificial.

Arquitectura:Se necesita un leguaje de bajo nivel y uno de alto nivel para lograr el recono-cimiento de la imagen por lo tanto la solucion es construir una arquitecturade software que integre a la vez procesamiento e bajo nivel como lengua-jes(C++,java,Delphi) son la implementacion de algoritmos de inteligenciaartificial implementados en los lenguajes especıficamente desarrollados.

Procesamiento numerico:Actualmente la mayor parte de las tecnicas avanzadas utilizadas en el recono-cimiento de patrones se basa en un procesamiento numerico, donde medianteun tratamiento heurıstico se busca conjugar los resultados de ciertos estima-dores con valores especıficos de una distribucion.

Mejora de la imagen o filtrado:Operaciones que requieren algoritmos simples pero de gran insumo de ope-raciones numericas en su ejecucion, entre los que se destacan conversion aescala de grises, filtrado, umbralizacion, escalamiento, extraccion de regionesde interes, etc.

Segmentacion:Se busca simplificar la imagen reduciendola a un subconjunto predetermi-nado de objetos basicos (puntos, segmentos u otras primitivas geometricassencillas), facilitando su procesamiento

Descripcion de la imagen:Se genera una representacion util para el problema de interpretacion de in-teres a partir de la informacion proveniente de las operaciones de filtrado ysegmentacion.

7


Figura 1: Fases del procesamiento numerico

6.4. Redes Neuronales Biologicas

El sistema nervioso humano esta constituido por celulas llamadas neuro-nas las cuales representan una estructura muy compleja, se llega a estimarque el numero de estas celulas es de 1011 y sus interconexiones son de 1015.Las redes neuronales biologicas tienen propiedades especiales para recibir,procesar y transmitir senales electroquımicas a traves de todas las interco-nexiones de sistema de comunicacion del cerebro. [4]

Figura 2: Ejemplo de Redes Neuronales Biologicas

8


6.5. Redes neuronales artificales

Son modelos matematicos construidos basandose en el funcionamientode las redes neuronales biologicas (sistema nervioso), por consiguiente, lasunidades de procesamiento fundamental de una RNA, seran las neuronasartificiales.

Figura 3: Modelo RNA

Este tipo de redes tratan de emular las caracterısticas del funcionamientobasico de una red neuronal biologica, la cual aplica un conjunto de entradasa la neurona las cuales representan la salida de otra neurona. Cada entradase multiplica por su peso el cual representa el grado de conexion de la sinap-sis. Al sumarse todas las entradas se determina el nivel de activacion de laneurona [4]. Una representacion vectorial de la una neurona artificial seria:

NET= X*W

Donde NET es la salida, X el vector de entrada y W el vector de pesos.

Figura 4: Representacion de la formula

9


6.6. Caracterısticas de una RNA

“Entre las principales caracterısticas de toda red neuronal artificial, setiene:

a) Aprendizaje: porque aprende de la experiencia.

b) Asociacion: debido a que asocia padrones diferentes.

c) Generalizacion: generaliza de ejemplos anteriores.

d) Robustez: la perdida de algunas neuronas, no deteriora el buen funcio-namiento de la red neuronal.

e) Busqueda Paralela: basado en la busqueda por contenido y no en formaparalela.” [1]

6.7. Proceso de Aprendizaje de una RNA

6.7.1. Sin entrenamiento

En este tipo de entrenamiento los pesos de la red neuronal no se entrenansino que se calculan. Es el caso de la red Hopfield. [1]

6.7.2. Entrenamiento Supervisado

Esto se da cuando hay la supervision de un tutor. Se compara el vectorde salida total y un vector de salida deseado. Esto se da por ejemplo con lared neuronal Perceptron. [1]

6.7.3. Entrenamiento No Supervisado

Este tipo de redes se hace sin la presencia de un tutor, un ejemplo claro loencontramos en la redes neuronales competitivas. Se da mayormente cuandola informacion disponible esta en correlacion con los datos de entrada, y enbase a esta entrada la red forme categorıas de entrada. [5]

10


6.8. Arquitectura de una RNA

6.8.1. Capa Feed-Forward

Esta arquitectura de red consta de una capa neuronas, los datos que vana traves de este sistema es de izquierda a derecha, es decir del vector deentrada al vector de salida de toda la red.

Figura 5: Representacion de la Capa Feed-Forward

6.8.2. Multi-Capa Feed-Forward

Arquitectura de red mas compleja, consta de multiples capas de neuronas,donde los datos viajan de capa en capa hasta llegar a la ultima.

Figura 6: Representacion de la Multi-Capa Feed-Forwardd

11


6.8.3. Red Recurrente

Arquitectura conformada por uno o varias capas de neuronas, donde hayuna realimentacion de las salidas totales hacia las entradas tal como se puedeapreciar en esta imagen.

Figura 7: Representacion de la Red Recurrente

6.9. Tipos de Redes Neuronales:

6.9.1. Red Perceptron

Fue disenada por primera vez en 1958 por Frank Rosenblatt para la neu-rona McCulloch y Pitts, utilizando las ideas de aprendizaje de Hebb. En1962 publico los resultados de sus investigaciones para llevar sus clases de laasignatura Theory of Brain Mechanisms. Esto mas tarde se vio opacada porla publicacion de Marvin Minsky y Seymour Papert en su libro Perceptrons(1969). Investigaciones en los 80 demostraron que la teorAa realizada por ellibro estuvo incorrecta. [3]

El Perceptron es la representacion mas simple de un RNA. Se usa parala clasificacion de patrones linealmente separables. Dentro de sus principalescaracterısticas denota que requiere un aprendizaje supervisado, funcion detransferencia escalon ademas de poder recibir valores de entrada reales ysalidas binarias o bipolares. [1]

12


Figura 8: Representacion de la red Perceptron

6.9.2. Red Hopfield

Fue disenada por primera vez en 1982, producto de investigaciones recu-rrentes en el tema de Backpropagation, este tipo de red es favorable en temasde procesado de voz, procesamiento de imagenes, memorias con tolerancia afallos y clasificacion de patrones. [3] La red de Hopfield es una red dinamica,que al haber una nueva entrada, la salida es calculada y realimentada paramodificar la nueva entrada. Dicha recurrencia asegura la estabilidad al rea-lizarlo de manera iterativa produciendo cambios en las salidas cada vez maspequenos hasta lograr que las salidas sean constantes. [1]

Otros lo definen como una red de aprendizaje no supervisado que no rea-liza ningun balanceo de carga de pesos, lo que hace al entrenar la red nosde un resultado no muy optimo por lo que toca entrenar varias veces. [2]

Son redes de adaptacion probabilıstica y recurrente. Aprenden a recons-truir los patrones de entrada que memorizan durante el entrenamiento.

Son modo capa con interconexion total y en la que el valor de salidade cada unidad es binario (0 y 1) y siguen una regla de aprendizaje nosupervisado.

13


Figura 9: Modelo Hopfield

6.9.3. Red backpropagation

Segun (Bernacki & Wlodarczyk, 2004), se muestra una red neuronal conuna capa de neuronas de entrada, una capa intermedia u oculta y una capade salida. Todas las neuronas de cada capa deben estar conectadas a todaslas neuronas de la siguiente capa.

Al haber la limitacion de trabajar en una sola capa de la red neuronalhubo unas limitaciones por varios anos por lo que se dejo de investigar en estecampo. El diseno Backpropagation trajo consigo el interes de seguir investi-gando sobre las redes neuronales artificiales. Este tipo de red es un metodode entrenamiento de redes multicapa. Su principal caracterıstica es su capa-cidad de entrenar capas ocultas. [4]

El termino Backpropagation fue mencionado por primera vez en 1974 porPaul Werbos y reinventado por David Parker en 1982, y tambien estudiadopor Rumelhart, Hilton y Willians en 1986. Todos estos esfuerzos dieron re-sultados exitosos en este campo de aplicacion. [4]

Backpropagation utiliza tres o mas capas de unidades procesadoras. Enel ejemplo que se muestra a continuacion se ve como la capa de entrada

14


recibe unidades de desde el exterior. La segunda capa es oculta la cual estainterconectadas con la capa inferior y superior. Por ultimo la capa de salidaque representa la respuesta de la red. [4]

Figura 10: Modelo Back propagation

15


7. Metodologıa

7.1. Representacion Teorica

a) Para comprobar lo que nos dice la teorıa haremos uso de la Red Hopfield.Primeramente hay que tener en cuenta algunas caracterısticas claves decomo funciona la red. Una es que cada neurona de la red se encuentraconectada con otra neurona menos consigo misma lo que origina pesossimıtricos.

La funcion de activacion de esta red es del tipo escalon, donde f(x) adoptalos siguientes valores:

16


b) Ahora pasamos a la etapa de aprendizaje de la red neuronal artificial.Aquı podemos aplicar la siguiente formula:

Donde M es el numero de patrones a aprender, Etk es la traspuesta de

la matriz Ek, e I la matriz identidad de dimensiones NxN que anula lospesos de las conexiones autorrecurentes (wii).

c) Representamos los patrones a aprender en este caso sera la letra T y laX, las que se daran de la siguiente forma:

Figura 11: E1= (1 1 1 -1 1 -1 -1 1 -1) E2= (1 -1 1 -1 1 -1 1 -1 1)

17


d) Para obtener el aprendizaje de las dos vectores a ingresar se aplicara laformula que se menciona en la parte de arriba.

Figura 12: Representacion del Primer Patron

Figura 13: Representacion del Segundo Patron

18


Figura 14: Sumatoria de los dos Patrones

e) Una vez finalizada la fase de aprendizaje, se puede ingresar nuevos valoresde entradas los cuales seran comparados con los valores ya aprendidos yver si hay una similitud entre estos. Para ello nos vamos a la primeraiteracion donde ingresamos un nuevo valor.

Figura 15: Nuevo Patron E= (1 1 1 -1 1 -1 1 1 1)

19


f) Ahora multiplicamos el vector de entrada por la matriz de pesos hallada:

Figura 16: Primera Iteracion

g) Reemplazamos en f(x) cada valor de la multiplicacion segun la funcion deactivacion mencionada antes:

Figura 17: funcion de activacion

h) h. Ahora realizamos la segunda iteracion:

Figura 18: Segunda Iteracion

20


i) Reemplazamos el resultado segun la funcion de activacion ya demostradaanteriormente:

Figura 19: funcion de activacion

j) Vemos si el resultado de la primera iteracion es igual al de la segundapodemos afirmar que se ha llegado a una estabilidad en la red y que porlo tanto este nuevo patron responde al patron inicial T.

Figura 20: Resultado Final

21


7.2. Representacion en Mathlab

a) tipos de valores ingresados

b) Entrenamiento de la Red

22


c) Ingreso de un nuevo Patron

23


7.3. Representacion en Java

24


25


26


7.4. Representacion en Prolog

27


28


8. Resultados y discusion

Como se ve en la metodologia, se desarrollo la red Perceptron y Hopfieldtanto de manera teorica como practica en diversas aplicaciones, las cualesdieron los resultados esperados, logrando entrenar la red neuronal artificialy ponerla a aprueba con un nuevo patron el cual dio una repuesta a cual delos patrones aprendidos se asemeja. Si bien hay distintos tipos de redes, laseleccion de esta llevo un proceso largo de investigacion puesto que cada unatiene sus ventajas y desventajas, otro factor importante es la representacionmatematica de estos modelos de red los cuales tienen un grado de dificultadlos cuales llevarlos al area de programacion nos llevaria a un tiempo quesupera al de la entrega del proyecto del curso.

9. Conclusiones

En el trabajo realizado se estudio los distintos tipos de redes neuro-nales y los metodos utilizados en cada caso, identificando cierto gradode complejidad en algunos casos. Las redes neuronales estas compues-tas por unidades interconectadas con pesos asociados, para que la redalcance un estado estable existen funciones de activacion.

Las redes mostradas se basan en las redes Hopfield y Perceptron segunsu arquitectura, simples, multicapa y recurrentes.

Actualmente existen muchas aplicaciones como alternativa de solucionpara las redes neuronales como la agrupacion, analisis de datos, reco-nocimiento facial y de voz, etc.

Para un procesamiento o reconocimiento optimo de una caracter o en-trada en general es importante realizar al entrenamiento de la red obrindar mas data si se trata de una red recurrente.

29


Referencias

[1] HUAMANI Navarrete, Pedro. Simulacion de Redes Neuronales conMatlab [en lınea]. Lima, Peru: Universidad Pontificia Catolica delPeru [fecha de consulta: 22 noviembre 2014].Disponible en:http://congreso.pucp.edu.pe/mecatronica/wp-content/uploads/sites/2/2013/07/Manual RedesNeuronales URP 02.pdf

[2] FEIJO, Luis. Aplicacion Para Reconocimiento De Caracteres A TravesDe Redes Neuronales. Loja, Ecuador: Universidad Tecnica Particular deLoja [fecha de consulta: 21 de noviembre 2014].Disponible en: http://es.slideshare.net/luisfe/reconocimiento-de-caracteres-atravez-de-redes-neuronales

[3] BANDA Gamboa, Hugo. Inteligencia Artificial Principios yAplicaciones. Quito, Ecuador: Departamento de Informatica y Cienciasde Computacion [fecha de consulta: 21 de noviembre 2014].Disponible en:http://www.academia.edu/4232917/INTELIGENCIA ARTIFICIALPRINCIPIOS Y APLICACIONESInformacion del Autor

[4] BASOGAIN Olabe, Xabier. Redes Neuronales Artificiales y susAplicaciones. Bilbao, Espana: Escuela Superior de Ingenierıa de Bilbao[fecha de consulta: 10 noviembre 2014]Disponible en:http://www.ciberesquina.una.edu.ve:8080/2014 2/350 E.pdf

[5] VASQUEZ Cortez, Augusto, HUERTA Vega, Hugo, HUAYNA Marıa,Ana, ALARCON Loayza, Luis, ROMERO Naupari, Pablo.Reconocimiento de patrones mediante redes neuronales artificiales. Lima,Peru: Universidad Mayor Nacional de San Marcos. [fecha de consulta: 20noviembre 2014].Disponible en:http://sisbib.unmsm.edu.pe/bibvirtual/publicaciones/risi/2009 n2/v6n2/a03v6n2.pdf

[6] Reconocimiento de Patrones j.Kittler.2002 [fecha de consulta: 10noviembre 2014]Disponible en:http://www.fing.edu.uy/iie/ense/asign/recpatmaterial/sistemas rec patrones.pdf

[7] Sistemas Hıbridos para el Reconocimiento de Patrones Roman Katz yClaudio Delrieux. Universidad Nacional del Sur. [fecha de consulta: 22noviembre 2014]

30


Disponible en: http://sedici.unlp.edu.ar/bitstream/handle/10915/21827/Documento completo.pdf?sequence=1

31

Documents

Reconocimiento de Patrones