Embed Size (px)
Citation preview
(c) 2021. P. Gómez-Gil, INAOE 1
Introducción
Inteligencia Computacional I-sección Redes Neuronales Artificiales
Dra. Ma. del Pilar Gómez GilPrimavera [email protected]
V: 11-Mar-21
(c) 2021. P. Gómez-Gil, INAOE 2
Objetivo del curso
Inteligencia Computacional I
Introducir a estudiantes de posgrado en los
tópicos fundamentales relacionados a la
Inteligencia Computacional (IC), así como
en sus principales aplicaciones
LO SIENTO…
… éste NO es un curso de “Deep Learning”
(aprendizaje profundo), sino de fundamentos
de redes neuronales artificiales, algunas de
las cuales usan DL…
(c) 2021. P. Gómez-Gil, INAOE 3
Para que hablemos todos de
lo mismo….
¿Qué es Inteligencia Computacional (IC)?
Conceptos, paradigmas, algoritmos e implementaciones de sistemas que exhiben un comportamiento “inteligente” al aplicarse en sistemas complejos.
Los algoritmos involucrados en IC están inspirados en sistemas biológicos, e incluyen varias áreas, como las redes neuronales artificiales, los sistemas evolutivos, los sistemas difusos, .
(c) 2021. P. Gómez-Gil, INAOE 4
¿Que es “inteligencia”?
Según el diccionario Merriam-Webster:
“Es la habilidad de aprender, entender o
enfrentar nuevas situaciones;
Es la habilidad de aplicar conocimiento para
manipular el medio ambiente;
Es la habilidad de pensar de manera
abstracta; puede medirse con criterios
objetivos obtenidos de pruebas.”
(c) 2021. P. Gómez-Gil, INAOE 5
Página de recursos del curso:
(c) 2021. P. Gómez-Gil, INAOE 6
http://ccc.inaoep.mx/~pgomez/cursos/IC-I/
Evaluación de la parte de RNA
1o. examen 35%
2o. examen 35%
Tareas proyectos,
examencitos etc. 30%
(c) 2021. P. Gómez-Gil, INAOE 7
(c) 2021. P. Gómez-Gil, INAOE 8
Contenido del curso
disponible en:
http://ccc.inaoep.mx/~pgomez/cursos/
IC-I/temario.pdf
Libro de texto para RNA
(c) 2021. P. Gómez-Gil, INAOE 9
Disponible a estudiantes inscritos a través de la biblioteca digital del INAOE:
https://www.inaoep.mx/biblioteca/e-recursos/
Usando el “proxi” (ver correo enviado a cuentas institucionales
Por la Mtra. Felisa, jefa de biblioteca)
https://link.springer.com/book/10.1007/978-1-4471-7296-3
https://link.springer.com/book/10.1007/978-1-4471-7296-3
La “biblia de RNA”
(c) 2021. P. Gómez-Gil, INAOE 10
Imágenes tomadas de:
Amazon.com.mx
La “biblia” de aprendizaje
profundo
(c) 2021. P. Gómez-Gil, INAOE 11
https://www.deeplearningbook.org/
(c) 2021. P. Gómez-Gil, INAOE 12
Dr. Haykin y Dra. Gómez en el MICAI
2008
http://www.micai.org/
(c) 2021. P. Gómez-Gil, INAOE 13
https://www.eng.mcmaster.ca/ece/people/faculty/simon-haykin#related-news
Sistemas inteligentes (Kruse et al. 2013)
Requieren simular el pensamiento inteligente y realizar acciones en el campo en que son aplicados
Su calidad depende fuertemente de la manera en que se representa el conocimiento
La IC incluye aspectos teóricos (¿Cómo y por qué trabajan los sistemas inteligentes?) y prácticos (¿Dónde y cuándo se pueden usar estos sistemas?)
(c) 2021. P. Gómez-Gil, INAOE 15
Inteligencia Artificial e
inteligencia computacional
Originalmente, el conocimiento de los sistemas artificiales inteligentes fue representado por modelos simbólicos. Por ejemplo, representaciones top-down, sistemas expertos basados en reglas, probadores automáticos de teoremas y técnicas de investigación de operaciones (planeación, “scheduling”)
(c) 2021. P. Gómez-Gil, INAOE 16
Inteligencia Artificial e inteligencia
computacional (cont.)
La representación simbólica funciona bien en muchos casos, pero no es fácilmente escalable; los errores/complicaciones pequeñas crecen exponencialmente (Kruse et al. 2013)
Aunque esa representación obtiene soluciones óptimas, muchas veces no puede aplicarse en la práctica
La inteligencia computacional (IC) permite trabajar con sistemas imprecisos y encontrar soluciones en tiempos razonables, aunque no exactas
(c) 2021. P. Gómez-Gil, INAOE 17
Inteligencia computacional
(cont.)
Cubre una gran cantidad de modelos, pero los mas comunes incluyen: 1) Sistemas inspirados en la naturaleza. Ejemplos de
estos son las redes neuronales artificiales y los algoritmos evolutivos
2) Sistemas que representan conocimiento incierto, vago o incompleto. Ejemplos de éstos son los sistemas difusos y las redes bayesianas
Es muy común combinar las soluciones, creando sistemas híbridos, ejemplo sistemas neuro-difusos.
(c) 2021. P. Gómez-Gil, INAOE 18
(c) 2021. P. Gómez-Gil, INAOE 19
¿Que Son las Redes Neuronales
Artificiales?
Las Redes Neuronales Artificiales (R.N.A.) son modelos matemáticos inspirados en sistemas
biológicos, adaptados y simulados en computadoras convencionales.
Los elementos que las conforman se asemejan a las neuronas biológicas.
[Wasserman 89]
Una definición mas amplia de Redes
Neuronales Artificiales…
“Una red neuronal es un procesador masivamente paralelo y distribuido hecho de unidades procesadoras simples, las cuales son de manera natural propensas a almacenar conocimiento adquirido de la experiencia y hacerlo útil. Se parece al cerebro en dos aspectos:1. La red neuronal adquiere el conocimiento del medio
ambiente, a través de un proceso de aprendizaje
2. La fuerza de conexión entre los neurones, conocida como los pesos sinápticos, se utiliza para almacenar el conocimiento adquirido ” [Haykin 1999]
(c) 2021. P. Gómez-Gil, INAOE 20
(c) 2021. P. Gómez-Gil, INAOE 21
Componentes básicos de las RNA
1. Elementos de procesamiento: Neurones
2. Regla de activación de los elementos.
3. Topología de interacción entre los elementos de
procesamiento.
4. Regla de propagación a través de las conexiones.
5. Regla de aprendizaje.
6. Medio ambiente en el que el sistema opera.
(c) 2021. P. Gómez-Gil, INAOE 22
Características Principales de Las RNA
1. APRENDIZAJE. Una red neuronal puede modificar su comportamiento en respuesta al medio ambiente.
2. GENERALIZACION. Una vez entrenada, la red neuronal puede ser insensible a cambios en sus entradas.
3. ABSTRACCION. Una red neuronal puede determinar la esencia o características principales de un conjunto de datos.
(c) 2021. P. Gómez-Gil, INAOE 23
ALCANCES Y LIMITACIONES DE LAS
RNA
Las R.N.A. no son la solución de todos los problemas,sino solo de aquellos en los que "las reglas de solución"no son conocidas, y existen suficientes datos ejemplosque permitan a la red aprender.
Las R.N.A. son hasta cierto punto impredecibles.
Las R.N.A. no pueden explicar como resuelven unproblema. La representación interna generada puedeser demasiado compleja para ser analizada, aún y enlos casos más sencillos.
(c) 2021. P. Gómez-Gil, INAOE 24
Resumen de los Beneficios de los
Sistemas Neuronales Artificiales [Haykin
1994]
1. Son sistemas no lineales
2. Son capaces de hacer un mapeo entre entradas y salidas
3. Son adaptables
4. Pueden dar información sobre la confiabilidad de sus respuestas
5. Pueden dar información sobre el “contexto” de la selección
6. Son tolerantes a fallas
7. Son implementables en VLSI
8. Son universales en cuanto a su análisis y diseño
9. Presentan analogías con los sistemas biológicos
Una solución basada en RNA
vale la pena si…
Las reglas de decisión de la solución no
se conocen explícitamente
Hay una gran cantidad de datos que
representan al problema…
(c) 2021. P. Gómez-Gil, INAOE 25
(c) 2021. P. Gómez-Gil, INAOE 26
EVENTOS HISTORICOS IMPORTANTES
1943. W. McCulloch y W. Pitts publican "A Logical Calculus of the ideasimminent in nervious activity" in Bulletin of Mathematical Biophysics, 5:115-33.
1949. D. O. Hebb publica el libro "Organization of Behavior" New York:Science Editions. La ley de aprendizaje especificada por Hebb ha sido labase para los algoritmos de entrenamiento de R.N.A.
Entre los años 50´s y 60´s un grupo de investigadores producen lasprimeras redes neuronales artificiales, implementadas con circuitoselectrónicos. Entre ellos están Marvin Minsky, Frank Rosenblatt yBernanrd Widrow.
1962. F. Rosenblatt publica el libro "Principles of neurodynamics". NewYork: Spartan Books, presentando las bases del perceptrón.
(c) 2021. P. Gómez-Gil, INAOE 27
EVENTOS HISTORICOS IMPORTANTES
(2)
1969. M. Minsky y S. Papert publican "Perceptrons" Cambridge, MA: MITPress. En este libro muestran que el perceptrón es teóricamente incapaz deresolver problemas muy simples. Se crea una fuerte desmotivación en lainvestigación del área.
1974. P. Werbos presenta su tesis doctoral en economía “Beyondregression: New tools for prediction and analysis in the behavior science”donde describe un algoritmo para adaptar funciones de costos, que deforma independiente seria derivado por el grupo de D. Rumelhart en 1986 yutilizado para entrenar redes neuronales de varios niveles.
1986. D. E. Rumelhart, G. E. Hinton y R. J. Williams publican "Learninginternal representations by error propagation", en Parallel DistributedProcessing, Vol I, pp 318-62. Cambridge MA: MIT Press. Acá presentanuno de los primeros algoritmos para entrenar redes neuronales de variosniveles, destruyendo el mito de Minsky y haciendo resurgir la investigacionen el área de R.N.A. Por muchos años se dio crédito a este trabajo comoel primero, hasta que Werbos presentó a la comunidad evidencia de que sutrabajo fue el primero
... Cientos de modelos y aplicaciones han surgido desde entonces....
Referencias (1/2)
Brown, R.E. Donald O. Hebb and the Organization of Behavior: 17 years in the writing. Mol Brain 13, 55 (2020). https://doi.org/10.1186/s13041-020-00567-8
Hebb DO. The organization of behavior; a neuropsychological theory. NY: Wiley; 1949. [reprinted 2002 by Lawrence Erlbaum associates, Mahwah, New Jersey]
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences, 79(8), 2554-2558.
McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4), 115-133.
Marvin L. Minsky and Seymour A. Papert. 1988. Perceptrons: expanded edition. MIT Press, Cambridge, MA, USA.
(c) 2021. P. Gómez-Gil, INAOE 28
Referencias (2/2)
Rosenblatt, F. (1961). Principles of neurodynamics. perceptrons and the theory of brain mechanisms. Cornell Aeronautical Lab Inc Buffalo NY.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning internal representations by error propagation, Parallel Distributed Processing, Vol. 1. Foundations. MIT Press, Cambridge.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. nature, 323(6088), 533-536.
Werbos, P. (1974). Beyond regression: New tools for prediction and analysis in the behavior science. Doctoral Dissertation, Harvard University.
Werbos, P. J. (1994). The roots of backpropagation: from ordered derivatives to neural networks and political forecasting (Vol. 1). John Wiley & Sons.
Widrow, B., & Hoff, M. E. (1960). Adaptive switching circuits. Stanford UnivCa Stanford Electronics Labs.
(c) 2021. P. Gómez-Gil, INAOE 29
Tarea
Leer capítulo 2 “Introduction” del libro de
texto (Kruse et al. 2013)
(c) 2021. P. Gómez-Gil, INAOE 30
