C07 - IA

Redes Neuronales

M. Sc. Carlo Corrales DelgadoCapitulo sexto

Hipótesis no lineal

Visión por computador

Visión por computador

Visión por computador

Visión por computador

Neuronas y el Cerebro

• Orígenes: Algoritmos que intenten imitar el cerebro

• Fue ampliamente usado en los 80’s e inicios de 90’s. Luego bajó su popularidad en los 90’s

• Actualmente hay un resurgimiento: técnica para muchas aplicaciones.

Hipótesis de “un algoritmo de aprendizaje cerebral”

Hipótesis de “un algoritmo de aprendizaje cerebral”

Representación sensorial en el cerebro

Neurona

• Pequeño impulso eléctrico: spike

Modelo Neurona: Unidad logística

Modelo Neurona: Unidad logística

Modelo Neurona: Unidad logística

Red neuronal

Forward Propagation

Propagación hacia delante: Implementación vectorizada

Propagación hacia delante: Implementación vectorizada

Red neuronal aprendiendo de sus propias características

Red neuronal aprendiendo de sus propias características

h(x) g(0a0 1a1 2a2 3a3)En lugar de xi aquí es ai

Parecido a Regresión logística

Red neuronal aprendiendo de sus propias características

h(x) g(10(2)a0

(2) 11(2)a1

(2) 12(2)a2

(2) 13(2)a3

(2))

Ejemplos e intuición

• Ejemplo de clasificación no lineal: XOR/XNOR

Ejemplos e intuición

Ejemplos e intuición

Ejemplo simple: AND

Ejemplo simple: AND

Ejemplo simple: AND

Ejemplo simple: OR

Ejemplo simple: NOT

Ejemplo simple: XNOR

Ejemplo simple: XNOR

Ejemplo de aplicación

Clasificación multiclases

Función de Costo

Redes neuronales aplicadas a Clasificación

Función de costo• Regresión logística:

• Redes Neuronales: no se suman los Θji donde i=0

Algoritmo Backpropagation (propagación hacia atrás)

• Gradient descent:

Algoritmo Backpropagation (propagación hacia atrás)

• Gradient descent:

Algoritmo Backpropagation (propagación hacia atrás)

• Gradient descent: algoritmo backpropagation

Algoritmo Backpropagation

Intuición del Algoritmo Backpropagation

• Forward Propagation

Qué hace Backpropagation?

Intuición del Algoritmo Backpropagation

• BackPropagation

Detalles de implementación

Ejemplo

• Para recuperar los vectores originales:

Algoritmo de aprendizaje

Gradient Checking

Estimación numérica de gradientes

Vector parámetro θ

Notas de implementación

Inicialización aleatoria

Valores iniciales para θ

No funciona

Inicialización en Cero

Todas las capas ocultas calcularían lo mismo.

Inicialización aleatoria: symmetry breaking

Colocando todo junto

Entrenando una Red Neuronal

Entrenando una Red Neuronal

Entrenando una Red Neuronal

Ejemplo práctico: Manejo autónomo de un automóvil

Ejemplo práctico: Manejo autónomo de un automóvil

Ejemplo práctico: Manejo autónomo de un automóvil

Ejemplo práctico: Manejo autónomo de un automóvil (luego de 2 mins)

Ejemplo práctico: Manejo autónomo de un automóvil

Ejemplo práctico: Manejo autónomo de un automóvil

Ejemplo práctico: Manejo autónomo de un automóvil

Ejemplo práctico: Manejo autónomo de un automóvil

Línea de confianza

Ejercicios

Problema 1

Problema 2

Problema 3

Problema 4

Problema 5

Problema 6

Problema 7

Problema 8

Problema 9

Problema 10