Redes Neuronales
M. Sc. Carlo Corrales DelgadoCapitulo sexto
Hipótesis no lineal
Visión por computador
Visión por computador
Visión por computador
Visión por computador
Neuronas y el Cerebro
• Orígenes: Algoritmos que intenten imitar el cerebro
• Fue ampliamente usado en los 80’s e inicios de 90’s. Luego bajó su popularidad en los 90’s
• Actualmente hay un resurgimiento: técnica para muchas aplicaciones.
Hipótesis de “un algoritmo de aprendizaje cerebral”
Hipótesis de “un algoritmo de aprendizaje cerebral”
Representación sensorial en el cerebro
Neurona
• Pequeño impulso eléctrico: spike
Modelo Neurona: Unidad logística
Modelo Neurona: Unidad logística
Modelo Neurona: Unidad logística
Red neuronal
Forward Propagation
Propagación hacia delante: Implementación vectorizada
Propagación hacia delante: Implementación vectorizada
Red neuronal aprendiendo de sus propias características
Red neuronal aprendiendo de sus propias características
h(x) g(0a0 1a1 2a2 3a3)En lugar de xi aquí es ai
Parecido a Regresión logística
Red neuronal aprendiendo de sus propias características
h(x) g(10(2)a0
(2) 11(2)a1
(2) 12(2)a2
(2) 13(2)a3
(2))
Ejemplos e intuición
• Ejemplo de clasificación no lineal: XOR/XNOR
Ejemplos e intuición
Ejemplos e intuición
Ejemplo simple: AND
Ejemplo simple: AND
Ejemplo simple: AND
Ejemplo simple: OR
Ejemplo simple: NOT
Ejemplo simple: XNOR
Ejemplo simple: XNOR
Ejemplo de aplicación
Clasificación multiclases
Función de Costo
Redes neuronales aplicadas a Clasificación
Función de costo• Regresión logística:
• Redes Neuronales: no se suman los Θji donde i=0
Algoritmo Backpropagation (propagación hacia atrás)
• Gradient descent:
Algoritmo Backpropagation (propagación hacia atrás)
• Gradient descent:
Algoritmo Backpropagation (propagación hacia atrás)
• Gradient descent: algoritmo backpropagation
Algoritmo Backpropagation
Intuición del Algoritmo Backpropagation
• Forward Propagation
Qué hace Backpropagation?
Intuición del Algoritmo Backpropagation
• BackPropagation
Detalles de implementación
Ejemplo
• Para recuperar los vectores originales:
Algoritmo de aprendizaje
Gradient Checking
Estimación numérica de gradientes
Vector parámetro θ
Notas de implementación
Inicialización aleatoria
Valores iniciales para θ
No funciona
Inicialización en Cero
Todas las capas ocultas calcularían lo mismo.
Inicialización aleatoria: symmetry breaking
Colocando todo junto
Entrenando una Red Neuronal
Entrenando una Red Neuronal
Entrenando una Red Neuronal
Ejemplo práctico: Manejo autónomo de un automóvil
Ejemplo práctico: Manejo autónomo de un automóvil
Ejemplo práctico: Manejo autónomo de un automóvil
Ejemplo práctico: Manejo autónomo de un automóvil (luego de 2 mins)
Ejemplo práctico: Manejo autónomo de un automóvil
Ejemplo práctico: Manejo autónomo de un automóvil
Ejemplo práctico: Manejo autónomo de un automóvil
Ejemplo práctico: Manejo autónomo de un automóvil
Línea de confianza
Ejercicios
Problema 1
Problema 2
Problema 3
Problema 4
Problema 5
Problema 6
Problema 7
Problema 8
Problema 9
Problema 10
Recommended