De los datos a las predicciones

Machine Learning en el mundo real De los Datos a las Predicciones

Un caso práctico del sector turístico

Andrés González Responsable Área Big Data

[email protected] Twitter: @data_lytics

CleverTask Solutions SL - Big Data Business Unit 2

Agenda Necesidad de negocio1

“Cocinar” la predicción2

Recogida de ingredientes3

Limpieza y Transformaciones4

La receta (el modelo)5

Probar el plato6







Probar el plato6


Sector hotelero

• % ocupación de hoteles.

• Riesgo de cancelación de reservas.

• Ingresos.


Necesidad de negocio

Predecir la NACIONALIDAD de los clientes

ANTES de llegar al hotel


Organizar el personal

Idiomas


Preparar actividades


Organizar las cocinas


Personalizar la estancia


… los detalles marcan la diferencia

En definitiva, porque…







Probar el plato6


Machine Learning básico



¿Puedes encontrar patrones en estos datos?

CleverTask Solutions SL - Big Data Business Unit

14


Datos históricos Entrenamiento Predicción

Nuevos datos Re-entrenamiento



Ir al mercado a por los ingredientes

Limpiarlos

Transformarlos

Cocinar

Probar el plato




Limpiarlos

Transformarlos

Cocinar

Probar el plato

Recogida de Datos en “crudo”

Limpieza de Datos

Transformación y Feature Engineering

Aprendizaje y Entrenamiento del Modelo

Evaluación de calidad de las predicciones







Probar el plato6


De dónde vienen los datos

Web propia

Webs de Partners

Datos en crudo RAW


Datos RAW

Fichero .xlsx con histórico de

1 año de reservas

Un registro por cada reserva

Características •260.000 reservas •80 campos

•57 categóricos •9 numéricos •10 tipo fecha •3 tipo texto •1 campo erróneo

•Tamaño: 150 MB


Datos RAW







Probar el plato6


Proceso

Datos en crudo

Nuevos campos

1 3 4Datos RAW

Transformay Feature

Engineering

Datos limpios

Campos calculados

2Limpieza Modelo


Limpieza de datos


Limpieza de datos

Borrado de filas

• Reservas sin check-in • Reservas canceladas • Registros con errores

Borrado de columnas

• Identificadores vs nombres

• Columnas con pocos datos

Otras acciones

• Dar formato a las fechas • Eliminar acentos • Transformar de .xlsx

a .csv


Dataset limpio

Limpio

•150.000 reservas •46 campos •26 categóricos •9 numéricos •10 tipo fecha •1 tipo texto

•Tamaño: 75MB

Sucio

•260.000 reservas •80 campos

•57 categóricos •9 numéricos •10 tipo fecha •3 tipo texto •1 campo erróneo

•Tamaño: 150 MB


Proceso

Datos en crudo

Nuevos campos

1 3 4Datos RAW

Transformaciones y Feature

Engineering

Datos limpios

Campos calculados

2Limpieza Modelo


Transformaciones

Agrupación de países

•Muchos países a predecir (210)

•Algunos países tienen muy pocas instancias

•Objetivo de cada agrupación: mín. 1% del total de instancias

•Total grupos: 20

Nuevos campos

• ANTELACIÓN_RESERVA (calculado): fecha reserva-fecha entrada

• PAIS_HOTEL (nombre de país)

• ESTRELLAS_HOTEL (1-5)


Dataset limpio

Limpio •150.000 reservas •46 campos •Tamaño: 75MB

Sucio •260.000 reservas •80 campos •Tamaño: 150 MB

Transformado •150.000 registros •49 campos •Tamaño: 80MB


Qué es Feature Engineering

Extraer la señal del ruido


Técnicas de Feature Engineering

• Detectar los campos (features) que son predictores (señal) y eliminar los que no (ruido)

• Campos dependientes (pax, días, pax*días) • Campos supérfluos (número de reserva) • Campos con pocos datos • Campos aleatorios (minuto y segundo de la reserva)

• Conocimiento del sector • Experiencia • Ciclo recursivo


Recursive Feature Engineering


Dataset limpio

Limpio •150.000 reservas •46 campos •Tamaño: 75MB

Sucio •260.000 reservas •80 campos •Tamaño: 150 MB

Transformado •150.000 registros •49 campos •Tamaño: 80MB

Dataset Final •150.000 registros •10 campos

•7 categóricos •2 numéricos •1 fecha

•Tamaño: 55MB







Probar el plato6


Proceso

Datos en crudo

Nuevos campos

1 3 4Datos RAW

Transformaciones y Feature

Engineering

Datos limpios

Campos calculados

2Limpieza Modelo


ModeloEntrenamiento

Aprendizaje


Modelo







Probar el plato6


Calidad del modelo


Calidad del modelo

80%

20% Evaluación

Training

TestDataset 100%

Modelo


Calidad del modelo

Tasa de acierto Matriz de confusión


Calidad del modelo

54% 75%



Limpiarlos

Transformarlos

Cocinar

Probar el plato

Recogida de Datos en “crudo” (RAW)

Limpieza de Datos

Transformación y Feature Engineering

Aprendizaje y Entrenamiento del Modelo

Evaluación de calidad de las predicciones

Cocinar una predicción

80%

20%


Otras técnicasEnsembles Clústers

Análisis de pesos Detección de anomalías


FINemail: [email protected]

Twitter: @data_lytics

www.clevertask.com10 suscripciones PRO gratuitas de 3 meses ($900) Código: BBVADATAWEEK

Data & Analytics

De los datos a las predicciones