99 ¿Qué hay de nuevo atrás de Big Data?

#GX24

¿Qué hay de nuevo atrás de Big Data?

•Alvaro Pardo

•@AlvaroPardoUy •apardo@ucu.edu.uy

#GX24

• Co-Fundador de dSense Technologies • Decano de la Facultad de Ingeniería y Tecnologías de la Universidad Católica del Uruguay

Presentación

#GX24

• Historia de Big Data • Proyectos Big Data • Big Data en Retail • Big Data en Agro

Agenda

Historia de Big Data

Big Data: Definiciones • Gartner: Big data is high-volume, high-velocity and

high-variety information assets that demand cost-effective, innovative forms of information processing for enhanced insight and decision making.

• Grandes volúmenes de información, típicamente heterogéneos y complejos que deben ser procesados para extraer valor.

Big Data: 1990 - 2013

1997

Big Data: 1990 - 2013

2001

Big Data: 1990 - 2013

2004

Big Data: 1990 - 2013

2006

Big Data: 1990 - 2013

2012

Big Data: 1990 - 2013

2012

2006 2004

2001 1997

En 2011–2012 se rompe la tendencia exponencial con la que venía creciendo el número de publicaciones. Big Data se hace popular.

Tendencias de búsqueda en Google

2012

¿Big Data está creciendo?

El crecimiento de Big Data es similar a otras áreas cercanas.

¿Big Data está creciendo?

Recién en 2011-2012 Big Data comienza a crecer por encima de otras áreas cercanas.

Reflexiones… • Big Data es el resultado de:

– (al menos) 20 años de desarrollo tecnológico – muchísimos años de investigación y desarrollo en:

estadística, pattern recognition, data mining, machine learning, etc.

• (-) Big Data es un nombre “marketinero” para cosas conocidas por la academia y la industria.

• (+) Lo nuevo de Big Data: combinación de grandes volúmenes de datos heterogéneos para extraer valor.

Reflexione: (3V + 1V) • VOLUMEN no es todo…

• VELOCIDAD acorde al negocio… • VARIEDAD sobre todas las cosas…

• VALOR el objetivo…

Proyectos Big Data

Pasos Adquisición • Captura • Almacenamiento

Pre-procesamiento • Limpieza • Acondicionamiento • Extracción

Integración • Agregación • Representación

Análisis • Modelado

Interpretación • Evaluación

Tecnología vs RRHH

Volumen

Tecnología

RRHH

Velocidad

RRHH Algoritmos

Tecnología

Variedad

RRHH “Curadores”

Tecnología

RRHH Tecnología

BBDD

Sistemas

Integración

Metodología

Modelado

Análisis de Datos

Algoritmos

Resumen • Tecnología disponible • RRHH un desafío (dominio específico)

– Buscar fuera de TI…

Big Data en Retail

Retail • Negocio con tradición de uso de los datos para

extraer valor. • ¿Volumen? • ¿Velocidad? • ¿Variedad?

OK

OK

¿?

Retail: Variedad • Redes Sociales (estados de ánimo, otros eventos,…) • Dispositivos • Clima • Conteo de personas (video) • Reconocimiento de género y edad a partir de imágenes (video) • Seguimiento a partir de cámaras (video) • Identificación de “hot spots” • Marketing de proximidad (¿beacons?) • etc.

DATOS NO ESTRUCTURADOS

Conteo de Personas (video)

Big Data en Agro

Agricultura: Datos + Imágenes Satelitales (series históricas) + Clima (series históricas) + Suelos + Datos de Cultivos + Recorridas a Campo Georeferenciadas + Monitores de Rendimiento (cosecha: rendimiento,

humedad, elevación, temperatura,…) + etc. Variedad – Volumen – Velocidad

Ambientaciones • Identificación automática de

heterogeneidad ambiental • Imágenes Satélite 1985-2012 • Modelo de Elevación • Carta de Suelos • Monitores Rendimiento (futuro)

Ambientaciones: Proceso Adquisición • Imágenes Satélite • Monitores Rend.

Pre-procesamiento • Selección Imágenes • Extracción de bandas

de interés

Integración • Agregación • Representación de

información

Análisis • Identificación de

ambientes

Interpretación • Evaluación

Agronómica

Agricultura

Estimación de Rendimiento: Identificación automática de puntos de muestreo.

Procesamiento Monitores Rendimiento

Resumen Final • Volumen no lo es todo… depende de la

aplicación • Velocidad también depende de la aplicación • Variedad es el mayor desafío (novedad) • Tecnología disponible • RRHH factor clave (análisis de datos)

Alvaro Pardo – apardo@ucu.edu.uy - @AlvaroPardoUy