Upload
phamngoc
View
213
Download
0
Embed Size (px)
Citation preview
BIG DATAMARÍA PARRA AMAT
Almería, 5 junio 2015
@mariaparraamat #jpd2015
"Petróleo del XXI" Nuevo enfoque en el entendimiento y la toma de decisiones Conjunto de técnicas y herramientas
BIG DATA
@mariaparraamat #jpd2015
Estadística Metodologías existentes aplicadas a nuevos problemas
ORIGEN
@mariaparraamat #jpd2015
• Ultraconectividad
• Más sensores y fuentes de datos
• Desarrollo tecnológico• Almacenamiento: capacidad
y coste
• Procesamiento: HDFS y Mapreduce
POPULARIZACIÓN
@mariaparraamat #jpd2015
• 5 V's
CARACTERÍSTICAS
Volumen
Variedad
Velocidad
Veracidad
Valor
@mariaparraamat #jpd2015
La cantidad de datos. Desconocimiento del
volumen real. Incremento del tráfico en
internet será exponencial -Era del Zettabyte.
VOLUMEN59,972,4
88,4
109
135,5
168
0
20
40
60
80
100
120
140
160
180
2014 2015 2016 2017 2018 2019
Estimación tráfico de datos
Exabytes al mes
@mariaparraamat #jpd2015
• Procedencia diversa• Multitud de formatos
VARIEDAD
@mariaparraamat #jpd2015
Los datos en movimiento Obtener la información correcta en el momento preciso
VELOCIDAD
@mariaparraamat #jpd2015
Confianza o fiabilidad de los datos Evitar sesgos o ruidos Limpieza de datos apropiados
VERACIDAD
@mariaparraamat #jpd2015
Es la importancia que puede tener el dato para la toma de decisiones en las empresas y los gobiernos.
VALOR DEL DATO
@mariaparraamat #jpd2015
Estadística Informática Campo de aplicación
DISCIPLINAS
@mariaparraamat #jpd2015
Expertos en:
Estadística y matemáticas
Ingeniería de datos Aprendizaje científico Negocio Desarrollo de
producción de código Visualización GIS
LAS CATEGORÍAS DE “CIENTÍFICO DE DATOS”
@mariaparraamat #jpd2015
Diálogo con expertos en la materia
Captura y almacenamiento de la información Procesado masivo de datos
Análisis con técnicas de inteligencia artificial - Minería de datos
Visualización
TAREAS PRINCIPALES EN UN PROYECTO DE BIG DATA
@mariaparraamat #jpd2015
Fundamental para tener éxito
Conocer inquietudes del experto
Informar de las soluciones reales que aporta Big Data
DIÁLOGO CON EXPERTOS EN LA MATERIA
@mariaparraamat #jpd2015
Datos existentes:
Documentos
Web
Bases de datos Sql
noSql
Crear nuevas infraestructuras
CAPTURA Y ALMACENAMIENTO DE LA INFORMACIÓN
@mariaparraamat #jpd2015
Framework Hadoop
HDFS
MapReduce
Otras utilidades
Hive, Pig, integración con R
PROCESADO MASIVO DE DATOS
@mariaparraamat #jpd2015
TÉCNICAS DE INTELIGENCIA ARTIFICIAL PARA EL ANÁLISIS
Minería de datos Utiliza técnicas de aprendizaje automático
Minería de texto
@mariaparraamat #jpd2015
Minería de datos
Minería de texto Encontrar términos frecuentes
Buscar términos relacionados con otros
Agrupamiento Clasificación
MOA, Weka, R
TÉCNICAS DE INTELIGENCIA ARTIFICIAL PARA EL ANÁLISIS
@mariaparraamat #jpd2015
Representación gráfica mediante:
Estadísticas
Mapas
Diagramas
Esquemas
Dos finalidades
Presentar datos para una audiencia determinada
Cómo herramienta de análisis
Herramientas: Tableau, infogram, cartoDB.
Librerías: Google Charts, JQuery plug-ins, D3.js
VISUALIZACIÓN
@mariaparraamat #jpd2015
Big Data Landscape 1.0 Big Data Landscape 2.0 Big Data Landscape 3.0
PAISAJE BIG DATA
@mariaparraamat #jpd2015
Big Data Landscape 1.0
Big Data Landscape 2.0 Big Data Landscape 3.0
PAISAJE BIG DATA
@mariaparraamat #jpd2015
Big Data Landscape 1.0
Big Data Landscape 2.0
Big Data Landscape 3.0
PAISAJE BIG DATA
@mariaparraamat #jpd2015
No permite detectar comportamientos individuales.
Puede detectar correlación, pero no causalidad.
Gran cantidad de ruido.
Big Data puede sugerir hipótesis.
Período de validez determinado.
LIMITACIONES
@mariaparraamat #jpd2015
Marketing Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos
Industria del entretenimiento Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación
Crimen organizado Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Marketing
Análisis de sentimientos En la industria del entretenimiento
Seguimiento de epidemias
Educación Crimen organizado
Salud
Periodismo de datos
APLICACIONES
@mariaparraamat #jpd2015
Email: [email protected]
Twitter: @mariaparraamatFacebook: www.facebook.com/mariaparraamat
MARÍA PARRA AMAT
MUCHAS GRACIASALMERÍA, 5 DE JUNIO DE 2015