33
Aumentando el Poder Analítico para el Sector Energético 19 de Septiembre Big Data Dr. Luis Carlos Molina +52 1 5510785032 [email protected]

Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

  • Upload
    others

  • View
    11

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Aumentando el Poder Analítico para el

Sector Energético19 de Septiembre

Big Data

Dr. Luis Carlos Molina

+52 1 5510785032

[email protected]

Page 2: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

2

" todo el mundo habla de ello,

nadie sabe realmente cómo hacerlo,

todos piensan que los demás lo están haciendo,

así que todos dicen que también lo hacen..."

Big Data es como el sexo en la adolescencia

Page 3: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Laboratorio de Investigación en Big Data

Única empresa en México que cuenta con su propio Big Data Appliance. Una inversión de 0.6M de dólares.

Trabaja con las universidades más importantes del país en investigación aplicada: Ejemplo: CIC del IPN –Reconocimiento de rostros para vacas.

La patrulla Big Data es ampliamente reconocida en México por el concepto de integración tecnológica para reconocimiento de placas de manera autónoma.

Su cartera de clientes abarca diferentes lideres en diversos sectores.

Page 4: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Reconocimientos

MEJOR EMPRESA DE INNOVACIÓN EN LATINOAMÉRICA 2015 Y 2017

MEJOR EMPRESA ANALÍTICA DE MÉXICO 2017

MEJOR PROPUESTA DISRUPTIVA 2017: Patrulla Big Data

Page 5: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

– DEFINICIÓN –

Historiador

Sanjay Ghemawat, Howard Gobioff y Shun-Tak Leung

publicaron en 2003, su sistema de ficheros distribuidos

Google File System (GFS)

Infraestructura

5 servidores administrados por Cloudera para formar un

clúster

Arquitecto de SW

Integración de sistemas

Programación

Hadoop – Map Reduce – Python – Scala - Spark

Base de datos

Unir bases estructuradas versus no estructuradas

Minero de datos

Análisis 360 grados

Negocio

5Vs(Volumen, Variedad, Velocidad, Veracidad, Valor)

Big Data

Depende de quien

lo diga

Page 6: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Estructura del Laboratorio

FuentesOficiales

SEPOMEXINEGI

BerkeleyMachineLearning

KPI’s

CRISP DM

GobiernoDatos

CalidadDatos

SparkHadoop

AnalíticaAvanzada

PortalesGEORedes

Sociales

VisualizaciónDashBoards

R

ProcesosInMemory

InfraestructuraCluster

IngestaETLs

API´s

ClouderaDataLake

Noticias

Digitales

LABORATORIO

DE BIG DATA

ME

TO

DO

LO

GÍA

S

AN

AL

ÍTIC

CA

MAAGTIC

SCRUM

Python

Cuenta con más de 40 profesionales

Especialistas en Big Data en diferentes

áreas.

Page 7: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Diferencia entre BI y Big Data

Page 8: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

EJEMPLODE UNA

BUENA PRÁCTICA

DE

ARQUITECTURA

USADOEN UN

PROYECTODE BIG DATA

Data Visualization & Reporting

Data Analytics

Hive /

PigAdvance

Query

Data Mining

Hive /

Pig

Advance

Query

Storage – hdfs

On - Promises

Storage – hdfs

Cloud

Security Metadata

Data Governance & Integration – ETL/ELT

On demand Real - Time StreamingTime

series

USUARIO FINAL

CAPA ANALÍTICA

CAPA DE

ACCESO

CAPA DE

ALMACENAMIENTO

CAPA

SEGURIDAD

CAPA DE

INTEGRACIÓN

FUENTES DE

INFORMACIÓN

NoSQL

Page 9: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

9

Patrulla Big Data

Premio Oracle al mejor proyecto disruptivo.

Detección de carros robados en forma autónoma

Page 10: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

10

Maqueta del edificio para Protección Civil

Page 11: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

PanamáEvitar la CompraDe Energía

Page 12: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

El mes en el que no se cubre con la demanda es septiembre y octubre

Page 13: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Específicamente el 9 de septiembre de 2017, se identifica que el faltante que se tiene para cubrir

con la demanda es precisamente el que se ha vendido en el mercado ocasional

Page 14: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

En un horario de 6:40 am a 8:40 pm en el que se tiene una demanda por encima de la producción

Page 15: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Mismo horario en el que se registran las ventas de MWh en el mercado ocasional

Page 16: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Al mismo tiempo la

producción disminuyo a

finales de año empezando

en septiembre debido a las

condiciones climatológicas

en la que el río Chiriquí se

desbordo debido a las

fuertes lluvias.

Page 17: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Colombia

Pérdidas de Energía no Técnica

Page 18: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Él año con más pérdidas identificado es 2013, notando que el faltante de consumo

usuarios es el de pérdidas

Page 19: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Siendo el mes de abril con mayor pérdidas

Page 20: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Los estratos 3 y 6 son lo que cuentan con mayor número de irregularidades identificadas

Page 21: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Se identificó el nivel de riesgo por número de cuenta

Page 22: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

El municipio con riesgo más alto es La Merced con 82%

Page 23: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

v

Page 24: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Las Maquetas

Page 25: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance
Page 26: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance
Page 27: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance
Page 28: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

PROPUESTAS

Page 29: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

El Golfo de México

29

Page 30: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Conclusiones

30

Page 31: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

Es mejor contratar a un especialista que haga lo que nunca pudiste hacer ....

31

Page 32: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

GRACIAS!

CONTACTO:

Dr. Luis Carlos Molina Director del Laboratorio Big Data de INT

[email protected]

Celular: 5510785032

Page 33: Presentación de PowerPoint€¦ · Hive / Pig Advance Query Data Mining Hive / Pig Advance Query Storage –hdfs On - Promises Storage –hdfs Cloud Security Metadata Data Governance

33

El cliente marca el rumbo

1. El cliente ha madurado

1. Los presupuestos han pasado a las áreas de negocio

2. La complejidad informática es mayor (seguridad, nube, IoT, big data, gobierno de datos, etc.)

3. Recibe muchos proveedores que ofrecen diversas respuestas a una misma problemática

4. Le gusta la “innovación” como valor diferenciador

5. Los mercados cambian y no quiere proyectos a largo plazo. Necesita de resultados rápidos

6. No cree más en el PowerPoint y quiere ver sus datos en una aplicación (PoC)

7. Alta especialización en los temas a tratar por parte del cliente

8. Escucha con atención a los especialistas no informáticos

9. Sus equipos de trabajo cambian constantemente y necesita proyectos a prueba del factor humano

10. El cliente de Gobierno no tiene presupuesto por lo que busca nuevas formas de hacer negocios