Upload
peter-kroll
View
386
Download
7
Embed Size (px)
Citation preview
De Business Intelligence a Big Data
Abril 9, 2015UNAM
2
Presentation Title | Date
Diferencia entre Business Intelligence y Big Data
Business Intelligence te ayuda a encontrar respuestas a preguntas conocidas, Big Data te
ayuda en encontrar las cuestiones que no sabes preguntar
Business Intelligence
4
Presentation Title | Date
Historia
En un tiempo, las organizaciones dependían de sus departamentos de sistemas de información para proporcionarles reportes estándar y personalizados. Esto ocurrió en los días de los mainframes y mini computadoras, cuando la mayoría de los usuarios no tenía acceso directo a las computadoras.
Sin embargo, esto comenzó a cambiar en los años 70’s Cuando los sistemas basados en servidores se convirtieron en la moda. Con el paso del tiempo, fueron desarrollados los sistemas de información ejecutiva (EIS, por sus siglas en inglés), los cuales fueron adaptados para apoyar a las necesidades de ejecutivos y administradores
HISTORIA
5
Presentation Title | Date
Definición Business Intelligence
Business Intelligence es la habilidad para transformar los datos en información, y la información en conocimiento, de forma que se pueda optimizar el proceso de toma de decisiones en los negocios.
Business Intelligence es el conjunto de metodologías, aplicaciones y tecnologías que permiten reunir, depurar y transformar datos de los sistemas transaccionales en información estructurada, para su explotación directa o para su análisis y conversión en conocimiento, dando así soporte a la toma de decisiones sobre el negocio.
6
Presentation Title | Date
Arquitectura de sistemas de información
Arquitectura de los Sistemas de Informacion
• Clientes • Recursos• Planificacion• Control
••NIVEL
DECISIÓN
A LA
NIVELGESTIÓN
ECURSOSMERCAD HUMANOS
NIVELPRODUCCIÓN
CONEXIÓN ADMINISTRAC.
MO
DELO
DE FLU
JOS D
E INFO
RM
AC
IÓN
MO
DELO
DE D
ATO
S
MO
DELO
DE F
UN
CIO
NES
Red de CeProveedor
MERCAD
ntros es
CUADRO DE MANDO
AYUDAS
DECISIÓN
O
CALIDADCONTROL
DE GESTIÓN
R
ESTRUCTURA PRODUCTOS Y SERVICIOS
ADMINIS
INTERIOREXTERIOR
7
Presentation Title | Date
Business Intelligence en la Arquitectura
Arquitectura de los Sistemas de Informacion
• Clientes • Recursos• Planificacion• Control
••NIVEL
DECISIÓN
A LA
NIVELGESTIÓN
ECURSOSMERCAD HUMANOS
NIVELPRODUCCIÓN
CONEXIÓN ADMINISTRAC.
MO
DELO
DE FLU
JOS D
E INFO
RM
AC
IÓN
MO
DELO
DE D
ATO
S
MO
DELO
DE F
UN
CIO
NES
Red de CeProveedor
MERCAD
ntros es
CUADRO DE MANDO
AYUDAS
DECISIÓN
O
CALIDADCONTROL
DE GESTIÓN
R
ESTRUCTURA PRODUCTOS Y SERVICIOS
ADMINIS
INTERIOREXTERIOR
8
Presentation Title | Date
8Copyright © 2011 Capgemini. All rights reserved.
Retorno de Inteligencia: Explotar la información disponible con el fin de mejorar la toma de decisiones estratégicas
RecolecciónDatos
AnalizarInformación
Toma de Decisiones & Acción
RecolecciónDatos
AnalizarInformación
TD&A
RecolecciónDatos
AnalizarInformación
% ti
empo
inve
rtido
Menos Maduro Más Maduro
Gestión EstratégicaAnálisisOperación
Toma de Decisiones & Acción
• Los sistemas operativos (gestión financiera, gestión de recursos materiales y de recursos humanos) del MinComercio cumplen con los requerimientos establecidos
• Los procesos son homologados y cumplen con normas internacionales establecidas
• Los sistemas actuales diariamente generan una gran cantidad de datos que en este momento se extraen en su gran mayoría en hojas Excel
• Capgemini propone diseñar e implementar un sistema de BIM (Business Information Management) con el fin de automatizar el proceso de consolidación de datos y de análisis con el fin de agilizar el proceso de toma de decisiones estratégicas
9
Presentation Title | Date
Modelo conceptual de BI
10
Presentation Title | Date
Componentes de un modelo de BI – Data Warehouse
“Un DataWarehouse es un conjunto de datos orientadoa temas, integrado, no volátil, estable y que se usa parael proceso de toma de decisiones”. Un DataMart es unsubconjunto sectorial del DW a menudo perteneciente a un departamento concreto.
DataWareho
use
11
Presentation Title | Date
Componentes de un modelo de BI – Query y Reporting
Son las herramientas para la elaboración de informes y listados, tanto en detalle comosobre información agregada, a partir de la información de los DataWarehouses yDataMarts.
12
Presentation Title | Date
Componentes de un modelo de BI – OLAP
OLAP (ONLINE ANALYTICAL PROCESSING)Es un conjunto de tecnologfas y aplicaciones de software que permite recoger los datos de la compañfa, almacenarlos e indagar sobre ellos de forma rapida e intuitiva. Se trata de crear una ‘capa de negocio’ con lenguaje funcional por encima de estructuras complejas de la Base de Datos.
13
Presentation Title | Date
Ejemplos de Business Intelligence
Sector Ejemplo
Empresa conservera Mediante la implantación de un sistema de soporte a la decisión (DSS), y tras el análisis minucioso de los datos históricos que guardaba la compañía, resultó posible rediseñar todo el proceso logístico y de almacenamiento productivo hasta el punto de incrementar la rentabilidad económica de la misma en un 10%.
Cadena de supermercados
Una conocida cadena de supermercados ha recurrido a un sistema de Business Intelligence para averiguar cual era el perfil de sus clientes más rentables e intentar hacer lo posible para fidelizarlos.
Walmart Colocando Pañales al lado de la cerveza
14
Presentation Title | Date
Conclusión BI
“BI ayuda a rastrear lo que en realidad
funciona y lo que no”.Bill Gates
Big Data
16
Presentation Title | Date
What data do you need?
Que es Big Data?
80%De los datos del mundo no estánestructurados
Muchos PBs 25+ TBs 12+ TBs 30 billiones 4.6 billiones 100s de 2+ billiones 76 millionesde datos de datos de datos de tags de RFID de smart millones de de gente en de
diario diario tweet diarios diarios (1.3B phones en la GPS la red a medidoresin 2005) red vendidos finales del inteligentes
anualmente. 2011 en 2009
18
Presentation Title | Date
The rise and rise of Big Data
Big Data – ¿Qué es todo eso?
economías, la entrega de una nueva ola de margen de operación en más de un 60% "
“Los encuestados estiman que, para procesos en los que se ha aplicado análisis de datos grandes, en promedio, han visto una mejora del 26% en el rendimiento en los últimos tres años, y se espera que mejore en un 41% en los próximos tres.”
&
“El manejo de datos y la toma de decisiones basado en los datos pueden explicar el 5-6% en producutividad más allá de lo que se puede explicar por los insumos tradicionales y el uso de TI. “
MIT – Strength in Numbers – April 2011
“El uso eficaz de grandes volúmenes de “Estimamos que un minorista que abarca grandesdatos tiene el potencial para transformar las de datos tiene el potencial de aumentar el
crecimiento de la productividad ... Uso degrandes volúmenes de datos se convertirá “$300bn – el ahorro potencial en salud de EE.UU.”en una base clave para la competencia ...”
“$250bn – el potencial de ahorro en el sector público europeo”
McKinsey Institute – Big Data: La próxima frontera para la innovación, la competencia y la productividad - Mayo 2011
Las 3V del Bid Data
Volúmen Exponencial:
•
•
Más y más dispositivos
Cada dispositivo genera más y más datos
Variedad : Datos estructurados o no estructurados
• Es sobre un mundo interconectado con múltiples fuentes
• Trabajar con datos poco estructurados o sin estructurar.
Velocidad : Esto no es sobre velocidad tecnológica
• Es sobre el valor de los datos
• El valor de los datos decrece cada minuto!
¿Qué es Big Data y porqué es tan importante?
de negocio para M&E –
+ =Investigación don datos
mundo
Nuevas oportunidades:
Tesco & Wal-Mart –Conocimiento del cliente
Netflix – Nuevos modelos
basado en análisis
Amazon - Inteligencia de consumidor
Seguridad Pública –
en tiempo real
Transformación del
Nuevas Fuentes deDatos:
571 sitios web son creados cada minuto.
Más dispositivos conectados a internet que personas.
34,722 “Likes” por marca en facebook cada minuto
Más información acerca de lo que hacemos.
Tecnología que puede:
Distribución de los datos por más de 100 tipos de dispositivos de hardware conocidos
Administración de los datos (estructurados y no estructurados)
(ejemplo: Hadoop, MapReduce, R, Cassandra, Endeca, Aster, Vertica, …)
Bajos costos &volúmenes masivos
Procesamiento y Almacenamiento en Memoria
Mejoramiento del performance significa :
1 - 10 ratio : 10’’ y 20’’ comienza a ser instantaneo
1 - 100 ratio : 2 minutos se vuelve 1 segundo
1 - 1000 : 2 horas son 10 segundos
48 horas de procesamiento pueden correr en3 minutos!
En un appliance de memoria40 x86 cores, 1TB of RAM
Por solo 100 K EUR !
Cluster de Big Data Hadoop
Esquema con HadoopEsquema Actual
HW dedicado con altos costos de propiedad y operación.
Construido para el desempeño
Diseñado para altos volumenes (ej: 10s of TB)
Alta disponibilidad
Inicialmente desarrollado para BD estructuradas (tradicionales)
Soluciones muy maduras (características, SW, HW, administración)
Diseñado para datos modelados y estructurados
Negocio como una manera usual de diseñar, construir y entregar.
Marcas: Teradata, Exadata, Netezza, HANA, ...
Utiliza PCs comunes
Construido para una escalabilidad extrema
Diseñado para volumenes extremos (10s en PB y más)
Muy alta disponibilidad
Inicialmente desarrollado para Web
No está lo suficientemente maduro
Hadoop = Lenguaje de Estructuración de Datos
Esquema Tradicional vs Esquema de Big Data
Sin Big Data
Con Big Data
Flujo de Operación de un esquema Big Data
Proceso de Big Data
Adquisición Ordenamiento Análisis Acción
analisis de gente para despues
Maquina ( más communes con
automática de clientes para
Tecnología BPM / Desciciones
Sistemas de información de
Gobernabilidad de datos
Colección de datos de diferentes fuentes
"La adquisición constante" ETL, pero a menudo en tiempo real tradicional debido al volumen y la velocidad
Como los datos siempre son externos hay problemas de seguridad y confianza.
Licencia para los datos / problemas de privacidad por los datos externos
Datos abiertos ( publicidad disponible
Organizacion y almacenamiento de datos
Altos volumenes siempre alimentados.
Se neceistan definir como serán consumidos (tiempo real , ASAP, historico) y filtrados apropiadamente.
Formato – estructurado, semi-estructurado no estructurado
Modelado– desde cada renglón hasta formas complejas de estructura.
Encontrando ideas y modelado predictivo
Predicción en lugar de histórico
Modelar el comportamiento - la forma en que reaccionan los clientes? ¿Cuándo es el momento óptimo para reemplazar las piezas ....
Analisis, de texto, video yvoz
Usando ideas para cambiar los resultados empresariales
Las salidas son:
Humano (ej. Reportes y
actuar sobre ellos)
Big Data) – ej.. evaluación
ajustar oferta(e.g. Amazon)
en tiempo real
socios
Tecnología del proceso de Big Data
Adquisición Ordenamiento Análisis Acción
tiempo real (Oracle RTD – real
Monitoring)
(Autonomy, Attensity...)
eventos(CEP) – ETL tools eg
Gestión de Datos Maestros + Calidad de Datos + Metadata + Gestión del Ciclo de Vida de los Datos
• Extracción (Aspire)
• ETL
• Integración en tiempo real
o SOA / Web Services(eg Facebook)
o Eventos
o Enterprise Service Bus (ESB)
o Change Data Capture (CDC)
o RSS feeds
• Open data
• Social Network
• Whatsapp, Skype, etc.
• Los datos están aquí!
• Hadoop / MapReduce
• Otros almaceniamientos distribuidos utilizando SQL (eg AsterData, Neo4J, MongoDB, MarkLogic…)
• Large Data Warehousing
• Large Content ManagementSolutions
• inMemory (eg Oracle Endeca,SAP HANA)
• Streaming (ESB / InformationService Bus)
• Remover los datos que no son útiles.
• BI (SAP Business Objects, IBM Cognos, Microstrategy, Exalytics…)
• Analisis predictivo(SAS, SPSS)
• Modelado matemático (egMathematical Prediction)
• Minería de Texto, audio y video
• Procesamiento complejo de
Informatica, IBM Streams..
• BPM (Pega...)
• Herramientas de analisis en
time decision, SPSS, SAS)
• BAM (Business Activity
• Push (mail / mobile BI)
• ESB, SOA
28
Presentation Title | Date
Ejemplos de Big Data
Sector Ejemplo
RetailGran Consumo
Análisis de Redes Sociales para entender las tendencias y preferencias de Consumidores (Facebook, Twitter)
Manufactura Vibraciones de maquinas para ayudar en definir el tiempo optimo hasta la sustitución
Manufactura Análisis de Redes Sociales para entender posibles defectos de productos (Coches, Maquinas) que se discuten abiertamente
Salud Análisis de Expedientes Clínicos para entender que padecimientos requieren que tipo de tratamiento y prevenir reingresos costosos
Futbol Análisis de videos y otra información de partidos para determinar la estrategia a ganar
29
Presentation Title | Date
Solution:• Big Data established as a “shared service” across
multiple LOBs..• Business Cases: Next Best Action, Sentiment Analysis,
Cross-Sell/Upsell, Fraud Analytics, Mortgage Dispositions
Business Challenge:• Global bank establishing “Analytics” as a core
competency. Bank focusing on Information and Data as strategic asset.
• Bank is focused on Big Data as key analytics tool and establishing a Big Data COE to be leveraged into multiple lines of business of the bank – retail, cards, commercial
Big Data Deployments In Financial Services
Global Bank
30
Presentation Title | Date
Case Studies: Global Customer Products Company
Global Consumer Products Company
Jive
Radian6
Adobe Omniture
Eloqua
Social media analytics services. Listen, monitor and engage to the social conversation with Jive and Radian6 cloud solutions. Don’t miss a word customers say about you, no matter in what language or location. Open 24x7x365 around the globe
Web analytics services. Transform website traffic data into intelligence and actionable insights with Adobe Omniture, Discover and Insight. Built to transform large amounts of off- and online data
Email and web-based marketing campaign services. Automate and align multi channel marketing campaigns with Eloqua campaign management. From lead nurturing to multi channel effectiveness all by one cloud-based marketing automation experience
Search-marketing management services. Manage multiple advertisement accounts across multiple platforms as Google, Bing and others form a single interface with Adobe SearchCenter. Manage ad spend, click through, conversion and add creatives directly
31
Presentation Title | Date
Big Data Deployment: From Satellite to Mobile device
Capgemini Austria
TU Vienna / IPF
CapgeminiAerospace & Defense
GeoVille
Delivery Consortium
Office of the Styrian Government Dept. for Protective Hydraulic Eng. & Soil Water Management
Federal government of Lower Austria Department for fire department and civil protection
(Exemplary) End Users / “Clients”
New Business Model or Business Model Improvement
The FAAPS processing chainaccesses EO data and
generates geo-codedflood information
Scientific communityprovides withscientific algorithms
Satellite creates Earth Observation (EO) data
Disaster Management Centers accessflood information
Rescue Teams access flood informationvia mobile devices
Big Data Solution
ESA is advertising us: http://iap.esa.int/projects/security/faaps
Arquitectura de una Solución para Seguridad
Monitoreo Redes SocialesNoticiasVideo Wall
Sistema Alertas
- Palantir + CCTV Solution- ARCGIS + Palantir
Indicadores & KPIsReconocimiento Facial
Bio-AnálisisHerramienta Investigación
- Palantir
- Palantir- Palantir
Big Data(Estructurado y No
Estructurado)Datos Públicos Datos Privados Entidades de Justicia
OtrasFuente
s
DatosBancari
os
OtrasFuente
s
Internet IFAI Telefonía Intercepción Demandas
Gracias!!!!