Inteligencia de negocio en la nube, una realidad palpable!!!

Inteligencia de Negocio en la nube, una realidad palpable!!!

Jose Redondo

Expositor

Jose Redondo Chapter Leader SQL PASS Venezuela – Caracas Chapter DPA SolidQ Senior Consultant SynergyTPC, Bogotá - Colombia MCP | MCTS - MS SQL Server; MTA - DAF | SQL Server MVP

Organización

Patrocinadores / Sponsors

GOLD

SILVER

BRONCE

Personal/Swag

AGENDA

Análisis Empresarial en el Nuevo Mundo de Datos

Análisis del Big Data Plataforma Analítica On-Premise, Cloud y

Híbrida Análisis Avanzado Demo Conclusiones

Análisis Empresarial en el Nuevo Mundo de Datos

Propósito de BI

Ayudar a los usuarios a generar una mejor decisión empresarial

Enfocado en lo que dice & Conocimiento oculto en los datos

El mundo de los datos es cambiante

Explosión de los datosHambre de informaciónNuevas preguntas

Aumento de 10x cada 5 años

85% desde nuevos tipos de datos

Propósito del Análisis Empresarial

Apoderar a las personas a tomar decisiones de sentido común basadas en hechos probados

Extraer el conocimiento de los datos, validando, simplificándolo y visualizando

Análisis Empresarial

Almacenes de datos (DW)

Big data BI

Valores de análisis modernos

Nuevo mundo de datos

En 2015, las organizaciones han de integrar alto valor, diversificándose, generando nuevos tipos y fuentes de información en una infraestructura de gestión de información coherente, superando a sus colegas del sector financieramente por más de 20 %.

Gartner, Regina Casonato et al., “Information Management in the 21st Century”

Una buena Plataforma BI es la clave para el Análisis Empresarial

Información CorrectaContexto AdecuadoFormato Atractivo

EnfocadoFiltradoSimplificado

Implantaciones Inmersivas

Cualquier dato,cualquier tamaño,en cualquier lugar

Conectando con el mundo de los datos

Microsoft Business Analytics

Implantaciones Inmersivas

Cualquier dato,cualquier tamaño,en cualquier lugar

Conectando con el mundo de los datos

Microsoft Business Analytics

Microsoft Business Analytics

Excel: Fundación de autoservicio analítico

Compartir

Limpieza

Mash-up

Explorar

Visualizar

Reportar

Familiar, análisis poderoso

PowerPivot,DAX, Cubes, Data Mining

ColaborarEscalarAdministrar

Power ViewCharts, Slicers, Timelines

Que acontece?

Modelos preparados y probados por un analista o usuario

Interacción con el usuario de manera natural, sin embargo, es escalable y segura

Modelo Tabular desplegado desde Excel para IT, refrescando diariamente los datos desde DW

Mobilidad

Próximamente, aplicaciones BI móbiles nativas para iOS y Windows 8

Generado en SharePoint 2013, PPS optimizado ahora para táctil

Rápido, Avanzado In-Memory

xVelocity In-Memory Analytics

Data warehouse

Desktop Modelo Analítico

Mañana: OLTP Relacional

“Hekaton”

Conectando con el mundo de los datos

Hacia

DesdeBUSQUEDA

RECOMENDACIÓN

IDENTIDADCONTEXTO DOCUMENTAL

GRAFICACIÓN SOCIAL

EXPLORADOR DE DATOSDATA HUB

Data Quality, EUC, End-User Computing (Spreadmart)

MDM – Administrador Maestro de Datos

AutoservicioCalidad del origen de datos

DQS – Servicios de Calidad de Datos

Calidad de ETL’s

Office Audit and Control Management Server 2013

Cualquier dato, cualquier tamaño,en cualquier lugar

Relacional No relacional

Streaming010101010101010101

101010101010101001010101010101

101010101010

Cualquier dato, cualquier tamaño,en cualquier lugar

Parallel Data Warehouse

Business Data Appliance

Fast Trackfor

Arquitectura de referencia DW

Aplicando DWAlmacén de Datos Relacionales

Relacional, Estructurado

Complejidad, No Relacional, No Estructurado

Seguridad Empresarial, DisponibilidadIntegración con herramientas Microsoft BIProvisión en minutos con Windows Azure

Microsoft HDInsightHadoop

Cualquier dato, cualquier tamaño,en cualquier lugar

Análisis del Big Data

Big data, o sólo datos complejos?

Velocidad

Variedad Complejidad

volume

Data

InterpretandoPreparando

Big data de hoy, pocos datos del mañana

Complejidad vs. Capacidades actuales

Dominio Escenarios comunes de Big Data

Servicios Financieros Modelando riesgos reales

Detección de fraude y análisis de amenazas

Vigilancia del comercio

Credit scoring y análisis

Medios & Entretenimientos Motores de recomendación

Ad targeting

Calidad de búsqueda

Abuso y haga clic en detección de fraude

Ventas Punto de análisis de transacciones de ventas

Análisis de abandono de clientes

Sentimiento analítico

Telecomunicaciones Prevención de abandono de clientes

Optimización de rendimiento de la red

Análisis Call Detail Record (CDR)

Predicción de fallas de redes

Gobierno Seguridad cibernética (botnets, fraudes)

Congestión de tráfico y desvíos

Monitoreo ambiental

Monitorización antisocial a través de los medios de comunicación social

Salud Investigación genómica

Investigación del cáncer

Detección temprana de las pandemias de salud

Monitoreo de la calidad del aire

Big data de hoy, pocos datos del mañana

Big Data + BI Tradicional = Power & Simplicidad

Grandes, rápido, o datos complejos

Microsoft HDInsightSQL Server tabular,

multidimensional, DW relacional, o PDW

0101010101010101011010101010101010

01010101010101101010101010

Interacción, exploración, visualización

Microsoft HDInsight

Distribución de Apache Hadoop

Desarrollado por Hortonworks & Microsoft

Integrado con Microsoft BI

Principios de Hadoop

Método práctico para paralelización masiva de procesamiento de datos analítico

dataDistribuidaprocesamientoDistribuido

Motor analítico de Microsoft, Yahoo, Google, Facebook, Netflix, Klout…

Principios de Hadoop: Datos

HDFS (Hadoop File System)Rack de red consistente para reducir al mínimo las transferencias

Acceso como archivos normalesConsulta como almacén (Hive) usando HiveQL

Principios de Hadoop: MapReduce

Su lógica de procesamiento se divide entre mapeo y reducir las funciones

Mapear el problema en más pequeño (dividir)

Reducir resultados en agregados de alto nivel (conquistar)

MapReduce es como dividir-y-conquistar

Hadoop Clúster

dataDistribuidaprocesamientoDistribuido

Yahoo! Hadoop cluster, about 2007.

Hadoop Clúster

dataDistribuidaprocesamientoDistribuido

Buster Cluster, es un proyecto de investigación temprana creado por Miles Osborne, University of Edinburgh, School of Informatics.

Hadoop Clúster

dataDistribuidaprocesamientoDistribuido Cloud

rent-a-Hadoop-cluster, o:“Supercomputer for cents”Windows Azure HD Insight

Procesamiento lógico en HDInsight

Escribe Jobs de MapReduce en Java o cualquier lenguaje de Windows (.NET), mediante la entrada-salida estándar

Pig Latin con Funciones Definidas por el Usuario (UDFs) en Python, JS, C#, Java, and .NET

Bajo nivel, rápido, complejo Sencillo, Paralelismo masivo

Contador de Palabras en JS - MapReduce

• var map = function (key, value, context) {

• var words = value.split(/[^a-zA-Z]/);

• for (var i = 0; i < words.length; i++) {

• if (words[i] !== "") {

•context.write(words[i].toLowerCase(), 1);

• }

• }

• };

• var reduce = function (key, values, context) {

• var sum = 0;

• while (values.hasNext()) {

• sum += parseInt(values.next());

• }

• context.write(key, sum);

• };

Ejemplo de Pig Latin - Esto es Paralelismo!!!

raw = LOAD ’search.log' USING PigStorage('\t') AS (user, time, query);

houred = FOREACH raw GENERATE user, org.apache.pig.tutorial.ExtractHour(time) as hour, query;

ngramed1 = FOREACH houred GENERATE user, hour, flatten(org.apache.pig.tutorial.NGramGenerator(query)) as ngram;

ngramed2 = DISTINCT ngramed1;

hour_frequency1 = GROUP ngramed2 BY (ngram, hour);

… [see http://pig.apache.org/docs/r0.7.0/tutorial.html]

STORE ordered_uniq_frequency INTO '/tmp/tutorial-results' USING PigStorage();

Procesamiento lógico reutilizable - Librerías

Aprendizaje automáticoMinería de datos escalable

Filtrado colaborativo, Recomendadores, Clustering, La descomposición en valores simple, Parallel frequent pattern mining, Naive Bayes, Árbol de decisión

Desde HDInsight haciendo mas atractivo Microsoft BI

Conector para Hadoop de SQL Server & PDWDriver ODBC para HivePanel Excel Hive

Prontamente: SQL Server PolyBase:Unificando las consultas relacionales de SQL y Hive, no es necesario para HiveQL

Operacionalizando Hadoop

Microsoft HDInsight para:

Aprovisionamiento y gestión de clústeres

Asignación de Jobs

Seguridad

Escalabilidad

Plataforma AnalíticaOn-Premise, Cloud y Híbrida

Evolución de la Infraestructura IT

Nube Privada: VMs + Admin Cloud

Nube Pública con VMs

Nube Pública sin VMs: Cloud OS

Centro de Datos no virtualizados

Centro de datos virtualizados

IT Hibrido

Seis infraestructuras en cuatro categorías

PrivadaNUBE

TradicionalNO-VIRTUALIZADO

PublicaNUBE

IT Híbrida

AplicacionesNo-Virtualizadas

Agrupado (Virtualizado)ElásticoAutoservicioBasada en el uso

Servicios GestionadosAgrupado (Virtualizado)ElásticoAutoservicioBasada en el uso

Aplicaciones HíbridasMódulos de aplicaciones y datos en-prem y off-prem

Tradicional Centro de Datos

No-Virtualizado

Tradicional, Full Control, Costoso para gestionar, actualizar, migrar

Centro de Datos Virtualizados

Hyper-V Primer paso hacia la nube privadaMás baratoNo hay beneficios palpables en la nube todavía

Nube Privada

Administrando VMs +

System Center

Nube privadaBasado en PlantillasAprovisionamiento,Gestión de acciones y métricas

Nube Pública con VMs

Nube Administrada

VMs Administradas

Fácil administración desde la Nube PrivadaTodos los beneficios de la Nube PrivadaTCO eficiente

Nube Pública es un nuevo OS, no VMs

Servicios en la Nube para nuevas aplicaciones de software

Moderno & orientado al futuroMejor escalabilidad y agilidadNo incrementa el costo capital, Usualmente es más económica

IT Híbrido: Privada + Publica

Muchas combinaciones de arquitecturas

Privada no-VM—publica VMPrivada VM—publica VMPrivada VM—publica non-VMPrivada no-VM—publica non-VM

Opciones para una Plataforma Análitica

Granjas PrivadasGranjas Públicas VMSharePoint Online

Servidores PrivadoPublicas en VMAzure:SQL Database,SQL Reporting,Datamarket, HDInsight

Localmente instaladoOffice 365SkyDrive

IT Hibrido

Todas las caractéristicas - Analisis moderno

Granjas Privadas en la Nube+Granjas Públicas VM

Servidores Privados,Windows HDInsight+Publicas en VMHDInsight Azure

Localmente instalado+Office 365

Porqué Microsoft para IT Híbridos

PrivateCLOUD

TraditionalNON-VIRTUALIZED

PublicCLOUD

Recursos Comunes

IT Híbrido

Identidad Herramientas de Desarrollo Herramientas de Adm

Nube en nuestros términos

Nube Pública: Dos opciones

Nube Pública

Aplicaciones Híbridas (VM)

Business App

Connect

SQL Server

ON-PREM

WINDOWS AZURE

Windows Azure Virtual Network

Ext

en

dFlexibility &

Control

Low TCO for Existing Apps

Full SQL Server

Capability

Managed Infrastructure

SQL Server in VM

Nuevos diseños de Apps en la Nube

SQL Database

Mobile Web

Managed Platform & Infra.

Low TCO for New Apps

Dynamic Scalability

Based on SQL Server

Technology

Apps Híbridos (no VM)

On-Prem Business App

SQL Database

On-Prem SQL Server

Data

Sync

Connect

Co

nn

ect

Managed Platform & Infra.

Low TCO for New Apps

Dynamic Scalability

Based on SQL Server

Technology

Nube Privada

Todas las característicasNube Privada Analítica

Granjas de Nubes Privadas

Nube Privada, HDInsight para Windows Server

Instalado localmente

System Center para la administración y aprovisionamiento de la nube privada

SQL Server para la Nube Privada

Soluciones para la Nube Privada

Rápido Tiempo de solución

Bueno Muy bueno Excelente

Ejecución a escala

Flexible en componentes

Rápido Tiempo de solución

Bueno Muy bueno Excelente

Ejecución a escala

Flexible en componentes

Rápido Tiempo de solución

Bueno Muy bueno Excelente

Ejecución a escala

Flexible en componentes

Construido sobre DW relacional

Arquitectura de Referencia Fast Track DW

Infraestructura PDW & BDW

ANALÍSIS AVANZADO

DAXMicrosoft Analytics Lenguaje

Estilo Excel, Expresiones tabularesCampos calculados & KPI’sContextos & filtros consistentes

Forma parte de Excel 2013 Modelo de datos (PowerPivot)Lenguaje para proyectos SSAS tabular

Data Analysis Expressions

Expresiones DAX

= [First Name] & " " & [Last Name] Concatenación de cadenas, como en Excel

= SUM (Sales[Amount]) Creación de SUM en contextos de agregaciones

= RELATED (Product[Cost]) Sigue relaciones entre tablas, como las uniones

No se hace referencia a celdas o rangos individuales

Las funciones siempre se refieren a las columnas o tablas

Modelo Semántico BI

Data Model

Business Logic & Queries

Data Access ROLAP MOLAP xVelocity

MDX, soon: “DAXMD” DAX

Multidimensional Tabular

Applications Power View Excel PowerPivot

Databases Applications Files OData feeds Cloud services

SharePoint

Direct query

Entregando Power View y PowerPivot a los usuarios

Archivos Standalone Excel

Excel en SharePoint, SharePoint Online, SkyDrive

Power View, PowerPivot directamente en SSAS ModoSharePoint

Modelo tabular SSAS nativo + Archivo de conexión SharePoint BISM

SQL Server 2012 Analysis ServicesTabular Mode

Escalabilidad empresarial y seguridad para el modelo de datos

Accesible desde SharePoint y sus aplicaciones

Construido en Excel PowerPivot, desplegado en SSAS

Seguridad dinámica, Particiones, >2 billones de registros, imagenes

Power View

Exploración de datos interactivos y presentación visual Experiencia de usuario

Excel 2013

SharePoint 2013 SQL 2012 SP1 Reporting Service

Visualización de datos Power View

Tablas, matrices, small multiples, cards, tiles, filters, slicers

Chart, scatter plot, bubble animation

Interacción Geoespacial y Mapas con Bing

Qué hace la Minería de Datos?

Buscar objetivos

Explorar sus datos

Predecir

Qué es la Minería de Datos?

Estadística, probabilidad y aprendizaje automático

Visualización de patrones

Tecnología para el descubrimiento de patrones de conocimiento ocultos, correlaciones

Minería de

Datos

Análisis de rentabilidad

Entender las necesidades

del cliente

Anticipar acciones

Predecir ventas & inventario

Construir efectivamente campañas de mercadeo

Detectar y prevenir fraudes

Corregir datos

durante procesos

ETL

SQL ServerAnalysisServicesServer

Tus modelos de mineria de datos

Algoritmos de mineria de datos Origendatos

Excel, Visio, SSRSTu aplicación

Despliegue

ExcelVisioSSDTSSMS

AppData

Arquitectura de la Minería de Datos

Data Mining Add-Ins para Office 2013

Gratis!Conecta a Excel y Visio hacia SSAS

Tab Data Mining

Full Power

Tab de AnálisisSencillo de usar

Decision Trees Finds the odds of an outcome, great for visualising relationships between values

Association Rules Identifies causal relationships between cases, good for market basket analysis and recommendation engines

Clustering Classifies cases into distinctive groups based on any attribute sets

Naïve Bayes Shows the differences in a particular variable for various data elements

Sequence Clustering Groups or clusters data based on a sequence of previous events

Time Series Analyzes and forecasts time-based data combining the power of ARTXP for accurate short-term predictions with ARIMA

Neural Nets Uncovers non-intuitive relationships

Linear Regression Determines mathematical linear relationship between inputs and an outcome

Logistic Regression Determines the relationship between columns in order to evaluate the probability that a column will contain a specific state

DEMO

• Análisis de negocios en el nuevo mundo de los datos: Conectados, inmersivo, de cualquier tamaño

• Plataforma Microsoft más poderosa y sencilla

• Big data = Datos demasiado complejos para los métodos tradicionales

• Microsoft HDInsight + Sencillez de BI tradicional = Potentes herramientas de análisis

• Desde el centro de datos tradicional a la nube OS: Su opción flexible para el análisis

• Nube en sus propios términos: Está bien cambiar de opinión

• Advanced Analytics no es complejo hoy día

• Microsoft Business Analytics: Potencia y simplicidad

CONCLUSIONES

Inteligencia de Negocio en la nube, una realidad palpable!!!

Jose Redondo - SQL Server MVPCorreos: redondoj@gmail.com | jredondo@solidq.com

Twitter: @redondoj

Blog: redondoj.wordpress.com