Embed Size (px)
DESCRIPTION
En esta sesión veremos ejemplos,de como realizar análisis de big data con PowerView integrato con HDInsight y HortonWorks
Citation preview
Visualización de BigData con PowerView
28 de Agosto (12 pm GMT -5)
Eduardo CastroResúmen:En esta sesión veremos ejemplos,de como realizar análisis de big data con PowerView integrato con HDInsight y HortonWorks.
Próximos Eventos
Aprendamos DAX
10 de SeptiembreJosé Ahias López Portillo
Mejores prácticas de SQL Server para implementar SharePoint
3 de SeptiembreDavid Sánchez
Indices columnares en SQL Server 2014
10 de SeptiembreJosé L. Rivera
Está por comenzar:
Visualización de Big Data con Power View27 Agosto 2014
Eduardo CastroSQL Server MVP PASS Regional MentorComunidad Windows PASS Chapter
Objetivos de la sesión
Qué es Big data Introducción a HDInsightAutoservicio de Inteligencia de Negocios (BI): Excel 2013 PowerPivot Excel 2013 Power View
Características de BI de Excel 2013Creación de un solución de BI con Big Data BI dentro de Excel
2013
Qué es Big Data?
Megabytes
Gigabytes
Terabytes
Petabytes
ERP
CRM
WEB
BIG DATA
Offer details
Support Contacts
Customer Touches
Segmentation
Web logs
Offer history
A/B testing
Dynamic Pricing
Affiliate Networks
Search Marketing
Behavioral Targeting
Dynamic Funnels
User Generated Content
Mobile Web
SMS/MMSSentiment
External Demographics
HD Video, Audio, Images
Speech to Text
Product/Service Logs
Social Interactions & Feeds
Business Data Feeds
User Click Stream
Sensors / RFID / Devices
Spatial & GPS Coordinates
Incremento de variedad y cantidad de datos
Transacciones + Interacciones
= BIG DATA
Dominio Escenarios de grandes volúmenes datos comunes
Servicios financieros Modelado riesgo verdaderoAnálisis de las amenazas y detección de fraude
Vigilancia ComercioEl puntaje de crédito y análisis
Medios y Entretenimiento
Los motores de recomendaciónFocalización Ad
Buscar calidadLos abusos y detección de fraude de clics
Venta al por menor Punto de análisis de las transacciones de ventasAnálisis de la pérdida de clientes
El análisis de sentimientos (sentiment analysis)
Telecomunicaciones Cliente prevención del churnLa optimización del rendimiento de la red
Detalles de llamadas (CDR) y su análisisPredicción de fallos de red
Gobierno Seguridad Cibernética (botnets, fraudes)La congestión del tráfico y re-enrutamiento
Monitoreo AmbientalMonitoreo Antisocial través de medios sociales
Salud La investigación del genomaLa investigación del cáncer
Pandemias detección tempranaMonitoreo de la calidad del aire
Procesamiento de datos y análisis: The Old Way
La naturaleza cambiante del Big Data
Volumen - La cantidad de datos que han creado las empresas a través de La web Dispositivos móviles Infraestructura de TI y otras fuentes está creciendo exponencialmente cada año.
Principales fuentes de datos
Redes sociales y medios de comunicación 700 millones de usuarios de Facebook, 250 millones de usuarios deTwitter y 156 millones de blogs públicos
Dispositivos móviles Más de 5 mil millones de teléfonos móviles en uso en todo el mundo
Transacciones en Internet miles de millones de compras en línea, operaciones de bolsa y otras transacciones ocurren todos los días
Dispositivos de red y sensores
Plataforma de Big Data Micrsooft
Integración con herramientas Microsoft
Integración con las herramientas de Análisis de Microsoft
APPL
ICAT
ION
SDA
TA S
YSTE
MS
Aplicaciones Microsoft
HORTONWORKS DATA PLATFORM
For Windows
DATA
SO
URC
ES
MOBILEDATA
OLTP, POS SYSTEMS
Fuentes tradicionales(RDBMS, OLTP, OLAP)
Nuevas Fuentes(web logs, email, sensor data, social media)
HADOOP PARA WINDOWS
HDP para Windows
Hortonworks Data Platform (HDP) For Windows100% Open Source Enterprise Hadoop
HORTONWORKS DATA PLATFORM (HDP)For Windows
PLATFORM SERVICES
HADOOP CORE Distributed Storage & Processing
DATASERVICES
Store, Process and Access Data
OPERATIONAL SERVICES
Manage & Operate at
Scale
Manage & Operate at
Scale
Store, Process and Access Data
Distributed Storage & Processing
Enterprise Readiness
Parallel Data WarehouseHDP
Windows Azure
La distribución de Apache Hadoop distribución
desarrollado por Hortonworks y Microsoft
Integrado con Microsoft BI
Microsoft HDInsight
Big data + BI tradicional = BI Poderoso
grandes cantidad
es de datos
Microsoft HDInsight
Tabular
OLAPSQL
0101010101010101011010101010101010
01010101010101101010101010
Visualización
PDW + Polibase
Microsoft Azure HDInsight
Cómo instalar un clúster HDInsight
Introducción a HDFS
Ejecución de una tarea de Map / Reduce
El procesamiento de los datos con Pig
Creación de tablas Hive
Cargando Tablas Datos en HiveConsulta de Tablas con HiveQL
Windows Azure HDInsight Service
Hadoop
Windows Azure Blob Storage
HDFS
Hadoop Filesystem Interface
Hive Pig Map Reduce
Query & Metadata:
SqoopData Movement:
OozieWorkflow:
HCatalog
Gateway (REST APIs)
Carga/Descarga de Datos
Ambari
Monitoring:
Job submission (hive query, etc)
Windows Azure HDInsight Service
Compute NodeCompute NodeCompute NodeCompute Node
Windows Azure Blob StorageHead
Node
Gateway (REST APIs)
Hadoop Cluster
Job submission (hive query, etc)
Cluster Dashboard UI
Creación de tablas Hive
• Utilice la sentencia CREATE TABLE HiveQL• Define los metadatos del esquema que se establece sobre
los datos en una carpeta cuando se consulta la table
• Especifica el formato de archivo y ubicación• Por defecto el formato es un archivo secuencial en la
ruta /hive/warehouse/<table_name>
• Crear tablas internas o tablas externas
Crear tabla externa
CREATE EXTERNAL TABLE table_name ({<column_definition>}[,..n ])
{WITH ( DATA_SOURCE = <data_source>, FILE_FORMAT = <file_format>, LOCATION =‘<file_path>’, [REJECT_VALUE = <value>],
…)};
Hacer referencia a la fuente de datos externa
1
Hacer referencia a formato de archivo externo
2
Ruta de acceso del archivo / carpeta Hadoop
3
(Opcional) Rechazar parámetros4
Cargando Datos en Hive
• Guarde los archivos de datos en los directories para tablas
• Utilice la instrucción LOAD• Mueve o copia los archivos al directorio correspondiente
• Utilice la sentencia INSERT• Inserta datos de una tabla a otra
Crear origen de datos externo
CREATE EXTERNAL DATA SOURCE datasource_name
{WITH ( TYPE = <data_source>, LOCATION =‘<location>’, [JOB_TRACKER_LOCATION = ‘<jb_location>’]};
Tipo de fuente de datos externa1
Lugar de origen de datos externos
2
La activación o desactivación de la generación de trabajo MapReduce
3
Consulta de Tablas con HiveQL
• Consultar datos utilizando la sentencia TSQL SELECT
• Hive traduce la consulta en tareas de Map/Reduce y aplica el esquema de la tabla a los archivos de datos
HDInsight en Excel
Acceso a HDInsight desde Excel
Uso del proveedor Hive ODBCUso de las consultas con HDInsight
Acceder HDInsight desde Excel
• Driver Hive ODBC para HDInsight• Soporta sintaxis similar a T-SQL para consultar las tablas del clúster
• Requiere un clúster HDInsight activo
• PowerQuery• Soporta la importación de datos desde cualquier archivo en HDFS
• Se puede utilizar cuando el clúster HDInsight está inactivo
Instalar el Hive ODBC Driver
1. Descargue e instale el driver Hive ODBC para HDInsight
2. Crear un nombre de origen de datos (DSN) para el clúster de HDInsight
3. Utilice el Asistente para la conexión de datos en Excel para importar datos
Importación de datos Windows Azure Marketplace En Excel
• Puede importar datos de Windows Azure Marketplace directamente en Excel usando:• PowerQuery• PowerPivot• PowerView
29
Manténgase conectado a nosotros!
Visítenos en http://globalspanish.sqlpass.org
/SpanishPASSVC
lnkd.in/dtYBzev
/user/SpanishPASSVC
/SpanishPASSVC
PASS Community News
August 2014
Planning on attending PASS Summit 2014? Start saving today!
• The world’s largest gathering of SQL Server & BI professionals
• Take your SQL Server skills to the next level by learning from the world’s SQL Server experts, in 190+ technical sessions
• Over 5000 attendees, representing 2000 companies, from 52 countries, ready to network & learn
Ask your Chapter Leader how to save $150 off registration!
$1,895UNTIL SEPTEMBER
26, 2014
PASS Virtual Chapters Listing
Check out the sqlpass.org for more information on all the Virtual Chapters:
• Application Development• Big Data• Book Readers• Business Analytics• Business Intelligence• Cloud• Data Architecture• Database Administration• DBA Fundamentals• Excel BI• Healthcare• High Availability and Disaster Recovery• InMemory• Master Data\Data Quality
• Oracle SQL• Performance• Powershell • Professional
Development• Security• Virtualization• Women in Technology• Global Chinese• Global French• Global Hebrew• Global Italian• Global Portuguese• Global Russian• Global Spanish
Virtual Chapter Meetings – August
VIRTUAL CHAPTER
MEETING TOPIC
DBA Fundamentals
Aug 5 11:00– 12:00 CDT (UTC -05:00)
Rolling Upgraders, The Easy Way Presented by Argenis Fernandez
Global Spanish Aug 6 12:00-12:30 (UTC -05:00) Los Caso de Uso Para In-Memory OLTP Presented by Warner Chaves
Global Hebrew Aug 10 17:30-18:30 JDT (UTC +02:00)
Take Your SQL Server Development Process Forward! Presented by Itai Binyamin
Professional Development
Aug 12 12:00-13:00 EDT (UTC -04:00)
Bridging the Communication Gap Between DBA and Developer Presented by Robert Davis
High Availability and Disaster Recovery
Aug 12 12:00-13:00 CDT (UTC -05:00)
Mirroring Start to FinishPresented by Ryan Adams
Virtual Chapter Meetings – August
VIRTUAL CHAPTER
MEETING TOPIC
Global Spanish Aug 13 12:00-13:00 (UTC -05:00) Haciendo Preguntas Básicas en Power BIPresented by Andrei Garzon
Excel Business Intelligence
Aug 14 11:00-12:00 EDT (UTC-04:00)
Advanced Analytics: Excel SolverPresented by Dan Fylstra
Business Intelligence
Aug 14 11:00-12:00 EDT (UTC -04:00)
Continuous Integration for Reporting ServicesPresented by Nat Sundar
DBA Fundamentals Aug 19 11:00-12:00 CDT (UTC -05:00)
The Roadmap to Better Performance: Reading Query Plans Presented by Erin Stellato
Global Spanish Aug 20 12:00-12:30 (UTC -05:00) Fundamentos sobre lost indices end SQL Presented by Enrique Puig
Virtual Chapter Meetings – August
VIRTUAL CHAPTER
MEETING TOPIC
Global Russian Aug 20 15:00-16:30 (UTC +03:00)
SSIS - Повышение производительности обработки потоков данных
Global French Aug 21 20:00-21:00 RST (UTC +01:00)
Power BI Hybride avec la Passerelle de Gestion de Données Presented by Jean-Pierre Riehl
Business Analytics Aug 21 12:00-13:00 CDT (UTC -05:00)
Looking Through the Windshield: Creating forward-looking Dashboards and KPI’s Presented by Brian Larson
Business Intelligence
Aug 27 12:00-13:00 GMT (UTC-00:00)
Intro to RPresented by Stephanie Locke
Global Spanish Aug 27 12:00-13:00 (UTC-05:00) Visualización de Big Data Con Power ViewPresented by Eduardo Castro
Upcoming SQLSaturdays
Upcoming North America Events Upcoming International Events
• Aug 2 #324 Baton Rouge
• Aug 9 #304 Indianapolis
• Aug 23 #328 Birmingham
• Aug 23 #309 Oklahoma City
• Sep 6 #320 Raleigh
• Sep 13 #300 Kansas City
• Sep 20 #331 Denver
• Sept 20 # 340 San Diego
• Aug 30 #327 Johannesburg
• Aug 30 #317 Oslo
• Sep 6 #301 Cape Town
• Sep 13 # 323 Paris
• Sep 20 #290 Kiev
• Sep 20 #310 Dublin
• Sep 27 #325 Sao Paulo
Visit www.sqlsaturday.com to register for an event near you!
37
Volunteering with PASS
Volunteer Today!
Now it’s easier than ever to volunteer with PASS.
Let us know your volunteer preferences by updating the “myVolunteering” section of your
myPASS profile.
PASS would not exist without our passionate, dedicated, and hardworking volunteers from
around the globe.
38
Outstanding Volunteer Award
Do you know a volunteer that has gone above and beyond recently?
Nominate them for the monthly OVA.
Volunteering with PASS
PASSion Award
The highest of PASS accolades presented yearly to a volunteer. Nominations will open in August
2014.
Stay tuned!
Stay Involved!• Sign up for a free membership today at sqlpass.org
• Linked In: http://www.sqlpass.org/linkedin• Facebook: http://www.sqlpass.org/facebook• Twitter: @SQLPASS• PASS: http://www.sqlpass.org
Programa de Reconocimiento
Programa de Voluntario Sobresaliente
• PASS le invita a nominar a su voluntario favorito para ser “Voluntario Sobresaliente del Mes”
• Enviar nominaciones en todo momento a: [email protected] Favor proveer:
• Información de contacto del nominado,• una lista breve de los programas de PASS que a participado el nominado• los años que lleva activo en la comunidad• una corta descripción por el cual considera que esta persona debe ser reconocida
• Los nominados seleccionados serán anunciados en la edición del boletín PASS Connector y recibirán un certificado de apreciación.
Mejores prácticas de SQL Server para implementar sharepoint
3 de Septiembre (12 pm GMT -5)
David SánchezResúmen:En esta sesión tendremos la oportunidad de conocer las mejores prácticas para una implementación de SQL Server para la plataforma de SharePoint Server.
Próximo Evento
