HPE Vertica¿Qué es Vertica?

Carlos Gonzalez, HPE Big Data Sales Manager LA

Introducción a VerticaAnalytics siempre disponibles

Velocidad Escalabilidad Sencillez

Vertica proporciona una plataforma de analytics en tiempo real que ofrece:

► Low-latency para generar analytics “in-time”

► 50-1000x mejor desempeño en queries en comparación a otros manejadores tradicionales y orientados a columnas

► Hasta 10x mejor desempeño en carga de datos

► Sencilla instalación/uso con auto-configuración y tuning

► Alta escalabilidad y paralelismo nativo. Uso de hardware x86 estándar en la industria

► Arquitectura híbrida in-memory/on-disk

► Soporte para cargas de trabajo a gran escala

Sobre Vertica

• Fundada en: 2005

• Headquarters: Billerica, MA

• Adquirida por HP – Febrero 2011

• Clientes: +2500 incluyendo:

3000+ clientes y creciendo

Communications Consumer Marketing Online Web & Gaming Healthcare RetailFinancial Services

Clientes de Vertica en Latin America

Grupo ModeloMexico TSTT

Trinidad & Tobago

SIEMENS y FAPESPBrasil

Selmec / Grupo CarsoMexico

Telcel / AnritsuMexico

SBSEcuador

EntelChile

Seguros ConsorcioChile

IMMUruguay

Secretos para mejorar el rendimiento

Almacenamiento en columnas Compresión Escalabilidad

horizontal MPP Consulta distribuida Previsiones

Acelera el tiempo de consulta leyendo sólo los datos necesarios

Reduce costoso I/O para mejorar el

rendimiento global

Proporciona alta escalabilidad en

clústeres sin nodo maestro (name node) ni otros puntos únicos de

falla

Cualquier nodo puede iniciar las consultas y

utilizar otros nodos para trabajar. Sin punto único

de falla

Combina la alta disponibilidad con

optimizaciones especiales para el rendimiento de las

consultas

A B D C E A

Memoria

CPU

Disco

5

Funcionalidades principales: construido para la velocidadImpulsamos el rendimiento

6

Tardaba Ahora tarda

1 hora 3,6 segundos

8 horas (toda la noche)

Menos de 30 segundos

¿Qué significa 1000 %?

"Cuando hicimos las primeras consultas, tardaron tan poco que creímos que eran erróneas".

- Michael Relich, Guess?

Alta Disponibilidad NativaFuncionalidad RAID al nivel de la Base de Datos► Las Proyecciones están organizadas de modo que si un nodo falla, una copia estará disponible en

uno de los nodos sobrevivientes► Automáticamente almacena datos con redundancia ordenados de manera diferente para obtener

también mejoras en el desempeño► No se requieren Recoveries manuals basados en logs.

Queries & Loads siempre disponibles► El Sistema continuará realizando cargas y consultas aún cuando existan nodos caídos en el cluster. ► Recuperación de datos en nodos fallidos con base en los demás nodos.

A3 B3 C3 A2 B2 C2

B1 A1 C1B2 A2 C2 B1 A1 C1

A3 B3 C3 A1 B1 C1

B3 A3 C3

MáquinaHadoopSocial

Plataforma de análisis de Vertica

HP Vertica PulseExtracción de entidad, opiniones

HP Vertica Place

Conector con redes sociales

HP Vertica PulseRealiza análisis de opiniones

Desafío

Los análisis de opiniones son largos y pesados

– Extracción de entidades y análisis de opiniones escalables en bases de datos

– Agregado y deducción de opiniones– Primeros pasos fáciles

HP Vertica Pulse

Solución

8

Vertica PlaceAnálisis geoespacial

SELECT STV_Intersect(gid, geom USING PARAMETERS index=‘/dat/states.idx’) OVER() AS (call_gid, state_gid) FROM calls;

DesafíoAnálisis de

datos comprendiendo la geometría y/o geografía

– Uniones espaciales optimizadas con indexado geoespacial residente en la memoria sustituyen los costosos análisis por búsquedas sencillas

– Implementación basada en estándar OGC fácil de usar con funciones espaciales para computar: distancia, intersecciones

– Integración simple con aplicaciones de terceros

HP Vertica Place

Solución

9

HP Vertica: Un ecosistema Big Data integrado– Licenciamiento Flexible–No por nodo, CPU o core–Crece por necesidades–Licencias perpetuas y por tiempo–Paga sólo por producción–Licencias gratuitas de Test / Dev y

Disaster– Valor Agregado–Flex Zone–Conectores para HADOOP, ETL, BI

tools–Soporte para Distributed R–Pulse (Sentiment Analysis)–Soporte GeoSpatial–Funciones Análiticas SQL Nativas–Cloud, VM, x86– World Class Support –365 x 24 x 7 x 4 (1 hr Misión Crítica)– Basado en Estándares–Arquitectura de costo eficiente x86

con almacenamiento DAS–ODBC / JDBC–Linux (RHEL, SUSE, Debian,

Centos)–Solución Big Data Full Big Data

Solution in 120 MB

¿Cuál es el nivel de desgaste de los

últimos 6 meses?¿Qué clientes he

perdido?

¿Por qué ha aumentado el índice

de desgaste?

¿Qué clientes es más probable que

abandonen si no me pongo en contacto

con ellos?¿Cuáles lo harán si

me pongo en contacto con ellos?

¿Qué clientes debo intentar conservar?

¿Y si...?

¿Qué puedo ofrecer antes de que el

cliente sea consciente de la necesidad?¿Valor añadido?

De la percepción retrospectiva al entendimiento y la previsión

INFORMACIÓN ENTENDIMIENTO DECISIÓN ACCIÓN

Descripción Diagnóstico Predicción Prescripción Prevención

¿Quéha pasado?

¿Por qué hapasado?

¿Quéva a pasar?

¿Quédebo hacer?

¿Qué máspuedo hacer?

11

Características de análisis de Vertica

Vertica SQLConvenciones SQL-99 estándar

Vertica Extended-SQLAnálisis avanzados con SQL

Innovaciones de VerticaAnálisis avanzados usando Custom Logic

Extensiones definidas por el usuario de Vertica

Agregar Creación de sesiones Pruebas de regresión Análisis– C++– Java– R

Conexión– ODBC/JDBC– HIVE– Hadoop– Flex Zone

Análisis Series de tiempo– Intervalo– Interpolación (constante y lineal)– Relleno de huecos– Agregar

Modelado estadístico

Funciones de ventana Ventanas basadas en eventos– Evento de cambio condicional– Evento verdadero condicional

Algoritmos de clasificación

Graph Uniones de series de eventos Categoría de página

Monte Carlo Redes sociales/pulso– Análisis de texto– Patrones/tendencias

Análisis de texto

Geoespacial Coincidencia de patrones– Coincidir, definir, patrones de palabras

claves– Análisis de embudo

Geoespacial (lugar)

Estadística

12

Comprendemos las necesidades de análisis de cada industriaFinancial

servicesConsumer goods Retail and

distributionTelecom and utilities

Government, Health, Education

Campaign analytics(target marketing, up-sell)

Consumer insights(needs, behavior, pricing)

Customer analytics(target marketing, up-sell)

Customer value(churn / loyalty, cross-sell)

Resource allocation(GIS, segmentation, budgets)

Pricing analytics(bundling, elasticity, discount)

Marketing effectiveness(mix plg., promotion effect)

Marketing effectiveness(mix plg., promotion effect)

Pricing analytics(bundling, elasticity, discount)

Program analyses(effectiveness, leakage)

Loss modeling(claims forecast, fraud)

Supply chain analytics(sourcing, inventory, network)

Supply chain analytics(sourcing, inventory, network)

Supply chain analytics(sourcing, inventory, network)

Staffing analytics(schedule, perf, rewards)

Credit risk(limits, authentication)

Distribution analytics(network optim, capacity util)

Distribution analytics(network optim, capacity util)

Customer svc analytics(resolution, warranty, staff)

Loss modeling(claims, leakage, fraud)

Collections(dunning, optimization)

Channel performance(store segment, coverage)

Store operations(labor schedule, shelf-space)

Leakage analyses(contracts, billing, costs)

Web analytics(brand, traffic, commerce)

Market and Competitor intelligence(research, insights)

Business performance management(scorecards, scenarios)

Los datos son importantes con Vertica Diseñado especialmente para los Big Data desde la primera línea de código

Consiga entendimiento de sus datos entre 50 y 1000 veces más rápido

que con productos heredados

Análisis en tiempo real

Escala su solución hasta el infinito añadiendo un número

ilimitado de nodos de bajo coste

Escalabilidad masivaCompatibilidad integrada con

Hadoop, R, y una serie de herramientas de ETL e inteligencia empresarial

Arquitectura abiertaAlmacene entre 10 y 30 veces más datos por servidor que las

bases de datos basadas en filas con la compresión de columnas

patentada

Almacenamiento de datos optimizado

14

In situ Nube privada Nube pública HadoopImplementa en:

Servicios profesionales de VerticaCapacitación y asesoramiento dirigidos para la implementación de Vertica

Áreas de atención

Qué proporcionamos– Asistencia sobre Vertica a

cargo de expertos– Asesoramiento de equipo de

proyecto in situ– Implementación de plataforma

Vertica y asesoramiento sobre prácticas recomendadas

Recursos públicos, privados y gratuitos– Administradores de sistemas– Administradores de bases de

datos– Desarrolladores de

aplicaciones– En línea y en persona

Formación

Asistencia de proyecto proactiva para Vertica– Instalación de software– Carga de datos– Ajuste del rendimiento de las

consultas– Soporte de puesta en

funcionamiento– Planificación de continuidad– Mantenimiento de clústeres

Implementación

Verificación del estado de Vertica– Análisis y recopilación de

datos del sistema por expertos in situ

– Informe detallado de auditoría sobre los resultados

– Implementación de las recomendaciones (opcional)

Evaluación

15

16

Obama 2012

Hey

Hey!

+

+

+

=

Winning Presidential Elections

– Challenge at DNC

• Demand data on everything, measure everything, and create an analytics team that would make sure the DNC made more well-informed, intelligent decisions

• Fix the fragmented approach that limited the usability of the data

• Create new programs that get more Democrats votes at the polls

The U.S. Democratic National Committee for President Barack Obama– HP Vertica Solution

• Created an environment that let 100 data scientists pursue their ideas with predictable simplicity and high performance

• Made correlations in the data that would have been impossible for the ’08 election

• Made more effective utilization of television and marketing budget by using predictive modeling to optimize when and where to buy television ad time (ultimately making twice as many cable buys as Romney’s team)

Gracias

22