Upload
wso2-inc
View
272
Download
1
Embed Size (px)
Citation preview
Soluciones para Mejorar la Toma de Decisiones
La Analítica en Tiempo Real y Batch usando WSO2 DAS
BIG DATA – Conceptos Clave
Análisis, procesamiento y almacenamiento de grandes colecciones de datos, de fuentes diversas, utilizando metodologías y herramientas para apoyar la Toma de Decisiones.
Velocidad -‐> Cantidad de tiempo que toma a la Data en ser procesada. Variedad -‐> Múltiples formatos y tipos de datos. Veracidad -‐> Relación entre Señal (Data con valor) vs Ruido (Data sin valor). Valor -‐> Utilidad de los datos para una empresa.
BIG DATA – Nuestro Modelo El Ecosistema Big Data
BIG DATA -‐ Aplicación
• Optimización Operacional. • Inteligencia Accionable (Reglas de Negocio Adaptables).
• IdentiUicación nuevos mercados. • Detección de fallas y fraude. • Registros más detallados. • Predicciones más precisas. • Mejorar la toma de decisiones. • Realizar descubrimientos CientíUicos.
BIG DATA – Nuestro Modelo Modelo de Implementación
BIG DATA – Nuestro Modelo Modelo Tecnológico
WSO2 DAS
Agregar Datos
Analizar Datos
Presentar los Resultados
Capacidades de WSO2 DAS
Consultas
Visualizaciones
APIs
Datos
Análisis en tiempo real
Análisis Interactivos
Análisis Predictivos
Análisis en “Batch”
Alertas
Análisis en Tiempo Real
El Análisis en tiempo real signiUica que WSO2 DAS puede procesar y tomar decisiones inmediatamente cuando acceden a DAS. La información se ingiere por medio de un data agent. El data agent es una pequeña aplicación que envía un evento al Ulujo de CEP. El Ulujo de CEP sigue una secuencia donde se valida que ruta debe seguir. Si es necesario se disparan alertas.
Push Event Stream
Real-‐time Process
Application
Data Agent
• El data agent consiste de una aplicación Java desplegada en el WSO2 AS.
• Es un intermediario entre la fuente de datos y DAS
• Produce una salida en forma de JSON, que es entendible por WSO2 DAS, este JSON contendrá un registro o data que se procesará en DAS
Flujo CEP en WSO2 DAS
• Los componentes en un Ulujo CEP: • Receivers: Capturan un mensaje con determinada estructura • Event Stream: Actuan como colas de mensajes, son el riel donde se conducira el evento
• Execution Plan: usan Siddhi para determinar que caminos debe tomar un evento, pueden modiUicar el evento
• Publisher: Exponen o comunican un evento.
El Execution Plan y Siddhi
Para evaluar el camino lógico que debe tomar un evento, se utiliza el execution plan, este plan de ejecución, es un bloque de código Siddhi. Siddhi es un lenguaje similar a SQL, la principal diferencia es que Siddhi no busca registros en una base de datos, sino que evalúa los eventos que se reciben en un Ulujo CEP.
Ejemplo de Código Siddhi
El Análisis Batch
Si un Ulujo de eventos se conUigura para que sea persist ido , se almacenarán los eventos que pasen por ese Ulujo en una base de datos enlazada, en vez de ser analizados de inmediato, el evento se procesará por tareas programadas o a demanda del usuario usando scripts e n S p a r k S Q L , t r a s e s e procesamiento se puede o bien visualizar la información o generar nuevas alertas
Ejemplo de consultas SparkSQL
Ejemplo de scripts programados
Como DAS Comunica los Resultados
Los event publishers pueden publicar los eventos procesados de formas tales como correos electrónicos, logs, notiUicaciones push, JMS, servicios web, etc.
Como DAS Representa Visualmente
BIG DATA – Nuestro Modelo Aplicación – Caso de Uso Sector Industrial
A partir de esta información (provenientes de los Equipos en planta) se deben determinar, procesar, analizar datos para determinar y ciertas condiciones que permitieran generar registros, alarmas, mas información de interés operativo para la Planta (y el negocio).
• Información proveniente de Planta -‐ Sondas distribuidas (Recogida por el Data Server del SCADA)
• Información analizada desde Herramientas OUimáticas (No escalables para un Entorno de Inteligencia Operacional Exigente)
• Necesidad de Lectura y visualización de Información > Limitante actual. • Necesidad de procesamiento y análisis de información para toma de
decisión Operacional relacionadas > Análisis del dato deseado
Situación Actual
BIG DATA – Nuestro Modelo Qué se Buscaba? -‐ Caso de Uso Sector Industrial
• Escalabilidad Coste Total (Implantación de futuro). • Manejo de un Volumen de Datos elevado. • Debe incorporar Agilidad de consulta de Datos. • Realizar Análisis Complejos. • Debe poder extraer y analizar datos desde diferentes tipos de orígenes (Cruzar
información de diferentes orígenes). • Herramienta de Visualización data “en Bruto” y Procesada de uso por Analista
de negocio – PerUil no técnico. Toma de decisiones en tiempo real y temprana – Inteligencia Operacional (hacia un
predictivo)
Mejor disponibilidad en Planta > Mejorar producción > Mejorar ventas y Calidad de los productos
BIG DATA – Nuestro Modelo La Solución – Caso de Uso Sector Industrial
Funcionalidad y Resultados de la Solución
• Calculo en Dase de Datos (NoSQL) • Alertas y Alarmas en tiempo real (E-‐mail & Push Message) • Visualización de Datos Brutos y Analizados. • Analítica en Tiempo Real. • Analítica Interactiva > Obtención de resultados rápidos a través de consultas AdHoc de un conjunto de Datos. Permite búsquedas complejas por textos utilizando el sistema de ideación disminuido de Apache Lucene.
• Analítica en Batch > Se reUiere al análisis de datos persistidos. La solución esta orientada a la sumarización y análisis de evolución de datos. Se uso implementado Spark SQL con el WSO2 DAS.
• Como Base de Datos se implemento Apache Cassandra (Base de Datos NoSQL) distribuida y preparada para Big Data. (Ventaja, es software libre (Apache Software Foundation). Permite accesar a grandes volúmenes de datos en forma distribuida, es un sistema descentralizado donde cada nodo tiene la misma información.
• Visualización de Datos con WSO2 DAS y Herramientas desacopladas de Visualización.
Funcionalidad y Resultados de la Solución
What´s next
• Analítica Predictiva > Se reUiere a la predicción de valores a partir de datos históricos obtenidos del sistema SCADA.
• Utilizar la tecnología de Machine Learning (con WSO2 ML) para “enseñar” al algoritmo a través de diferentes ejecución de la distribución de siguen los juegos de datos para predecir comportamientos anómalos en la variables analizadas
www.ticxar.com [email protected]