“Diseño de un Data Mart para la Unidad de Programación y

Abastecimiento de Hidrocarburos de

Petrocomercial, Filial de Petroecuador”.

Por qué Data Warehouse ?

Datos

DatosDatos

Datos

DatosDatos

DatosDatos

DatosDatos ?

Islas de InformaciónInformación para la toma de decisiones

Qué es un Data Warehouse?

“Data Warehouse nos permite la integración de datos corporativos en un único depósito donde los usuarios puedan consultar o analizar los datos para la toma de decisiones”.

Data Warehouse

DATOS EXTERNOS

DATOS OPERACIONALES TRANSACCIONALES

Transfor_mación

DATA

WAREHOUSE

METADATOS

SOPORTE DE

DECISIÓN

DATOS OPERACIONALES BATCH

Características

Tema Orientado

Integrado

Variante en el tiempo

No Volátil

Arquitectura

DATOS DATOS CONSULTAS Y REPORTES MINERIA DE DATOS ANALISIS OPERACIONALES EXTERNOS INTERACTIVOS SEGMENTACION MULTIDIMENSIONAL

PREDICCION O ANALISIS OLAP

Metadatos

DATA WAREHOUSE

PROCESOS Y FUNCIONES

1 2 3S10

10

20

Serie1Serie2

Extracción , limpiezatransformación y

carga

Metadatos

Datos acerca de los datos.

Herramienta que almacena datos u otro punto de apoyo para los sistemas de información, guardando la pista de las relaciones entre el Data Warehouse y las Bases de Datos Operacionales, incluyendo además los pasos requeridos para el almacenamiento de los datos.

Se clasifican en: Metadatos de Transformación, y Metadatos de Aplicación.

Metadatos

DATA

WAREHOUSE

Contenido de losMetadatos Tablas de Estructura del Data Warehouse Tabla de Atributos del Data Warehouse Datos de origen del Data Warehouse (El sistema de

registros) El mapeo desde los sistemas de registros hasta el Data

Warehouse. La especificación de los Modelos de Datos. La extracción y el registro Las rutinas de acceso a los datos Las equivalencias de tipos de datos entre Base de Datos

Fuente y Destino.

Análisis Multidimensional

Cliente

Geografía

Producto

Tiempo

DIMENSIONES

Cliente Geografía

Producto Tiempo

INTERRELACIONES

Día

Año Fiscal Año

Mes

JERARQUIAS

Trim Rebanar/Picar

Navegación

Pivote

Profundización y resumen

SERVICIOS

Cálculos

Resúmenes y adiciones

Análisis Multidimensional OLAP

“OLAP es una tecnología de procesamiento analítica que crea nueva información empresarial a partir de los datos existentes, por medio de un rico conjunto de transformaciones empresariales y cálculos numéricos”.

Tipos y Modelos de OLAP

TiposOLAP Relacional (ROLAP)OLAP Multidimensional (MOLAP)OLAP Híbrida (HOLAP)

ModelosModelo CuboEsquema EstrellaEsquema Copo de NieveEsquema Mixto

Tipos y Modelos de OLAP Esquema Estrella

Atributos de Tiempo

Clave: Producto

Clave: Región

Clave: Tiempo

Clave: TerminalAtributos de Terminal

Atributos de Región

Atributos de Producto

Volumen Final

Volumen Despachado

Tabla de Volúmenes

Minería de Datos(Data Mining) Esta técnica consiste en extraer información de

grandes bases de datos en función de estos mismos. Se trata de un proceso automatizado de presentación de patrones, normas o funciones a un usuario informado para su revisión y estudio.

Procesos de Minería de Datos Selección de Datos Transformación de Datos “Data Mining” Interpretación de resultados

Esquema Data Warehousing

DB2

Minería de Datos

Procesamiento Analítico en Línea OLAP

Consultas y Reportes

Acceso WEB

Data Warehouse(Data Mart)

Files

Necesidadesde Desarrollo

Definir

Acceso ManejarAlmacenar

Transformar Distribuir Automatizar

SYBASESQLServer

INFORMIXORACLE

VSAMIMS

Necesidadesdel Negocio

Datos Fuentes externos y operacionales

Herramientas

Herramientas de Modelamiento de datosHerramientas de Construcción de un Data

WarehouseHerramientas de análisis multidimensional

u OLAP, Consultas y reportesMinería de Datos

Sistemas Operacionalesde Petrocomercial IBM S/390

Base de datos DB2 Sistema de Movimiento de Productos (MOPRO)

Archivos VSAM Sistema de Comercialización (Ventas)

IBM AS/400 Base de Datos DB2/400

Sistemas Financieros Sistemas Administrativos Sistema de Inventarios y Compras Sistema de Mantenimiento Sistema de Contratos

Selección de Herramientas

Construcción de Data Warehouse Visual Warehouse (IBM) Oracle Express (Oracle

Corporation) Herramientas OLAP

DB2 OLAP Server (IBM) Oracle Express (Oracle

Corporation) Power Play (Cognos) Business Objects (BO)

Base de Datos DB2 UDB (IBM) Oracle 8

Consultas y Reportes Lotus Approach (IBM) Discoverer (Oracle

Corporation) Impromptu (Cognos) Business Query (Business

Objects) Minería de Datos

Intelligent Miner (IBM) 4 thought (Cognos) Business Miner (Business

Objects)

Esquema propuesto paraPetrocomercial

Procesamiento Analítico en Línea OLAPy acceso a Web

DB2

Consultas y Reportes

Data Warehouse(Data Mart)

Archivos Planos

VSAM

Datos Fuentes externos y operacionales

DB2

Acceso TransformarDistribuir Almacenar

Manejar Automatizar

VISUAL WAREHOUSE

Impromptu Power Play

Ambiente de Data Warehouse

IBM AS/400 PCO2

IBM S/390

Token Ring

IBM AS/400 PCO1

Comunicación APPC

Comunicación APPC

PCORED3

Software para crear y manejar Data Warehouse

Visual Warehouse

Power Play

Impromptu

Software para comunicaciones

Communications Server

Base de Datos

DB2 UDB

Ambiente de Data Warehouse

Ambiente de ComunicacionesAmbiente de Base de DatosCreación de Data WarehouseAnálisis OLAP y Consultas y Reportes

Ambiente de Comunicaciones Configuración de un

nodo de red. Configuración de

dispositivos. Configuración de una

conexión. Configuración de

Unidades Lógicas Locales (Local LU 6.2).

Configuración de modos.

Configuración de Unidades Lógicas Asociadas (Partner LU 6.2).

Configuración de interface común de programación (CPI-C).

Ambiente de Base de Datos

Configuración de Base de Datos (Base de Datos fuentes, de control y de Data Warehouse)Protocolo de comunicaciones(APPC)Sistema Operativo(MVS/ESA, OS/400)Parámetros de comunicación APPC (CPI-C)Base de Datos destino

Pruebas de Conexión a Base de Datos (Test) Ejecución de aplicación (Bind)

Desarrollo de AplicaciónMetodología PlaneaciónRequerimientosAnálisisDiseñoConstrucción Puesta en Marcha (Pruebas,

Implementación)

Planteamiento del Problema

El proyecto piloto en Petrocomercial inicia con la construcción de un Data Warehouse para la Unidad de Programación y Abastecimiento de Hidrocarburos, el cual deberá satisfacer consultas periódicas concernientes a volúmenes finales (existencias), volúmenes despachados (demanda) y días de stock de productos derivados del Petróleo, distribuidos por terminal de despacho y región.

Esquema Estrella de Aplicación

Atributos de tiempoClave: Producto

Clave: Región

Clave: Tiempo

Clave: TerminalAtributos de Producto Atributos de Región

Atributos de Terminal

Volumen Final

Volumen Despachado

Hechos

Tabla de Dimensión Tiempo

Tabla de Dimensión Producto

Tablas de Hechos de Volúmenes

Tabla de Dimensión Terminal

Tabla de Dimensión Región

Procesos de Aplicación

Data

Warehouse

MOPRO

Sistema

de MOPRO

Gerencia

General

Unidad de

Programación y

Abastecimiento

Subgerencia

de Transporte y

Almacenamiento

Petroindustrial

Existencia y demanda de productos.

Despachos a empresas eléctricas.

Existencia, demanda diaria, y días de stock de productos.

Stock de Refinerías

Construcción del DataWarehouse (Visual Warehouse) Acceso a datos de ambientes operacionales, y de fuentes externas. Transformación, Integración y Distribución de datos, que permiten

convertirlos en datos útiles para el negocio. Filtrado de datos usando sentencias SQL estándares.

Almacenar datos. Encontrar y Comprender, a través de un catálogo de información. Mostrar, Analizar y Descubrir usando una herramienta de soporte

a la toma de decisiones. Automatizar y Administrar del Data Warehouse, para maximizar

la disponibilidad con un mínimo de recursos.

Herramienta OLAP

Herramienta para análisis multidimensional.

Empaqueta datos en estructuras multidimensionales llamadas Power Cubes

Además es una herramienta OLAP dinámica sobre el WEB.

0102030405060708090

1er

trim

.

2do

trim

.

3er

trim

.

4to

trim

.

EsteOesteNorte

Herramienta de Consultas y Reportes Respuesta empresarial para

consultas y reportes además del WEB.

Presenta información de la forma que administradores miran su negocio, no la forma como la base de datos esta estructurada.

Brinda facilidad y rapidez a los usuarios para crear rápida y fácilmente alguna consulta y reporte

Conclusiones Las empresas generan y recopilan grandes cantidades de

información, el desafío consiste en aprovechar el valor de dicha información y usar los patrones y las tendencias en su uso, para obtener nuevos conocimientos.

Actualmente organizaciones de distintos tamaños y diversos sectores están descubriendo que pueden obtener ventajas para sus empresas utilizando un Data Warehouse.

Un Data Warehouse ofrece la base para técnicas eficaces de análisis y toma de decisiones, tan importantes en el entorno competitivo de nuestra época.

Conclusiones

La información en un sistema operacional se encuentra detallada registro por registro, mientras que la información en un Data Warehouse esta resumida, transformada, depurada y lista para la toma de decisiones.

Con la construcción de un Data Warehouse los ejecutivos descubren que requieren información más precisa y rápida que antes.

Recomendaciones

Petrocomercial debe continuar con el Proyecto de Data Warehouse.

Renovación de la infraestructura de hardware.

Proyecto de Minería de Datos.Difusión del Proyecto de Data Warehouse

al resto de Filiales y a Petroecuador.

Muchas Gracias por su Atención