Prueba de concepto: powercenter. Usos y ejemplos de las

DESARROLLO DE UNA PRUEBA DE CONCEPTO LLO DE UNA PRUEBA DE CSOBRE POWERCENTER

U N I V E R S I D A D C A R L O S I I I D E M A D R I DE S C U E L A P O L I T É C N I C A

I N G E N I E R Í A T É C N I C A I N F O R M Á T I C A D E G E S T I Ó NA U T O R : S e r g i o P é r e z M a r t í n

T U T O R A : D o l o r e s C u a d r a F e r n á n d e z

Powercenter: una prueba de concepto.

T UT UT T O R

Índice de Contenido

2

Motivación y objetivos

La intención de este proyecto es:Demostrar la potencia del uso de las ETLs.Generar una guía acerca de la herramienta.

Como objetivos nos propusimos:Obtener conclusiones de la evolución de distintos aspectosdemográficos de la población española.Ver como la crisis afecta a estos indicadores demográficos.

Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras

3

Entorno de la herramienta

Powercenter es una herramienta que ofrece 4 entornosde escritorio para la gestión de la aplicación:

Powercenter Designer.Powercenter Workflow Manager.Powercenter Repository Manager.Powercenter Workflow Monitor.


4


Powercenter Repository Manager. Esta herramienta nospermite gestionar:

El sistema de directorios de trabajo.Creación y permisos sobre los usuarios.Traspaso de recursos entre los distintos repositorios.p


5


Powercenter Designer. Esta herramienta nos concede lasfuncionalidades de:

Crear una plantilla de carga de datos.Definir estructuras de los almacenes y orígenes de datos.


6

Realizar las transformacionespertinentes sobre los datos.Definir fragmentos de códigoencapsulado y reutilizable.

Entorno de la herramientaMotivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras

7

Powercenter Workflow Manager. Nos permite:Definir las instancias de los procesos de carga.Crear instancias reutilizables.

Definir las estrategias deejecución del proceso de carga.Lanzar ejecuciones de losprocesos.Definir las conexiones con losdistintos entornos de losalmacenes de datos.Programar ejecuciones deprocesos en su planificador.


8


Powercenter Workflow Monitor. Nos permite:Visualizar las ejecuciones de los procesos de carga.Programar y desprogramar procesos.Revisar logs de carga.Visualización de estadísticas de carga.g

8

Caso práctico: Diseño de almacenes

Esquema en estrella de la tabla de hechos de censo poblacional:

9

i l



Esquema en estrella de la tabla de hechos de nacimientos ydefunciones:

10

i i



Esquema en estrella de la tabla de hechos de nacimientos ydefunciones extranjeros:

11

i i


11


Esquema en estrella de la tabla de hechos de ganancias por sexo ysector:

12


1


Esquema en estrella de la tabla de hechos de ocupación poblacional:Muestra la población activa-ocupada, activa-parada, activa que busca primer empleo yla inactiva.

13

bl i l


13

Caso práctico: Pre-procesado

Pre-procesado de ficheros mediante Shell script: Selección y descarga de ficheros.Pre-procesado del contenido del fichero generando unonuevo.Creación del fichero de parámetros de Powercenter.Invocación del proceso de Powercenter.

14


Caso práctico: Carga de datos

Proceso de carga de datos de población activa:

15



Lectura de datos.

16



Transformación de los datos mediante mapplet.

17



Transformación de los datos mediante mapplet.Trasposición de registros y ramificación por tipo de estado.

18



Transformación de los datos mediante mapplet.Lookup conectada y desconectada.

19



Transformación de los datos mediante mapplet.Unificación de flujos.

20



Inserción de los datos en la tabla de hechos.

21


Caso práctico: Ejecución

En paralelo:

22


lo:

Diseño del plan de ejecución.En serie:

Caso práctico: Análisis de datos

23


Caso práctico: Análisis de datos

24


24

Conclusiones

Mostrar la potencia de las ETLs en los análisis BI:Explicación de la herramienta como integradora de sistemas.Funcionalidades de la herramienta.Importancia de un buen diseño de los procesos de carga.Relevancia de las ETLs en los sistemas BI.

25


Líneas Futuras

Mejora del modelo de datos para hacerlo más genérico.Creación de tablas maestras con datos estándares y fijos.Separación de las tablas de año y mes.Separación de provincia y municipio en dos campos.Integración de la herramienta con una bbdd no SQL.Utilización de alguna herramienta de reporting.Posible comparativa con otras ETLs, por ejemplo TALEND.

26


Documents

Prueba de concepto: powercenter. Usos y ejemplos de las