View
269
Download
0
Category
Preview:
Citation preview
DESARROLLO DE UNA PRUEBA DE CONCEPTO LLO DE UNA PRUEBA DE CSOBRE POWERCENTER
U N I V E R S I D A D C A R L O S I I I D E M A D R I DE S C U E L A P O L I T É C N I C A
I N G E N I E R Í A T É C N I C A I N F O R M Á T I C A D E G E S T I Ó NA U T O R : S e r g i o P é r e z M a r t í n
T U T O R A : D o l o r e s C u a d r a F e r n á n d e z
Powercenter: una prueba de concepto.
T UT UT T O R
Índice de Contenido
2
Motivación y objetivos
La intención de este proyecto es:Demostrar la potencia del uso de las ETLs.Generar una guía acerca de la herramienta.
Como objetivos nos propusimos:Obtener conclusiones de la evolución de distintos aspectosdemográficos de la población española.Ver como la crisis afecta a estos indicadores demográficos.
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
3
Entorno de la herramienta
Powercenter es una herramienta que ofrece 4 entornosde escritorio para la gestión de la aplicación:
Powercenter Designer.Powercenter Workflow Manager.Powercenter Repository Manager.Powercenter Workflow Monitor.
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
4
Entorno de la herramienta
Powercenter Repository Manager. Esta herramienta nospermite gestionar:
El sistema de directorios de trabajo.Creación y permisos sobre los usuarios.Traspaso de recursos entre los distintos repositorios.p
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
5
Entorno de la herramienta
Powercenter Designer. Esta herramienta nos concede lasfuncionalidades de:
Crear una plantilla de carga de datos.Definir estructuras de los almacenes y orígenes de datos.
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
6
Realizar las transformacionespertinentes sobre los datos.Definir fragmentos de códigoencapsulado y reutilizable.
Entorno de la herramientaMotivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
7
Powercenter Workflow Manager. Nos permite:Definir las instancias de los procesos de carga.Crear instancias reutilizables.
Definir las estrategias deejecución del proceso de carga.Lanzar ejecuciones de losprocesos.Definir las conexiones con losdistintos entornos de losalmacenes de datos.Programar ejecuciones deprocesos en su planificador.
Entorno de la herramienta
8
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Powercenter Workflow Monitor. Nos permite:Visualizar las ejecuciones de los procesos de carga.Programar y desprogramar procesos.Revisar logs de carga.Visualización de estadísticas de carga.g
8
Caso práctico: Diseño de almacenes
Esquema en estrella de la tabla de hechos de censo poblacional:
9
i l
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Diseño de almacenes
Esquema en estrella de la tabla de hechos de nacimientos ydefunciones:
10
i i
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Diseño de almacenes
Esquema en estrella de la tabla de hechos de nacimientos ydefunciones extranjeros:
11
i i
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
11
Caso práctico: Diseño de almacenes
Esquema en estrella de la tabla de hechos de ganancias por sexo ysector:
12
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
1
Caso práctico: Diseño de almacenes
Esquema en estrella de la tabla de hechos de ocupación poblacional:Muestra la población activa-ocupada, activa-parada, activa que busca primer empleo yla inactiva.
13
bl i l
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
13
Caso práctico: Pre-procesado
Pre-procesado de ficheros mediante Shell script: Selección y descarga de ficheros.Pre-procesado del contenido del fichero generando unonuevo.Creación del fichero de parámetros de Powercenter.Invocación del proceso de Powercenter.
14
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Proceso de carga de datos de población activa:
15
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Lectura de datos.
16
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Transformación de los datos mediante mapplet.
17
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Transformación de los datos mediante mapplet.Trasposición de registros y ramificación por tipo de estado.
18
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Transformación de los datos mediante mapplet.Lookup conectada y desconectada.
19
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Transformación de los datos mediante mapplet.Unificación de flujos.
20
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Carga de datos
Inserción de los datos en la tabla de hechos.
21
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Ejecución
En paralelo:
22
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
lo:
Diseño del plan de ejecución.En serie:
Caso práctico: Análisis de datos
23
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Caso práctico: Análisis de datos
24
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
24
Conclusiones
Mostrar la potencia de las ETLs en los análisis BI:Explicación de la herramienta como integradora de sistemas.Funcionalidades de la herramienta.Importancia de un buen diseño de los procesos de carga.Relevancia de las ETLs en los sistemas BI.
25
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Líneas Futuras
Mejora del modelo de datos para hacerlo más genérico.Creación de tablas maestras con datos estándares y fijos.Separación de las tablas de año y mes.Separación de provincia y municipio en dos campos.Integración de la herramienta con una bbdd no SQL.Utilización de alguna herramienta de reporting.Posible comparativa con otras ETLs, por ejemplo TALEND.
26
Motivación y objetivosEntorno de la herramientaCaso prácticoConclusionesLíneas Futuras
Recommended