Taller de técnicos 2011 09 UNC

3er Taller de Técnicos de

Consorcio SIU – 14 de Septiembre 2011 – Córdoba

Agenda

1) Relevamiento del estado de avance del proyecto en las UUNN

2) Relevamiento de necesidades de información

3) Análisis conceptual de las soluciones actuales

1) Cubos SIU-Guaraní

2) Cubo SIU-Pilagá

3) Cubos SIU-Mapuche

4) Personalizaciones de las soluciones brindadas por el SIU

5) Forma de trabajo colaborativa y estandarizada

6) Caso de éxito: Cubos de SIU-Guaraní en producción en UNC

7) Explotación de datos con O3, más allá de los cubos

Puesta en común

1) Relevamiento del estado de avance del

proyecto en las UUNN

2) Relevamiento de necesidades de información

(VER Y COMENTAR RESULTADOS

DE LA ENCUESTA REALIZADA)3

Problemas técnicos y funcionales en las UUNN y necesidades

– Cubos SIU-Guaraní

– Cubo SIU-Pilagá

– Cubos SIU-Mapuche

Análisis conceptual de las soluciones actuales

Cubo SIU-Guaraní – Procedencia

Presentación del cubo, dimensiones y medidas

Cubo SIU-Guaraní – ProcedenciaSignificado de los datos :

03_Procedencia - Ficha.doc - I. PARTE FUNCIONAL

Procedencia se

toma a partir del

colegio

secundario, no de

lo que ingresa

como localidad de

procedencia

Si no está en la

tabla no lo cuenta

(ojo con

migraciones).

Si se inscribió a

muchas carreras,

o muchas veces a

la misma lo

cuenta muchas

Cubo SIU-Guaraní – ProcedenciaCriterios para la extracción de los datos :

03_Procedencia - Ficha.doc - II. PARTE TÉCNICA

Modelo Multidimensional: 03_Procedencia - Ficha.doc III. ESTRUCTURAS DE LAS TABLAS

• Opción del Sistema (para generar los datos): Módulo de Interfaces, Submodulo Guaraní – Datawarehouse, operación cub_0003 -Genera archivos cubo 03 - Procedencia

Generación de datos (txt) en SIU-Guaraní03_Procedencia - Ficha.doc - II. PARTE TÉCNICA

• Procesos SIU-Guarani involucrados:Los objetos Power Builder que hacen referencia se encuentran el la librería “siu_dw_cubos.pbl”No existen procesos de base de datos adicionales.

Generación de datos (txt) Consulta que genera la tabla de hechos

Generación de datos (txt) Algunas consulta que generan las

tablas de dimensiones

• Generación directa desde la base. (Script Ejecución Automatica.doc)

Generación de datos (txt) por fuera de la interfaz de SIU-Guaraní

Cubo SIU-Guaraní

• Programación nocturna.

Agregar al programador de tareas EjecutaScript.bat (o al cron el equivalente EjecutaScript.sh)

Esquema ETL en Pentaho

SIU_DSAguarani_tmpguarani

SIU_DW

guarani

Área de Limpieza y transformación de

EBD SIU-Guaraní t

(3)(2)

Orden de ejecución de los JOB´s de Kettle(documentacion/guarani/instrucciones_cargar_siu_dsa_guarani.txt)

(1) etl/guarani/carga_siu_dsa/guarani_tmp/procedencia/

cargar_datos_dsa_guarani_tmp_procedencia.kjb

(2) etl/guarani/carga_siu_dsa/guarani/procedencia/

cargar_datos_dsa_guarani_procedencia.kjb

(3) etl/guarani/carga_siu_dw/procedencia/

cargar_datos_siu_dw_procedencia.kjb

Cubo SIU-Guaraní – procedencia

(1) cargar_datos_dsa_guarani_tmp_procedencia.kjb (Extracción)

se carga el txt en guarani_tmp

(siu_dsa)

(2) cargar_datos_dsa_guarani_procedencia.kjb (Transformación)

se carga la FT en (siu_dsa)

(3) cargar_datos_siu_dw_procedencia.kjb (Carga - Load)

se carga la FT en (siu_dw)

Esquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/)

Cubo SIU-Guaraní – AlumnosPresentación del cubo, dimensiones y medidas

• Particularidades:

– Criterios de Nuevo Inscripto, Reinscripto y Egresado tomados de la definición de la SPU para SIU-Araucano

– Requiere la generación de información para SIU-Araucano.

• Referencias generales:

– 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc

– Criterios Guarani-Araucano v18 v2.6.0.pdf (versiones viejas: Criterios Guarani v201-Araucano v5.pdf)

Cubo SIU-Guaraní – AlumnosSignificado de los datos y criterios para la extracción

Cubo SIU-Guaraní – AlumnosModelo Multidimensional: 05_Alumnos_ni_r_e_v1.0.2 - Ficha.doc

III. ESTRUCTURAS DE LAS TABLAS

Generación de datos (txt) desde Guaraní

1 – Generar datos para araucano

2 – Generar datos para DataWarehouse (visto en

diapositiva nro 11)

Procesan los datos y completan

las tablas.

-int_arau_nuinscrip,

-int_arau_reinscrip,

-int_arau_egres y

-int_arau_log_alu,

que se usan como fuente para

el cubo

Cubo SIU-Guaraní – Alumnos

Tener en cuenta en caso de generar los txt por fuera del

Guaraní de ejecutar también los procesos del paso 1

… … el sp sigue

considera las

otras medidas y

recupera los

casos del log

Las tablas

usadas se llenan

con otros

procesos, de la

interfaz para

araucano, que

también se

pueden ver

Generación de datos (txt) - spdw_cubo_alumnos.sql

Cubo SIU-Guaraní – Alumnos

(1) etl/guarani/carga_siu_dsa/guarani_tmp/alumnos/

cargar_datos_dsa_guarani_tmp_alumnos.kjb

(2) etl/guarani/carga_siu_dsa/guarani/alumnos/

cargar_datos_dsa_guarani_alumnos.kjb

(3) etl/guarani/carga_siu_dw/alumnos/

cargar_datos_siu_dw_alumnos.kjb

Cubo SIU-Guaraní – alumnos

(1) cargar_datos_dsa_guarani_tmp_alumnos.kjb (Extracción)

se carga el txt en guarani_tmp

(siu_dsa)

(2) cargar_datos_dsa_guarani_alumnos.kjb (Transformación)

Vista dimensión

cubo Alumnos

Vista dimensión

cubo Alumnos

(3) cargar_datos_siu_dw_alumnos.kjb (Carga - Load)

¿Por qué 3 cubos y no

directamente uno?

Cubo SIU-Guaraní – Rend.Académico

Presentación del cubo, dimensiones y medidas

Presentación de los cubos, dimensiones y medidas

Modelo Multidimensional: 02_Rend_Academico_v2.0.2_Ficha.doc III. ESTRUCTURAS DE LAS TABLAS

– Dimensiones compartidas entre hechos diferentes (FT): Períodos del AA, Condición, Intentos.

– “Resultados” como dimensión o como parte de las medidas?

– Actas de cursado, actas de finales, actas de promoción, estados y rectificaciones

– Materias comunes entre carreras

– Etc.

– 02_Rend_Academico_v2.0.2_Ficha.doc

Significado de los datos y criterios para la extracción

Significado de los datos . Algunas dimensiones

Significado de los datos . Medidas

Criterios utilizados para la extracción. Medidas

Criterios utilizados para la extracción.Ejemplo dimensión Año Académico

Generación de datos (txt) 02_Rend_Academico_v2.0.2_Ficha.doc - II. PARTE TÉCNICA

Las tablas

int_dw_persona_red e

int_dw_alumnos_red

resumen información de

la persona y el alumno, y

se generan con la

operación cub_0006

Esta consulta genera parte de una de las tablas de hechos.

En el ejemplo se ve la porción correspondiente

a las promociones (luego se agregan las

promociones equivalentes)

Cubo SIU-Guaraní – Rend.AcadémicoGeneración de datos (txt) - spdw_02v2_cursado.sql

(1) etl/guarani/carga_siu_dsa/guarani_tmp/rendimiento_academico/

cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb

(2) etl/guarani/carga_siu_dsa/guarani/rendimiento_academico/

cargar_datos_dsa_guarani_rendacademico.kjb

(3) etl/guarani/carga_siu_dw/rendimiento_academico/

cargar_datos_siu_dw_rendacademico.kjb

Cubo SIU-Guaraní – rend. académico

(1) cargar_datos_dsa_guarani_tmp_rendimiento_acad.kjb (Extracción)

(2) cargar_datos_dsa_guarani_rendacademico.kjb (Transformación)

(3) cargar_datos_siu_dw_rendacademico.kjb (Carga - Load)

Esquema SIU-Guarani.xml (pentaho-solutions/siu/guarani/)

Dentro del Repositorio de archivos se encuentra por

sistema . En la documentación de los cubos están las

fichas. “Comparación Dimensiones-Medidas-

Cubos.doc” sirve para ver las similitudes y diferencias

entre los criterios de los cubos.

Documentación de los cubos(Ej: Guaraní )

Tomamos un cafecito?

gastos

ingresos

Cubo SIU-Pilagá – PresupuestoPresentación de los cubos, dimensiones y medidas

presupuesto 48

Modelo Multidimensional: Ficha_Pilaga_Presupuesto_v1.0.4.docIII. ESTRUCTURAS DE LAS TABLAS

Cubo SIU-Pilagá – Presupuesto

Significado de los datos: Ficha_Pilaga_Presupuesto_v1.0.4.doc - II. PARTE TÉCNICA

Documentación de referencia: Ficha_Pilaga_Presupuesto_v1.0.4.doc

Mejoras y modificaciones por versión

Generación de datos (txt)

• Generación desde la interfaz web

• Generación por línea de comando. Programación nocturna.

../SIU-Pilaga/proyectos/pilaga/bin/

sh pilaga.sh cubos generar

cubos.php

Orden de ejecución de los JOB´s de Kettle(documentacion/pilaga/ instrucciones_cargar_siu_dsa_pilaga.txt)

(1) etl/pilaga/carga_siu_dsa/pilaga_tmp/

cargar_datos_dsa_pilaga_tmp.kjb

(2) etl/pilaga/carga_siu_dsa/pilaga/

cargar_datos_dsa_pilaga.kjb

(3) etl/pilaga/carga_siu_dw/

cargar_datos_siu_dw.kjb

Cubo SIU-Pilagá

(1) cargar_datos_dsa_pilaga_tmp.kjb (Extracción)

Cubo SIU-Pilagá

(2) cargar_datos_dsa_pilaga.kjb (Transformación)

Cubo SIU-Pilagá

(3) cargar_datos_siu_dw.kjb (Carga - Load)

Cubo SIU-Pilagá

Esquema SIU-Pilaga.xml (pentaho-solutions/siu/pilaga/)

Cubo SIU-Pilagá

Cubos SIU-Mapuche/SIU-Pampa

Presentación de los cubos, dimensiones y medidas

legajos

cargos

liquidaciones

– Cantidad de Cargos (Activos, Liquidados, Distintos).Por mes. Renovaciones de cargos.

– Medidas definidas a nivel de mes, que no están definidas a nivel de año.

– Dimensiones asociadas a los cargos

– Dependencias: de designación, de desempeño, presupuestaria

– Fuente de financiamiento (de lo liquidado)

– Etc.

– Pampa_v1.1.1_Ficha.doc 61

Significado de los datos y criterios para la extracción

Ver las demás en: Cubo Pampa_v1.1.1_Ficha.doc

Y los criterios para la extracción de los datos en la sección

III. ESTRUCTURAS DE LAS TABLAS

Significado de los datos: Cubo Pampa_v1.1.1_Ficha.doc - I. PARTE FUNCIONAL

Cubos SIU-Mapuche/SIU-PampaModelo Multidimensional -III. ESTRUCTURAS DE LAS TABLAS

Mejoras a incorporar

• Imputaciones presupuestarias del cargo. Nueva tabla

(ft_cargosXimputaciones) que refleja la relación de un cargo

con múltiples imputaciones presupuestarias y el porcentaje

correspondiente a cada una.

• Medida Total de Cargos, cuenta todos los cargos incluidos

en el cubo. Representa la unión de cargos liquidados y

cargos activos.

• Código de Unidad Académica, dependiente de las

dependencias de designación.

• Estado del cargo (concursado o no).

• Nivel de enseñanza, dependiente de la categoría del cargo.

• Porcentajes de dedicación (docencia, investigación, gestión

y extensión) de cada cargo.

• Año y mes del período correspondiente a las liquidaciones

retroactivas.

• Porcentaje que representa cada línea de liquidación

(importe liquidado por cargo, concepto e imputación

presupuestaria) sobre el total liquidado del cargo.

• Revisión del cálculo de Antigüedad liquidada.

• Quitar el filtro de legajo no pasivo en la extracción de datos.

Mejoras a incorporar (cont)

Nueva estructura de las tablas

Nueva estructura de las tablas (cont)

PLANTA

Objetivo: analizar las liquidaciones

de sueldos, importes y cargos

liquidados, por dependencia,

escalafón, categoría, conceptos,

retroactivos, etc.

Permite analizar la evolución

comparando diferentes períodos.

LIQUIDACIONES

Objetivo: analizar cantidad cargos

y legajos existentes en la

universidad. Comparar la evolución

de los rrhh. Consultar según datos

de los cargos y las personas

(categoría, antigüedad, estado

civil, nivel de estudios, etc.)

Nuevos modelos de análisisDimensiones y Medidas por Cubo

Referencias

* : medidas y dimensiones nuevas

Naranja: exclusivas de cubo de liquidaciones

Violeta: exclusivas de cubo de planta

Negro: en ambos cubos.

Medidas utilizadas en los cubos

Importes Liquidados 1 Importes Liquidados por concepto y cargo en cada liquidación

Cargos X Conceptos

X Imputaciones

(liquidaciones)

2 Cantidad correspondiente a los registros de liquidación. Significa

que se cuenta 1 por cada concepto liquidado en cada cargo en

cada liquidación considerada por cada imputación que

corresponda.

Es la medida que antes se veía equivocadamente como “Cargos X

Conceptos (liquidaciones)”

Porcentaje del

importe liquidado

sobre total del cargo

3 Corresponde al porcentaje que representa el importe liquidado para

cada imputación de cada concepto en cada cargo sobre el total

liquidado del cargo.

Agrupa por suma.

Cargos X Conceptos

(liquidaciones) *

4 Cuenta 1 por cada concepto liquidado en cada cargo. Sirve para

poder consultar la cantidad de cargos a las que se les liquida cada

concepto

Legajos (con cargo

activos)

5 Cuenta 1 por cada legajo que en el período considerado tiene al

menos un cargo activo (debajo se detalla cuando un cargo se

considera activo). Personas diferentes con cargos activos en el

período. Esta medida está definida solo a nivel de mes.

Legajos

Liquidad

6 Cuenta 1 por cada legajo que tiene al menos un cargo en el que se le liquidó

algún concepto en el período. Representa el total de legajos que figuran en la

tabla de liquidaciones para el periodo. Personas diferentes con cargos

liquidados. Esta medida está definida solo a nivel de mes.

Total de

Legajos

7 Contaría 1 por cada legajo considerado en los datos exportados. Representa la

unión de Legajos con cargos activos y Legajos Liquidados.

Quedaría definida sólo a nivel de mes también?. ¿???

Cargos

Activos

8 Es 1 para todos los cargos de planta activos al menos un día en el periodo,

incluye licencias y ad-honorem. Para los otros casos es 0.

Para saber si el cargo está o no activo se ve la fecha de vigencia del mismo y se

controla que al menos un día esté dentro del período informado. Esta medida

está definida solo a nivel de mes.

Cargos

Liquidad

9 Cuenta 1 por cada cargo al que se le liquidó al menos un concepto, esté o no

activo el cargo, y cualquiera sea el concepto

Representa el total de cargos que figuran en la tabla de liquidaciones para el

período. (No figurarán cargos sin liquidación - licencias sin goce y ad-honorem -

e incluirá cargos no activos a los q se les liquida algo -retroactivo-). Esta medida

está definida solo a nivel de mes.

Medidas utilizadas en los cubos (cont)

Total de Cargos * 10 Cuenta 1 por cada cargo considerado en los datos exportados.

Representa la unión de Cargos Activos y Cargos Liquidados.

Quedaría definida solo a nivel de mes también???

Cant Cargos X

Imputaciones *

11 Cuenta 1 por cada imputación de cada cargo.

Porcentaje Imputación

del cargo *

12 Es el porcentaje correspondiente cada imputación

presupuestaria dentro del cargo.

Importe Neto 13 Importe Neto que recibe el agente (por cargo o por legajo

según corresponda). (*1)

Importe Bruto 14 Importe Bruto del agente (por cargo o por legajo según

corresponda) (*1)

Importe de Gasto

15 Gasto total que significa el agente para la Institución (por cargo

o por legajo según corresponda) (*1)

(*1) Estas medidas en principio están calculadas a nivel de cargo, y no puede consultarse

por las dimensiones que comienzan con (Liq). Habría que evaluar de bajarlas a nivel de

concepto y entonces incluirlo en el cubo de liquidaciones.

Cubo Liquidaciones

Dimensiones \ Medidas 1 2 3 4 9 10 13 14 15

Período (Año Mes) X X X X X X X X X

(C) Unidad Académica * Depend. Designación X X X X X X X X X

(C) Depend. Desempeño X X X X X X X X X

(C) Escalafón y Categoría (Escalafón Categoría del

cargo)

X X X X X X X X X

(C) Dedicación X X X X X X X X X

(C) Sede X X X X X X X X X

(C) Estado Laboral X X X X X X X X X

(C) Tipo de Planta y Carácter desig.

(Tipo de Planta Carácter de la designación)

X X X X X X X X X

(C) Estado del Cargo (Licencias)

(Activo vs. Baja Con o Sin Licencia Con o sin goce

de haberes)

X X X X X X X X X

(C) Antigüedad Liq. (Antigüedad liq. por rangos

Antigüedad liquidada)

X X X X X X X X X

Cubo Liquidaciones (cont.)

Dimensiones \ Medidas 1 2 3 4 9 10 13 14 15

(C) % Trabajado X X X X X X X X X

(Liq) Liquidaciones X X X X X? X? X?

(Liq) Conceptos

(Tipo de Concepto Concepto)

X X X X X? X? X?

(Liq) Dep. Presupuestaria (Dependencia Presupuestaria

SubDependencia Presupuestaria)

X X X X? X? X?

(Liq) Fuente Financiamiento X X X X? X? X?

(Liq) Objeto del gasto

(Inciso Partida Principal Partida Parcial)

X X X X X? X? X?

(Liq) Red Programática (Programa Subprograma

Proyecto Actividad Obra)

X X X X X? X? X?

Legajos X X X X X X X X X

(Liq) Retroactivos

(Años Retroactivos Períodos Retroactivos) *

X X X X X? X? X?

Cubo Planta

Dimensiones \ Medidas 5 6 7 8 9 1

Período (Año Mes) X X X X X X X X X X X

(C) Unidad Académica * Depend. Designación X X X X X X X X

(C) Depend. Desempeño X X X X X X X X

(C) Escalafón y Categoría (Escalafón Categoría del

cargo)

X X X X X X X X

(C) Dedicación X X X X X X X X

(C) Sede X X X X X X X X

(C) Estado Laboral X X X X X X X X

(C) Tipo de Planta y Carácter desig.

(Tipo de Planta Carácter de la designación)

X X X X X X X X

(C) Estado del Cargo (Licencias)

(Activo vs. Baja Con o Sin Licencia Con o sin goce

de haberes)

X X X X X X X X

(C) Agrupamiento X X X X X X X X

(C) Subrrogancia X X X X X X X X

Cubo Planta (cont.)

(C) Asociado X X X X X X X X

(C) Antigüedad Liq. (Antigüedad liq. por rangos

Antigüedad liquidada)

X X X X X X X X

(C) Antigüedad en escalafón (Antig. en escalafón por

rangos Antigüedad en escalafón)

X X X X X X X X

(C) Hs. Dedicación X X X X X X X X

(C) % Trabajado X X X X X X X X

(C) % Reducción Horaria X X X X X X X X

(L) Activo/Jubilado/Pasivo X X X X X X X X X X X

(L) Sexo X X X X X X X X X X X

(L) Estado Civil X X X X X X X X X X X

(L) Edad (Edad por rangos Edad) X X X X X X X X X X X

(L) Sistema Previsional X X X X X X X X X X X

(L) Nivel de Estudio X X X X X X X X X X X

Cubo Planta (cont.)

(L) Discapacidad X X X X X X X X X X X

(L) Total Carga Horaria X X X X X X X X X X X

Legajos X X X X X X X X X X X

(CxI) Fuente financiamiento del cargo * X X

(CxI) Dep. Presupuestaria (Dependencia Presupuestaria

SubDependencia Presupuestaria) *

(CxI) Red Programática (Programa Subprograma

Proyecto Actividad Obra) *

(C) Estado del cargo (concursado) * X X X X X X X X

(C) Nivel de enseñanza * X X X X X X X X

(C) Porcentaje Dedicación Docencia * X X X X X X X X

(C) Porcentaje Dedicación Investigación * X X X X X X X X

(C) Porcentaje Dedicación Gestión * X X X X X X X X

(C) Porcentaje Dedicación Extensión * X X X X X X X X

Orden de ejecución de los JOB´s de Kettle(documentacion/pilaga/ instrucciones_cargar_siu_dsa_mapuche.txt)

(1) etl/mapuche/carga_siu_dsa/mapuche_tmp/

cargar_datos_dsa_mapuche_tmp.kjb

(2) etl/mapuche/carga_siu_dsa/mapuche/

cargar_datos_dsa_mapuche.kjb

(3) etl/mapuche/carga_siu_dw/

cargar_datos_siu_dw.kjb

Cubo SIU-Mapuche/Pampa

(1) cargar_datos_dsa_mapuche_tmp.kjb (Extracción)

(2) cargar_datos_dsa_mapuche.kjb (Transformación)

Vista dimensión cubo Mapuche

(3) cargar_datos_siu_dw.kjb (Carga - Load)

Esquema SIU-Mapuche.xml (pentaho-solutions/siu/mapuche/)

Generación de los cubos

¿Generación FULL o Incremental?

• FULL para primera vez, para cubo nuevo, reemplaza el existente (En O3 reemplaza el .cube. En Pentaho borra el contenido de la/s FT/s en el DW)

• INCREMENTAL

– Guaraní por facultad

(el cubo contiene “fotos acumuladas” a la fecha)

– Mapuche/Pampa por mes

(el cubo contiene “fotos” mensuales)

– Pilagá por ejercicio

(el cubo contiene “fotos” anuales)87

Personalizaciones de las soluciones brindadas por el SIU

Preguntas ante una personalización:

• Qué se necesita cambiar?

• Dónde debe realizarse la modificación?

• Requiere la incorporación de algún dato no existente?

• Dónde y cuál es la mejor manera de agregarlo? (diseño multidimensional)

Ante la mínima duda: CONSULTAR CON EL SIU

para evaluar alternativas en forma conjunta

Personalizaciones – Ejemplo 1

• Editar el xml del cubo (Schema Workbench) y eliminarla

• Ejemplos:

– Quitar la dimensión Sede de los cubos de Mapuche o de los de Guaraní (Rend Académico)

– Eliminar dimensión “% Trabajado en el mes” de los cubos de Mapuche

– Eliminar la dimensión Legajo en los cubos de Mapuche o Guaraní

– Etc.89

Eliminar una dimensión

• Para que sea posible ambos niveles deben existir en la tabla de hechos. (Si no existieran habría que incorporarlo)

• Editar el xml del cubo y realizar las modificaciones.

• Ejemplo:

– Unidad académica y carrera en cubo de procedencia de Guaraní

– Categoría y Escalafón en cubo de Mapuche ¿?

– Sueldos/Otros gastos en cubo de Pilagá ¿?

• Siempre preguntarse si tiene sentido.

Personalizaciones – Ejemplo 2Abrir la jerarquía de una dimensión en dos dimensiones

• Podría ser en la E, en la E’, o en la T (ppt #14)

• Ejemplos en Guaraní Rend Academico

– Considerar solo actas cerradas opción 1-E: Modificar el where del sp correspondiente en Guaraní

– Eliminar las materias comunes. opción 1-E: Quitar esa parte de las consultas en los sp (spdw_02v2_cursado.sql, spdw_02v2_equiv.sql y spdw_02v2_examen.sql)

opción 2-E’/T: filtrar los registros como parte de la transformación (ojo solo para pentaho).

opción 3: no hacer nada, dejarlos en el cubo y guardar una vista con el filtro.

• Otros ejemplos?

Personalizaciones – Ejemplo 3Considerar otros criterios de extracción

Eliminar registros

• Puede ser en la E o en E’.

– En el primer caso (E) se modifica el sp o consulta de extracción en el sistema de gestión

– En el segundo caso (E’) se agrega como otra fuente de datos y se realiza la unión con el PDI de Pentaho. Por ejemplo si hubiese datos en otro sistema no SIU u otra fuente de datos (alumnos de carreras a distancia? Sistemas previos a la migración a sistemas SIU) que quieren incorporar al cubo.

• Considerar que estas modificaciones pueden requerir también de la incorporación de un nuevo campo que se refleje como dimensión y permita distinguir los datos

Personalizaciones – Ejemplo 4Considerar otros criterios de extracción

Agregar registros (filas, se mantiene la estructura)

Personalizaciones – Ejemplo 5Modificar descripciones y agrupamientos en rangos

• En la T

• Ejemplos:

1- Rangos de edades (ej: /etl/mapuche/carga_siu_dsa/mapuche/dsa_mapuche_lt_rangoedades_load.ktr)

2- Descripción por defecto para nulos (ej: /etl/guarani/carga_siu_dsa/guarani/alumnos/dsa_guarani_cargar_nulos_en_dimensiones.kjb)

Personalizaciones – Ejemplo 6Solucionar los problemas de calidad de datos

• En la T

• Casos: Datos nulos. Mismo dato con diferentes descripciones, con diferentes codificaciones. Datos inconsistentes.

Ejemplos: Colegios Secundarios (Guaraní), Red Programática (Pilagá/Mapuche), Dependencias (todos), etc

• Importante: los problemas de calidad de datos deben sercorregidos en la fuente, origen del dato. Luego de detectarlosy corregirlos para cargarlos al DW deben ser informados a losresponsables de los sistemas de gestión.

Personalizaciones – Ejemplo 7Agregar niveles en la jerarquía de una dimensión

• Si el nivel es superior (agrupa los datos existentes) y existe en la LT: solo se requiere modificar el xml

• Si el nivel es superior y no existe en la LT: hay que incorporarlo ((E), E’, T, L) y luego modificar el xml

• Si se trata de un nivel inferior, debe existir (o incorporarse –(E), E´, T, L) en la FT, y también luego modificar el xml

• Ejemplos:– Agrupar las carreras por unidad académica

– Agregar la versión del plan (de la carrera)

– Incorporar partido/departamento dentro de la dimensión procedencia

– Agrupar Legajos por inicial del apellido (para mejorar performance del cubo)

– Etc. 95

Personalizaciones – Ejemplo 8Agregar nuevas dimensiones a los cubos

• Si el dato existe en la FT: solo se requiere editar el xml

• Si el dato existe en alguna LT: seguramente se necesitará

hacer un join (T) para incorporarlo a la FT

• Si el dato no existe, hay que agregarlo al DSA, (E y/o E’

dependiendo si está en el sistema de gestión o es

externo y si conviene modificar la consulta o sp que

genera los txt actuales o extraer los datos directamente

con el PDI de Pentaho)

Personalizaciones – Ejemplo 8Agregar nuevas dimensiones a los cubos

• Ejemplos:

– Mapuche/Pampa. Incorporar datos de liquidaciones retroactivas, mes y año al cubo de liquidaciones en FT, E’ (porque la E está programada en Clarion)

– Guaraní. Agregar Tipo de Colegio Secundario en LT y pasar a FT. Realizar en E: agregar sga_coleg_sec.sector a la consulta de extracción de colegios actual, y agregar descripción (P: privado, E: estatal) en T

Personalizaciones – Ejemplo 9Agregar una nueva medida derivada a un cubo

• Ejemplo - Pilagá: Se agrega una nueva medida “Compromiso no pagado” que se calcula como la diferencia de las medidas “compromiso” y “pagado”.

1- Click derecho sobre el cubo pilaga-gastos

y luego “Add Calculated Member”

2- Definir los atributos de la medida.

3- Publicar el cubo nuevamente en el

biserver mediante “File -> Publish…”

Diferentes formas de presentar la información

A veces el requerimiento tiene que ver con la presentación de la información no solo con el contenido…

• Cubos/Vistas

• Reportes

• Dashboards

• Ejemplo alumnos por carrera (vista, reporte, dashboard)

Diferentes visualizaciones de la misma información

Llegó el momento de almorzar!

Arquitectura técnica de las soluciones SIU

Idealmente sería un DW

O3 Builder

Modelos de cubos (.mdl)META DATA

O3 Designer

O3 Adm Server

O3 Server

E.T.BD SIU-Pilagá

Área de usuario

O3 Query

Reportes

Análisis (cubos)

Enterprise Portal (Dashboards)

Reglas (Alertas)

Scorecard (Indicadores)

Web (O3 Portal)

Escritorio (O3 Browser)

Área de diseño, construcción y administración

Arquitectura actual del DSS con cubos de O3

BD SIU-Guaraní

BD SIU-Wichi Ex

Reportes

Tablas y Gráficos

BD SIU-Pampa

BD SIU-Araucano

BD SIU-Comechin

BD SIU-Pilagá

Arquitectura actual del DSS con SIU-Wichi

BD SIU-GuaraníBD SIU-

GuaraníBD SIU-Guaraní

DSA DW

Reportes

Análisis (cubos Mondrian)

Dashboards e Indicadores

Data Mining

Área de Limpieza y transformación de datos

BD SIU-Guaraní

EBD SIU-Pilagá

Reportes

Análisis (cubos)

Enterprise Portal (Dashboards)

Reglas (Alertas)

Scorecard (Indicadores)

Web (O3 Portal)

Escritorio (O3 Browser)

Arquitectura futura del DSS con Pentahoy O3 (SIU-Wichi quedaría dentro de Pentaho)

BD SIU-Guaraní

Arquitectura propuesta inicialmente del DSS con Pentaho

E.T.BD SIU-Pilagá

… CARGA

Reportes

Análisis (cubos Mondrian)

Dashboards e Indicadores

Data Mining

Área de usuarioÁrea de diseño, construcción y

administración *

* Observación: no se detallan todos los componentes específicos de esta área (para diseño de cubos, dashboards, etc) ni el motor mondrian y otras cuestiones técnicas

BD SIU-Guaraní

Estructura de las solucionesen Pentaho (archivos biserver)

<pentaho-dir>/biserver-ce/pentaho-solutions/siu

/capacitacionesindex.xml *SIU-Guarani-curso.xml (*)…

/guaraniindex.xml *SIU-Guarani.xml (*)…

/mapuche index.xml *SIU-Mapuche.xml (*)…

/pilagaindex.xml *SIU-Pilaga.xml (*)…

index.xml *

Consolda de usuario Pentaho

(*) definición del cubo

* index.xml: definición de las propiedades de la carpeta

Estructura de las solucionesen Pentaho (paquete SIU)

Cómo instalar las soluciones SIU:

“Instalacion soluciones SIU en Pentaho”

Documentación de instalación y carga de datos de las soluciones SIU.

Trabajos y transformaciones de PDI para cargar los datos en el DW.

Contiene los archivos con la definición de los cubos, vistas, tableros,

reportes y sus respectivas carpetas que son instalados en el biserver

de Pentaho.

Contiene arhivos extras que son útiles para las solucioines, por ej: CDE-

bundle-1.0-RC3.

Estándares de desarrollo

• Soluciones almacenadas como archivos versionado en svn

• Archivos del “núcleo” de la solución comienzan con “SIU-” y pueden modificarse de versión en versión.

• Estructura del DW: esquemas por sistema (pilaga, guarani, …, wichi, tablas_maestras…) , estandarización de nombres (ej: respetando nombre de txt actuales). Diccionario de datos común.

• Tipo de datos en el DSA y en el DW iguales a los sistemas de gestión (o máximo de ellos).

• Definición de roles comunes (para dar permiso a las soluciones según esos roles)

• Uso de estilos para los reportes.

• …

– Estándares

• Respetar los estándares de desarrollo

• Utilizar _UNNombre o UNNombre- para las personalizaciones (en todos los archivos).

– Comunicar al SIU (dw@siu.edu.ar) para su incorporación al versionado en el SVN (tanto de las personalizaciones como de los errores o nuevas funcionalidades incorporadas)

Forma de trabajo colaborativa y estandarizada

Comunidad SIU

Documentación en la web - Wiki

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki

Estándares en Wiki

http://repositorio.siu.edu.ar/trac/dw_pentaho/wiki/Definiciones%20y%20est%C3%A1ndares

Foro en comunidad de usuarios

Caso de éxito: Cubos de SIU-Guaraní en

producción en UNC

Personalizaciones para adaptar la solución común a las

características propias de la universidad.

Implementación de cubos integrando datos de todas las

facultades. Permisos de acceso por usuario

Está haciendo falta cafeína?

Explotación de datos con O3,más allá de los cubos

•Reportes•Eportal•Importar vistas, reportes, escritorios, etc.•Definición de cuadros de control

O3 Report

• https://www.ideasoft.biz/wiki/display/o3man/O3+Report+Studio

• Diana Peh, Nola Hague, Jane Tatchell, “BIRT: A Field Guide to Reporting (2nd Edition)”

O3 Report - Documentación

O3 Eportal

O3 EportalPanel de Control.

Definición de comunidades, Usuarios, etc

O3 Eportal - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Enterprise+Portal

• http://www.liferay.com/

O3 ScorecardNuevo Tablero de Control

Ejemplo de definición de un Indicador paso a paso

• Ejemplo de Indicador a definir: Rojo si porcentaje en sueldos supera el 85%, amarillo entre 80% y 85%, Verde para menos de 80%

O3 Scorecard

• Agregar grupo. Luego agregar indicador

O3 Scorecard

• Definir indicador, solapa Método

O3 Scorecard

• Agregar el cubo

O3 Scorecard

• Armar la vista

O3 Scorecard

• Capturar la vista

• y completar con los campos

O3 Scorecard

• Volver al indicador, solapa campos y completar datos

O3 Scorecard

• Solapa Datos y completar datos

O3 Scorecard

• Guardar como… en servidor

O3 Scorecard

• Generar tablero

O3 Scorecard

• Visualización en Portal Web

O3 Scorecard

• Definición de indicadores agrupadores

O3 Scorecard

O3 Scorecard - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Scorecard

O3 - Importar vistas, reportes, escritorios, etc

Vistas

Pasos para importar una nueva vista al servidor de O3:

1- Abrir la vista con el O3 Browser

2- Seleccionar del menú “Ventana” -> “Aplicar la vista actual en otro cubo …”

3- Seleccionar el servidor y el cubo sobre el cual aplicar la vista.

Reportes

Pasos para importar un reporte en el servidor de O3:

1- Copiar el archivo .rptdesign al directorio

<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/reports

2- Desde el adminserver configurar los permisos de usuario para ese reporte.

3- El reporte se podrá acceder desde el O3portal en la sección “Reportes” dentro

De la ventana de “Mis Bookmarks”

Escritorios

Pasos para importar un escritorio en el servidor de O3:

1- Copiar el archivo .desk al directorio

<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/jdesktops/desktops

2- Desde el adminserver configurar los permisos de usuario para ese escritorio.

3- El escritorio se podrá acceder desde el O3portal en la sección “Escritorios” dentro

De la ventana de “Mis Bookmarks”.

Reglas

Pasos para importar una regla en el servidor de O3:

1- Copiar el archivo .rule al directorio

<O3_server_dir>/jboss/server/default/ideasoft-o3/server/istore/rules

2- Desde el adminserver configurar los permisos de usuario para esa regla.

3- El reporte se podrá acceder desde el O3portal en la sección “Reglas” dentro

De la ventana de “Mis Bookmarks”.

Comunidades en el Eportal

Pasos para importar un escritorio en el servidor de O3:

1- Ingresar al Eportal como administrador.

2- En el “Panel de Control” ir a “Comunidades” y crear una nueva comunidad con

el nombre deseado.

3- Ingresas a la comunidad creada mediante “Acciones” -> “Administrar pàginas”

4- Ir a la solapa “Exportar/Importar “y ahí seleccionar “Importar”.

5- En el botòn “examinar” seleccionar el archivo .zip que contiene la comunidad a

Importar.

6- Presionar el botòn “Importar”.

Ver: “EJEMPLO Restricciones de la dimensiones.doc”

O3 Server AdministratorPermisos de acceso y Restricciones

O3 Server Adm - Documentación

• https://www.ideasoft.biz/wiki/display/o3man/O3+Server+Administrator

Más información:

www.siu.edu.ar

dw@siu.edu.ar

Lic. Cecilia Dómina

Ing. Marcos Pierri

Muchas Gracias!!!

¿Preguntas?

Taller de técnicos 2011 09 UNC

Documents

Observación - UNC

COMEDOR - UNC

58025, - UNC

CARÁTULA - UNC

TEMA25 - UNC

Biólogo - UNC

2018. - UNC

PENTAHO BI (Open Source) Introducción Taller Técnicos PENTAHO – Junio 2011

AUTORIDADES UNC

Epistemologia UNC@

ANALES - UNC

Taller: como fijar incapacidad Baremo español/argentino Sección ocupacional Raquel Pendito UNC

Taller Cómo elaborar Informes Técnicos

Petrografia unc

INDICE - UNC

JEAN - UNC

PLANTA - UNC

Metodos unc

Historia unc

RESPUESTAS - UNC