ProyectoGestión PNR V2
Introducción◦ Descripción General
◦ Alcance del Proyecto
Contexto del Sistema◦ Carga Diaria - Definición
◦ Carga Diaria – Etapas
◦ Control & Monitoreo – Definición
◦ Control Históricos – Definición
◦ Recarga – Definición
◦ Proceso Cutover - Definición
Bitácora
Ambienteo Tablas Control de Proceso
o Modelo de datos
o Pre-condiciones de Datastage Unix
o Requerimientos Archivos Shell
Ejecución de procesos y Anexoso Ejecución de procesos
o Nomenclatura utilizada
o Definiciones de Alto Nivel
o Screenshots
o Informes Vía Email
Objetivos◦ Bajo el contexto del Proyecto Host, GPNR debe adaptarse
a diferencias derivadas de la transición por lo que se decide desarrollar GPNR V2.
◦ El nuevo sistema ya no dependerá de BPNR sino de los archivos CDD enviados por Sabre. Se generarán nuevos procesos extracción, transformación y carga en la aplicación, así como también cambios menores en el modelo de datos.
Nombre del Proyecto New Host Gestión PNR V2
Patrocinador Daniela Baytelman
Líder de Frente Sergio Soza
Usuario Líder Jorge Mendoza
Jefe del Proyecto LAN Cristián Abaroa
Jefe de Proyecto Focus
Gastón Navea
Descripción General
El nuevo sistema se divide en los siguientes Módulos:
Proceso de Negocio:◦ Carga Diaria◦ Control Histórico ◦ Recarga.◦ Cut Over:
Cierre de Vigencias Carga Inicial
Proceso Administración: ◦ Control & Monitoreo.
Alcance Proyecto
5
◦ Proceso general de gestión PNR que permite volcar la información, correspondiente a un día de transacciones en el host, en el modelo Teradata de Gestión PNR. A continuación se describirán los sub procesos correspondientes a Carga Diaria.
Carga Diaria - Definición
6
Etapa 1:Validación (Datastage,Unix): Ejecuta validación de estructura de los archivos cdd, cantidad de columnas, validacion de tipo de dato, largo, nulo de columnas, validacion de existencia de archivos.
Etapa 2:Extracción (Datastage,Teradata,Oracle,Unix): Ejecuta extracciones de datos desde las bases operacionales de Lan (snapshot) para disponibilizar los datos hacia las posteriores etapas del proceso.
Etapa 3:Integridad (Datastage,Teradata,Unix): Ejecuta los subprocesos de integridad de PNR’s y transformaciones de datos complementarios.
Etapa 4:Transformación (Datastage,Teradata,Oracle,Unix): Ejecuta los procesos de transformación de PNRs en formato CDD files a Formato GPNR y transformaciones de PFS.
Etapa 5:Carga Intermedia (Datastage,Teradata,Unix): Ejecuta la carga intermedia de las tablas temporales correspondientes a entidades de PNR, y la carga en modelo productivo de las tablas lookup y PFS.
Carga Diaria - Etapas
7
Etapa 6: Cálculos complejos (Datastage,Teradata,Unix): Ejecuta las rutinas de cálculo de atributos complejos de PNRs para reservas y segmentos. Agrega la data impactada por PFS.
Etapa 7: Carga Cálculos Complejos (Datastage,Teradata,Unix): Ejecuta la carga final de entidades temporales en formato GPNR de los PNRs del día.
Etapa 8: Tratamiento de Vigencias (shell,Teradata,Unix): Abre y cierra vigencias de los PNRs.
Etapa 9: Carga Final (shell,Teradata,Unix): Carga los datos previamente tratados de por vigencias a las tablas del modelo final.
Etapa 10: Tickets Derivados y Reservas NT (shell,Teradata,Unix): Ejecuta los tickets derivados y las Reservas NT
Etapa 11:Término de Procesos (shell,Teradata,Unix): Mueve los archivos a la carpeta de respaldo y genera informe final.
Carga Diaria - Etapas
8
Tablas nuevas
Modelo de Datos GPNR
Tablas originales
9
◦ El proceso de control y monitoreo para Gestión PNR se realiza sobre el procesos de carga diaria (o carga normal) y control de históricos de GPNR, pero puede ser usado para cualquier sistema que sea modelado a nivel de Procesos, Etapas y actividades.
Control y Monitoreo - Definición
Tablas nuevas
Tablas Control de Proceso
Tablas Control de Proceso
Tabla de ProcesosTabla de control que permite registrar el estado de ejecución de las shells pertenecientes a los diferentes tipos de procesos.
Tabla EtapasTabla de control que permite registrar el estado de ejecución de los jobs pertenecientes a cada etapa de un determinado proceso.
Tabla de ActividadesTabla de control que permite registrar el estado de ejecución de los jobs/shells pertenecientes a cada actividad de una determinada etapa.
Tabla de RecuperacionesTabla de control que permite registrar el estado de ejecución perteneciente a cada proceso de recuperación realizada.
12
◦ El Proceso de Control de Históricos es un proceso mensual encargado de borrar datos y archivos denominados como “historia” y se divide en tres etapas: Etapa I: Control histórico CDD files Etapa II: Control histórico de Tablas de Procesos Etapa III: Control histórico de Tablas de Negocio
Control de Históricos - Definición
13
◦ La función principal del proceso de recarga es disponibilizar una herramienta que permita ejecutar un proceso de carga diaria recibiendo como input una fecha del pasado
◦ Un proceso de Recarga realiza los siguientes pasos: Recupera del path de respaldo de CDD files, el zip
correspondiente a la fecha ingresada como input Descomprime el zip en el directorio base Ejecuta el proceso de carga diaria indicando que esa
carga es parte de una recarga.
Recarga - Definición
14
◦ El proceso de Cut Over, en el contexto de Gestion PNR está compuesto de 2 subprocesos:
Carga Inicial: Proceso que acumula, subdivide y carga una lista de PNR’s. La carga se realiza mediante el proceso de Carga Diaria.
Cierre de Vigencias: Proceso que cierra las vigencias de los PNR’s que se van a migrar según una fecha determinada.
Proceso Cut Over - Definición
15
Los TNS asociados a Instancia OPER, FAST asociados al ambiente
de instalación deben estar configurados en el archivo TNSNAMES. Para poder ejecutar dsjob es necesario poder actualizar siguiente
parámetro en ambiente Unix donde reside servidor DataStage:
cd `cat /.dshome`. ./dsenv
Debe existir el Proyecto DSNHGPNR en el Servidor DataStage versión 7.5 en los directorios:
/dsapp
/dsdata
Pre – Condiciones de DataStage Unix
16
Para la descarga de los archivos tipo Shell desde Harvest es necesario que ante cualquier migración vía FTP se deba utilizar el Modo de transferencia ASCII. Esto impide que se agregue el carácter ^M al final de cada archivo.
En caso de que los archivos contengan el carácter ^M, se debe ejecutar a nivel de línea comando en Unix, ‘vi’ para el archivo con problemas y luego ejecutar siguiente comando::1$s/^M//g
En caso de que lo anterior no funcione, el comando: “dos2unix –ascii (filename) (filename)” también limpia el caracter ^M.
Requerimientos Archivos Shell
17
Ejecución de procesosN°
Nombre proceso
Tipo
1Control
HistóricoSHELL_PROC_GPNR_CH.sh
(shell-Control M)
2 RecargaSHELL_PROC_GPNR_RC.sh
(On-Demand)
3.1 Carga InicialSHELL_PROC_GENERA_ACUMULADO_CI.sh
(Shell – Control M, On-Demand)
3.2 Carga InicialSHELL_PROC_ASIGNA_BLOQUE_CI.sh
(Shell – Control M, On-Demand)
3.3 Carga InicialSHELL_PROC_SUBDIVIDE_RES_TEMP.sh
(Shell – Control M, On-Demand)
3.4 Carga InicialSHELL_PROC_EJEC_PARALELO_CD_DAT.sh
(Shell – Control M, On-Demand)
4.1Cierre de Vigencias
SHELL_PROC_SEL_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)
4.2Cierre de Vigencias
SHELL_PROC_UPD_CIERRE_VIGENCIA.sh(Shell – Control M, On-Demand)
5 Carga diariaSHELL_PROC_GPNR_CD.sh
(shell- Control M)
18
Nomenclatura utilizada
Código
Descripción Origen
0 Proceso termino Exitosamente
SHELL
1 Proceso termino con Errores
SHELL
Alertas del Sistema Tipo de Proceso
Código
Descripción Descripción de Referencia Origen
CD Carga Diaria
Se identifica con la letra CD al proceso de Carga Diaria.
SHELL
CH Control Histórico
Se identifica con la letra CH al proceso de Control Histórico.
SHELL
CI Carga Inicial
Se identifica con la letra CI al proceso de Carga Inicial.
SHELL
CV Cierre de Vigencias
Se identifica con la letra CV al proceso de Cierre de Vigencias.
SHELL
RC Carga Reproceso
Se identifica con la letra RC al proceso de Recarga.
SHELL
Estado de Proceso
Código
Descripción Descripción de Referencia Origen
0 RUNNING El estado del Job es “En Ejecución”
DTS
1 FINISHED El estado del Job es “FINALIZADO SIN WARNING”
DTS
2 FINISHED (See Log)
El estado del Job es “FINALIZADO CON WARNING”
DTS
3 ABORTED El estado del Job es “ABORTADO”
DTS
99 COMPILED El estado del Job es “COMPILADO”
DTS
21 HAS BEEN RESET
El estado del Job es “RESETEADO”
DTS
19
Proceso: ◦ Ejecución de un conjunto de etapas sucesivas que implementan
una necesidad de negocio
Etapa: ◦ Ejecución de un conjunto de actividades. Las etapas siempre
son secuenciales, y por lo tanto a cada etapa se le asigna un orden de secuencia dentro del proceso.
Actividad:◦ Unidad funcional mínima y a diferencia de las etapas no tiene
restricción de secuencialidad, por lo que eventualmente podrían ejecutarse de forma paralela
Definiciones de alto nivel
20
Recuperación:◦ Cuando un proceso es gatillado luego de ocurrida una falla, se
dice que es una recuperación del proceso.
Control: ◦ Conjunto de elementos que permiten identificar un proceso,
ejecutar sus etapas y en caso de falla reiniciar desde la última etapa ejecutada de forma exitosa.
Monitoreo: ◦ Este concepto se reduce al conjunto de elementos que permiten
monitorear un proceso. Entendiéndose como supervisión humana de los parámetros de monitoreo mientras un proceso está en curso con el objetivo de identificar posibles anomalías.
Definiciones de alto nivel
21
ScreenshotsAgrupación de Etapas Unix
22
ScreenshotsTabla Procesos Tabla Etapas
Tabla Recuperaciones Tabla Actividades
23
Informes vía Email – Informe Final
TIPO PROCESO : CI FECHA ARCHIVOS : 20111201 FECHA INICIO PROCESO : 2012-02-27 15:53:02 FECHA FIN PROCESO : 2012/02/27 18:38:29 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN SEGMENTOS : 553076 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN SEGMENTOS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS : 199999 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN TICKET : 293094 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN TICKET : 1018 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS PAX : 328213 CANTIDAD DE REGISTROS QUE CERRARON VIGENCIA EN RESERVAS PAX : 0 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN DERIVADAS TICKET: 2284316 CANTIDAD DE REGISTROS QUE INICIARON VIGENCIA EN RESERVAS NT : 969803
24
Informes vía Email – Informe error
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** INICIO PROCESO : 2012/02/27 10:54:14 ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** INICIO PROCESO VALIDACIÓN : 2012/02/27_10:54:14 ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION UPTIME MAQUINAS ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- --> * OK * La máquina 57.228.166.84 Se encuentra OPERATIVA --> * OK * La máquina 57.228.166.80 Se encuentra OPERATIVA --> * OK * La máquina 57.228.166.83 Se encuentra OPERATIVA --> * OK * La máquina 57.228.128.8 Se encuentra OPERATIVA ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION UPTIME BASE DATOS ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- --> Generando conexion SID : ldsbdcros1_fast --> USR : SRVMDCNHGPNR --> LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_ORA_20120227.log --> Revisando conexion SID : ldsbdcros1_fast ... --> * OK * La Base Datos ldsbdcros1_fast Se encuentra OPERATIVA --> Generando conexion SID : 57.228.128.8 --> USR : usr_dh_nhgpnrd --> LOG : /dsdata/DSNHGPNR/LOG/LOG_CONEXION_TERA_20120227.log --> Revisando conexion SID : 57.228.128.8 ... --> * OK * La Base Datos 57.228.128.8 Se encuentra OPERATIVA
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- *** REVISION ESPACIO DISPONIBLE EN MAQUINA DATASTAGE ... ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- --> Espacio Utilizado en (directorio dsdata) [92] % --> Espacio Maximo a Utilizado en (directorio dsdata) No debe superar al [90] % --> Espacio disponible en dsdata insuficiente [92] % el maximo utilizado NO debe superar al [90] %
25
Focus Business Solutions
Barros Errazuriz 1953 – Of 605.Providencia Santiago (Chile)
Tel: (56 2) 421 7390Fax:(56 2) 421 7390www.focusbs.com