31
Guía de auto-aprendizaje en SDMX n. 1 Libro del estudiante Introducción a SDMX

Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Embed Size (px)

Citation preview

Page 1: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX n. 1

Libro del estudiante

Introducción a SDMX

Page 2: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

Autor Eurostat, Dirección A: Cooperación en el Sistema Estadístico Europeo;

cooperación internacional; recursos

Unidad A6: Cooperación estadística

Última

actualización

Noviembre 2012

Versión 1.0

Page 3: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

TABLA DE CONTENIDOS

1 OBJETIVO DEL LIBRO DEL ESTUDIANTE ........................................................................................ 1

2 INTRODUCCIÓN E HISTORIA ............................................................................................................... 2

2.1 OBJETIVO DE ESTE CAPÍTULO ................................................................................................................... 2

2.2 ORIGEN Y PROPÓSITO SDMX ................................................................................................................... 2

2.3 HISTORIA .................................................................................................................................................. 2

3 COMPONENTES DE SDMX ..................................................................................................................... 4

3.1 OBJETIVO DE ESTE CAPÍTULO ................................................................................................................... 4

3.2 EL MODELO DE INFORMACIÓN SDMX ..................................................................................................... 4

3.2.1 ¿Qué es un Modelo de Información? ............................................................................................. 4

3.2.2 Datos estadísticos y metadatos....................................................................................................... 5

3.2.3 Modelo de información SDMX (SDMX Information Model: SDMX-IM) ....................................... 7

3.2.4 Formatos SDMX ............................................................................................................................13

3.3 DIRECTRICES ORIENTADAS AL CONTENIDO (CONTENT ORIENTED GUIDELINES) ......................................15

3.3.1 Conceptos transversales (Cross-domain) ......................................................................................15

3.3.2 Dominios estadísticos ....................................................................................................................16

3.3.3 Vocabulario común de metadatos (Metadata Common Vocabulary) ...........................................17

3.3.4 ¿Qué significa interoperabilidad? ................................................................................................18

3.4 ARQUITECTURA INFORMÁTICA PARA EL INTERCAMBIO DE DATOS ...........................................................19

3.4.1 Formatos estándar para el intercambio de datos y metadatos .....................................................19

3.4.2 Arquitecturas para el intercambio de datos ..................................................................................19

3.4.3 “SDMX Registry” .........................................................................................................................23

3.5 HERRAMIENTAS INFORMÁTICAS ..............................................................................................................24

3.5.1 Introducción ..................................................................................................................................24

3.5.2 Tipos de herramientas ...................................................................................................................24

3.5.3 Disponibilidad de las herramientas SDMX ...................................................................................25

4 APRENDA MÁS SOBRE SDMX ..............................................................................................................27

5 GLOSARIO .................................................................................................................................................28

Page 4: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

1/28

1 Objetivo del Libro del Estudiante

El libro del estudiante tiene como objetivo proporcionar una introducción general a SDMX a

usuarios interesados en SDMX en términos de:

Su historia.

Los componentes.

El modelo de información para datos y metadatos.

Al final del libro del estudiante, el lector deberá ser capaz de entender los conceptos básicos

del SDMX.

El libro del estudiante es el primero de una serie de 8 libros del estudiante (ver Tabla 1) que

proporcionan conjuntamente una información completa para llegar a dominar SDMX, con un

énfasis particular en el modelo de datos.

Ref. Título

[01] Introducción al SDMX

[02] El Modelo de Información SDMX (SDMX Information Model)

[03] Mensajes SDMX-ML (SDMX-ML Message)

[04] Definición de Estructura de Datos (Data Structure Definition)

[05] Definiciones de Estructura de Metadatos (Metadata Structure

Definition)

[06] Tecnologías basadas en XML usadas en SDMX

[07] Arquitecturas SDMX de método pull para compartir datos – Parte

1

[08] Arquitecturas SDMX de método pull para compartir datos – Parte

2

Tabla 1 – Libros del estudiante sobre SDMX

Prerrequisitos

El libro del estudiante es una introducción general. No se necesita ningún prerrequisito

específico para comprender el contenido.

Page 5: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

2/28

2 Introducción e Historia

2.1 Objetivo de este Capítulo

Este capítulo explica el origen de SDMX, su propósito e historia.

2.2 Origen y propósito SDMX

Statistical Data and Metadata eXchange (SDMX) fue creado en 2001 por siete organizaciones

que trabajaban en estadísticas a nivel internacional: Banco de Pagos Internacionales (BPI),

Banco Central Europeo (BCE), Eurostat, Fondo Monetario Internacional (FMI), Organización

para la Cooperación y el Desarrollo Económico (OCDE), División de Estadística de las

Naciones Unidas y el Banco Mundial. Estas siete organizaciones trabajan como

patrocinadores de SDMX.

Gracias a internet y el world wide web, el intercambio electrónico de datos se ha convertido

en un proceso más sencillo y más común, aunque el intercambio en muchas ocasiones se

realiza en una multitud de formatos y con conceptos que no son estándar. Esto crea la

necesidad de tener estándares y directrices comúnes para asegurar procesos más eficientes

para el intercambio de datos y metadatos estadísticos. Ya que el intercambio de datos

estadísticos es un proceso continuo, los beneficios de adoptar un proceso común son

considerables para ambas partes, los proveedores de datos y los usuarios finales.

SDMX intenta asegurar que los metadatos siempre acompañen los datos, haciendo que la

información sea directamente comprensible y útil. Por esta razón, las normas y las directrices

SDMX manejan tanto los datos como los metadatos.

El objetivo de SDMX era desarrollar y utilizar procesos más eficientes para el intercambio de

datos y metadatos estadísticos entre las organizaciones internacionales y sus países miembros.

Para lograr este objetivo, SDMX proporciona formatos estándar para los datos y metadatos,

junto con las directrices para el contenido y una arquitectura informática para el intercambio

de datos y metadatos. Las organizaciones son libres de hacer uso de aquellos elementos de

SDMX que sean más apropiados en un caso dado.

Seguir unas normas comunes y directrices no sólo ayuda a facilitar el acceso a los datos

estadísticos, en cualquier parte sean estos datos y sin exigir un acuerdo previo entre dos

partes, sino que también facilita el acceso a los metadatos que hacen que los datos sean más

comparables, más significativos, y por lo general más fáciles de usar.

2.3 Historia

La versión 1.0. de los estándares SDMX incluye el modelo de información así como el

formato de datos SDMX-ML basado en XML y el formato de datos GESMES/TS, al que se le

dio el nombre de SDMX-EDI.

La versión 1.0 fue aprobada por los patrocinadoresen septiembre de 2004 y aceptada como

una especificación técnica ISO (ISO/TS 17369:2005) en abril de 2005.

En noviembre de 2005, los patrocinadores aprobaron la versión 2.0 del estándar SDMX, que

es completamente compatible con la versión 1.0 pero proporciona además el intercambio de

Page 6: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

3/28

metadatos de referencia (explicativos)e incluye la especificación del interfaz del Registro. En

2008 se presentó SDMX 2.0 a la ISO, con algunos ajustes y correcciones para tener en cuenta

los comentarios recibidos desde que la versión 2.0 fue lanzada en 2005.

El primer borrador de las directrices orientadas al contenido (Content-Oriented Guidelines)

fue publicado para revisión pública en marzo de 2006, y una versión consolidada fue

publicada en febrero de 2008. La versión completa y final, revisada para tener en cuenta los

múltiples comentarios de diferentes organizaciones, vio la luz en enero de 2009.

En marzo de 2007, las instituciones patrocinadoras firmaron un Memorándum de

Entendimiento, con la intención de acordar una colaboración duradera de los patrocinadores

en todos los aspectos de SDMX. El Memorándum de Entendimiento excluye la formación de

cualquier entidad legal o fondo común para SDMX; cada institución patrociniadora y sus

países miembros continuarán utilizando sus procesos existentes para llegar a acuerdos para la

transmisión y publicación de estadísticas.

En la conclusión de la sesión 39ª de la Comisión de Estadísticas de las Naciones Unidas

(Nueva York, febrero 2008), SDMX fue reconocido y declarado como “el estándar de

preferencia para intercambiar y compartir datos y metadatos entre la comunidad estadística

global”. Esta aceptación de SDMX a nivel de Naciones Unidas es un importante paso

adelante hacia el uso de SDMX a nivel mundial.

Page 7: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

4/28

3 Componentes de SDMX

3.1 Objetivo de este capítulo

SDMX es mucho más que un formato de intercambio de datos, ya que también responde a

varias preguntas:

¿Cuál es el modelo de información que existe para los datos y metadatos

intercambiados entre los socios?

¿Cómo aumentar la interoperabilidad y la armonización estadística?

¿Cómo intercambiar datos?

Este capítulo explica los tres componentes del estándar SDMX que proporcionan las

respuestas a estas preguntas:

El modelo de información SDMX (SDMX Information Model)

Las directrices orientadas al contenido (Content-Oriented Guidelines)

La arquitectura informática (IT architecture) para el intercambio de datos

A continuación veremos una descripción global de estos componentes. Se puede encontrar

información más detallada en los otros libros del estudiante.

Un párrafo adicional explica las herramientas SDMX disponibles y como éstas pueden servir

de ayuda en el proceso de transmisión y producción de datos.

3.2 El modelo de información SDMX

3.2.1 ¿Qué es un modelo de información?

Un modelo de información es una representación de conceptos, relaciones, limitaciones,

normas y operaciones para especificar la semántica de los datos para un dominio concreto.

Puede proveer de una estructura de requisitos de información estable, organizada y que se

puede compartir en el contexto del propio dominio.

En el campo de la ingeniería de software y modelado de datos un modelo de información es

una representación abstracta y formal de tipos de entidades con sus propiedades, relaciones y

operaciones. Los tipos de entidades en el modelo pueden ser representaciones de objetos

reales, tales como aparatos de una red, o simplemente ser objetos abstractos, como por

ejemplo las entidades utilizadas en un sistema de facturación. Normalmente, se usan para

modelar un dominio limitado que puede ser descrito con un grupo cerrado de tipos de

entidades, propiedades, relaciones y operaciones.

Un modelo de información dota de formalismo a una descripción de un dominio sin limitar

cómo esa descripción se asigna a una implementación en el software. Puede haber muchos

diferentes tipos de asignaciones del modelo de información. Esas asignaciones se llaman

modelos de datos, independientemente de si son modelos de objetos (por ejemplo que usan

UML), modelos de entidades de relación o esquemas XML.

Page 8: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

5/28

3.2.2 Datos estadísticos y metadatos

3.2.2.1 Datos estadísticos

Los datos estadísticos son conjuntos de observaciones a menudo numéricas que normalmente

tienen un determinado tiempo asociado a ellas. Para poder entender su significado

necesitamos un grupo de conceptos estadísticos que actúan como identificadores y

despriptores de los datos. Estos valores de los metadatos se pueden entender como

dimensiones de un sistema de coordenadas multidimensionales, que describen lo que se llama

a menudo un “cubo” de datos.

Dibujo 1 – Un cubo de datos estadísticos de turismo

En el ejemplo del dibujo 1, el número 8138 representa una observación de datos estadísticos,

que puede ser descrita por los siguientes conceptos estadísticos:

La “Unidad: Número” del “Tema: B010 – Campamentos turísticos” en el “Área de referencia:

Francia”, en el “Tiempo: 31 de Diciembre de 2006”.

Conceptos descriptores

Las cifras estadísticas necesitan ser descritas con conceptos que las hagan entendibles. Un

ejemplo simple puede contener los siguientes conceptos:

Concepto: FREQUENCY (FRECUENCIA) (dimensión – valores provistos por la lista

de códigos de Frecuencia: Anual, Trimestral, Mensual, etc.);

Page 9: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

6/28

Concepto: REFERENCE_AREA (ÁREA DE REFERENCIA) (dimensión – valores

provistos por la lista de códigos de país);

Concepto: OBSERVATION_VALUE (VALOR DE LA OBSERVACION) (medida –

con un tipo de datos númerico);

Concepto: TOPIC (TEMA) (dimensión – que proporciona los nombres de los

diferentes temas del conjunto de datos estadísticos);

Concepto: TIME (TIEMPO) (dimensión – valores proporcionados por una

representación de fecha);

Concepto: UNIT (UNIDAD) (atributo – unidad en la cual la medida está expresada).

Dimensiones, atributos y medidas:

Los conceptos descriptores pueden diferenciarse dentro de las dimensiones, entre los que

describen los datos y forman el identificador (ID) de los datos y atributos relativos, que

proporcionan información descriptiva adicional para cualificar los datos. Los atributos son por

ejemplo la unidad de medida o la información sobre el estado de una observación

(provisional, prevista, estimada, revisada, etc.) como un calificador que especifica la

confidencialidad de los datos.

Las medidas incluyen el fenómeno que es observado. Mientras que para las representaciones

de datos de tipo temporal (Time Series) solo se declara una medida primaria, para las

representaciones de datos transversales (Cross-Sectional) normalmente se declaran múltiples

medidas en una dimensión de medida específica.

3.2.2.2 Metadatos

El término “metadatos” es un término muy amplio. Se puede hacer una distinción entre:

Metadatos estructurales (Structural metadata) – son conceptos usados en la descripción e

identificación de datos y metadatos.

Metadatos de referencia o explicativos (Reference or explanatory metadata) – forman

una larga lista de conceptos que describen y cualifican conjuntos de datos estadísticos y

procesos, siendo asociados generalmente no a una observación específica o serie de datos,

pero sí a toda una colección de datos o incluso a una institución proveedora de datos. Los

metadatos de referencia generalmente existen en formato de texto, usan conceptos que

describen contenido, metodología y calidad de los datos; por tanto, se pueden dividir en:

Metadatos conceptuales, que describen los conceptos usados y su implementación

práctica;

Metadatos metodológicos, que describen los métodos usados para la generación de

datos;

Metadatos de calidad, que describen las diferentes dimensiones de calidad de los datos

estadísticos.

Los metadatos están también no solo asociados a datos, sino también al proceso para

proporcionar y gestionar el flujo de datos. Este tipo de metadatos está relacionado con el

provisionamiento de datos (“data provisioning”) – metadatos que son útiles para aquellos que

necesitan comprender el contenido y forma del producto final generado por los proveedores

Page 10: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

7/28

de datos. Por ejemplo proporcionar la información sobre la programación del suministro de

datos y el mecanismo por el cual sus datos y metadatos son proporcionados.

Finalmente, para organizar y describir el intercambio y difusión de datos y metadatos, es

posible expresar información sobre esquemas de clasificación y categorías de dominios junto

con sus relaciones a los conjuntos de datos y metadatos.

3.2.3 Modelo de información SDMX (SDMX Information Model: SDMX-IM)

SDMX proporciona una forma para describir datos estadísticos, metadatos estructurales y

procesos de intercambio de datos. SDMX también define un modelo para metadatos

explicativos adicionales, llamados metadatos de referencia (Reference Metadata), que

generalmente vienen representados en forma de texto. Para poder producir un estándar técnico

que pueda utilizar diferentes modelos de intercambios estadísticos, SDMX-IM proporciona un

grupo de objetos formales que describen los actores, procesos y los recursos para los

intercambios estadísticos.

SDMX-IM a través de un patrón estructural permite la especificación de estructuras

complejas en formato de tabla, normalmente fáciles de encontrar en datos estadísticos.

En el siguiente resumen se puede ver un listado de los objetos principales. Una descripción

completa de todos los objetos de SDMX-IM está descrita en el libro del estudiante 2 “El

modelo de información SDMX”.

Conjunto de datos (Data Set)

Conjunto de datos: una colección de datos similares, que comparten una estructura dentro de un

periodo de tiempo fijo. Los conjuntos de datos están compuestos por un número de series

temporales o bien un grupo de diferentes series temporales relativas a un único punto de tiempo

(un "corte" en el tiempo).

Tabla 2 – Representación de datos multidimensionales

Los datos en serie temporal (Time Series) son un conjunto de observaciones que representan la

medida de un fenómeno estadístico en un tiempo específico (esto nos permite ver las tendencias

del fenómeno medido).

Indicador Tiempo

Pais

AT 14267 14051 14204 538 542 540 3225 3329 3388

ES 17607 18304 17827 1250 1216 1220 4552 4524 4843

FR 18689 18361 18135 8174 8138 8052 2329 2325 2406

IT 33527 33768 34058 2411 2510 2587 68385 68376 61810

2006A00 2007A00

Número de establecimientos turísticos, Ejemplo multidimensional

B020- Viviendas de vacaciones B010 – Campings turísticos A100 - Hoteles y similares

2005A00 2006A00 2007A00 2005A00 2005A00 2006A00 2007A00

Page 11: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

8/28

Tabla 3 – Conjunto de datos en serie temporal (Time Series)

Los datos transversales (Cross-sectional) tienen como propósito representar más de una medida,

por ejemplo cuando unos conjuntos de datos estadísticos tienen múltiples medidas /

observaciones en un único punto de tiempo.

Tabla 4 – Conjunto de datos transversales (Cross-Sectional)

Conjunto de metadatos (Metadata Set)

Un conjunto de metadatos de referencia es información acerca de la vista formal de SDMX del

intercambio estadístico: puede describir el enfoque estadístico; los encargados de mantener los

datos o estructuras de datos; el programa de fechas de publicación; la calidad de los datos; etc. en

relación con un definición de estructura (MSD). La tabla 5 a continuación presenta un ejemplo

de metadatos de referencia (Reference Metadata) del dominio estadístico “Turismo”, creado de

acuerdo al formato Euro SDMX Metadata Structure (ESMS).

Indicador

Tiempo

2005A00 18689 8174 2329

2006A00 18361 8138 2325

2007A00 18135 8052 2406

Número de establecimientos turísticos,

en Francia – información anual

A100

Hoteles y similares

B010 Campings turísticos

B020

Viviendas de vacaciones

Indicador

Pais

AT 14051 542 3329

ES 18304 1216 4524

FR 18361 8138 2325

IT 33768 2510 68376

Número de establecimientos turísticos,

información anual de 2006

A100

Hoteles y similares B010

Campings turísticos B020

Viviendas de vacaciones

Page 12: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

9/28

Tabla 5 – Conjunto de metadatos (truncado) (Metadata Set)

Page 13: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

10/28

Esquema de conceptos (Concept Schema)

Un esquema de conceptos es una lista de conceptos utilizados en una definición de estructura

de datos (familia clave) y definición de estructura de metadatos. Hay tantos esquemas de

conceptos como estructuras de datos específicas para los ámbitos estadísticos. Se puede

especificar una representación “base” (core) del concepto (por ejemplo, una lista de códigos

base, u otra representación como por ejemplo “fecha”).

Definición de Estructura de Datos (DSD)

El DSD describe la estructura de un conjunto de datos (DataSet) particular mediante una lista

de conceptos descriptores. Define qué conceptos son dimensiones (identificación y descripción

– por ejemplo: frecuencia, país, variable/tema, periodo de tiempo), y cuáles son atributos

(simplemente descripción/cualificación – por ejemplo, la unidad de medida, confidencialidad o

estado de los datos).

Además determina el nivel de asociación (attachment level) para cada uno de estos conceptos,

basados en la estructura de empaquetamiento (Conjunto de datos, Grupo, Serie/Sección u

Observación), así como si son condicionales o no.

Las listas de códigos (CodeList) asociadas proporcionan los valores para estas dimensiones,

así como los posibles valores para los atributos (si los atributos no utilizan texto libre).

Por lo tanto, un DSD es un grupo de conceptos descriptores, asociados con un grupo de datos,

que permite a cualquier usuario entender el significado de los datos.

Promedio anual de población por sexo (en millones)

VARON MUJER VARON MUJER

A:DE:2 A:DE:3 A:US:2 A:US:3

2008a0 39.77 41.07 114.96 118.11

2007a0 39.63 41.03 114.67 117.93

2006a0 39.57 40.97 114.43 117.75

2006a0 39.49 40.92 114.27 117.57

Tabla 6 – Ejemplo simplificado de datos demográficos (no son datos reales)

Revisando las tablas, podemos analizar los siguientes conceptos estadísticos (descriptores) y

sus posibles valores, proporcionando también valores de código:

1. Frecuencia (Frequency) (M = mensual, Q = trimestral, A = anual);

2. País de referencia (Reference Country) (DE = Alemania, US = Estados Unidos);

3. Indicador demográfico (Demographical Indicator) (Promedio de población: 1= Total;

2=Varón 3=Mujer);

4. Unidad de medida (Unit of measure) (Número de personas);

5. Multiplicador de unidad (Unit multiplier) (6 = millones).

Page 14: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

11/28

Las series temporales (time series) están expresadas en millones de personas. La “unidad de

medida” y el “multiplicador de unidad ” no contribuyen a la identificación de las series, pero

proporcionan una información adicional y cualifican los atributos asociados al conjunto de

datos (DataSet).

Los conceptos de 1 al 3 son necesarios para identificar la serie temporal, por lo tanto actúan

como dimensiones que describen la clave en el orden (el separador “:”) A:DE:3. Esta clave

identifica la serie temporal de la población anual de varones en Alemania.

También debemos indicar la “agencia recopiladora” de datos, asociada al nivel del conjunto de

datos (DataSet).

Se debe prestar atención que en este ejemplo en particular, todos los conceptos, a parte del

tema observado, el indicador demográfico – son conceptos SDMX transversales (Cross-

Domain) de las directrices SDMX orientadas al contenido (Content Oriented Guidelines). Una

definición formal simple de la estructura de datos es descrita en la tabla 7.

Orde

n de

la

clave

Dimensión o

nombre de

atributo

Identificador Presen-

tación

Nivel de

asociació

n

Lista de

códigos

1 Frecuencia FREQ A1 CL_FREQ

2 Área de

informe/referencia

AREA A2 CL_AREA

3 Indicador

demográfico

DEMO_ITEM A3 DEMO_ITE

M

Unidad de medida UNIT_MEAS

URE

AN3 Data set CL_UNIT_M

EASURE

Multiplicador de

unidad

UNIT_MULT N1 Data set CL_UNIT_M

ULT

Agencia

compiladora

ORGANISAT

ION

AN3 Data set CL_ORGANI

SATION

Tabla 7 - DSD: Ejemplo simplificado de datos demográficos

Definición de Estructura de Metadatos (MSD)

Una definición de estructura de metadatos (Metadata Structure Definition) describe como los

conjuntos de metadatos (los cuales contienen metadatos de referencia) están organizados. En

particular definen qué metadatos se intercambian, cómo estos conceptos se relacionan entre

ellos, cómo se representan (bien como texto libre o como valores codificados) y con qué tipos

de objetos (agencias, flujos de datos, proveedores de datos, subgrupos de flujos de datos u

otros) están asociados. Cualquier organización que provee información sobre datos estadísticos

utiliza un grupo de conceptos de metadatos (por ejemplo frecuencia de difusión, área de

referencia, tiempo, tipo de fuente de datos) para así presentar las características y calidad de

Page 15: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

12/28

los datos. Los metadatos de referencia (Reference Metadata) pueden estar asociados a

diferentes tipos de objetos de datos (como a un grupo de datos, una serie temporal o una

observación).

En cualquier caso, este tipo de metadatos normalmente están asociados a un nivel alto

(conjunto de datos, flujo de datos o incluso nivel de agencia).

Algunos de estos conceptos de metadatos pueden ser propiedad del proveedor de datos, pero la

interoperabilidad mejorará una vez que los mismos conceptos son usados por diferentes

instituciones y en diferentes dominios.

SDMX recomienda el uso de un grupo de conceptos comunes que reemplacen los formatos

SDDS que representan los metadatos. La nueva estructura de metadatos Euro-SDMX

Metadata Structure (ESMS) tiene como objetivo documentar metodologías, calidad y

procesos de producción estadística en general. ESMS utiliza conceptos SDMX, siendo

compatible con un formato de metadatos XML genérico de la versión SDMX 2.0 y la

estructura MSD. Usa 21 conceptos principales, con un número limitado de sub-elementos,

derivados de la lista de conceptos transversales SDMX (comparar con la tabla 8). La mayoría

de los metadatos de referencia (reference metadata) en ESMS actualmente son insertados

como texto libre, aunque es preferible que varios de ellos sigan una lista de códigos (por

ejemplo, frecuencia o área de referencia).

1. Contacto 8. Política de publicación 15. Puntualidad

2. Actualización de

metadatos

9. Frecuencia de difusión 16. Comparabilidad

3. Presentación estadística 10. Formato de difusión 17. Coherencia

4. Unidad de medida 11. Accesibilidad de

documentación

18. Coste y carga

5. Periodo de referencia 12. Gestión de calidad 19. Revisión de datos

6. Mandato institucional 13. Relevancia 20. Procesamiento

estadístico

7. Confidencialidad 14. Precisión y fiabilidad 21. Comentario

Tabla 8 – Conceptos de metadatos

Listas de códigos (Codelists)

En muchos casos los valores para una dimensión vienen definidos en una lista de codigos

(codelist). Cada valor en esa lista viene dado por una abreviación independiente del lenguaje;

el código (=DE) y su descripción específica al lenguaje (=Deutschland - en Alemán o

Allemagne - en Francés).

Los valores de los atributos pueden representarse con códigos o con valores de texto libre,

especialmente cuando están asociados a un nivel más alto – por ejemplo el conjunto de datos

completo. Esto es así porque un atributo es utilizado solamente para describir y cualificar, y no

para identificar los datos en una clave única.

Se puede observar un ejemplo de la lista de códigos (codelist) Frecuencia (FREQ) en el Dibujo

5.

Page 16: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

13/28

3.2.4 Formatos SDMX

El modelo de información SDMX (SDMX-IM) proporciona una manera de modelar formatos

de datos estadísticos mediante dos sintaxis, garantizando que la transformación entre los

diferentes formatos es adecuada: SDMX-EDI y SDMX-ML (que siguen las especificaciones

de la versión del estándar SDMX 1.0).

SDMX-ML, según la versión del estándar SDMX 2.0, incluye características adicionales,

tales como el uso de las definiciones de estructura de metadatos (Metadata Structure

Definitions) y mensajes de metadatos (Metadata Messages), así como su interacción con un

registro o repositorio SDMX (SDMX Registry/Repository).

A diferencia de SDMX-EDI, SDMX-ML ofrece diferentes tipos de mensajes XML para el

intercambio de datos: Genérico (Generic), Compacto (Compact), de Utilidad (Utility) y

Transversal (Cross-Sectional). Las características para los mismos son las siguientes:

SDMX-EDI SDMX-ML

El formato SDMX-EDI es un lenguaje

basado en la gramática EDIFACT, siendo

completamente compatible con la versión

GESMES/TS 3.0.

Permite un intercambio eficiente de grandes

cantidades de datos entre sistemas u

organizaciones.

Los mensajes/ficheros SDMX-ML están

basados en XML.

Permite a aplicaciones web XML estándar

tratar con cantidades limitadas de

información, pero con la ventaja de que

XML permite un formato abierto y flexible

con multitud de funcionalidades.

Tabla 9 – Formatos SDMX – características principales

Los dos siguientes dibujos representan ejemplos de archivos de datos SDMX-ML y SDMX-

EDI. En el libro del estudiante 3 Definición de Estructura de Datos se pueden encontrar más

detalles, sobre todo respecto a los formatos SDMX y los mensajes SDMX-ML.

Page 17: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

14/28

Dibujo 2 – Ejemplo de mensaje de datos SDMX-ML compacto

Dibujo 3 – Ejemplo de mensaje de datos SDMX-EDI / GESMES

Page 18: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

15/28

3.3 Directrices orientadas al contenido (Content oriented guidelines)

Las directrices orientadas al contenido son un grupo de recomendaciones dentro del estándar

SDMX. El objetivo es conseguir máxima interoperabilidad en el intercambio de datos y

metadatos entre organizaciones. Su uso es recomendado siempre que sea posible entre los

dominios estadísticos en las siguientes tres áreas:

Conceptos transversales (Cross-domain);

Dominios estadísticos de tema (Statistical subject-matter domains);

Vocabulario común de metadatos (metadata common vocabulary).

Las tres áreas son presentadas en los siguientes sub-capítulos.

3.3.1 Conceptos transversales (Cross-domain)

Esta directriz contiene una lista de conceptos estadísticos, entre otros relacionados con

procesos estadísticos y calidad de datos. La lista está basada en los conceptos usados por las

organizaciones internacionales contribuyentes. Todavía no es exhaustiva y se espera que

crezca en el futuro.

Los conceptos pueden ser utilizados tanto en la parte de los datos como en la parte de los

metadatos. Cada concepto tiene un identificador único (ID), una descripción, el contexto en el

que el concepto es utilizado, y su presentación en el estándar SDMX. El dibujo 4 muestra un

ejemplo de conceptos transversales (cross-domain).

Dibujo 4 – Ejemplo de conceptos transversales (cross-domain)1

Los conceptos transversales (cross-domain), así como todos los conceptos, pueden tener una

lista de códigos (code list) como presentación. Esto significa que tienen un número limitado

de valores enumerados en listas de códigos (code lists). Esas listas de códigos (code lists) se

llaman listas de códigos transversales (cross-domain code lists). El dibujo 5 es un ejemplo de

lista de códigos transversal para el concepto de frecuencia. Las listas de código tienen una

descripción general, una lista de códigos con sus descripciones y anotaciones (annotations).

Las anotaciones proporcionan información adicional sobre los códigos.

1 Fuente: www.sdmx.org (marzo 2009).

Page 19: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

16/28

Dibujo 5 – Ejemplo de lista de códigos transversal2 (cross-domain code list)

3.3.2 Dominios estadísticos

Los ‘Dominios estadísticos’ (Statistical subject-matter domains) son una clasificación de alto

nivel – basada en el trabajo de la Comisión Económica de las Naciones Unidas para Europa

Europe – de las áreas estadísticas. La clasificación ofrece un punto de partida para organizar

el intercambio de datos y metadatos estadísticos.

Un dominio estadístico se refiere a una actividad estadística que tiene características comunes

con respecto a ciertas variables, conceptos y metodologías de recopilación de datos y para

todo el proceso de compilación de datos estadísticos. Como ejemplos de dominios estadísticos

tenemos las estadísticas de precios, las cuentas nacionales, las estadísticas del medio ambiente

o las estadísticas educativas.

La lista de dominios estadísticos SDMX pretende cubrir el universo de información

estadística manejada por un gran número de organizaciones internacionales y agencias

nacionales, a menudo conocida como estadísticas oficiales. Las estadísticas oficiales

3 Fuente: www.sdmx.org (Marzo 2009).

Page 20: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

17/28

constituyen el sistema básico de información de una sociedad. El dibujo 6 muestra una lista de

dominios.

Dibujo 6 – Lista SDMX de dominios estadísticos3

La lista de los dominios estadísticos tiene tres funciones:

Como un esquema estándar contra el que las listas de dominios similares de

organizaciones nacionales e internacionales pueden ser mapeadas para facilitar el

intercambio de datos y metadatos;

Como un marco identificativo para registrar y buscar datos estadísticos en registros

SDMX, cuya arquitectura ha sido desarrollada en la Versión 2.0 de los Estándares

Técnicos de SDMX (SDMX Technical Standards Version 2.0);

Como una ayuda de navegación para identificar y organizar los correspondientes

grupos de dominio (domain groups) que tienen un rol activo en el uso de los

estándares técnicos SDMX y de las directrices orientadas al contenido para el

intercambio de datos y metadatos estadísticos.

3.3.3 Vocabulario común de metadatos (Metadata Common Vocabulary)

El Vocabulario Común de Metadatos (MCV: Metadata Common Vocabulary) contiene

conceptos y respectivas definiciones utilizadas en metadatos estructurales y de referencia 4

de

3 Fuente: www.sdmx.org (Marzo 09).

Page 21: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

18/28

organizaciones internacionales y agencias productoras de datos nacionales. MCV es un

conjunto de vocablos que recomienda una terminología común para facilitar la comunicación

y el entendimiento.

MCV está asociado a los conceptos transversales (cross-domain) ya que también contiene

todos estos conceptos, declarando sus definiciones y descripciones del contexto.

MCV comprende un rango de conceptos de metadatos:

Conceptos generales de metadatos: - derivados en su mayoría de documentos ISO,

UNECE y UN, útiles para proporcionar un contexto general a los metadatos (por

ejemplo: clasificación, registro de metadatos, metadatos estadísticos, producción

estadística);

Términos de metadatos que describen los métodos estadísticos y la calidad de los

datos. Por ejemplo: frecuencia, metodología de colección de datos, revisión de datos,

fuente, ajuste, precisión o los marcos de calidad adoptados por las organizaciones

internacionales;

Términos que se refieren específicamente al intercambio de datos y metadatos.

Por ejemplo: intercambio bilateral o intercambio abierto.

El dibujo 7 muestra un ejemplo de un MCV.

Dibujo 7 – Ejemplo de MCV5

3.3.4 ¿Qué significa interoperabilidad?

La interoperabilidad es una propiedad que se refiere a la habilidad de sistemas y

organizaciones de trabajar conjuntamente. El término es generalmente usado como un

concepto técnico, o de una forma más genérica, cuando se refiere al impacto social, político u

organizacional en el sistema y su rendimiento. Existen dos niveles de interoperabilidad:

4 Los metadatos estructurales – (Structural Metadata) - definen la estructura de los datos

y metadatos estadísticos mientras que los metadatos de referencia – (Reference

Metadata) – describen el contenido efectivo de los metadatos.

5 Fuente: www.sdmx.org (Marzo 09).

Page 22: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

19/28

Interoperabilidad sintáctica: Si dos o más sistemas son capaces de comunicar e

intercambiar datos, están trabajando bajo interoperabilidad sintáctica. Formatos

específicos de datos, protocolos de comunicación y similares son fundamentales. En

general, XML o EDIFACT proporcionan interoperabilidad sintáctica. Se requiere

interoperabilidad sintáctica para cualquier intento de establecer otras

interoperabilidades;

Interoperabilidad semántica: Además de la habilidad de dos o más sistemas

informáticos de intercambiar información, la interoperabilidad semántica es la

habilidad de interpretar automáticamente la información intercambiada de maner

significativa y precisa para así producir resultados útiles definidos por los usuarios

finales de ambos sistemas. Para lograr interoperabilidad semántica ambos lados deben

establecer un modelo de referencia común para el intercambio de información: lo que

se envía es lo mismo que se entiende.

3.4 Arquitectura infórmatica para el intercambio de datos

3.4.1 Formatos estándar para el intercambio de datos y metadatos

Basado en el modelo de información común, el estándar SDMX incluye los formatos de

intercambio de datos basados en XML (SDMX-ML) y EDIFACT (SDMX-EDI, idéntico a

GESMES/TS, muy usado desde los 90).

La ventaja de la sintaxis XML es que es un estándar abierto ampliamente utilizado, y puede

ser procesado por un gran número de aplicaciones infórmaticas, incluso software gratuitos y

de código abierto. La sintaxis EDIFACT es más especializada (por ejemplo es apropiada para

representar grandes bases de datos, gracias a su formato compacto) y es normalmente

procesada con aplicaciones propietarias.

El uso de SDMX-ML, el cual admite completamente el modelo de información SDMX 2.0

proporciona beneficios adicionales.

3.4.2 Arquitecturas para el intercambio de datos

SDMX, además de describir y especificar estándares técnicos (el modelo de información,

formatos de mensajes para datos y metadatos, definiciones del servicio del Registro), también

especifica una arquitectura informática que puede ser usada eficientemente en el intercambio

de datos estadísticos.

Para este objetivo, SDMX identifica tres procesos básicos (bilateral, gateway y data-sharing)

y dos métodos (“push” y “pull”) con respecto al intercambio de datos y metadatos

estadísticos.

En el modelo data-sharing, un grupo de socios acuerda en proveer acceso a sus datos de

acuerdo con procesos estándar, formatos y tecnologías.

En el método pull, el consumidor de datos recupera los datos del servicio web del proveedor.

Los datos pueden estar disponibles para ser descargados en un archivo compatible con SDMX

o pueden recuperarse desde una base de datos tras una consulta compatible con SDMX,

accediendo al servicio web del proveedor. En ambos casos, los datos están disponibles para

cualquier organización, en formatos que aseguran que los datos sean constantemente descritos

por metadatos apropiados, cuyo significado es común para todas las partes del intercambio.

Page 23: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

20/28

El data-sharing que utiliza el modelo pull está bien adaptado a las arquitecturas enfocadas a

bases de datos y arquitecturas data hub. Ambas arquitecturas proporcionan los mejores

beneficios para los productores de datos pues reducen la carga de publicación de datos para

diferentes clientes.

En ambas arquitecturas es necesario implementar un mecanismo de notificación,

proporcionando metadatos de aprovisionamiento para así alertar a los recopiladores de datos

que nuevos datos o metadatos son puestos a disposición por los proveedores. Detalles sobre el

mecanismo online para adquirir estos datos (por ejemplo, una base de datos a consultar o una

URL simple) y las restricciones sobre su contenido disponible se explicarán a continuación.

En el corazón de una arquitectura para compartir datos hay a menudo un registro SDMX. Esta

es una ubicación central donde los metadatos estructurales y de aprovisionamiento pueden

encontrarse. En realidad, todos los usuarios/aplicaciones que quieran acceder a los datos

pueden consultar el registro (Registry) para así saber qué datos y metadatos están disponibles

por parte de los proveedores, y cómo acceder a ellos.

3.4.2.1 Métodos “Push” y “Pull”

SDMX especifica dos métodos diferentes para el intercambio de datos:

En el método “push” (Dibujo 8) los datos son transmitidos desde una organización a otra. En

este método el proveedor de datos es quien realiza la acción de enviar los datos a la

organización colectora de datos. Se puede realizar de diferentes maneras, vía e-mail o

mediante envío de ficheros. Éste es el método tradicional de recopilación de datos, llevado a

cabo por organizaciones internacionales por muchos años.

Dibujo 8 – Método “Push”

El método “pull” (Dibujo 9) implica que el proveedor de datos proporciona los datos para los

usuarios finales mediante tecnologías de Internet:

Para descargar mediante un fichero compatible con SDMX;

Como resultado de una consulta SDMX a un servicio web asociado a una base de

datos del proveedor.

En ambos casos, los datos están disponibles para cualquier organización que así los requiera,

en formatos apropiados y consistentes con sus metadatos, siendo su significado común para

todas las partes que toman participan en el intercambio.

Page 24: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

21/28

Dibujo 9 – Método “Pull”

3.4.2.2 Arquitectura enfocada a base de datos y concepto Hub (arquitectura)

La arquitectura enfocada a base de datos (database-driven) está implementada por aquellas

organizaciones recopiladoras que periódicamente necesitan recoger información y la guardan

en su propia base de datos. En general, se realiza mediante un proceso de “batch”,

automatizando el flujo en el que un conjunto de datos completo o parcial es utilizado, incluso

actualización incremental.

El método pull que usa la arquitectura enfocada a base de datos incluye los siguientes pasos

basados en los acuerdos de intercambio:

1) Cuando hay nuevos datos disponibles, el proveedor de datos crea un archivo SDMX

que contiene los nuevos datos O proporciona un servicio web que crea mensajes

SDMX-ML bajo requerimiento. La notificación al consumidor de datos (data

consumer) sobre los nuevos datos y los detalles para obtenerlos se pueden

implementar mediante el uso de fuentes web RSS;

2) El colector de datos (Pull Requestor) lee el nuevo RSS (o recibe la información de los

nuevos datos por otros medios). Él puede extraer el archivo SDMX-ML desde la URL

especificada O usar una consulta SDMX (Query Message) incluida en la fuente RSS y

enviarla al servicio web del proveedor de datos.

Page 25: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

22/28

El dibujo 10 representa la arquitectura enfocada a base de datos.

Dibujo 10 – Arquitectura enfocada a base de datos6 (database-driven)

SDMX también especifica el concepto/arquitectura “Data Hub”, donde los usuarios obtienen

datos desde un Hub central que automáticamente junta a todos los conjuntos de datos que han

sido recogidos consultando otras fuentes.

Los proveedores de datos pueden notificar al “central Hub” de nuevos grupos de datos y sus

correspondientes metadatos estructurales (medidas, dimensiones, listas de códigos, etc.)

haciéndolos disponibles de sus sistemas mediante el uso de consultas.

Los usuarios finales pueden por tanto navegar haciendo uso del “central Hub” para definir el

conjunto de datos de interés usando los metadatos estructurales, y así recoger los conjuntos de

datos deseados.

Desde el punto de vista de mantenimiento, el “central Hub” también está basado en conjuntos

de datos específicos, que no son, al contrario de la arquitectura enfocada a base de datos,

guardados localmente en el “central Hub”. El proceso es el siguiente:

1) Un usuario identifica un conjunto de datos mediante el interfaz web del Hub central que

usa metadatos estructurales, y envía la petición;

2) El Hub central traduce la petición del usuario en una o más consultas y las envía a los

sistemas de los proveedores de datos correspondientes;

6 Fuente: www.sdmx.org (extracto realizado en Marzo de 2009).

Base de datos WS

SDMX - ML

Fichero información

Proveedores de datos

Organización de Colección

“SDMX Registry”

Proporciona metadatos

Notificación

«Pull requestor»

Datos

Sitio web

Base de datos WS

SDMX - ML

Base de datos WS

SDMX - ML

Fichero información

Fichero información

Page 26: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

23/28

3) Los sistemas de los proveedores de datos procesan la consulta y envían el resultado al

Hub central en un formato estándar;

4) El Hub central junta todos los resultados originales provenientes de los sistemas de los

proveedores de datos y presenta el resultado de una forma legible para el usuario.

El dibujo 11 representa la arquitectura de datos Hub.

Dibujo 11 – Concepto de Data Hub

3.4.3 “SDMX Registry”

La arquitectura informática SDMX también comprende el “SDMX Registry”. El “SDMX

Registry” tiene un papel importante en esta arquitectura; es como una aplicación central

accesible por otros programas a través de internet (o intranet o extranet) que proporciona

información necesaria para facilitar las actividades estadísticas.

SDMX ha desarrollado un estándar específico para el registro para así permitir a las

organizaciones estadísticas mantener un intercambio eficiente de datos y metadatos. En

general, un “SDMX Registry” es esencialmente una aplicación que puede aceptar mensajes de

consulta SDMX y devuelve la localización relativa a información compatible con SDMX que

puede incluir tanto datos como metadatos estructurales y de referencia.

Las funciones principales del “SDMX Registry” son:

Qué conjuntos de datos y metadatos están disponibles y dónde están alojados;

Cómo los conjuntos de datos y metadatos son proporcionados: cada cuánto son

actualizados, cuáles son sus contenidos, cómo se puede acceder y preguntas similares;

La estructura de los conjuntos de datos y metadatos, respondiendo a preguntas como:

qué listas de códigos utilizan o qué conceptos son los necesarios.

Además, permite suscribirse a notificaciones, para que cuando haya nuevos datos o metadatos

de interés, la aplicación mande una alerta automática.

Por tanto, puede entenderse como un índice de una base de datos o repositorio de metadatos

(metadata repository) compuesto por todos los conjuntos de datos y metadatos de referencia

de los proveedores de una comunidad estadística.

Page 27: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

24/28

3.5 Herramientas informáticas

3.5.1 Introducción

Este capítulo explica cómo las herramientas informáticas SDMX disponibles gratuitamente

pueden utilizarse para la implementación de los estándares SDMX en sistemas informáticos

locales.

La adopción de los estándares técnicos y directrices SDMX por las organizaciones que toman

parte en el intercambio de datos y metadatos estadísticos tiene como resultado la

implementación efectiva de los estándares en los sistemas informáticos locales.

Desarrollar una funcionalidad informática basada en SDMX es un trabajo común a todas las

organizaciones en este entorno. Ya que como consecuencia natural, se pueden conseguir

ganancias en eficiencia al ofrecer la posibilidad de compartir los desarrollos de unas con los

de otras. Como parte de sus actividades de promoción, SDMX promueve el uso de

herramientas gratuitas y de software de código abierto que ofrecen la funcionalidad necesaria

para la implementación de los estándares SDMX.

Hay muchos tipos de herramientas para diferentes funciones: herramientas de demostración,

módulos de producción y aplicaciones de producción.

3.5.2 Tipos de herramientas

Las herramientas de demostración SDMX ayudan tanto a expertos informáticos como

estadísticos a entender los principios básicos de SDMX y permiten por tanto ejecutar (en

pequeña escala) los diferentes tipos de funcionalidades requeridas para establecer un sistema

de procesamiento estadístico “compatible con SDMX”. Tienen una finalidad educativa y de

demostración y se usan en cursos sobre SDMX:

Una “DSD Builder Tool”, por ejemplo, puede ser usada como primer paso para

comprender las DSD y así definir estructuras de datos que serán procesadas en las

instituciones. El cargar DSD disponibles gratuitamente en la herramienta permitirá

analizar las relaciones existentes entre las distintas estructuras de datos;

Ejemplos similares de otras funcionalidades son la conversión entre diferentes

formatos técnicos SDMX o la creación de archivos de datos y metadatos SDMX.

Los módulos de producción SDMX proporcionan funcionalidades específicas para los

procesos estadísticos basados en SDMX a un nivel “industrial”. Esto significa que estos

módulos pueden ser integrados directamente en una aplicación de producción para realizar

una tarea específica en el flujo de procesamiento.

Unos ejemplos son “SDMX checker suite” desarrollado por el BCE y el “SDMX converter”

ofrecido por Eurostat. Los módulos de producción SDMX están destinados a expertos

inormáticos que necesitan implementar funcionalidades SDMX. Los módulos pueden reducir

considerablemente el tiempo de desarrollo para las organizaciones que necesiten implementar

SDMX en sus sistemas locales.

Las aplicaciones de producción SDMX son un grupo de módulos, normalmente ofrecidos por

una organización, que cubren un amplio rango de funcionalidades del proceso estadístico bajo

Page 28: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

25/28

SDMX de una forma integrada. Han sido desarrollas por una organización específica para su

propio uso interno con el objetivo de ser usada en un entorno de producción. Están destinadas

a expertos informáticos y de empresa encargados de implementar un sistema de producción

SDMX dentro de una organización. Éstos querrán evaluar tales aplicaciones desde un ajuste

empresarial e informático “adecuado” a su propio flujo de trabajo y entorno de aplicaciones.

3.5.3 Disponibilidad de las herramientas SDMX

Las herramientas SDMX existentes han sido desarrolladas por organizaciones activamente

involucradas en el estándar SDMX y en general son distribuidas con licencia de código

abierto.

Se anima a la creciente comunidad de usuarios SDMX a evaluar y probar las herramientas y

módulos existentes y por tanto contribuir y cooperar para sus futuros desarrollos. Por

cualquier colaboración se puede contactar la Secretaría SDMX (SDMX Secretariat)7.

La idea detrás de todo esto: empezar desde herramientas gratuitas y de código libre puede

finalizar en colaboraciones entre diferentes organizaciones en términos de desarrollos

compartidos de aplicaciones estadísticas. Esto puede llevar a la armonización de no sólo el

intercambio de datos estadísticos, sino también del procesamiento estadístico aplicado en

organizaciones diferentes.

Puede encontrarse información actualizada sobre las herramientas disponibles en el sitio

oficial SDMX www.sdmx.org, desde el que se redirige al usuario a un sitio desde el que

realmente se pueden descargar y donde se encuentra disponible información adicional. Una

fuente útil también es el sitio web www.osor.eu (Open Source Observatory and Repository).

7 [email protected]

Page 29: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

26/28

La tabla 10 presenta una selección de las herramientas disponibles actualmente:

Herramientas SDMX

SDMX Registry (Eurostat)

Registro de metadatos compatible con SDMX con una interfaz de usuario basada en web y

un servicio web para interactuar con los socios, por lo tanto los componentes del registro

SDMX son:

Base de datos

Servicio web

Interfaz web de usuario

Data Structure Wizard (Eurostat)

Aplicación de escritorio diseñada para trabajar con registros compatibles con SDMX para la

edición y visualización de los objetos de metadatos SDMX estructurales;

Crear, editar y ver las definiciones de estructura de datos (DSD builder tool);

Importación y exportación de artefactos relacionados;

Funciona offlline y online (= conectado con el registro SDMX).

SDMX Converter (Eurostat)

Convierte entre diferentes formatos de archivos de datos del estándar SDMX 2.0, así como

formatos GESMES y CSV.

SDMX Visualisation Tools (Eurostat)

Herramientas de visualización de uso general para archivos de datos SDMX.

Cycle Clock - Visualise business cycles (Eurostat)

Visualiza los ciclos económicos mediante el análisis de series temporales de datos

estadísticos financieros y económicos de archivos SDMX.

ECB Visualisation Framework

Bibliotecas (API) que pueden ser utilizados para construir las herramientas para visualizar los

datos y metadatos estadísticos expresados en SDMX-ML.

ECB Checker

Una herramienta para la lectura y comprobación de archivos de datos SDMX-EDI.

Data Structure Definition (Key Family) Database Tool (Metadata technology)

Carga archivos SDMX en bases de datos (MS Access).

Metadata Structure Definition Editor (Metadata technology)

Crea, edita y visualiza las definiciones de estructura de metadatos.

SDMX Transformations Package (Metadata technology)

Valida archivos SDMX;

Convierte archivos a / desde SDMX.

Excel SDMX Authoring Tool (Metadata technology)

Visualiza el contenido de los archivos SDMX.

Tabla 10 – Herramientas SDMX disponibles actualmente

Page 30: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

27/28

4 Aprenda más sobre SDMX

Las fuentes más importantes sobre SDMX se encuentran representadas por:

Sitio web oficial: www.sdmx.org

SDMX User Guide (Guía del usuario): Versión 2009.1;

SDMX Standard Specifications (Especificaciones estándares): 2.0 and 1.0;

Content-oriented guidelines (directrices orientadas al contenido): 2009;

Sección de herramientas SDMX;

Información general de referencia de implementación SDMX;

Anuncio de conferencias y otros eventos relacionados con SDMX;

Enlaces a otras fuentes web, por ejemplo, a los socios de SDMX o el sitio web

www.osor.eu (Open Source Observatory and Repository).

Page 31: Guía de auto-aprendizaje en SDMX n. 1 Libro del … · Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX 1/28 1 Objetivo del Libro del Estudiante

Guía de auto-aprendizaje en SDMX Libro del estudiante n. 1 - Introducción a SDMX

28/28

5 Glosario

La Tabla 11 presenta una lista de conceptos y acrónimos con sus definiciones.

Concepto Definición

DSD Definición de Estructura de Datos (Data Structure Definition)

ECB Banco Central Europeo (European Central Bank)

EDIFACT Intercambio de Datos Electrónico para la Administración, Comercio y

Transporte (Electronic Data Interchange for Administration, Commerce

and Transport)

ESMS Euro SDMX Metadata Structure

GESMES/TS Mensaje de intercambio de datos GESMES Serie Temporal (GESMES

Time Series data exchange message)

ISO Organización Internacional para la Estandarización (International

Organisation for Standardisation)

IT Tecnologías de la Información (Information Technology)

MSD Definición de Estructura de Metadatos (Metadata Structure Definition)

MCV Vocabulario Común de Metadatos (Metadata Common Vocabulary)

NACE Clasificación Nacional de Actividades Económicas (National

Classification of Economic Activities)

RSS Really Simple Syndication (o también Rich Site Summary): familia de

formatos de fuentes Web para la publicación de información que se

actualiza frecuentemente.

SDMX Intercambio de Datos y Metadatos Estadísticos (Statistical Data and

Metadata eXchange)

SDMX-EDI Intercambio de Datos Electrónicos SDMX – formato EDIFACT para el

intercambio de datos y metadatos estructurados en SDMX (SDMX

Electronic Data Interchange)

SDMX-IM Modelo de Información SDMX (SDMX Information Model)

SDMX-ML Lenguaje de Marcas SDMX – formato XML para el intercambio de

datos y metadatos estructurados en SDMX (SDMX Markup Language)

UML Lenguaje Unificado de Modelado (Unified Modelling Language)

UN Naciones Unidas (United Nations)

UNECE Comisión Económica de Naciones Unidas para Europa (United Nations

Economic Commission for Europe)

XML Lenguaje de Marcas Extensible (EXtensible Markup Language)

Tabla 11 - Glosario