MEJORA DE LA CALIDAD DE LOS
REGISTROS ADMINISTRATIVOS COMO
FUENTE DE INFORMACIÓN PARA LA TOMA
DE DECISIONES
APLICACIÓN DE “HECRA”
HERRAMIENTA DE EVALUACIÓN DE LA
CALIDAD DE LOS REGISTROS
ADMINISTRATIVOS
28 de agosto de 2015, San Salvador – El Salvador
Herramienta de auto-diagnóstico de la
calidad de registros administrativos
CONTENIDO
Antecedentes, ¿cómo surge la HECRA?
Introducción, marco teórico, antecedentes, presentación de la herramienta.
Características y resultados esperados de la herramienta.
Estructura de la herramienta.
Reportes de la calidad.
Orientaciones, atributos e indicadores de la calidad.
Esquema de Auto-diagnóstico de la Calidad.
Procedimientos de aplicación y Cuestionario de auto-diagnóstico.
Aplicación práctica
Cálculo de indicadores de la calidad y Planes de acciones de mejora de la calidad.
Estadísticas para facilitar el desarrollo
económico y social Decisiones
basadas enindicadores para
aumentar la credibilidad de las administraciones
públicas
Evidencia objetivade hechos y
acciones tomadas, dada por un
sistema para la toma de
decisiones basadoen indicadores
Sistema de Información para
asegurar la transparencia de las decisiones del
gobierno
Sistema de Información para mejorar la eficaciay eficiencia de los
programas de gobierno
Contexto
Gestión porResultados
(establecido porley)
Fuerte concienciay apoyo político al
más alto nivelestatal
Comités Estatalesde Información
Estadística y Geográfica
(CEIEG)
Interés de INEGI para aumentar el
compromiso / involucramiento a
nivel estatal
Bases para un Sistema de
Monitoreo y Evaluación
Falta de información desagregada, confiable y de alta calidad
necesaria para la efectiva toma de decisiones.
Fortalecer el Sistema de Información Estadística, Geográfica
y de Evaluación del Estado de Yucatán (SIEGEY) como
soporte de la toma de decisiones basada en evidencia.
En colaboración con INEGI.
Documentación de metadatos de
acuerdo con estándares
internacionales.
Primer Comité Estatal de Información
Estadística y Geográfica en México.
Con el apoyo del Banco Mundial.
Fortalecer el Sistema de Información Estadística,
Geográfica y de Evaluación del Estado de Yucatán
(SIEGEY)
Diagnóstico de las demandas de información del sistema de M&E y de los tomadores de decisiones
Búsqueda de fuentes de datos estadísticos
Inventario de operaciones estadísticas (principalmente basadas en registros administrativos)
Talleres para validar hallazgos y resultados
Análisis de los Sistemas de Información necesarios para implementar las recomendaciones
Evaluación de la calidad de los registros administrativos a ser utilizados como fuentes de datos del Sistema de Información Estadística
Definiendo la estrategia…
Implementación del SIEGEY
Bases del Sistema de
M&E
Diagnóstico del Sistema de Información
Estad. y de Eval.
Identificarprogramasprioritarios
Indicadorespara la tomade decisiones
Catálogo de Registros
Administrativos
Evaluación de la calidad de los
registrosadministrativos
Planes de mejora
HECRA
Generarindicadores para
la toma de decisiones
Fortalecer el
Sistema de
Información
Estad. y de Eval.
Sistema de M & E
Mejores prácticas basadas en experiencias y
documentos de las siguientes instituciones:
Eurostat (doc.: “Business registers - Recommendations manual”; “Quality assessment of administrative data for statistical purposes”; “Standard quality indicators”; “Handbook How to make a Quality Report”).
Mercosur (Proyecto Cooperación UE-Mercosur. Grupo 8: Calidad Total en las Estadísticas, doc.: “Conjunto mínimo de indicadores de la calidad”).
CBS de Holanda (doc.: “Quality framework for the evaluation of administrative data”; “Quality control of Dutch Administrative Registers: An inventory of quality aspects”).
Statistics Sweden (Visita de estudio).
Istat de Italia (Visita de estudio).
DANE de Colombia (Visita de estudio).
INE de Uruguay (doc.: “Reporte estándar de la calidad de RA”; “Manual de la calidad”; “Reporte estándar de la calidad de las operaciones estadísticas”).
Entre otros...
Características de la herramienta:
Alto grado de objetividad (a pesar de ser auto-diagnóstico basado en indicadores cualitativos).
Menor costo, comparado con otros modelos.
Mejora continua de la herramienta e implementación en etapas.
Resultados esperados:
Detectar puntos críticos en el proceso
Mejorar intercambio de información entre las instituciones
Detectar oportunidades de mejora
Guía de documentación y buenas prácticas
Marco de la calidad de registros administrativos a ser explotados con fines estadísticos
Objetivo:
Auto-evaluación o auto-diagnóstico de registros
administrativos a ser aprovechados con fines
estadísticos. Por medio de cuestionario auto-
administrado, especialmente diseñado para la
identificación de posibles problemas y generación
de indicadores de la calidad de los registros
administrativos.
Detectar problemas y oportunidades de mejora
los registros analizados.
Identificar y analizar las causas de los problemas.
Implementar planes de acciones correctivas y
preventivas.
Alcance:
Auto-diagnóstico de la calidad de los registros administrativos a ser explotados con propósitos estadísticos.
No está dentro del alcance: evaluar la calidad desde el punto de vista registral, operativo, de gestión, mantenimiento o cumplimiento de los objetivos y requisitos administrativo-fiscales-normativos para los cuales fueron creados.
Auto-diagnóstico de la calidad de los datos, pero también el entorno institucional, procesos, documentación, cumplimiento de los requisitos de los usuarios.
Alcance (cont.):
Áreas o aspectos de la calidad que se
analizarán con la herramienta:
1. Fuente de datos administrativa.
2. Metadatos.
3. Datos.
4. Producto estadístico final.
Ámbito de aplicación:
Fuente administrativa (Unidad administrativa
responsable del registro administrativo).
Aplicada en los registros administrativos que ya se
encuentran en la fase de captación de datos
administrativos.
En los casos donde el registro administrativo no haya
sido aprovechado con propósitos estadísticos aún, la
evaluación de la calidad estará limitada a la fuente
administrativa, metadatos y los datos. No se evaluarán
los atributos de la calidad asociados al producto
estadístico final.
Responsables de su aplicación:
Director de la unidad administrativa responsable
del registro administrativo, o en su defecto, a
quien éste designe (fuente administrativa).
Responsable de la explotación del registro
administrativo con fines estadísticos (usuario
primario).
Figura 1. Proceso de elaboración de estadísticas a partir de registros administrativos.
Planeación del registro
administrativo
Marco legal y Diseño conceptual
Documentación de los metadatos del
registro administrativo
Diseño de los instrumentos de
captaciónCaptación de datos
Procesamiento (tratamiento) de los
datos
Detectar y especificar
necesidades de los usuarios finales del producto estadístico
Planificación de la operación estadística
Entrega de datos y metadatos del
registro administrativo
Verificación de metadatos del
registro administrativo
Control de calidad de los datos del
registro administrativo
Unión de los registros de los
archivos de datos
(si corresponde)
Procesamiento estadístico
Análisis de la información estadística
Preparar metadatos del producto estadístico
Difundir el producto estadístico
Medir la satisfacción del usuario final
Fuen
te a
dm
inis
trat
iva
Res
po
nsa
ble
de
la
op
erac
ión
est
adís
tica
Usu
ario
pri
mar
io d
el R
egis
tro
Ad
min
istr
ativ
o
(qu
ien
lo e
xplo
ta e
stad
ísti
cam
ente
)
Res
po
nsa
ble
del
Reg
istr
o
Ad
min
istr
ativ
o
Actor
involucrado
en el proceso
Rol del Actor
involucrado en
el proceso
Am
bo
s ac
tore
s
Proceso de captación de datos de los registros
administrativos
Punto de captación 1(Dependencia C)
Punto de captación 2(Unidad 3)
Consolidado o Archivo del RRAA
información
Formato del RRAA
Consolidación del Registro Estadístico
Papel, medios electrónicos (bases de datos, planillas electrónicas, archivos de texto, etc.)Fuente administrativa 1
Usuario primario Consolidado de uno o varios RRAA
Usuario, evento, acción o hechoUsuario, evento, acción o hecho
Explotación del Registro Estadístico
Datos del RRAA
Datos del Registro Estadístico
Organización de la herramienta
Estructura que sigue el proceso descripto
anteriormente.
Identificación de los usuarios del registro
administrativo.
◦ Usuario primario del registro administrativo.
◦ Usuario final del producto estadístico.
Orientaciones de la calidad
Reportes de la calidad
Orientaciones de la calidad
Fuente de datos administrativa
Metadatos
Datos
Producto estadístico
Orientaciones de la calidad (cont.)
Fuente de datos administrativa
Atributos de la calidad asociada al entorno institucional,
marco legal, seguridad de la información,
procedimientos y entrega y tratamiento de los datos.
Metadatos
Atributos de la calidad vinculada la documentación de
los datos del registro administrativo.
Orientaciones de la calidad (cont.)
Datos
Atributos vinculados a controles técnicos sobre los datos,
cobertura del registro, métodos de unión de registros, omisiones, medición, claves de identificación, procesamiento y precisión de los datos, uso de códigos y clasificadores internacionales, actualidad de los datos, registros múltiples, entre otros.
Producto estadístico
Calidad asociada a los productos estadísticos (cifras, cuadros
estadísticos y/o archivos de microdatos) elaborados a partir del o los registros administrativos, ya sea como marco de encuestas por muestreo, fuente secundaria de información, o bien generando cifras estadísticas directamente del procesamiento de los datos del registro administrativo.
Reportes de la calidad
• Reporte de la calidad asociada a la Fuente de datos
administrativa.
• Reporte de la calidad asociada a los Metadatos.
• Reporte de la calidad asociada a los Datos.
• Reporte de la calidad asociada al Producto estadístico.
Esquema de evaluación de la calidad del registro administrativo utilizado con fines estadísticos
Referencias: Responsable de brindar la información de cada dimensión o atributo:
Panel de Evaluación Global de la Calidad
Orientación I:
Fuente Administrativa
Orientación II:
Metadatos
Orientación III:
Datos
Orientación IV:
Producto Estadístico Final
Atributos de la calidad asociada a la Fuente
Administrativa, según fuente
Atributos de la calidad asociada a los
Metadatos, según su uso previsto
Atributos de la calidad asociada a los Datosdel registro, según
fuente administrativa y uso previsto
Atributos de la calidad asociada al Producto Estadístico, según su
uso previsto
1. Relevancia.
2. Seguridad de la Información y limitaciones en el uso de la información.
3. Entrega de los datos.
4. Procedimientos.
5. Tratamiento de los datos.
1. Uso de estándares de documentación de metadatos.
2. Completitud y claridad.
3. Comparabilidad.
4. Claves únicas.
1. Controles técnicos.
2. Cobertura.
3. Unión de registros (informáticos) de archivos de datos.
4. Omisiones.
5. Medición.
6. Claves de identificación
7. Procesamiento.
8. Precisión.
9. Uso de códigos y clasificadores internacionales.
10. Actualidad de los datos.
11. Registraciones múltiples.
12. Otros controles.
1. Comparabilidad.
2. Relevancia.
3. Coherencia.
4. Disponibilidad y transparencia.
5. Precisión y exactitud.
6. Oportunidad y puntualidad.
Usuario primario
Fuente administrativa
Ambos (fuente administrativa y usuario primario)
Usuario primario
Fuente administrativa
Ambos (fuente administrativa y usuario primario)
Referencias:Responsable de brindar la información de cada dimensión o atributo:
Esquema de evaluación de la calidad del registro administrativo utilizado con fines estadísticos
Procedimiento de aplicación de la herramienta:
Periodicidad: al menos una vez al año.
Contacto con los actores involucrados.
Identificación de usos previstos del registro
administrativo.
Llenado del cuestionario de auto-diagnóstico.
Cálculo de indicadores de la calidad.
Identificación y análisis de las causas de los problemas.
Plan de acciones correctivas y preventivas.
Herramienta de auto-diagnóstico de la calidad de registros administrativos
Procedimiento de aplicación de la
guíaIdentificar y
caracterizar los Registros
Administrativos
Identificar Fuentes Administrativas
Identificar usuarios primarios
Contactar actores involucrados
Identificar usos previstos de los
Registros Administrativos
Completar cuestionario de auto-evaluación
Identificar usuarios finales Medir satisfacción
de usuarios finales
Calcular indicadores de la
calidad
Identificar problemas a través de los indicadores
de la calidad
Identificar y analizar causas de
los problemas
Implementar acciones
correctivas y preventivas
Calidad asociada con la fuente de datos administrativa 1
Atributo Indicador Valor
I.1. Relevancia
1. Utilidad
2. Uso previsto
3. Demanda de información (C.I.11)
4. Satisfacción del usuario interno (C.I.12)
I.2. Seguridad de la
Información y limitaciones
en el uso de la información
1. Marco legal (C.II.13)
2. Protección de datos personales (C.II.14)
3. Limitaciones debido a normativa sobre la
confidencialidad (C.II.15)
4. Acuerdos de confidencialidad (C.II.16)
5. Transferencia de datos segura (C.II.17)
6. Integridad, Confidencialidad y
Disponibilidad de la información (C.II.18)
7. Protección física de los datos (C.II.19)
8. Políticas de respaldo de los datos
(C.II.20)
1. Costos asociados a la entrega (C.III.21)
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada con la fuente de datos administrativa 1
Atributo Indicador Valor
I.3. Entrega de los datos
1. Costos asociados a la entrega (C.III.21)
2. Acuerdos de la entrega (C.III.22)
3. Frecuencia (C.III.23)
4. Fechas de las últimas entregas (C.III.24)
5. Puntualidad (C.III.25)
6. Riesgo por falta de datos (C.III.26)
7. Método alternativo para falta de
información (C.III.27)
8. Medio de entrega de los datos (C.III.28)
9. Formato de archivos (C.III.29)
10. Unidades de la población objetivo y
variables (C.III.30)
11. Selección de datos (C.III.31)
1. Captura de datos (C.IV.32)
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada con la fuente de datos administrativa 1
Atributo Indicador Valor
I.4. Procedimientos
1. Captura de datos (C.IV.32)
2. Control de consistencia (C.IV.33)
3. Control de cambios (C.IV.34)
4. Mejora continua (C.IV.35)
I.5. Tratamiento de los datos
1. Controles de la unidad objetivo (C.V.36)
2. Controles de contenido de las variables
(C.V.37)
3. Controles de valores extremos (C.V.38)
2. Modificaciones (C.V.39)
3. Manejador de BD (C.V.40)
4. Documentación de la BD (C.V.41)
5. Integridad de la BD (C.V.42)
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada a los Metadatos
Atributo Indicador Valor
II.1. Uso de estándares de
documentación de
metadatos
1. DDI / Dublin Core (evaluación genérica,
más allá de su uso previsto).
II.2. Completitud y claridad
1. Definición de las unidades de la población
2. Descripción de variables de identificación
3. Descripción de variables de clasificación
5. Descripción del resto de las variables
utilizadas
6. Descripción de las variables temporales
7. Período de referencia de los datos
8. Comunicación de cambios en
definiciones/conceptos
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada a los Metadatos
Atributo Indicador Valor
II.3. Comparabilidad
(no considerar para nuevas
estadísticas, de menos de 1
año, en estos casos se
deben reponderar el resto
de los atributos)
1. Comparación de la definición de la unidad
de estudio
2. Comparación de la definición de las
variables de clasificación
II.4. Claves únicas
1. Claves de identificación
2. Comparabilidad de las variables de
identificación
3. Combinaciones únicas de variables
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada a los datos
Dimensión o atributo Indicador Valor
III.1. Controles técnicos
1. Datos legibles
2. Redefinir conceptos y metadatos en el caso
de tener más de una fuente (si corresponde)
3. Correspondencia con Metadatos
4. Método de unión de registros
5. Verificación de eficacia del método de unión
de registros
III.2. Cobertura1. Exceso de cobertura
2. Errores de clasificación
III.3. Unión de registros
1. Tasa de registros del archivo unidos con los
registros del usuario primario.
2. Tasa de registros del archivo no unidos con
los registros del usuario primario.
3. Tasa de registros del archivo unidos con los
registros de fuentes diferentes (si corresponde).
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada a los datos
Dimensión o atributo Indicador Valor
III.4. Omisiones1. Tasa de registros sin datos
2. Tasa de variables sin datos
III.5. Medición 1. Control externo al proceso (auditoría interna)
III.6. Claves de
identificación
1. Tasa de registros con clave única
2. Tasa de registros sin clave única
III.7. Procesamiento
1. Ajustes (datos editados)
2. Imputación
3. Valores atípicos (outliers)
III.8. Precisión 1. Desvío estándar
III.9. Uso de códigos y
clasificadores
internacionales
1. Uso de clasificadores estándar
2. Verificación de la codificación (tasa de
errores de codificación, tasa de registros sin
código por tipo de variable)
3. Tasa de errores de codificación
4. Tasa de registros sin código
1. El 90% o más de las unidades, que
Herramienta de auto-diagnóstico de
la calidad de registros administrativos
Calidad asociada a los datos
Dimensión o atributo Indicador Valor
III.10. Actualidad de los
datos
1. El 90% o más de las unidades, que
pertenecen a la población objetivo, creadas
durante el año t han sido registradas antes del
fin del año t+1.
III.11. Registros múltiples1. Tasa de registros múltiples de la misma
unidad.
III.12. Otros controles
1. Tasa de unidades que contienen valores
válidos en las variables clave.
2. Los cuadros de salida de la operación
estadística validados a través del SIRCE.
Experiencias de aplicación de la
HECRA
Yucatán, México 2011-2012
Santiago de Chile, Chile 2014
Guanajuato, México 2015
Otros estados de México
Implementación de SESN (Sistema
Estadístico Sub-Nacional)
Bases del Sistema de
M&E
Diagnóstico del Sistema de Información
Estad. y de Eval.
Identificarprogramasprioritarios
Indicadorespara la tomade decisiones
Catálogo de Registros
Administrativos
Evaluación de la calidad de los
registrosadministrativos
Planes de mejora
HECRA
Generarindicadores para
la toma de decisiones
Fortalecer el
Sistema de
Información
Estad. y de Eval.
Sistema de M & E
Sistemas de Información Estadística LocalSistemas de Información Territorial
Sistemas para la toma de decisiones Municipales