Upload
vohanh
View
227
Download
0
Embed Size (px)
Citation preview
Introducción Presupuestos Calidad de datos Costos
Clase 8 Aspectos Operativos de una Evaluación de Impacto Nicole Carpentier
J-PAL LAC
1
Introducción Presupuestos Calidad de datos Costos
Objetivos
Despues de esta sesion, los participantes
seran capaces de:
Realizar estimaciones sobre el costo real de
una evaluacion de impacto.
Desarrollar Terminos de Referencia (TDR)
que permitan contratar una evaluacion de
impacto rigurosa.
2
Introducción Presupuestos Calidad de datos Costos
Esquema de la presentación
1. Introducción
2. Principios de la Calidad de Datos
Amenazas a la Calidad de Datos
Herramientas de Calidad
3. Costos e Insumos de una Evaluación
4. Diseño y Análisis de Presupuestos
3
Introducción Presupuestos Calidad de datos Costos
1. Introducción
4
Introducción Presupuestos Calidad de datos Costos
En relación a una evaluación de impacto, es más probable que usted... A. Desarrolle los
términos de referencia para contratar una evaluación de impacto.
B. Realice una evaluación de impacto por su cuentan o la de su organización.
A. B.
50%50%
Introducción Presupuestos Calidad de datos Costos
Preguntas Clave: Calidad y Costos
6
¿Cómo balanceo los costos y calidad
de una evaluación de impacto?
¿Cuáles son los parámetros de
calidad que se deben resguardar?
¿Cuáles son los elementos clave de
un presupuesto de evaluación?
¿Cuál es el balance entre calidad y
costos que se busca al contratar una
empresa encuestadora externa?
Introducción Presupuestos Calidad de datos Costos
2. Calidad de Datos
7
Introducción Presupuestos Calidad de datos Costos
Principios de la Calidad de Datos
8
“Garbage in, garbage out.”
Introducción Presupuestos Calidad de datos Costos
Principios de la Calidad de Datos
9
• Definición: Datos completos levantados de la totalidad de la población de estudio.
• Violación: Encuestas con preguntas blancas . Cabalidad
• Definición: Datos bien especificados capturan correctamente los parámetros de interés.
• Violación: Preguntas con lenguaje confuso. Precisión
• Definición: Datos obtenidos según protocolos y procedimientos bien estructurados.
• Violación: Aplicación de preguntas en orden incorrecto.
Integridad
• Definición: Datos que expresan información verdadera de la población de estudio.
• Violación: Primado, falsificación de datos. Veracidad
• Definición: Datos obtenidos por procesos estandarizados.
• Violación: Encuestas aplicadas distintamente en ciertas poblaciones.
Homogeneidad
Introducción Presupuestos Calidad de datos Costos
Amenazas a la Calidad de Datos
10
Diseño: El diseño de evaluación cuenta con supuestos
incorrectos o instrumentos que no son ajustados al
contexto.
Amenazas: Tasa de participación sub-optimas, Errores de
medición.
Principios: Cabalidad, Precisión , Homogeneidad.
Implementación: Los equipos de levantamiento de datos
violan los protocolos de aplicación.
Amenazas: Procesos Heterogéneos, Falsificación.
Principios: Cabalidad, Integridad, Precisión, Veracidad,
Homogeneidad.
Introducción Presupuestos Calidad de datos Costos
Amenazas a la Calidad de Datos
Eventos Exógenos: Situaciones
imprevistas que modifican,
corrompen, o inhabilitan al diseño
de evaluación.
Amenazas: Implementación parcial
de la intervención, cancelación del
programa, catástrofes humanos y
naturales.
Principios: Cabalidad, Integridad.
11
Introducción Presupuestos Calidad de datos Costos
¿Cuál es la manera más eficaz de disminuir las amenazas al diseño experimental?
A. Revisando los supuestos
del diseño y determinar
potenciales valores para
parámetros clave.
B. Testando varias
estimaciones de
parámetros clave.
C. Construyendo una Muestra
o Plan de Recuperación y
Reemplazos.
D. Monitoreando y midiendo
distorsiones y procesos.
A. B. C. D.
25% 25%25%25%
Introducción Presupuestos Calidad de datos Costos
Herramientas de Calidad: Diseño
Las amenazas de diseño NO son totalmente
evitables, pero se puede disminuir su efecto.
Revisando los supuestos del diseño y determinar
potenciales valores para parámetros clave.
Testando varias estimaciones de parámetros clave.
Construyendo una muestra o Plan de Recuperación
y Reemplazos.
Monitoreando y midiendo distorsiones y procesos.
13
Introducción Presupuestos Calidad de datos Costos
Herramientas de Calidad: Diseño
Algunas herramientas prácticas para
implementar los pasos anteriores incluyen:
Estudios de Diagnóstico y Pilotajes.
Monitoreo y Medición de Distorsiones.
Evaluación de Procesos de Levantamiento.
14
Introducción Presupuestos Calidad de datos Costos
Herramientas de Calidad: Implementación A diferencia de las amenazas de diseño, las
amenazas de implementación son totalmente evitables.
Algunas vías para evitar errores son: Control estricto sobre los planificación,
implementación, y validación de levantamientos de datos de terreno.
Monitoreo Independiente de Procesos de Recolección y Digitación.
Construyendo una Muestra de Repuesto.
Monitoreando y Midiendo Distorsiones.
15
Introducción Presupuestos Calidad de datos Costos
Herramientas de Calidad: Implementación
Algunas herramientas prácticas para
implementar los pasos anteriores incluyen:
Términos de Referencia estrictos.
Documentación de Levantamientos de Datos.
Actividades clave de Monitoreo.
16
Introducción Presupuestos Calidad de datos Costos
Herramientas de Calidad: Implementación - Monitoreo Cada evaluación debería contar con dos tipos
de monitoreo. Monitoreo Implementador.
Monitoreo Independiente.
Actividades clave de Monitoreo Re muestreo: Re aplicación de una sección de los
instrumentos.
Acompañamiento: Observación de procesos de medición.
Escrutinio: Revisión de instrumentos aplicados.
17
Introducción Presupuestos Calidad de datos Costos
Herramientas de Calidad: Implementación - Monitoreo
Otros Lineamientos
Tasas de error: Número de campos llenados
incorrectamente sobre campos que corresponden
llenar; mide cabalidad; tasa de error aceptable: 0.5-
2%.
Monitoreo: 10 % de la muestra debería ser
sometida a monitoreo por el implementador,10%
debería contar con monitoreo independiente.
18
Introducción Presupuestos Calidad de datos Costos
Elaborando Términos de Referencia
19
Checklist para Términos de Referencia:
Levantamientos de Datos Protocolo de Confidencialidad: Protección de Información del
Estudio y Participantes de Estudio; Instructivo de Manejo de
Información e Instrumentos.
Protocolo de Muestreo: Definición estricta de Marco Muestra,
Tasas de Participación requerida , Instructivo para Recuperación
de Muestra y Búsqueda.
Protocolo Etapas: Listado de etapas de preparación, debería
incluir varios pilotajes para validar instrumentos, tiempo para
solicitar permisos.
Selección y Entrenamiento de Personal: Especificaciones para
selección de personal competitivo y entrenamiento práctico;
especificaciones de estructura salarial.
Introducción Presupuestos Calidad de datos Costos
Elaborando Términos de Referencia
20
Checklist para Términos de Referencia:
Levantamientos de Datos Protocolo de Aplicación: Instructivo completo para aplicación de
cuestionarios e otros instrumentos de medición, proceso de
aplicación dentro del contexto local.
Protocolo de Monitoreo: Plan de monitoreo que incluye tres
actividades claves de re muestreo, tasas de error aceptables (5%),
plan de revisión de documentos llenados.
Protocolo y Entregas: Cronograma Fijo de Reportes y Productos
incluyendo: Manuales de Entrenamiento, Hojas de Control, Datos,
Reportes de Errores.
Digitación: Especificación de Doble Digitación, Re Digitación
Completa.
Introducción Presupuestos Calidad de datos Costos
Calidad de Datos
21
Los errores de calidad
son particularmente
graves cuando son
sistemáticos y/o no
distribuidos de igual
manera entre tratamiento
y control
Introducción Presupuestos Calidad de datos Costos
3. Costos
22
Introducción Presupuestos Calidad de datos Costos
¿Cuál de los costos siguientes no se debería incluir en el costo de una evaluación de impacto? A. Capacitación de equipo de
campo.
B. Transporte de equipo de campo.
C. Imprevistos.
D. Tiempo de investigadores.
E. Digitación de encuestas.
F. Costo de Intervención o Programa.
G. Costos asociados a la seguridad del equipo de campo.
A. B. C. D. E. F. G.
14% 14% 14% 14%14%14%14%
Introducción Presupuestos Calidad de datos Costos
Costos de Evaluación
24
Costos de Investigación (Trabajo Técnico)
•Salarios Investigadores
•Vistas a Campo
•Costos Administrativos
Costos de Implementación/ Trabajo de Campo
• Capacitación
• Salarios
• Materiales: Impresiones, Mapas, Comunicación
• Transporte , Seguros
• Monitoreo
• Digitación
Introducción Presupuestos Calidad de datos Costos
Parámetros de Costos
25
• Equipos de Trabajo de Campo: Subcontratado vs interno
• Duración: Tiempo total de diseño, implementación, y análisis
• Fases: Cantidad de levantamientos de datos
• Instrumentos
• Contexto Local: Seguros, impuestos, idioma
Parámetros de Investigación
• Fuentes de Datos y Instrumentos : Fuentes de datos (terreno vs. administrativos)
• Tamaño de Muestra: La cantidad de unidades en la muestra, las muestras más grandes son más caras de medir.
• Unidad de Muestra: La unidad de muestra (por ejemplo: nivel individual, clúster)
• Dispersión de Muestra: Las distancias entre unidades de medición.
Parámetros de Implementación
Introducción Presupuestos Calidad de datos Costos
¿Cuál es el parámetro más caro de una evaluación de impacto? A. Viajes de equipo de
investigación.
B. Trabajo de campo.
C. Comunicación.
D. Estrés del equipo.
E. Costos administrativos.
F. Imprevistos.
G. Salarios de equipo.
A. B. C. D. E. F. G.
14% 14% 14% 14%14%14%14%
Introducción Presupuestos Calidad de datos Costos
Parámetros Definitivos
27
Ejemplo 1:
Chile Programa de Involucramiento Parental
Equipo de trabajo: Interno
Duración: 3 Años
Fases: 3
Fuentes de Datos: Terreno,
Administrativos
Instrumentos: Pruebas de
Lenguaje, cuestionario,
prueba de competencias
Tamaño de Muestra: 64
Escuelas,
Unidad de Muestra: Cluster
(Escuela)
Introducción Presupuestos Calidad de datos Costos
Parámetros Definitivos
28
Ejemplo 2: México Programa de Garantía
Tecnológica
Comunicación $10,240
Equipo de trabajo: Interno y
contratado
Duración: 1,5 Año
Fases: 4
Fuentes de Datos: Terreno
Instrumentos: Encuestas,
pruebas de tierra.
Tamaño de Muestra: 1000
agricultores
Unidad de Muestra: Individual
Equipo y Material $56,728
Campo $ 196,597
Salarios $174,540
Costos Administrativos
$58,662
Imprevistos $13,143
Introducción Presupuestos Calidad de datos Costos
Parámetros Definitivos
29
Chile México
Total: 256 342 USD Total: 509 910 USD
Diferencias Importantes: Equipo de Trabajo: Interno vs. Interno/Subcontratado,
Datos: Administrativo y Terreno vs Terreno
Duración: 3 vs 1.5 Años,
Fases 3 vs 4 Etapas,
Tamaño Muestra: 64 vs 1000
Introducción Presupuestos Calidad de datos Costos
4. Diseño y Análisis de Presupuesto
30
Introducción Presupuestos Calidad de datos Costos
Buenas Prácticas de Diseño de Presupuestos Checklist de Consideraciones y Buenas Prácticas
de Diseño de Presupuestos.
Evaluación- Intervención: Analizar la relación entre la evaluación e intervención y posibilidad de levantar datos de evaluación al intervenir
Etapas: Conformar el presupuesto de evaluación por etapa, considerar necesidad de cada etapa, particularmente línea base.
Monitoreo: Cuando el trabajo de campo es subcontratado, agregue un presupuesto para monitoreo independiente dentro del presupuesto de evaluación.
Escenarios: Conforme varios escenarios presupuestarios- considere potenciales cambios en la evaluación, estructuras de trabajo de campo, etapas.
Imprevistos: Incluya entre 5-2% del presupuesto total como un presupuesto para imprevistos.
31
Introducción Presupuestos Calidad de datos Costos
Análisis de Presupuestos de Contratistas
Contratar a una encuestadora para realizar el
trabajo de campo de una evaluación puede ser
deseable por temas de logística.
Ellas benefician de:
Experiencia
Escala
32
Introducción Presupuestos Calidad de datos Costos
Análisis de Presupuestos de Contratistas Características frecuentes de los presupuestos de
contratistas:
Costos Generales: Las empresas entregan costos generales del levantamiento, no costos unitarios.
Supuestos: Omiten los supuestos del presupuesto.
Escenarios: Un solo escenario.
Imprevistos: Montos generosos para imprevistos.
Cronogramas: Cronogramas sin fechas fijar o fechas de entregas.
Planes de Contingencia: Falta de flexibilidad para costear eventos fortuitos.
¿Cómo se evalúa si el beneficio vale el costo?
33
Introducción Presupuestos Calidad de datos Costos
Ejemplo Presupuesto Incompleto
34
Muestra 1
No. Descripción Monto ($)
1 Consultorías Técnicas 35.564,85
2 Sueldos Personal de Campo 69.414,23
3 Viáticos y Gastos de Viaje Personal de Campo 119.278,24
4 Gastos de Capacitación 1.333,68
5 Impresión de Instrumentos de Investigación 28.875,52
6 Compra de Materiales de Campo e Insumos Varios 5.230,13
7 Arrendamiento de Vehículos, Computadoras, Local
y Combustibles 75.912,66
8 Procesamiento de Datos 26.085,25
9 Gastos para Imprevistos 36.169,46
10 Costos Indirectos 19.659,65
Total Presupuesto Estimado para el Proyecto 417.523,67
Introducción Presupuestos Calidad de datos Costos
Buenas Prácticas para Evaluar Presupuestos
35
Checklist de Buenas Prácticas para Evaluar
Presupuestos de Contratistas. Pedir un Listado Detallado de Supuestos: ¿Equipos? ¿Fuente de
estimados de costos de insumos (alquiler de automóviles, seguros,
costos de impresión, y costos de materiales)? ¿Cuáles son los
imprevistos esperados, demoras, y planes de contingencia para
situaciones adversas?
Pedir un Estimado de Costos Unitarios: ¿Cuál es el costo unitario
(promedio) de llegar a cada observación en la muestra? ¿Cómo varía el
costo unitario entre observaciones o grupos de observaciones?
Conformar un Presupuesto Propio: ¿Si se rehace en presupuesto
de l contratista, como comparan los costos? ¿Cuáles supuestos o
cálculos parecen explicar las diferencias?
Solicitar Escenarios: ¿Cuáles escenarios entrega el contratista al
solicitarle un mínimo de 3 escenarios presupuestarios? ¿Cuáles
parámetros varía el contratista?
Introducción Presupuestos Calidad de datos Costos
36
Nicole Carpentier
J-PAL LAC