36
Introducción Presupuestos Calidad de datos Costos Clase 8 Aspectos Operativos de una Evaluación de Impacto Nicole Carpentier J-PAL LAC [email protected] 1

Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

  • Upload
    vohanh

  • View
    227

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Clase 8 Aspectos Operativos de una Evaluación de Impacto Nicole Carpentier

J-PAL LAC

[email protected]

1

Page 2: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Objetivos

Despues de esta sesion, los participantes

seran capaces de:

Realizar estimaciones sobre el costo real de

una evaluacion de impacto.

Desarrollar Terminos de Referencia (TDR)

que permitan contratar una evaluacion de

impacto rigurosa.

2

Page 3: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Esquema de la presentación

1. Introducción

2. Principios de la Calidad de Datos

Amenazas a la Calidad de Datos

Herramientas de Calidad

3. Costos e Insumos de una Evaluación

4. Diseño y Análisis de Presupuestos

3

Page 4: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

1. Introducción

4

Page 5: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

En relación a una evaluación de impacto, es más probable que usted... A. Desarrolle los

términos de referencia para contratar una evaluación de impacto.

B. Realice una evaluación de impacto por su cuentan o la de su organización.

A. B.

50%50%

Page 6: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Preguntas Clave: Calidad y Costos

6

¿Cómo balanceo los costos y calidad

de una evaluación de impacto?

¿Cuáles son los parámetros de

calidad que se deben resguardar?

¿Cuáles son los elementos clave de

un presupuesto de evaluación?

¿Cuál es el balance entre calidad y

costos que se busca al contratar una

empresa encuestadora externa?

Page 7: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

2. Calidad de Datos

7

Page 8: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Principios de la Calidad de Datos

8

“Garbage in, garbage out.”

Page 9: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Principios de la Calidad de Datos

9

• Definición: Datos completos levantados de la totalidad de la población de estudio.

• Violación: Encuestas con preguntas blancas . Cabalidad

• Definición: Datos bien especificados capturan correctamente los parámetros de interés.

• Violación: Preguntas con lenguaje confuso. Precisión

• Definición: Datos obtenidos según protocolos y procedimientos bien estructurados.

• Violación: Aplicación de preguntas en orden incorrecto.

Integridad

• Definición: Datos que expresan información verdadera de la población de estudio.

• Violación: Primado, falsificación de datos. Veracidad

• Definición: Datos obtenidos por procesos estandarizados.

• Violación: Encuestas aplicadas distintamente en ciertas poblaciones.

Homogeneidad

Page 10: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Amenazas a la Calidad de Datos

10

Diseño: El diseño de evaluación cuenta con supuestos

incorrectos o instrumentos que no son ajustados al

contexto.

Amenazas: Tasa de participación sub-optimas, Errores de

medición.

Principios: Cabalidad, Precisión , Homogeneidad.

Implementación: Los equipos de levantamiento de datos

violan los protocolos de aplicación.

Amenazas: Procesos Heterogéneos, Falsificación.

Principios: Cabalidad, Integridad, Precisión, Veracidad,

Homogeneidad.

Page 11: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Amenazas a la Calidad de Datos

Eventos Exógenos: Situaciones

imprevistas que modifican,

corrompen, o inhabilitan al diseño

de evaluación.

Amenazas: Implementación parcial

de la intervención, cancelación del

programa, catástrofes humanos y

naturales.

Principios: Cabalidad, Integridad.

11

Page 12: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

¿Cuál es la manera más eficaz de disminuir las amenazas al diseño experimental?

A. Revisando los supuestos

del diseño y determinar

potenciales valores para

parámetros clave.

B. Testando varias

estimaciones de

parámetros clave.

C. Construyendo una Muestra

o Plan de Recuperación y

Reemplazos.

D. Monitoreando y midiendo

distorsiones y procesos.

A. B. C. D.

25% 25%25%25%

Page 13: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Herramientas de Calidad: Diseño

Las amenazas de diseño NO son totalmente

evitables, pero se puede disminuir su efecto.

Revisando los supuestos del diseño y determinar

potenciales valores para parámetros clave.

Testando varias estimaciones de parámetros clave.

Construyendo una muestra o Plan de Recuperación

y Reemplazos.

Monitoreando y midiendo distorsiones y procesos.

13

Page 14: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Herramientas de Calidad: Diseño

Algunas herramientas prácticas para

implementar los pasos anteriores incluyen:

Estudios de Diagnóstico y Pilotajes.

Monitoreo y Medición de Distorsiones.

Evaluación de Procesos de Levantamiento.

14

Page 15: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Herramientas de Calidad: Implementación A diferencia de las amenazas de diseño, las

amenazas de implementación son totalmente evitables.

Algunas vías para evitar errores son: Control estricto sobre los planificación,

implementación, y validación de levantamientos de datos de terreno.

Monitoreo Independiente de Procesos de Recolección y Digitación.

Construyendo una Muestra de Repuesto.

Monitoreando y Midiendo Distorsiones.

15

Page 16: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Herramientas de Calidad: Implementación

Algunas herramientas prácticas para

implementar los pasos anteriores incluyen:

Términos de Referencia estrictos.

Documentación de Levantamientos de Datos.

Actividades clave de Monitoreo.

16

Page 17: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Herramientas de Calidad: Implementación - Monitoreo Cada evaluación debería contar con dos tipos

de monitoreo. Monitoreo Implementador.

Monitoreo Independiente.

Actividades clave de Monitoreo Re muestreo: Re aplicación de una sección de los

instrumentos.

Acompañamiento: Observación de procesos de medición.

Escrutinio: Revisión de instrumentos aplicados.

17

Page 18: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Herramientas de Calidad: Implementación - Monitoreo

Otros Lineamientos

Tasas de error: Número de campos llenados

incorrectamente sobre campos que corresponden

llenar; mide cabalidad; tasa de error aceptable: 0.5-

2%.

Monitoreo: 10 % de la muestra debería ser

sometida a monitoreo por el implementador,10%

debería contar con monitoreo independiente.

18

Page 19: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Elaborando Términos de Referencia

19

Checklist para Términos de Referencia:

Levantamientos de Datos Protocolo de Confidencialidad: Protección de Información del

Estudio y Participantes de Estudio; Instructivo de Manejo de

Información e Instrumentos.

Protocolo de Muestreo: Definición estricta de Marco Muestra,

Tasas de Participación requerida , Instructivo para Recuperación

de Muestra y Búsqueda.

Protocolo Etapas: Listado de etapas de preparación, debería

incluir varios pilotajes para validar instrumentos, tiempo para

solicitar permisos.

Selección y Entrenamiento de Personal: Especificaciones para

selección de personal competitivo y entrenamiento práctico;

especificaciones de estructura salarial.

Page 20: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Elaborando Términos de Referencia

20

Checklist para Términos de Referencia:

Levantamientos de Datos Protocolo de Aplicación: Instructivo completo para aplicación de

cuestionarios e otros instrumentos de medición, proceso de

aplicación dentro del contexto local.

Protocolo de Monitoreo: Plan de monitoreo que incluye tres

actividades claves de re muestreo, tasas de error aceptables (5%),

plan de revisión de documentos llenados.

Protocolo y Entregas: Cronograma Fijo de Reportes y Productos

incluyendo: Manuales de Entrenamiento, Hojas de Control, Datos,

Reportes de Errores.

Digitación: Especificación de Doble Digitación, Re Digitación

Completa.

Page 21: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Calidad de Datos

21

Los errores de calidad

son particularmente

graves cuando son

sistemáticos y/o no

distribuidos de igual

manera entre tratamiento

y control

Page 22: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

3. Costos

22

Page 23: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

¿Cuál de los costos siguientes no se debería incluir en el costo de una evaluación de impacto? A. Capacitación de equipo de

campo.

B. Transporte de equipo de campo.

C. Imprevistos.

D. Tiempo de investigadores.

E. Digitación de encuestas.

F. Costo de Intervención o Programa.

G. Costos asociados a la seguridad del equipo de campo.

A. B. C. D. E. F. G.

14% 14% 14% 14%14%14%14%

Page 24: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Costos de Evaluación

24

Costos de Investigación (Trabajo Técnico)

•Salarios Investigadores

•Vistas a Campo

•Costos Administrativos

Costos de Implementación/ Trabajo de Campo

• Capacitación

• Salarios

• Materiales: Impresiones, Mapas, Comunicación

• Transporte , Seguros

• Monitoreo

• Digitación

Page 25: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Parámetros de Costos

25

• Equipos de Trabajo de Campo: Subcontratado vs interno

• Duración: Tiempo total de diseño, implementación, y análisis

• Fases: Cantidad de levantamientos de datos

• Instrumentos

• Contexto Local: Seguros, impuestos, idioma

Parámetros de Investigación

• Fuentes de Datos y Instrumentos : Fuentes de datos (terreno vs. administrativos)

• Tamaño de Muestra: La cantidad de unidades en la muestra, las muestras más grandes son más caras de medir.

• Unidad de Muestra: La unidad de muestra (por ejemplo: nivel individual, clúster)

• Dispersión de Muestra: Las distancias entre unidades de medición.

Parámetros de Implementación

Page 26: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

¿Cuál es el parámetro más caro de una evaluación de impacto? A. Viajes de equipo de

investigación.

B. Trabajo de campo.

C. Comunicación.

D. Estrés del equipo.

E. Costos administrativos.

F. Imprevistos.

G. Salarios de equipo.

A. B. C. D. E. F. G.

14% 14% 14% 14%14%14%14%

Page 27: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Parámetros Definitivos

27

Ejemplo 1:

Chile Programa de Involucramiento Parental

Equipo de trabajo: Interno

Duración: 3 Años

Fases: 3

Fuentes de Datos: Terreno,

Administrativos

Instrumentos: Pruebas de

Lenguaje, cuestionario,

prueba de competencias

Tamaño de Muestra: 64

Escuelas,

Unidad de Muestra: Cluster

(Escuela)

Page 28: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Parámetros Definitivos

28

Ejemplo 2: México Programa de Garantía

Tecnológica

Comunicación $10,240

Equipo de trabajo: Interno y

contratado

Duración: 1,5 Año

Fases: 4

Fuentes de Datos: Terreno

Instrumentos: Encuestas,

pruebas de tierra.

Tamaño de Muestra: 1000

agricultores

Unidad de Muestra: Individual

Equipo y Material $56,728

Campo $ 196,597

Salarios $174,540

Costos Administrativos

$58,662

Imprevistos $13,143

Page 29: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Parámetros Definitivos

29

Chile México

Total: 256 342 USD Total: 509 910 USD

Diferencias Importantes: Equipo de Trabajo: Interno vs. Interno/Subcontratado,

Datos: Administrativo y Terreno vs Terreno

Duración: 3 vs 1.5 Años,

Fases 3 vs 4 Etapas,

Tamaño Muestra: 64 vs 1000

Page 30: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

4. Diseño y Análisis de Presupuesto

30

Page 31: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Buenas Prácticas de Diseño de Presupuestos Checklist de Consideraciones y Buenas Prácticas

de Diseño de Presupuestos.

Evaluación- Intervención: Analizar la relación entre la evaluación e intervención y posibilidad de levantar datos de evaluación al intervenir

Etapas: Conformar el presupuesto de evaluación por etapa, considerar necesidad de cada etapa, particularmente línea base.

Monitoreo: Cuando el trabajo de campo es subcontratado, agregue un presupuesto para monitoreo independiente dentro del presupuesto de evaluación.

Escenarios: Conforme varios escenarios presupuestarios- considere potenciales cambios en la evaluación, estructuras de trabajo de campo, etapas.

Imprevistos: Incluya entre 5-2% del presupuesto total como un presupuesto para imprevistos.

31

Page 32: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Análisis de Presupuestos de Contratistas

Contratar a una encuestadora para realizar el

trabajo de campo de una evaluación puede ser

deseable por temas de logística.

Ellas benefician de:

Experiencia

Escala

32

Page 33: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Análisis de Presupuestos de Contratistas Características frecuentes de los presupuestos de

contratistas:

Costos Generales: Las empresas entregan costos generales del levantamiento, no costos unitarios.

Supuestos: Omiten los supuestos del presupuesto.

Escenarios: Un solo escenario.

Imprevistos: Montos generosos para imprevistos.

Cronogramas: Cronogramas sin fechas fijar o fechas de entregas.

Planes de Contingencia: Falta de flexibilidad para costear eventos fortuitos.

¿Cómo se evalúa si el beneficio vale el costo?

33

Page 34: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Ejemplo Presupuesto Incompleto

34

Muestra 1

No. Descripción Monto ($)

1 Consultorías Técnicas 35.564,85

2 Sueldos Personal de Campo 69.414,23

3 Viáticos y Gastos de Viaje Personal de Campo 119.278,24

4 Gastos de Capacitación 1.333,68

5 Impresión de Instrumentos de Investigación 28.875,52

6 Compra de Materiales de Campo e Insumos Varios 5.230,13

7 Arrendamiento de Vehículos, Computadoras, Local

y Combustibles 75.912,66

8 Procesamiento de Datos 26.085,25

9 Gastos para Imprevistos 36.169,46

10 Costos Indirectos 19.659,65

Total Presupuesto Estimado para el Proyecto 417.523,67

Page 35: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

Buenas Prácticas para Evaluar Presupuestos

35

Checklist de Buenas Prácticas para Evaluar

Presupuestos de Contratistas. Pedir un Listado Detallado de Supuestos: ¿Equipos? ¿Fuente de

estimados de costos de insumos (alquiler de automóviles, seguros,

costos de impresión, y costos de materiales)? ¿Cuáles son los

imprevistos esperados, demoras, y planes de contingencia para

situaciones adversas?

Pedir un Estimado de Costos Unitarios: ¿Cuál es el costo unitario

(promedio) de llegar a cada observación en la muestra? ¿Cómo varía el

costo unitario entre observaciones o grupos de observaciones?

Conformar un Presupuesto Propio: ¿Si se rehace en presupuesto

de l contratista, como comparan los costos? ¿Cuáles supuestos o

cálculos parecen explicar las diferencias?

Solicitar Escenarios: ¿Cuáles escenarios entrega el contratista al

solicitarle un mínimo de 3 escenarios presupuestarios? ¿Cuáles

parámetros varía el contratista?

Page 36: Presentación de PowerPoint - povertyactionlab.org. Aspectos... · estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)?

Introducción Presupuestos Calidad de datos Costos

[email protected]

twitter

[email protected]

twitter

36

Nicole Carpentier

J-PAL LAC

[email protected]