Andrs HamUniversidad de Illinois Urbana-Champaign

6 de Abril de 2017Guatemala

TALLER DE EVALUACIN DE IMPACTO

Es suficiente tener un buen diseo de la

evaluacin?

Referencia

Libro: Failing in the Field (Kaplan & Appel, 2016)

(Fracasando en el campo)

Disponible slo en Ingls. Ms informacin en:http://press.princeton.edu/titles/10872.html

Problemas comunes

1. Necesidad del programa

2. Fallas en la implementacin

3. Problemas de monitoreo y datos

4. Baja Participacin

Necesidad del programa

Ejemplo: campaa para reducir la incidenciade diarrea en nios (0-5 aos).

Se eligen municipios por lotera para recibir/no recibir el programa, por lo cualtenemos un buen contrafactual.

Necesidad del programa

Ejemplo: solucionar la inasistencia de maestros penalizandolos por da fallado.

Se eligen escuelas por lotera dnde se multa/no se multa a los profesores, por lo cualtenemos un buen contrafactual.

Necesidad del programa

Hay que estar seguros que la evaluacinaborda un problema existente y relevante.

Por ms que el diseo de la evaluacin sea ideal (tiene un buen contrafactual), esto no essuficiente para garantizar que un programatenga xito.

Fallas en la implementacin

Hay que tener en cuenta barreras fsicas, sociales, temporales y tecnolgicas.

Ejemplo: gallinas en la India El programa comenz tarde por una demoraadministrativa, justo en la temporada lluviosa!

Manejar en las carreteras era imposible.

Las condiciones para criar gallinas no eran ideales.

Fallas en la implementacin

No hay que tomar nada por sentado.

Ejemplo: DVDs en Per Mostrar un DVD sobre educacin financiera.

En las comunidades aseguraron que habadisponibilidad de reproductores y televisores.

En realidad, menos de 10% de los beneficiarioslograron ver el video por problemas tcnicos.

Fallas en la implementacin

Es necesario asegurar que todos losengranajes del programa estn alineados.

Ejemplo: educacin financiera en Per Una cooperativa que daba crditos decidi dar charlaspara reducir moras en los prstamos.

No contrataron, usaron al personal disponible.

Fue imposible para los empleados cumplir con sutrabajo y dar el apoyo educativo a los clientes.

Fallas en la implementacin

Hay que ser cuidadosos y prcticos para evitar que un buen diseo se desperdicie.

Por ms que el diseo de la evaluacin sea ideal (tiene un buen contrafactual), muchascosas pueden fallar durante la implementacin. Es esencial anticiparse a estos eventos dentro de lo posible.

Problemas de monitoreo y datos

Sin mediciones confiables, no podemosevaluar el programa.Podemos realizar encuestas propias?

Se pueden obtener datos administrativos?

Ejemplo: tasas de respuesta a encuestas Encuesta de 40 mins: 97%

Encuesta de 300 mins: 66%

Problemas de monitoreo y datos

Siempre empiecen con un piloto, ya que permite identificar problemas claves.

Ejemplo: postulantes universitarios Proveer informacin sobre beneficios y costos de la universidad a alumnos de secundario.

Cunto cree que gana un profesional universitario?

En el piloto: valor monetario; Despues: intervalos.

Problemas de monitoreo y datos

Es importante realizar una revisin constantede la informacin recolectada.

Ejemplo: crditos en Malawi Encuesta de 3 horas a participantes.

Un enumerador ve a otro terminar en 45 minutos.

Es necesario una revisin del trabajo de recoleccin de datos. Sin datos confiables, nuestros resultados puedenestar equivocados!

Problemas de monitoreo y datos

Los datos son nuestra prueba ante el juez, y no es suficiente un diseo aleatorio. Si hacemos las preguntas equivocadas, no aprendemosnada de la evaluacin.

Asegurar que los datos se obtengan en su debidomomento y sin manipulacin es una tarea continua.

Pruebas piloto, realizadas antes de la implementacindel programa, son muy tiles para asegurar que la evaluacin vaya por buen camino.

Baja Participacin

Si buscamos participantes, hay que sercuidadosos con los requisitos solicitados.

Ejemplo: entrenamiento laboral en Arg. Examen para calificar, necesitaban 90 personas.

>90 personas tomaron el examen, slo 10 pasaron.

3 intentos con el mismo resultado.

Menos de 90 personas no permita evaluar el programa, asi que fue abandonado.

Baja Participacin

Aunque ya exista una evaluacin con buencontrafactual, tambin debemospreocuparnos por tasas de participacin.

Ejemplo: microcrditos en Ghana. Trmites administrativos muy demorados.

Muchas personas no completaron el proceso.

Necesitamos ms solicitantes de prstamo para evaluarel programa, algo difcil en esta etapa!

Baja Participacin

No hay que ser demasiado optimistas con las tasas de participacin.

Dos momentos claves Antes de una lotera: las bajas de participacin nosdejan con una muestra no representativa.

Despues de una lotera: diluye los efectos del programaporque hay pocos que efectivamente lo reciben. Para resolverlo requiere ms beneficiarios.

Resumen

Una evaluacin bien diseada ayuda pero no garantiza el xito de un programa.

Es importante mantener los ojos abiertos entodas las etapas de la implementacin, y ensus reas, ustedes son los que tienen la mejor visin.

Gracias!