8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
1/33
INDICECONTENIDO PAGNAIntroduccin 1
Evaluacin ex ante 2Calcular los costo 2Costo de capital 3
Costo de mantenimiento 3Costo de operacin 3Costo adicionales de los usuarios 4Programacin 5
Disear los procesos 5
El mapa de procesos6
Descripcin por proceso 7Hacer el cronograma y ruta crtica 8
Disear la estructura organizacional 8Calcular los insumos 10Disear el modelo de focalizacin 12Programar el monitoreo y la evaluacin ex post 13
Elaborar el presupuesto 13Monitoreo 14
Disear el plan de monitoreo 16Los destinatarios y la informacin 16
Los indicadores 17Implementacin el monitoreo 18
Analizar los resultados 19Los informes 23
Evaluacin ex post 24Calcular los costo reales del proyecto 25
Medir los impactos logrados 26Calcular la relacin costo- impacto 29Informes 30Bibliografa
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
2/33
INTRODUCCIN
En Venezuela, donde existe una fuerte y seria restriccin en el gasto social
pblico, un gerente social no puede permitirse malgastar dinero en un
programa inadecuado, mal orientado o que no cumpla sus objetivos y metas.
Para evitar que esto suceda, el gerente social o el llamado "Policy Maker"
debern contar con un mnimo de informacin confiable acerca del nivel de
funcionamiento del programa que dirige para as tomar las decisiones o
correcciones respectivas y prevenir el mal gasto de recursos en un programa
social poco eficiente.
De otra parte, el gerente social debe saber si funciona bien su programa, por
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
3/33
que funciona bien, si hay alternativas para maximizar ese funcionamiento
positivo si funciona mal, a que se debe y cuales son los correctivos
necesarios para optimizar el funcionamiento del programa (reducir la
incertidumbre de los resultados) y por ende maximizar los recursos invertidos.En todo caso, el gerente social debe preguntarse o se debera preguntar, Tiene
un determinado programa social el efecto que se quiere que tenga? Los
recursos empleados en el programa corresponden a la cantidad de
mejoramiento (beneficio) obtenido?, Debern reformarse los recursos o
reformarse los procedimientos para optimizar el programa? Conque
herramienta cuento para analizar el programa que dirijo? Cmo puedo
obtener informacin para agilizar las decisiones sobre el programa?.
Como respuesta a estas interrogantes realizaremos, en este trabajo, una
aproximacin conceptual y metodolgica de los tipos de evaluacin que
comnmente se aplican en las ciencias sociales. De igual forma se determinara
la importancia que tiene la evaluacin como fuente de informacin sobre los
procesos de toma de decisin de la gerencia social.
EVALUACIN EX-ANTE
Definidas las alternativas de proyecto, estas deben ser evaluadas para
seleccionar la que presenta una mejor relacin entre los costos de su
implementacin y el impacto estimado.
El Anlisis Costo-Impacto (ACI) es la metodologa que permite
seleccionar la alternativa que maximiza el impacto al menor costo posible,en otras palabras, escoger la opcin que presenta el menor costo por unidad
de impacto. Por consiguiente requiere el anlisis de costos y del impacto
Ambos presentan diferencias de operacionalizacin segn la naturaleza
del proyecto.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
4/33
En un programa que incluye un conjunto de pequeos proyectos con una
sola alternativa, que comparten los objetivos de impacto y la poblacin
objetivo.
En programas en los que concursan pequeos proyectos con diferenciasde poblacin objetivo y/u objetivos de impacto, la evaluacin se debe
complementar con un anlisis multicriterio.
Calcular los costos (anlisis de la eficiencia)
Los costos de un proyecto aluden al valor econmico de cada uno de
los bienes y servicios utilizados, independientemente de quin afronte su
financiamiento. No se debe confundir costo con egreso.
En cada alternativa se deben identificar los costos relevantes que se
deben afrontar durante la vida del proyecto.
Para evaluar proyectos grandes (tipo a) hay que identificar los factores
diferenciales (aquellos que implican mayores o menores costos). Es posible
que existan actividades comunes (como el desarrollo e implementacin de
un sistema de monitoreo), que, por lo mismo, no contribuyen a la toma
decisiones, por lo que es preferible posponer su estudio para la fase de
Programacin. En proyectos pequeos (b y c) se deben considerar todos los
costos.
Los costos pueden clasificarse en:
*Costos de capital: son los que se deben afrontar para adquirir bienes
cuya duracin en el proyecto (vida til) es superior a un ao.
Normalmente, el desembolso debe hacerse durante la ejecucin (inversin)
para que puedan ser utilizados en la operacin. Si es necesario reponer dichos
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
5/33
bienes o realizar ampliaciones, tales erogaciones tambin forman parte de los
costos de capital. Estos siempre se consignan en el perodo anterior a su
utilizacin.
Los costos de capital ms comunes en los proyectos sociales son los deterreno, construccin, equipamiento e inversiones complementarias.
*Costos de mantenimiento: son los requeridos para mantener el
estndar de calidad y volumen de produccin de los bienes de capital
(equipos, edificios, etc.).
Normalmente, se calculan como una proporcin de los costos de capital
del proyecto para cada perodo.
* Costos de operacin: se derivan de la compra de bienes y/o
servicios cuya vida til es inferior a un ao.
En los costos de operacin se distinguen los:
a) Directos: Derivados de los insumos y personal imprescindibles
para la realizacin del proyecto. Forman parte de los procesos
principales (en el proyecto atencin primaria de salud seran las
enfermeras, paramdicos, frmacos, etc.).
b) Indirectos: No son imprescindibles pero permiten aumentar la
eficiencia. Forman parte de los procesos de apoyo (en el mismo
proyecto, seran la supervisin, capacitacin, etc.).
*Costos adicionales de los usuarios: En los proyectos sociales es
necesario tener en cuenta los costos en que debe incurrir la poblacin objetivo
para recibir los productos del proyecto. Normalmente, estos son los costos de
movilizacin y el valor del tiempo de traslado y de espera (medida en horas
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
6/33
hombre, dividiendo el sueldo mnimo mensual por 240 horas/mes).
Siempre se deben considerar los costos de oportunidad. Las donaciones
y el trabajo voluntario, que son gratuitos, implican costos econmicamentecuantificables. Si no se los incluye como tales, se asume que los recursos
aportados son infinitos. Dichos costos deben imputarse en los costos de capital
o de operacin, segn sea el caso.
Los recursos financieros utilizados en el proyecto tienen un costo de
oportunidad calculado en base a lo que podran rendir si se los destinara a
inversiones alternativas (depsitos, acciones u otro tipo de proyectos).
Mientras mayor es el horizonte del proyecto, mayor es su importancia.
Normalmente, en los proyectos sociales, este costo se traduce en una tasa de
descuento de 12% anual.
Hay que tomar en cuenta slo los costos relevantes. Los egresos menores
(como tiles de oficina) se deben agrupar en rubros genricos.
Los costos se deben imputar a precios de mercado, en el lugar del
proyecto. Esto elimina la necesidad de realizar estimaciones sobre la inflacin
futura.
Los precios de mercado debe ser transformados en precios sombra,
que eliminan las distorsiones originadas por los impuestos y subsidios.
La evaluacin ex-ante se realiza utilizando los costos de oportunidad, pero
para elaborar el presupuesto de la alternativa seleccionada (en la etapa de la
programacin) se deben considerar
PROGRAMACIN
Una vez seleccionada la alternativa a implementar, como resultado de la
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
7/33
evaluacin ex- ante, es necesario detallar los distintos componentes del
proyecto. Esto implica describir los procesos requeridos para lograr los
objetivos de producto propuestos, con sus respectivas actividades e
insumos, as como el cronograma, estructura organizacional, requerimientosde informacin, planes de monitoreo y evaluacin ex-post, presupuesto y plan
de financiamiento.
En esta etapa es preciso incorporar t odos los de costos, para permitir una
adecuada implementacin y monitoreo de las actividades y procesos
involucrados.
El trabajo requerido en la programacin depende de la profundidad con
que se hayan realizado las etapas anteriores. A mayor exhaustividad en la
formulacin y evaluacin ex-ante, menor es la cantidad de tareas a realizar en
la programacin y viceversa.
Los componentes de la programacin son:
Disear los procesos
Como se indica en el captulo III, un proceso es una serie de
actividades lgicamente relacionadas que utilizan insumos (personas,
procedimientos, mquinas, materiales) para producir un resultado.
Se comienza con una descripcin de los procesos principales y de apoyo.
Los principales son imprescindibles para la produccin y distribucin de los
productos, permiten agregar valor a los insumos y alcanzar los objetivos de
producto e impacto perseguidos (forman la cadena de valor). Los de apoyo,
posibilitan dar mayor calidad a la gestin, incrementando su eficiencia yeficacia.
El mapa de procesos.
Es un diagrama de bloques donde cada uno representa un proceso. Se
conectan a travs de flechas que reflejan el sentido de la relacin que los
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
8/33
vincula. Permite visualizar el conjunto, sus interrelaciones y la cadena de
valor.
Para elaborar el diagrama, se debe:
a. hacer un listado exhaustivo de los principales procesos requeridos parala produccin y distribucin de los productos (por ejemplo: diseo
de obra, compra de insumos, ejecucin, contratacin de
profesionales y tcnicos, capacitacin de operadores, identificacin
e incorporacin de beneficiarios, diagnstico y entrega de servicios,
etc.),
b. listar los procesos de apoyo (como difusin, contabilidad,
supervisin de obras, monitoreo de gestin, evaluacin de impactos),
c. definir el o los objetivos de cada proceso, qu se pretende obtener
con cada uno y para qu, sus caractersticas cualitativas y las metas por
perodo,
d. cuantificar el tiempo que requiere cada proceso, especificando si es
implementado slo una vez, si es repetitivo o permanente,
e. elaborar la matriz de programacin, incorporando la informacin
anterior a la alternativa seleccionada (construida durante la
formulacin).
As como cada objetivo de impacto puede requerir de un conjunto de
productos, un objetivo de producto es el resultado de uno o ms procesos y
actividades.Los objetivos de proceso, al igual que los de producto, son necesarios
para el monitoreo. Slo as es posible determinar si se estn realizando todas
las acciones requeridas para lograr los productos programados.
La forma ms eficiente de programar la alternativa elegida requiere la
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
9/33
participacin de los principales actores que intervendrn en la operacin del
proyecto.
Descripcin por proceso.
La informacin del punto anterior debe detallarse en cada proceso,
identificando y describiendo sus actividades y caractersticas Adems de los
objetivos, metas, indicadores y fuentes de verificacin, en cada proceso se
debe:
a) listar todas las actividades y subprocesos internos requeridos para
alcanzar los resultados esperados,
b) especificar los objetivos y metas por actividad, considerando
indicadores de cantidad, tiempo y estndar de calidad (no siempre es
necesario contar con estimaciones de metas en todas las
dimensiones),
c) identificar a los responsables de las actividades,
d) incorporar la informacin de actividades de cada proceso a la matriz
de programacin.
La descripcin de los procesos de un proyecto se sistematiza en un
manual de procedimientos que se debe utilizarse como gua para la operacin.
Hacer el cronograma y ruta crtica
El cronograma o Carta Gantt es una representacin grfica de la
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
10/33
informacin sobre los tiempos que demanda cada actividad y proceso
durante la ejecucin y operacin. Dependiendo de su cantidad, se puede
trabajar con una versin global (acumulativa) y otras detalladas (por
proceso).Para implementar estos procedimientos se cuenta con instrumental
tecnolgico y computacional que permite identificar en el mismo
cronograma las actividades de la ruta crtica.
Disear la estructura organizacional
Considerando las caractersticas de los procesos, actividades, poblacin
objetivo y el marco institucional, es necesario definir las caractersticas de la
estructura organizacional requerida para dar cuenta de los objetivos del
proyecto.
No existe un nico modelo de organizacin vlido para todas las
situaciones, sino distintas opciones que cambian segn los parmetros deldiseo y el contexto.
Dos variables centrales para definir la estructura son:
i. El grado de estandarizacin del producto: Un producto
es estandarizado cuando es el resultado de un proceso de produccin
y/o distribucin (interno o externo) que responde a patrones
normalizados.
Las raciones alimentarias de un Programa nutricional son un
ejemplo de producto estandarizado, en tanto tengan la misma
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
11/33
cantidad de kilocaloras y protenas. En cambio, los tratamientos
recetados en un centro de salud son un ejemplo de productos no
estandarizados.
ii. El grado de homogeneidad de la poblacin objetivo: Es
funcin del nivel de semejanza en las variables pertinentes que
afectan a los objetivos de impacto del Programa.
La poblacin de nios entre 4 y 6 aos en un programa de
vacunacin es un ejemplo de poblacin homognea. Los
beneficiarios de un programa de capacitacin tienen distintas
necesidades econmicas, historia laboral y habilidades, lo que los
hace diferenciarse en relacin a sus requerimientos de
capacitacin.
Mientras menos estandarizado es el producto y ms heterognea
es la poblacin objetivo, la organizacin debe ser ms adaptativa,
otorgando mayor autonoma de decisin a los encargados de los
procesos. En estos casos, adquiere mayor relevancia la
descentralizacin, la externalizacin de servicios y la coordinacin
horizontal.
Cuando los productos son estandarizados y la poblacin es
homognea se puede tener una estructura ms vertical, de tipo
burocrtico, con centralizacin de las decisiones en los niveles
superiores.Cuando se tiene una estructura con funciones descentralizadas oexternalizadas, la estructuradel programa o proyecto las incluye,
manteniendo su autoridad y, por tanto, su necesidad de supervisin.
Para esquematizar la estructura organizacional se utiliza el
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
12/33
organigrama, que resume grficamente sus unidades y relaciones
La estructura organizacional debe incluir el siguiente detalle:
i. Personal. Descripcin de los cargos y el nivel de formacin,
proceso de reclutamiento, seleccin y capacitacin.
ii.Comunicaciones. Manera en que se organiza la comunicacin
entre las unidades: horizontal (entre posiciones iguales) o vertical
(rangos diferentes).
iii. Autoridad. Niveles jerrquicos, con sus facultades de decisin
y mando, as como las obligaciones de los subordinados.iv. Tramo de control. Nmero de subordinados a cargo de cada
actor.
Calcular los insumos
Para implementar los procesos y actividades, se requiere especificarcuantitativa y cualitativamente los insumos (recursos humanos, materiales
y financieros) segn las relaciones insumo/producto que derivan de la
tecnologa utilizada. Esta informacin surge de la formulacin, las
estimaciones realizadas para la evaluacin ex-ante y el detalle de las
actividades del cronograma.
Hay recursos que pueden servir para ms de una actividad o proceso
y stos suelen requerir ms de un recurso para su implementacin.
Los recursos humanos hacen referencia a las caractersticas de los
profesionales y tcnicos requeridos. Hay que contar con los perfiles de
cargo definidos y la cantidad de personas necesarias para cumplir con
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
13/33
las metas establecidas. De esta manera es posible definir las
caractersticas de quienes, cuantos y durante qu tiempo deben llevar a
cabo las tareas programadas.
En el ejemplo, el proceso de atencin a pacientes de un consultorio,requerir de una cantidad definida de mdicos generales y especialistas,
enfermeros, personal administrativo y de limpieza, etc., de acuerdo a la
cantidad de personas que se atienden diariamente.
Los insumos materiales son la infraestructura, equipos y materias primas
que permiten a los recursos humanos implementar las actividades de cada
proceso. La atencin del consultorio requerir cantidades especficas
(definidas por las relaciones insumo/producto) de: salas de atencin,
balanzas, termmetros, medicamentos e instrumentos de diagnstico e
intervencin.
Los recursos financieros son los montos de dinero que se requieren para
contar con los insumos materiales y los recursos humanos.
Lo anterior permite determinar cundo se requiere cada insumo y los
recursos monetarios implicados, segn el plan de produccin definido.
El anlisis conjunto de los recursos involucrados por proceso y unidad de
gestin permite generar la informacin necesaria para optimizar su uso (para
alcanzar la mxima productividad por unidad de tiempo) y confeccionar el
presupuesto global y segn los productos y procesos involucrados.
Hay dos herramientas tiles para realizar dicha labor:
a. Esquema de procesos y estructura. La interseccin de ambos
componentes del modelo de gestin, permite cuantificar la
cantidad de actividades que debiera realizar cada unidad de gestin
y la intensidad de uso de los insumos requeridos, analizar el flujo de
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
14/33
informacin entre unidades y las opciones de racionalizacin viables.
b. Esquema de cronograma y recursos: Sirve para determinar los
momentos en que se requieren los recursos, evidenciar los problemas
de simultaneidad de actividades realizadas por cada unidad de gestiny analizar posibles reordenamientos de los recursos. Esto ltimo,
facilita la gestin de los recursos involucrados y disminuye costos
operacionales (asociados a los movimientos de contratacin y
despidos, uso de infraestructura y manejo de volmenes de los insumos
fsicos y financieros).
Disear el modelo de Focalizacin
De acuerdo a las caractersticas de la poblacin objetivo, se deben definir
los procedimientos necesarios para que pueda acceder a los productos,
minimizando los errores de inclusin y exclusin
Cuando los productos ofrecidos slo satisfacen necesidades especficas de
la poblacin destinataria, se puede utilizar la autofocalizacin, bajo el
supuesto de que la poblacin no objetivo se automarginar. En dicho caso
habr que poner nfasis en minimizar el error de exclusin a travs de la
promocin.
Si los productos son atractivos para otros, ser necesario establecer un
sistema de seleccin de beneficiarios (a travs de la solicitud de
documentos, cuestionarios, entrevistas u otros) que permitan asegurar que sebeneficiar slo a los miembros de la poblacin definida en el diagnstico.
Hay que recordar que si focalizar es ms caro que distribuir los productos
universalmente, es preferible no hacerlo.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
15/33
Programar el monitoreo y la evaluacin ex-post
Se debe establecer un plan bsico de las caractersticas y momentos en
que se requiere informacin del monitoreo y la evaluacin expost para quelos resultados de su anlisis sean tiles a la toma de decisiones.
Los procesos, actividades y productos son los elementos centrales en la
programacin del monitoreo.
Las evaluaciones ex-post deben programarse para cuando se espera que
aparezcan los impactos. No se deben definir de manera genrica,
porque los tiempos de maduracin dependen de las caractersticas de la
poblacin objetivo, la lnea de base, el tipo de objetivos de impacto y de la
cantidad y calidad de los productos que se entrega para lograrlos
Elaborar el presupuesto
Es el desglose de los recursos financieros requeridos por perodo de
ejecucin y operacin. Su estructura es similar a la del flujo, pero
incluyendo a todos los costos y no slo los diferenciales. En el ejemplo se
observan nuevos costos (derivados del anlisis y reingeniera del modelo de
gestin y el diseo e implementacin del modelo de monitoreo y
evaluacin).En el presupuesto (a diferencia del flujo) no se consignan los ingresos
por recuperacin de activos. Estos se identifican en las fuentes de
financiamiento.
El presupuesto se debe complementar con un detalle de las fuentes de
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
16/33
financiamiento. Este debe incluir las donaciones (en dinero y bienes) as
como el costo alternativo del trabajo voluntario, de los beneficiarios y
otros agentes.
MONITOREO
Se realiza durante los estados de inversin y operacin de los programas
y proyectos, con el objetivo de conocer los resultados de la gestin y definir la
reprogramacin requerida.
Tradicionalmente, el objetivo del monitoreo ha estado centrado en la
identificacin de los desvos existentes respecto a lo programado, haciendo
un anlisis intra proyecto (longitudinal). Para ello, se toma al programa o
plan de produccin como el patrn de comparacin y se restringe al control
fsico y financiero.
La comparacin entre lo programado y lo realizado slo es vlida si
existe una formulacin adecuada, que permita una programacin realista e
idnea de los diferentes productos, procesos, actividades e insumos
requeridos en la operacin. Si la programacin de un proyecto es arbitraria,
monitorear no tiene sentido. (Cohen, 1996). En este contexto, la
formulacin, programacin y monitoreo estn estrechamente vinculados.
La programacin no siempre es confiable y cuando hay ms de un
ejecutor o proyecto, adems de considerar el contraste respecto a la
programacin, el monitoreo tambin debe comparar los indicadores deresultado de cada uno.
Para cada indicador de gestin es posible realizar un anlisis entre
proyectos (transversal), con el objeto de comparar los resultados de
distintas unidades ejecutoras (o de proyectos) con similares caractersticas.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
17/33
Se busca generar un aprendizaje conjunto (para todo un programa) a partir
de los xitos y fracasos especficos (de cada proyecto).
Entre las principales razones de fracaso de los proyectos resaltan: errores de diseo: originados por la inexistencia o mala estimacin
de las metas; poca claridad o mala organizacin de los procesos y/o
actividades; poca congruencia entre las actividades programadas y la
estructura organizacional.
fallas de implementacin: falta de cumplimiento de lo programado
(procesos, actividades, estructura) por parte de quienes estn a cargo de
la operacin.
factores externos: incumplimiento de los supuestos o surgimiento
de elementos contextuales nuevos e impredecibles que modifican el
escenario en que se implementa el proyecto.
Las actividades del monitoreo deben programarse con anterioridad a la
ejecucin y operacin, a objeto de minimizar las dificultades prcticas y
maximizar su utilidad.
Disear el plan de Monitoreo
Esta es la primera actividad a realizar, que debe responder a las siguientespreguntas:
- Quines son los destinatarios de la informacin que proporciona el
monitoreo?
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
18/33
- Qu informacin requieren dichos destinatarios?
- Qu indicadores se deben considerar?
- Qu instrumentos hay que utilizar?
- Con qu periodicidad?- Qu nivel de precisin es requerido?
- Cules y cuntas unidades hay que observar cada vez (actores,
beneficiarios, ejecutores)?
- Qu tipo de informes se requieren?
- Cmo se deben procesar los datos?
Los destinatarios y la informacin
Los usuarios del monitoreo deben definir los requisitos del plan en base a
sus necesidades.
Se pueden identificar distintos tipos de destinatarios:
A. Los ac t o r es in t e r nos de la estructura organizacional. Se deben
seleccionar a los que toman las decisiones ms relevantes en los
procesos. Utilizando los mapas de procesos y su articulacin con la
estructura, se deben identificar las actividades crticas, que en el
caso de presentar desvos afectan fuertemente el resultado general.
Quienes estn a cargo de tales actividades son los destinatarios
internos naturales.
B. Los ac t o r es e x t e r no s : pertenecen a las instituciones en las queest inserto el programa, a quienes se les debe rendir cuenta por
razones contractuales, financieras o de dependencia jerrquica
(Ministerios, Bancos Contralora, Fundaciones).
C. La poblacin obj e tiv o: debe ser informada sobre la gestin, para
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
19/33
tener una opinin informada sobre su funcionamiento y canalizar sus
inquietudes, propuestas y necesidades y as contribuir a los objetivos
perseguidos.
D. La sociedad ci v il: que demanda conocer sobre la gestin de losprogramas sociales prioritarios.
Los destinatarios tienen distintos requerimientos de informacin. Mientras
ms involucrados estn en la gestin, mayor es el nivel de detalle necesario.
Los actores externos y la sociedad civil demandan informacin ms agregada
y menos frecuente.
Los indicadores
La seleccin de indicadores es central en el monitoreo. Estos deben
elegirse estratgicamente, para contar con una cantidad reducida, fcil de
medir y confiable, que garantice la informacin requerida para la toma de
decisiones. Para ello, hay que identificar las actividades crticas de los
procesos programados y las necesidades especficas de los destinatarios de
la informacin. No obstante, existe un conjunto de indicadores que
siempre deben ser considerados en el monitoreo:
Implementacin el monitoreo
Para la recoleccin, registro y procesamiento de la informacin del
monitoreo se requiere un plan con la flexibilidad suficiente como para
afrontar los imprevistos que se pudieran presentar.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
20/33
Es importante tomar en cuenta:
a. Sensibilizar a los encargados del registro de la informacin sobre
su utilidad y la importancia de seguir los procedimientos diseados.
Para ello, es conveniente transmitir a todos el uso que se har de lamisma. Cuando no se sabe para qu se recoge la informacin y no se
retroalimenta la actividad, disminuye el compromiso y baja la
confiabilidad de los resultados obtenidos.
b. Los instrumentos, formas de registro y procesamiento de los
datos deben ser estables para mantener su comparabilidad. Si se
requieren cambios, se los debe hacer planificadamente, con una fase
de prueba en que operen en paralelo las tcnicas preexistentes y las
nuevas.
c. En el procesamiento de datos es importante tener presente el
diseo muestral al segmentar la informacin (de manera geogrfica,
etaria, sectorial, etc.). Cada subdivisin adicional de la muestra
incrementa su error de estimacin, por lo que se deben sopesar los
beneficios de tener informacin ms detallada con los costos de su
menor confiabilidad.
d. Si existe factibilidad tcnica y econmica, utilizar sistemas
informticos para el registro y transmisin de la informacin
(tecnologas de redes locales, internet y correo electrnico), se
disminuyen considerablemente los errores de manipulacin.
e. Cuando se trabaja en un programa que tiene varias entidadesejecutoras, es conveniente contar con una estructura de
supervisin independiente de la operativa.
f. Es aconsejable conformar grupos de supervisores por zonas
geogrficas, con distintos tipos de proyectos, viabilizando la rotacin
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
21/33
del supervisor por los proyectos. Esto permite la suficiente cercana
como para conocer los proyectos y la distancia necesaria para limitar
un excesivo involucramiento en la gestin diaria.
g. En los programas con productos de distintos sectores, lasupervisin debe ser multidisciplinaria.
h. Para las salidas a terreno es necesario que los supervisores
cuenten con una gua de registro de datos que consigne actividades,
indicadores, unidades de registro y recomendaciones (o informacin
que requiere especial atencin).
Analizar los resultados
Existen variados instrumentos y coeficientes estadsticos que facilitan
este trabajo. Su utilizacin depender de las caractersticas de cada
indicador y de la profundidad del anlisis que se desea realizar.
Para el estudio intraproyecto se requieren tres tipos de anlisis:
- Comparar lo realizado respecto a lo programado. Consiste en
cuantificar la diferencia y analizar sus causas. Los desvos pueden
deberse a problemas en el diseo, fallas en la operacin y/o cambios en
el contexto.
- Comparar los resultados de distintos perodos. Es la
construccin de una serie histrica con los datos correspondientes acada perodo de la gestin. Permite identificar las variaciones entre
perodos para analizar posibles causas o estacionalidades en la gestin.
- Estimar los resultados futuros. En la medida que se tiene una
serie de tiempo suficientemente grande y con regularidad, es posible
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
22/33
utilizar modelo de regresin para estimar los resultados de los futuros
perodos de gestin.
- El estudio comparativo de los resultados entre proyectos
requiere las siguientes herramientas:
a Medidas de tendencia de central y posicin: La moda, mediana y media
son de gran utilidad para tener una mirada conjunta de los resultados de
proyectos, permitiendo a su vez compararlos por perodo de tiempo. Los
fractiles (percentiles, deciles, quintiles, cuartiles, terciles, etc.) facilitan
identificar los agrupamientos que se generan y hacer anlisis especficos.
- La moda, al identificar el valor con mayor frecuencia, da una
indicacin del resultado particular ms comn (en el pasado) y ms
probable (en el futuro).
- La mediana, al mostrar el valor en que la distribucin se divide
en dos grupos iguales, muestra el centro de los proyectos.
- La media permite centrar la mirada en el centro de la
distribucin real de los datos. Si hay alta dispersin, con pocos casos
muy distantes, esta se desplazar notablemente de la mediana.
- Los fractiles facilitan identificar grupos de casos segn su
posicin en la distribucin y conocer los valores de corte relevantes.
C Distribucin de frecuencias. Sirve para ver la forma en que se
distribuyen los proyectos en relacin al indicador que se analiza. Suidentificacin supone elaborar un histograma con las frecuencias de los
resultados de los distintos proyectos y ajustar una distribucin de
probabilidad que permita conocer su variabilidad.
Las distribuciones de frecuencias pueden presentar distintas formas, segn
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
23/33
el tipo de indicador. Para indicadores dicotmicos est la binomial. Para
discretos y continuos se pueden ajustar: la normal, t de Student, chi cuadrado,
triangular y rectangular.
- Binomial: Presenta dos grupos de proyectos, los exitosos (p) y
los fracasados (q). En la grfica, cada barra refleja la cantidad o
proporcin de proyectos p o q. La comparacin de sus alturas
permite una visualizar el xito relativo del programa.
- Normal: Es una distribucin simtrica, con la moda, la
media y la mediana coincidentes ubicadas en el centro. En torno al
promedio hay un gran grupo de proyectos con resultados similares,
con igual cantidad de casos positivos y negativos.
- Cuando se tienen pocos casos, la distribucin ms adecuada es
la t de Student, que presenta caractersticas similares a la normal pero
que vara su forma segn la cantidad de casos analizados (grados de
libertad).
Los proyectos se pueden clasificar en tres
grupos:
- xito: significativamente mejor que el promedio. De ellos se
debe aprender y difundir sus buenas prcticas a los dems.
- Fracaso: resultado mucho peor que el promedio. En ellos hay
que identificar las causas de los errores para no repetirlos y
corregir la gestin, o cerrar el proyecto.- Promedio: aquellos que se ubican en torno a la media. Estos
deben analizar las buenas y malas prcticas de los dems a objeto de
mejorar su desempeo y prevenir posibles fracasos.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
24/33
Cuando se analizan variables cuyo ptimo es la minimizacin (como
ocurre con los costos, el tiempo, cantidad de insumos, etc.) el xito se
ubica en el extremo izquierdo de la curva y el fracaso en el derecho.
Cuando el ptimo es la maximizacin (como en la focalizacin y lacobertura) la ubicacin del xito y fracaso se invierte.
Chi cuadrado: Tiene una distribucin asimtrica, en que los
proyectos se agrupan ms hacia el lado izquierdo. El promedio se ubica
sobre la mediana, lo que indica que en los valores inferiores hay una mayor
cantidad de casos, que a su vez estn concentrados. En el sector alto de la
distribucin ocurre lo contrario, en l se ubican casos que se diferencian
significativamente del grupo anterior. Tringulo rectngulo: Se produce
cuando la moda se ubica en uno de los extremos de la distribucin (el
mnimo o el mximo), con frecuencias descendientes hacia el lado opuesto.
En este lado se ubican casos que se diferencian significativamente del grupo.
Rectangular: Es el caso en que los proyectos se distribuyen de
manera homognea, por lo que los resultados son sumamente variables,
y no se pueden sacar conclusiones. La moda aporta poca informacin y la
media y la mediana se ubican en el centro.
Los informes
La publicacin de la informacin recolectada debe ser funcional para
sus usuarios. Se deben incluir hiptesis y/o sugerencias que permitan una
adecuada interpretacin de los hechos observados.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
25/33
Los informes pueden ser:
a. Desc r ip t iv os o co m pa r a t iv os : los primeros slo muestran lo
observado en el proyecto en un momento dado, los segundos
analizan sus resultados en relacin a otros proyectos (transversal),al mismo proyecto en diferentes momentos (longitudinal) o al
contexto (poblacin general y sin proyecto).
b. Coy un t u r ales o acu m ula t iv os: los primeros se circunscriben al
momento del anlisis y los segundos utilizan series temporales.
c. Numricos og r f ico s :
Tablas de datos: Posibilitan contar con una imagen de los resultados de
cada indicador y cuantificar las diferencias existentes longitudinal o
transversalmente.
Grficos: Existe una gran variedad, que sirven para descripcin de una
variable o la comparacin e ilustracin de series. Son menos exactos pero
ms fciles de interpretar.
Los tipo pie y de barra son tiles para mostrar distribuciones de un
indicador y comparar resultados transversalmente. A continuacin se
presentan ejemplos de grficos distintos indicadores:
Cuando se cuenta con una gran cantidad de proyectos o de ejecutores
distintos, se puede ajustar distribuciones de probabilidad (como las indicadas
en el punto anterior).
Los grficos lineales permiten analizar series de tiempo y comparar
resultados. El espacio que se genera entre las lneas de lo programado (0)
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
26/33
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
27/33
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
28/33
poblacin objetivo (lnea de base) y otro de "comparacin" que es la
situacin existente despus de un tiempo de operacin del proyecto (lnea
de comparacin), eliminando (o tratando de minimizar) la incidencia de
factores externos.Los modelos para medir efectos e impactos son los mismos, slo cambian
los indicadores utilizados.
Existe una familia de modelos cuyo objetivo es medir el impacto. Entre
ellos es necesario mencionar:
Modelo experimental clsico.
Exige seleccionar aleatoriamente una muestra que se divide, tambin
aleatoriamente, en dos submuestras, el grupo con proyecto o poblacin
beneficiaria (grupo experimental) y el grupo sin proyecto (grupo de
control). Estas submuestras se seleccionan antes de iniciarse la operacin
del proyecto (en la situacin de lnea de base) y deben diferir slo en que la
primera recibe los bienes o servicios del proyecto y la segunda no.
Tomando en cuenta la seleccin aleatoria de ambos grupos, las
diferencias iniciales entre ellos, si las hay, debieran ser mnimas. Es
decir, entre X e Y no deben existir diferencias estadsticamente
significativas.
X - Y = 0 (diferencia no significativa)
Si las diferencias iniciales fueran estadsticamente significativas, es
necesario realizar una nueva seleccin o distribucin de la poblacin en cada
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
29/33
grupo, de lo contrario no es posible medir el impacto.
El modelo compara la situacin en que se encontraban los dos grupos en la
lnea de base (L B), con la situacin en la lnea de comparacin (L C). A
partir de ello se verifican los cambios generados por el proyecto.Se debe analizar nicamente una variable (objetivo) a la vez y
mantener las otras constantes.
El modelo cuasiexperimental.
La lgica de este modelo es idntica a la del experimental clsico. Se
efectan mediciones en las lneas de base (LB) y de comparacin (LC) y
luego se comparan las diferencias. La distincin radica en que la
pertenencia al grupo con o sin proyecto no se determina aleatoriamente.
La seleccin se realiza en funcin de las variables de mayor relevancia
en relacin al objetivo de impacto perseguido.
Dado que no es aleatoria la seleccin de los grupos en la LB, es posible
que se presenten diferencias entre X e Y. El modelo asume que dichas
diferencias son estables en el tiempo, por lo que (X' - X) - (Y' - Y) es un buen
estimador del impacto neto.
Este modelo es til cuando se desea evaluar un proyecto durante su
operacin y ya se han elegido los "beneficiarios" y los "no beneficiarios".
Si se quiere evaluar un programa de alimentacin escolar que est en
funcionamiento, se pueden comparar los nios que asisten a los comedoresescolares con los que, teniendo las mismas caractersticas de dficit
nutricional y nivel socio-econmico, no asisten, sea por automarginacin,
sea porque en su escuela no opera el programa.
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
30/33
Modelos no experimentales.
Estos modelos se aplican cuando la poblacin objetivo no puede ser
comparada con un grupo de control. Vale decir, que se considera slo lapoblacin beneficiaria del proyecto, lo que impide controlar la incidencia de
variables exgenas.
Los modelos no experimentales utilizados con mayor frecuencia son:
a. Modelo antes-despus (sin grupo de comparacin). Se efecta
una medicin "antes" que el proyecto sea implementado (LB) y se
comparan los valores obtenidos con los resultados derivados de
levantar una lnea de comparacin, "durante" la operacin o
"despus" que el proyecto ha concluido.
Este diseo no permite eliminar el efecto del contexto y, por tanto,
tampoco es posible determinar en qu medida los cambios registrados
son imputables al proyecto.
Es posible aumentar la confiabilidad de la estimacin a travs de la
incorporacin de variables de control. Es decir, hacer que los dos grupos
sean los ms parecidos posible en todas las variables externas al proyecto
que pudieran incidir en el impacto
b. Series temporales. Si se cuenta con informacin sobreindicadores de cambio en un conjunto de perodos previos y
posteriores al proyecto, es posible hacer un anlisis de series
temporales, para extraer conclusiones sobre los efectos imputables al
mismo. Para ello, se construyen curvas sobre la base de mediciones
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
31/33
I
peridicas efectuadas "antes", "durante" y "despus" de la realizacin
del proyecto. Segn las formas que stas adopten se trata de
determinar la magnitud del impacto que el proyecto produjo.
En trminos estrictos, con este modelo no es posible aislar losefectos imputables al proyecto. Es el clsico problema de establecer la
causalidad sin disponer de instrumentos que controlen los diferentes tipos
de variables que la afectan. En el caso 3, sin embargo, cabe asumir que el
proyecto es la causa del impacto porque ni antes ni despus del proyecto
se produjeron cambios, pero no se prueba que el impacto no haya sido
producido por una o ms variables exgenas.
c. Modelo slo despus con grupo de comparacin. En ocasiones,
es posible definir un grupo de control, que permite la comparacin
de los resultados del proyecto ("despus"), sin que sea posible
contar con informacin sobre la lnea de base.
Calcular la relacin Costo-Impacto
El ltimo componente de la evaluacin ex-post es calcular el costo por
unidad de impacto real (CUIr), dividiendo los costos reales (Cr) por los
impactos alcanzadosIr.
Para hacer un anlisis intra-proyecto, se comparan los resultados con las
estimaciones realizadas durante la evaluacin ex-ante. Esto permite medir el
grado en que dichas estimaciones se adecuaron a la realidad y las razones de
las diferencias encontradas.
Cuando se analiza un proyecto cuya evaluacin ex-ante incluy varias
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
32/33
alternativas, tambin es posible comparar el CUIr con estas, lo que
permite determinar si la alternativa seleccionada (con sus costos e impacto
reales) era la ptima. Para una adecuada comparacin, es preciso ajustar los
costos e impacto de las otras alternativas propuestas, a la luz de lainformacin que entrega el mismo proyecto.
Informes
Terminada la evaluacin, sus resultados deben ser distribuidos al interior
de la organizacin de manera de analizarlos y hacer las correccionesnecesarias en la gestin para mejorar la eficiencia y el impacto, o, si los
resultados son irreversiblemente negativos, decidir el cierre del programa o
proyecto.
Los resultados de la evaluacin de impacto se pueden informar de
manera anloga a los de monitoreo.
BIBLIOGRAFIA
8/6/2019 Trabajo de Evaluacion de Programa Sociales 12
33/33
BARRANTES, Cesar (1990), "Acerca de Polticas Sociales. Notas para su
Discusin", CENDES # 13 14. Caracas, Venezuela.
CLAD (1989), "Planificacin Estratgica ", CLAD. Venezuela
Fotocopiado. Caracas Venezuela.
COHEN Ernesto (1993), "Evaluacin de Programas Sociales", FEGS.
Venezuela.
MUSTO Stefan (1975) " Anlisis de Eficiencia, Metodologa de Evaluacin
de Programas sociales de Desarrollo" Editorial Tcnos Madrid Espaa.
SULBRANT Jos (1993), "La Evaluacin de Programas Sociales. Una
Crtica de los Modelos Usuales" en Kliksberg Bernardo (compilador)
Pobreza. Un Tema Impostergable, F.C.E. Mxico