Trabajo de Evaluacion de Programa Sociales 12

8/6/2019 Trabajo de Evaluacion de Programa Sociales 12

1/33

INDICECONTENIDO PAGNAIntroduccin 1

Evaluacin ex ante 2Calcular los costo 2Costo de capital 3

Costo de mantenimiento 3Costo de operacin 3Costo adicionales de los usuarios 4Programacin 5

Disear los procesos 5

El mapa de procesos6

Descripcin por proceso 7Hacer el cronograma y ruta crtica 8

Disear la estructura organizacional 8Calcular los insumos 10Disear el modelo de focalizacin 12Programar el monitoreo y la evaluacin ex post 13

Elaborar el presupuesto 13Monitoreo 14

Disear el plan de monitoreo 16Los destinatarios y la informacin 16

Los indicadores 17Implementacin el monitoreo 18

Analizar los resultados 19Los informes 23

Evaluacin ex post 24Calcular los costo reales del proyecto 25

Medir los impactos logrados 26Calcular la relacin costo- impacto 29Informes 30Bibliografa


2/33

INTRODUCCIN

En Venezuela, donde existe una fuerte y seria restriccin en el gasto social

pblico, un gerente social no puede permitirse malgastar dinero en un

programa inadecuado, mal orientado o que no cumpla sus objetivos y metas.

Para evitar que esto suceda, el gerente social o el llamado "Policy Maker"

debern contar con un mnimo de informacin confiable acerca del nivel de

funcionamiento del programa que dirige para as tomar las decisiones o

correcciones respectivas y prevenir el mal gasto de recursos en un programa

social poco eficiente.

De otra parte, el gerente social debe saber si funciona bien su programa, por


3/33

que funciona bien, si hay alternativas para maximizar ese funcionamiento

positivo si funciona mal, a que se debe y cuales son los correctivos

necesarios para optimizar el funcionamiento del programa (reducir la

incertidumbre de los resultados) y por ende maximizar los recursos invertidos.En todo caso, el gerente social debe preguntarse o se debera preguntar, Tiene

un determinado programa social el efecto que se quiere que tenga? Los

recursos empleados en el programa corresponden a la cantidad de

mejoramiento (beneficio) obtenido?, Debern reformarse los recursos o

reformarse los procedimientos para optimizar el programa? Conque

herramienta cuento para analizar el programa que dirijo? Cmo puedo

obtener informacin para agilizar las decisiones sobre el programa?.

Como respuesta a estas interrogantes realizaremos, en este trabajo, una

aproximacin conceptual y metodolgica de los tipos de evaluacin que

comnmente se aplican en las ciencias sociales. De igual forma se determinara

la importancia que tiene la evaluacin como fuente de informacin sobre los

procesos de toma de decisin de la gerencia social.

EVALUACIN EX-ANTE

Definidas las alternativas de proyecto, estas deben ser evaluadas para

seleccionar la que presenta una mejor relacin entre los costos de su

implementacin y el impacto estimado.

El Anlisis Costo-Impacto (ACI) es la metodologa que permite

seleccionar la alternativa que maximiza el impacto al menor costo posible,en otras palabras, escoger la opcin que presenta el menor costo por unidad

de impacto. Por consiguiente requiere el anlisis de costos y del impacto

Ambos presentan diferencias de operacionalizacin segn la naturaleza

del proyecto.


4/33

En un programa que incluye un conjunto de pequeos proyectos con una

sola alternativa, que comparten los objetivos de impacto y la poblacin

objetivo.

En programas en los que concursan pequeos proyectos con diferenciasde poblacin objetivo y/u objetivos de impacto, la evaluacin se debe

complementar con un anlisis multicriterio.

Calcular los costos (anlisis de la eficiencia)

Los costos de un proyecto aluden al valor econmico de cada uno de

los bienes y servicios utilizados, independientemente de quin afronte su

financiamiento. No se debe confundir costo con egreso.

En cada alternativa se deben identificar los costos relevantes que se

deben afrontar durante la vida del proyecto.

Para evaluar proyectos grandes (tipo a) hay que identificar los factores

diferenciales (aquellos que implican mayores o menores costos). Es posible

que existan actividades comunes (como el desarrollo e implementacin de

un sistema de monitoreo), que, por lo mismo, no contribuyen a la toma

decisiones, por lo que es preferible posponer su estudio para la fase de

Programacin. En proyectos pequeos (b y c) se deben considerar todos los

costos.

Los costos pueden clasificarse en:

*Costos de capital: son los que se deben afrontar para adquirir bienes

cuya duracin en el proyecto (vida til) es superior a un ao.

Normalmente, el desembolso debe hacerse durante la ejecucin (inversin)

para que puedan ser utilizados en la operacin. Si es necesario reponer dichos


5/33

bienes o realizar ampliaciones, tales erogaciones tambin forman parte de los

costos de capital. Estos siempre se consignan en el perodo anterior a su

utilizacin.

Los costos de capital ms comunes en los proyectos sociales son los deterreno, construccin, equipamiento e inversiones complementarias.

*Costos de mantenimiento: son los requeridos para mantener el

estndar de calidad y volumen de produccin de los bienes de capital

(equipos, edificios, etc.).

Normalmente, se calculan como una proporcin de los costos de capital

del proyecto para cada perodo.

* Costos de operacin: se derivan de la compra de bienes y/o

servicios cuya vida til es inferior a un ao.

En los costos de operacin se distinguen los:

a) Directos: Derivados de los insumos y personal imprescindibles

para la realizacin del proyecto. Forman parte de los procesos

principales (en el proyecto atencin primaria de salud seran las

enfermeras, paramdicos, frmacos, etc.).

b) Indirectos: No son imprescindibles pero permiten aumentar la

eficiencia. Forman parte de los procesos de apoyo (en el mismo

proyecto, seran la supervisin, capacitacin, etc.).

*Costos adicionales de los usuarios: En los proyectos sociales es

necesario tener en cuenta los costos en que debe incurrir la poblacin objetivo

para recibir los productos del proyecto. Normalmente, estos son los costos de

movilizacin y el valor del tiempo de traslado y de espera (medida en horas


6/33

hombre, dividiendo el sueldo mnimo mensual por 240 horas/mes).

Siempre se deben considerar los costos de oportunidad. Las donaciones

y el trabajo voluntario, que son gratuitos, implican costos econmicamentecuantificables. Si no se los incluye como tales, se asume que los recursos

aportados son infinitos. Dichos costos deben imputarse en los costos de capital

o de operacin, segn sea el caso.

Los recursos financieros utilizados en el proyecto tienen un costo de

oportunidad calculado en base a lo que podran rendir si se los destinara a

inversiones alternativas (depsitos, acciones u otro tipo de proyectos).

Mientras mayor es el horizonte del proyecto, mayor es su importancia.

Normalmente, en los proyectos sociales, este costo se traduce en una tasa de

descuento de 12% anual.

Hay que tomar en cuenta slo los costos relevantes. Los egresos menores

(como tiles de oficina) se deben agrupar en rubros genricos.

Los costos se deben imputar a precios de mercado, en el lugar del

proyecto. Esto elimina la necesidad de realizar estimaciones sobre la inflacin

futura.

Los precios de mercado debe ser transformados en precios sombra,

que eliminan las distorsiones originadas por los impuestos y subsidios.

La evaluacin ex-ante se realiza utilizando los costos de oportunidad, pero

para elaborar el presupuesto de la alternativa seleccionada (en la etapa de la

programacin) se deben considerar

PROGRAMACIN

Una vez seleccionada la alternativa a implementar, como resultado de la


7/33

evaluacin ex- ante, es necesario detallar los distintos componentes del

proyecto. Esto implica describir los procesos requeridos para lograr los

objetivos de producto propuestos, con sus respectivas actividades e

insumos, as como el cronograma, estructura organizacional, requerimientosde informacin, planes de monitoreo y evaluacin ex-post, presupuesto y plan

de financiamiento.

En esta etapa es preciso incorporar t odos los de costos, para permitir una

adecuada implementacin y monitoreo de las actividades y procesos

involucrados.

El trabajo requerido en la programacin depende de la profundidad con

que se hayan realizado las etapas anteriores. A mayor exhaustividad en la

formulacin y evaluacin ex-ante, menor es la cantidad de tareas a realizar en

la programacin y viceversa.

Los componentes de la programacin son:

Disear los procesos

Como se indica en el captulo III, un proceso es una serie de

actividades lgicamente relacionadas que utilizan insumos (personas,

procedimientos, mquinas, materiales) para producir un resultado.

Se comienza con una descripcin de los procesos principales y de apoyo.

Los principales son imprescindibles para la produccin y distribucin de los

productos, permiten agregar valor a los insumos y alcanzar los objetivos de

producto e impacto perseguidos (forman la cadena de valor). Los de apoyo,

posibilitan dar mayor calidad a la gestin, incrementando su eficiencia yeficacia.

El mapa de procesos.

Es un diagrama de bloques donde cada uno representa un proceso. Se

conectan a travs de flechas que reflejan el sentido de la relacin que los


8/33

vincula. Permite visualizar el conjunto, sus interrelaciones y la cadena de

valor.

Para elaborar el diagrama, se debe:

a. hacer un listado exhaustivo de los principales procesos requeridos parala produccin y distribucin de los productos (por ejemplo: diseo

de obra, compra de insumos, ejecucin, contratacin de

profesionales y tcnicos, capacitacin de operadores, identificacin

e incorporacin de beneficiarios, diagnstico y entrega de servicios,

etc.),

b. listar los procesos de apoyo (como difusin, contabilidad,

supervisin de obras, monitoreo de gestin, evaluacin de impactos),

c. definir el o los objetivos de cada proceso, qu se pretende obtener

con cada uno y para qu, sus caractersticas cualitativas y las metas por

perodo,

d. cuantificar el tiempo que requiere cada proceso, especificando si es

implementado slo una vez, si es repetitivo o permanente,

e. elaborar la matriz de programacin, incorporando la informacin

anterior a la alternativa seleccionada (construida durante la

formulacin).

As como cada objetivo de impacto puede requerir de un conjunto de

productos, un objetivo de producto es el resultado de uno o ms procesos y

actividades.Los objetivos de proceso, al igual que los de producto, son necesarios

para el monitoreo. Slo as es posible determinar si se estn realizando todas

las acciones requeridas para lograr los productos programados.

La forma ms eficiente de programar la alternativa elegida requiere la


9/33

participacin de los principales actores que intervendrn en la operacin del

proyecto.

Descripcin por proceso.

La informacin del punto anterior debe detallarse en cada proceso,

identificando y describiendo sus actividades y caractersticas Adems de los

objetivos, metas, indicadores y fuentes de verificacin, en cada proceso se

debe:

a) listar todas las actividades y subprocesos internos requeridos para

alcanzar los resultados esperados,

b) especificar los objetivos y metas por actividad, considerando

indicadores de cantidad, tiempo y estndar de calidad (no siempre es

necesario contar con estimaciones de metas en todas las

dimensiones),

c) identificar a los responsables de las actividades,

d) incorporar la informacin de actividades de cada proceso a la matriz

de programacin.

La descripcin de los procesos de un proyecto se sistematiza en un

manual de procedimientos que se debe utilizarse como gua para la operacin.

Hacer el cronograma y ruta crtica

El cronograma o Carta Gantt es una representacin grfica de la


10/33

informacin sobre los tiempos que demanda cada actividad y proceso

durante la ejecucin y operacin. Dependiendo de su cantidad, se puede

trabajar con una versin global (acumulativa) y otras detalladas (por

proceso).Para implementar estos procedimientos se cuenta con instrumental

tecnolgico y computacional que permite identificar en el mismo

cronograma las actividades de la ruta crtica.

Disear la estructura organizacional

Considerando las caractersticas de los procesos, actividades, poblacin

objetivo y el marco institucional, es necesario definir las caractersticas de la

estructura organizacional requerida para dar cuenta de los objetivos del

proyecto.

No existe un nico modelo de organizacin vlido para todas las

situaciones, sino distintas opciones que cambian segn los parmetros deldiseo y el contexto.

Dos variables centrales para definir la estructura son:

i. El grado de estandarizacin del producto: Un producto

es estandarizado cuando es el resultado de un proceso de produccin

y/o distribucin (interno o externo) que responde a patrones

normalizados.

Las raciones alimentarias de un Programa nutricional son un

ejemplo de producto estandarizado, en tanto tengan la misma


11/33

cantidad de kilocaloras y protenas. En cambio, los tratamientos

recetados en un centro de salud son un ejemplo de productos no

estandarizados.

ii. El grado de homogeneidad de la poblacin objetivo: Es

funcin del nivel de semejanza en las variables pertinentes que

afectan a los objetivos de impacto del Programa.

La poblacin de nios entre 4 y 6 aos en un programa de

vacunacin es un ejemplo de poblacin homognea. Los

beneficiarios de un programa de capacitacin tienen distintas

necesidades econmicas, historia laboral y habilidades, lo que los

hace diferenciarse en relacin a sus requerimientos de

capacitacin.

Mientras menos estandarizado es el producto y ms heterognea

es la poblacin objetivo, la organizacin debe ser ms adaptativa,

otorgando mayor autonoma de decisin a los encargados de los

procesos. En estos casos, adquiere mayor relevancia la

descentralizacin, la externalizacin de servicios y la coordinacin

horizontal.

Cuando los productos son estandarizados y la poblacin es

homognea se puede tener una estructura ms vertical, de tipo

burocrtico, con centralizacin de las decisiones en los niveles

superiores.Cuando se tiene una estructura con funciones descentralizadas oexternalizadas, la estructuradel programa o proyecto las incluye,

manteniendo su autoridad y, por tanto, su necesidad de supervisin.

Para esquematizar la estructura organizacional se utiliza el


12/33

organigrama, que resume grficamente sus unidades y relaciones

La estructura organizacional debe incluir el siguiente detalle:

i. Personal. Descripcin de los cargos y el nivel de formacin,

proceso de reclutamiento, seleccin y capacitacin.

ii.Comunicaciones. Manera en que se organiza la comunicacin

entre las unidades: horizontal (entre posiciones iguales) o vertical

(rangos diferentes).

iii. Autoridad. Niveles jerrquicos, con sus facultades de decisin

y mando, as como las obligaciones de los subordinados.iv. Tramo de control. Nmero de subordinados a cargo de cada

actor.

Calcular los insumos

Para implementar los procesos y actividades, se requiere especificarcuantitativa y cualitativamente los insumos (recursos humanos, materiales

y financieros) segn las relaciones insumo/producto que derivan de la

tecnologa utilizada. Esta informacin surge de la formulacin, las

estimaciones realizadas para la evaluacin ex-ante y el detalle de las

actividades del cronograma.

Hay recursos que pueden servir para ms de una actividad o proceso

y stos suelen requerir ms de un recurso para su implementacin.

Los recursos humanos hacen referencia a las caractersticas de los

profesionales y tcnicos requeridos. Hay que contar con los perfiles de

cargo definidos y la cantidad de personas necesarias para cumplir con


13/33

las metas establecidas. De esta manera es posible definir las

caractersticas de quienes, cuantos y durante qu tiempo deben llevar a

cabo las tareas programadas.

En el ejemplo, el proceso de atencin a pacientes de un consultorio,requerir de una cantidad definida de mdicos generales y especialistas,

enfermeros, personal administrativo y de limpieza, etc., de acuerdo a la

cantidad de personas que se atienden diariamente.

Los insumos materiales son la infraestructura, equipos y materias primas

que permiten a los recursos humanos implementar las actividades de cada

proceso. La atencin del consultorio requerir cantidades especficas

(definidas por las relaciones insumo/producto) de: salas de atencin,

balanzas, termmetros, medicamentos e instrumentos de diagnstico e

intervencin.

Los recursos financieros son los montos de dinero que se requieren para

contar con los insumos materiales y los recursos humanos.

Lo anterior permite determinar cundo se requiere cada insumo y los

recursos monetarios implicados, segn el plan de produccin definido.

El anlisis conjunto de los recursos involucrados por proceso y unidad de

gestin permite generar la informacin necesaria para optimizar su uso (para

alcanzar la mxima productividad por unidad de tiempo) y confeccionar el

presupuesto global y segn los productos y procesos involucrados.

Hay dos herramientas tiles para realizar dicha labor:

a. Esquema de procesos y estructura. La interseccin de ambos

componentes del modelo de gestin, permite cuantificar la

cantidad de actividades que debiera realizar cada unidad de gestin

y la intensidad de uso de los insumos requeridos, analizar el flujo de


14/33

informacin entre unidades y las opciones de racionalizacin viables.

b. Esquema de cronograma y recursos: Sirve para determinar los

momentos en que se requieren los recursos, evidenciar los problemas

de simultaneidad de actividades realizadas por cada unidad de gestiny analizar posibles reordenamientos de los recursos. Esto ltimo,

facilita la gestin de los recursos involucrados y disminuye costos

operacionales (asociados a los movimientos de contratacin y

despidos, uso de infraestructura y manejo de volmenes de los insumos

fsicos y financieros).

Disear el modelo de Focalizacin

De acuerdo a las caractersticas de la poblacin objetivo, se deben definir

los procedimientos necesarios para que pueda acceder a los productos,

minimizando los errores de inclusin y exclusin

Cuando los productos ofrecidos slo satisfacen necesidades especficas de

la poblacin destinataria, se puede utilizar la autofocalizacin, bajo el

supuesto de que la poblacin no objetivo se automarginar. En dicho caso

habr que poner nfasis en minimizar el error de exclusin a travs de la

promocin.

Si los productos son atractivos para otros, ser necesario establecer un

sistema de seleccin de beneficiarios (a travs de la solicitud de

documentos, cuestionarios, entrevistas u otros) que permitan asegurar que sebeneficiar slo a los miembros de la poblacin definida en el diagnstico.

Hay que recordar que si focalizar es ms caro que distribuir los productos

universalmente, es preferible no hacerlo.


15/33

Programar el monitoreo y la evaluacin ex-post

Se debe establecer un plan bsico de las caractersticas y momentos en

que se requiere informacin del monitoreo y la evaluacin expost para quelos resultados de su anlisis sean tiles a la toma de decisiones.

Los procesos, actividades y productos son los elementos centrales en la

programacin del monitoreo.

Las evaluaciones ex-post deben programarse para cuando se espera que

aparezcan los impactos. No se deben definir de manera genrica,

porque los tiempos de maduracin dependen de las caractersticas de la

poblacin objetivo, la lnea de base, el tipo de objetivos de impacto y de la

cantidad y calidad de los productos que se entrega para lograrlos

Elaborar el presupuesto

Es el desglose de los recursos financieros requeridos por perodo de

ejecucin y operacin. Su estructura es similar a la del flujo, pero

incluyendo a todos los costos y no slo los diferenciales. En el ejemplo se

observan nuevos costos (derivados del anlisis y reingeniera del modelo de

gestin y el diseo e implementacin del modelo de monitoreo y

evaluacin).En el presupuesto (a diferencia del flujo) no se consignan los ingresos

por recuperacin de activos. Estos se identifican en las fuentes de

financiamiento.

El presupuesto se debe complementar con un detalle de las fuentes de


16/33

financiamiento. Este debe incluir las donaciones (en dinero y bienes) as

como el costo alternativo del trabajo voluntario, de los beneficiarios y

otros agentes.

MONITOREO

Se realiza durante los estados de inversin y operacin de los programas

y proyectos, con el objetivo de conocer los resultados de la gestin y definir la

reprogramacin requerida.

Tradicionalmente, el objetivo del monitoreo ha estado centrado en la

identificacin de los desvos existentes respecto a lo programado, haciendo

un anlisis intra proyecto (longitudinal). Para ello, se toma al programa o

plan de produccin como el patrn de comparacin y se restringe al control

fsico y financiero.

La comparacin entre lo programado y lo realizado slo es vlida si

existe una formulacin adecuada, que permita una programacin realista e

idnea de los diferentes productos, procesos, actividades e insumos

requeridos en la operacin. Si la programacin de un proyecto es arbitraria,

monitorear no tiene sentido. (Cohen, 1996). En este contexto, la

formulacin, programacin y monitoreo estn estrechamente vinculados.

La programacin no siempre es confiable y cuando hay ms de un

ejecutor o proyecto, adems de considerar el contraste respecto a la

programacin, el monitoreo tambin debe comparar los indicadores deresultado de cada uno.

Para cada indicador de gestin es posible realizar un anlisis entre

proyectos (transversal), con el objeto de comparar los resultados de

distintas unidades ejecutoras (o de proyectos) con similares caractersticas.


17/33

Se busca generar un aprendizaje conjunto (para todo un programa) a partir

de los xitos y fracasos especficos (de cada proyecto).

Entre las principales razones de fracaso de los proyectos resaltan: errores de diseo: originados por la inexistencia o mala estimacin

de las metas; poca claridad o mala organizacin de los procesos y/o

actividades; poca congruencia entre las actividades programadas y la

estructura organizacional.

fallas de implementacin: falta de cumplimiento de lo programado

(procesos, actividades, estructura) por parte de quienes estn a cargo de

la operacin.

factores externos: incumplimiento de los supuestos o surgimiento

de elementos contextuales nuevos e impredecibles que modifican el

escenario en que se implementa el proyecto.

Las actividades del monitoreo deben programarse con anterioridad a la

ejecucin y operacin, a objeto de minimizar las dificultades prcticas y

maximizar su utilidad.

Disear el plan de Monitoreo

Esta es la primera actividad a realizar, que debe responder a las siguientespreguntas:

- Quines son los destinatarios de la informacin que proporciona el

monitoreo?


18/33

- Qu informacin requieren dichos destinatarios?

- Qu indicadores se deben considerar?

- Qu instrumentos hay que utilizar?

- Con qu periodicidad?- Qu nivel de precisin es requerido?

- Cules y cuntas unidades hay que observar cada vez (actores,

beneficiarios, ejecutores)?

- Qu tipo de informes se requieren?

- Cmo se deben procesar los datos?

Los destinatarios y la informacin

Los usuarios del monitoreo deben definir los requisitos del plan en base a

sus necesidades.

Se pueden identificar distintos tipos de destinatarios:

A. Los ac t o r es in t e r nos de la estructura organizacional. Se deben

seleccionar a los que toman las decisiones ms relevantes en los

procesos. Utilizando los mapas de procesos y su articulacin con la

estructura, se deben identificar las actividades crticas, que en el

caso de presentar desvos afectan fuertemente el resultado general.

Quienes estn a cargo de tales actividades son los destinatarios

internos naturales.

B. Los ac t o r es e x t e r no s : pertenecen a las instituciones en las queest inserto el programa, a quienes se les debe rendir cuenta por

razones contractuales, financieras o de dependencia jerrquica

(Ministerios, Bancos Contralora, Fundaciones).

C. La poblacin obj e tiv o: debe ser informada sobre la gestin, para


19/33

tener una opinin informada sobre su funcionamiento y canalizar sus

inquietudes, propuestas y necesidades y as contribuir a los objetivos

perseguidos.

D. La sociedad ci v il: que demanda conocer sobre la gestin de losprogramas sociales prioritarios.

Los destinatarios tienen distintos requerimientos de informacin. Mientras

ms involucrados estn en la gestin, mayor es el nivel de detalle necesario.

Los actores externos y la sociedad civil demandan informacin ms agregada

y menos frecuente.

Los indicadores

La seleccin de indicadores es central en el monitoreo. Estos deben

elegirse estratgicamente, para contar con una cantidad reducida, fcil de

medir y confiable, que garantice la informacin requerida para la toma de

decisiones. Para ello, hay que identificar las actividades crticas de los

procesos programados y las necesidades especficas de los destinatarios de

la informacin. No obstante, existe un conjunto de indicadores que

siempre deben ser considerados en el monitoreo:

Implementacin el monitoreo

Para la recoleccin, registro y procesamiento de la informacin del

monitoreo se requiere un plan con la flexibilidad suficiente como para

afrontar los imprevistos que se pudieran presentar.


20/33

Es importante tomar en cuenta:

a. Sensibilizar a los encargados del registro de la informacin sobre

su utilidad y la importancia de seguir los procedimientos diseados.

Para ello, es conveniente transmitir a todos el uso que se har de lamisma. Cuando no se sabe para qu se recoge la informacin y no se

retroalimenta la actividad, disminuye el compromiso y baja la

confiabilidad de los resultados obtenidos.

b. Los instrumentos, formas de registro y procesamiento de los

datos deben ser estables para mantener su comparabilidad. Si se

requieren cambios, se los debe hacer planificadamente, con una fase

de prueba en que operen en paralelo las tcnicas preexistentes y las

nuevas.

c. En el procesamiento de datos es importante tener presente el

diseo muestral al segmentar la informacin (de manera geogrfica,

etaria, sectorial, etc.). Cada subdivisin adicional de la muestra

incrementa su error de estimacin, por lo que se deben sopesar los

beneficios de tener informacin ms detallada con los costos de su

menor confiabilidad.

d. Si existe factibilidad tcnica y econmica, utilizar sistemas

informticos para el registro y transmisin de la informacin

(tecnologas de redes locales, internet y correo electrnico), se

disminuyen considerablemente los errores de manipulacin.

e. Cuando se trabaja en un programa que tiene varias entidadesejecutoras, es conveniente contar con una estructura de

supervisin independiente de la operativa.

f. Es aconsejable conformar grupos de supervisores por zonas

geogrficas, con distintos tipos de proyectos, viabilizando la rotacin


21/33

del supervisor por los proyectos. Esto permite la suficiente cercana

como para conocer los proyectos y la distancia necesaria para limitar

un excesivo involucramiento en la gestin diaria.

g. En los programas con productos de distintos sectores, lasupervisin debe ser multidisciplinaria.

h. Para las salidas a terreno es necesario que los supervisores

cuenten con una gua de registro de datos que consigne actividades,

indicadores, unidades de registro y recomendaciones (o informacin

que requiere especial atencin).

Analizar los resultados

Existen variados instrumentos y coeficientes estadsticos que facilitan

este trabajo. Su utilizacin depender de las caractersticas de cada

indicador y de la profundidad del anlisis que se desea realizar.

Para el estudio intraproyecto se requieren tres tipos de anlisis:

- Comparar lo realizado respecto a lo programado. Consiste en

cuantificar la diferencia y analizar sus causas. Los desvos pueden

deberse a problemas en el diseo, fallas en la operacin y/o cambios en

el contexto.

- Comparar los resultados de distintos perodos. Es la

construccin de una serie histrica con los datos correspondientes acada perodo de la gestin. Permite identificar las variaciones entre

perodos para analizar posibles causas o estacionalidades en la gestin.

- Estimar los resultados futuros. En la medida que se tiene una

serie de tiempo suficientemente grande y con regularidad, es posible


22/33

utilizar modelo de regresin para estimar los resultados de los futuros

perodos de gestin.

- El estudio comparativo de los resultados entre proyectos

requiere las siguientes herramientas:

a Medidas de tendencia de central y posicin: La moda, mediana y media

son de gran utilidad para tener una mirada conjunta de los resultados de

proyectos, permitiendo a su vez compararlos por perodo de tiempo. Los

fractiles (percentiles, deciles, quintiles, cuartiles, terciles, etc.) facilitan

identificar los agrupamientos que se generan y hacer anlisis especficos.

- La moda, al identificar el valor con mayor frecuencia, da una

indicacin del resultado particular ms comn (en el pasado) y ms

probable (en el futuro).

- La mediana, al mostrar el valor en que la distribucin se divide

en dos grupos iguales, muestra el centro de los proyectos.

- La media permite centrar la mirada en el centro de la

distribucin real de los datos. Si hay alta dispersin, con pocos casos

muy distantes, esta se desplazar notablemente de la mediana.

- Los fractiles facilitan identificar grupos de casos segn su

posicin en la distribucin y conocer los valores de corte relevantes.

C Distribucin de frecuencias. Sirve para ver la forma en que se

distribuyen los proyectos en relacin al indicador que se analiza. Suidentificacin supone elaborar un histograma con las frecuencias de los

resultados de los distintos proyectos y ajustar una distribucin de

probabilidad que permita conocer su variabilidad.

Las distribuciones de frecuencias pueden presentar distintas formas, segn


23/33

el tipo de indicador. Para indicadores dicotmicos est la binomial. Para

discretos y continuos se pueden ajustar: la normal, t de Student, chi cuadrado,

triangular y rectangular.

- Binomial: Presenta dos grupos de proyectos, los exitosos (p) y

los fracasados (q). En la grfica, cada barra refleja la cantidad o

proporcin de proyectos p o q. La comparacin de sus alturas

permite una visualizar el xito relativo del programa.

- Normal: Es una distribucin simtrica, con la moda, la

media y la mediana coincidentes ubicadas en el centro. En torno al

promedio hay un gran grupo de proyectos con resultados similares,

con igual cantidad de casos positivos y negativos.

- Cuando se tienen pocos casos, la distribucin ms adecuada es

la t de Student, que presenta caractersticas similares a la normal pero

que vara su forma segn la cantidad de casos analizados (grados de

libertad).

Los proyectos se pueden clasificar en tres

grupos:

- xito: significativamente mejor que el promedio. De ellos se

debe aprender y difundir sus buenas prcticas a los dems.

- Fracaso: resultado mucho peor que el promedio. En ellos hay

que identificar las causas de los errores para no repetirlos y

corregir la gestin, o cerrar el proyecto.- Promedio: aquellos que se ubican en torno a la media. Estos

deben analizar las buenas y malas prcticas de los dems a objeto de

mejorar su desempeo y prevenir posibles fracasos.


24/33

Cuando se analizan variables cuyo ptimo es la minimizacin (como

ocurre con los costos, el tiempo, cantidad de insumos, etc.) el xito se

ubica en el extremo izquierdo de la curva y el fracaso en el derecho.

Cuando el ptimo es la maximizacin (como en la focalizacin y lacobertura) la ubicacin del xito y fracaso se invierte.

Chi cuadrado: Tiene una distribucin asimtrica, en que los

proyectos se agrupan ms hacia el lado izquierdo. El promedio se ubica

sobre la mediana, lo que indica que en los valores inferiores hay una mayor

cantidad de casos, que a su vez estn concentrados. En el sector alto de la

distribucin ocurre lo contrario, en l se ubican casos que se diferencian

significativamente del grupo anterior. Tringulo rectngulo: Se produce

cuando la moda se ubica en uno de los extremos de la distribucin (el

mnimo o el mximo), con frecuencias descendientes hacia el lado opuesto.

En este lado se ubican casos que se diferencian significativamente del grupo.

Rectangular: Es el caso en que los proyectos se distribuyen de

manera homognea, por lo que los resultados son sumamente variables,

y no se pueden sacar conclusiones. La moda aporta poca informacin y la

media y la mediana se ubican en el centro.

Los informes

La publicacin de la informacin recolectada debe ser funcional para

sus usuarios. Se deben incluir hiptesis y/o sugerencias que permitan una

adecuada interpretacin de los hechos observados.


25/33

Los informes pueden ser:

a. Desc r ip t iv os o co m pa r a t iv os : los primeros slo muestran lo

observado en el proyecto en un momento dado, los segundos

analizan sus resultados en relacin a otros proyectos (transversal),al mismo proyecto en diferentes momentos (longitudinal) o al

contexto (poblacin general y sin proyecto).

b. Coy un t u r ales o acu m ula t iv os: los primeros se circunscriben al

momento del anlisis y los segundos utilizan series temporales.

c. Numricos og r f ico s :

Tablas de datos: Posibilitan contar con una imagen de los resultados de

cada indicador y cuantificar las diferencias existentes longitudinal o

transversalmente.

Grficos: Existe una gran variedad, que sirven para descripcin de una

variable o la comparacin e ilustracin de series. Son menos exactos pero

ms fciles de interpretar.

Los tipo pie y de barra son tiles para mostrar distribuciones de un

indicador y comparar resultados transversalmente. A continuacin se

presentan ejemplos de grficos distintos indicadores:

Cuando se cuenta con una gran cantidad de proyectos o de ejecutores

distintos, se puede ajustar distribuciones de probabilidad (como las indicadas

en el punto anterior).

Los grficos lineales permiten analizar series de tiempo y comparar

resultados. El espacio que se genera entre las lneas de lo programado (0)


26/33


27/33


28/33

poblacin objetivo (lnea de base) y otro de "comparacin" que es la

situacin existente despus de un tiempo de operacin del proyecto (lnea

de comparacin), eliminando (o tratando de minimizar) la incidencia de

factores externos.Los modelos para medir efectos e impactos son los mismos, slo cambian

los indicadores utilizados.

Existe una familia de modelos cuyo objetivo es medir el impacto. Entre

ellos es necesario mencionar:

Modelo experimental clsico.

Exige seleccionar aleatoriamente una muestra que se divide, tambin

aleatoriamente, en dos submuestras, el grupo con proyecto o poblacin

beneficiaria (grupo experimental) y el grupo sin proyecto (grupo de

control). Estas submuestras se seleccionan antes de iniciarse la operacin

del proyecto (en la situacin de lnea de base) y deben diferir slo en que la

primera recibe los bienes o servicios del proyecto y la segunda no.

Tomando en cuenta la seleccin aleatoria de ambos grupos, las

diferencias iniciales entre ellos, si las hay, debieran ser mnimas. Es

decir, entre X e Y no deben existir diferencias estadsticamente

significativas.

X - Y = 0 (diferencia no significativa)

Si las diferencias iniciales fueran estadsticamente significativas, es

necesario realizar una nueva seleccin o distribucin de la poblacin en cada


29/33

grupo, de lo contrario no es posible medir el impacto.

El modelo compara la situacin en que se encontraban los dos grupos en la

lnea de base (L B), con la situacin en la lnea de comparacin (L C). A

partir de ello se verifican los cambios generados por el proyecto.Se debe analizar nicamente una variable (objetivo) a la vez y

mantener las otras constantes.

El modelo cuasiexperimental.

La lgica de este modelo es idntica a la del experimental clsico. Se

efectan mediciones en las lneas de base (LB) y de comparacin (LC) y

luego se comparan las diferencias. La distincin radica en que la

pertenencia al grupo con o sin proyecto no se determina aleatoriamente.

La seleccin se realiza en funcin de las variables de mayor relevancia

en relacin al objetivo de impacto perseguido.

Dado que no es aleatoria la seleccin de los grupos en la LB, es posible

que se presenten diferencias entre X e Y. El modelo asume que dichas

diferencias son estables en el tiempo, por lo que (X' - X) - (Y' - Y) es un buen

estimador del impacto neto.

Este modelo es til cuando se desea evaluar un proyecto durante su

operacin y ya se han elegido los "beneficiarios" y los "no beneficiarios".

Si se quiere evaluar un programa de alimentacin escolar que est en

funcionamiento, se pueden comparar los nios que asisten a los comedoresescolares con los que, teniendo las mismas caractersticas de dficit

nutricional y nivel socio-econmico, no asisten, sea por automarginacin,

sea porque en su escuela no opera el programa.


30/33

Modelos no experimentales.

Estos modelos se aplican cuando la poblacin objetivo no puede ser

comparada con un grupo de control. Vale decir, que se considera slo lapoblacin beneficiaria del proyecto, lo que impide controlar la incidencia de

variables exgenas.

Los modelos no experimentales utilizados con mayor frecuencia son:

a. Modelo antes-despus (sin grupo de comparacin). Se efecta

una medicin "antes" que el proyecto sea implementado (LB) y se

comparan los valores obtenidos con los resultados derivados de

levantar una lnea de comparacin, "durante" la operacin o

"despus" que el proyecto ha concluido.

Este diseo no permite eliminar el efecto del contexto y, por tanto,

tampoco es posible determinar en qu medida los cambios registrados

son imputables al proyecto.

Es posible aumentar la confiabilidad de la estimacin a travs de la

incorporacin de variables de control. Es decir, hacer que los dos grupos

sean los ms parecidos posible en todas las variables externas al proyecto

que pudieran incidir en el impacto

b. Series temporales. Si se cuenta con informacin sobreindicadores de cambio en un conjunto de perodos previos y

posteriores al proyecto, es posible hacer un anlisis de series

temporales, para extraer conclusiones sobre los efectos imputables al

mismo. Para ello, se construyen curvas sobre la base de mediciones


31/33

I

peridicas efectuadas "antes", "durante" y "despus" de la realizacin

del proyecto. Segn las formas que stas adopten se trata de

determinar la magnitud del impacto que el proyecto produjo.

En trminos estrictos, con este modelo no es posible aislar losefectos imputables al proyecto. Es el clsico problema de establecer la

causalidad sin disponer de instrumentos que controlen los diferentes tipos

de variables que la afectan. En el caso 3, sin embargo, cabe asumir que el

proyecto es la causa del impacto porque ni antes ni despus del proyecto

se produjeron cambios, pero no se prueba que el impacto no haya sido

producido por una o ms variables exgenas.

c. Modelo slo despus con grupo de comparacin. En ocasiones,

es posible definir un grupo de control, que permite la comparacin

de los resultados del proyecto ("despus"), sin que sea posible

contar con informacin sobre la lnea de base.

Calcular la relacin Costo-Impacto

El ltimo componente de la evaluacin ex-post es calcular el costo por

unidad de impacto real (CUIr), dividiendo los costos reales (Cr) por los

impactos alcanzadosIr.

Para hacer un anlisis intra-proyecto, se comparan los resultados con las

estimaciones realizadas durante la evaluacin ex-ante. Esto permite medir el

grado en que dichas estimaciones se adecuaron a la realidad y las razones de

las diferencias encontradas.

Cuando se analiza un proyecto cuya evaluacin ex-ante incluy varias


32/33

alternativas, tambin es posible comparar el CUIr con estas, lo que

permite determinar si la alternativa seleccionada (con sus costos e impacto

reales) era la ptima. Para una adecuada comparacin, es preciso ajustar los

costos e impacto de las otras alternativas propuestas, a la luz de lainformacin que entrega el mismo proyecto.

Informes

Terminada la evaluacin, sus resultados deben ser distribuidos al interior

de la organizacin de manera de analizarlos y hacer las correccionesnecesarias en la gestin para mejorar la eficiencia y el impacto, o, si los

resultados son irreversiblemente negativos, decidir el cierre del programa o

proyecto.

Los resultados de la evaluacin de impacto se pueden informar de

manera anloga a los de monitoreo.

BIBLIOGRAFIA


33/33

BARRANTES, Cesar (1990), "Acerca de Polticas Sociales. Notas para su

Discusin", CENDES # 13 14. Caracas, Venezuela.

CLAD (1989), "Planificacin Estratgica ", CLAD. Venezuela

Fotocopiado. Caracas Venezuela.

COHEN Ernesto (1993), "Evaluacin de Programas Sociales", FEGS.

Venezuela.

MUSTO Stefan (1975) " Anlisis de Eficiencia, Metodologa de Evaluacin

de Programas sociales de Desarrollo" Editorial Tcnos Madrid Espaa.

SULBRANT Jos (1993), "La Evaluacin de Programas Sociales. Una

Crtica de los Modelos Usuales" en Kliksberg Bernardo (compilador)

Pobreza. Un Tema Impostergable, F.C.E. Mxico

Documents

Trabajo de Evaluacion de Programa Sociales 12