Upload
vuphuc
View
218
Download
0
Embed Size (px)
Citation preview
1
UNIVERSIDAD DE BELGRANOFacultad de Derecho y Ciencias Sociales
Facultad de Estudios para Graduados
Jornadas de reflexión académica “Ciudadanía y Calidad Democrática”Octubre de 2000.
CRITERIOS DE EVALUACIÓNDE PROGRAMAS
Autor: Dra. Gloria Edel Mendicoa∗∗
I. CONSIDERACIONES INTRODUCTORIAS
Nada debería ser más importante para políticos y planificadores sociales, que el momento de
detenerse para considerar los problemas que envuelven a la sociedad, y encontrar alternativas que
expliquen y den soluciones dignas y nobles.
La realidad social no es satisfactoria y la posibilidad de hacerle frente tiene cada vez más
restricciones, debido al crecimiento de las demandas - crecimiento de las carencias que generan
necesidades -. A su vez la incapacidad de ser resueltas por la libre y espontánea voluntad o
posibilidades de la comunidad, crece, a la par que crece también la misma incapacidad por parte del
Estado, lo que indica que ese déficit se transforma en el más claro indicador del deterioro de cuya
responsabilidad nadie puede excluirse.
Ante este diagnóstico que no se resuelve y sobre el que "se debe actuar" aparecen elementos que son
capaces de movilizar
• las capacidades desaprovechadas hasta ahora, representadas tanto por la comunidad y los
mismos programas en marcha - antiguos o nuevos - que desde cada sector desde donde se
∗∗
2
instrumenten apuntan a lo mismo, pero que al ser incompletos, a veces superpuestos y hasta
competitivos, fallan y no logran los niveles de cobertura y eficiencia necesaria y buscada; y,
• la conciencia sobre la necesidad de cambio que nos compromete, lo que se observa a través de
las experiencias de, a veces, quienes instrumentan las políticas y los reclamos de los destinatarios,
principalmente de esa multitud de desatendidos.
Lo más importante es que se hace necesario instalar un serio debate sobre el diseño del gastos
público, para que la inversión social deje de caer en términos porcentuales calculados sobre el total de
los recursos, todo ello como un medio de fortalecer el perfil social de las políticas públicas. Ante el
problema, la búsqueda de opciones es imprescindible, identificando oportunidades - aprovechando
recursos subutilizados -, ensayar nuevas estrategias que más que recursos presupuestarios, exigen
"inteligencia" concertada y aprovechamiento pleno de las capacidades.
Así la elaboración de bases metodológicas para la identificación de prioridades en todo el proceso de
gestión: investigación, diseño, instrumentación y evaluación. Detenidos en este último
aspecto, éste es uno de los momentos del proceso, que encuentra mayor complejidad; el que hace
que al final de cuentas el sentido de la política no encuentre cauce; es lo que evidencia que el proceso
de la planificación social en nuestros países haya sido débil y hasta inexistente.
También es, su recurrente omisión, no tener en cuenta que los "integrantes interrelacionados de toda
política son: la existencia de una situación problemática, para cuya modificación en el sentido
deseado se elige y efectúa un determinado curso de acción, que produce ciertos resultados más o
menos diferentes de los deseados y, en consecuencia, obliga a revisar el curso de acción elegido"
(Luis Aguilar Villanueva, 1991).
I.1..- Alcances y contenidos del tema
Por las razones expuestas, el criterio para elaborar esta propuesta ha motivado un conjunto de
interrogantes en la investigación sobre políticas sociales, ¿qué es lo que interesa conocer? ¿cuáles son
los aspectos cruciales de la Planificación de las Políticas? Es decir: hay que llegar a los aspectos
centrales de su contenido, poniendo atención a la política social y a su objeto de acción como un
sistema dinámico que responde a dos preguntas básicas: ¿Cómo actuar? y ¿con quién actuar?
El objeto de análisis es el programa y/o proyecto, y respecto a éstos, los resultados. Ello se
desprende del criterio que alude a la comparación que los beneficios y costos de una determinada
inversión pueda tener sobre el ámbito donde se implementa aquél.
En otras palabras: un programa y/o proyecto responde, es de suponer, a un conjunto de supuestos,
que son sujetos de medición previa a través de las variables que se detecten, las cuales en el proceso
planificador actuarán como determinantes, en el sentido de justificar la intervención, y los resultados
son los efectos que se persiguen para la intervención aludida.
No se desconocen los diferentes tipos de evaluación, lo que no será reseñado en esta propuesta, no
obstante se menciona, siguiendo la tipologías de evaluaciones (véase anexo) elaborada por
Francisco Alvira Martín (1991) las que en rápida síntesis se destacan: la
• Evaluación de necesidades
3
• Evaluación de diseño/conceptualización del programa
• Evaluación de la evaluabilidad
• Evaluación de la implementación
• Evaluación de la cobertura
• Monitorización y seguimiento del programa
• Evaluación de impacto
• Evaluación de los resultados
• Evaluación económica
Los tipos de evaluación indicados tienen importancia por sí mismos, sin embargo el concepto que en
este caso se “elige”, es el denominado evaluación clave, determinada por la Evaluación de Resultados,
considerando de este modo que los resultados constituyen la evidencia empírica de la intervención
realizada.
En esta perspectiva, y tomando como premisa fundamental que las Políticas Sociales y la
substanciación de las mismas en programas y proyectos, llaman a la lucha contra la pobreza, exige
que esta última, tomada como Unidad de Análisis Central, se la perciba en estrecha relación con
acciones que articulan tres vértices: la intervención multidimensional y las acciones integradas; el
sistema de implementación y la participación de los afectados, centrando los objetivos en el sujeto.
Desde esta concepción, la estructura de la propuesta se orienta a tener en claro dos ejes claves: el
carácter de la evaluabilidad y la evaluación por resultados, sobre la cual debe preverse el sistema de
indicadores apropiados.
Así el análisis que se seguirá, toma como criterios de referencia:
• La multidimensionalidad e interconexión de Problemas. Es vista como una hipótesis en la que
el problema, sujeto de una acción social, no puede “aislar” un elemento específico sobre el
que operar.
• La intervención y las fases que la componen. La estrategia deberá ser evaluada como un
sistema que integre las distintas fases en las dimensiones socio-económicas, los protagonistas
y los espacios. Se dirige hacia la estructura como una pluralidad, que mide el conjunto de
recursos, las lógicas y los espacios de intervención y las diferentes organizaciones que
participan: públicas, no gubernamentales, privadas y ciudadanas.
• Las externalidades o efectos que la Intervención provoca. El Resultado de la Política y sus
efectos. La contrastación empírica de los supuestos contenidos en el diseño de la Política.
Llegar a este punto de la evaluación implica haber traspasado la “evaluación de la
evaluabilidad” y justificar la “evaluación de los resultados”.
• La calidad de los logros. Se avanza en una posición netamente subjetiva respecto de la
relación demanda-satisfacción, que supera el resultado de la meta alcanzada, (Ej. Reducción
de la Insatisfacción) para orientarse al carácter de la satisfacción.
Antes de profundizar en estos ejes, cabe hacer mención a algunas definiciones básicas que se insertan
en todo proceso de evaluación, y que es necesario recogerlos para precisar una estructura de
lenguaje que sea comprensible a todos.
4
Así entonces, la evaluación, y conforme lo estamos adelantando, puede asumir diferentes
procedimientos y más aún si se los compara con los intereses del sector privado, lo cual insertado en
ese esquema, en opinión de Nasir y Reinaldo Sapag Chain (1998, 3ra. Edición), las preferencias de los
consumidores en el mercado da origen al interés social.
Por su parte y como señalan los autores, pueden ser diferentes los procedimientos si por ejemplo, se
inserta en el esquema de interés privado y que las preferencias de los consumidores en el mercado da
origen al interés social.
En cambio desde una perspectiva social, la colectividad se ve compensada directa e indirectamente
por la asignación de recursos que se materializa mediante un criterio de asignación (que respete
prioridades sociales de inserción)...”
La evaluación social y de mercado toman criterios similares en cuanto a lo procedimental, pero difiere
en la valoración de las variables que son determinantes para los costos y beneficios que se deriven.
La evaluación privada claro está, trabaja con el criterio de precios de mercado. La evaluación social lo
hace con “precios sombra o sociales”. Estos con el fin de medir el efecto de implementar un proyecto,
tiene en cuenta lo que es denominado efectos indirectos o externalidades que los proyectos
generan sobre la comunidad (ejemplo: contaminación o redistribución).
Los beneficios directos se miden por el aumento que el proyecto provocará en el ingreso (del ámbito
jurisdiccional donde se inserte) mediante la cuantificación monetaria del producto (por ej. vivienda:
tomará el valor del mercado). De igual forma corresponde a las compras de insumos, donde el precio
se establece por un factor que incorpore las distorsiones de los mercados de bienes y servicios.
Los costos y beneficios indirectos corresponden a los cambios que provoca la ejecución del proyecto
en la producción y consumo de bienes y servicios que se relacionan con el mismo.
Los beneficios y costos intangibles si bien no se cuantifican, deben considerarse cualitativamente, en
consideración a los efectos que la implementación del proyecto tenga sobre la comunidad.
Por último, las denominadas externalidades, son los efectos positivos o negativos, que sobrepasan la
institución inversora.
II.- LA EVALUACIÓN COMO PARTE DEL PROCESO PLANIFICADOR
II.1.- Su inserción dentro del proceso
El estudio de Programas y/o Proyectos reconoce dos momentos: Formulación y Preparación y la
Evaluación.
La primera tiene por objeto definir todas las características que tengan algún grado de efecto en la
situación problema a tratar y que es objeto de indagación y ejecución.
La segunda, con metodologías específicas busca determinar los resultados, en función de valores
cuantitativos y cualitativos, del proyecto.
Esquema N° 1: Momentos del proceso planificador
5
FORMULACIÓN Y PREPARACIÓN EVALUACIÓN
Investigación Planificación Ejecución
Qué características
tiene la situación
problema
Qué se quiere hacer Qué se hace Qué diferencia hay entre lo
previsto y los resultados
Conocimiento Conocimiento + Acción Acción + Conocimiento
Estudio de la Realidad Estudio técnico o de
factibilidad
Estudio de la
Organización
Estudio de la Rentabilidad.
Análisis cualitativo.
Sensibilización
II.2.- Nivel en el cual se inscribe
En una visión dinámica el Esquema que se presenta nos permite plantear una perspectiva de la
Evaluación atravesando el proceso por el cual los indicadores dejarán de tener una posición estática
para transformarse en dinámicos y cambiantes según la instancia en la que se encuentre el proceso
planificador.
Esquema N° 2: Etapas del proceso de planeamiento de la gestión del desarrollo.
Visión dinámica
I
D
E
A
S
NIVEL
POLÍTICO
(decisional)
MODELO NORMATIVO EJECUCIÓN
C O N T R O L
PRO-
CE-
SOS
NIVEL
TÉCNICO
(planeamiento)
(proyectivo)
EVALUACIÓN CONOCIMIENTO PLANIFICACIÓN
FE-NÓ-
ME-
NOS
NIVEL
EMPÍRICO
(Operativo)
SITUACIÓN PROBLEMA SOLUCIÓN
Fuente: Mendicoa, Gloria. “La Planificación de las Políticas Sociales”. Espacio Edit., Bs.As., 1997.
El objeto de análisis son las propuestas que integran los Programas y la relación de éstas y los niveles
de igualdad y equidad que, se supone, aquellos deben mejorar.
6
II.3.- Los diferentes criterios de Evaluación
Existen diferentes criterios en el proceso de evaluación. Según Francisco Alvira Martín (op.cit.) se
puede apreciar en las fases de una evaluación que existe un procedimiento que mantiene una
estructura tradicional, a cargo de un sujeto evaluador y en otro sentido, sin perder la rigurosidad,
propia de un proceso de investigación, no impide que se encuentren involucrados en dicho proceso
decididores e interesados y la aplicación de los resultados en la toma de decisión.
Los esquemas que se exponen dan cuenta de las diferencias:
Esquema N° 3: Fases de una evaluación (A)
1. Familiarización con el programa
2. Decisión sobre la viabilidad de la evaluación
3. Determinación del tipo de evaluación
3.1. Funcionamiento del programa (implementación/monitorización)
3.2. Efecto sobre la sociedad/comunidad (impacto)
3.3. Resultados/efectos del programa (resultados)
3.4. Consideración de beneficios y costes (coste/beneficio/utilidad)
4. Diseño/proyecto de la evaluación
5. Relevamiento de la información
6. Análisis de datos/informe
Fuente: Francisco Alvira Martín. “Metodología de la Evaluación de Programas”. Centro de
Investigaciones Sociológicas. Madrid 1991.
Esquema N° 4: Fases de una Evaluación (B)
7
Identificación de partes interesadas
Organización de un grupo de trabajo con ellas
Delimitación de preguntas y temas de evaluación
Puede identificarse cómo se utilizarán
las respuestas a esta pregunta
No Buscar nuevas
preguntas y
temas
Dada la utilización prevista, vale la pena
hacer la evaluación
Toma de decisiones sobre diseño, métodos y medición
1. Los métodos son adecuados para las preguntas de la evaluación
2. Los resultados que se obtengan tendrán credibilidad
3. Los métodos a utilizar están dentro del presupuesto
4. Los resultados obtenidos se utilizarán
Relevamiento de información/datos
Análisis de datos
Involucramiento del grupo de trabajo en el análisis
Decisión sobre cómo utilizar y aplicar los hallazgos
Decisión sobre difusión de hallazgos
8
Fuente: Francisco Alvira Martín (op. cit.)
III.- LOS ASPECTOS CONSTITUTIVOS DE LA EVALUACIÓN.
EVALUACIÓN DE LA EVALUABILIDAD Y EVALUACIÓN DE
RESULTADOS
Para insertarse en el proceso de evaluación, sostenemos los principios de multidimensionalidad y
horizontalidad acerca del objeto que viabiliza la intervención y de la misma forma respecto del proceso
que la evalúa. No se “aíslan” aspectos puntuales, todos alcanzan el mismo nivel de significación.
Saber si el programa/proyecto es evaluable es la primera instancia que se exige, para lo cual nos
posicionamos en el modelo de una investigación aplicada. Sigue un proceso que comprende en
nuestra propuesta dos cuestiones principales: alcances de la Evaluación y Resultados del
Programa/Proyecto.
Ambas fases se desarrollan a continuación procurando ofrecer desde las variables que las
caracterizan, un conjunto de indicadores (básicamente cualitativos) que nos orienten hacia una mayor
precisión.
III.1. Alcances de la Evaluación
Surge de la necesidad de responder principalmente las siguientes preguntas: ¿están bien definidos los
objetivos y efectos deseados?; ¿se puede prever la organización de un sistema de indicadores para
medir consecución de los objetivos? ¿qué mecanismos existen para lograr dichos objetivos?
Responder a estos interrogantes, entre otros, nos deriva al siguiente esquema en donde se aprecia
que la Evaluación de la Evaluabilidad debe entendérsela en dos submomentos: la formulación de la
propuesta y el funcionamiento del programa.
Esquema N° 5: Una Evaluación de la Evaluabilidad
Objeto 1.
Objetivos
del
programa
2. Activida-
des progra-
madas
3.
Discre-
pancias
lógicas
4. Campo 5. Discre-
pancias
empíricas
6. Opciones de
evaluación/ges
tión
TAREAS -Revisión
de
documento
s
-
Entrevistas
-
Descripción
de
relaciones
entre
inputs,
-Examen
de
supues -
tos no
válidos,
relacione
-
Exploració
n y
descripción
de
activida-
-Compara-
ción de
actividade
s reales
con las
progra-
-Examen de
las
discrepancias
de "3" y "5" e
iden-tificación
de cau-sas,
9
a personas
clave
-
Entrevistas
a partes
interesadas
actividades
y outputs,
explicitand
o las
relaciones
causales
s
causales
no
lógicas,
etc.
des que
realmente
ocurren
-Identifica-
ción de in-
dicadores
disponibles
de
resultados
esperados
madas discrepancias y
proponer solu-
ciones
-Revisar
opciones
iniciales
PRODUCTO
S
-Informe
de
objetivos
del
programa y
grado de
consenso
-Informe
de
necesidade
s de
informa-
ción de
per-sonas
clave
-
Descripción
narrativa
del
programa
-Modelos
lógicos de
inputs/outp
uts
-Modelos
de
funcionami
ento
-Informe
sobre los
aspectos
del pro-
grama
que
parezcan
implausi-
bles
-Informe
sobre
observa-
ciones de
campo
-Informe
sobre
indicadore
s
-Informe
sobre
discre-
pancias
sig-
nificativas
-Sugerencias
de opciones
factibles para
gestiones
Fuente: Francisco Alvira Martín (op.cit.)
A) Acerca de la Evaluación del Proyecto que se presenta:
Se trata de analizar lo que comúnmente es conocido como el "Proyecto" el cual sigue una secuencia
formal, que define las diferentes instancias que deben ser luego implementadas y evaluadas
consecuentemente. El Proyecto, incluso, debe ser considerado como una parte del proceso que tiene
un destinatario: la institución (gubernamental, no gubernamental), la cual permitirá, según sea la
evaluación, su ejecución posterior y responsable de la inversión.
La evaluación que en este sentido se realiza tiene que ver con:
A.1. La elaboración de un Marco Teórico que señale:
- Identificación de los responsables
- Antecedentes y justificación
- Definición del problema sujeto de la intervención
10
- La elaboración de los propósitos, entendidos en
FINES
OBJETIVOS
METAS
- claridad conceptual
- congruencia con la necesidad de
intervención
- factibilidad
- aceptabilidad
- cuantificación: determinación en
cifras de los fines y objetivos
A.2. La elaboración de un Marco Procedimental:
ACTIVIDADES Y
ASIGNACIÓN DE RECURSOS
- Detalle de los pasos y medios
y/o instrumentos para su
alcance
- Logros esperados
A.3. La elaboración de las Previsiones Presupuestarias, especificadas en el detalle de:
Partidas
asignadas según
su
PRIORIDAD
NECESIDAD
ALCANCE
para medir COSTO-
BENEFICIO
A.4. La determinación de los Instrumentos de Control y Seguimiento:
. calendarización y
. formas de coordinación y supervisión
B. El funcionamiento empírico del programa
Esta instancia se la considera superadora en tanto haber traspasado el nivel teórico (los supuestos
comprendidos en la formulación de la propuesta) para insertarse en el campo fáctico a fin de “medir”
desde la práctica cotidiana la relación entre el modelo retórico y su funcionamiento del modelo
evaluable. Concretamente se debe contrastar: Especificación de los objetivos y nivel de medición, es
decir el grado de satisfacción a la necesidad planteada, en función de indicadores standard.
Las políticas sociales se aplican dentro de marcos institucionales en los que no se encuentra resuelto
todavía la idea de un proceso planificador a través del cual, la instrumentación y evaluación de
aquellas se plantee desde una perspectiva integral y medible.
Desde esta afirmación, a los programas y proyectos sociales hay que examinarlos en el marco de su
aplicación. En este caso, ¿cuál es el que le otorga viabilidad y se constituye como el más deseable?
¿Cuál es el ámbito de gestión en el que el proyecto se diseña, y cuál es el de operacionalización?
11
En la Argentina, por ejemplo, las Políticas Sociales se generan en el nivel central y pueden incluir en
ocasiones iniciativas de los gobiernos provinciales, pero no se condice el nivel en el cual se “decide” su
implementación con el orden local (unidad de ejecución), el cual no tiene desarrollo propio y se
encuentra condicionado por las partidas presupuestarias.
Esta situación se encuentra determinada en principio por dos razones:
- la posición relativa del nivel local dentro del conjunto de la administración pública;
- el carácter universal que siguen detentando las políticas que configura un modelo de gestión,
reforzado en la lógica de la visión centralizada.
Por lo tanto, en un proceso de evaluación, estos aspectos deben contemplarse, porque un análisis del
marco institucional y de la gestión donde se substancia la política a través de los programas y
proyectos, resulta determinante en el cumplimiento de los objetivos. Concretamente, uno de los
aspectos que menos se tiene en cuenta en el estudio y evaluación de proyectos es el que se refiere a
los factores propios de la actividad ejecutiva de su administración: organización, procedimientos
administrativos y legales (Sapag Chain, op.cit.).
B.1. El funcionamiento de los objetivos
B.1.1. De los objetivos generales:
Una parte esencial en la verificación del alcance de los objetivos y metas que se han propuesto en la
fase técnico-organizacional.
Se reclama (Ignacio Pons, 1993, pág.17) que aquellos hayan alcanzado la delimitación de todos y
cada uno de los pasos del programa: contenidos; metodología; técnicas; análisis de los resultados y la
propia evaluación.
Por lo tanto en un sistema de clasificación de indicadores los objetivos a evaluar se resumen en:
VARIABLE DIMENSIONES INDICADORES (definiciones de medición)
OBJETIVOS
GENERALES
CONGRUENCIA
FACTIBILIDAD
COMPATIBILIDAD
PARTICIPACIÓN
LEGALY LOGÍSTICA
Nivel de cumplimiento entre problema, su jerarquía
y lo que se espera
Nivel de aceptación (destinatarios y responsables)
Grado de relación costo-beneficio
Nivel de armonización funcional y temporal
Implicación de las personas (beneficiarios) con el
programa
Grado de alcance según recursos
Nivel de ajuste a la capacidad, habilidad y actitud
del personal
Nivel de correspondencia con la legislación y
normativas institucionales
12
CUANTIFICACIÓN Medida específica de valoración
La obtención de metas
B.1.2. De los objetivos específicos:
Derivados de los generales, deben evaluarse los mismos requisitos funcionales agregándose la
sincronización de los niveles de concreción temporal, temático y estratégico.
Variable Dimensiones Indicadores
Objetivos
específicos
Organizacional
Territorial
Temporal
Poblacional
Valorativo
Cumplimiento de las responsabilidades
Zona geográfica de aplicación
Etapas o pasos de aplicación
Grupos o localidades receptoras
Asignación de prioridades
B.2. Sobre la metodología que se instrumenta
Descripción de la misma y acceso y formas de utilización, midiendo su fiabilidad y los procedimientos
instrumentados.
Variable Dimensión Indicadores
Pautas
Metodológicas
Pautas de selección de
beneficiarios
Grado de consistencia entre objeto de intervención
y destinatarios con los beneficiarios reales
Criterios de prioridad en
la definición del objeto
Grado de correspondencia entre las prioridades
demandadas y la decisión político-institucional
Marco jurídico instituc. Elementos logísticos
Actividades, relación
entre las mismas, niveles
de causalidad y
asociación. Relación de
dependencia temporal.
Verificación de responsabilidades por actividad
Coordinación intra e interinstitucional
Tiempo de desarrollo de cada actividad
Relación entre tiempo previsto y margen de
deslizamiento
Modelo de intervención Estrategias utilizadas: participativas, no
participativas, otras
Rol del usuario político; del decididor; del técnico;
del administrador
Calendarización Criterios de seguimiento adoptados en las
diferentes fases. Plazos de entregas finales;
parciales; etc.
B.3. La Institución responsable y su gestión
13
Sobre la base del modelo de política instrumentada, ¿cuál es el marco disponible para aplicar Políticas
Sociales, a través de programas y proyectos?
Variable Dimensión Indicadores
Ámbito
Institucional
Estrategias y Tácticas
institucionales
Carácter de la cobertura
Capacidad de Autonomía y Autarquía
Práctica de ejecución
Límites de diferenciación territorial y social
Vinculación con otras organizaciones
Racionalidad del Gasto
Sustentabilidad del Programa y uso de recursos:
fiscales, privados, monitoreo. Percepción del
impacto de otras políticas
Sistema Informático Registro de Datos
Análisis de situación
Determinación de tendencia
B.4. Los Recursos. La relación costo-beneficio.
“La realización de un proyecto tiene siempre un impacto sobre la economía del país y del área en que
se localiza...” (Ilpes, 1991).
La determinación de los costos se encuentra asociada a la toma de decisiones que condicionan la
preparación. Como es sabido existen distintas conceptualizaciones y clasificaciones de costos que
intervienen en aquellas.
Es una aproximación relativa al conjunto de indicadores que definen la relación costo-beneficio, en
función de los cambios económicos y sociales que se plantean entre las metas y el significado que el
proyecto tiene para las partes involucradas.
La sistematización de la información financiera requiere la identificación de:
a) Las inversiones del proyecto, que pueden clasificarse en terrenos, obras físicas, equipamiento,
capital de trabajo, insumos, personal, otros.
b) Los ingresos se desprenden de los precios y demanda proyectada, que se calculan en el estudio
de factibilidad según el tipo de proyecto y de los estudios técnico y organizacional.
Los costos de operación se calculan teniendo como referencia los estudios anteriores y sobre el
impuesto a la ganancia (estructura del gasto público: el % de aplicación según funciones de las
Políticas Sociales; precios de los servicios sociales, considerados como pagos de transferencia; costo
de oportunidad).
14
La evaluación se realiza sobre la estimación del flujo de costos y los beneficios.
¿Qué es lo que interesa discernir en los Programas Sociales? Del largo debate que se lleva haciendo
acerca de la evaluación social se aprecia que de las definiciones alcanzadas, existe un eje vinculante.
“La evaluación social mide el impacto que el proyecto tiene sobre el bienestar de la comunidad...
Utiliza las herramientas del análisis económico para comparar costos y beneficios expresados en
términos monetarios, y permite racionalizar la toma de decisiones en materia de inversión pública...”
(Cohen y Franco, 1991).
De allí que suceda en el sector público la evaluación de un proyecto sea positiva, mientras que para el
sector privado, la misma sea negativa en tanto pérdida de ganancias que se pretenda alcanzar.
No obstante son considerados un conjunto de tópicos, inevitables de ser citados que contribuyen a la
evaluación del proyecto en tanto relación costo-beneficio, para cuya elaboración se ha tenido en
cuenta la tradicional guía de Evaluación de Proyectos, mediante el análisis de costos y beneficios
sociales (NNUU, 1978).
¿Qué es lo que el evaluador debe observar en la evaluación de los Proyectos, según los recursos y la
asignación presupuestaria, que se demanda?
Una aproximación sobre el tema, la ofrecen los siguientes ejes que no serán detallados:
Cálculo de rentabilidad
Beneficio neto
Repercusión sobre ahorro e inversión
Repercusión en la distribución del Ingreso
Relación valores sociales y económicos
Fuente: "Guía para la Evaluación Práctica de Proyectos. El análisis de costos-beneficios". NNUU.
1978. Cap. I.
Desplegadas las variables anteriores en un conjunto de indicadores sobresale:
Rentabilidad del
Proyecto
Valor neto: ingresos netos y capital invertido
Tasa interna de retorno: tasa de actualización entre ingresos y costos
según
Corrientes temporales
Sensibilidad del Proyecto: advertir sobre las variaciones de los resultados
esperados, frente a modificaciones de los
elementos que lo componen
En base a Ilpes, "Guía de Presentación de Proyectos" (op.cit.)
Beneficios del
Proyecto (x)
Valor de desecho: medido en términos contables; valor de los activos; valor
Económico
Políticas de Precios
15
Análisis de Rentabilidad
En base a Sapag Chain, N. Y R. (op.cit.)
(x) Definidos como algo más que el simple ingreso por venta del producto o servicio que elaborará la
empresa. En la Evaluación "Social", los tópicos de carácter económico no tendría lugar en tanto se
alcance a resolver el problema por el cual se lleva a cabo dicho programa y/o proyecto.
Repercusión
sobre ahorro
Porcentaje con que el valor social de inversión supera al valor de consumo
En base a Ilpes, "Guía de Presentación de Proyectos" (op.cit.)
Distribución de
Beneficios
Cálculo de repercusión neta en grupos y/o lugar
Determinación factores de ponderación (procedimiento del valor crítico
entre "inversión" y "consumo")
Repercusión sobre Ingreso Regional
Repercusión sobre Ingreso público o privado
En base a "Guía para la Evaluación Práctica de Proyectos. El análisis de costos-beneficios". NNUU.
(Op.Cit.).
Relación Valores
Sociales y
Económicos
Valor de Eficiencia: consecuencias económicas en relación a factores
Políticos y decisionales
Valor Social del ingreso: los beneficios o externalidades tangibles e
intangibles (ver acápite siguiente)
En base a "Guía para la Evaluación Práctica de Proyectos. El análisis de costos-beneficios". NNUU.
(Ídem).
III.2. La Evaluación de los Resultados
Es el momento de la gestión en el cual se evalúa la transformación de lo que el nivel retórico se
propuso con los efectos concretos que la realidad empírica demuestra.
Posicionados en la analogía que el proceso de planificación sigue los pasos del proceso de
investigación, se han planteado hasta aquí los diversos momentos lógicos que aquél reclama para
averiguar en esta etapa ¿qué sucede en la realidad?
Es la decisión de la evaluación convertida en acción. Cabe hacer notar que las hipótesis, enmarcadas
en los objetivos, examinados a través de una formulación que los ubique en un adecuado contexto,
permiten interrogar aspectos de la realidad que parecen fundamentales.
Por lo expuesto, la evaluación de los resultados debe ser aplicada en el continuum de la ejecución, por
las múltiples decisiones que significan los ajustes a una realidad que cambia permanentemente.
Esta etapa analizada por sí misma, exige de la observación de las relaciones entre los componentes
del proceso. El resultado es mostrar las relaciones alcanzadas en los enunciados (expuestos en los
16
objetivos) con los logros específicos y de ambos a su vez en la unidad destinataria. El resultado
permite revisar la validez interna del diseño y la ejecución, a través de las variables implicadas en el
programa, en resultado, las traducidas en el momento de la intervención y las que pueden actuar
desde una posición exógena o externa.
Del conjunto de variables citadas y su relación con el ámbito de aplicación, los indicadores
emergentes se derivan en los acápites siguientes.
III.2.1. La realidad, objeto de Intervención
Implica identificar concretamente el grupo receptor de la Política, su localización y tamaño.
Deberá demostrar la congruencia entre el diagnóstico, realizado al comienzo del proceso, razón de la
formulación y ejecución y percibir en el resultado los siguientes parámetros de medición:
El problema objeto (de investigación e intervención): Es la categoría que involucra los hechos sociales
y sus formas de medición. Asimismo se deriva de los enunciado de solución y el carácter que se
espera de la misma: en tanto parcialidad o totalidad. Determina el modelo de programación y el
sistema de valoraciones respecto de las prioridades que se asignarán a la solución prevista y
alcanzada.
Los indicadores plausibles de demostración y factibles de ser sugeridos:
Realidad
Carencias manifiestas
Precariedad social
Situaciones personales
Índice de Bienestar-Malestar
III.2.2. Rol del Beneficiario
Definido el problema, la posición de los involucrados -usuarios del proyecto- no siempre es
suficientemente resuelto. En principio el destinatario no siempre es el que revela una necesidad, la
cual se expresa como una demanda social. Ligado a la redefinición del concepto de riesgo, los
involucrados con el mismo, no encuentran canales para orientar aquellas. Por lo tanto son categorías
orientadoras:
Variable Dimensión Indicadores
Rol del Beneficiario Inclusión Autoidentificación del beneficiario
Inserción de la comunidad
Actitud frente a los resultados
Percepción de la
Satisfacción
Inclusión en el contexto
Grado de valoración del problema
17
III.2.3. Sobre las Externalidades e impactos del Proyecto
La evaluación de los resultados y en particular los efectos/impactos se constituyen en las acciones
finales que surgen del trazado de la política. En palabras de Steven Kelman (1992) es la evaluación de
la política en el “mundo real”, es el resultado del compromiso, de quien diseña e instrumenta la
intervención, en la gente. Siguiendo esta concepción, el proceso del trazado de la política se evalúa
según dos patrones: “la capacidad de producir buenas políticas y los efectos menos tangibles”.
La evaluación del proyecto sobre la base de sus externalidades, se configura como la más importante
en esta fase del proceso, y a la par la más débil en la determinación de la delimitación de indicadores
que permitan su medición.
El éxito se encuentra en la convergencia interparadigmática, (cuanti-cualitativa), desde el punto de
vista del procedimiento metodológico, que orientará la medición buscando las valoraciones de las
siguientes dimensiones:
Variable Dimensión Indicadores
Externalidades Eficacia Beneficio alcanzado de la población
destinataria
Efecto multiplicador
Redistribución del costo localizado
Distribución Capacidad de integración o inclusión
Grado de cobertura
Relación del gasto y acciones de integración
Transferencia alcanzada
Replicación Capacidad de multiplicación del ingreso
Beneficios redistributivos netos
Particularizando en el impacto y conforme con lo indicado por el BID (1997), “efectos e impactos del
proyecto tienen que ver tanto con las consecuencias planificadas como con las imprevistas del mismo.
Particularizando en el impacto, se relaciona con las consecuencias planificadas y/o imprevistas a nivel
de los fines que se persiguen”.
Para tal fin se ordenan las dimensiones escogidas que, siguiendo la bibliografía consultada, se
sintetizan:
18
Variable Dimensión Indicadores
Impacto Impacto Económico Repercusión en el mercado y costo de vida
Capacidad de disponer y movilizar recursos
financieros
Generación de desarrollo tecnológico
Generación de una gestión rentable
Impacto Social Carácter de las Relaciones Humanas
Integración de las políticas; la gestión y la
satisfacción de la demanda:
Rol del sujeto social en el grupo y la comunidad
Impacto Político Alcance de Legitimidad de la fuerza política
Recomposición de Roles en el contexto político
institucional
Impacto Ambiental Relación con el hábitat
IV. La calidad, eje de análisis y control
El concepto de calidad, en opinión de Ignacio Pons (1993) “es muldimensional y relativo. Su definición
no se caracteriza desde la ciencia o la técnica sino que se determina también mediante opciones
centradas en valores sociales”.
Para evaluar la calidad de un programa surgen los siguientes sistemas de indicadores:
Variable Dimensión Indicadores
Calidad Valoración científico-
técnica
Competencia de profesionales
Aceptabilidad personal
Adecuación cuantitativa a los objetivos y
características y condiciones del programa
Valoración de
satisfacción
Aptitud y actitud frente a los resultados
Organización, asignación y redistribución de
funciones
Articulación de funciones con los decididores y
técnicos
Funcionamiento de estructuras físicas
Alcance de recursos
Sistema de incentivos relacionados con la calidad del
resultado
19
Cuando se habla de la Calidad de un programa/proyecto se mide su eficiencia en términos de
objetivos-actividades-resultados.
La instrumentación de las Políticas Sociales puede verse afectada por la eficiencia con que se utilizan
los recursos, o la organización del sistema político administrativo que lo ejecute o el grado de
relevancia que adquiere la aplicación de técnicas de gestión más innovadoras.
Es aceptada así la afirmación que el “rol de las organizaciones del sector público, los proveedores de
servicios sociales y los usuarios conducen a significativas diferencias en la calidad, cantidad y eficacia
de los servicios sociales” (BID; 1996).
La Evaluación de Resultados adoptada en esta propuesta, sin perder de vista los otros tipos
evaluativos, se constituye en una opción probable de éxito, por cuanto se mide el efecto-impacto y la
calidad de los mismos, cuando el producto ya está alcanzado. De todas formas es la combinación de
enfoques y las técnicas de medición, que propicia la articulación interparadigmática o la triangulación
metodológica la que ayudará a tener la amplitud de la medición con resultados diversos, para permitir
conclusiones más seguras y especialmente menos rígidas.
V. EL INFORME DE LA EVALUACIÓN
El punto de partida para iniciar una evaluación y desarrollar con ella un planteo de correcciones y
ajustes y resultados alcanzados, es la presentación formal a través de un documento escrito. Como
toda investigación que se precie de tal, su propósito formal es alcanzar conocimiento, y este hacerlo
explícito, exponerlo y transferirlo.
Por tal razón se estima importante agregar un punto final que presente los elementos básicos que
deben contemplarse en un Informe de Evaluación, los que se presentan simplificadamente en el
esquema continuo:
• Nombre del Programa/Proyecto que se evalúa
• Institución de aplicación del Programa/Proyecto
• Institución y/o grupo que elabora la evaluación
• Propósito de la evaluación y/o estudio
• Límites de la evaluación: marcos teóricos y empíricos
• Definición de los términos
• Supuestos y expectativas del tema
• Importancia de la evaluación (justificación)
• Aportación al campo del conocimiento y/o sector del que
depende el Programa/Proyecto
• Diseño metodológico implementado
• Calendarización y presupuesto aplicado
• Anexos: Bibliografía; Estadísticas; otros
• Índice
20
VI. RESUMEN GENERAL DE LA PROPUESTA
El esquema que se presenta contiene los aspectos tratados precedentemente que a modo de síntesis
y conclusión general se reseña.
U. de
aná-
lisis
Objeto de
eva-
luación
Variables Dimensiones Indicadores
Eva-
lua-
ción
de la
Eva-
luabi-
lidad
Diseño Identificación
Antecedentes
y Justificación
Problema
Objetivos y
Metas
Actividades y
Recursos
Presupuesto
Instrumentos
de control y
seguimiento
Funciona
miento
empírico
del
Programa
/Proyecto
Objetivos
Generales
Congruencia
Factibilidad
Compatibilidad
Participación
Nivel de cumplimiento entre
problema, su jerarquía y lo que
se espera
Nivel de aceptación
(destinatarios y responsables)
Grado de relación costo-
beneficio
Nivel de armonización funcional
y temporal
Implicación de las personas
(beneficiarios) con el programa
21
Legal y Logística
Cuantificación
Grado de alcance según
recursos
Nivel de ajuste a la capacidad,
habilidad y actitud del personal
Nivel de correspondencia con la
legislación y normativas
institucionales
Medida específica de valoración
La obtención de metas
Objetivos
Específicos
Organizacional
Territorial
Temporal
Poblacional
Valorativo
Cumplimiento de las
responsabilidades
Zona geográfica de aplicación
Etapas o pasos de aplicación
Grupos o localidades receptoras
Asignación de prioridades
Pautas
Metodológicas
Pautas de Selección
de destinatarios y
beneficiarios
Criterios de prioridad
en la definición del
objeto
Marco Jurídico Instit.
Actividades, relación
entre las mismas, ni-
veles de causalidad y
asociación. Relación
de dependencia tem-
poral
Grado de consistencia entre
objeto de intervención y
destinatarios con los
beneficiarios reales
Grado de correspondencia entre
las prioridades demandadas y la
decisión político-institucional
Elementos logísticos
Verificación de responsabilida-
des por actividad
Coordinación intra e interinsti-
tucional
Tiempo de desarrollo de cada
actividad
Relación entre tiempo previsto y
margen de deslizamiento
22
Modelo de
intervención
Calendarización
Estrategias utilizadas: participa-
tivas; no participativas; otras
Rol del usuario político; del
decididor; del técnico; del
administrador
Criterios de seguimiento
adoptado en las diferentes
fases. Plazos de entregas
finales; parciales; etc.
Ámbito
Institucional
Estrategias y Tácticas
institucionales
Carácter de la cobertura
Capacidad de Autonomía y
Autarquía
Práctica de ejecución
Límites de diferenciación
territorial y social
Vinculación con otras
organizaciones
Racionalidad del Gasto
Sustentabilidad del Programa y
uso de recursos: fiscales,
privados, monitoreo. Percepción
del impacto de otras políticas
Sistema Informático Registro de Datos
Análisis de situación
Determinación de tendencia
Recursos Rentabilidad del
proyecto
Beneficios
Distribución
Relación valores
Valor neto
Tasa interna de retorno
Sensibilidad del proyecto
Valor de desecho
Políticas de precios
Cálculo de repercusión neta
Factores ponderados
Ingreso regional
Ingreso público
Valor de eficiencia
23
sociales y
económicos
Valor social de ingreso
Eva-
lua-
ción
de los
resul-
tados
La
realidad
Carencias
manifiestas
Precariedad
social
Situaciones
personales
Índice de
bienestar-
malestar
Beneficia-
rio
Inclusión Autoidentificación
Inserción de la
comunidad
Actitud
Percepción de
la satisfacción
Inclusión en el
contexto
Grado de valoración
del problema
Externa-
lidades
Eficacia Beneficio
Efecto multiplicador
Redistribución del
costo local
Distribución Integración e
inclusión
Grado de cobertura
Relación del gasto y
acciones de
integración
Transferencia
alcanzada
Replicación Capacidad de
multiplicación del
ingreso
Beneficios
redistributivos netos
Impacto Económico Repercusión en el
mercado y costo de
vida
24
Social
Político
Ambiental
Capacidad de
disposición y
movilización de
recursos financieros
Generación de
desarrollo
tecnológico
Generación de
gestión rentable
Carácter de las
relaciones humanas
Integración de las
políticas, la gestión y
la satisfacción
Alcance de la
legitimidad del
decididor
Recomposición de
roles (político-
institucional)
Hábitat
Calidad Científico-
técnico
Valoración de
la satisfacción
Profesionales
Personal
Adecuación
cuantitativa de
objetivos,
características y
condiciones
Actitud y aptitud
frente a los
resultados
Organización,
asignación y
redistribución de
funciones
Articulación entre
25
decididores y
técnicos
Alcance de recursos
Sistema de incentivos
BIBLIOGRAFÍA
Aguilar Villanueva, Luis. "Problemas Públicos y Agenda de Gobierno". Estudio Introductorio. Edit.
Porrúa. México. 1991.
Alvira Martín, Francisco. "Metodología de la Evaluación de Programas". Centro de Investigaciones
Sociológicas (CIS). Cuadernos Metodológicos. 2. Madrid. 1991.
BID. "Progreso Económico y Social en América Latina". Informe 1996.
BID. "Evaluación: Una herramienta de gestión para mejorar el desempeño de los Proyectos". 1997.
Cohen, E. Y Franco, R. "La Evaluación de Proyectos". Ilpes-ONU. CIDES. Grupo Editor
Latinoamericano. Bs.As. 1988.
ILPES. "Guía para la presentación de Proyectos". Siglo XXI. México. 1995 (22da. Edición)
Kelman, Steven. "La Política Pública en el Estado moderno". Gela. Bs.As. 1992.
Mendicoa, Gloria. "La Planificación de las Políticas Sociales. Estudio de un caso para su análisis y
evaluación". Espacio Edit. Bs.As. 1997.
Mendicoa, Gloria. "Indicadores Sociales. Bases para la Instrumentación de Políticas". Espacio Edit.
Bs.As. 1998.
Naciones Unidas. "Pautas para la Evaluación de Proyectos". N.Y. 1972.
Pichardo Muñiz, Arlette. "Evaluación del Impacto Social". Humanitas. Universidad Nacional de Costa
Rica. Bs.As. 1993.
Pons, Ignacio. "Programación de la Investigación Social". CIS. Cuadernos Metodológicos. 8. Madrid.
1993.
26
Sapag Chain, Nair y Sapag Chain, Reinaldo. "Preparación y Evaluación de Proyectos". Mc Graw Hill.
Colombia. 1998. 3ra. Edición.
EL INDICADOR SOCIAL
‘Es la medida estadística de un concepto o de una dimensión de un concepto, o de una
parte de aquella, basado en un análisis teórico previo e integrado en un sistema
coherente de medidas semejantes, que sirva para describir el estado de la sociedad y la
eficacia de las políticas sociales”
(Fuente: “Proyecto Doris” (Dossiers Régionaux et indicateurs sociaux; Gobierno de
Quebec).
“El indicador es el resultado de un proceso. Se llega al mismo a través de un recorrido que
implica al investigador ahondar en los conceptos teóricos, definiéndolos, produciendo así
su transformación en conceptos específicos a fin de comprender y explicar la realidad”
( Lazarsfeld)
TIPOLOGIA DE EVALUACIONES
. Evaluación de necesidades
. Evaluación de diseños/ conceptualización del programa
. Evaluación de la evaluabilidad
. Evaluación de la implementación
27
. Evaluación de la cobertura
. Monitorización y seguimiento del programa
. Evaluación del impacto
. Evaluación de los resultados
. Evaluación económica
CRITERIOS DE REFERENCIA EN EL ANALISIS
. LA MULTIDIMENSIONALIDAD E INTERCONEXION DE PROBLEMAS. Es vista como una
hipótesis en la que el problema, sujeto de de una acción social, no puede “aislar” un elemento
específico sobre el que operar.
. LA INTERVENCION Y LAS FASES QUE LA COMPONEN. La estrategia deberá ser evaluada
como un sistema que integre las distintas fases en las dimensiones socioeconómicas, los protagonistas
y los espacios. Se dirige hacia las estructura como una pluralidad, que mide el conjunto de recursos,
las lógicas y los espacios de intervención y las diferentes organizaciones que participan.
. LAS EXTERNALIDADES O EFECTOS QUE LA INTERVENCION PROVOCAN. La contrastación
empírica de los supuestos contenidos en el diseño de la Política. Implica haber traspasado la
“evaluación de la evaluabilidad” y justificar la “evaluación de los resultados”.