INDICADORES DE ÉXITO EN ELDISEÑO DEL SISTEMA DE
EVALUACION
5
INDICADORES DE ÉXITO EN EL DISEÑODEL SISTEMA DE EVALUACION
MSc. Lidia M. Salas Chavarría*
"No se puede administrarlo que no se puede medir,
no se puede medirlo que no se puede definir,no se puede definir lo queno se puede comprender"
(Drucker Peter, 1993)
RESUMEN:
El artículo tiene como objetivo cuestionar la evaluación como etapa importante del proceso de planificación , la cuala nivel institucional se ha venido realizando por años en forma muy limitada en laejecución de los diferentes proyectossociales.
Concretamente en Trabajo Social, algenerar nuestras intervenciones productos de índole cualitativa y ante la ausenciade indicadores de gestión social, resultadifícil medir con exactitud el impacto delos mismos. Si bien es cierto, el plantearindicadores como parte del diseño de laevaluación es un tarea bastante complejay laboriosa, en estos momentos es imprescindible hacerlo dado que en losCompromisos de Gestión nuestra labor seinvisibiliza.
Así las cosas, el artículo hace referencia a aspectos medulares a considerar para la construcción de indicadorescomo garantía de éxito de un proyecto.
1. INTRODUCCION.
El contexto actual en que funcionan las instituciones del país, tanto públicas como privadas, no escapa de los lineamientos políticos sustentados en laracionalización del gasto público.Paralelamente los cambios que se hanimpulsado en forma acelerada comoparte de medidas políticas, económicas,sociales, han generado la reducción deciertos bienes y servicios, colocando untecho muy bajo al desarrollo de programas sociales en detrimento de los gruposmás necesitados.
En forma concordante, las instituciones que conforman el sector saludasumen la misión de cumplir con lasmetas, objetivos y producir los efectosesperados conforme sus políticas, programas, recursos existentes y por consiguiente responder a las demandas de lasalud colectiva, según la especificidad delentorno.
* Licenciada en Trabajo Social. Máster en Salud Pública Clínica Dr. Marcial Fallas.
7
11. NUEVA MODALIDAD INSTITUcIoNAL EN LA ASIGNACION DERECURSOS.
A nivel institucional, en respuesta ala nueva modalidad de asignación derecursos, los establecimientos prestadores de servicios de salud paulatinamente han ido asumiendo los compromisos de gestión; definido éste como"instrumento que vincula la actividad alpresupuesto asignado a cada unidadproveedora, se utiliza para buscar mayorcalidad, eficacia y eficiencia en el uso derecursos dedicados a la atención de lasalud, un pacto escrito que recoge loscompromisos de actividad, calidad,gasto, objetivos específicos y metas de launidad proveedora, el establecimiento deun mercado interno planificado .... "González, Ana Rita ( 1998: 3). De estaforma se busca fortalecer los principios desolidaridad, universalidad y equidad yligar además la asignación de recursos alas necesidades y demandas de lapoblación, incrementar la satisfacción delos clientes internos-externos, aumentar lacalidad, eficacia y eficiencia en laprestación de servicios de salud.
A partir de esta perspectiva y enprocura de rescatar e incentivar un rolprotagónico en los usuarios; el compromiso de gestión contempla objetivos organizativos, asistenciales y de calidad; correspondiendo el contenido de éstos a lasnecesidades y características específicasde cada área de salud, clínicas y hospitales.
Los compromisos de gestión representan un salto cualitativo en la organización de los servicios de salud; están orientados a sustituir la planificación normativa hacia una planificación estratégica.
8
Ante este reto los recursos seconstituyen en factor clave para la planificación y operacionalización de los diferentes programas, de aquí la importanciade conocer la viabilidad y factibilidad delos mismos y utilizar los recursos con elmáximo de eficiencia posible y asegurarun alto grado de efectividad.
Tras la búsqueda de la racionalización, coordinación y optimización delos recursos, es pertinente detenerse ycuestionar cuál ha sido el papel de laevaluación como etapa fundamental delproceso de planificación, en el desarrollode proyectos institucionales.
Según Pichardo Arlette (1989:22)la evaluación debe entenderse como unproceso integral y continuo, que permiteno sólo detectar las irregularidades quese presentan en el proceso de planificación de un proyecto, sino también proponer las medidas correctivas necesarias.
La evaluación concebida comoproceso integral y continuo para retroalimentar la toma de decisiones ha jugadoun rol limitado en los proyectos institucionales. Generalmente las evaluacioneshan constituido estudios cuyos informesfinales se limitan a señalar los logros delprograma y las dificultades que debieronsuperarse durante su ejecución, se tiendea comparar metas alcanzadas con metasprogramadas. Difícilmente los resultadoshacen referencia al impacto en los grupossociales beneficiarios, es frecuente elanálisis de indicadores cuantitativos porejemplo: número de personas que participan, número de horas destinadas,número de médicos, número de camas; yse resta importancia a los indicadorescualitativos que caracterizan la evaluaciónde impacto social, a saber: grado en que
se produce el proceso de aprendizaje,nivel de motivación, nivel de identificacióncon la actividad, grado de participación,grado de satisfacción, cambios de actitudes, valores, aptitudes, modificación deestilos de vida, mejoras en las condiciones de salud de la población.
En forma coherente con los objetivos de calidad que se proponen en loscompromisos de gestión, es importanteno obviar ni restar importancia a los indicadores cualitativos. Es pertinenteestablecer un balance entre ambos demanera que permitan definir coberturas ymedir el impacto que generan lasacciones de salud en la población beneficiaria.
En el ámbito institucional no se haestimulado la cultura de la evaluación, losproyectos sociales que se han venido ejecutando no poseen un regulador queindique: si las actividades que se estánllevando a cabo se caracterizan por sueficiencia, o pueden realizarse en formamás eficiente, en qué momento no lo sony deben ser reemplazadas a otras actividades. Esta situación se asocia, quizá, aque no existía restricción en cuanto a lautilización de recursos, dado que por añosse ha trabajado con presupuestos históricos; y en la actualidad es un aspecto muycuestionado con la nueva modalidad en laasignación de recursos.
En este estado de cosas se haceindispensable utilizar la evaluación comouna herramienta valiosa, para facilitar latoma de decisiones oportunamente yresponder a las demandas de lapoblación de una manera eficaz, eficientey oportuna con los recursos existentes.
III CONSTRUCCION DE INDICADORES DE ÉXITO.
Para evaluar es necesario el diseño del sistema de evaluación, en el cualse define tipo de evaluación, objetivo dela evaluación, elementos que debe contemplar: parámetros, indicadores, fuentesde información, ubicación temporal, técnicas e instrumentos de evaluación, participantes y su papel. Para efectos del presente artículo se enfatizará en cuanto alos indicadores, sin restar importancia alos otros elementos.
Los indicadores se definencomo u las señales, signos, muestras o marcas de algún suceso"acontecimiento o proceso queponen en evidencia la magnitud ointensidad de un problema o elgrado de avance de su atención"(Pichardo, 1989: 91)
Según Henderson Alan (1997:11)los indicadores son los medios que permiten establecer qué condicionesdemostrarán el éxito, cómo reconocerlos,obligan a aclarar lo que se quiere alcanzar con \os objetivos. Una apropiada identificación de indicadores proporcionan unabase objetiva para la evaluación.
Los indicadores se constituyen enel medio a través del cual se puede evaluar, de manera objetiva, los cambios buscados en el desarrollo de los proyectos;es decir el logro de los objetivos o metasde un proyecto, programa, actividad. A suvez permiten detectar problemas y definirla diferencia entre la situación deseada,es decir, la meta prevista y el desempeñoreal alcanzado por el programa en unmomento dado.
9
Los conceptos de eficacia, eficiencia y efectividad guardan unaestrecha relación con los indicadores deéxito, por lo cual es pertinente definirlos.
Eficacia: es el criterio para determinar,principalmente el grado de cumplimientode los objetivos y metas propuestas enlos proyectos ejecutados.
Eficiencia: es el criterio que permitedeterminar la calidad de los bienes o servicios producidos a partir de la ejecuciónde un proyecto, y contempla además laracionalidad en el uso de los recursos.
Efectividad: es el criterio que involucrala eficiencia y eficacia; además permitedeterminar si las acciones que serealizaron para el logro de los objetivosson las más apropiadas.
Para el diseño de los indicadoreses necesario considerar los requisitos quedeben tener:
1. "VALIDOS: Deben reflejar los efectos de los proyectos y no factoresexternos, miden lo que pretendenmedir.
2. CONFIABLES: las mediciones quese hagan, realizadas por diferentespersonas deben arrojar los mismosresultados.
3. ESPECIFICaS: deben ser específicos en términos de calidad, cantidady tiempo (CCT) , si falta cualquiera deéstos, no se puede ser totalmenteobjetivo sobre si se ha tenido éxito ono.
4. DEMOSTRABLES: deben evidenciarlos cambios buscados, captan oportunamente los cambios.
10
5. FACTICOS: deben ser objetivamenteverificables.
6. PERTINENTES: deben guardar correspondencia con los objetivos y lanaturaleza del proyecto; así como lascondiciones del medio socia!."Pichardo Arlette ( 1989:92).
Los indicadores de éxito permiten visionarcuál será el alcance de los proyectos aejecutarse, facilitan monitorear el procesode desarrollo de los mismos, por endeaplicar las medidas correctivas necesariaspara garantizar su éxito.
Cuando los indicadores evidencian laexistencia de un problema es indispensable:
1. "Mejorar la supervisión de las actividades insatisfactoriamente ejecutadas hasta el momento.
2. Aplicar sanciones o recompensas queincentiven al personal en la direcciónadecuada.
3. Reasignar recursos financieros yhumanos para atender mejor actividades deficientes.
4. Mejorar el entrenamiento técnico yreforzar el compromiso motivacionaldel personal.
5. Mejorar, si está a tiempo, la seleccióno reubicación del personal paragarantizar el éxito del proyecto.
6. Introducir modificaciones en los sistemas en el marco de operacionesdiarias del programa, tales como loscanales de comunicación entre lasunidades, las líneas de mando yapelación, el uso de asesores externos, participación del personal en latoma de decisiones, etc". HendersonAllan ( 1997: 48).
No obstante de los esfuerzos que serealizan, una de las fundamentales carencias de los cientistas sociales es construir,verificar y validar indicadores sociales, locual dificulta en la gestión de proyectossociales conocer cómo estan impactandoen la población destinataria. Otros problemas que se asocian a esta ardua tareason los siguientes:
1.-Presencia de objetivos múltiplesdesvinculados de las actividades propiasdel proyecto.
2.- El planteamiento de objetivos maldefinidos y muchas veces inalcanzables.
3.- Falta de definición de indicadores parala evaluación.
4.- Falta de una definición precisa delimpacto que tendrá el proyecto en elcorto, mediano y largo plazo.
De aquí la importancia de diseñaradecuados indicadores que permitanreconocer el éxito, aclarar lo que sequiere decir con los objetivos y a su vezproporcionar una base objetiva para laevaluación. (ver anexos).
El seleccionar buenos indicadoresrepresenta un proceso técnico, arduopero esencial para un buen diseño deproyecto, para su seguimiento y evaluación; además significa asegurar lo quese desea lograr. Es recomendable utilizarlos menos posibles indicadores, siempre ycuando los seleccionados den la medidade que los objetivos escogidos son pertinentes y no se deje de medir lo que esrealmente importante para el proyecto.
El número de indicadores depende dela complejidad y la importancia de lo quese desea medir, no pueden diseñarse enforma antojadiza.
Los indicadores pueden referirse:
1. "A los impactos de un programa: lareducción relativa de la mortalidad ymorbilidad infantil en determinadaárea, o proporción de población conagua potable.
2. A sus productos: número de inmunizaciones realizadas, número depacientes atendidos.
3. A sus insumos: gasto anual de lasunidades de atención según tipo,número y tipo de personal médico utilizado por unidad y por período.
4. A sus procesos: la ejecución de actividades en el orden o a la velocidadprevista, aparición de cuellos debotella por exceso de énfasis en ciertas actividades en perjuicio de otras.
5. Algunos insumos/procesos: midiendoproductividad del programa: # deegresos por cama/año, porcentaje decamas ocupadas por período, númerode atenciones por hora/persona!."(Henderson, 1997: 47 )
Los cambios acelerados que seexperimentan a nivel institucional generangrandes cuestionamientos respecto a laprestación de servicios por parte de lasdiversas disciplinas. Aparece la preocupación entre los profesionales de saber,si verdaderamente las intervenciones quese realizan están impactando lapoblación, así como la preocupación porla calidad y cantidad del trabajo.
11
CONCLUSIONES:Concretamente en nuestra disci
plina los proyectos están dirigidos a promover o generar condiciones para mejorar la calidad de vida de los usuarios, apropiciar cambios de actitudes, valores,aptitudes, de estilos de vida; no obstanteexiste una gran debilidad para diseñarindicadores de gestión que nos permitanconocer y documentar el éxito de losproyectos. De aquí la importancia en larigurosidad a la hora de planificar losproyectos, no olvidar que el diseño de laevaluación debe procurar la utilización deindicadores que, no sólo reflejen los resultados de los mismos en términos cuantitativos, sino también los efectos e impactos.
Coyunturalmente es un momentopropicio para fortalecernos como cientistas sociales, un momento en que TrabajoSocial asume un rol relevante en este proceso de ajustes y cambios, en donde elcomponente social cobra importancia y dasustento a la concepción de la saludcomo construcción social. Nuestra intervención es determinante en equipos interdisciplinarios, en la capacitación declientes internos-externos, en la promoción y prevención de la salud a través dela estrategia de participación social. Sedesarrollan proyectos sociales a nivel grupal, comunal, organizacional, que nos evidencian cambios de actitudes, aptitudes,modificación de estilos de vida en lapoblación destinataria; sin embargo la sistematización de estas valiosas experiencias se constituyen en una limitación, seposterga esta labor por el factor tiempo yse justifica por el sinnúmero de actividades que sentimos nos agobian.
Es un momento de reflexión, devalidar nuestras intervenciones con laspoblaciones que trabajamos, de aplicar larigurosidad para documentar la calidaddel producto de nuestro quehacer coti-
12
diano; de manera que en los Compromisos de Gestión se pueda tener unamedición exacta del impacto que se genera en la salud de la población a partirde la ejecución los proyectos que planificamos, ejecutamos, dirigimos y supervisamos.
BIBLlOGRAFIA
CCSS/CENDEISSS (1998) Módulo 1 :Elementos del Sistema Nacional de Salud y suproceso de Modernización. San José.
CCSS/CENDEISSS (1999) Módulo 7 : FaseInstrumental de la Planificación Estratégica deServicios de Salud. San José.
Caja Costarricense de Seguro Social (1996)Manual de evaluación para jefaturas de oficinas de Recursos Humanos. Area deEvaluación y Seguimiento. San José.
Drucker, Peter (1993) Gerencia para el futuro.Editorial Norma. Colombia.
González, Ana Rita (1998). "Compromisos degestión y descentralización". En Módulo 1Organización. Capacitación en Gestión paraGerentes de la CCSS. OPS/OMS. San José.
Henderson García, Alan (1997). MóduloDesarrollo de Proyectos. San José.CCSS/OPS.
Pichardo Muñiz, Arlette (1989). Evaluación delimpacto social. Editorial Universidad de CostaRica. San José.
Pichardo Muñiz, Arlette (1984). Planificación yProgramación Social. Editorial Universidad deCosta Rica. San José.
INDICADOR DE EFICIENCIA B *
Si B es mayor que 1, la administración hasido más que eficiente
ANEXO 2
TABLA DE COMPARACION
VARIABLES PROGRAMADO LOGROS(METAS) (CONTROL)
META 36 PROYECTOS 28 PROYECTOS
TIEMPO 12 MESES 8 MESES
COSTO 20.000 colones 25.000 colones
(Cp*P)(P*VP)
( 20.000*36)(36*20.000 )
( 720 )( 720 )
B = ( 700)( 700)
B = (l * Vl)( Cl* l )
B = (28*25.000)( 25.000*28 )
B=
peridiocidad de las sesiones deseguimiento.tiempo que transcurre del momentoen que se recibe la interconsulta -referencia en relación al tiempo en quese realiza la intervención ... atenciónoportuna.atención continua ( secuencia de lassesiones).nivel de involucramiento de paciente yfamilia....anuencia.nivel de información que se brinda alcliente.nivel de participación en el plan detratamiento.Condiciones en que se realiza laprestación: forma de comunicarse,gestos.
ANEXO 1
EJEMPLOS DE INDICADORES ENINTERVENCION CASUISTICA
# SESIONES DE SEGUIMIENTO PORCASO.
# DE SITUACIONES ESPECIFICASRESUELTAS (Hospital-Clínicas-Areas
de Salud)
Nivel de organización familiar.# de reubicaciones.# de situaciones resueltas en equipointerdisciplinario.# menos de reingresos posterior a laintervención realizada.# de grupos organizados.nivel de participación en planificaciónacciones de salud.nivel de asistencia a reuniones.
Si B es igual a 1 , la administración hasido eficiente
Si B es menor que 1, la administración hasido ineficiente
l= unidades de productos o servicioslogrados.
Vl= valor unitario de los productos o servicios logrados
Cl= costo unitario de los productos o servicios logrados
P= unidades de producto o servicios programados
VP= valor unitario de los productos o servicios programados
13
CP= costo unitario de los servicios programados
... Tomado de: CCSS.Manual de evaluaciónpara Jefaturas.
ANEXO 3
TABLA DE COMPARACION*
VARIABLES PROGRAMADO LOGRADO(METAS) (CONTROL)
META 24 20EVALUACIONES EVALUACIONES
TIEMPO 12 MESES 8 MESES
COSTO 2.000 C/EVAL. 1.500 C/EVAL.
EFICACIA: ... ( a) L'" T1M*T2
a= 20*1224*8
a = 240192
a= 1.25
L: unidades de medida de la meta lograda( bienes y servicios)
M: unidades de medida de la meta programada ( bienes o servicios)
T1: tiempo planeadó para alcanzar lameta total
T2: tiempo consumido en alcanzar lameta total o parcial y en donde:
Si el indicador" a " es mayor que 1,entonces la administración fue más queeficaz.
14
Si el indicador" a " es menor que 1,entonces la administración fue menos queeficaz.
Si el indicador" a " es igual a 1, entoncesla administración fue eficaz.
*Tomado de: CCSS.Manual de evaluaciónpara Jefaturas.
ANEXO 4
INDICADOR DE IMPACTO*
INDICADOR:
I = EFICACIA = _a_PROBLEMAS RESUELTOS P.R
En donde:
1= IMPACTO
PR= PROBLEMAS O SITUACIONESRESUELTAS
a = EFICACIA
Como puede observarse en la fórmula delindicador de impacto el numerador lo conforma la EFICACIA, por lo que una vezque hayamos calculado el indicador eficacia y se obtenga la información de losproblemas o situaciones resueltas connuestros programas ( puede ser ennúmeros absolutos o porcentajes) sepuede medir el impacto de los programas,proyectos.
*Tomado de: CCSS.Manual de evaluaciónpara Jefaturas.
ANEXO 5
TIPOS DE INDICADORES
TIPOS DEFINICION
Generalmente, se utilizan para dar cuenta de
CIFRAS ABSOLUTAS características particulares de una sociedad enun momento dado. Por ejemplo, número demujeres incorporadas a la fuerza de trabajo.
Destacan, fundamentalmente aspectos de dis-PORCENTAJES tribución.
Por ejemplo, porcentaje de analfabetos en eltotal de la población.
Representan comportamientos típicos.PROMEDIOS y OTRAS Ejemplo: ingreso pér-capita, la mediana de losMEDIDAS ESTADISTICAS salarios de los profesionales y técnicos.
Permiten mostrar la evolución o comportamien-
TASAS to de un fenómeno en el tiempo. Por ejemplo,latasa de crecimiento del PIB.
Fuente: Pichardo, Arlette. Evaluación del impacto social, pág. 93
15