Embed Size (px)
Citation preview
Programa de Estudios del Trabajo,
el Ambiente y la Sociedad Instituto de Investigaciones Socio Económicas Facultad de Ciencias Sociales Universidad Nacional de San Juan
INFORME FINAL
Proyecto de Innovación (convocatoria 2011) - Código Res. 610-12-R
Director:
Dr. Pablo Rodríguez Bilella [email protected]
Co-‐Director:
Dr. Esteban Tapella [email protected]
Miembros del Equipo:
Lic.Cecilia Luna Lic. Laura Soledad Ganam
Lic. Valeria Ros Lic. Vanesa Castro
Dra. Sarui Lola Jaled de Allub Lic. Alejandra Lucero
Lic. Alicia Noemí Avellaneda
San Juan, Junio de 2014.
Marco Integral para el Monitoreo y Evaluación de Redes: aportes para las redes de Desarrollo Rural en Argentina
¡Por favor no citar ni circular sin autorización de los autores!
Consultar a los autores por las publicaciones realizadas sobre la base de esta investigación.
2
Índice INTRODUCCIÓN ....................................................................................................................... 3 ESTRUCTURA GENERAL DEL INFORME ................................................................................................ 3
DESARROLLO SOCIAL Y EVALUACIÓN EN CONTEXTOS COMPLEJOS .......................................... 6 LÓGICAS DE INTERVENCIÓN Y CIENCIA DE LA COMPLEJIDAD .................................................................... 6 LOS PROCESOS DE CAMBIO SOCIAL ................................................................................................. 10 EL ESPACIO PARA LA INVESTIGACIÓN EVALUATIVA .............................................................................. 14
LA INVESTIGACIÓN EVALUATIVA Y LOS ENFOQUES EMERGENTES DE EVALUACIÓN ................ 18 INVESTIGACIÓN EVALUATIVA ......................................................................................................... 18 ENFOQUES Y TIPOS DE EVALUACIÓN EMERGENTES ............................................................................. 22 CARACTERIZACIÓN DEL MONITOREO Y EVALUACIÓN DE REDES ............................................................... 30
TEORÍA DEL CAMBIO Y EVALUACIÓN DE REDES ...................................................................... 33 APROXIMACIÓN A LA TEORÍA DEL CAMBIO ....................................................................................... 34 PASOS PARA CONSTRUIR LA RUTA DE CAMBIO: ................................................................................. 48 MONITOREO Y EVALUACIÓN DE LA TEORÍA DEL CAMBIO ...................................................................... 57 ASPECTOS DE CALIDAD EN LA TEORÍA DEL CAMBIO ............................................................................. 59
LA EVALUACIÓN ORIENTADA AL APRENDIZAJE: EL ENFOQUE DE LA SISTEMATIZACIÓN DE EXPERIENCIAS ......................................................................................................................... 62 RAÍCES DE LA SISTEMATIZACIÓN DE EXPERIENCIAS: SU VÍNCULO CON LA EVALUACIÓN Y LA GESTIÓN DEL CONOCIMIENTO .......................................................................................................................... 63 CONCEPTOS BÁSICOS Y CONSIDERACIONES METODOLÓGICAS SOBRE LA SISTEMATIZACIÓN DE EXPERIENCIAS .... 66 EL MÉTODO DE LA SISTEMATIZACIÓN DE EXPERIENCIAS ....................................................................... 68 LA SISTEMATIZACIÓN DE EXPERIENCIAS COMO PROCESO PERMANENTE .................................................... 73
EL TRABAJO CON REDES CHACO ............................................................................................. 75 CARACTERIZACIÓN DE REDES CHACO ............................................................................................... 75 FUNDAMENTANDO LA ELECCIÓN DEL ENFOQUE DE LA TEORÍA DEL CAMBIO .............................................. 77 ACERCAMIENTO A LA CONSTRUCCIÓN DE LA TEORÍA DEL CAMBIO DE LA RED ............................................ 79
EVALUACIÓN DE REDES DE DESARROLLO RURAL Y POLÍTICAS PÚBLICAS: CONTEXTO, USOS Y DESAFÍOS PARA LA POLÍTICA SOCIAL ARGENTINA ................................................................... 84 SURGIMIENTO Y EVOLUCIÓN DE LAS PRÁCTICAS DE EVALUACIÓN ............................................................ 85 CONTEXTO SOCIO HISTÓRICO DE LA EVALUACIÓN EN AMÉRICA LATINA .................................................... 86 EVALUACIÓN DE POLÍTICA SOCIAL ¿DE QUÉ ESTAMOS HABLAMOS? ........................................................ 88 EVALUACIÓN DE LA POLÍTICA SOCIAL ARGENTINA: UNA MIRADA DESDE LOS DESAFÍOS ................................. 92
REFERENCIAS BIBLIOGRÁFICAS ............................................................................................... 95
3
Introducción El presente informe da cuenta del trabajo y producción realizada en el marco del
proyecto “Marco Integral para el Monitoreo y Evaluación de Redes: aportes para las redes de Desarrollo Rural en Argentina” desarrollado en el período 2012-‐2014 en el Instituto de Investigaciones Socio-‐Económicas, de la Facultad de Ciencias Sociales, Universidad Nacional de San Juan.
A nivel de iniciativas de apoyo al desarrollo, existe desde hace unos 15 años un interés creciente por el apoyo a la creación y fortalecimiento de redes. A la par de ello, las iniciativas públicas y privadas de cambio social en su conjunto vienen experimentando una creciente demanda por la rendición de cuentas de sus resultados e impactos, asociada a una exigencia de mayor y mejor control de sus acciones. Los gobiernos, los donantes y los profesionales experimentan la presión de demostrar e informar sobre el impacto de sus trabajos.
Juntas, estas dos tendencias configuran un escenario de creciente interés por el monitoreo y la evaluación de impacto de las redes. Si bien un número importante de métodos, herramientas e indicadores han sido propuestos y desarrollados en respuesta a esta demanda, el número de expertos o profesionales que trabajan sobre este tema ha conformado una comunidad relativamente pequeña (Creech, 2001; Creech y Ramji, 2004). Resulta notable la falta de textos y ejemplos prácticos de cómo realizar la evaluación de redes, ya que socializar las lecciones aprendidas en dicho campo no ha sido una práctica extendida.
Esta situación configura un escenario donde el de seguimiento y evaluación de las redes sigue estando en su infancia, tanto en la teoría como en la práctica. Por tanto, el presente proyecto apuntó a cubrir este bache en el conocimiento y práctica del seguimiento y evaluación de redes, elaborando un marco general para el monitoreo y evaluación de redes, y testeándolo con redes de desarrollo rural con participación de pequeños y medianos productores.
El proyecto apuntó a trabajar en el espacio de clarificación teórico-‐metodológico que permitiera identificar las contribuciones de la investigación evaluativa y la sistematización de experiencias, acentuando a su vez las contribuciones que la teoría de la complejidad brinda en dicha discusión. En tal sentido partimos de entender tanto al desarrollo como a los procesos de cambio social encarados por redes de desarrollo rural como procesos complejos. Esto conlleva una atención especial al riesgo de usar herramientas en exceso simplificadoras para abordar dichas dificultades.
Estructura general del informe
El objetivo general del proyecto de investigación procuró cubrir el bache existente en el conocimiento y práctica del seguimiento y evaluación de redes, elaborando un marco general
4
para el monitoreo y evaluación de las mismas, testeándolo con redes de desarrollo rural con participación de pequeños y medianos productores.
Para ello, y luego de esta introducción, el capítulo 1 presenta la conceptualización del paradigma de la complejidad en relación con las prácticas de intervención en escenarios de desarrollo social. Se da cuenta del mismo con atención tanto a la elucidación conceptual como a la atención a los aspectos prácticos relevantes de toda intervención planificada de desarrollo social. Esto se vinculará con el análisis de procesos de cambio social, presentando una tipología y dando cuenta de la pertinencia de diferentes instrumentos metodológicos para el abordaje de cada uno de ellos.
El capítulo 2 propone una mirada teórica y práctica a la investigación evaluativa, como forma de acceso original al monitoreo y evaluación de redes de desarrollo social. Para ello, se analizan distintos enfoques, modelos o tipos de evaluación emergentes que existen en relación con la temática objeto de estudio. Particular atención se presenta a las dificultades y desafíos que presenta el monitoreo y evaluación de redes, a fin de dar cuenta del escenario en el cual se postula el marco general trabajado en este proyecto. Dicha clarificación permite presentar las dos propuestas generales trabajadas en el marco de esta investigación: la teoría del cambio y la sistematización de experiencias.
El capítulo 3 presenta el enfoque de la teoría del cambio, como un marco adecuado para la evaluación de redes. En este capítulo se detalla el abordaje en terreno realizado con una red de redes de desarrollo rural en el norte Argentino, y las posibilidades del enfoque son contrastadas con la práctica de su implementación.
El capítulo 4 da cuenta de la segunda propuesta aportada desde este proyecto, la que se caracterizar por ser un enfoque orientado al aprendizaje, la sistematización de experiencias. Se trata de una estrategia multisectorial para evaluar las intervenciones de desarrollo con énfasis en las lecciones aprendidas. Además de destacar brevemente las raíces de la sistematización de experiencias en América Latina, así como sus similitudes con ciertas tendencias en el campo de la gestión del conocimiento (KM) y la evaluación, el capítulo presenta conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias de desarrollo. Reconociendo la existencia de diversos enfoques metodológicos de sistematización de experiencias, el artículo presenta el método de base que se ha aplicado en diferentes proyectos, basado tanto en la experiencia de los autores, así como en el trabajo de otros practicantes. El mismo constituye así un marco para el monitoreo y la evaluación de las redes de desarrollo rural.
El capítulo 5 presenta el trabajo realizado con Redes Chaco a fin de hacer operativo el enfoque de la Teoría del Cambio, así como los avances realizados en relación a la sistematización de experiencias.
A modo de conclusión del estudio, el último capítulo presenta una reflexión abierta respecto de la relevancia de la evaluación en el complejo escenario de las políticas públicas en
5
Argentina, destacando no sólo el contexto, sino los usos y desafíos futuros para la evaluación en nuestro país. En este capítulo final se retoma brevemente el surgimiento y evolución de prácticas de evaluación a nivel global. Luego, caracterizando el contexto regional, se presenta cómo el campo de la evaluación de políticas públicas ha crecido en los últimos años en América Latina. Tercero, se presenta un breve contexto conceptual sobre la especificidad de la evaluación en el escenario de las políticas sociales, destacando el ‘para qué’ de estos esfuerzos. En cuarto lugar, se resaltan los desafíos presentes y futuros para Argentina en el campo de la evaluación. Finalmente, se presentan las conclusiones, las que, más que cerrar, abren un espacio de reflexión necesario en nuestro país.
6
CAPITULO 1
Desarrollo Social y Evaluación en contextos complejos
Este capítulo presenta la conceptualización del paradigma de la complejidad, en relación con las prácticas de intervención en escenarios de desarrollo social. Como tal, está presentado con atención tanto a la elucidación conceptual como a la atención a los aspectos prácticos relevantes de toda intervención planificada de desarrollo social.
Inicialmente se analizará la lógica de intervención lineal en las instancias de desarrollo, dando cuenta de su incompatibilidad con el contexto complejo de la realidad social. Esto se vinculará con el análisis de procesos de cambio social, presentando una tipología y dando cuenta de la pertinencia de diferentes instrumentos metodológicos para el abordaje de cada uno de ellos.
Lógicas de intervención y ciencia de la complejidad
Toda organización de cambio social procura alcanzar un "impacto" efectivo como fruto de su trabajo. Una concepción común en el mundo del desarrollo es la creencia en un lógica simple de causa y efecto entre lo que una organización orientada al cambio social hace, y el cambio que efectivamente sucede. Dicha lógica lineal –muchas veces conveniente para simplificar los procesos de planificación -‐ ve al mundo desde la perspectiva de sus propios instrumentos y no tiene en cuenta la complejidad inherente de los cambios sociales.
La lógica y los modelos de intervención lineales podrían tener mayor sentido si el cambio social fuera un problema "duro", factible de un abordaje que dé cuenta de objetivos y soluciones ingenieriles. Sin embargo, el cambio social no es sencillo, como lo saben y experimentan las organizaciones que se preguntan cómo actuar ante situaciones difíciles y demandantes (niñez en la calle, cambio climático, violencia doméstica, pobreza, etc.). Estos problemas tienen una naturaleza distinta a la que plantean la construcción de puentes o de diques, ya que cuentan con una multiplicidad de actores, quienes difieren tanto sobre la naturaleza de los problemas así como respecto a cuál sería la mejor respuesta para los mismos.
Las intervenciones de desarrollo se establecen a partir de una forma particular de ver el mundo. Debido a nuestra urgencia de acabar con la pobreza, actuamos como si el desarrollo fuese una construcción material, una cuestión de planificación e ingeniería. De este modo, la pobreza, la vulnerabilidad, la enfermedad son tratados como rompecabezas, y las organizaciones de desarrollo entendidas como las piezas que faltan para completarlo. Esto no sólo da a las intervenciones externas una mayor importancia de la que tienen, sino que también distorsiona la naturaleza de los problemas que enfrentamos, presentando de manera simple el flujo del desarrollo. En lugar de abordar e involucrarnos con la complejidad, la misma es
7
descartada o relegada a un lugar marginal, lo que es facilitado por las herramientas y técnicas que muchas veces usamos. El punto clave es que tratamos a las cosas complejas como si fueran simplemente complicadas.
Para entender el enmarañado proceso de cambio social, la ciencia de la complejidad nos ofrece ideas que no son tan fáciles de derivar de las concepciones tradicionales del cambio social. La ciencia de la complejidad abarca el estudio de los fenómenos sociales complejos, especialmente aquellos que involucran múltiples interacciones entre diversos agentes y actores en el tiempo, y cuyos resultados no son fácilmente predecibles. Este enfoque de la complejidad es crecientemente utilizado como marco para analizar las interacciones entre agentes en sistemas tan diversos como los mercados de valores, el cuerpo humano, los ecosistemas forestales, las empresas manufactureras, el sistema inmunológico, y las instituciones sociales, entre otros.
El paradigma o teoría de la Complejidad aspira a abordar el entramado de las diversas dimensiones sobre las que se organiza la realidad como un “todo”, develando la futilidad del supuesto de que las intervenciones de desarrollo tienen más control sobre sus fines deseados de lo que realmente hacen. Una de las premisas básicas de la teoría de la complejidad aplicada al cambio social es que las direcciones en su desarrollo tienen a menudo poco que ver con los objetivos pre-‐establecido y bien planificados de las intervenciones sociales. Los enfoques centrados en proyectos tienden a basarse en una lógica lineal, de causa-‐efecto, sin dar debida cuenta de la emergencia, flexibilidad, adaptabilidad e innovación necesarias para hacer frente a la complejidad.
En tal sentido, la teoría de la complejidad cuestiona el rol absoluto muchas veces dado a la planificación y el control en situaciones de desarrollo. Dichos factores son coherentes y se corresponden con el paradigma mecanicista que durante siglos dominó el conocimiento, pretendiendo explicar la realidad en función de un solo aspecto de ella: hay “una” causa que produce un efecto; a la acción le sigue la reacción.
Como ejemplos ampliamente difundidos de estas situaciones o sistemas (ver Figura Nº1 1), se han citado como Simple: la elaboración de una torta; como Complicado: el envío de un cohete a la Luna; y como Complejo: la crianza de un niño. En el sistema Simple, las relaciones de Causa a Efecto son fácilmente identificables, en el sistema Complicado, para identificar la relación causa-‐efecto se requiere el análisis, la investigación y/o la ayuda experta. En las situaciones o sistemas Complejos, la relación causa-‐efecto solo puede ser percibida en retrospectiva.
8
Figura Nº1. Gráfico aportado por Ricardo Wilson-‐Grau (2011)
Suelen plantearse dificultades para diferenciar los sistemas o situaciones complicadas de las complejas. Snowden, uno de los teóricos que más ha aportado a estas discusiones, señala que es la misma diferencia que existe entre un Ferrari y la selva tropical húmeda de la Amazonia brasileña. Un Ferrari es una máquina muy complicada, pero un mecánico experto podría desmontarlo y volverlo a montar sin que cambiase nada. El coche es 'estático', y en él el todo es la suma de las partes. La selva tropical, por otro lado, está en constante flujo y su evolución es impredecible: el todo es más que la suma de las partes. El domino de lo Complejo es el dominio de los "Desconocidos Desconocidos", vale decir, ni siquiera sabemos qué es lo que desconocemos.
Criar a un niño se define como un problema complejo, donde las fórmulas tienen una aplicación mucho más limitada, y donde criar a uno proporciona experiencia, pero no garantía de éxito con el siguiente. A pesar de que los conocimientos pueden contribuir al proceso de una manera valiosa, estos proporcionan las condiciones necesarias pero no suficientes para asegurar el éxito. Como cada niño es único y debe ser entendido como un individuo, siempre hay cierta incertidumbre sobre el resultado. Sin embargo, la complejidad del proceso y la falta de certeza no nos llevan a la conclusión de que sea imposible criar a un niño. Es así que los problemas complejos, como el cambio social, nos perturban pues sus características no son reducibles a sus partes constitutivas. Cuando se resuelven, las soluciones no funcionan como recetas que se puede aplicar a otros problemas. Sin embargo, si bien el cambio social es complejo, no es ininteligible.
9
A la vez que es importante reconocer qué funciona en la promoción del cambio social y usarlo como fuente de inspiración para otras intervenciones, es arriesgado generalizar y/o replicar intervenciones exitosas en un nuevo contexto. Incluso en la misma localidad, una misma intervención no tendrá los mismos resultados dos veces. . El medio ambiente y la comunidad están en constante cambio, los actores sociales -‐a diferencia de los robots-‐ no reaccionan de la misma manera. Por tanto, en lugar de buscar fórmulas para el cambio social, puede ser más relevante entender los procesos que llevaron a las intervenciones a producir resultados positivos.
El dominio de lo Complejo es en el que se encuentran gran parte de los sistemas en los que los humanos desarrollamos nuestras existencias. La mayor parte de las situaciones o decisiones que afrontamos en nuestras organizaciones se desarrollan ahí, porque cualquier cambio de cierta entidad introduce impredecibilidad en la evolución del sistema. En este dominio sólo podemos entender por qué han ocurrido las cosas y cómo lo han hecho a posteriori, en retrospectiva. Pero también podemos aprender a manejar las pautas, patrones o esquemas que emergen como consecuencia de la dinámica propia de la situación.
La Complejidad puede estar presente en menor o mayor grado en todas las situaciones de la vida, y puede resultar arriesgado tratar de ajustar forzadamente una situación dada a una sola categoría. En tal sentido es más realista considerar que una misma situación (o una intervención social) puede presentar áreas Simples, otras Complicadas, otras Complejas y que el propósito general debería ser evitar que ésta se convierta en Caótica.
No todos los procesos de cambio son complejos. Por ejemplo: en una campaña de vacunación, la relación causal entre la actividad y el resultado es bastante sencilla, lineal y predecible. Cuando un proceso de cambio y su contexto son de naturaleza sencilla y el actor tiene control sobre la mayoría de los factores en juego, la teoría de cambio es sencilla y lo apropiado para planificar y monitorear el proceso es una herramienta de planificación como el marco lógico. No obstante, operar en procesos de cambio complejos requiere una teoría de cambio que permita entender múltiples relaciones causales, consecuencias intencionadas y no intencionadas, así como los efectos directos e indirectos de lo que hacemos.
La Complejidad hace a la causalidad inherentemente impredecible, por lo que la planificación y el control en situaciones complejas manifiestan una utilidad limitada. A mayor complejidad, más se debe acercar la evaluación a los procesos cotidianos. Si bien es importante no pensar de forma lineal e instrumental acerca de cómo nuestras acciones apoyan el cambio social, también es importante contextualizar y enfocar las mismas de un modo que no impliquen simplemente actuar por instinto o por azar (pues ya dijimos, son inteligibles). Es aquí donde una Teoría del Cambio tiene lugar.
10
Los Procesos de Cambio Social
A pesar de la existencia de numerosas teorías que documentan cómo se produce el cambio social, no hay un acuerdo general sobre lo que el mismo significa. ¿Cómo se define un cambio deseable, cómo ocurre el cambio, cómo se debe promoverlo, y cuál es la mejor forma de medirlo? Aquí entenderemos al cambio social como aquel proceso a largo plazo, complejo, contradictorio y colectivo, mediante el cual las personas definen quiénes son, qué quieren y necesitan, y cómo van a trabajar juntos para conseguir lo que necesitan para mejorar sus vidas. Si bien el concepto puede aplicarse también a cambios individuales de comportamiento en un grupo o comunidad, la noción que utilizamos aquí se refiere a la interacción de cambios individuales y colectivos realizados por y para los grupos involucrados.
Siguiendo a Reeler (2007), podemos identificar tres tipos de cambio social. Los mismos deben ser entendidos como descripciones de cambio social existentes, y no prescripciones, y son parte inherente del desarrollo de un ser social. Si son utilizados para leer con mayor precisión la naturaleza del cambio en un ser social, los tipos de cambio sugieren enfoques de trabajo que tienen más probabilidades de responder con éxito a las realidades que se despliegan sobre el terreno. Pero la primera tarea debe ser entender lo que está sucediendo, antes de rápidamente buscar la respuesta a alguna necesidad identificada, procurando ubicar el proceso en el cual los actores locales relevantes se encuentran.
Cambios emergentes: Se hace camino al andar, como decía el poeta. Son aquéllos que se dan en nuestro desenvolvimiento diario de la vida. Son procesos adaptativos e irregulares basados en el aprendizaje experiencial, y que se dan como consecuencia de los cambios inesperados y/o no planificados que surgen de esta dinámica vivencial. Esto se aplica a individuos, familias, comunidades, organizaciones y sociedades para adaptarse a las realidades cambiantes, de tratar de mejorar y ampliar lo que saben y hacen, de construir sobre lo que está, paso a paso, sin certezas, pero aún así aprendiendo y adaptándose, bien o mal. Las situaciones emergentes requieren relaciones de trabajo con agentes externos que pueden caracterizarse como aprendizaje de acompañamiento.
Hay un sinnúmero de estrategias y métodos utilizados por los practicantes o líderes para abordar los cambios emergentes (investigación-‐acción participativa, el aprendizaje basado en los activos, la investigación apreciativa, el entrenamiento, mentoring, etc.). Muchos de esos métodos han adoptado la lógica del ciclo acción/aprendizaje: hacer, observar, reflexionar, aprender, re-‐planificar antes de hacer la siguiente cosa. En otras palabras, implica un enfoque que acompaña y tiene por objeto mejorar los procesos existentes de cambio, así como favorecer el surgimiento de potencialidades a través del aprendizaje continuo.
Cambios transformativos. En algún momento, en el desarrollo de todos los seres sociales, es típico una crisis o estancamiento hacia el desarrollo. Este puede ser producto de un proceso natural de desarrollo interno, por ejemplo la crisis del adolescente. Puede ser el producto de que un ser social entre en relaciones tensas y contradictorias con su mundo,
11
impulsada por los cambios en el contexto: política exterior, economía, cultura, contextos ambientales. Por ejemplo, miles de maestros en Sudáfrica a fines de los 1990s debieron verse con crisis de disciplina cuando los castigos corporales fueron repentinamente prohibidos por ley. La crisis y el estancamiento preparan el terreno para el cambio. Este tipo de cambio –a diferencia del cambio emergente centrado en el aprender-‐ se basa en el des-‐aprender y en liberarse de aquellas mentalidades, relaciones, identidades, instituciones formales y no formales, etc. que obstaculizan la probabilidad de cristalización de nuevas realidades más justas y equitativas en términos políticos, sociales y económicos. Para los practicantes o profesionales de la acción, comprender los procesos de cambio transformativo existentes demandan prestar una especial atención a las relaciones y su dinámica, las que son por su propia naturaleza aspectos contestados, negados o escondidos, y resistentes a ser examinados. Dicho análisis puede llevar tiempo, esfuerzo y requiere paciencia y apertura hacia cambios repentinos de perspectiva a medida que las distintas capas de la situación y su historia se van descubriendo. Podemos caracterizar el trabajar con cambios transformativos como facilitar el des-‐aprender.
Cambios proyectables. Son los cambios basados en problemas simples o complicados que se pueden resolver mediante proyectos concretos y acciones planificadas desde una lógica lineal. Como seres humanos (dentro o fuera del sector de desarrollo) perseguimos enfoques proyectables para nuestro propio desarrollo, individual o colectivo, planificando y ejecutando proyectos, desde pequeños a grandes. El cambio proyectable, a través de proyectos, tiende a tener éxito donde los problemas, necesidades y posibilidades son más visibles, en condiciones relativamente estables y en relaciones que no están en crisis o estancamiento. Sobre todo, cuando el entorno interno y externo en las relaciones de un sistema son lo suficientemente coherentes, estables y previsibles; y donde los resultados imprevisible no representan una amenaza a los resultados deseados, entonces las condiciones para el cambio proyectable surgen y un proyecto bien planificado empieza a ser posible.
Vale destacar dos orientaciones donde el cambio proyectable domina. Una se caracteriza por un enfoque basado en problemas, fundamentalmente la identificación de problemas y la búsqueda de una solución. Por ejemplo, un grifo que se rompe es identificado y se encuentra una solución. Un cambio basado en problemas trabaja lógicamente con planes desde el presente hacia el futuro. La otra orientación se caracteriza por un cambio creativo que la gente imagina o bien visualiza resultados deseados, no como una solución directa, sino como una nueva situación en la que los viejos problemas son menos o nada relevantes -‐ un salto de la imaginación hacia el futuro. En lugar de buscar un arreglo directo al grifo roto, una nueva fuente de agua puede ser creada o buscada, lo que hace de aquel un problema irrelevante. Un cambio proyectable creativo comienza en el futuro, planifica para llegar allá vía la elaboración de peldaños hacia los resultados deseados. Los peldaños pueden pivotear entre ser fuertemente planificados o vagamente descriptos a medida que las personas descubren su camino, guiados y motivados por la visión que ellos han creado.
Para Reeler, de los tres tipos y condiciones de cambio, el cambio proyectable es posiblemente el más fácil de leer por los practicantes del desarrollo e incluso por las propias
12
comunidades. Podemos caracterizar el trabajar con el cambio proyectable en su primera orientación como apoyo a la planificación y ejecución. La segunda orientación del cambio proyectable caracterizan perfectamente al “cambio deseado” del acercamiento metodológico de la Teoría del Cambio.
En este punto es valioso el aporte de Reeler en cuanto no hay situación que contenga un conjunto exclusivo de condiciones de cambio o un tipo particular de procesos de cambio inherente -‐ siempre hay configuraciones complejas. Sin embargo, ciertas condiciones se hacen dominantes y pueden sostener o incluso precipitar un tipo de cambio o el impulso sobre otro para mantener el centro de gravedad de los procesos de desarrollo. Para el o la practicante, esto significa que no hay una lectura simple de los procesos de cambio y necesitará estar atento al movimiento de cambio -‐ un desafío para mantenerse leyendo la situación y adaptar la práctica en consecuencia.
El Cambio Social puede ser entendido al menos desde cuatro dimensiones, de acuerdo éste se centre en el cambio individual, las relaciones, las estructuras, o la cultura. Cada dimensión puede estar representando más nítidamente el enfoque que están tomando en su trabajo actual los actores de las intervenciones de desarrollo. La reflexión de los miembros de la organización sobre estos asuntos es muy relevante en el inicio de la elaboración de su planificación estratégica o Teoría del Cambio, ya que dicha reflexión permite explorar los supuestos y prácticas de las organizaciones en su vinculación con el cambio social en general, y el cambio social en particular al cual la intervención social apuntará.
En este sentido, resulta clave plantearse un ejercicio al interior de la organización donde los distintos actores de la intervención social puedan reflexionar sobre su posicionamiento en relación al cambio social. El trabajar sobre los supuestos y orientaciones hacia el cambio de cada uno de ellos se convierte en un insumo muy importante para pensar a su vez el cambio al cual tiende la organización. Esta tarea de trabajo sobre supuestos y orientaciones es básicamente un ejercicio de explicitación de los valores y los principios que cada uno es portador. Sin embargo, funciona al mismo tiempo como un ejercicio de auto-‐conocimiento, pues al llevarnos hacia dicha explicitación, debemos traer al plano de la conciencia y del discurso lo que muchas veces damos por sentado y naturalizamos en nuestra acción en la organización. Sin este paso de auto-‐clarificación tanto a nivel individual como colectivo, las decisiones sobre el cambio deseado carecerían de un sustento firme y compartido. Se correría también el riesgo de que los integrantes de la organización asumieran que persiguen un fin consensuado, cuando en realidad éste puede estar siendo entendido de manera distinta por diferentes personas.
Para ello resulta valioso contemplar las cuatro dimensiones del cambio profundo y sostenible, presentados en la Figura Nº 2 (próxima página). La explicación de los cuadrantes de modo participativo facilita el entendimiento común de cada uno de ellos, lo cual permite avanzar hacia una definición consensuada de lo que las distintas dimensiones comprenden. Una vez alcanzado dicho consenso, los integrantes de la organización deben elegir aquel que cada uno prioriza o considera más relevante en el marco de su trabajo en la organización. Luego que
13
están todos los participantes ubicados, se brinda un tiempo para dialogar entre las personas que comparten el mismo cuadro, compartiendo sus razones de ubicarse ahí y su comprensión de dicha dimensión, para posteriormente en plenario se hace una puesta en común.
INDIVIDUAL
− Énfasis en la transformación personal − Ayudar a las personas a crecer y desarrollar
una mayor autoconciencia − Educación para ampliar la base de
conocimientos − Capacitación para ampliar la base de
competencias − Atención a la salud mental y espiritual, y al
crecimiento − Explicitar y examinar hipótesis, mentalidades,
modelos mentales − Transformaciones no sólo en "lo que" se
sabe, sino "cómo" se sabe (epistemología)
RELACIONES
− Transformación de las relaciones − Reconciliación / transformación de
conflictos − Fomento de la confianza − Promoción del respeto y el
reconocimiento − Aumento de conocimiento y conciencia
de interdependencia − Cambiar patrones de relaciones
disfuncionales
CULTURA
− Transformación de patrones colectivos de pensamiento y acción
− Cambiar las "reglas" y los valores que sustentan patrones de exclusión
− Exploración y transformación de hábitos colectivos de pensamiento y comportamiento
− Promoción de una cultura más incluyente y participativa de "compromisos cívicos"
− Transformación de patrones de discursos simplistas y distorsionados.
ESTRUCTURAS / SISTEMAS
− Transformación de estructuras, procesos, y mecanismos
− Presión por políticas más justas, mayor transparencia y responsabilidad, y la reorganización institucional
− Asignación de recursos y servicios de una manera más justa y equitativa a procesos de reforma
Figura Nº 2. Cuatro dimensiones del cambio profundo y sostenible
El ejercicio permite realizar una identificación preliminar de condiciones relevantes para el cambio social en el contexto de la organización, a la vez que facilita también el pensar en otros actores relevantes en su ámbito de inserción. Permite poner en común supuestos sobre el tipo de cambio buscado, y ahonda en la explicitación de las hipótesis de cambio personales de los actores de la organización.
14
El espacio para la investigación evaluativa
Durante la última década ha crecido en importancia y presencia el movimiento tendiente a alcanzar políticas basadas en la evidencia. Éste sostiene que los hacedores de política deberían tomar sus decisiones sobre la base de la mejor evidencia disponible respecto a “qué funciona”, y no sobre la base de ideologías o en respuesta a intereses particulares. Uno de sus supuestos base es que no toda la evidencia ha sido lo suficientemente rigurosa como para brindar certezas en la toma de decisiones, por tanto se acentuó la orientación en pos de apuntalar determinados enfoques y metodologías que, dado su planteo riguroso, llevaran a resultados superadores. Este contexto general ha favorecido el debate y la discusión sobre la evaluación (y en particular de la evaluación de impacto) desde diferentes ámbitos y espacios (políticos, académicos, sociales, etc.).
Es así que el crecimiento en número de las evaluaciones en la última década ha sido notable, a la par con la preocupación por la calidad de sus métodos, conclusiones y recomendaciones. Un elemento recurrente da cuenta del alto costo que dichas evaluaciones suelen conllevar, junto a un contexto de su realización donde son comunes las limitaciones de tiempo, información y –en ocasiones-‐ respaldo político. Dadas dichas limitaciones, corresponde entonces reflexionar a fin de optar por el diseño más riguroso posible en función de las limitaciones existentes. Una buena evaluación alcanza el equilibrio entre los imperativos de utilidad y orientación práctica, rigurosidad, y respeto a los principios éticos.
La relevancia creciente que ha ganado la evaluación se corresponde con las razones que dan cuenta de su importancia. Conocer el impacto de una intervención particular (un programa, un proyecto) facilita la toma de decisiones respecto a su continuidad, su modificación, o bien su finalización. Cualquiera sea el curso a tomar, la evaluación debería facilitar el aprendizaje respecto a cómo replicar o aumentar la escala de una experiencia piloto, incluso brindando criterios para su adaptación a otro contexto. Junto con este componente de aprendizaje está el componente de rendición de cuentas de la intervención, tanto para los que la financian (donantes, recursos públicos, etc.) a fin de mostrar que los recursos se están invirtiendo prudentemente, como también hacia distintos actores sociales (comunidades, beneficiarios, organizaciones de la sociedad civil).
Un acercamiento general a la conceptualización de la evaluación señala que la misma investiga los cambios provocados por una intervención. La escala de este tipo de intervenciones puede ser de distinto tipo: desde un proyecto pequeño y local sobre educación de adultos; un programa encarado por una ONG para el fortalecimiento de la sociedad civil; una secuencia de proyectos de administración de recursos naturales ejecutada en un área geográfica; o un conjunto de actividades concurrentes realizadas por diferentes organizaciones con el fin de mejorar la capacidad de una comunidad. La diversidad de definiciones existentes sobre la evaluación manifiesta distintos énfasis, lo cual tiene a su turno consecuencias en la selección de diseños y métodos para llevarla adelante.
15
En círculos académicos y políticos se ha dado un intenso debate respecto a qué debería considerarse una evaluación de rigurosa. Este debate ha tendido a polarizarse entre los que postulan la aplicación de métodos experimentales y cuasi-‐experimentales, versus quienes postulan una mayor amplitud y pertinencia en el uso de otros acercamientos metodológicos.1. Los primeros han sido referidos en la literatura como “randomistas”, en referencia al apego a la metodología de las pruebas aleatorias controladas (randomized control trials, o RCT por sus siglas en Inglés), sosteniendo que la aleatorización es el único medio capaz de garantizar que el sesgo de selección no observable sea tenido en cuenta. Vale decir, la elección de quiénes serán beneficiarios de una intervención determinada versus la elección de quiénes conformarán un grupo control, debe ser hecha al azar y partiendo de un universo común de actores: todos deberían tener las mismas chances de terminar en un grupo o en el otro.
En la vereda opuesta a los randomistas se sitúan aquellos que sostienen que la aleatorización es excepcionalmente apropiada para ser usada en la evaluación de intervenciones de desarrollo, sugiriendo que apenas un 5% de los programas de desarrollo son factibles de ser evaluados mediante un diseño del tipo RCT.2 E incluso cuando sí es apropiado el uso de ese tipo de diseño, el uso de los contrafactuales apenas permite responder preguntas contingentes y asociadas a contextos particulares, y que sus hallazgos no pueden ser usados para generalizar en otros escenarios (lo que suele denominarse una baja validez externa3), a menos que sean acompañados por un conocimiento más minucioso de los mecanismos causales operantes en el proceso que va de la posible causa al efecto.4
1 Los enfoques experimentales y cuasi-‐experimentales son muy similares en sus desarrollos, siendo la principal diferencia la perspectiva desde la cual se plantea la identificación de los grupos poblacionales factuales (aquellos beneficiarios de la intervención) y contra factuales (denominados grupos control y comparativo, respectivamente).Mientras que el acercamiento experimental procura una separación efectiva de la población, definiendo grupo factual y tratamiento o control antes de iniciar la intervención, la perspectiva cuasi-‐experimental busca recrear dicha distinción de beneficiarios y no beneficiarios con características similares que puedan ser comparados de forma unipersonal para establecer diferencias estadísticas en las variables que se desea testear.
2 Bamberger, M., Rugh, J. and Mabry, L. (2006) RealWorld Evaluation. Thousand Oaks, CA: Sage Publications.
Rugh, J. and Wally, N. (2011) What´s involved in “Rigours impact evaluation”? NONIE Conference, Paris.
3 Ravallion M (2009). Should the randomistas rule? The Economists' Voice. 6 (2): 1–5.
4 Un aporte adicional brinda la reflexión de Rick Davies sobre contrafactuales relativos versus absolutes “Relative rather than absolute counterfactuals: A more useful alternative?”, disponible en http://mandenews.blogspot.com.ar/2011/09/relative-‐rather-‐than-‐absolute.html
16
En la esfera de la evaluación del desarrollo internacional, los avances realizados en el campo de la evaluación han sido importantes, si bien ha existido una mirada crítica de distintos actores y organizaciones de evaluación5 sobre el exagerado énfasis dado a los diseños experimentales y cuasi-‐experimentales de evaluación sobre otros. En este sentido, los contrafactuales -‐íntimamente asociados a la metodología RCT-‐ son una de las formas más discutidas para pensar la causalidad en la evaluación. De algún modo, sus propulsores han logrado apoderarse del calificativo “riguroso” para caracterizar su metodología, en oposición a otras que usarían acercamientos más “blandos”.
Un acercamiento muy valioso a una reflexión más amplia sobre estos puntos ha sido el estudio encargado por el Departamento para el Desarrollo Internacional (DfID) del gobierno británico, titulado “Ampliando el rango de diseños y métodos para la evaluación de impacto” (material en Inglés), conducido por el Dr. Elliot Stern junto a un equipo de destacados evaluadores internacionales. Ellos dicen:
“Pero los supuestos del pensamiento contrafáctico no siempre se sostienen (por ejemplo, puede ser difícil o imposible la búsqueda de una coincidencia idéntica para el mundo factual, esto es, el mundo en el que han sido la causa y el efecto observados), e incluso cuando lo hacen, los contrafácticos asocian un causa con un efecto determinado, sin proporcionar información sobre lo que ocurre en el medio: cómo es el efecto producido. Esta información puede ser importante para los propósitos de atribución, porque conociendo sólo el principio y el final del proceso causal puede no ser suficientemente minucioso en algunas situaciones. (Stern et al., 2012:7)
Esta idea de la insuficiencia en conocer apenas los extremos del proceso causal es lo que ha sido referido muchas veces como “caja negra”, en la cual conocemos los insumos por un lado y los resultados finales por otro, pero el cómo se pasa de uno a otro se pierde en el medio, y queda indescifrable. En tal sentido es muy interesante ver algunas confluencias crecientes de parte de instituciones y organismos que han apostado fuerte por la preferencia hacia diseños experimentales y cuasi-‐experimentales, pero que empiezan a hacer explícito la necesidad de contar con una buena teoría del cambio.
En el caso del BID, cuya definición de la evaluación rigurosa considera que la misma apunta a determinar el efecto causal neto de una intervención en un indicador de interés, no limita la conceptualización a dichos elementos. Complementan su concepto de la evaluación
5 Developing an inclusive approach to evaluating the impact or effects of policy and development interventions, Murray Saunders on behalf of IOCE, accesible en http://ioce.net/download/ioce_docs/IOCEstatementonimpact.pdf
17
sosteniendo que no se pregunta únicamente si existió un efecto causal neto, sino también la causa por la cual se produjo (o no) dicho efecto. A tal fin, resulta importante explicitar la lógica del proyecto y analizar la existencia de otros mecanismos y variables.
En el mismo sentido se explaya Howard White, director ejecutivo de 3iE, quien reconoce la necesidad de una buena teoría del cambio para sostener los diseños de evaluación6. En muchos casos, sino la mayoría, dicha teoría del cambio permite hacer explícitos los supuestos en las distintas etapas de la implementación del proyecto, si bien no suele recogerse información de modo sistemático a lo largo de la cadena causal. En un próximo capítulo se profundizará tanto los elementos de la investigación evaluativa, como los aportes que una teoría del cambio puede brindar al monitoreo y evaluación de redes.
6 Véase el desarrollo de Howard White para justificar el uso de la cadena de resultados como mecanismo para dar sentido a los datos cuantitativos en el siguiente enlace. http://www.3ieimpact.org/en/blog/2013/02/12/using-‐causal-‐chain-‐make-‐sense-‐numbers/
18
CAPITULO 2
La Investigación Evaluativa y los enfoques emergentes de Evaluación
Este capítulo presenta a la Investigación Evaluativa como una herramienta necesaria para mejorar los resultados y procesos de las intervenciones profesionales, y de esta forma contribuir al desarrollo social y al bienestar ciudadano. Como se verá, la investigación evaluativa se equipara a otras formas de investigación social, pero la especificidad viene de los objetivos y de las condiciones de realización, el evaluador se ve obligado a trabajar en el contexto natural del programa.
En la segunda sección se presentan diversos enfoques, modelos o tipos de evaluación que pueden ser considerados emergentes e innovadores.
Sobre dicha base, en la tercera y última sección del capítulo se da cuenta de las particularidades que presenta el monitoreo y evaluación de redes, sobre el cual presentaremos dos aportes que conforman un marco pertinente para dicho fin.
Investigación Evaluativa
La investigación evaluativa se convierte, en la actualidad, en una importante fuente de conocimientos y directrices, en las diversas actividades e instituciones de las sociedades modernas porque indica el grado de eficiencia o deficiencia de los programas y señala el camino para su reformulación y valoración del éxito alcanzado por los esfuerzos realizados. Se vale de los métodos y el instrumental de la investigación social; por lo tanto, su desarrollo sigue sus mismas evoluciones, lo cual le permite una aproximación permanente a criterios de cientificidad. (Correa Uribe, Puerta Zapata y Restrepo Gómez, 2002)
Siguiendo a (Suchman, 1967: 119). “La investigación evaluativa es un tipo especial de investigación aplicada cuya meta, a diferencia de la investigación básica, no es el descubrimiento del conocimiento. Poniendo principalmente el énfasis en la utilidad, la investigación evaluativa debe proporcionar información para la planificación del programa, su realización y su desarrollo. La investigación evaluativa asume también las particulares características de la investigación aplicada, que permite que las predicciones se conviertan en un resultado de la investigación. Las recomendaciones que se hacen en los informes evaluativos son, por otra parte, ejemplos de predicción”.
Se plantea una relación intrínseca entre la planificación del programa, su desarrollo y la evaluación. Los medios para alcanzar dichos fines (la investigación evaluativa) deben
19
proporcionar la información básica para planificar y, si es necesario, re planificar los programas. Así como la investigación tradicional suele conducir hacia una comprensión más amplia de los procesos básicos, la investigación evaluativa debe “conducir a una mayor comprensión de los procesos aplicados o administrativos”.
Uno de los máximos referentes en el campo de la investigación evaluativa ha sido Carol H. Weiss (1985, p. 16), quien plantea como propósito de la investigación evaluativa “medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones subsiguientes acerca del programa y para mejorar la programación futura”. Aparecen aquí cuatro rasgos primordiales: la expresión “medir” hace referencia a la metodología de la evaluación que se emplea. La expresión “los efectos” hace hincapié en los resultados del programa. La “comparación” de los efectos con las metas subraya el uso de criterios explícitos para juzgar hasta qué punto el programa está marchando bien. La “contribución” a la toma de decisiones subsiguientes y al mejoramiento de la programación futura denota la finalidad social de la evaluación.
Asimismo, enfatiza el obligado entorno político de la investigación evaluativa. No basta hablar de entorno social, es necesario hablar de entorno sociopolítico. En primer lugar, porque la investigación evaluativa trata con objetos, programas, instituciones, etc., que son criaturas políticas, de impacto político. En segundo lugar, porque la evaluación se hace para alimentar la toma de decisiones y, por lo tanto, sus informes entran en la arena política, compitiendo con otros elementos y factores intervinientes en el proceso. Finalmente y en tercer lugar, por algo que según Weiss es menos reconocido, esto es, porque la propia evaluación tiene un sentido político en sí misma. Por su propia naturaleza, la evaluación toma posiciones políticas implícitas sobre la naturaleza de los programas, la legitimidad de sus objetivos, de sus métodos, la utilidad de las estrategias de reforma propuestas, e incluso la influencia lógica del científico social en la política. Este último argumento de Weiss entendemos que puede variar, pero sí creemos que ni el evaluador se mueve en un contexto neutro, ni el objeto que analiza está exento a presiones del contexto propio del mismo.
Por su parte, Berk y Rossi (1990) señalan al menos tres conceptos claves en la investigación evaluativa, esto es, el espacio político –tal como lo hace Weiss-‐ que enmarca el dominio de las decisiones, los implicados (stakeholders), responsables políticos, participantes, responsables administrativos, etc., y la eficacia de los programas, con sus múltiples perspectivas de análisis, tanto internas como externas.
Stake (1998), plantea la obligación de atender a los múltiples intereses y códigos éticos, también a los de los contrarios y, especialmente, a los de los desfavorecidos, en consonancia con los planteamientos de la corriente postmodernista de la evaluación. Por ello, es crítico con la mayoría de las prácticas evaluadoras recientes que, según su opinión, atienden básicamente los intereses de los contratantes de las evaluaciones, descuidando otros intereses y la propia calidad de los programas. En consonancia con esta misma línea de pensamiento, Mertens (1999) defiende fuertemente el papel de la investigación evaluativa y de los evaluadores en la promoción de cambios sociales justos, a favor de los discriminados y de los más desfavorecidos.
20
Defiende la inclusión como stakeholders de los tradicionalmente ignorados, pero nos dice que no basta con incluir sus voces en la evaluación; se necesita un paso más. Sus voces proporcionan más credibilidad a la evaluación, pero la transformación sólo puede ocurrir realmente si su información es usada para fundamentar programas sociales que intenten atajar las desigualdades existentes.7
En definitiva, y desde la mirada u orientación que se pretende dar a esta investigación, la investigación evaluativa es, en términos generales, “un tipo de investigación aplicada, que incide sobre objetos sociales, programas, centros, agentes, etc., que analiza y juzga su calidad estática y dinámica según criterios científicos rigurosos múltiples, con la obligación de sugerir, a las diversas audiencias implicadas, acciones alternativas sobre los mismos para diferentes propósitos como utilización, mejora, acreditación, fiscalización, reforma, etc. (Escudero, 1996). En este sentido, la investigación evaluativa se equipara a otras formas de investigación social, pero la especificidad viene de los objetivos y de las condiciones de realización, el evaluador se ve obligado a trabajar en el contexto natural del programa.
Se rescata el estudio de Bustelo (s/f) que analizan las diferencias y semejanzas entre la evaluación y la investigación. La diferenciación se realiza sobre la base de la necesidad de clarificar la naturaleza de ambos conceptos y de afirmar la identidad de la evaluación de programas como actividad científica diferenciada. Estos autores ponderan los peligros del mal uso y abuso de las evaluaciones que hacen otras personas, responsables políticos, gestores, etc., que son más difíciles de controlar y combatir.
7
21
CRITERIO INVESTIGACIÓN EVALUACIÓN NATURALEZA/ CONCEPTO
Es un tipo de indagación disciplinada que se lleva a cabo para resolver algún problema de forma que se consiga entendimiento o se facilite la acción. Modo de indagación académico
Es un tipo de investigación disciplinada que se lleva a cabo para determinar el valor (mérito y/o valía) del objeto evaluado (programa, proyecto, servicio o política) con el fin de mejorarlo, rendir cuentas y/o ilustrar acciones futuras. Modo de indagación práctico
FINALIDAD Y CONDICIONANTES
Puede ser básica o aplicada. Construcción de conocimiento. Debe ser una contribución relevante para la comunidad científica. Trasciende temporalmente
Siempre es aplicada. Mejora de los programas, Rendimiento de cuentas, Ilustración de acciones futuras. Debe tener capacidad de respuesta ante y cierta lealtad hacia los responsables de los programas. Debe ser oportuna en el tiempo
CONTEXTO Escenario de investigación (lo prioritario es la investigación). El contexto es un factor más a tener en cuenta (no necesariamente determinante). Carácter más técnico
Escenario de acción (lo prioritario es el programa evaluado y no su evaluación) El contexto es determinante. La evaluación es dependiente del contexto y tiene por objetivo la respuesta a dicho contexto específico. Carácter marcadamente político
OBJETO Referido a problemas (QUÉ se aborda). Se interesa por la evolución de un problema en abstracto. Se puede centrar en algunos aspectos concretos
Referido a las intervenciones para abordar dichos problemas (CÓMO se aborda). Se interesa por la evolución de un problema a consecuencia de la intervención en el mismo. Tiende a considerar la intervención de forma global
MÉTODO Referido la selección, recopilación y análisis de la información.
Referido al diagnóstico de la situación evaluativa, la elección del tipo de evaluación, a la definición de los criterios de evaluación, a la recopilación y análisis de información, a la valoración y emisión de juicios a la luz de los criterios de evaluación, al establecimiento de recomendaciones y a la comunicación de los resultados para conseguir una mayor utilidad/utilización de la evaluación
DESTINATARIOS Grupos abstractos. Comunidad científica. De forma secundaria, comunidad de política o programa
Grupos y personas concretas Cliente, patrocinadores. Responsables, profesionales Implicados (stakeholders): agentes, beneficiarios y víctimas del programa evaluado. De forma secundaria, comunidad científica
RESULTADOS: PRODUCTOS Y EFECTOS ESPERADOS
Publicación de resultados. Aportación a y reconocimiento de la comunidad científica
Recomendaciones para la acción. Informes normalmente no publicados Comunicación y difusión activa de los resultados a los interesados. Utilidad y utilización de los resultados y los procesos de evaluación.
Figura Nº 3. Diferencias entre Investigación y Evaluación (Bustelo, s/f)
22
Enfoques y Tipos de Evaluación Emergentes
Enfoque del monitoreo y evaluación participativa
Según Gallego (s/f), las primeras experiencias de evaluación participativa datan de los años setenta8.Sin embargo, no es hasta la década de los ochenta cuando comienza su sistematización y difusión en el ámbito del desarrollo, a través de la realización de talleres, la presentación de estudios de caso y la publicación de todo tipo de materiales. Desde entonces, se ha producido un crecimiento vertiginoso en la evaluación participativa de proyectos y/o programas de desarrollo, lo cual se explica fundamentalmente por dos razones:
− La inclusión de la participación en la evaluación es una prolongación más del modelo de desarrollo participativo, más conocido como modelo de desarrollo centrado en la gente: defiende (frente al modelo tecnócrata tradicional) la primacía de la gente como destinatarios últimos de las acciones de desarrollo, para lo cual es necesario adaptar el diseño, la ejecución y la evaluación de dichas acciones a sus necesidades, y no a la inversa.
− La necesidad de garantizar la sostenibilidad de las acciones de desarrollo: ha conducido a los gobiernos donantes y a las agencias financiadoras a fomentar el aprendizaje y la construcción de capacidades locales como objetivos prioritarios de todo ejercicio de evaluación.
Se expondrán algunas de las definiciones más relevantes de Monitoreo y Evaluación Participativa (MEP):
− ABBOT y GUIJT: el Monitoreo Participativo “describe una amplia gama de enfoques de monitoreo que desarrollan asociaciones entre los beneficiarios múltiples para lograr un monitoreo eficiente, efectivo, e incluso más social”9
− El World Wildlife Fund (WWF): define la Evaluación Participativa como “aquella que involucra al personal del proyecto en una evaluación periódica que analiza la eficiencia y la relevancia del proyecto, así como su impacto en el contexto de los objetivos establecidos. Para ello, se involucra directamente a todos los participantes en el proceso, en particular a los miembros de
8En concreto, M.T. Feuersteinlo aplicó en el desarrollo de sistemas de salud elemental con mujeres rurales en Honduras. Véase al respecto, FEUERSTEIN, Marie-‐Thérése: Partners in evaluation. Evaluating development and community programmes with participants, Macmillan Education Ltd., Londres, 1986, p. 196.
9 ABBOT, Joanne e Irene Guijt: Changing views of change: participatory approaches to monitoring the environment, SARL discussion paper 2, IIED, Londres, 1998.
23
la comunidad, en la planificación y desarrollo de la evaluación, lo que ayuda a construir el consenso y la comprensión mutua”10
Alcance, pertinencia y limitaciones
En cuanto al alcance y pertinencia de este enfoque, resalta un aspecto que se considera que incide en la trascendencia e incidencia que puede tener la evaluación de una política, programa u proyecto cuando la misma se da mediante una evaluación participativa, entendiendo a la participación como un “formar parte de” y no una seudo participación, rescatando los aportes de todos los actores involucrados en pos de cumplir con los objetivos propuestos. Por tanto, se considera que dicho aspecto debería estar presente en todas las evaluaciones de los programas de desarrollo social, considerando la horizontalidad en las relaciones entre los involucrados.
Más que limitaciones, se puede decir que este enfoque presenta algunas dificultades en cuanto a su implementación ya que requiere de un arduo trabajo de todos los involucrados y una postura por parte de evaluador que respete y considere la visión del otro como un semejante que va contribuir desde sus significaciones a una construcción mutua.
La Reflexión evaluativa y el Uso del proceso
Según Patton (2004), cada evaluación centrada en el uso enseñaría a la gente a reflexionar críticamente, representando con ello una oportunidad para fortalecer la democracia a nivel local y nacional. Un desarrollo significativo en el campo de la evaluación en la última década ha sido el surgimiento del uso del proceso como una importante contribución evaluativa. El uso del proceso es diferente al uso de los hallazgos y se manifiesta en cambios de reflexión y conducta, así como de procedimientos y cultura a nivel programático u organizacional, los cuales se producen como consecuencia del aprendizaje que tiene lugar durante el proceso de evaluación.
Enseñar a reflexionar evaluativamente puede generar un impacto más duradero a partir de una evaluación, que el uso de hallazgos específicos. Los hallazgos específicos típicamente tienen una ventana pequeña de relevancia. En cambio, aprender a reflexionar evaluativamente puede tener un impacto permanente. Los interesados (stakeholders) que participan activamente en una evaluación desarrollan una creciente capacidad para interpretar evidencia, extraer conclusiones y emitir juicios.
10Larson, Patricia y Dian Seslar: Participatory Monitoring and Evaluation: a practical guide to successful ICDP’s , WORLD WILDLIFE FUND (WWF), Washington, p.178.
24
Desde esta perspectiva, Patton plantea la inquietud de ¿considerar cada evaluación como una oportunidad para que los involucrados practiquen la reflexión? Es decir, que cada evaluación centrada en el uso, al involucrar activamente a los usuarios en el proceso, enseñaría a las personas a reflexionar críticamente, representando con ello una oportunidad para fortalecer la democracia a nivel local y nacional. Por tanto, este enfoque supone nuevas posibilidades de capacitación para la profesión de la evaluación. La mayor parte de la capacitación se centra en capacitar a los evaluadores, es decir, poner el acento en el lado de la oferta de nuestra profesión. Pero también necesitamos capacitar a los usuarios de nuestras evaluaciones, a fin de fortalecer el lado de la demanda y ampliar la capacidad del público en general para reflexionar evaluativamente.
Alcance, pertinencia y limitaciones
Se considera que por el valor que suscita la evaluación centrada en el uso, se debe tener en cuenta como un aspecto presente en todas las evaluaciones ya que apunta a reflexionar sobre la significación que le damos a cada evaluación y que esto se transforme en una constante en el quehacer evaluativo, independientemente del enfoque que el evaluador utilice.
En relación a las limitaciones consideramos que más que un enfoque es un razonamiento el que hace Patton, por tanto no existe la suficiente información que deje explicito una metodología necesaria para poder llevarla a cabo correctamente.
Aspectos metodológicos de la evaluación continua
“La evaluación continua de un programa o proyecto de desarrollo rural integrado es un proceso que se lleva a cabo durante la ejecución del mismo”11. Para Osvaldo Feinstein (1986) el objetivo primordial, de esta evaluación, consistiría en contribuir a proporcionar informaciones que admitan realizar los ajustes precisos para garantizar o al menos aumentar la probabilidad de que se logren los propósitos del programa, con una apta utilización de los medios previstos para su realización.
La importancia de esta evaluación, para Feinstein (1986) estaría en que siempre será necesario realizar ajustes, dado que el conocimiento, a la hora de la formulación del programa
11Feinstein Osvaldo. Aspectos metodológicos de la Evaluación Continua. Estudios Rurales Latinoamericanos. mayo-‐agosto 1986.
25
o proyecto, es ineludiblemente limitado, más allá de que al momento de planificar el proyecto se haya introducido un conjunto de supuestos (a veces implícitos), ya que algunos de ellos, es prácticamente seguro que mientras se lleva a cabo el proyecto, dejen de ser válidos y deberán revisarse. A demás, “cuantas más innovadoras sean las intervenciones proyectadas, mayor será la incertidumbre sobre los comportamientos y factores relevantes para el logro de los objetivos del programa. En otras palabras, el pasado será poco útil como guía para el futuro”12.
Todo esto posibilitara el poder ir “aprendiendo de la experiencia”. Según Feinstein (1986), es precisamente en esto donde la evaluación continua encuentra su mayor argumento, es decir, en la actualización del diseño del programa, que lleva al ajuste de este durante su ejecución en función de la experiencia adquirida desde el comienzo de las actividades y de los cambios que se hayan verificado en el entorno del programa.
Este autor, expone que a la hora de llegar a la práctica, es decir, cuando la evaluación continua se lleva a cabo, se realiza asiduamente a través de los siguientes tipos de comparaciones:
− Entre "metas y logros" − Entre "actividades previstas y actividades realizadas"
De este modo, la marcha del proyecto se juzga habitualmente del siguiente modo: más positiva cuanto más se han logrado los objetivos.
Alcances y limitaciones
Dentro de las ventajas del enfoque, se puede destacar que el mismo puede ser útil, a la hora de evaluar, ya que ante una realidad siempre cambiante, se tornara preciso realizar ajustes, dicho de otro modo el pasado termina siendo escasamente útil como guía para el futuro. La evaluación centrada en el uso posibilita el poder ir actualizando el programa, realizando modificaciones al mismo durante su ejecución, lo que permite retomar el rumbo en caso de haberse perdido, o poder modificar a tiempo lo que sea necesario para llevar a cabo el proyecto. Es decir, da la oportunidad al evaluador de “estar siempre alerta” y el poder desarrollar estrategias, tener un plan B en caso de que las cosas no funcionen.
En lo que respecta a las limitaciones, se considera que este enfoque debería darse en cualquier tipo de evaluación que se realice, como complemento, dado que más que un enfoque, sería como un principio general que toda evaluación debería poseer.
12Idem 20
26
Integración de los Derechos Humanos y la Igualdad de Género en la evaluación
Es importante destacar que éste es un enfoque relativamente reciente, al menos en lo que compete a la evaluación propiamente dicha. La Integración de los Derechos Humanos (DD.HH) y la Igualdad de Género en la evaluación, tiene como fin establecer una “guía con opciones sobre cómo integrar las dimensiones de DD.HH. e igualdad de género en todas las áreas de trabajo, incluida la evaluación13”. Esta guía está contenida en un manual, que fue desarrollado por el Grupo de Evaluación de las Naciones Unidas (UNEG) sobre Derechos Humanos e Igualdad de Género.
En definitiva lo que se pretende a través de este enfoque es incluir en la evaluación una visón que posibilite enriquecer la “integración de lecciones aprendidas, exigir resultados a las partes interesadas y, a su vez, mejorar las políticas y la programación, lo cual contribuirá a la realización de los DD.HH e igualdad de género y al mismo tiempo alcanzar los Objetivos del Desarrollo del Milenio (ODM) y otros mandatos de la ONU”14.
La UNEG (2011), propone que la evaluación debe ser susceptible a los Derechos Humanos y la igualdad de género, lo que implica abordar los principios de programación de la misma forma que lo requiere una orientación basada en los derechos humanos y una estrategia de transversalización de género. Lo que favorece al proceso de cambio tanto social como económico, que es crucial para considerarlo parte de la programación de desarrollo, reconociendo y analizando las desigualdades, prácticas discriminatorias y relaciones desiguales de poder, que en general son el centro de los problemas del desarrollo. Es decir, la evaluación puede y debería ayudar a que las intervenciones sean más seguras y los resultados más sostenibles.
De lo contrario, una evaluación que desatiende u omite tener en cuenta los derechos y la igualdad de género, imposibilita que se puedan conseguir pruebas sobre quién se beneficia (y quién no) con las intervenciones, corriendo el riesgo de reproducir la estructura y las prácticas discriminatorias, perdiendo la oportunidad de demostrar cómo se llevan a cabo las intervenciones eficaces.
Finalmente, si bien anteriormente se hizo referencia a una serie de principios, sería importante destacar de un modo más detallados los mismos. De este modo las evaluaciones
13Documento Orientativo. Integración de los derechos humanos y la igualdad de género en la evaluación – hacia una guía del UNEG/G(2011)2.
14Idem 23
27
que abordan los DD.HH. y la igualdad de género compartirían los siguientes principios que estarían interrelacionados, para la UNEG (2011) serían los siguientes:
− Inclusión: este principio, requiere prestar una cuidadosa atención y tener en cuenta qué grupos son los que se benefician y cuales contribuyen con la intervención evaluada. “Una evaluación debe reconocer quiénes son estas partes interesadas, cómo son afectadas, y mostrar cómo minimizar los efectos negativos”15.
− Participación. La evaluación de los DD.HH. y la igualdad de género debe ser participativa. Es decir, que “todas las partes interesadas de la intervención tienen derecho a ser consultadas y a participar en las decisiones sobre qué será evaluado y cómo”16.
− Relaciones iguales de poder. Desde este enfoque, la evaluación debe buscar, entre otras cosas, el “equilibrio de poder en las relaciones entre grupos favorecidos y desfavorecidos y dentro de los mismos”17.
Alcances y limitaciones del enfoque
Dentro de las ventajas de este enfoque, se puede destacar que, proporciona ciertos lineamientos, que no solo es importante tener presente en la práctica de la evaluación, sino en toda práctica que se realice. Ya que resalta, los derechos y la igualdad de género. Lo que proporciona al evaluador el no perder de vista que una evaluación debe reconocer quiénes son las partes interesadas, cómo son afectadas, y mostrar cómo minimizar los efectos negativos. Del mismo modo no olvidar que todas las personas que participaron en el programa/proyecto tienen derecho a ser consultadas y a participar en las decisiones sobre qué será evaluado y cómo. Sumando a esto, desde este enfoque se busca que el evaluador trate de tener conocimiento de su propia posición de poder, que puede influenciar las respuestas a las preguntas que se formulan durante la interacción.
En lo que respecta a las limitaciones, básicamente estarían en su aspecto “Metodológico”, es decir, no proporciona de un modo claro, ningún procedimiento o conjunto de procedimientos racionales, que puedan ser utilizados para guiar al evaluador desde este lineamiento, no proporciona una técnica o pasos para llevar a cabo una determinada evaluación.
15Documento Orientativo. Integración de los derechos humanos y la igualdad de género en la evaluación – hacia una guía del UNEG/G(2011)2.
16 Idem 25
17 Idem 25
28
Esto explicaría el por qué desde lo referido al ámbito de la evaluación, el enfoque de derecho, es el que tiene menos nivel de operacionalización, de análisis y de planteamientos prácticos particulares, lo que representa, en alguna medida, una limitación para establecer un marco metodológico acabado.
Evaluación Democrática
Segone (1998) manifiesta que si podemos aceptar el concepto de que la democracia es una visión del mundo, una manera de pensar, sentir y actuar para practicarla y vivirla, una perspectiva para comprender y mejorar las relaciones humanas y sociales, entonces la evaluación democrática es una forma de abordar la función evaluativa, con el propósito de comprender, aprender, responder ante sí mismo, y mejorar nuestro propio desempeño, eficiencia y eficacia. Para este autor, la evaluación democrática es “…un proceso evaluativo muy participativo y empoderador, centrado en las personas. Los interesados tienen pleno control del proceso y se valora su capacidad de comprender y realizar su propia auto-‐evaluación y producir cambios” (Segone 1998).
En este modelo se pone énfasis en que los interesados tienen pleno control de su evaluación, en el cual ellos son los evaluadores que planifican, efectúan, internalizan y hacen el seguimiento a los resultados de la evaluación, las lecciones aprendidas y las recomendaciones, por lo cual, se dice que es un proceso de empoderamiento. En el enfoque de derechos aplicado al desarrollo, la participación es un derecho básico y el empoderamiento una estrategia ganadora. En relación a esto, Segone supone que la evaluación democrática es el enfoque más efectivo para la evaluación y el mejoramiento de los programas de cooperación para el desarrollo.
La evaluación democrática es un nuevo enfoque basado, tanto en la utilización real de resultados de evaluación, recomendaciones y lecciones aprendidas como en el proceso participativo para empoderar a los actores: el objetivo es transformar la evaluación de ser una antigua filosofía gerencial en la cual el objetivo es que los administradores controlen a los empleados, presionándolos para que sean más eficientes, a ser una herramienta administrativa democrática nueva que esté a disposición de todos los miembros de la institución para que puedan comprender mejor el entorno institucional y aprender de la experiencia pasada, ser más responsables ante sí mismos, y ser más eficientes.
Alcances, pertinencia y Limitaciones.
Los Alcances de este modelo reside en la importancia de considerar al proceso como empoderador de las personas y que toma la importancia del uso que refiere Patton (s/f) para la utilización de la evaluación realizada.
En referencia a sus limitaciones llama la atención que no propone una metodología sino más bien una dirección o una mirada y la dificultad para la realización cuando hay en los actores opiniones contrapuestas.
29
El Mapeo de Alcances (MA)
El Mapeo de Alcances se concentra en un tipo de resultado concreto: los alcances que se reflejan en un cambio de comportamiento. Los alcances se definen como cambios en el comportamiento, en las relaciones, actividades y/o acciones de las personas, los grupos y las organizaciones con los que un programa trabaja en forma directa. Dichos alcances pueden vincularse con las actividades de un programa de manera lógica, aunque no necesariamente sean causados directamente por ellas. Estos cambios tienen por objeto contribuir a determinados aspectos del bienestar humano y ecológico; proporcionan a los socios directos nuevas herramientas, técnicas y recursos para colaborar en el proceso de desarrollo. Los socios directos son las personas, los grupos y las organizaciones con quienes el programa mantiene una interacción directa y con quienes prevé oportunidades de ejercer influencia. La mayoría de las actividades suponen alcances múltiples, ya que tienen varios socios directos. Hay que tener en cuenta que, al recurrir al Mapeo de Alcances, un programa no pretende haber alcanzado los impactos del desarrollo, sino más bien poner el acento en la medida en que ha contribuido a lograr los alcances obtenidos.
El método del Mapeo de Alcances parte del principio de que los socios controlan los cambios y de que, como agentes externos, los programas de desarrollo tan sólo consiguen facilitar el proceso por el hecho de ofrecer acceso a nuevos recursos, ideas u oportunidades durante determinado período.
La originalidad de la metodología reside en el hecho de que se aparta de la evaluación del impacto de un programa sobre el desarrollo (que se define como cambios de situación; por ejemplo, la relevancia de una política, la erradicación de la pobreza o la atenuación de un conflicto), y se centra más bien en los cambios en los comportamientos, las relaciones, las actividades y/o las acciones de las personas, los grupos y las organizaciones con los que un programa de desarrollo trabaja estrechamente (Earl Sarah, Fred Carden, Terry Smutylo, 2002).
Alcances, pertinencia y Limitaciones
Para hablar de Alcances se resalta, que tiene en cuenta las personas como protagonistas principales del cambio, es decir la participación activa que pretende, lo que se refleja en su denominación de socios. Lo que marca una diferencia importante con otros enfoques que, se consideran a la evaluación como responsabilidad de un experto al exterior del proyecto, lo que se asemeja al planteo que realiza el enfoque participativo y democrático. También es uno de los enfoques que permite combinarlo con otros y utilizar algunas de las herramientas que ofrece.
Para referirse a sus limitaciones se menciona que su estructura limita la capacidad de innovación y creatividad, en semejanza con el EML, y que sus características reducen la población a la cual puede estar dirigida, dado que actores que no sepan leer o escribir, a modo de ejemplo, no podrían participar del proceso. Sumado a esto, y teniendo en cuenta el tema en cuestión, se considera que es una herramienta más de planificación que de evaluación
30
A modo de cierre de este capítulo se destaca que, a pesar de la existencia de enfoques cristalizados y emergentes, en la práctica resulta necesario combinar aspecto de varios enfoques, lo cual permite satisfacer necesidades de información de muy distinto signo y enriquecer los resultados del ejercicio de evaluación. Por tanto es imprescindible conocer la variedad de miradas que existen en relación a la evaluación con el fin de seleccionar el enfoque, tipo o combinación de enfoques más pertinente a al programa o proyecto de desarrollo social que se desee evaluar.
Caracterización del monitoreo y evaluación de redes
El contexto de la relevancia de las redes y su evaluación
A nivel de iniciativas de apoyo al desarrollo, existe desde hace unos 15 años un interés creciente por el apoyo a la creación y fortalecimiento de redes. El Banco Mundial ejemplifica dicha tendencia con su Programa de Asociación Global y Regional, apoyando actualmente unos 175 programas de este tipo, y habiendo hecho erogaciones del orden de los U$D 3.500 millones en el año 2006 solamente.1 Otras organizaciones de peso y relevantes son The Climate Works Foundation (la que ha organizado una docena de asociaciones como parte de una campaña de mil millones de dólares para luchar contra el cambio climático 2; Global AIDS Alliance (generó una red de promoción en seis países africanos en su Campaign to End Pediatric HIV/AIDS3; y muchas otras como la Ford Foundation, Anne E. Casey Foundation, MacArthur Foundation, etc. han hecho de la financiación de redes una parte clave de su cartera y estrategia de concesión de subvenciones. A nivel nacional, y vinculadas directamente con el área de desarrollo rural, es posible identificar una docena de redes,4 las que vienen trabajando desde hace al menos una década en el país.
A la par de ello, las iniciativas públicas y privadas de cambio social en su conjunto vienen experimentando una creciente demanda por la rendición de cuentas de sus resultados e impactos, asociada a una exigencia de mayor y mejor control de sus acciones. Los gobiernos, los donantes y los profesionales experimentan la presión de demostrar e informar sobre el impacto de sus trabajos.
Juntas, estas dos tendencias configuran un escenario de creciente interés por el monitoreo y la evaluación de impacto de las redes. Si bien un número importante de métodos, herramientas e indicadores han sido propuestos y desarrollados en respuesta a esta demanda, el número de expertos o profesionales que trabajan sobre este tema ha conformado una comunidad relativamente pequeña (Creech, 2001; Creech y Ramji, 2004), y la mayoría de los estudios de redes se han centrado más en el diagnóstico de redes que en su evaluación (Bender-‐demoll, 2008).
A nivel macro, son pocos los marcos generales para el desarrollo de monitoreo y evaluación que incluyan la evaluación periódica, el monitoreo y la retroalimentación explícita para promover la utilización, el aprendizaje, la adaptación y la mejora. Los enfoques
31
que animan el desarrollo de un sistema de evaluación más amplio (como por ejemplo el Mapeo de Alcances, o el método PIPA) proporcionan orientaciones más centradas en las etapas de planeamiento estratégico de las redes y menos en el monitoreo continuo y la evaluación periódica.
Por el lado de la medición, hay un número cada vez mayor de métricas o indicadores para redes, pero estos no son de utilización regular en la práctica. Cuando se trata de herramientas, la mayoría de los enfoques actuales de red abordan sólo uno o como máximo algunos de los problemas específicos de las redes. Además, un enfoque explícito en revisar y refinar la Teoría de Cambio de una red está ausente en muchas de las herramientas y enfoques. Resulta notable la falta de textos y ejemplos prácticos de cómo realizar la evaluación de redes, ya que socializar las lecciones aprendidas en dicho campo no ha sido una práctica extendida. Esta situación configura un escenario donde el de seguimiento y evaluación de las redes sigue estando en su infancia, tanto en la teoría como en la práctica.
La mayor parte de los trabajos que han empezando a desarrollar enfoques y herramientas para la evaluación de redes se basan en los aportes de la ciencia de la complejidad y el pensamiento sistémico, presentados anteriormente en el capítulo 1 de este informe. El carácter complejo de las redes acentúa que las herramientas y enfoques tradicionales no están diseñados para capturar los impactos tangibles e intangibles asociados con las redes. Si bien existe una tendencia a centrarse en los impactos tangibles, las redes son tanto un medio para alcanzar los fines, así como un fin en sí mismo. Esto implica que la existencia de la red es valioso por sí mismo, ya que sin ella no habría interacción de sus partes. Muchos cambios positivos no planificados y no deseados ocurren por la existencia de una red, dinámica que no habría ocurrido de otro modo.
Las iniciativas estandarizadas o bien los aspectos simples de las iniciativas de cambio pueden ser adecuadamente abordados con los enfoques tradicionales del monitoreo y la evaluación; pero estos son insuficientes para capturar con precisión la dinámica de las iniciativas complicadas y / o complejas, como las redes. Éstas operan en múltiples niveles (local, regional, global) y a través de múltiples dimensiones con la participación de una amplia gama de actores, cada uno con sus propias estrategias y teorías del cambio, por lo que las redes son particularmente propensas a manifestar resultados emergentes.
Esta caracterización de las redes conlleva que el seguimiento y evaluación de su desempeño requiere atención a tres categorías amplias, en ocasiones superpuestas, cuyos componentes aportan a su efectividad:
• Vitalidad de la red : Apunta a identificar qué tan activa es la red a lo largo de múltiples dimensiones (participación, estructura, liderazgo, capacidad de acción, etc.). Las características esenciales que debe alcanzar una red para que sus esfuerzos tengan éxito y sean sostenibles, comprende al menos las siguientes: confianza, estructura y forma de gestión, apropiación de parte de los miembros,
32
generación de conocimiento, vinculación del centro de la red con su periferia, presencia de diversidad, sustentabilidad, resiliencia, y desarrollo.
• Conectividad de la red : ¿Cuál es la naturaleza de las relaciones dentro de la red? ¿Están todos conectados? ¿Cuál es la calidad de estas conexiones? ¿Tiene la red alguna manera efectiva de salvar las diferencias que se presenten? ¿Está la red cada vez más interconectada? ¿Cuál es el alcance de la red? ¿Quiénes son las personas que están conectando a gente que de otra forma no estarían conectadas? ¿Qué tan probable es que los participantes en la red sepan lo que está sucediendo en otras partes de ella? ¿Quiénes son los miembros activos? ¿Qué estilo de gobierno se utiliza? ¿Cuál es el nivel de colaboración dentro de la red?
• Impactos de la red: ¿Qué progreso está teniendo la red en identificar y alcanzar sus productos, resultados e impactos? ¿Qué productos está logrando la red -‐ ¿y a qué costo-‐ y qué resultados o impactos alcanza la red mediante dichos productos? ¿Las metas y objetivos generales de las redes se están logrando? ¿Son estos claros? ¿Aprovecha la red a pleno las ventajas de trabajar juntos? ¿El conocimiento que se produce es pertinente a las necesidades de los tomadores de decisiones? ¿Cuán central5 es la red? ¿Quiénes son los individuos más influyentes?
Los aportes hacia el seguimiento y la evaluación de redes han tendido a centrarse en alguna de estas categorías, pero no en todas ellas. Capturar los resultados del trabajo de la redes es importante, pero una comprensión de cómo y por qué se produjeron los cambios observados es igual (o más) importante para la mejora continua y el aprendizaje. Esto se vincula también con el desafío para las redes, sobre todo aquellas que no tienen nodos centrales claros, en cuanto propiciar que los aprendizajes de la evaluación sean difundidos y utilizados a lo largo de la red.
Muchos de los enfoques y herramientas actuales del análisis de red pueden apoyar con eficacia aspectos específicos de su monitoreo y evaluación. Sin embargo, la utilización de dichos enfoques de forma independiente y sin integrarlos en un marco coherente, no resulta suficiente para respaldar un sistema de seguimiento y evaluación de toda la red. A su vez, la mayoría de las herramientas de evaluación de redes -‐desarrolladas en la teoría o utilizadas en la práctica-‐ focalizan en el examen de un aspecto específico de la red, como la participación, la estructura o las conexiones. En gran medida, funcionan como aportes hacia el diagnóstico y análisis de las redes, antes que aportes más explícitamente evaluativos.
A partir de la comprensión señalada en este capítulo, el aporte elaborada para la conformación de un marco para el monitoreo y evaluación de redes de desarrollo rural ha tomado como eje dos enfoques innovadores: la teoría del cambio, y la sistematización de experiencias. Ambos serán desarrollados a continuación en los captítulos subsiguientes.
33
CAPITULO 3
Teoría del Cambio y evaluación de redes El desarrollo y el cambio social son procesos complejos. Esto conlleva una atención
especial al riesgo de usar herramientas en exceso simplificadoras para abordar dichas dificultades. Resulta claro que es profundamente disfuncional la división convencional entre los hacedores de programas y políticas (y sus respectivas teorías) y los practicantes del desarrollo. Como profesionales del desarrollo social necesitamos de la teoría para hacernos buenas preguntas, y hacerlas de manera más sistemática y rigurosa.
El rol de una buena teoría es el de una guía para el entender, el descubrir el trabajo a realizar y el ayudar a las comunidades y sus organizaciones a comprender y dar forma a sus propias realidades. Necesitamos buenas teorías del cambio social que guíen el pensamiento y la acción de todos los involucrados en los procesos de desarrollo, ya sea como individuos, comunidades, organizaciones, movimientos sociales o como donantes.
Toda intervención de desarrollo es alimentada por teorías del cambio, si bien es claro que muchas veces los individuos y las organizaciones no las hacen explícitas. Para los actores involucrados en la práctica del desarrollo, el riesgo de ello implica no ser conscientes de la medida en que las decisiones estratégicas así como diversas discusiones y debates están siendo informados por razonamientos dispares respecto al cambio social y al papel de las intervenciones intencionales para un cambio social positivo.
La experiencia de los profesionales de campo, cuyos aprendizajes podría producir valiosas y ricas perspectivas para teorizar acerca de cómo ocurre el cambio social, rara vez encuentran el espacio y el tiempo para analizar lo que se está haciendo, lo que lleva a que sea el pensamiento y las teorías implícitas de otros (funcionarios, donantes, etc.) los que dominen su práctica. Al mismo tiempo, si las teorías del cambio de la organización y sus visiones del mundo no están debatidas, las visiones lineales que asumen que el mundo es simple y controlable tendrán el terreno abierto para seguir dominando la escena.
La Teoría del Cambio no es simplemente una herramienta para hacer explícita la lógica de las estrategias existentes en una organización. Es más bien el fruto de un proceso creativo y liberador de potencialidades que permite ordenar nuestro pensamiento y configurar de manera abstracta, y a partir de nuestro cuerpo de conocimiento y experiencia, aquellas condiciones necesarias para lograr el cambio deseado en un contexto determinado. En tal sentido, la Teoría del Cambio ayuda a ver más allá de los marcos y hábitos familiares y cotidianos -‐aunque estos fueran muy eficaces-‐, abordando la complejidad de los cambios que se desean alcanzar, e imaginando soluciones en una dinámica de diálogo con otros actores.
La Teoría del Cambio puede ser vista como un mapa de ruta para leer y navegar por los procesos de cambio social, el cual orienta a los técnicos de campo, profesionales, donantes, y a
34
los actores locales de los procesos de desarrollo. Estos procesos son crecientemente reconocidos como complejos, tal como se presentó en el capítulo 1 de este informe. La base sobre la cual abordar la Teoría del Cambio estará dada tanto por la comprensión de dicha complejidad, así como por la realidad de los tipos de cambio social, presentados en la primera sección de este capítulo.
La segunda sección da cuenta de los aspectos conceptuales de la Teoría del Cambio, presentando de manera ordenada los distintos pasos para su construcción. Los mismos deben ser entendidos como pasos vinculados estrechamente, por lo cual muchas veces se vuelve sobre ellos para refinarlos y acomodarlos a los avances realizados.
Finalmente, la tercera sección plantea cuestiones de evaluación y aprendizaje en su vinculación con la Teoría del Cambio.
Aproximación a la Teoría del Cambio
Los problemas existentes en el seno de una comunidad suelen presentarse como fáciles de reconocer, por lo general no pueden ser ignorados y el anhelo de su erradicación moviliza energía y pasión por marcar una diferencia. Como siempre, las dificultades se presentan en los detalles. ¿Qué tipo de evidencia indica el progreso? ¿Qué estrategias tienen más probabilidades de lograr los resultados deseados? Una vez más, no hay nada tan práctico como una buena teoría!
La denominación de Teoría del Cambio es a menudo presentada también como vía o ruta de cambio, motor del cambio, anteproyecto, modelo lógico y teoría de la acción. Independientemente de la etiqueta, una Teoría del Cambio ofrece una imagen de los destinos importantes y la guía de lo que se debe buscar en el camino para asegurarse de que uno se encuentra en el camino correcto. En lugar de puentes, avenidas y autopistas, este mapa debería mostrar los destinos anhelados y las rutas para viajar por el camino y para lograr dicho destino. El mapa también ofrece información acerca de los supuestos, tales como el destino final, el contexto para el mapa, los procesos a realizar durante el viaje y el sistema de creencias que subyacen en la importancia de viajar de una manera particular. Este tipo de mapa es lo que se llama una "Teoría del Cambio".
Como observó Alicia en el País de las Maravillas, "Si no sabes a dónde vas, cualquier camino te llevará allí." En otras palabras, sin una teoría del cambio, una comunidad o una organización de desarrollo es vulnerable a vagar sin rumbo, por lo que tienen mucho que perder si se encuentran sin destino y con acciones tomadas al azar.
Es posible reconocer dos fuentes o vertienes importantes para identificar el orígen de la Teoría del Cambio: las experiencias y teorías del cambio social, y el mundo de la evaluación (Vogel, 2012). El uso de la Teoría del Cambio se ha venido asentando en las instancias de evaluación, así como también en las de planficación y diseño de las interevenciones via
35
proyectos y programas. En su trabajo en el área de la planificación, la Teoría del Cambio revierte el planteo de la planificación tradicional, pues impulsa un movimento que comienza en el planteo del impacto esperado, y desde ahí trabaja “hacia atrás” en el camino de resultados. En otros casos, cuando las organizaciones requieren revisar sus objetivos a largo plazo y cuestionar sus supuestos de intervención, también es posible su desarrollo en la misma instancia de desarrollo de la intervención. Sea cual sea el lugar que ocupe, la Teoría del Cambio es una parte práctica y esencial de una iniciativa de transformación exitosa.
Siguiendo los aportes de Retolaza Eguren (2010), veamos qué es y qué no es una Teoría del Cambio:
Una Teoría del Cambio es:
• Un ejercicio de visualización creativa y consciente que nos permite concentrar nuestra energía en determinadas realidades futuras no sólo posibles, sino también probables y deseables.
• Un conjunto de supuestos y proyecciones sobre cómo creemos que se puede llegar a desplegar la realidad en un futuro próximo con base en: i) un análisis realista de contexto; ii) una auto-‐valoración de nuestras capacidades de facilitación de proceso; y iii) una explicitación crítica de nuestros supuestos.
• Un enfoque de pensamiento-‐acción que nos ayuda a identificar hitos y condiciones que han de darse en la senda del cambio que deseamos provocar.
• Un ejercicio de aprendizaje colaborativo y multiactoral que incentiva el desarrollo de la lógica flexible necesaria para el análisis de procesos complejos de cambio social.
• Un mapa semi-‐estructurado de cambio que enlaza nuestras acciones estratégicas a ciertos resultados de proceso que queremos provocar en nuestro entorno inmediato.
• Una herramienta de proceso que nos ayuda a monitorear consciente y críticamente nuestro pensar y nuestra acción de manera individual y también colectiva.
Una Teoría del Cambio NO es:
• Una verdad absoluta e incuestionable de cómo se ha de dar el cambio, de cómo va a ocurrir o incluso de cómo desearíamos que ocurriese.
• Una receta definitiva que ayuda a eliminar la incertidumbre existente en procesos sociales emergentes y complejos.
• Un sustituto del Marco Lógico como instrumento de planificación.
36
Una teoría del cambio debería ser vista como una hipótesis de trabajo, la cual debería adaptarse y cambiando a medida que se aprende de la experiencia. Para Taplin y Clarck (2012), la teoría del cambio es un proceso riguroso y participativo en una instancia de planificación mediante el cual los grupos y partes interesadas articulan sus objetivos de largo plazo e identifican las condiciones que creen deben desarrollarse para que aquellos objetivos se alcancen. Dichas condiciones se modelan como resultados deseados, generalmente dispuestos gráficamente en un marco causal. La teoría del cambio va a describir los tipos de intervenciones (ya sea un solo programa o bien iniciativas coordinadas) que dan lugar a los resultados mostrados en el marco del mapa de resultados. En dicho marco causal cada intervención aparece ligada a un resultado, revelando a menudo la compleja red actividades necesarias para lograr un cambio. A su vez, el marco proporciona un modelo contra el que poner a prueba las hipótesis y suposiciones acerca de qué acciones producirán mejor los resultados.
El uso del enfoque de la Teoría del Cambio facilita el carácter transparente tanto de los procesos de implementación así como los de evaluación, ya que todas las partes interesadas tienen acceso a conocer qué está pasando y porqué. En esto es clave que todos los resultados plasmados en la Teoría del Cambio deben ser explícitamente definidos, y cada uno de ellos debe presentar uno o más indicadores de éxito. A medida que la implementación se desarrolla, los actores de la misma recopilan y analizan datos sobre los indicadores clave, lo que constituye el medio de seguimiento de los avances en la teoría del cambio. Los datos de los indicadores servirán para mostrar si los cambios se llevan a cabo como estaba previsto o no, y sirven también para ajustar y revisar el modelo de cambio a medida que se aprenden más sobre aquello que funciona y lo que no.
El modelo gráfico de la teoría del cambio va acompañado de un relato escrito que explica la lógica de su marco. La teoría del cambio puede ser tanto una herramienta de planificación así como de evaluación y monitoreo. Al articular los resultados a largo plazo, las precondiciones y las intervenciones, la Teoría del Cambio es la base de los documentos de Visión, planes estratégicos y/o anuales, y los procesos de fijación de metas. Como una herramienta de evaluación la Teoría del Cambio identifica los objetivos específicos del programa y vincula dichos objetivos con intervenciones particulares. Pueden entonces recopilarse datos a fin de evaluar el progreso hacia las metas establecidas, así como la efectividad de las intervenciones en la producción de resultados.
La Teoría del Cambio se desarrolla a través de las siguientes etapas (Actknowledge):
• La identificación de objetivos de largo plazo y los supuestos detrás de ellos
• mapeo hacia atrás desde el objetivo a largo plazo mediante la elaboración de las condiciones o requisitos necesarios para lograr ese objetivo -‐ y explicar por qué.
• Expresar sus supuestos acerca de lo que existe en el sistema sin lo cual su teoría no va a funcionar, y articular sus las justificaciones de por qué ciertos resultados son precondiciones necesarias para otros resultados.
37
• Valorar y elegir las intervenciones más estratégicas para lograr el cambio deseado.
• Desarrollar indicadores para medir el progreso en los resultados deseados y evaluar el desempeño de la iniciativa.
• La revisión de calidad debe responder a tres preguntas básicas: ¿Es su teoría 1) creíble, 2) "factible" (o posible), y 3) comprobable?
• Escribir un relato para explicar brevemente la lógica de la iniciativa.
A continuación abordamos los aspectos metodológicos clave sobre los que se sustenta una Teoría de Cambio: el cambio deseado, los actores del cambio, los supuestos de partida, la ruta de cambio y los indicadores.
1.1. El cambio deseado posible (objetivos de largo plazo)
La elaboración de una Teoría de Cambio se inicia, no a partir de la identificación de un problema a ser resuelto (cambio proyectable situación a), sino desde la visualización creativa y positiva que hacemos de una situación que se quiere alcanzar en un tiempo posterior al actual (cambio proyectable situación b). Utilizamos esta visualización de futuro como horizonte y motivación de nuestra acción presente. Esto es, el cambio deseado representa un conjunto de condiciones, relaciones y resultados que queremos contribuir a que ocurran en los años venideros a partir de nuestra acción en el entorno presente y futuro.
A menudo, un grupo tiene una visión de cambio que trasciende lo que pueden lograr a través de sus propios esfuerzos. En ese caso, poner una línea discontinua, llamado "techo de rendición de cuentas," por encima del resultado a largo plazo (LTO) (por ejemplo, empleo estable) y tienen un objetivo final (por ejemplo, fin de la pobreza en la comunidad). El grupo no será por sí mismo responsable de este objetivo, pero puede ser importante vincular sus esfuerzos en el marco causal para comunicar su visión a su propio personal y a los socios, así como a un público más amplio
Un primer paso importante en el proceso es la identificación de un objetivo y resultados viables a largo plazo. El resultado a largo plazo debe ser algo que la iniciativa puede de manera realista lograr y es entendida por todos los involucrados. Un facilitador externo capacitado es sugerido para llevar al grupo hacia el consenso y la especificidad de este proceso.
Una vez identificado, el grupo entonces considera, "¿Qué resultados deben ser alcanzados antes de que podamos lograr el resultado a largo plazo?" Estos resultados -‐precondiciones a corto plazo de los resultados a largo plazo-‐ se colocan directamente debajo del resultado a largo plazo. El proceso continúa, profundizando la ruta haciendo preguntas fundamentales, tales como: "¿Qué tiene que estar en su lugar para que se logre este resultado?", así como "¿Son estas precondiciones suficientes para el resultado que se debe
38
alcanzar?". Estos elementos comienzan a estructurar la Ruta del Cambio (desarrollada en detalle más adelante).
El resultado a largo plazo es el objetivo que se desea alcanzar, que es el propósito de su programa o intervención, por ejemplo, el rendimiento académico de los jóvenes, o el empleo de un determinado grupo. El resto de los resultados de su marco son condiciones previas para el logro de este resultado. Tal vez el paso más importante en todo el proceso de la construcción de la Teoría del Cambio es conseguir que el resultado de largo plazo sea bien formulado. El resultado a largo plazo es lo que usted está tratando de lograr. Un resultado de largo plazo convincente y claro, ayuda a mantener a la gente enfocada y motivada, ya que es por ello que los actores realizan todas sus acciones. Toda la primera reunión de construcción de la Teoría del Cambio se puede utilizar en lograr que todos están de acuerdo en el resultado a largo plazo.
Al facilitar sesiones de construcción de Teoría del Cambio, es común tratar de obtener una declaración del problema que la organización o el programa apunta a modificar. El planteamiento del problema es la cuestión fundamental que todos los actores relevantes vinculados a la intervención está tratando de resolver, como por ejemplo la pobreza o los bajos resultados de los estudiantes o la delincuencia en los barrios. Se deber procurar ser muy específico acerca de cuál es el problema y cuáles son sus límites (dónde y para quién) para los fines de la iniciativa en particular. Una vez que se ha decidido sobre el enunciado del problema, se debe utilizar dicho enunciado para obtener su opuesto positivo. Puesto que todas las declaraciones de los resultados deben ser afirmaciones positivas sobre una condición, se puede preguntar qué condición será el resultado de la eliminación del problema. Un barrio seguro, por ejemplo, es el resultado a largo plazo para un planteamiento del problema sobre el crimen violento en el vecindario.
El cambio deseado considera dimensiones temporales, relacionales estructurales, geográficas, sociales, culturales, económicas, políticas, institucionales, etc. El énfasis en una dimensión u otra dependerá de la naturaleza del cambio que se desea o necesita. Por tanto, dicho cambio deseado debe ser plausible, concentrándose en cambios sobre los que la organización puede realmente influenciar. Esto implica que no sólo ha de ser posible incidir sobre esa realidad futura sino que además ha de existir suficiente grado de probabilidad de que así ocurra, de manera que justifique invertir los recursos y energía necesarios para ello.
A su vez, el cambio deseado no es un estado perfecto, estático e inalcanzable, sino más bien debe reflejar una visión dinámica, como el fotograma de una película que representa un sistema complejo y dinámico, en el cual la gente y sus instituciones están trabajando efectivamente en relacionarse entre ellos y con agentes externos para resolver sus problemas y mejorar el bienestar de las personas y del medio ambiente en el que cohabitan.
Es importante que la organización de desarrollo o bien los actores comunitarios no sientan que pueden alcanzar ese cambio deseado por sí mismos y con autonomía de otros actores. La organización no es el centro de este universo, sino sólo uno de una serie de
39
componentes que actúan en influir en los resultados. El propósito es detallar un cuadro en palabras del cambio deseado (plausible, sostenible, dinámico), que la organización y sus miembros quieren ver. El cambio deseado posible es la imagen de cómo se vería el mismo si la organización y la comunidad pudieran lograr todo lo que querían conseguir.
Una teoría del cambio modela los resultados en una ruta de resultados. Los resultados de una teoría de cambio representan cambios en la condición de algún tipo -‐ ya sea una política, la ley el comportamiento, la actitud, el conocimiento, el estado del medio ambiente-‐ entre las personas, las instituciones y el ambiente Los resultados son los bloques de construcción de una teoría de cambio.
Los resultados incluyen resultados a largo plazo, y resultados intermedios / corto plazo. El término "impacto" a menudo se reserva para el objetivo final de la iniciativa, pero no es un resultado medible de esa sola iniciativa. Una organización por lo general decide ser directamente responsable de el resultado a largo plazo. Se trata de un objetivo bien declarado, focalizado, mensurable y plausible para la iniciativa. El nivel del impacto se distingue de los resultados a largo plazo y sus condiciones previas por un "techo de responsabilidad", que puede dibujarse en forma de una línea de puntos. El techo de responsabilidad puede moverse hacia arriba o hacia abajo a medida que el grupo que desarrolla la Teoría del Cambio reúne más conocimiento sobre las posibilidades y los límites del trabajo . Todos los resultados necesarios para llegar a los resultados a largo plazo en una ruta de resultados son condiciones previas para el resultado a largo plazo y el impacto. Esos requisitos o condiciones previas definen lo que tiene que cambiar a fin de alcanzar el fin último o impacto final. Las condiciones previas o pre-‐requisitos (que también son resultados) se asignan al revés en la ruta del resultado desde el resultado de largo plazo hacia el presente y futuro próximo.
La creación de una visión del éxito o cambio posible deseado puede ser alcanzado mediante algunas técnicas que faciliten la expresión de los participantes. La organización Keystone (2008, 9-‐12) propone las dos siguientes:
a) Creando un epitafio para la organización
La técnica apunta a movilizar a las personas sacándolas de su fijación en las actividades que vienen realizando en su organización, haciéndolas pensar en los resultados finales de su accionar. Apunta a pensar en términos de los resultados relevantes y de largo plazo. Para ello se presenta la siguiente guía:
Las organizaciones son seres vivos -‐ que nacen, crecen, trabajan y mueren. Por tanto, es posible imaginar que existe un vasto cementerio de organizaciones sociales que ya no están con nosotros.
Ahora imaginemos que nuestra organización, programa o red, ya no existe más… ha muerto. Y ha sido enterrado en el cementerio de las organizaciones sociales, sección Cambio Social…
40
¿Qué nos gustaría que se inscribiera en nuestra tumba como epitafio? ¿Por qué desearíamos que el mundo nos recordara?
Pensar y redactar un epitafio, el cual debe ser una declaración muy, muy breve, que capture lo más sucintamente posible la transformación fundamental que han hecho en el mundo. Un epitafio debe ser corto, sugestivo, memorable. Apunta a atrapar el interés de un caminante en el cementerio y hacer que se detenga y piense "Humm… parece haber sido un programa muy interesante… Me pregunto cuál es su historia? "
Trabajar unos minutos individualmente, luego en parejas, y finalmente en un pequeño grupo de unos seis o siete participantes.
b) Pintando el Cambio Deseado
La técnica permite alcanzar una claridad especial cuando se describen claramente un conjunto de "resultados" específicos, creíbles y medibles a largo plazo, hacia los cuales se pueden dirigir las intervenciones. Es importante definir el alcance y el ámbito de aplicación:
Elegir un horizonte de tiempo. ¿Qué es un tiempo suficiente para ser capaz de ver el cambio social de largo plazo por el que se está trabajando? ¿Podría ser posiblemente un lapso de cinco, diez o veinte años?
Definir el alcance geográfico. Esto podría ser dentro de una localidad específica, una región o bien un sector.
Una vez clarificado el alcance temporal y el ámbito de aplicación del cambio deseado posible, se trata de imaginar y describir cómo se vería para la organización, si se tuvieran todos los recursos que se requieren y no hubiera desastres de magnitud que la desviaran de su camino. Se trata de identificar los principales actores (individuos, grupos e instituciones) y luego describir los comportamientos deseados, actitudes, capacidades, valores y las relaciones entre ellos en una situación donde el cambio siempre está ocurriendo. ¿Cómo ha cambiado su mundo y qué está haciendo de otra manera?
Otro aspecto importante es que los cambios siempre se han de escribir en forma de resultados o cambios alcanzados. Un resultado nunca es algo así como "distribuir volantes a todos los residentes", o "inmunizar a los niños". Sin embargo, "todos los niños están inmunizados" puede ser un resultado válido. Algunas preguntas pueden orientar a especificar los cambios deseados.
1. ¿Qué individuos, grupos o instituciones son parte esencial de esta imagen del cambio deseado? La lista debe mantenerse corta a la vez que completa, incluyendo grupos de actores relevantes (como las mujeres, trabajadores, campesinos, niños o jóvenes), así como los departamentos correspondientes de gobierno, empresas, y ONGs.
41
2. ¿Cómo podrían ser diferente las condiciones físicas y sociales en que vive la gente?
3. ¿Cómo cada uno de estos grupos o instituciones pueden pensar, actuar o relacionarse con los demás?
4. Pensando en los actores involucrados (públicos, privados, sociedad civil), cuáles son sus relaciones, valores, actitudes, capacidades y comportamientos existentes en el nuevo marco visualizado?
5. ¿Qué instituciones formales y no formales (políticas, marcos legales, normas, costumbres, patrones culturales, valores, creencias, normas consuetudinarias, etc.) sostienen el cambio deseado?
6. ¿Qué nuevas capacidades tienen determinados grupos?
7. ¿Qué nuevas oportunidades existen y para quién?
8. ¿Hasta qué punto los grupos vulnerables se conviertan en participantes activos de su propio desarrollo en vez de "beneficiarios"?
No hay que contentarse con objetivos/resultados vagos y generales. Se deben describir los cambios específicamente en términos de los componentes o partes concretos. Cada declaración debe ser escrita en forma de un resultado: un cambio de situación que puede ser reconocido, descripto y medido. Después de un período de lluvia de ideas, todos los pensamientos deben ser reunidos en una declaración -‐ que se registra, y también debe ser expresada como resultado capaz de ser alcanzado, descripto y medido.
Un ejemplo de resultado sería: “las mujeres de la comunidad cuentan con grupos organizados y estructuras de apoyos para protegerlas a ellas y a los niños de la violencia doméstica”. Pero NO sería un resultado si dijera: las mujeres necesitan protegerse ellas y los niños de la violencia doméstica”. Un resultado o alcance es aquello que vemos como resultante de los productos (outputs), que son actividades que realizamos y los productos que alcanzamos.
Esta es la forma en que una de las primeras organizaciones piloto de Keystone, la Fundación Cartwheel de Filipinas, expresó su visión de cambio exitoso en 10-‐15 años a partir de ahora.
Comunidades indígenas empoderadas en las que: • Los líderes comunitarios y representantes de la comunidad se involucran con confianza y eficacia con el gobierno, las empresas comerciales y otros organismos externos para promover los intereses de sus comunidades. • Los líderes comunitarios inspiran a sus ciudadanos a participar activamente en su propio desarrollo. • El ejercicio implica focalizarse en todo el sistema -‐ no en los programas o acciones existentes. Las empresas mineras y plantaciones locales emplean a ciudadanos
42
indígenas brindando salarios y condiciones justas. • Los niños y los jóvenes tienen acceso a educación de calidad y culturalmente sensible, cercana a su lugar de residencia. • Las comunidades indígenas gozan de los mismos derechos y servicios públicos que los demás sectores de la sociedad filipina. • Los derechos y los valores tradicionales y modernos se encuentran en equilibrio. • Los pueblos indígenas están plenamente representados en los diferentes sectores de la sociedad. • Las comunidades indígenas estén adecuadamente representados en los órganos de toma de decisiones y formulación de políticas públicas -‐ especialmente aquellos que les afectan directamente. • El derecho de las comunidades indígenas a la tierra se encuentra garantizado.
1.2. Mapeo de Actores
El desarrollo es un proceso complejo y a largo plazo que involucra a diversos actores y procesos interdependientes. Una simple organización, trabajando por su cuenta, casi nunca puede lograr todos los cambios requeridos por su Teoría del Cambio. Pero cuando diferentes organismos alinean su trabajo para lograr un resultado común o una visión de éxito, el poder de todo un ecosistema se despliega.
Cuando las organizaciones, incluidos los donantes, empiezan a pensarse a sí mismas en una ecología de actores trabajando hacia resultados compartidos, pueden planificar y actuar en colaboración, sin perder su enfoque individual o su identidad. Tal enfoque ecológico conserva la creatividad individual y la capacidad de respuesta de los diversos actores al tiempo que permite sinergias prácticas que conducen al aprendizaje social y soluciones más eficaces.
Existe por lo general para cada resultado que una organización esté persiguiendo, una serie de otros actores o fuerzas sociales que influyen en el resultado de un modo positivo o negativo. En otras palabras, es importante entender el sistema de fuerzas y actores que obra en su contexto. El cambio que se quiere lograr es más probable que resulte significativo y sostenible si se puede influir en los actores del sistema para apoyarlo.
Visto desde otro ángulo, es menos probable que el cambio que se quiere alcanzar sea sostenible a menos que las actitudes, relaciones, valores y acciones de los otros actores presentes en el sistema sostengan dicho cambio. Una vez identificados los actores, y la forma en que influyen en el sistema, es posible:
• Identificar a aquellos que trabajan para obtener resultados similares a los de nuestra organización.
• Planificar intervenciones en colaboración que permitirán lograr más de lo que la organización puede hacer por sí misma
43
• Identificar a aquellos actores que pueden influir negativamente en el sistema, y plantear estrategias para cambiar sus actitudes y prácticas o reducir la influencia negativa que puedan tener.
En cualquier sistema, probablemente producirá resultados más eficaces la construcción de relaciones de trabajo efectivas entre los actores del cambio comúnmente perseguido. Es así que construir alianzas y relaciones de colaboración al interior de un eco-‐sistema de actividad, puede ser un importante resultado intermedio en su Teoría del Cambio. El proceso de creación de una visión del cambio deseado posible a menudo obliga a la organización a empezar a pensar fuera de sí misma y a verse como un actor en actividad en un amplio eco-‐sistema. El cambio social real y duradero rara vez se produce como resultado de una única organización que trabaja en aislamiento -‐ por lo general es el resultado de complejas intervenciones relacionadas entre sí.
Un ecosistema de actividad es una red de actores en un contexto definido que, consciente o inconscientemente, influyen sobre lo que sucede en ese contexto. En cualquier sistema nosotros somos solamente uno de los diferentes actores que pueden influir en la forma en que se produce el cambio en el sistema. Puede haber un departamento de gobierno aquí, una ONG allí y una organización del sector privado más allá. Y también podemos encontrar a aquellos que simplemente están de paso.
Una vez acotado el universo de acción, pasamos a identificar a aquellos actores que están involucrados en el proceso sobre el que se quiere influir activamente. Éstos son actores que de una manera u otra se verán afectados o de hecho ya están involucrados en el campo de realidad sobre el que se quiere influir. El grado de complejidad social con respecto a la calidad y efectividad de la interacción que se da entre ellos y sus agendas, determinará de alguna manera cuán colaborativo, conflictivo, incluyente y efectivo será el proceso de cambio en relación al logro del cambio deseado. De la misma manera, nos ayudará a entender el grado de densidad socio-‐política e institucional en la cual estamos operando.
El “mapeo de actores” es una metodología vinculada con la teoría de redes sociales, con el cual se busca no sólo tener un listado de los diferentes actores que participan o están cercanos a una iniciativa, sino conocer sus acciones y de los objetivos de su participación. Como técnica, ayuda a representar aspectos de la complejidad de la realidad social en la que se interviene, facilitado el diseño de estrategias de intervención. Existen diversas herramientas para la identificación de los actores, las cuales deben ser adoptadas de acuerdo al propósito y naturaleza del análisis:
Análisis sectorial. Particularmente útil cuando se quiere concentrar la acción en constelaciones de actores que representan el conjunto de todos los actores sociales afectados por el proceso de cambio. El análisis parte de identificar y analizar a los actores de al menos tres sectores fundamentales en toda sociedad: el sector público-‐gubernamental, el sector económico-‐privado, y el sector social-‐comunitario. De acuerdo a las particularidades de la
44
intervención en cuestión, se pueden añadir otros sectores: el sector político partidario, el sector de la cooperación internacional; el sector académico, etc.
Una avance sobre el mero listado de actores implica su categorización y la presentación de zonas de solapamiento, donde se ubican los “actores puente”, capaces de generar espacios y dinámicas de interacción positiva o negativa entre un sector y el otro. La representación también debería dar cuenta de la calidad de la interacción, variable de acuerdo al interés que tengan dichos actores en relación al cambio que se desee provocar, y la capacidad dialógica y negociadora de los actores.
A fin de detallar más el análisis, es posible incorporará la variable de nivel: nivel macro (nacional, federal, etc.); nivel meso (departamental, regional, estatal, etc.); nivel micro (municipal, local, comunitario, etc.).
45
Análisis de influencia. Este mapa es particularmente relevante para el trabajo con Teoría del Cambio, y hace hincapié en la capacidad de influencia que los actores tienen o pueden llegar a tener en el proceso de cambio deseado. Este tipo de análisis se puede combinar con el primero, pudiendo identificar a los actores en base al sector y cuadrante de posicionamiento en el mapa de influencia. Esto se puede visualizar de manera muy clara utilizando distintos códigos visuales (iconos de codificación, tarjetas de distintos colores o formas, etc.)
Otra posibilidad en esta misma tónica para mapear interés e influencia es dibujar un plano donde ubicar los nombres de los actores sociales identificados. Los actores que ubiquen en el cuadrante A, serán aquellos en quienes se deberán invertir menos esfuerzos. Quienes estén en el cuadrante B pueden requerir apoyo para convertirse en actores con poder en esta situación. Una estrategia posible con ellos puede ser, al menos mantenerlos informados de los esfuerzos que se están realizando, pues podrían ganar importancia a lo largo del proceso. El cuadrante C corresponde a los actores que deben mantenerse
“satisfechos”, pues pueden ser útiles como fuentes de información y opiniones o para ayudar a movilizar a otros actores más directamente involucrados. Finalmente, los actores que ubiquen en el cuadrante D (en particular los que se acerquen más a la esquina superior derecha) serán sus objetivos prioritarios y a quienes deberán procurar traer abordo en su iniciativa.
Existen diversas estrategias y técnicas sobre mapeo de actores, fácilmente adaptables a los intereses particulares y los propósitos emergentes de la Teoría del Cambio. Sí es importante
46
destacar que es posible lograr un análisis más detallado vía la utilización de iconos y formas visuales que faciliten diferenciar las categorías de actores.
1.3. La Ruta del Cambio
Después de haber desarrollado la visión del Cambio Deseado Posible, comprendido los principales actores y los procesos de cambio en el ecosistema de la actividad, la organización puede comenzar a trazar su Ruta de Cambio. La misma identifica los hitos del proceso y las condiciones que se han de dar para lograr avanzar con certeza suficiente en medio de la complejidad en que ocurre todo proceso de cambio social. Dado que el enfoque de Teoría de Cambio asume la Complejidad (pensamiento no lineal, incertidumbre y emergencia) el logro de estas condiciones puede o no a) ocurrir en el futuro cercano y b) ayudarnos a contribuir con el cambio deseado. Suponemos que sí lo hacen, y por lo tanto, tenemos que comprobar periódicamente si estas condiciones (i) se están cumpliendo, y (ii) contribuyen a la realización de nuestro cambio deseado.
Esto es necesario dado que en los procesos complejos otras condiciones pueden surgir como resultado de nuestras (inter)acciones, así como de las acciones emprendidas por los demás, independientemente de nuestras propias acciones y deseos. Por lo tanto, debemos evitar caer en un proceso de pensamiento lineal en el que asumimos que la realidad se desarrollará según lo previsto sólo por nosotros. Es por esto que es tan importante (i) cotejar nuestros supuestos con los de otros actores no afines, y (ii) revisar periódicamente los supuestos iniciales utilizados para diseñar nuestra teoría del cambio.
Para cada elemento de la visión del cambio, la organización busca definir los cambios, por pequeños que sea, en las condiciones, las instituciones, las relaciones, capacidades, actitudes y comportamientos que se consideran esenciales para el cambio deseado a largo plazo. Algunas de las pre-‐condiciones podrían ser cambios duros y tangibles en las condiciones (tales como el acceso a vacunas), pero muchos serán resultados intangibles (como los cambios en la confianza, las habilidades, capacidades, relaciones, actitudes, etc.) que son tan importantes para alcanzar los cambios y que los mismos sean sostenibles.
47
Este marco de aprendizaje hace viable la planificación de actividades y el reflexionar sobre el desempeño logrado. Ayuda a las personas a identificar evidencias de cambios que no notarían de otra manera si solamente usaran datos fáciles de recoger sobre los resultados del proceso a corto y mediano plazo, facilitando identificar los cambios que la organización puede influir -‐por su propia cuenta o con otros-‐ que contribuyen al éxito final. Una buena Teoría del Cambio hace manejable la complejidad sin excesiva simplificación.
La pregunta guía es: ¿qué debe suceder en nuestro contexto para que se realice nuestra visión del cambio deseado?. Es esencial en esta actividad no atarse o ceñirse a lo que la organización hace o realiza actualmente, sino más bien pensar en la visión de cambio deseado y lo que debe suceder para que se convierta en realidad. El ejercicio implica focalizarse en todo el sistema -‐ no en los programas o acciones existentes. Se debe tener en cuenta también que no se está realizando el diseño de una estrategia, sino más bien se está profundizando la comprensión del contexto, y haciendo explícitos los supuestos y entendimientos de cómo el cambio sostenible se lleva a cabo.
Una ruta de cambio es la secuencia en que deben producirse los resultados, a fin de alcanzar el objetivo de largo plazo. Estas rutas son presentadas como cadenas verticales de resultados conectados unos a otros por flechas, procediendo desde la parte inferior los resultados tempranos para alcanzar el objetivo a largo plazo en la parte superior (Actknowledge). Las rutas representan una lógica causal; cada nivel a lo largo de la ruta muestra la cadena de resultados que deben darse para que el próximo resultado de la cadena pueda alcanzarse. Un componente clave de la experiencia de construcción de la Teoría del Cambio es el proceso de "mapeo al revés" o “en reversa”, que comienza con el resultado a largo plazo y desde ahí se mueve hacia los primeros cambios que deben producirse. Esto es lo contrario de lo que solemos pensar acerca de la planificación, ya que se inicia con la pregunta "¿Qué condiciones deben existir para que el resultado a largo plazo se alcance?" en lugar de la más tradicional de "¿Qué actividades podemos estar haciendo para avanzar en nuestros objetivos?" Eso viene más adelante en el proceso.
La mayoría de las iniciativas tienen múltiples rutas que conducen a los resultados a largo plazo. Por ejemplo, puede ser una ruta de aplicación de la ley, una ruta de participación de la comunidad, y una ruta de los recursos comunitarios que en conjunto conducen a vecindarios seguros a través de una serie de condiciones previas. Esto también ha sido visto como, una vez identificado el cambio deseado, la definición de áreas estratégicas que van a ser priorizadas para sostener dicho cambio y que finalmente deben ser el foco de nuestra acción.
48
Las siguientes preguntas ayudan a la definición de esas áreas estratégicas:
¿Cuáles son los factores principales que emergen cuando se define el cambio deseado? ¿Existen categorías emergentes que se pueden identificar? ¿Podemos encontrar entre estos factores algún tipo de convergencia? ¿Podemos ordenarlos y definir algunas categorías? Entre todas estas categorías, cuáles son aquellas que pueden hacer -‐más que otras-‐ que el sistema se mueva hacia el cambio deseado? ¿En base a la experiencia de la organización, su función y sus capacidades, hacia qué áreas podemos contribuir mejor?
Es recomendable sintetizar e identificar no más de tres o cuatro áreas estratégicas con el fin de evitar la excesiva dispersión y con el fin de centrar el ejercicio sobre los elementos estratégicos fundamentales y no en aquellos que son periféricos, secundarios y superficiales. El paso siguiente es desarrollar un objetivo estratégico o resultado para cada una de las categorías seleccionadas.
A veces, en una estructura de resultados representamos a ciertas condiciones previas que van juntas en una categoría como un cluster. El agrupamiento muestra a un conjunto de precondiciones que pertenecen juntos conceptualmente y que interactúan entre sí. En conjunto, funcionan como una condición previa conjunta para los resultados más adelante en el marco. Representarlas en un cluster evita la necesidad de dibujar flechas de cada precondición hacia los resultados más arriba en la jerarquía. El cluster muestra la interdependencia entre las condiciones individuales sin necesidad de se diagramen las relaciones causales internas.
Pasos para construir la Ruta de Cambio:
Paso 1: Decidir entre construir una Ruta de Cambio de las Áreas Estratégicas, o bien una Ruta de Cambio de carácter más general.
A) La primera opción mira a las áreas estratégicas en detalle, y desarrolla una ruta de cambio para cada área estratégica. Cada área estratégica definirá, en términos de tiempo, las condiciones clave (etapas) para el logro de los objetivos del área estratégica, reconociendo que las condiciones pueden evolucionar de manera secuencial, simultánea y emergente. Por lo tanto, la vinculación secuencial y simultánea de las condiciones conformará la Ruta del Cambio para el área estratégica específica. Se realiza la misma acción para cada área estratégica y se identifican posibles conexiones sistemáticas entre las condiciones en diferentes áreas estratégicas. Podemos preguntarnos: ¿Son éstas las áreas estratégicas correctas? ¿Tenemos que revisar sus objetivos? ¿Nuestro ejercicio de mapeo tiene en cuenta todos los actores
49
principales que intervienen en estas áreas estratégicas? ¿Cuáles son las relaciones e interacciones entre las diferentes áreas estratégicas? ¿Qué falta en nuestro análisis?
B) La segunda opción consiste en desarrollar una ruta de cambio más general sobre la base de un análisis más amplio del cambio deseado y de las áreas estratégicas como un todo. La Ruta del Cambio abarcará un análisis de carácter general e integral para identificar las condiciones generales para el cambio deseado a suceder.
Paso 2. Sesión de lluvia de ideas para identificar las condiciones necesarias. El grupo trabaja ahora de manera sistemática desde la visión a largo plazo estratégica del cambio deseado hacia atrás (hacia el presente), e identifica los cambios y procesos que cree que son condiciones absolutamente necesarias para el logro de cada elemento de su visión del cambio deseado. En otras palabras, estos son los cambios que creen que deben suceder si queremos lograr los resultados del cambio deseado. Los participantes deberían pensar en todas las condiciones que son necesarias para que el cambio a largo plazo tenga lugar.
Estos elementos pueden ser escritos en tarjetas y pegados en la pared. A medida que se presentan, Además, poner a prueba la condición previa preguntando: ¿Este elemento describe resultados claros y alcanzables? se debe contar con una justificación clara de por qué cada uno de los resultados es necesario y cómo contribuye a los objetivos a largo plazo. Los cambios buscados son cambios en condiciones, instituciones, relaciones, capacidades, actitudes y conductas (Keystone 2008, 17). Las condiciones previas y los indicadores deben ser lo más específico posible y podrían describir: • ¿Qué cambio? • ¿Para quién? • ¿Qué tan bueno? • ¿Para cuándo?
Paso 3. Agrupando y diseñando la ruta de cambio.: En este paso los participantes deben tratar de organizar las ideas relacionadas en grupos y luego tratar de llegar a una sola formulación que cubra los puntos más importantes en cada grupo. La idea es desarrollar un conjunto de resultados a corto y mediano plazo que se pueden enumerar como condiciones previas, necesarias y suficientes en el mapa de la ruta de cambio. Sin embargo, mientras la organización trabaja y desarrolla su teoría del cambio, puede optar por desglosar o descomponer algunas de estas, o elevar una condición secundaria a principal.
Una prueba sencilla que se puede hacer es aplicar estas preguntas a todas las declaraciones que el grupo hace: ¿Está escrito como un resultado? ¿Se describen los cambios que plausiblemente podemos generar o facilitar en las personas, grupos, instituciones o entornos? ¿El resultado es realmente una condición previa necesaria? Las pre-‐condiciones no son elementos “decorativos”, sino más bien son cuestiones esenciales para el éxito -‐ de modo tal que es difícil imaginar el éxito a largo plazo y de modo sostenible si la condición no está allí. Es posible que en un primer taller inicial no sea posible mapear todas las pre-‐condiciones de éxito, lo cual puede ser completado por facilitadores o miembros de la organización luego del mismo.
50
Debido a la complejidad de los procesos de intervención social, estas condiciones pueden ocurrir al menos de tres maneras: secuencial (A no puede ocurrir hasta que B ha ocurrido: la población en general está sensibilizada hacia los derechos de GLBT una vez que se han difundido efectivamente los mismos), simultánea (C no puede ocurrir sin la acción conjunta de A y B: la disminución de casos de violación a los derechos humanos en la población GLBT se consolida junto a la disminución de estigma y discriminación hacia ellos, así como con el cumplimiento de las políticas públicas en torno a su derecho); emergente (M se debe a la interacción no-‐predecible o no bien conocida de D, J, I y Q: la mejora en la calidad de vida de los/las GLBT sucede a partir de la disminución de casos de violación a sus derechos humanos, la acción de políticas, la disminución de estigma y discriminación, y factores que todavía desconocemos al realizar la teoría del cambio).
La presentación básica de una teoría del cambio puede tomar dos formas:
• Una es un diagrama que da cuenta de la ruta hacia resultados.
• La otra es un listado de puntos (viñetas), que dé cuenta de las condiciones en cada uno de los resultados en la visión del cambio (ver ejemplo en el Appendix 3, Keystone 2008).
Cuando se ha completado, la Ruta del Cambio funciona como un conjunto claro y accesible de los resultados a corto plazo que la organización de modo realista confía en influir y ayudar a llevar a cabo en el contexto que se está trabajando. Como tales, estos avances, en la consecución de cualquiera de estos resultados puede ser visto como el progreso hacia la visión de largo plazo del cambio deseado. Por lo tanto, más tarde, la organización puede diseñar estrategias e intervenciones específicas dirigidas a la consecución de estos resultados y saber que el logro aquí también puede ser visto como el logro hacia el cambio deseado.
Se deber estar atento a la tendencia a representar la Ruta del Cambio de un modo lineal. Sin embargo, no es condición necesaria el ilustrar nuestra Ruta de Cambio en un diagrama de flujo lineal, pues hay muchas otras maneras de "contar la historia" y que reflejen con mayor eficacia la riqueza de las conversaciones que se dan en el proceso de desarrollo de la Ruta del Cambio. A fin de cuentas, el logro más importante no es tanto lo bien que podamos ilustrar nuestro proceso de pensamiento, sino cuán integral y pedagógica es la historia que contamos acerca de nuestra Teoría del Cambio. Contar historias es una manera muy adecuada y simple de dar sentido cuando se ha de describir la complejidad en la que nuestros procesos están involucrados. Una vez que hemos visualizado nuestro proceso de pensamiento y hemos construido una historia alrededor de él, podemos capturar fácilmente y explicar en un documento escrito de la complejidad de nuestra Teoría del Cambio. Esto se desarrollará con más detalle en el punto 3.6. Narración.
Paso 4. Sopesar y elegir las intervenciones más estratégicas para lograr el cambio deseado: Las intervenciones son aquellas acciones que el programa o grupo de interesados van a emprender para lograr el o los resultados esperados (outcomes). Son por tanto los trabajos realizados dentro de una iniciativa o programa, y que se supone conducirá a los resultados
51
deseados. Siguiendo la distinción de Actknowledge, entendemos al término estrategia en el sentido de una secuencia coordinada de intervenciones, utilizando una variedad de herramientas óptimamente aprovechadas, para lograr los resultados deseados. Utilizamos la noción de actividad para describir todas las acciones específicas que componen una intervención. Una intervención puede ser, por ejemplo, capacitación en técnicas productivas innovadoras, y las actividades serían las distintas acciones necesarias para que dicha capacitación se realice: seleccionar al capacitador, convocar a productores interesados, elegir el espacio y contar con los insumos para la capacitación, etc. Las intervenciones pueden reflejarse en la Ruta de Cambio con símbolos sobre los conectores que llevan de una pre-‐condición hasta el resultado que dicha precondición contribuye a realizar. En el caso que alguna intervención contribuya con varios resultados, debería aparecer en todos los conectores relevantes.
En el proceso de Teoría del Cambio, deliberadamente se suele pedir a los grupos que mantengan cierta distancia de las intervenciones -‐es decir, de lo que van a hacer -‐ hasta que se haya identificado aquello que tiene que suceder (los resultados que se necesitan se produzcan). De esta manera, sólo aquellas intervenciones que mejor contribuyen a la realización de los resultados son incluidas en la teoría de cambio. Esto también permite al grupo ver dónde cada intervención se inscribe en el marco mayor o panorámico del cambio buscado. Una vez que el marco de resultados o alcances se ha completado, el grupo puede reunirse para planear y representar las intervenciones. Si el programa o iniciativa ya estuviera en funcionamiento, se puede comenzar mediante la asignación de todas las intervenciones que el programa está llevando a cabo a los resultados que están destinados a contribuir.
Las intervenciones pueden situarse en un marco de resultados por medio de símbolos posicionados a lo largo de los conectores entre los resultados, ilustrando que la intervención puede comenzar una vez que se dio alcanzó el Resultado A, y que su finalización exitosa es necesaria para producir el Resultado B. La lógica para ubicar una intervención es la siguiente: el Resultado A establece las condiciones que permiten al Resultado B desarrollarse. Sin embargo, el resultado A (y otros resultados en la misma etapa de trabajo) puede no bastar en sí mismo para que se desarrolle el Resultado B. Por lo tanto, para lograr el resultado B, necesitamos la intervención # 1. La intervención, o el símbolo para esa intervención, se coloca en el conector entre el Resultado A y el Resultado B. No se deben forzar las intervenciones que no contribuyen directamente a los resultados planteados en el marco. Las acciones ya existentes pueden encontrar su espacio en la teoría, pero si no lo hacen, es mejor no forzarlos a entrar y más bien reconocer que el programa o la actividad no ayuda a avanzar hacia el resultado a largo plazo. También es posible sugerir que ha faltado presentar un resultado en el desarrollo del marco de resultados. Si la iniciativa o programa es nuevo, revisar el marco para identificar los lugares donde es necesaria una intervención y decidir qué intervención sería la mejor para lograr cierto resultado.
La Ruta del Cambio es… Un mapa que ilustra la relación entre acciones y resultados, a la vez que muestra cómo los resultados están relacionados unos con otros durante la vida de la iniciativa. Es el mapa que explica cómo los resultados de largo plazo son alcanzados como consecuencia de describir las pre-condiciones de cambio en cada tarea. El Instituto Aspen
52
1.4. Identificando nuestros supuestos
Aún cuando no nos damos cuenta, todos los días utilizamos teorías que dan cuenta de la realidad social –tanto para nosotros mismos como para los demás. Estas teorías incluyen explicaciones de los cambios sociales que hemos recibido a través de nuestra educación y crianza, los que se pueden haber vuelto tan parte de nosotros mismos que ya no cuestionamos si son los más útiles para nuestro propósito.
Un aspecto que caracteriza a la Teoría de Cambio es el énfasis que pone en profundizar la práctica reflexiva en distintas dimensiones, la cual obliga a revisar de manera constante e iterativa los supuestos que utilizamos para interpretar la realidad. El ejercicio cognitivo de explicitación de supuestos fortalece nuestra práctica reflexiva tanto en el plano externo (el mundo exterior, el contexto social, político, económico), como en el plano interno (analizar el peso de nuestras estructuras cognitivas y formaciones mentales en el entendimiento y comprensión de la realidad). En el nivel de una organización o una red de actores orientada al cambio social, las teorías del cambio representan su comprensión "colectiva" implícita y explícita sobre cómo sucede el cambio, su vínculo con los problemas existentes y la modalidad para hacer frente a su misión o propósito. Por esto es clave hacer explícitas dichas teorías, dado que las Teorías del Cambio que queremos construir están intrínsecamente ligadas a valores, pasiones y creencias, y nuestras teorías configuran lo que cada persona piensa acerca de cómo el cambio sucede en la sociedad. Las Teorías del Cambio son también y de alguna manera, los supuestos generales y filosofías que influyen en nuestra visión y entendimientos.
El proceso de revisión de supuestos es constante y recurrente en la construcción de la Ruta del Cambio. Esto implica revisar las condiciones para el cambio (pre-‐condiciones), y la identificación de los supuestos que apoyan cada una de esas condiciones como necesaria para el logro del cambio deseado. Los supuestos y precondiciones han de ser entendidos como las dos condiciones necesarias para el éxito del programa. La diferencia entre ellos es que los supuestos ya están en su lugar y no tienen que ser provocados -‐ en otras palabras, son las condiciones o recursos que un grupo considera que se necesitan para el éxito de su programa, los cuales se creen que existen y que no será problemático mantener. Por su parte, las precondiciones son los resultados o alcances intermedios que nos llevarán al resultado a largo plazo; estas precondiciones han de ser provocadas / generadas a fin de alcanzar ese fin último.
Durante el proceso de definición del cambio posible deseado (resultados a largo plazo) así como en la profundización de pre-‐condiciones en la ruta de cambio, los participantes deberían articular la mayor cantidad posible de sus supuestos sobre el proceso de cambio, de manera que puedan ser examinados para determinar qué supuestos claves pueden ser difíciles de sostener o bien son poco realistas.
No hay reglas rígidas ni rápidas sobre qué listar como supuestos. Es útil proporcionar información descriptiva sobre los principios y sistema de creencias que subyacen en el mapa de
53
resultados. A menudo, dichas declaraciones serán parte de la discusión mientras se está construyendo el mapa, por lo que resulta importante registrar los supuestos en un proceso continuo mientras se está creando la ruta de cambio y compilarlas una vez que la misma este terminada. Se puede tomar nota de ellos en cartulinas para luego integrarlas a la ruta del cambio, como también utilizar algún software para presentarlas en limpio (ver por ejemplo http://toco.actknowledge.org/).
1.5. Indicadores del Cambio
Los indicadores de cambio estarán relacionados con la observación de las condiciones identificadas en nuestra Teoría de Cambio. De este modo, los indicadores deben ayudarnos a entender en qué grado y de qué manera se están dando esas condiciones en el entorno. Todos los resultados o alcances en una teoría del cambio tienen que ser observables de alguna manera. Las partes interesadas, evaluadores, donantes, etc., todos tienen que saber si se ha alcanzado un resultado determinado, y es ahí donde aparecen los indicadores. Estos hacen referencia a fenómenos mensurables y observables, y proporcionan la evidencia de los logros. Los interesados eligen el mejor indicador (o indicadores) para cada resultado, a menudo con la ayuda de un evaluador. Un indicador puede ser cuantitativo (por ejemplo, el número de nuevos puestos de trabajo creados) o cualitativo (una descripción tal como nuevas características de una comunidad).
En el contexto de la Teoría de Cambio, el uso de indicadores no debe ser asimilado con los indicadores de ejecución de actividades (presentes, por ejemplo, en el Marco Lógico). Mediante la definición de indicadores de cambio buscamos entender mejor cómo leer el contexto para ver cuáles son los efectos que podemos percibir en el mismo a raíz de nuestra acción. Estos indicadores nos permiten entender mejor cómo se está dando realmente el cambio; y de igual manera, nos permiten entender mejor cuál es nuestra contribución a la ocurrencia del mismo. En este caso, la premisa subyacente al diseño de indicadores nos señala que no por el hecho de ejecutar una actividad estamos realmente contribuyendo a generar los cambios planificados inicialmente.
Los métodos convencionales de monitoreo y evaluación por lo general se centran en los impactos positivos. A la vez, pocas iniciativas no presentan algún tipo de impacto negativo, si bien en la mayoría de los proyectos hay una renuencia a revisar esto. Todos los participantes de un proyecto deberían estar abiertos a la importancia de identificar tanto los impactos negativos así como también a los grupos que han sido ignorados o excluidos de las iniciativas de desarrollo.
No todo lo que cuenta puede ser contado y no todo lo que puede ser
contado cuenta.-‐ Albert Einstein
54
Los actores locales deberían participar en la decisión respecto a qué cambios quieren ver. En una reunión, un taller, e incluso en conversaciones informales, se puede preguntar a los miembros de la comunidad qué cambios esperan alcanzar una vez finalizado el proyecto. Se puede preguntar por ejemplo: «Imagínese que el proyecto se acaba. ¿Cómo se beneficiará la gente? ¿Cómo afectará a sus vidas? ¿Qué ocurrirá? ». La respuesta que la gente dé a estas preguntas ayudará a encontrar los indicadores que necesita para hacer un seguimiento del progreso y los cambios.
Un indicador es un factor o variable -‐cuantitativa o cualitativa-‐ que proporciona un medio sencillo y fiable para medir logros y reflejar los cambios vinculados con una intervención. Si bien los indicadores son señales que nos indican que determinados cambios han o no ocurrido, no nos dicen cómo o por qué se produce el cambio. En el contexto de las teorías del cambio y las evaluaciones guiadas por teoría, los indicadores proporcionan los medios para valorar el producto, el resultado, el impacto y la sostenibilidad, en comparación con las expectativas que refleja la teoría del cambio que guía el programa. En resumen, los indicadores ofrecen un medio para medir los cambios deseados vinculados con una intervención. Mientras que las teorías del cambio tratan de explicar cómo o por qué se producen los cambios, los indicadores muestran la medida en que los cambios se han producido.
Por ejemplo, los programas de salud podrían utilizar indicadores tales como la prevalencia de la deficiencia de ciertos minerales, medida por pruebas de sangre en una muestra de población, o la prevalencia de una enfermedad concreta medida por las revisiones de los registros hospitalarios para evaluar los resultados de los programas relacionados. Sin embargo, a menudo los cambios deseados en los programas sociales son más abstractos e intangibles, como por ejemplo la búsqueda de mejora en las relaciones intrapersonales y el aumento de la confianza y el entendimiento entre diferentes actores. Los indicadores, en tales casos, en lugar de medir el cambio exacto, ayudan a aproximar el cambio. Los mejores indicadores son aquellos aproximadores (llamados a veces proxy) más cercanos de los cambios intangibles, como la mejora en las relaciones, que se puede esperar. Es fundamental que los indicadores estén estrechamente vinculados al contexto local, lo cual se logra a través de la participación de los actores locales en el desarrollo de los mismos.
Los indicadores son la evidencia medible de haber alcanzado un objetivo, por lo general signos visibles (por ejemplo, notas de lectura, asistencia) que demuestran que el resultado ha sido cumplido. Los indicadores pueden incluir medidas cuantitativas o información cualitativa. Cada indicador tiene que tener cuatro blancos: ¿Cuántos de quiénes o qué alcanzarán qué nivel para cuándo? Esas metas de los indicadores deben basarse en cuántos o qué proporción de personas o conductas necesita cambiar para que el resultado se alcance. ¿Cuánto su grupo objetivo necesita cambiar? En otras palabras, qué bueno es "suficientemente bueno"? Por ejemplo, si los estudiantes mejoran las calificaciones de lectura por un grado , es eso suficiente? O cuántas sesiones los participantes deben asistir a una clase o un taller para lograr la habilidad que se enseña? Una vez más, el nivel o la calidad del cambio necesario es determinado por lo que usted cree que se necesita para alcanzar el resultado.
55
El plazo para alcanzar cualquier resultado dado depende de el cronograma para alcanzar los resultados anteriores y posteriores en la ruta de cambio. Así, por ejemplo, si los residentes no han completado un curso de alfabetización hasta el final del año, no es realista esperar ver un aumento en las tasas de alfabetización más temprano. Del mismo modo, si el resultado a largo plazo es que los padres leen a sus hijos dentro de tres años, se puede trabajar hacia atrás para determinar para cuándo tienen que tener mayor alfabetización y su motivación. Si bien ActKnowledge recomienda que los indicadores básicos se identifiquen para todos los resultados en la teoría, nos damos cuenta de que los grupos pueden optar por desarrollar plenamente y recoger los datos de un subconjunto seleccionado de indicadores. Para cada indicador que se desarrolla, recuerde desarrollar todos sus blancos (es decir, cuántos, ¿quién o qué, qué nivel, para cuándo). El indicador debería hacer que sea muy claro para todos lo que usted considere el éxito para un resultado determinado.
Por lo general, los indicadores se determinan en dos momentos diferentes durante la fase de construcción de la Teoría del Cambio. Uno de ellos es durante la construcción de las rutas de precondiciones. A veces, puede ser muy útil detenerse y desarrollar un indicador para un resultado que el grupo puede no tener claro o bien si hay algún desacuerdo sobre el mismo. Desarrollar un indicador explicando el éxito medible para el resultado va a obligar al grupo a situarse en la misma página sobre ese resultado. El otro momento cuando ya se han identificado todos los resultados. En este punto, es posible que desee dividir los resultados entre varios participantes y asignar el desarrollo de indicadores como una tarea, y luego volver y revisarlos juntos como grupo. También puede asignar el desarrollo de los indicadores a los investigadores del grupo y luego contar con la opinión de todo el grupo sobre los mismos. El desarrollo de indicadores no suele desarrollarse en las reuniones de grupo. A menudo es necesario hacer referencia a fuentes externas para ver lo que otros han utilizado como indicadores de los diversos resultados o para averiguar lo que se dispone de datos, etc.
Cómo desarrollar indicadores:
1. Refinar o clarificar la teoría del cambio 2. Lluvia de ideas sobre formas de saber si el cambio se ha producido. 3. Identificar los indicadores más útiles que sean adecuados, confiables,
transferibles / adaptables, válidos y prácticos. 4. Permanecer abierto a refinamientos adicionales
Se deben elaborar indicadores para cada una de las condiciones presentes en la Ruta del Cambio, a fin de poder entender si dicha condición se está desarrollando y qué efecto tiene en el contexto del cambio. Por lo tanto, los indicadores de cambio deberían ayudarnos a comprender hasta qué punto y de qué manera estas condiciones se están produciendo en el contexto de intervención. No corresponde incorporar actividades en esta instancia, sino condiciones de cambio. Si bien en algún caso puede sentirse que se pierde la complejidad al pensar en los indicadores de cambio, si el proceso metodológico ha sido llevado a conciencia, se puede estar simplificando correctamente.
56
Con vista al seguimiento y monitoreo, es posible que se quiera priorizar a alguno de esos indicadores. La revisión periódica de los indicadores ayudará a ajustar nuestra Teoría de Cambio tanto a nivel político-‐estratégico (acción sobre las condiciones para el cambio) como cognitivo (supuestos que sustentan nuestra lógica de cambio).
Por otro lado, se debe estar alerta al problema conocido como el "dilema del indicador”, el cual hace referencia a que los indicadores elegidos para verificar cierto impacto sólo pueden identificar el cambio esperado, y sólo reflejarán aquellos cambios que se hayan hecho explícitos o bien acordados por las partes interesadas. Pero, ¿qué sucede cuando el cambio es inesperado, o no fue acordado por las partes interesadas, o cuando un grupo en particular no explicitó un área de cambio que era importante para ellos?
Algunas agencias de desarrollo han experimentado con enfoques para evaluar el cambio que no utilizan indicadores predeterminados -‐ por el contrario, las personas en situación de pobreza y vulnerabilidad revisan los cambios que han tenido lugar durante un determinado tiempo y otros factores relacionados. Un ejemplo de ello es la metodología de el Cambio Más Significante (o MSC, por sus siglas en inglés).
1.6. Narración
La narración es un resumen de la teoría que explica los caminos o rutas del cambio, destacan algunas de los principales supuestos, fundamentos (rationales), e intervenciones, y presenta un caso convincente en cuanto a cómo y por qué la iniciativa espera marcar una diferencia (Actknowledge, 2012). La narración también puede contener alguna información que sea adicional a lo que está en la teoría, tal como la visión general, la historia de cómo su iniciativa apareció , y algo de contexto comunitario. El propósito de la narración es doble: (1) transmitir los principales elementos de su teoría de forma fácil y rápida a otras personas, (2) entender mejor cómo los elementos de la teoría funcionan en su conjunto . Las narraciones deben mantenerse en una o dos páginas. Luego que se hayan completado todos los elementos de la Teoría del Cambio, haga que alguien trate de elaborar un resumen ejecutivo, en un lenguaje sencillo y directo, que describe los aspectos más destacados de la Teoría del Cambio. Luego, haga que el grupo lo revise para ver si capta los elementos clave y las explicaciones de la teoría los que son suficientes para presentar un caso convincente sin todos los detalles.
Un punto clave acerca de los resultados en el contexto de una teoría del cambio es que hay resultados esperados y resultados reales. Son los resultados esperados los que aparecen en el diagrama de la teoría del cambio, modelando los resultados en caminos o vías que muestran una lógica causal subyacente y por lo tanto revelan las suposiciones inherentes de la teoría . La teoría no es el modelado de los resultados reales. Esperamos que lo que realmente suceda se parezca mucho a la previsión de los resultados en el modelo. La innovación de la teoría del cambio se encuentra en (1) en hacer esta distinción entre los resultados deseados y reales, y (2) en requerir a los actores interesados que puedan modelar los resultados esperados antes de
57
decidir sobre las actividades, tácticas, estrategias y otras formas de intervención. Este enfoque permite a practicantes hacer elecciones dentro de un marco de resultados de referencia de manera que las actividades puedan ser elegidos por su potencial para lograr los resultados de la iniciativa. La tarea de monitoreo y evaluación es determinar si y de qué manera los resultados reales de el trabajo reflejan los resultados pronosticados en la teoría del cambio, y si los supuestos subyacentes a la teoría sobre lo que funcionará eran correctos. Si la iniciativa tiene éxito, tener una teoría de cambio detrás de ella confiere soporte a la atribución. El éxito también confiere poder predictivo a la teoría, haciéndola útil para cualquier esfuerzo de replicación o ampliación.
Monitoreo y Evaluación de la Teoría del Cambio
Sin un modelo claro de cambio, los resultados se abstraen de los detalles de la iniciativa, los resultados no son monitoreados, y los fracasos y los éxitos no pueden ser fácilmente vinculados al esfuerzo realizado. Con las iniciativas basadas en la teoría del cambio, los detalles son presentados, los resultados medidos, y los fracasos son más fáciles de identificar y evaluar. Mientras más explícita es la teoría, incluyendo todos sus supuestos, más puede el fracaso ser vinculado a los supuestos erróneos. A pesar de este riesgo, la teoría del cambio aumenta las posibilidades de éxito a largo plazo. El fracaso en alcanzar los objetivos es casi seguro en ausencia de un modelo de cambio claramente desarrollado . Las fallas en el contexto de una teoría del cambio pueden ser la oportunidad de aprender de la experiencia, recalibrar y volver al campo con intervenciones más efectivas. La Teoría del Cambio permite a proponentes e interesados los medios para cuestionar continuamente sus supuestos y, al hacerlo, perfeccionar y afinar sus estrategias para un mayor éxito. Al considerar un resultado dado, uno podría preguntar: "¿Qué pasaría si este resultado no se produce?" Si su ausencia deja un hueco en la lógica, o señala a un "intermedio faltante" en el camino de resultados parece dar un salto sobre medidas necesarias, es que se han identificado una brecha en el modelo. Se deberá trabajar para comprender e identificar aquello que es necesario para completar las etapas que faltan.
El testeo o comprobación de las teorías del cambio a través del monitoreo y la evaluación puede proporcionar una poderosa evidencia del éxito o fracaso de las iniciativas. Acoplar el seguimiento y la evaluación con la Teoría del Cambio puede traer un mejor entendimiento de cómo mejorar el diseño y la implementación de las iniciativas en curso, y la manera de ampliar las iniciativas hacia arriba o hacia fuera. El monitoreo en intervalos regulares de los supuestos y fundamentos subyacentes a la teoría son altamente relevantes para “probar” la misma: ¿las hipótesis (aún) son válidas? ¿Se ven los resultados esperados? ¿Cuáles efectos no intencionados o no esperados se ven? ¿Qué dice eso acerca de la teoría del cambio? Ante hipótesis ya no válidas o bien si el ecosistema ha cambiado en una manera no prevista, puede ser necesario revisar la ruta de cambio y/o las estrategias de intervención.
58
La revisión de los supuestos y fundamentos, la búsqueda de evidencia para confirmar o refutar las hipótesis, y la actualización de la ruta de cambio, conforman el corazón de la práctica crítica reflexiva que alienta la construcción de Teoría de Cambio. Su desarrollo a intervalos regulares favorece la maduración del entendimiento general sobre el proceso de cambio, así como las capacidades de responder de manera estratégica y eficaz a las circunstancias cambiantes.
La Teoría del cambio puede comenzar en cualquier etapa antes de, durante, y después del tiempo de vida de una iniciativa, dependiendo del uso pretendido. Una teoría desarrollada al principio es oportuna para informar a la conceptualización y la planificación de una iniciativa. A medida que se disponga de los datos de seguimiento y evaluación, los interesados pueden afinar periódicamente la teoría del cambio basándose en la evidencia. Una teoría del cambio también se puede desarrollar a posteriori por la lectura de los documentos del programa, hablando con los actores y utilizando los datos de seguimiento y evaluación. Esto se suele hacer durante las evaluaciones o bien utilizarlo para un proceso reflexivo de aprendizaje sobre lo que ha funcionado y por qué, a fin de comprender el pasado y hacer planes para el futuro. La claridad de propósitos, resultados y estrategias que facilita la Teoría del Cambio permiten “afilar” tanto las intervenciones como los diseños de evaluación, fortaleciendo la capacidad de los actores de la intervención de vincular la misma con los resultados que fueron anticipados en su ruta de cambio.
La complejidad del desarrollo conlleva que, al trabajar en instancias de cambio social, se deban hacer planes sobre la base de que nunca tendremos el panorama completo del contexto de acción (y ni siquiera muy cerca de ello), que cualquier planificación es inherentemente defectuosa, y que sólo a través del aprendizaje de las experiencia y con el tiempo podría cierta verdad comenzarse a revelar como más útil. En vinculación con la evaluación, la lógica de "causa y efecto" se adapta a enfoques más clásicos de ella, mientras que no restulta tan efectiva para dar cuenta de la fluidez, horizontalidad y no linealidad de acción de las redes de cambio social, por ejemplo. Las mismas técnicas que permiten evaluar formas más lineales y estructuradas de organización, suelen no servir e incluso ser perjudiciales, para una correcta comprensión de las redes. Éstas se caracterizan por contar con múltiples perspectivas desde sus participantes, poseen fronteras "difusas" o permeables, la presencia de múltiples objetivos (incluso en competencia), los flujos multidireccionales de comunicación, y un alto grado de independencia entre los actores.
Lo que "nosotros" tratamos de cambiar o desarrollar son sistemas complejos, abiertos y dinámicos, que se reproducen y/o evolucionan a lo largo de trayectorias contingentes, vale decir, trayectorias influenciadas -‐pero nunca totalmente determinadas-‐ por un gran número de factores, algunos de los cuales están previstos en la intervención de desarrollo, mientras que otros no. El cambio social, como proceso no lineal, de largo plazo, complejo y a menudo imprevisible, requiere esfuerzos en múltiples niveles.
Sin embargo, la mayoría de las organizaciones continúan enmarcando sus estrategias en términos mensurables de causa-‐efecto, como si sus programas pudieran ser evaluados en
59
forma aislada de otros esfuerzos, y se pudiera demostrar la eficacia en el corto plazo. Muchas veces cuando la medida del éxito se define en términos cuantitativos, lo que empieza a importar más es cuánto es lo que uno hace, y no así la calidad de los procesos y las relaciones generadas.
La ciencia de la complejidad reconoce la dificultad de planificar todo al detalle, particularmente cuando se trabaja dentro de un entorno imprevisible y en constante cambio. El enfoque de planificación desde una visión de complejidad es especialmente útil cuando la misión de la organización es promover cambios en el contexto y en el patrón de relaciones entre los agentes, en lugar de producir resultados predeterminados. Lo mismo sucede cuando la organización trabaja en un territorio poco conocido, donde no existen experiencias previas que pueden servir de referencia. Esto no significa que las organizaciones de cambio social no deban planificar, sino que deben cambiar su forma de planificar.
Las metodologías de seguimiento y evaluación que se centran en la rendición de cuentas y no en un honesto aprendizaje de la práctica, no brindan las medidas o el valor que esperamos. Pero el problema no está en la medición efectiva y su reporte, sino en la práctica efectiva en sí guiada por la lógica de proyectos. Lo importante es entender las condiciones locales y ser conscientes de la incertidumbre y la retroalimentación que acompaña a toda intervención. Desde el punto de vista de la complejidad, la mejor manera de planificar es el establecimiento de requisitos mínimos y un sentido general de dirección, es decir, describir la misión de la organización y algunos principios básicos sobre cómo la organización debe llegar a su visión. Los directivos de la organización deberían facilitar una adecuada autonomía para que las personas se auto-‐organicen, adaptándose a medida que pasa el tiempo a un contexto en constante cambio.
Aspectos de calidad en la Teoría del Cambio
La revisión de la calidad de una teoría de cambio debería responder a tres preguntas básicas: ¿Es su teoría 1) plausible, 2) La "factible" (o viable), y 3) comprobable o testeable?
La plausibilidad refiere a la lógica de sus rutas de cambio. ¿Tiene sentido? Están los resultados en el orden correcto? Son las condiciones previas realmente condiciones previas para los resultados que se han indicado? ¿Hay grandes lagunas o baches en la lógica?
La viabilidad refiere a cuán realista es que el programa y / o iniciativa puedan lograr el resultado a largo plazo. ¿Se tienen los recursos para poner en práctica todas las intervenciones se han especificado? ¿Es necesario traer a nuevos socios? ¿Es necesario ajustar el alcance, las expectativas o la línea de tiempo de su teoría?
La testabilidad refiere a cuan bien se han elaborado sus indicadores. ¿Ha identificado indicadores sólidos y medibles que puedan ser evaluados de manera oportuna? ¿Estos indicadores serán suficientes para hacer correcciones en su curso hacia el resultado de largo
60
plazo y para evaluar el éxito de su programa? ¿Van a ser convincentes para distintas audiencias? La "Testabilidad" se deriva de de las raíces de la teoría del cambio en la evaluación, donde la teoría del cambio continúa enfocando los recursos de evaluación en responder si las actividades de la iniciativa están logrando los resultados que se proponía alcanzar. Es en el esfuerzo para especificar los indicadores que la comprobabilidad o "testeabilidad" de la teoría queda demostrada.
La revisión de la calidad debería ser un proceso continuo durante la construcción de la teoría de cambio. El grupo siempre debería estar refiriéndose a las preguntas de revisión de la calidad adecuadas. Durante la fase de construcción, es posible que desee invitar a revisores externos, ya sea con la experiencia de contenido específico o como intermediarios clave , hacer comentarios sobre su teoría. Por último, debe haber una revisión formal de calidad que comprenda toda la teoría después de haber terminado con todos los componentes.
Además de los tres criterios básicos de calidad hasta ahora presentados, ActKnowledge ha añadido otro: el alcance adecuado (Clark, 2004). Una teoría que sirva para la acción que puede comunicarse a audiencias clave depende en parte de la elección del ámbito de aplicación adecuado.
La Teoría del Cambio es un enfoque flexible, capaz de ser utilizado en una pluralidad de ámbitos y escenarios, que despliega su potencialidad a partir de un trabajo participativo entre los diversos actores involucrados en las intervenciones de desarrollo. Su carácter iterativo y constante permite enlazar la planificación con la intervención, y el seguimiento con la acción cotidiana. El involucramiento de una pluralidad de actores facilita también el surgimiento de indicadores de carácter más cualitativo que den cuenta de los avances hacia el cambio deseado.
De acuerdo a la organización Keystone (2008), la teoría del cambio puede ser utilizada como un marco que facilite y promueva el diálogo y el aprendizaje a partir de sus siguientes potencialidades:
• Identificar resultados particulares en sus rutas de cambio, y desarrollar un conjunto de estrategias específicas para alcanzarlos
• Identificar otros actores que también influyen en dichos resultados, y buscar formas de trabajo más eficaces
• Ayuda a reconocer y documentar evidencia del éxito (o fracaso) cada vez que son vistas
• Enmarca el aprendizaje en diálogo con los actores relevantes de la intervención, facilitando incluir sus puntos de vista y opiniones en la planificación y la presentación de informes
61
• Permite conocer y compartir las lecciones aprendidas sobre lo que realmente funciona para lograr un cambio duradero
• Ayuda a que se informe claramente sobre logros y las lecciones aprendidas, así como su contribución a un cambio duradero
• Ayuda a compartir aprendizajes y contribuir al aprendizaje social sobre cómo cambios similares pueden lograrse en otros contextos
• Brinda elementos para persuadir a los donantes a invertir en resultados a largo plazo en lugar de sólo en proyectos de término corto.
Una buena teoría del cambio se alcanza cuando se ha contado con la perspectiva de los actores claves de la intervención en explorar tanto los supuestos que sostienen las ideas o creencias acerca de qué va a funcionar y porqué, así como las estrategias que resultan más efectivas en el corto, mediano y largo plazo.
El cambio social no puede ser manipulado, sólo puede ser cultivado. Los procesos de cambio -‐ya sean emergentes, transformativos o proyectables-‐, ya existen en el contexto de la realidad, en movimiento o latentes, y deben ser leído y trabajados como procesos naturales inherentes a la vida y cultura de las personas mismas. Este tipo de orientación, aplicado con respeto y con habilidad, de hecho puede producir el impacto y la sostenibilidad, que es tan fuertemente buscada. Tal vez entonces nuestra obsesión con la rendición de cuentas puede ser disipada, no porque se ha aprendido a medir el impacto mejor, sino porque nosotros hemos aprendido a practicar mejor, a leer con más precisión el cambio, y trabajar con él con más eficacia.
62
CAPITULO 5
La Evaluación Orientada al Aprendizaje: el enfoque de la Sistematización de Experiencias
Este capítulo presenta un enfoque orientado al aprendizaje, conocido como sistematización de experiencias. Se trata de una estrategia multisectorial para evaluar las intervenciones de desarrollo con énfasis en las lecciones aprendidas.
Las prácticas intencionadas de intervención social en el mundo del desarrollo –sean estas proyectos o programas de distinta escala-‐ suelen tener instancias de reflexión sobre los aprendizajes logrados, si bien se caracterizan por dos circunstancias comunes: por un lado suelen ser instancias informales y fortuitas, con dificultades para superar el plano de lo meramente anecdótico; y por otro lado, se circunscriben a los equipos internos de los proyectos y programas, sin que dicha reflexión y aprendizaje pueda ser más ampliamente conocida, documentada y valorada.
El reconocimiento de esta debilidad de la práctica de la intervención es explícitamente abordada por la sistematización de experiencias. Ésta se sustenta en la noción que las “experiencias” deben ser usadas para generar comprensión sobre la acción, y ésta convertirse en lecciones aprendidas para mejorar la práctica presente así como contribuir a generar un nuevo conocimiento para intervenciones futuras. Sin embargo, es claro que el aprendizaje desde la acción no sucede por accidente, sino que tiene que ser planificado, ya sea en el diseño del proyecto, en el plan de trabajo del personal a cargo, en las reuniones del equipo y sus reflexiones, o en la cultura general del proyecto o programa de desarrollo (Guijt et al, 2006). La sistematización de experiencias apunta a situar al aprendizaje como parte esencial de la política de intervención. Y lo hace dando respuesta al desafío de promover, diseñar y conducir procesos de aprendizaje en experiencias que no fueron pensadas desde su gestación con este propósito.
La posibilidad de analizar en forma sistemática el proceso, los resultados y el impacto generado por diversas iniciativas de desarrollo, permite extraer lecciones y aprendizajes que ayudan a mejorar la práctica presente y futura. La sistematización puede facilitar el desarrollo de un proceso participativo de reflexión sobre la experiencia, fortaleciendo las capacidades de las entidades de apoyo y promoción (ONGs, programas estatales, universidades etc.) y organizaciones beneficiarias o usuarios de cada proyecto, ayudando también a generar nuevas acciones para mejorar el desarrollo de los mismos.
63
Este capítulo apunta a dar cuenta del método de la sistematización de experiencia, el cual se ha aplicado en diferentes proyectos, y ha resultado una herramienta útil en la generación de aprendizajes a partir de las experiencias de intervención de desarrollo en diferentes contextos latinoamericanos. A su vez, es un elemento importante en el marco de monitoreo y evaluación sugerido para el análisis de redes sociales, particularmente el de redes de desarrollo social.
El capítulo está dividido en tres secciones. Primero, se presentan sucintamente las raíces de la sistematización de experiencias en América Latina, así como sus similitudes con ciertas tendencias en el campo de la gestión del conocimiento y la evaluación. Luego, el capítulo da cuenta de conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias de desarrollo, para dar lugar a la presentación del método de la misma. En la sección final se enfatizan los aspectos centrales de la sistematización de experiencias, y se reflexiona sobre su carácter de conocimiento práctico y relevante para el monitoreo y evaluación de redes de desarrollo rural.
Raíces de la sistematización de experiencias: su vínculo con la evaluación y la gestión del conocimiento
La sistematización de experiencias da cuenta de una importante historia, así como claras raíces, con el contexto de América Latina. Sobre la base del trabajo de Jara (2010), quien presenta varias tendencias asociadas a este enfoque, consideramos que los campos disciplinarios más relevantes a ser considerados en los orígenes de la sistematización son los siguientes tres:
(a) El ámbito de la educación popular o educación de adultos, con orígenes en la década de 1960 en la pedagogía de la liberación de Paulo Freire (Freire, 1970), la cual vinculó estrechamente la educación con la política. En este contexto, la Sistematización fue vista como una manera de revisar la práctica educativa con el fin de mejorar sus contenidos y metodologías.
(b) El campo de trabajo social de América Latina durante la década de 1970, donde la Sistematización fue desarrollada como una manera de utilizar la práctica profesional de los trabajadores sociales como fuente de conocimiento acerca de la sociedad, con el objetivo de convertir las acciones de transformación social en praxis científica.
(c) La adopción generalizada de Sistematización de parte de las ONG en la década de 1980, buscando una mejor comprensión de su práctica del desarrollo, y llevando a cabo una revisión de abajo hacia arriba de las teorías del cambio en que se basan las intervenciones de desarrollo (Jara, 2012).
El enfoque de la sistematización de experiencias surgió también tanto de una crítica a las ciencias sociales y a su incapacidad para dar respuestas a problemas sociales persistentes,
64
así como también a su llamada "objetividad". La sistematización trató de limitar el privilegio de las perspectivas de las élites académicas o de evaluadores externos sobre la de los de los participantes de programas de desarrollo. Más recientemente, Martinic (2010) ha sugerido que el concepto y la práctica de la Sistematización no cuentan con un significado único, ya que es una práctica que respeta y refleja la riqueza de los diferentes contextos en los que se utiliza.
Aunque diversas reflexiones se han realizado con el fin de formalizar el método (Jara, 1994 ; Franke y Morgan, 1995 ; Chávez -‐ Tafur, 2006), el diálogo y la interacción de la Sistematización con otros enfoques de evaluación ha sido bastante limitado. Al mismo tiempo, y probablemente debido a sus orígenes prácticos, el enfoque de Sistematización no siempre ha hecho explícitas sus vínculos con la teoría de las ciencias sociales, con la excepción de la relación que varios autores han hecho con el materialismo dialéctico (Capó S. et al, 2010 ; Ghiso, 1998).
Sistematización de Experiencias y Gestión del Conocimiento
En algunos ámbitos de la práctica de intervención social vía proyectos y programas surge el interés por distinguir puntos de confluencia y diferenciación entre los campos de la sistematización de experiencias y el de la gestión del conocimiento. Un elemento clave de cercanía está dado por la centralidad que estos campos asignan a la cuestión del aprendizaje: ambos apuntan a convertir la experiencia (de un proyecto, de una dimensión del mismo, etc.) en aprendizaje valioso sobre aquello que funcionó bien y aquello que no lo hizo tan bien, a fin de poder retroalimentar la misma intervención de desarrollo (en caso de continuar) o bien servir para otras similares en otros contextos, así como informar al mismo enfoque de intervención de la organización o del proyecto o programa en cuestión.
Mientras que ambos campos van a dar amplio espacio a las perspectivas de los actores involucrados, el énfasis mayor de la gestión del conocimiento suele estar en las apreciaciones subjetivas de los mismos y el foco en sus interrelaciones, mientras que la sistematización de experiencias apunta a estas dimensiones con un mayor interés en la búsqueda de evidencia objetiva. De esta manera, el ejercicio de esta última suele ser más demandante de tiempo que la primera, así como dar cuenta de un carácter más meticuloso.
Las acciones de la gestión del conocimiento son entendidas como parte integrante de la organización o del programa/proyecto, mientras que en el caso de la sistematización de experiencias este es un punto en discusión: para algunos practicantes el rol de los agentes externos en el proceso de sistematización debe ser mínimo y apenas orientativo, procurando que los actores claves del mismo sean los mismos de la intervención en análisis, mientras que para otros practicantes sí resulta posible y legítimo el rol de actores externos a cargo de la misma.
La sistematización de experiencias encuentra su mayor potencial de desarrollo cuando una intervención de desarrollo ha concluido, o bien una dimensión de la misma ya ha tenido un grado de avance tal que permite reflexionar retrospectivamente sobre ella. Este carácter ex –
65
post, selectivo y estratégico, es diferente para la gestión del conocimiento, cuya potencialidad se expresa en su presencia ubicua y permanente en las organizaciones y procesos de intervención.
Claramente estos dos campos interesados en la generación de conocimiento pueden ser fácilmente combinados, y sus fortalezas potenciadas. Es así que la sistematización de experiencias puede alimentarse de las diversas reflexiones y hallazgos producidos en el durante de la intervención por la gestión de conocimiento, y ésta puede incorporar las lecciones aprendidas generados por aquella en un subsecuente ciclo de la vida organizacional, o bien en la continuidad de una nueva fase de la intervención.
¿Sistematizar o evaluar?
Si bien existen muchas similitudes, es importante distinguir y no confundir evaluación con sistematización. En la mayoría de los enfoques de evaluación generalmente se pone énfasis en la medición de los resultados o impactos del proyecto. Así, lo esencial de una a evaluación es la valorización de las acciones emprendidas en una práctica, y comprende, por ejemplo, la valorización del cumplimiento de metas y objetivos, la relación costo-‐beneficio en el uso de los fondos, la adecuación de los métodos a los objetivos, etcétera.
Si bien la sistematización puede incluir estos elementos y muchas veces se vale de estos análisis, lo esencial en ella es su intento por captar el desarrollo de la experiencia (Morgan y Quiroz, 1988). La sistematización se concentra en la comprensión de los procesos que se desarrollan en un determinado proyecto en el que participan diversos actores y tiene el propósito principal de mejorar su implementación y rescatar los aprendizajes. En la sistematización se intenta conocer y descubrir cómo funciona una propuesta de intervención en un contexto determinado, qué factores obstaculizan y favorecen el logro de objetivos, cuáles son las posibilidades de sostenibilidad y replicabilidad del proyecto en el mismo y otros escenarios, y qué lecciones se aprendieron de la experiencia.
La sistematización se asemeja también a lo que algunas agencias de cooperación han denominado Cluster Evaluation (W.K. Kellogg, 1995). Más que una simple valoración de resultados ‘positivos’ o ‘negativos’, de ‘cumplimientos’ e ‘incumplimientos‘, este enfoque se concentra en las lecciones aprendidas respecto a los factores que favorecen u obstaculizan la implementación y el logro de los objetivos deseados por los programas; y cómo es posible ‘capitalizar’ la experiencia para transformar los resultados en aprendizajes capaces de ayudar a las instituciones responsables a mejorar su intervención difundiendo y replicando prácticas similares.
La sistematización privilegia el trabajo de equipo y participativo entre los diferentes actores involucrados en el proceso (directores de proyectos, miembros de las organizaciones y entidades de apoyo, consultores, usuarios o beneficiarios, etcétera), quienes además son los principales destinatarios de este trabajo de reflexión y análisis.
66
Conceptos básicos y consideraciones metodológicas sobre la sistematización de experiencias
En términos generales la sistematización es un proceso de reflexión participativa efectuado por los facilitadores y participantes de un proyecto (ONGs, agencias financieres, organizaciones beneficiarias, etcétera) sobre diferentes aspectos de un proyecto o programa, incluyendo sus procesos y resultados. Es una metodología que facilita la descripción concurrente, el análisis y documentación del proceso y los resultados de un proyecto de desarrollo de una manera participativa (Selener, 1996). Por tanto, es el proceso de reconstrucción y análisis crítico de una experiencia de desarrollo, implementada con la participación activa y directa de aquellos actores involucrados en una experiencia, para generar lecciones y producir conocimiento que permitan mejorar la efectividad y eficiencia de esa y otras experiencia similares (Fondo Mink’a de Chorlaví, 2002).
Para Oscar Jara (1998), la sistematización es aquella interpretación crítica de una o varias experiencias que, a partir de su ordenamiento y reconstrucción, descubre o explicita la lógica del proceso vivido, los factores que han intervenido en dicho proceso, cómo se han relacionado entre sí, y por qué lo han hecho de ese modo. A través de la descripción, organización y análisis del desarrollo de una actividad, la sistematización apunta a extraer lecciones de la experiencia de una manera global en una pluralidad de áreas, tales como la teoría y metodología utilizada, el contexto institucional y socio-‐histórico, las relaciones entre el agente externo y los pobladores, y la descripción de los procesos de organización comunitaria y desarrollo, incluyendo un análisis de los factores que obstaculizaron y facilitaron el trabajo del grupo, y los resultados e impactos de la experiencia (Morgan y Quiróz 1988). La intervención en escenarios de desarrollo es un mundo complejo que merece ser comprendido desde la reflexión crítica. La sistematización es una metodología útil que nos permite comprender y aprender acerca de las diversas curvas, obstáculos y desvíos que supone el camino de un proyecto (Schouten, 2007).
Principios básicos que guían la sistematización
A partir del marco conceptual desarrollado se puede resaltar a modo de síntesis una serie de principios básicos de la sistematización:
− Se trata de un proceso de pensamiento analítico y reflexión crítica que permite pensar sobre lo que se hizo, por qué se hizo, por qué se hizo de una manera y no de otra, cuáles fueron los resultados e impactos, y cuál es la utilidad de estos efectos y la sostenibilidad de los mismos.
− El propósito es rescatar aprendizajes y producir conocimiento desde la experiencia, útiles tanto para las organizaciones de apoyo y grupos beneficiarios, como para las
67
agencias financieras y otras personas y equipos, que en otros lugares y momentos, puedan apoyarse en esta experiencia para planificar y ejecutar sus propios proyectos.
− Se pone énfasis en el proceso vivido durante la experiencia concreta de desarrollo y apunta a describir y a entender qué es lo que sucedió durante la experiencia y por qué pasó lo que pasó. Por supuesto interesan los resultados e impactos del proyecto, y analizarlos es parte de la sistematización, pero lo más importante es poder explicar por qué se obtuvieron esos resultados, y extraer lecciones que permitan mejorarlos en una experiencia futura.
− Como proceso metodológico se busca poner en orden o dar organización a un conjunto de elementos (diferentes subproyectos, prácticas, conocimientos, ideas, datos, etcétera) que hasta este momento pueden estar dispersos y desordenados, lo cual dificulta entender el modelo de intervención como un todo.
− Se pretende que el proceso sea lo más participativo y pluralista posible, capturando, incorporando y aprovechando los conocimientos y opiniones que sobre la experiencia tengan diversos actores vinculados a la misma. Este enfoque reconoce y se interesa por la valoración particular percepción que sobre la experiencia tengan los diferentes actores involucrados respecto de lo que se hizo, los resultados y el proceso..
− No solo interesa el punto de vista de diversos actores, sino que importa la incorporación de visiones múltiples de la realidad, analizando la experiencia desde diferentes ángulos (el político, el económico, el social, el cultural, el técnico, etcétera).
− Se reconoce la relatividad de las conclusiones y nuevos conocimientos generados por la sistematización. En tanto cada experiencia ocurre en un momento determinado y bajo un conjunto específico de circunstancias, se tiene en cuenta que los conocimientos generados y las lecciones aprendidas pueden ser válidos sólo para esa situación específica. No obstante se intenta identificar y extrapolar los principios que guiaron esas experiencias y las lecciones aprendidas que puedan servir a otras organizaciones.
− La sistematización enfatiza el arribar a lecciones aprendidas. Una lección aprendida es una proposición generalizada sobre qué tendría que pasar o suceder, para que un determinado resultado se alcance, o ciertos inconvenientes se eviten (por ejemplo: las garantía solidarias de crédito fueron un instrumento efectivo para mejorar la tasa de repago cuando el sistema se basó en grupos de productores con experiencia asociativa previa).
¿Para qué sirve la sistematización?
Los aportes de la sistematización de experiencias son muchas veces valorados luego de realizar una primera experiencia. No obstante, vale destacar los principales beneficios que un proceso de sistematización podría aportar, a saber:
− Mejora la ejecución del proyecto. Las lecciones aprendidas durante la formulación y ejecución del proyecto permiten a las organizaciones de apoyo, a los beneficiarios y a las agencias de cooperación reorganizar, analizar, priorizar e implementar nuevas acciones para mejorar el alcance del proyecto.
68
− Genera nuevos conocimientos. La sistematización permite la recolección, la organización, la síntesis, la utilización y el compartir del conocimiento que surge de cada experiencia local y de un conjunto de proyectos. A su vez, permite profundizar la comprensión sobre los factores cruciales que influencian la vida de un programa o proyecto, mediante la reflexión sobre la práctica y la revisión de los supuestos básicos y creencias que guiaron la acción. Es decir, es un medio para poner a prueba la ‘teoría’ de la acción, que yace –explícita o implícitamente-‐ detrás de toda intervención y explica los problemas a abordar y justifica el camino elegido.
− Desarrolla la capacidad y fortalece a las organizaciones. Si el proceso de sistematización es conducido de forma participativa, el mismo se convierte en una instancia de capacitación. De esta forma, la sistematización constituye una oportunidad para que las organizaciones adopten y utilicen en el futuro herramientas metodológicas para reflexionar sobre su práctica, evaluarla y mejorarla.
− Mejora el entendimiento mutuo entre los beneficiarios, la organización y las agencias de financiamiento. La sistematización exige de los diferentes actores involucrados una apertura al diálogo y al intercambio, y requiere de diferentes espacios –formales e informales-‐ de reflexión conjunta. Esto, sin duda, contribuye a un mayor entendimiento entre actores sociales que se cruzan en el campo de la intervención social, cualquier sea el tipo y grado de complejidad de la misma.
− Permite documentar experiencias muchas veces inéditas y comunicarlas apropiadamente. La sistematización sirve como base para la redacción de informes, documentos de trabajo y artículos sobre una experiencia. Y estos, a su vez, sirven para la elaboración de materiales específicos de divulgación, como videos documentales o libros, lo que permite diseminar las lecciones aprendidas a una audiencia mucho más amplia que la propia del contexto de la intervención.
El método de la Sistematización de Experiencias
Existen diferentes enfoques para desarrollar un proceso de sistematización de experienicas, algunos más complejos que otros. En este caso se propone un esquema simple y básico, para lo cual se ha utilizado como referencia la experiencia de los autores (Rodríguez Bilella y Tapella, 2008) y los trabajos de Cadena (1987), Morgan y Quiróz (1988), Berdegué et al (2000) y Chavez-‐Tafur (2006).
Como se muestra en la Figura Nº 4, la sistematización es un proceso que supone el tránsito por diferentes momentos o ejes de análisis, aunque no siempre de forma lineal o secuencial. Estos momentos, aspectos o elementos a ser documentados y analizados durante el proceso de sistematización, constituyen variables que debieran ser observadas en la experiencia a partir de la combinación de diferentes instrumentos de recolección de datos (entrevistas a los responsables del proyecto y población beneficiaria, observación de la operación del proyecto en terreno, análisis de documentos, informes y otras fuentes de
69
Figura Nº 4. El proceso de sistematización
información, etcétera). Para esto se definirá -‐según sea el caso-‐ indicadores específicos a fin de operacionalizar las variables definidas.
En los próximos párrafos se desarrolla la especificidad de cada uno de estos seis momento, con sus respectivas orientaciones metodológicas.
1) Identificación y construcción del objeto de conocimiento Si entendemos a la sistematización como un proceso de construcción de conocimientos
es necesario entonces definir un ‘objeto de conocimiento’, es decir, determinar qué se va a sistematizar, y por tanto cuál es el eje de la sistematización.
Hemos señalado que, en términos generales, el objeto de conocimiento de la sistematización es la experiencia, enmarcada en proyectos o programas que denotan una intencionalidad de transformación de una situación. Las experiencias son, según Oscar Jara (2010), procesos individuales y colectivos, y no simplemente acciones o hechos puntuales. Las experiencias son dinámicas y complejas, y en ellas intervienen muchos elementos tales como condiciones del contexto, situaciones particulares, acciones, percepciones y emociones. Las experiencias son una apuesta que trasciende el programa o proyecto que le da origen, y que de manera particular interpreta la realidad y sus problemas, y plantean un modo de acción para lograr algún cambio o transformación, utilizando para ello diferentes medios, recursos materiales, tecnológicos y humanos.
Ahora bien, no es posible sistematizar toda la experiencia, sobre todo si se trata de un programa de gran envergadura o una política social en su conjunto. Entonces es necesario
70
delimitar analíticamente el problema o aspecto de la experiencia que se quiere considerar, identificando y explicitando aquellas variables y preguntas más significativas para la sistematización. En esto consiste la identificación y delimitación del objetivo de conocimiento.
Por lo general, en un proceso de sistematización de experiencias de apoyo al desarrollo, la identificación del objeto conjuga al menos tres aspectos: (a) la práctica y los proyectos; (b) el proceso social que se genera entre los diferentes actores; y (c) el contexto y la influencia de éste sobre los otros dos. En tal sentido, y en términos generales, podríamos decir que el objeto de sistematización podría ser el proceso social generado al interior de un grupo, organización de apoyo o comunidad beneficiaria, quienes desarrollan una práctica (proyecto o conjuntos de proyectos) en un contexto dado para transformar una situación-‐problema determinada (el logro de ciertos resultados).
Imaginemos un programa de desarrollo sustentable implementado en la zona de influencia o amortiguamiento de áreas protegidas o parques nacionales de un determinado país. El mismo se propone expandir y diversificar el sistema de áreas protegidas de una determinada región, al tiempo que desea mejorar el ingreso y calidad de vida de la población local a partir del desarrollo de pequeños proyectos productivos y turísticos en la zona. Se trata de una iniciativa inédita para la región, la cual se cristaliza mediante acciones de fortalecimiento de organizaciones locales, mecanismos de consulta y participación social. La experiencia involucra a distintas instituciones locales, provinciales y nacionales, públicas y privadas, organismos no-‐gubernamentales y asociaciones de la comunidad.
Ahora supongamos que deseamos sistematizar la experiencia, en tanto sentimos tiene riqueza y valiosos aprendizajes. A la hora de definir el objeto de conocimiento podemos pensar, a modo de ejemplo, diferentes aspectos que interesan de la experiencia y sobre los cuales concentrarse: (a) los pequeños proyectos desarrollados, analizando el proceso de adopción tecnológica para garantizar la sustentabilidad en el uso de los recursos naturales; (b) el análisis de la estrategia de articulación interinstitucional y multiactoral para implementar un proyecto tan complejo en una región donde nunca se había implementado algo similar; o (c) el proceso de identificación y capacitación de los equipos técnicos locales. Dicho de otra manera, a la hora de definir el objeto de la sistematización es imprescindible tener en claro ‘por qué’ queremos sistematizar esa experiencia (aprendizajes que creemos dan validez a este esfuerzo), ‘para qué’ lo vamos hacer (la utilidad y uso potencial que tendrá nuestra reflexión), y ‘qué’ aspectos o variables de la experiencia son los que más interesan y aquellos sobre los que nos vamos a concentrar.
2) Identificación de diversos actores En todo proceso de desarrollo intervienen diversos individuos o grupos, algunos con una
participación más directa y otros con una influencia lejana sobre la misma. La sistematización debe procurar captar la opinión y los puntos de vista la mayor cantidad de actores posibles.
Es importante asumir que estos diversos actores, van a tener diferentes visiones, opiniones e interpretaciones sobre cada uno de los componentes de cada proyecto. Si se asume
71
que los diferentes puntos de vista son importantes, entonces es necesario identificar a los actores más relevantes y describir las perspectivas de cada uno, recogiendo diferentes miradas sobre los mismos hechos. Seguro no habrá tiempo para entrevistar a todos, en tal caso habrá que empezar por los actores cuya participación es indispensable (responsables de proyectos y miembros de las organizaciones encargados de las tareas de seguimiento y evaluación).
3) La situación inicial y los elementos del contexto Todo proyecto o proceso de desarrollo tiene un punto de inicio (situación inicial), en el
cual pueden distinguirse dos aspectos: (a) el problema que se quiere resolver, por ejemplo, el desempleo, los problemas nutricionales en niños, etcétera; y (b) una oportunidad, es decir, una situación nueva que si la aprovechamos puede conducir a una mejora en las condiciones de vida, por ejemplo, más trabajo, mayor ingreso, menos pobreza, etcétera. Además, existen elementos externos o factores no controlados por los actores, los cuales podemos denominar elementos de contexto. Estos factores pueden ser económicos, políticos, sociales, geográficos, ambientales, etcétera, y pueden limitan las posibilidades de acción del proyecto o potenciar las oportunidades.
Lo importante para la sistematización es poder captar con precisión y describir sólo aquellos factores que pueden haber limitado la capacidad de agencia de la intervención para resolver el problema que le dio origen o, a la inversa, haber potenciado el logro de los objetivos (Chavez Tafur, 2006).
4) La intencionalidad y el proceso de intervención En todo proceso de sistematización es necesario analizar primero la intencionalidad del
proyecto o conjunto de proyectos, es decir sus propósitos o finalidades y la perspectiva general que orienta su acción (la nueva situación que se pretende alcanzar con el mismo). También hay que observar el diseño y las características del proyecto o grupo de proyectos, caracterizando el modelo de intervención propuesto. Además hay que reconstruir y analizar el desarrollo de la experiencia para lograr una visión general y dinámica del proceso de intervención, particularizando los procesos generados con la puesta en marcha del proyecto, y cómo ellos han modificado (o no) la realidad o situación específica acorde a lo esperado.
Al menos seis elementos deben estar contenidos en la descripción del proceso de intervención: (a) las actividades que constituyen el proceso, (b) la secuencia en el tiempo de esas actividades (es necesario concentrarse sólo en identificar los hechos principales, los hitos del proceso), (c) el papel jugado por los principales actores, (d) los métodos o estrategias empleados en las actividades, (e) los medios y recursos (humanos, materiales y financieros) empleados, (f) los factores del contexto que facilitaron o dificultaron el proceso.
Una herramienta útil para reconstruir el proceso de intervención es identificar las principales actividades desarrolladas y los logros obtenidos en un determinado período de tiempo, incluyendo en este recorte aspectos como los resultados no esperados, las dificultades que se enfrentaron y los objetivos que no se pudieron alcanzar. Mediante una tabla de doble entrada es posible ordenar la búsqueda de información.
72
5) La situación final o actual Se trata de describir los resultados e impactos de la experiencia al momento de realizar
la sistematización, pudiendo ser situación final si la experiencia ha concluido, o actual si la sistematización se realiza cuando el proceso aún no ha terminado. Se busca analizar los resultados de la experiencia, comparando tanto la situación inicial con la situación actual o final, como la situación ‘sin’ y ‘con’ proyecto. Los resultados deben considerarse tanto en relación a la satisfacción de la/s necesidad/es que dieron origen a la intervención como en relación al proceso organizativo y de aprendizaje que se ha producido, es decir, el proceso de desarrollo experimentado. Interesa explicar no sólo el logro (o no) de los objetivos, sino las causas y condiciones que contribuyeron a ello.
Además, es necesario considerar tanto los resultados tangibles como los intangibles. Es tan importante analizar -‐por ejemplo-‐ los nuevos productos generados, las ventas, el aumento del ingreso, etcétera; como los resultados más difíciles de medir, tales como –por ejemplo-‐ el desarrollo de una conciencia asociativa y organizativa entre los beneficiarios, el surgimiento de nuevos liderazgos en las comunidades, el incremento de la participación, la incorporación de sectores antes marginados y discriminados, la adquisición de nuevos aprendizajes y conocimientos, etcétera.
Es probable que la organización ya haya realizado actividades de seguimiento o evaluación, en tal caso sus resultados serán valorados y considerados como un insumo relevante para este momento.
6) Las lecciones aprendidas de la experiencia Como se mencionó, uno de los objetivos centrales de toda sistematización es facilitar un
proceso de aprendizaje. Este momento consiste en rescatar y generar nuevos conocimientos a partir de la experiencia, válidos tanto para el grupo de beneficiarios, la organización ejecutora y los organismos cooperantes o programas que financian la intervención. También es de gran utilidad para otras entidades que pretendan desarrollar experiencias similares.
En una sistematización se pretende ir más allá de las clásicas ‘conclusiones’ (afirmaciones sobre una circunstancia específica, como por ejemplo “el proyecto X no cumplió con sus objetivos”) o ‘recomendaciones’ (prescripciones sobre lo que se debe hacer bajo determinadas circunstancias). Como se comentó antes, una lección aprendida es una generalización que no se refiere a una circunstancia específica, sino a un conjunto de situaciones que indican aquello que es probable que suceda, y/o lo que hay que hacer para obtener (o prevenir) un determinado resultado. Extraer las lecciones aprendidas supone realizar un proceso de reflexión sobre la experiencia para generar una afirmación más global sobre el efecto probable de determinados procesos o prácticas. Éste puede llegar a ser aplicable a un número amplio de experiencias de desarrollo que compartan características comunes.
Todo proceso de sistematización debe arrojar un ‘producto’, que bien puede ser un documento, una cartilla o un video. Es fundamental tener claro desde el comienzo que el
73
producto de la sistematización debe ser comunicado y ‘comunicable’. La sistematización cobra importancia en tanto los resultados sean socializados con las mismas personas involucradas en el proceso así como con otros sectores, actores-‐actoras que puedan ampliar y refundar experiencias de proyectos del mismo tipo. Se puede ir realizando una devolución del documento en algunos momentos del proceso para recoger y retroalimentar el trabajo. La creatividad a la hora de comunicar los hallazgos es tan importante como el proceso de sistematización en sí mismo.
Para comunicar y socializar las lecciones aprendidas es útil pensar en algunos de los puntos señalados por Chavez Tafur et al. (2007), a saber:
− Asegurarse que las lecciones a comunicar son comprensibles para otros. Para ello es necesario incluir una descripción del contexto en el cual la lección fue aprendida, así como una breve mención respecto de los supuestos básicos que moldearon el proyecto y las lecciones que surgieron de esta experiencia.
− Es útil también pensar en qué cosas se harían de igual manera y qué cosas de manera diferente si el proyecto tuviera la oportunidad de comenzar nuevamente
− Es importante identificar una audiencia específica, definiendo con claridad a quiénes y cómo se podrían beneficiar de las lecciones aprendidas por la experiencia y del nuevo conocimiento a comunicar.
− Finalmente, es necesario diseñar una estrategia de comunicación para aquellos actores sociales involucrados en el proyecto y otra para los actores externos.
− Es sumamente importante socializar los principales resultados de la sistematización, instando a los miembros del equipo a cargo de la intervención a que analicen lo aprendido y sugieran recomendaciones específicas para las intervenciones futuras.
− Para institucionalizar las lecciones aprendidas, o bien para transformarlas en nuevas y mejores prácticas, es necesario descartar todo aquello que no es relevante en función de una nueva intervención o contexto, discutir las implicancias del nuevo conocimiento y las recomendaciones que puedan haber surgido, y acordar formalmente los cambios que debieran ser introducidos ya sea nivel de la manera como se concibe la intervención (supuestos o teoría de la acción) o la estrategia de intervención (metodologías y técnicas a utilizar).
La sistematización de experiencias como proceso permanente
Este capítulo ha desarrollado los conceptos básicos y los pasos o momentos de una sistematización. El método descrito se refiere al proceso de sistematización de proyectos sociales o experiencias de desarrollo, el cual básicamente procura organizar la información disponible sobre una intervención, analizarla en detalle para comprender lo que sucedió y los motivos que llevaron a ello, procurando generar como resultado de esta reflexión una serie de lecciones aprendidas a partir de la práctica. Las lecciones aprendidas constituyen un nuevo conocimiento a ser comunicado de manera apropiada para mejorar la práctica futura.
74
Hay que resaltar los aspectos centrales de una sistematización, la cual trasciende el hecho de registrar y documentar lo acontecido. La sistematización supone un momento muy importante de reconstrucción de la experiencia. Esto es, una descripción ordenada de lo sucedido en la práctica, procurando traducir la experiencia vivida como proceso a un lenguaje que permita su posterior análisis e interpretación. No obstante, el énfasis de la sistematización es otro.
La sistematización debe ser vista como un “proceso permanente y acumulativo de producción de conocimientos a partir de las experiencias de intervención en una realidad social” (Barnechea et al., 1992:11). Este nuevo conocimiento es un conocimiento práctico, que se caracteriza por ser situacional y estar orientado a la acción a partir de brindarnos un conocimiento más profundo del impacto de nuestro trabajo y los efectos de nuestra intervención. Para que además sea relevante, es imprescindible que existan instancias multiactorales de análisis e interpretación de lo sucedido, e instancias de revisión y crítica de las lecciones aprendidas.
La sistematización de experiencias puede ser usada para documentar actividades muy sencillas como una capacitación o un pequeño proyecto de escala local, o bien para reflexionar sobre programas mucho más complejos o ambiciosos. A su vez, puede ser implementada por grupos de base a nivel de una comunidad, Organismos no Gubernamentales, instituciones públicas o privadas y redes de organizaciones o instituciones de mayor envergadura.
El paso final de un proceso de sistematización no es el simple hecho de producir conocimiento a partir de la práctica y comunicar las lecciones aprendidas. El nuevo conocimiento debe ser institucionalizado e integrado. La sistematización de experiencias sirve para mejorar las intervenciones futuras siempre que exista una voluntad superadora (Schouten, 2007). Sin el compromiso de los diferentes actores involucrados en la intervención de un determinado proyecto o programa, no habrá metodología capaz de generar un nuevo conocimiento para transformar esa intervención. En los capítulos 5 y 6 de este informe se presentan dos casos donde se aplicó esta metodología.
75
CAPITULO 4
El trabajo con REDES CHACO Este capítulo da cuenta del trabajo realizado con Redes Chaco como forma de presentar
y poner a prueba el marco analítico elaborado para el monitoreo y evaluación de redes de desarrollo rural. Es pertinente aclarar que de la decena de redes de desarrollo rural inicialmente consultadas, tres de ellas se mostraron interesadas y con posibilidades reales de vinculación con nuestro proyecto de investigación. Llegado el momento de comenzar el trabajo conjunto entre las redes y el equipo de investigación, dos de ellas se excusaron por razones de organización interna, por lo cual se continuó el vínculo con Redes Chaco.
Este capítulo presenta inicialmente una caracterización de Redes Chaco como una red de Organizaciones No Gubernamentales (ONGs) de desarrollo rural, trabajando en el norte Argentino, sur de Bolivia y sur de Paraguay.
A continuación se fundamenta la propuesta de trabajo acordada con Redes Chaco, fruto del acercamiento analítico del equipo de investigación a las posibilidades de monitoreo y evaluación de redes. Ello implicó la selección del enfoque de Teoría del Cambio como uno pertinente para la construcción de dicho aporte, complementado por el método de la Sistematización de Experiencias (ambos presentados en capítulos anteriores de este informe).
En tercer lugar, se señalan los resultados preliminares alcanzados en la construcción de la Teoría del Cambio en el marco del taller de capacitación realizado con los referentes y participantes de Redes Chaco.
Caracterización de Redes Chaco
Redes Chaco se define como una red de redes, destinada a lograr la visibilización de temas vitales y acciones colectivas en el Gran Chaco Americano que permitan la generación de gobernanza. A esta última se la entiende como la creación y fortalecimiento de ciudadanía e incidencia para acciones en políticas públicas concertadas, expresadas en la articulación entre ONG's, Organizaciones de Base, Empresariales y Organismos Públicos del Estado.
Sus comienzos se dieron a inicios de la década del 2000, a través de vínculos de gente chaqueña de Argentina, Bolivia y Paraguay, quienes interactuaban organizándose en sectores (indígenas, ganaderos, artesanos,
76
campesinos, entre otros) para fortalecerse ante conflictos (muchas veces entre ellos mismos). Un grupo de comunicadores propuso el nombre Redes Chaco y ahí comenzaron a pensar lo que sería el concepto de la misma, en cuanto cuide de ser un espacio con caos y orden, mezclado, que no se formalice necesariamente, que no genere una agenda nueva para todos ni remplace el lugar de nadie, sino que sea un lugar articulador, que no compita con la búsqueda de financiamiento, sino al contrario que les sirva para compartir visiones, experiencias, intercambios y eventualmente recursos, y esos fueron los principio básicos.
Redes Chaco define dos objetivos generales: la visibilización del gran Chaco, dado que como región aparece invisibilizada, así como el concepto de gobernanza transfronteriza, y entienden eso con dos ideas, que una es la creación o promoción de ciudadanía y la otra es generación de políticas públicas en una gestión pública/privada.
Según uno de los referentes de Redes Chaco, ellos se definen de la siguiente manera: “Somos red de redes, somos trinacionales, esto es como facebook, no existe pero todos quieren estar adentro, es una cosa que no es y es…cualquiera que piense el Chaco y quiera el Chaco como región y quiera laburar en esa línea está dentro del Chaco, no hay muchas condiciones más, incluso que pensemos muy distinto, nos une la preocupación por la zona, por la región. El factor común es la región del Chaco”.
Redes Chaco cuenta con un Secretario Ejecutivo que cumple la función de animar y mantener actualizadas las informaciones a través de las vías electrónicas y las páginas web www.redeschaco.org. Así mismo, convoca y organiza la logística de las reuniones y eventos planificados junto a los equipos específicos encargados de la organización de los mismos.
Actualmente están en funcionamiento, algunas más activas que otras, más de 20 redes, espacios de articulación o procesos tri-‐nacionales, incluso considerando los proyectos oficiales que hay o espacios oficiales. Dentro de estos se encuentra la fundación AVINA,18 la que cumplió un rol fundacional, promotor y financiador en los comienzos de Redes Chaco, siendo actualmente un nodo más.
Al caracterizarse como redes caórdicas, no precisan quién está dentro y fuera, se sale y se entra, no hay mecanismo de toma de decisiones, y sin embargo hay un orden muy afinado,
18 Avina genera y apoya procesos colaborativos que mejoran la calidad de los vínculos entre emprendedores, empresas, organizaciones de la sociedad civil, el sector académico e instituciones gubernamentales para contribuir juntos al bien común. Avina construye las condiciones favorables para que las acciones generen incidencia en los espacios de poder para alcanzar cambios relevantes en la sociedad y que conduzcan a una América Latina sostenible.
77
en la práctica se definen cómo los nodos se van a articular. Propusieron y quedó en el discurso que eran red de redes, pero son también personas y organizaciones. Realizan reuniones operativas anuales, luego se comunican vía electrónica, o organizan eventos tri-‐nacionales por sectores según temáticas comunes. Asimismo una vez al año pero año por medio, arman un evento de Redes Chaco, que es el encuentro mundial. En octubre del 2010, se llevó a cabo el 1° encuentro mundial del Chaco en Asunción, encuentro Mundial porque el eslogan fue “por el Chaco para el mundo”, asistió gente de todas partes del mundo que tiene que ver con el Chaco, se demostró que el Chaco tiene una influencia y un servicio a nivel global que hay que hacer resaltar. Trabajaron para promover toda la red. En Noviembre de 2013 realizaron en la Ciudad Autónoma de Buenos Aires el segundo Encuentro Mundial del Chaco.
Fundamentando la elección del enfoque de la Teoría del Cambio
La presentación de esta sección toma como base las comunicaciones que el equipo de investigación mantuvo con la coordinación de Redes Chaco, con vistas a trabajar con ellos el enfoque de la Teoría del cambio. Para ello, se rescata los avances en la fundamentación del enfoque alcanzados en el momento en que se hizo esta propuesta (posteriormente aceptada) a Redes Chaco.
¿Cuál fue la propuesta inicial?:
En la propuesta inicial se propuso (a) analizar el campo actual del monitoreo y evaluación de redes, a fin de identificar y caracterizar falencias y baches en su desarrollo; (b) seleccionar y testear las herramientas de monitoreo y evaluación, integrándolas en un marco general y (c) generar un manual conceptual y metodológico para las Redes que ilustre y facilite la puesta en marcha de sus propios sistemas de seguimiento y evaluación.
¿En qué punto nos encontramos?
En este tiempo hemos estado estudiando la temática, y hemos corroborado lo que suponíamos inicialmente, esto es que la mayoría de los enfoques actuales para evaluar las redes abordan sólo uno o apenas algunos de los problemas específicos de las redes, a la vez que resulta notable la falta de textos y ejemplos prácticos sobre cómo realizar la evaluación de las mismas. Revisando materiales y pensando qué es posible aplicar y qué no, hemos trabajado sobre algunas ideas que creemos sería posible de aplicar al caso de Redes Chaco.
¿Qué hemos aprendido sobre la ‘evaluación’ de redes en este tiempo?
Una de las cuestiones más claras es que las redes tienen, a diferencia de los programas o proyectos de desarrollo social, algunas particularidades por las que se hace difícil evaluarlas desde una lógica convencional de análisis de logro de objetivos o resultados. La característica distintiva de la mayoría de las redes es que son grupos de organizaciones (y a veces de individuos) relativamente autónomos situadas en diferentes lugares (provincias y países), que comparten un propósito y contribuyen voluntariamente con conocimientos, experiencias, tiempo, recursos para conseguir cambios que son vistos como necesarios.
Estos cambios, difícilmente son posibles de ser precisados como metas u objetivos claramente definidos; más bien se puede hablar de redes de incidencia que procuran un cambio. Una red de incidencia, por lo general, persigue los objetivos de: (a) ejercer influencia para que tengan lugar cambios en políticas, prácticas, programas o comportamiento institucionales; (b) desarrollar la capacidad de las organizaciones de la sociedad civil y la de los ciudadanos como individuos para ejercer dicha influencia para la producción de cambios; y (c)
78
reestructurar la sociedad de modo tal que los individuos y los grupos de la sociedad civil participen en la adopción de las decisiones de otros actores sociales que les afectan.
Esta naturaleza especial y combinación de funciones que caracterizan a las redes de incidencia exige un desafío especial a la hora de pensar en la evaluación de las mismas… Debido a su complejidad, transparencia y dinamismo, las actividades y los resultados de una red de incidencia también presentan la tendencia a ser sumamente impredecibles. En esas circunstancias complejas, abiertas y dinámicas, es difícil diseñar un sistema de evaluación justo, aplicado y –por qué no- replicable a diferentes redes, al menos utilizando los criterios convencionales de eficacia, eficiencia y progreso hacia la consecución de metas u objetivos, que es lo que suelen solicitar los donantes…
¿Qué sugerimos hacer? ¿Qué aportes tendría esto para Redes Chaco?
En virtud de las dificultades antes mencionadas, consideramos que el enfoque de evaluación para las redes de este tipo no debe ser aquel que acentúe o pretenda identificar logros o ‘resultados’, sino más bien entender cuál es la ‘contribución al cambio’ que ha hecho la red . Los cambios que una red de incidencia procura alcanzar ocurren en contextos heterogéneos, son indeterminados en el tiempo y dependen de las acciones y las decisiones de muchos más actores que las de los miembros de la red. Es muy difícil atribuir a la red un determinado cambio.
Esto presenta entonces como interrogante clave el qué evaluar.
Nuestra propuesta se basa en concentrar la atención en los resultados que anteceden el cambio, esto es los alcances o logros observados en conductas organizativas, acciones y relaciones de los actores sociales fuera del control pero dentro de la esfera de influencia de la red de incidencia. Los alcances tienden un puente entre las actividades y los productos de las redes.
Nos parece, en consecuencia, que vale la pena intentar comprender y abordar lo que se conoce como la teoría del cambio o la teoría de la acción de la Red.
¿Qué es esto de la teoría del cambio?
La noción de ‘teoría del cambio’ ayuda a las organizaciones y otros actores del cambio a entender cómo su trabajo y sus relaciones están contribuyendo a un cambio social complejo y a largo plazo. Proporciona un marco dentro del cual pueden programar y actualizar sus actividades, conducir sus diálogos con las partes interesadas, aprender de sus experiencias y comunicar acerca del alcance y las razones de su éxito. Abordar el trabajo de las redes desde este enfoque, nos ayuda a navegar en procesos impredecibles y complejos, y a seguirle la pista a cambios en el sistema a los cuales nuestras intervenciones pueden haber contribuido.
Nuestra propuesta, en concreto, procura ayudar a Redes Chaco a revisar -si es que existe- o construir y fortalecer su ‘teoría del cambio’; es decir, conocer y valorar la imagen colectiva de ese cambio deseado, los procesos en los cuales están involucrarnos, las alianzas y articulaciones, y el sistema de creencias a supuestos que subyace la importancia del cambio que se quiere alcanzar. Dicho de otra manera, creemos que podríamos ayudar a la Red a construir una suerte de mapa del cambio o incidencia que esta quiere lograr. Esto, entre otras cosas, contribuiría con lo siguiente
(a) reflejar el sistema en el cual se desenvuelve la red, y cómo se piensa que el cambio puede darse; (b) ilustrar o ‘dibujar’ las ‘vías del cambio’, vinculando las acciones con los resultados deseados; (c) hacer explícitas, y de conocimiento colectivo, las hipótesis acerca de las relaciones de causa y efecto; (d) vincular las acciones propias de la red a las de otros actores clave que influyen en el resultado que se quiere logar; (e) destacar el papel específico de cada organización en el proceso de cambio, así como sus elecciones estratégicas; (f) localizar lo anterior en una perspectiva de tiempo; etc.
79
¿Cómo proponemos hacerlo?
Hay muchas maneras de analizar el trabajo de una organización (en este caso una red) desde la noción de teoría del cambio. Nosotros proponemos realizar un taller de capacitación de dos días de duración con los principales actores de la Red.
Creemos que un abordaje de este tipo puede ayudar a la Red a clarificar (reconstruyendo o haciendo explícita y colectiva) su teoría del cambio. Esto apunta a mejorar la consistencia y la eficacia de sus procesos de programación y planificación, sus procesos y sistemas organizativos, su diálogo con demás actores (donantes, organizaciones que colaboran, etc.), sus procesos de aprendizaje internos, etc.
¿Qué recursos podemos ofrecer?
Desde nuestro proyecto de la Universidad Nacional de San Juan contamos con un presupuesto que podríamos destinar a la realización del taller, cubriendo costos de hospedaje, alimentación y / o traslado de participantes al lugar donde decidamos realizarlo. Idealmente, el taller debiera realizarse con un grupo no mayor a 20 o 25 participantes, miembros activos de las organizaciones que forman parte de la red.
Luego del taller seguiremos trabajando aspectos de evaluación para avanzar hacia un producto como el comprometido.
Acercamiento a la construcción de la Teoría del Cambio de la red
En julio del año 2014 se desarrolló en la ciudad de Salta un taller de capacitación y reflexión con representantes de quince redes y nodos de Redes Chaco. El mismo fue convocado por la coordinación de Redes Chaco, y contó con participantes de Argentina, Bolivia y Paraguay.
Luego de realizar las primeras caracterizaciones de los escenarios complejos, y la particularidad que presenta la evaluación de redes de intervención e incidencia social, los participantes se abocaron a distintos ejercicios de reflexión y puesta en común que permitía clarificar aspectos de la Teoría del Cambio de la red.
Una primera reflexión de los participantes fue constatar que existía un cúmulo de proposiciones implícitas, y pocas veces discutidas, sobre el contenido y significado de algunos de los propósitos centrales de la red. Por ejemplo, los conceptos de gobernanza, integración de actores, el sentido de la visibilidad del Chaco, etc., fueron algunos de los ejemplos de ideas largamente debatidas en el taller.
El ejercicio final consistió en la división de los participantes en dos subgrupos, debiendo cada uno de ellos bosquejar una Teoría del Cambio de Redes Chaco (ver gráfico 1 y gráfico 2). Tras un par de horas de reunión de los subgrupos, reunidos en plenario se avanzó sobre la construcción de un único modelo de Teoría del Cambio (ver gráfico 3). El mismo pudo ser presentado esquemáticamente, dado los distintos debates que suscitaban tanto algunos conceptos como también su rol y espacio en la Teoría del Cambio formulada.
80
Gráfico 1: Teoría del Cambio subgrupo 1
81
Gráfico 2: Teoría del cambio subgrupo 2
82
Gráfico 3: Teoría del Cambio de Redes Chaco
En el desarrollo del ejercicio se fueron trabajando también los indicadores de seguimiento de los distintos propósitos expresados. Estos fueron mencionados como los eslabones claves para las acciones de monitoreo y evaluación de la red.
Contar con su Teoría del Cambio no es simplemente un ejercicio de un momento puntual de elaboración, a partir de lo cual sólo resta hacer el seguimiento. Si bien ello es factible y deseable, a la vez que constituye el núcleo central de las posibilidades de la Teoría del Cambio para la evaluación y el seguimiento, una de las mayores riquezas y posibilidades está en el mismo proceso de desarrollo de la Teoría del Cambio. Éste permite un aprendizaje compartido a partir del debate y búsqueda de consenso entre el significado de los conceptos, como su ubicación causal en la Teoría del Cambio.
En el caso del taller con Redes Chaco, el tiempo insumido en la presentación de los conceptos centrales de la Teoría del Cambio, así como la construcción de la misma, no permitieron desarrollar con el espacio necesario los aspectos de la Sistematización de
83
Experiencias, el enfoque metodológico propuesto a la par de la Teoría del Cambio. Igualmente, a partir de compartir materiales producidos por miembros del equipo, los resultados de este proyecto, y la participación conjunta en actividades de capacitación, facilitó (y continúa facilitando) la adopción de dicho enfoque como parte clave del marco de seguimiento y evaluación de redes de desarrollo rural.
84
CONCLUSIONES
Evaluación de redes de Desarrollo Rural y Políticas Públicas:
contexto, usos y desafíos para la política social argentina
Este capítulo presenta, a modo de conclusión del estudio, una reflexión abierta respecto de la relevancia de la evaluación en el complejo escenario de las políticas públicas en Argentina, destacando no sólo el contexto, sino los usos y desafíos futuros en nuestro país.
La evaluación de políticas y programas sociales representa un ámbito profesional y académico que ha ido adquiriendo, en los últimos años, un creciente interés y una especificidad propia (Bustelo, 2013). Al menos tres aspectos centrales destacan el interés por la evaluación en el sector público. En primer lugar, el desarrollo y progreso social que se vivencia en los tiempos que corren no reducen la insensibilidad de viejos y nuevos problemas sociales. Sumado a esto, a pesar de las innovaciones institucionales y programáticas, las soluciones que se ponen en marcha no siempre generan los resultados esperados. La complejidad de las sociedades que presentan una desigual distribución de las oportunidades, y los problemas que genera en consecuencia, exige miradas más perspicaces sobre las políticas y programas que se están implementando. Por último, la escasez de recursos se presenta como una cuestión que puede ser mejor enfrentada si la evaluación garantiza el uso eficiente de los recursos.
En este sentido, la razón de ser de este trabajo reside en reconocer la relevancia que adquiere el uso de la evaluación en el campo de proyectos, programas y políticas sociales y el desafío que esto representa en el contexto político nacional. El análisis toma relevancia dada la importancia que la evaluación ha ido tomando en el espacio público, el sector privado y el mundo de los organismos gubernamentales en América Latina, fortaleciéndose en los últimos años una cultura de evaluación con referentes claros en el escenario de los programas y políticas públicas.
Es central incluir el tema de la evaluación como necesidad en el sector público y como tópico de formación y ejercicio en el ámbito académico y no gubernamental. Se pretende superar el estigma de la evaluación entendida como ‘control’ y ‘sanción’, entendiendo que la principal intencionalidad de la evaluación radica en el aprendizaje y la búsqueda de enseñanzas que se constituyan en fuente de mejoras a la experiencia, al logro de políticas y programas más efectivos, más eficaces, más eficientes, más costo-‐efectivo y más sustentables en el tiempo. Al respecto, Eleonor Chelimsky (1998), refiere al “papel de la experiencia en la formulación de las teorías de las prácticas de la evaluación” y afirma que la evaluación y la política están
85
visceralmente conectadas, tanto que las evaluaciones afectan profundamente la forma en que funciona la política en una sociedad democrática y pluralista.
Surgimiento y evolución de las prácticas de evaluación
La teoría y la práctica de la evaluación, como parte del proceso institucional, se desarrollaron con ciertas tensiones sociopolíticas y económicas como telón de fondo. Lo cierto es que la intensificación de la evaluación tuvo lugar en las últimas etapas del capitalismo moribundo como lo plantea House (1993), es decir, ante una crisis de legitimación del gobierno que lleva a la exigencia de mayores controles y responsabilidad, la denominada accountability. El surgimiento de una tecnocracia en la cual los gobiernos impulsan el cambio social con políticas (generalmente económicas), ha llevado al crecimiento de la evaluación interna y un manejo más burocrático de la contratación de la evaluación.
Tradicionalmente, en el contexto de la ayuda internacional para el desarrollo el objetivo de la evaluación ha sido medir los productos y resultados de los proyectos y programas. Según Cracknell (1988), durante los años cincuenta se comenzó a implementar la evaluación en agencias con sede en los Estados Unidos (el Banco Mundial, la Organización de Naciones Unidas, USAID, entre otros), enfocándose en la valoración más que la evaluación. Las agencias intentaban diseñar proyectos de acuerdo con un modelo lógico y establecer mecanismos e indicadores para medir los resultados de los proyectos, enfatizando una evaluación como un producto y no como un proceso.
En el período posterior, durante los años ochenta se incrementó el interés en la evaluación puesto que las agencias internacionales la institucionalizaron creando unidades de evaluación no sólo en los Estados Unidos sino también en Europa, principalmente como una herramienta de control para satisfacer a la opinión pública y la necesidad de los gobiernos de saber cómo se utilizaba el dinero de la asistencia pública. Durante este período, las agencias se hicieron más profesionales en la realización de evaluaciones enfocadas en el impacto de la asistencia a largo plazo.
En el período actual, se juega una suerte diferente puesto que las agencias internacionales de desarrollo reconocen la importancia de la función de evaluación para facilitar y apoyar el aprendizaje y cambio institucional y el mejoramiento del desempeño de los programas y proyectos, sin pasar por alto la necesidad de control de la responsabilidad. En este sentido, la evaluación participativa y empoderadora, en contraste con la evaluación convencional, representa un aporte interesante con respecto a enfoque y metodología para lograr objetivos diferentes. Ahora, la evaluación es un producto responsabilidad ante sí mismo (self-‐accountability) y un proceso de desarrollo y aprendizaje. En este aspecto la función de evaluación tiene un potencial que puede y debe ser desarrollado.
86
Contexto socio histórico de la evaluación en América Latina
Son diversas las tendencias que fueron trazando el camino para al surgimiento y desarrollo de la evaluación en América Latina y el Caribe tomando en consideración que la cooperación internacional ha realizado importantes aportes al desarrollo de sus sistemas de seguimiento y evaluación . En relación a ello, a lo largo del tiempo estos sistemas fueron adquiriendo distintos matices e intereses (en cada país) respecto de la metodología de aplicación.
Con las reformas del Consenso de Washington hubo un impulso decidido a las tareas de evaluación en las políticas públicas. Junto a los procesos de desestatización, privatización, desregulación, desconcentración y descentralización, y a la par del impulso que se dio a los organismos de capacitación para los agentes de la administración pública, se consideró necesario contar con organismos evaluadores que monitorearan y valoraran los resultados de la aplicación de las políticas en sus nuevas modalidades de gestión. En esta época se formaron estructuras orientadas a evaluar de modo sistemático los servicios de los distintos sectores gubernamentales (educación, salud, acción social, etc.) y cobraron fuerza sistemas nacionales de evaluación con distintos grados de cobertura y desarrollo.
La institucionalización de la evaluación de políticas públicas en América Latina ha ido avanzando paulatinamente a finales del siglo XX y se ha acelerado en el siglo XXI (Feinstein, 2012). A mitad de los años setenta, Brasil y México emergen como pioneros en la implementación de macro proyectos de desarrollo rural del BM y como parte de esos programas, se incluyeron unidades y/o componentes de seguimiento y evaluación. Posteriormente, el Gobierno Federal de Brasil puso en marcha el Plan Plurianual (PPA) para el período 1996/1999, definido como la experiencia más abarcadora para la viabilización de los objetivos estratégicos de modernización del Estado. Como plantean Feinstein y Hernandez (2008) estas acciones se constituyeron en fuentes para el futuro desarrollo de la evaluación institucionalizada.
Con un efecto domino para el resto de la región, Costa Rica y Chile a mediados de los setenta introducen un análisis costo beneficio de los proyectos de inversión, con apoyo de la OEA, el BID y el BM, fortaleciendo la capacidad de los gobiernos para la evaluación ex ante de proyectos.
Consecutivamente, en el marco de las políticas de ajuste estructural y sectorial propia de la década de los ochenta, la evaluación continuó relegada a los proyectos. Y los trabajos de evaluación de las políticas eran realizados por economistas, sociólogos y politólogos que, en su mayoría, carecían de formación e información sobre la evaluación entendida como disciplina o transdisciplina.
Por otra parte, hacia principios de los años noventa, Colombia puso en marcha un sistema de evaluación de resultados de carácter nacional, dando cumplimiento al mandato constitucional. El Sistema Nacional de Evaluación de Resultados de la Gestión Pública
87
(SINERGIA), comenzó con gran apoyo gubernamental y del BID. Más tarde Costa Rica replica estos pasos y establece por ley el Sistema Nacional de Evaluación (SINE) bajo la conducción del Ministerio de Planificación Nacional y Política Económica (MIDEPLAN) que se apoya en Compromisos de Resultados (CDR) entre el Presidente de la República y los responsables de los organismos .
Por su parte en Chile, el Ministerio de Hacienda introduce en 1994 indicadores de desempeño, y en 1996 la evaluación de programas del gobierno en base a revisiones del marco lógico. Es así que a fines de los noventa las experiencias de institucionalización de la evaluación se propagan a varios países de la zona. En el caso de México, la evaluación ha estado centrada en las políticas sociales sin posibilidad aún de extender este sistema a las demás políticas. Por nuestra parte, en Argentina se han creado sistemas paralelos, con escasa relación entre sí. El Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO) fue creado en el año 1995 por resolución 2851/95 de la ex Secretaría de Desarrollo Social. En esta oportunidad se gestionó un préstamo del Banco Mundial que incluyó montos asignados a SIEMPRO, otros destinados al financiamiento de Fondo Participativo de Inversión Social (FOPAR) y una partida para programas sociales orientados a resolver de manera directa problemas de pobreza y exclusión social.
Este organismo fue concebido como un instrumento de fortalecimiento de las áreas sociales, a nivel nacional y provincial, y de apuntalamiento de la Secretaría de Desarrollo Social. A partir de diciembre de 1999, SIEMPRO depende de la Secretaría de Tercera Edad y Acción Social, la cual pertenece al Ministerio de Desarrollo Social y Medio Ambiente (MDSMA). Ha desarrollado también el Sistema de Identificación y Registro de Familias Beneficiarias Actuales y Potenciales de Programas Sociales (SISFAM), cuyo objetivo es registrar a la población que está recibiendo prestaciones de programas del MDSMA. Hasta el momento, 15 provincias se han incorporado a SISFAM. La Biblioteca de Información Social Interactiva (BISI) ofrece información sistematizada extraída de la Encuesta de Desarrollo Social, de la Encuesta Permanente de Hogares, del Censo Nacional de Población y Vivienda, del Programa Nacional de Estadísticas de Salud, del Programa Nacional de Vigilancia Epidemiológica, de estadísticas internacionales provistas por organismos internacionales y de indicadores económicos del Ministerio de Economía y del Banco Central. Por su lado, el Sistema Integrado de Monitoreo de Programas Sociales (SIM), contiene información sobre la ejecución de programas del MDSMA, desarrollando el monitoreo del conjunto a un nivel estratégico.
En total SIEMPRO cuenta con 18 unidades provinciales, que constituyen bases de apoyo para el desarrollo de tareas de recolección de información, estudios, evaluaciones y actividades de capacitación. Hasta ahora, SIEMPRO realizó y financió seis evaluaciones de programas sociales entre 1996 y 1999: dos evaluaciones consecutivas del Programa Trabajar, dos de programas alimentarios (PRANI y ASOMA), la evaluación del Programa Social Agropecuario y la del Fondo Participativo de Inversión Social. A principios del 2000 se finalizó el diseño y la construcción de líneas de base de los programas PAGV y PROAME. También se finalizó una
88
evaluación de servicios sociales desde la perspectiva de los involucrados en la Provincia de Misiones.
Los insumos de estas evaluaciones han contribuido a la modificación de los programas, y en el caso de la construcción de instrumentos como las líneas de base, éstas se han incorporado a los sistemas internos de evaluación. No obstante Neirotti (2012) aduce que la información resulta útil para un grupo muy reducido de programas. Aquéllos que no están bajo la órbita del MDSMA proveen información sobre la ejecución directamente a Jefatura de Gabinete de Ministros, la cual a su vez cuenta con su propia base de datos. Además, el autor analiza el peso relativo del gasto del MDSMA en la masa presupuestaria de la administración pública nacional. Si se observa la distribución por jurisdicción, a este Ministerio le corresponde, en gasto con finalidad social, un 3,88 %. En lo que respecta al gasto social en programas focalizados (que representa un 15% del gasto público social), el Ministerio recibe un 25,7% y el resto se distribuye entre el Ministerio de Infraestructura y Vivienda (22,5%) y Ministerio de Trabajo (18,5%). Con base en este panorama, se observa claramente el alcance limitado que SIEMPRO tiene en la evaluación y monitoreo de programas sociales en general y de programas sociales focalizados en particular, sobre todo teniendo en cuenta que se atraviesa en un contexto de crecimiento de la movilización política, la consolidación de los movimientos sociales, el desarrollo de las organizaciones de la sociedad civil y los procesos de modernización del Estado en marcha.
La región se encuentra hoy ante el desafío de crear nuevos estilos de evaluación en el marco de otras modalidades de política pública. Al mismo tiempo se avanza en el desarrollo de políticas intersectoriales, donde confluyen distintas áreas del gobierno y de la sociedad civil para la solución de problemas, integrando agendas, estrategias y presupuestos. Todo ello implica una incitación a prestar mayor atención a los aspectos políticos de la evaluación y su necesidad de desarrollo en la política social argentina. Lo cual se traduce, como sostiene Parlett y Hamilton (1972), en la preocupación por darle a ésta un sesgo iluminativo y empoderador.
Evaluación de política social ¿De qué estamos hablamos?
El alcance de la evaluación ha ido transformándose a través de un recorrido que va desde la función de evaluación hasta todo el proceso de desarrollo institucional.
Tiempo atrás, el objetivo de la evaluación era medir y juzgar. En tal sentido, la misma era percibida como una herramienta de control y represión que estaba al servicio de la alta gerencia para controlar tanto el desempeño institucional como el desempeño individual. En los tiempos que corren, las agencias internacionales de desarrollo aceptan la idea de la evaluación como una herramienta para mejorar el desempeño de un programa o proyecto (responsabilidad positiva) en nombre de los actores sociales involucrados, suministrando a quienes toman decisiones, información pertinente para resolver problemas.
89
Dado este planteo, hoy se concibe a la evaluación como una forma de indagación o investigación de tipo valorativo, es decir, generadora de juicios de valor en función del patrón normativo de los involucrados en la intervención social en términos de Brown (2001). En ese sentido, produce conocimiento con dos propósitos principalmente: brindar elementos para la toma de decisiones y poner la información a disposición de la ciudadanía, esto último a los efectos de darle transparencia a la gestión de gobierno y de promover la participación social.
Remitiendo al significado etimológico, evaluar significa “valorar”, es decir, dar valor a algo o alguien. Implica, en consecuencia, hacer un juicio a partir del cual se ubica el objeto evaluado en algún punto de un continuum que tiene dos extremos: más / menos, mucho / poco, cerca / lejos, logrado / no logrado, etc. Se tiene en cuenta que en toda evaluación existe un “referente” una situación, estado esperado o deseado de lo que se evalúa y un “referido” un objeto a evaluar. El referente suele ser el objetivo que se plantea como fin de la política, la visión de la institución, el objetivo o propósito del programa, que puede estar relacionado o no con ciertos estándares establecidos en los sistemas de políticas.
Revisando diferentes definiciones sobre evaluación, se observa que, por lo general, son tres aspectos los que se destacas. Así, la evaluación es vista como una tarea rigurosa y sistemática, tiene un carácter retrospectivo, y emite juicios de valor sobre políticas o programas. Desagregando estos aspectos, vale destacar que la evaluación de programas sociales es:
− el conjunto ordenado y sistemático de procedimientos que permiten establecer un juicio u opinión sobre el mérito o valor de un programa para tomar decisiones sobre él que apunten a su mejoramiento (Fernández-‐Ballesteros, 1996);
− tiene el propósito de aplicar métodos y técnicas de las ciencias sociales para levantar juicios relativos a la utilidad y eficacia de las acciones implementadas, así como a la responsabilidad de las agencias gubernamentales (Conseil Scientifique de l’Evaluation, 1997);
− implica una investigación, entendido como un examen riguroso y sistemático de los logros de una política o programa en relación a las metas propuestas y los efectos esperados (Sulbrandt, 1993); y
− es una valoración retrospectiva de los méritos, importancia y valor de la aplicación, productividad y resultados de las intervenciones gubernamentales (Vedung, 1997).
Estas definiciones plantean con claridad que la evaluación examina resultados con una mirada retrospectiva, y no es, por tanto, homologable a las acciones de seguimiento y monitoreo.
Asimismo, la evaluación no es y no debiera ser concebida como una “etapa” separada de la implementación y planificación, sino que constituye una función de la gestión, en la que debieran estar presentes, además de la planificación y la implementación, la organización, la administración presupuestaria, la dirección, el control, el desarrollo de recursos humanos, etc.
90
Por lo tanto, la evaluación no sólo es útil cuando es ex post, también lo es cuando se desarrolla ex ante o durante la implementación de los programas.
¿Para qué evaluar?
La principal utilidad que procede de las evaluaciones está orientada a valorar la efectividad y la eficiencia de los programas. La efectividad guarda relación con conocer si la teoría implícita en cada programa, con sus correspondientes expresiones metodológicas y técnicas, aporta las respuestas que se buscan y genera los cambios que se pretenden lograr. Mientras que la eficiencia tiene relación con maximizar el impacto del gasto público, el que siempre enfrenta desafíos asociados al costo de oportunidad de asignar recursos a determinados programas en relación a otros, en un contexto de variadas y complejas necesidades sociales no satisfechas (MIDEPLAN, 2002).
Asimismo, la evaluación suele ser entendida como un instrumento útil en el contexto del ciclo de planificación al momento de cerrar un proceso para extraer lecciones para nuevos diseños. Otra mirada que se ha extendido la concibe como un instrumento que contribuye a introducir mejoras en la fase de ejecución y al rediseño. En este sentido, los programas son cursos de acción que se instalan en contextos marcados por la complejidad, por lo que su desarrollo implicará siempre un espacio de dificultad y conflicto, a partir de cuya evaluación es posible generar aprendizajes.
La evaluación también es útil a los encargados de la gestión porque permite centrar la atención en el cumplimiento de los objetivos perseguidos y de la ejecución. Sirve a quienes tienen responsabilidades en niveles estratégicos, de conducción de política general, en la medida en que proporciona informaciones sobre actividades (ya realizadas o en curso), que orientan en el diseño y planificación de políticas. Además, cumple un importante función de responsabilización, en su sentido de rendición de cuentas sobre la gestión, facilitando una actitud de los funcionarios más proclive al debate y al aprendizaje en el proceso de debate público.
También puede contribuir al aprendizaje organizativo y de los grupos humanos, y su utilidad puede ir más allá del programa o política concreta que evalúa, no sólo respecto al ámbito o campo que se trate, sino también respecto a los propios procesos de evaluación. Cada proceso de evaluación puede y debe contribuir y ofrecer una información útil sobre cómo evaluar determinadas políticas en determinados contextos, qué enfoques, perspectivas, metodologías y técnicas han sido adecuadas.
En definitiva, la evaluación es reflexión y revisión; el mero hecho de dar un espacio formalizado para ello tiene efectos positivos en sí mismos. Por la naturaleza y carácter práctico y aplicado de la evaluación, ésta debe contar con un último nivel de exposición de los resultados de la evaluación que consiste en la traducción de los mismos en recomendaciones. Estas recomendaciones deben plantearse como sugerencias sobre posibles líneas de acción a seguir respecto al programa o política evaluada, cambios propuestos en el programa, cosas a
91
mantener en el mismo, o consejos para la mejora dirigidos a los patrocinadores, responsables y/o profesionales del programa. Siguiendo esta línea, Bustelo (2003) plantea que las recomendaciones deben seguir la secuencia lógica y sistemática de los niveles de análisis anteriores. Es decir, las recomendaciones de una evaluación deben estar basadas en las valoraciones realizadas que, a su vez, habrán estado basadas en la recopilación y análisis sistemático de la información.
Estas recomendaciones son, además, el vínculo formal entre una evaluación y su uso (Torres et al., 1996), por lo tanto, el ofrecimiento de recomendaciones específicas y orientadas a la acción se considera como algo deseable y relacionado con las buenas evaluaciones. Patton (1997), insiste en que no sólo las recomendaciones sino todo el resto del proceso evaluativo es lo que provoca y estimula el uso de la evaluación, y reconoce también que, a menudo, constituyen la parte más visible.
Al ordenar el amplio campo de funciones que corresponden a la evaluación, es posible establecer tres áreas principales: colaborar a la toma de decisiones y contribuir a optimizar la gestión pública, generar conocimiento y aprendizajes en el área de la planificación social y aportar al control ciudadano.
En lo que respecta al ámbito de la gestión pública, la evaluación permite (a) respaldar y fundamentar la toma de decisiones, (b) fortalecer la responsabilidad de las agencias gubernamentales, (c) contribuir con una asignación más eficiente de los recursos, (d) contribuir con la contabilidad pública y facilitar nuevas decisiones presupuestarias, (e) informar a los que diseñan las políticas, (f) sugerir modificaciones o ajustes a programas en curso, (g) contribuir a mejorar el desempeño de programas y proyectos, (h) entregar información a los directivos sobre la marcha del programa, Y (i) generar aprendizaje organizacional.
En el ámbito de la planificación social, la evaluación contribuye a: (a) generar conocimiento y aprendizaje sobre innovaciones, (b) identificar buenas prácticas, (c) valorar la pertinencia de los diseños y estrategias metodológicas, y (d) realizar un análisis contrastado de la teoría de los programas.
En el ámbito de la transparencia y el control ciudadano, la evaluación contribuye a: (a) fortalecer la gestión democrática, (b) permitir al gobierno a mostrar eficiencia hacia la opinión pública, y (c) contribuir a la responsabilidad y transparencia en el uso de los recursos públicos.
Por su parte Wiesner (2000), sintetiza que la necesidad de evaluar la intervención estatal en América Latina tiene tres motivos. En primer lugar, el darle mayor racionalidad a los ajustes y correcciones fiscales; en segundo lugar, la percepción de los gobiernos de que deben pagar un costo político cada vez más alto por eventuales errores en la gestión de programas públicos; y, finalmente, la mayor demanda de participación y transparencia por parte de la sociedad. También sostiene que las rigideces presupuestarias constituyen un problema que atenta contra la mejora de las políticas públicas y aboga por darle al gasto un carácter más flexible y asociar las evaluaciones a las asignaciones del presupuesto.
92
Evaluación de la política social argentina: una mirada desde los desafíos
Uno de los principales retos del aparato público nacional para la consolidación de la evaluación de programas y proyectos, lo constituye la necesidad de alcanzar un cierto grado de institucionalización de la misma para que las evaluaciones puedan efectivamente desarrollar un rol en las instituciones públicas. La evaluación, sería concebida entonces como instrumento de aprendizaje y aparece como un desafío más (de carácter instrumental), para echar luz y para hacer más eficiente el uso de los recursos. Es necesario un cuadro que permita sostener la producción de evaluaciones de alta calidad, que otorgue garantías respecto de su utilización y que generen aprendizaje, en las organizaciones responsables de los programas y aprendizaje institucional a nivel de la instancia del aparato del Estado responsable de la coordinación general de las tareas de evaluación.
Autores como Monnier (1995), van un paso más adelante e instalan el tema de la evaluación desde la dimensión política, exponiendo al respecto que no sólo se trata de reconocer y tener en cuenta que la evaluación se desarrolla inevitablemente en un contexto político, sino también advertir que es una actividad política en sí misma y, por lo tanto, debería ser parte integrante de dicho contexto político. Es decir, evaluación y política no son dos realidades fácilmente separables. De esta manera, la evaluación, al margen del rigor metodológico, debe procurarse una legitimidad política que supone el reconocimiento y consideración de los distintos actores sociales. Por lo tanto, la evaluación aparece ilustrada como un elemento generador e integrante de la realidad política.
Si bien Argentina transita la experiencia de transformar el modelo productivo y de redefinir sus políticas sociales, en éstas se observa una superposición del esquema del Estado de Bienestar con las nuevas formas que pretenden dar impulso a la inversión en recursos humanos, en capital social, en mecanismos innovadores de redistribución y, sobre todo, que buscan dar respuestas al avance de la desocupación y la precarización laboral, como así también al incremento y profundización de la pobreza. En este marco se llevan a cabo programas “paradigmáticos”, que tienen funciones ordenadoras y articuladoras de los otros programas sociales existentes. En este contexto, la actividad de SIEMPRO no llega a cubrir todo el espectro de programas sociales nacionales ni aún el del conjunto de programas focalizados. Sin embargo, el objetivo de mejorar la calidad de la gestión pública a través del seguimiento y evaluación está contemplado en los programas que componen el Plan de Modernización del Estado, aunque el desarrollo de los mismos es incipiente y poco se ha avanzado aún sobre las áreas sociales (Neirotti, 2012). En relación a ello, la práctica de la evaluación provee pocos insumos para la mejora gerencial. A nivel de orientación de políticas, los aportes nacen de la sistematización de la información social pero no de los resultados de evaluaciones. Sumado a ello, las evaluaciones sectoriales que están actualmente en proceso aportarán datos útiles para la toma de decisiones pero no permiten afirmar que se esté en camino hacia la conformación de un sistema evaluativo.
93
En función de lo antes dicho, la reciente creación del Programa de Evaluacion de Políticas Públicas (Resolución Nº 416/2013) abre una excelente oportunidad. Creado bajo la órbita de la Jefatura de Gabinete de Ministros, este programa se propone contribuir al proceso de institucionalización de la evaluación de políticas públicas en la Administración Pública y potenciar las capacidades para su desarrollo con miras a mejorar la gobernabilidad, la calidad de las políticas y los resultados en la gestión de los asuntos públicos.
No obstante, vale resaltar, que el desafío no se limita a la creación de sistemas de evaluación, sino a garantizar su utilidad. Para que el conocimiento producido genere insumos que permitan corregir la gestión, es necesario que éste sea pertinente y relevante, es decir, adecuado a los problemas que se intenta resolver y que llegue a tiempo, conforme a los ritmos de toma de decisiones. Lo que se busca es superar la vieja premisa de que tanto la comunicación como el uso de las evaluaciones se dieron por garantizadas en virtud de que se sobredimensionó el aspecto técnico. Se busca además trascender la concepción de la política meramente como el `contexto' de una evaluación, como algo que se `entromete' en el buen hacer, más que el motor que la conduce” (Chelimsky, 1998).
Siguiendo esta línea, en los ámbitos académicos e institucionales se ha instalado la necesidad de desarrollar las capacidades de evaluación y la cultura evaluativa en la sociedad. Esto resultaría útil para ampliar los espacios de ciudadanía y de participación en las decisiones de carácter público. Se debe considerar la política como algo central en evaluación y los evaluadores deben ser más conscientes del dinamismo político que rodea cualquier situación evaluativa y reconocer su centralidad para la práctica profesional. Pero también se hace necesario generar, a partir de la demanda estatal, una oferta de servicios de evaluación de alta calidad en el sector privado. En este sentido, Wiesner (2000) ahonda sobre el tema presupuestario afirmando que “si los resultados de las evaluaciones no lograr afectar los procesos de asignación presupuestaria, será muy difícil desarrollar la demanda real de evaluación. Esta no tendría credibilidad. Y será entonces también difícil que la oferta de evaluaciones tenga adecuada capacidad técnica y flexibilidad para responder eficientemente.
Reflexiones finales
Estamos ante un escenario en el que se han generado las condiciones contextuales, históricas, metodológicas y culturales para el desarrollo de la evaluación. El panorama actual se constituye en el caldo de cultivo para próximos avances en materia de política evaluativa. Si bien en el contexto nacional son heterogéneos los desafíos por superar, en su naturaleza intrínseca convergen en una misma pretensión: optimizar el ejercicio de poder y contribuir al desarrollo humano y social. Para ello, quienes se desempeñan en el nivel central del aparato público y regional, también la población, los ciudadanos, los beneficiarios, tienen o debieran tener una visión y perspectiva de evaluación.
La función de evaluación se fortalece en la medida que se instalan capacidades gerenciales y metodológicas para su desarrollo, y en tanto se desarrolla una cultura favorable a la misma. A su vez, la evaluación no puede desarrollarse en el sector público en la medida en
94
que no cuente con el interés en la ciudadanía y de las organizaciones de la sociedad civil. En este sentido, el desarrollo de las capacidades y la cultura evaluativa en la sociedad resulta útil para ampliar los espacios de ciudadanía y de participación en las decisiones de carácter público.
Es largo el camino por transitar, alcanzar un nivel considerable de vinculación entre evaluación y toma de decisiones constituye sin duda un arduo trabajo que va de la mano con el crecimiento de la cultura evaluativa. Generar condiciones para el uso del conocimiento producido por la evaluación es tarea tanto de las instancias políticas y técnicas de decisión, como de los evaluadores y también de los encargados de la ejecución de las políticas, de aquéllos que están en la producción y distribución de los servicios, puesto que es necesario apropiarse de los resultados de la evaluación.
De la misma forma, es preciso trascender la visión de la evaluación como una amenaza, como instrumento de control, fiscalización y coacción y que se la perciba como una oportunidad de aprender reflexionando sobre la práctica, de dialogar, de conocerse, de reconocerse, de darle mayor calidad a las políticas, de responsabilizarse y de hacer más transparente y valorada la gestión. Como un instrumento para profundizar la democracia, generar mayores condiciones de equidad y elevar la calidad de vida de toda la población.
95
REFERENCIAS BIBLIOGRÁFICAS Berdegué, J., A. Ocampo y G. Escobar (2000) ‘Sistematización de experiencias locales de
desarrollo agrícola y rural’. Lima, PREVAL and FIDAMERICA.
Brown, D. R. (2001). La evaluación de políticas y programas en la región del Caribe de habla inglesa: problemas conceptuales y prácticos, Santiago de Chile, CEPAL.
Bustelo M (s/f) “Diferencias entre evaluación e investigación: una distinción necesaria para la identidad de la evaluación de programas”.
Bustelo, M. (2013). 3ª Conferencia Internacional sobre las Capacidades Nacionales de Evaluación Soluciones innovadoras a los desafíos relacionados con la independencia, la credibilidad y el uso de las evaluaciones. Documento Temático sobre la Credibilidad. Universidad Complutense de Madrid.
Cadena, F. (1987) ‘La Sistematización como creación de saber de liberación’ La Paz, Bolivia: AIPE-‐CEEAL.
Capó S., W.A., B. Arteaga, M. Capó (2010) La Sistematización de Experiencias: un método para impulsar procesos emancipadores. Venezuela, CEPEP.
Chávez-‐Tafur, J. (2006) Aprender de la experiencia. Una metodología para la sistematización. Lima, Peru: Fundación ILEIA / Asociación ETC Andes.
Chavez-‐Tafur, J., K. Hampson, A. Ingevall y R. Thijssen (2007) Learning from Experience. A Manual for Organising, Analysing and Documenting Field Based Information. The Netherlands, ILEILA Foundation and Asociación ETC Andes.FONDO MINK’A DE CHORLAVÍ (2002) ‘Systematization of Rural Territorial Development Experiences’. Call for Proposals. FIDAMERICA – International Development Recerash Centre (IDRC).
Chelimsky, E. (1988). The role of experience in formulating theories of evaluation practices .American Journal of Evaluation.
Correa Uribe S, Puerta Zapata A, Restrepo Gómez B “Especialización en teoría, métodos y técnicas de investigación social”. Módulo seis: Investigación evaluativa. Bogotá, Colombia.2006.
Craviotti C y Soverna S (1999) Sistematización de estudios de casos de pobreza rural. Buenos Aires: PROINDER, SAGPyA.
96
Cunill Grau, N. y Ospina Bozzi, S. (2008). Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina. CLAD
Documento Orientativo. Integración de los derechos humanos y la igualdad de género en la evaluación – hacia una guía del UNEG/G(2011)2.
Escudero Escorza T. (s/f) “Claves identificativas de la investigación evaluativa: análisis desde la práctica”. Universidad de Zaragoza.
Escudero, T. (1996). Proyecto Docente e Investigador. Universidad de Zaragoza. Zaragoza.
Feinstein O.: “Evaluación Pragmática de Políticas Públicas”.
Feinstein, O. (2004) ‘Evaluación y Gobernabilidad: Desafíos para América Latina’, ponencia presentada en la I Conferencia de la Red de Evaluación, Seguimiento y Sistematización de Latinoamérica y el Caribe (RELAC), realizada en Lima, Perú (octubre).
Feinstein, O. (2012). La institucionalización de la evaluación de la evaluación de políticas públicas en América Latina. Secretaría de Estado de Presupuestos y Gastos. Instituto de Estudios Fiscales. Buenos Aires.
Feinstein, O. y Hernández, G. (2008): El papel de la evaluación en México: Logros, desafíos y oportunidades SHCF y Banco Mundial.
Francke, M. y M.L. Morgan (1995) La sistematización: apuesta por la generación de conocimientos a partir de las experiencias de promoción. Lima, Peru: ESCUELA para el Desarrollo.
Freire, P. (1970) Pedagogy of the oppressed. New York: Herder and Herder.
Gallego I. El Enfoque del Monitoreo y La Evaluación Participativa (MEP): Batería de Herramientas Metodológicas Instituto Universitario de Desarrollo y Cooperación de la Universidad Complutense de Madrid (IUDC-‐UCM).
Ghiso, A. (1998) De la práctica singular al diálogo con lo plural. Aproximaciones a otros tránsitos y sentidos de la sistematización en épocas de globalización. Mimeo. Medellín, Colombia: FUNLAM
Guijt I., J. Berdegue, G. Escobar, E. Ramirez y J. Keitaanranta (2006) ‘Institutionalizing Learning in Rural Poverty Alleviation Initiatives’, in Learning and Knowledge Management. FIDAMÉRICA.
House, E. (1993). Professional evaluation. Newbury Park, CA. Sage Publications.
97
Jara, O. (1998) ‘Para sistematizar experiencias’ ALFORJA. San José, Costa Rica.
Jara, O. (2010) Trayectos y búsquedas de la sistematizción de experiencias en América Latina: 1959-‐2010. San José, Costa Rica: Centro de Estudios y Publicaciones Alforja.
Lupi AM, Angelini M, Ferrere P (2013) Tierras elegibles para cultivos forestales según el protocolo de Kyoto en dos partidos de la provincia de Buenos Aires, Argentina. Revista de Investigaciones Agropecuarias –RIA-‐ 39 (2) 138-‐148
Mark, M, G. Henry y G. Julnes (2000) Evaluation and Integrated Framework for Understanding, Guiding and Improving Public and Non Profit Policies and Programs. Jossey Bass, San Francisco, USA.
Martínez, R. Compilador (2003). La evaluación de la acción y de las políticas públicas. Editorial Díaz de Santos. Madrid, 2003.
Martinic, S. (2010) Las relaciones entre la evaluación y la sistematización: apuntes para una discusión teórica sobre el objeto. Programa de Doctorado en Ciencias de la Educación. Santiago, Chile: Universidad Católica de Chile.
Mendicoa, G.: “Evaluación Social, la fase ausente de la agenda pública”. Editorial Espacio. 1ra edición, Buenos aires 2006.
Mérgea, JL, Ramírez S (2010) Proyecto MDL de forestación para mitigar el cambio climático, combatir la desertificación, y proteger la biodiversidad; en Claves para el MDL forestal en Argentina, Buenos Aires: Secretaría de Ambiente y Desarrollo Sustentable de la Nación.
Mérgea, JL, Ramírez S (2012) Valorizar el bosque nativo y prevenir la desertificación. El mecanismo de desarrollo limpio del Protocolo de Kyoto. LEISA Revista de Agroecología, Vol.28, n4: 17-‐19.
Merleti G (2010) El INTA de Santiago del Estero participó en el desarrollo de nueva metodología para Proyectos MDL. El Campo Hoy, Sitio Amanecer Rural. Accedido 11/11/13 http://amanecerrural.com/campohoy/detalle.asp?idcontenido=5676
MIDEPLAN (2002). La función de la evaluación de políticas sociales en Chile. Asesorías para el desarrollo. http://prejal.oit.org.pe/prejal/docs/bib/200811040005_4_2_0.pdf
Monnier, E. (1995) Evaluación de la acción de los poderes públicos., Instituto de Estudios Fiscales Ministerio de Economía y Hacienda. Madrid.
Morgan-‐T, ML y Quiroz, T. (1988) ‘Acerca de la Sistematización’, en ‘La Sistematización de la Práctica: Cinco Experiencias con Sectores Populares’. Buenos Aires, Argentina: HUMANITAS-‐CELATS.
98
Neirotti, N. (2009) La función de evaluación de programas sociales en Chile, Brasil y Argentina
Neirotti, N. (2012). “Evaluation in Latin America: paradigms and practices”, en New Directions for Evaluation, Inc., (en prensa). Traducción del autor: “La evaluación en América Latina: paradigmas y prácticas” (mimeo).
Patton Q M, 1997, Utilization Focused Evaluation of ICT in education. the case of DFAQ consultation space. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.101.6418&rep=rep1&type=pdf.
Peiretti OA (2010) Acciones cooperativas e influencia del mercado en una comunidad impactada por un plan de desarrollo: el Proyecto Río Dulce. Santiago del Estero. Argentina. En: VIII Congreso de Sociología Rural, Porto de Galinhas, Brasil, pp. 1–20.
Quinn Patton M. Sobre el uso de la evaluación: la reflexión evaluativa y el uso del proceso. The Evaluation Exchange, Volumen IX, Nro. 4 -‐ 2003/2004. Versión traducida por PREVAL* -‐-‐ marzo 2004 reflexión en programas de desarrollo. Cartago: LUR, 2002.
Rodríguez Soriano, V. (2011) La Investigación Social: ¿Debilidad o Fortaleza para Trabajo Social? Posted on 22:57 by ComunidadENTS. http://comunidadents.blogspot.com.ar/2011/01/la-‐investigacion-‐social-‐debilidad-‐o.html.
Rodríguez, Bilella P. y Monterde, Díaz R. (2012). Evaluación, Valoración, Negociación: Reflexiones En Camino Hacia Una Cultura De La Evaluación.
Rodriguez-‐Bilella, P. y Tapella, E. (2008) Transformaciones globales, modos de vida y desarrollo rural. In: Transformaciones globales y territorios. Desarrollo rural en Argentina. Experiencias y aprendizajes, Rodriguez-‐Bilella P and Tapella E (Eds). Buenos Aires: La Colmena.
Sarah E. Carden F. Smutylo T. Mapeo de alcances: Incorporando aprendizaje y
Schouten, T. (2007) ‘Process Documentation’, in Learning Alliance Briefing No 6, IRC International Water and Sanitation Centre., Lodz, Poland, 1-‐5 July
Segone Marcos. Evaluación Democrática. UNICEF. Documento de Trabajo n° 3 Mayo 1998.
Segone, M. (1997) Analysis of projects and programme evaluations in UNICEF Latin America and the Caribbean. Ponencia presentada en el taller de inducción para JPOs UNICEF, Nueva York.
Selener, D. (1996) ‘A Participatory Systematization Workbook: Documenting, Evaluating and Learning from Our Development Projects’. Silang Cavite, Philippines: International Institute of Rural Reconstruction (IIRR).
99
SIEMPRO (2000), “Análisis del gasto social de la Administración Pública Nacional”, Informes de Políticas y Programas Sociales N° 1.
Tapella Esteban. ¿Cómo aprender desde la práctica? Aproximaciones conceptuales y metodológicas de la sistematización de experiencias en desarrollo.
Tapella, E. (2009) ‘Evolución de los Enfoques de Evaluación’, paper inédito elaborado para el Diplomado de Evaluación de Programas Sociales desarrollado en FLACSO-‐Chile. Documentos de estudio FLACSO-‐Chile, Enero, 2009.
Torres, R., Preskill, H. y Piontek (1996). Evaluation strategies for communicating and reporting. Thounsand Oaks, Sage.
W. K. Kellogg Foundation (1995) ‘W. K. Kellog Foundation Cluster Evaluation Model for Evolving Practices’
Wiesner, E. (2000) Función de evaluación de planes, programas, estrategias y proyectos, Santiago de Chile, CEPAL.
![Capitulo I. Perspectivas teóricas acerca de la relación ... CAP.I[1].pdf · Capitulo I. Perspectivas teóricas acerca de la relación ... pero con los rudimentos de una teoría](https://img.pdfslide.es/doc/110x75/5c09081709d3f267668c75ff/capitulo-i-perspectivas-teoricas-acerca-de-la-relacion-capi1pdf-capitulo.jpg)
