Embed Size (px)
Citation preview
www.agorasocial.com
Criterios de calidad aplicados a la Evaluación y seguimiento
Versión 4.0
www.agorasocial.com
agenda
La gestión del ciclo del proyecto
Seguimiento y evaluación
Problemas encontrados al evaluar
Antes del seguimiento y la evaluación. Los indicadores y
objetivos
Las consecuencias de la evaluación. De la evaluación a la
acción
Cómo ocurre el cambio. Una perspectiva interdisciplinar
www.agorasocial.com
La gestión del ciclo del proyecto. PCM.
www.agorasocial.com
El ciclo del proyecto
“tradicional”
Definir y organizar
recursosPlanificar
Ajustes al
proyecto en
curso
Ajustes al
proyecto inicial
Gestionar la
ejecuciónFinalizar
TIEMPO
www.agorasocial.com
A
L
C
A
N
C
E
Modelo tradicional de evaluación
frente a la realidad
OBJETIVOS
ALTERNATIVAS
EVALUACIÓN
DEL IMPACTO
MEDIDAS
CORRECTIVAS
ALTERNATIVAS
POSIBLES
REPORTING
DECISIÓN
CONSENSUADA
EJECUCIÓN
SEGUIMIENTO
A
L
C
A
N
C
E
F
E
E
D
B
A
C
K
NIVEL
ESTRATÉGICO
NIVEL
OPERATIVO
TENSIÓN
www.agorasocial.com
Plan
Hacer Ver
Hacer
Plan
VerVer
Plan
Hacer
Inicio del
proyecto
El ciclo del proyecto
www.agorasocial.com
Gestión del ciclo del proyecto
Planificación
Implementación
Evaluación
PDM
www.agorasocial.com
Matriz de diseño del proyecto
(PDM）
Resumen
ejecutivo del
proyecto
Indicadores
verificables
objetivamente
Medios de
verificación
Supuestos de
partida
Propósito del
proyecto
Objetivos del
proyecto
Resultados
esperados
Actividades Inputs
Condiciones de
partida
www.agorasocial.com
PDM. Eje vertical
Propósito del proyecto (objetivos del programa)
Aportación del proyecto al cumplimiento del programa
Objetivos del proyecto
Objetivos a lograr en la ejecución del proyecto
Resultados
Supuestos tácticos para conseguir los objetivos
Activities
Acciones específicas que generan resultados
Supuestos de partidaCondiciones importantes para el éxito del proyecto, que no
controlamos. Rodeadas de incertidumbre.
www.agorasocial.com
PDM. Eje Horizontal
Indicadores verificables objetivamente
Estándares de medida del grado de consecución.
Medios de verificación
Fuentes de los datos que generan los indicadores.
Inputs
PRRHH, materiales, equipamientos, instalaciones, dinero, etc., necesario para llevar a cabo el proyecto.
Condiciones de partida
Condiciones que deben cumplirse antes de lanzar el proyecto.
www.agorasocial.com
Características del PCM
Lógicas de
los
stakeholders
Consistencia Transparencia
Orientado a
la resolución
de
problemas
Fomento de
la
participación
www.agorasocial.com
Problemas encontrados al evaluar.
Construcción de objetivos e indicadores
www.agorasocial.com
Dificultades (1)
Iniciativas que buscan cambios de
conducta individualLa conducta humana no siempre presenta respuestas
lógicas ante creencias.
Los indicadores pueden ser defectuosos.
Iniciativas que buscan cambios sociales
A largo plazo e intangible.
www.agorasocial.com
Dificultades (2)
Dificultades para establecer la audiencia
No siempre el proyecto es el agente de cambio
Algunos objetivos son difíciles de medir
Empoderamiento,
Mejoras sociales,
Buen gobierno,
Cambios de conducta
Dificultades sobre el terreno
Popularidad de la causa
Conflictos
www.agorasocial.com
OBJETIVOS Y ESTRATEGIA
ORIENTACIÓN
DISPERSA
ORIENTACIÓN
ALINEADA
www.agorasocial.com
Objetivos SMART
Con fecha de cumplimiento.
Relevante.
Específico.
Medible.
Alcanzable.
C
R
E
M
A
www.agorasocial.com
Requisitos de los objetivos
1. Adecuados: pertinentes, relevantes y oportunos.
2. Definidos en términos de resultado final.
3. Específico: una finalidad única.
4. Medible: para que se pueda saber si se consigue.
5. Breves y comprensibles: que su finalidad se pueda
entender por cualquier persona.
6. Se puedan conseguir: difíciles (que supongan un reto), pero
posibles.
7. Contener un plan de acción: limitación temporal.
8. Determinados conjuntamente: con implicación de todos en
la obtención de metas comunes.
9. Ni muchos ni pocos: los precisos, tendiendo a pocos.
10. Coordinados entre sí: que no entren en conflicto con otros
objetivos.
www.agorasocial.com
Cómo enunciar correctamente un
objetivo
Utiliza uno o más verbos que indiquen la acción a
realizar.
Expresa el resultado de la acción.
Indica la función o el para qué de esa acción.
Ejemplo:
Captar 1000 socios para aumentar nuestros ingresos fijos.
Acción Resultado Función
www.agorasocial.com
¿Es o no es un objetivo?
Propiciar la participación ciudadana en la conservación y recuperación de espacios naturales y del patrimonio histórico y cultural de dominio público.
Fomentar la coordinación entre todos los agentes
implicados.
www.agorasocial.com
¿Es o no es un objetivo?
Elaborar un documento base sobre funcionamiento,
objetivos, participantes y metodología del Foro Regional
del voluntariado.
Ofrecer un módulo de formación en Animación /o
Coordinación del Voluntariado en los Planes de
Formación Permanente
www.agorasocial.com
“El objetivo imposible”
Sensibilizar sobre los valores socio
ambientales del río Eresma.
10 minutos
Convertid el objetivo anterior en un objetivo
“evaluable”
www.agorasocial.com
Cómo crear indicadores
Identificar
problema
g
a
p
Situación
esperada
Proceso
“intermedio”
Indicadores de
proceso
c
ó
m
o
Indicadores de
eficacia
Hitos
relevantes…
Indicadores de
eficiencia
Actividad y
recursos
www.agorasocial.com
¿Qué información necesitamos?
¿Qué datos nos informan?
¿Cómo creamos indicadores?
¿Qué es un indicador?
Un indicador es un signo tangible que indica
que algo se ha conseguido o realizado.
www.agorasocial.com
Cómo construir un indicador
1. Establecer el objetivo SMART
2. Crear fórmula de cálculo
3. Recoger datos
4. Aplicar fórmula
5. Obtener el resultado
Ejemplo:
INDICADOR = DATO / OBJETIVO
www.agorasocial.com
Clases de indicadores
Cantidad (¿Cuánto?).
Tasas (conseguido / esperado).
Calidad (¿Con qué grado de perfección?).
Tiempo (¿En cuánto tiempo?).
Coste.
www.agorasocial.com
Características de los buenos
indicadores
Deben medir efectivamente los resultados.
Deben estar disponibles o ser fáciles de
implantar.
Deben ser sencillos, directos, inteligibles
con un vistazo.
www.agorasocial.com
Calidad de los indicadores
¿cómo sabemos si un indicador es bueno?
MEDIBLE REPRESENTATIVO
FIABLE FACTIBLE
¿qué características debe tener un buen
indicador?
www.agorasocial.com
Calidad de los indicadores
Posibilidades:
MEDIBLE REPRESENTATIVO
FIABLE FACTIBLE
www.agorasocial.com
Calidad de los indicadores
Posibilidades:
MEDIBLE REPRESENTATIVO
FIABLE FACTIBLE
USARLO Y BUSCAR MÁS INDICADORES
DE APOYO
www.agorasocial.com
Calidad de los indicadores
Posibilidades:
MEDIBLE REPRESENTATIVO
FIABLE FACTIBLE
Si es poco fiable,
www.agorasocial.com
Calidad de los indicadores
Posibilidades:
MEDIBLE REPRESENTATIVO
FIABLE FACTIBLE
Buscar otro. Si no lo hay, intentar convertirlo
en factible
www.agorasocial.com
Calidad de los indicadores
Posibilidades:
MEDIBLE REPRESENTATIVO
FIABLE FACTIBLE
www.agorasocial.com
Calidad de los indicadores
CALIDAD DEL INDICADOR QUÉ HACER CON EL INDICADOR
Es mensurable, representativo, fiable y
factible.
Usarlo.
Mensurable, fiable y factible, pero no
suficientemente representativo.
Usarlo y buscar otros indicadores que le
apoyen.
Mensurable, representativo y factible,
pero no muy fiable.
¿Es lo suficientemente fiable como para
usarlo si se hicieran públicas sus
deficiencias? Si no, no usarlo.
Mensurable, representativo y fiable, pero
no factible.
¿Puede otro indicador o conjunto de
indicadores representar el objetivo de un
modo razonable? Si es que sí, cambiarlo.
Si la respuesta es negativa, reconsiderar
si es factible.
Es mensurable y factible, pero no
suficientemente representativo y no es
muy fiable.
¿Es lo suficientemente fiable como para
usarlo si se hicieran públicas sus
deficiencias? En caso afirmativo, usarlo
buscar información de respaldo para
obtener información más fiable. En caso
negativo, prescindir de él.
El indicador es factible, únicamente. Olvidarle.
www.agorasocial.com
Uso correcto de los indicadores
Aspecto de
la realidad
(1)
Indicador (A)
Aspecto de
la realidad
(2)
Indicador (B)
www.agorasocial.com
Uso correcto de los indicadores
Indicador (A)
Indicador (B)
Indicador (C)
Aspecto de
la realidad
www.agorasocial.com
Uso correcto de los indicadores
Indicador (A)
Indicador (B)
Indicador (C)
www.agorasocial.com
Criterios de selección de indicadores
UTILIDAD.
Para técnicos.
Para la institución.
VALIDEZ.
FACILIDAD.
COMPLEMENTARIEDAD.
www.agorasocial.com
Ejemplos de indicadores
Algunos ejemplos de indicadores
www.agorasocial.com
Algunos indicadores
para el “objetivo imposible”
Sensibilizar sobre los valores socio
ambientales del río Eresma.
10 minutos
Intentad crear indicadores para la formulación
“mejorada” del objetivo
www.agorasocial.com
Información cualitativa vs cuantitativa
“Cuanti” “Cuali”
www.agorasocial.com
PERSPECTIVA CUALITATIVA
www.agorasocial.com
Información cualitativa vs cuantitativa
www.agorasocial.com
TÉCNICAS CUALITATIVAS MÁS
USADAS
• Entrevista abierta y en profundidad.
• Grupos de discusión.
• Análisis de contenido cualitativo.
• Encuestas de “valores” previas y posteriores a la
realización del proyecto.
www.agorasocial.com
Seguimiento frente a evaluación
www.agorasocial.com
El seguimiento es la recogida y el análisis sistemático de
la información que se realiza al ejecutar un proyecto.
La evaluación es la comparación de los resultados
obtenidos en la ejecución del proyecto con los
establecidos previamente en los planes, y la valoración
de la pertinencia de éstos.
www.agorasocial.com
Parecidos y diferencias
ParecidosIdentificar progresos
Detectar problemas
En la planificación
En la implementación
Permite hacer ajustes
Diferencias
Momento
Finalidad
www.agorasocial.com
Diseño y planificación del proceso de
seguimiento y evaluación de un proyecto
www.agorasocial.com
EFICACIA E IMPACTO
MISIÓN
PROPÓSITO ESTRATÉGICOIMPACTO
OBJETIVOS RESULTADOS
www.agorasocial.com
Procesos de seguimiento y evaluación
En el seguimiento nos
centramos en el
proceso,
En la evaluación,
revisamos el
propósito, aspectos
clave y la
metodología.
Planificación
Implementación
Evaluación
www.agorasocial.com
El seguimiento como proceso.
1. Lista de indicadores.
2. Determinar las variables que afectan a cada
indicador.
3. Disponibilidad de la información.
4. Formular las preguntas clave relacionadas con
los objetivos.
5. Vincular entre sí los indicadores.
6. Tratamiento de la información.
7. Frecuencia de análisis de la información.
8. Recoger información, analizarla y elaborar los
informes.
www.agorasocial.com
La evaluación
1. Antecedentes: Razones por las que se
elabora el proyecto.
2. Propósito: qué pretendemos obtener con la
evaluación.
3. Preguntas clave: Relacionan objetivos del
proyecto con el propósito de la evaluación.
4. Metodología: Cómo se realiza la evaluación.
5. Aspectos logísticos: Plazos, costes, recursos,
capacidades del personal involucrado, etc.
www.agorasocial.com
Recogida de información
www.agorasocial.com
Cinco aspectos clave
Cualquier proceso de recogida de información
debe considerar:
1. Pertinencia.
2. Eficacia.
3. Eficiencia.
4. Impacto.
5. Sostenibilidad.
¿Qué tipo de preguntas nos informan de estos
aspectos?
www.agorasocial.com
Cinco aspectos clave. Preguntas
Pertinencia. ¿el proyecto propuesto es el más adecuado a
la situación que pretendemos mejorar? ¿Por qué? ¿Por
qué no?
Eficacia. ¿Se ha logrado el propósito del proyecto, sus
objetivos? ¿Por qué? ¿Por qué no?
www.agorasocial.com
Cinco aspectos clave. Preguntas
Eficiencia. ¿Hemos utilizado los recursos adecuados y de
la mejor forma posible? ¿Qué se podría haber hecho para
mejorar su utilización y facilitar la sostenibilidad del
mismo?
Impacto. ¿En qué medida ha contribuido este proyecto a
los logros de la organización a largo plazo? ¿Qué
consecuencias positivas o negativas ha tenido? ¿Qué
imprevistos han sucedido?
Sostenibilidad. ¿Se seguirán obteniendo impactos
positivos una vez finalicemos el proyecto?
www.agorasocial.com
El aprendizaje. Del seguimiento y la evaluación
a la acción
www.agorasocial.com
¿Qué hacer con la información?
• Informar.
• Tomar decisiones.
• Identificar áreas de mejora.
• Gestionar resistencias al cambio.
• Aprender en todo el proceso.
www.agorasocial.com
Aprendizaje
¿Cuál es el propósito del aprendizaje en el
contexto de la evaluación?
Cambiar para avanzar
www.agorasocial.com
La evaluación del impacto
www.agorasocial.com
Conocer no es suficiente, hay que aplicarlo.
La voluntad no es suficiente, hay que hacerlo.
— Goethe
www.agorasocial.com
La evaluación
“Recogida sistemática e interpretación de
la evidencia que conduce, como parte del
proceso, a un juicio de valor en vistas a
la acción”
(Beeby, C.E, 1997)
www.agorasocial.com
Niveles de evaluación
Programas, políticas
clústerp
roye
cto
www.agorasocial.com
Niveles de evaluación
EVALUACIÓN DE PROYECTO
El último objetivo de la evaluación de
proyecto es mejorar y fortalecer la
forma de hacer proyectos.
Programas, políticas
clúster
pro
yecto
www.agorasocial.com
Niveles de evaluación
EVALUACIÓN DE CLÚSTER
Progreso alcanzado en objetivos de
“amplio espectro”.
Busca tenencias comunes y aspectos
relevantes no evidentes.
Aprendizaje para proyectos individuales.
Programas, políticas
clúster
pro
yecto
www.agorasocial.com
Niveles de evaluación
EVALUACIÓN DE
PROGRAMA
Orientada a la financiación y
soporte del programa.
Información desde evaluación
de proyectos y clúster.
Genera un discurso integrador
de información.
Programas, políticas
clúster
pro
yecto
www.agorasocial.com
Análisis e interpretación de la información
www.agorasocial.com
ROMAN KRZNARIC, OXFAM GB RESEARCH REPORT, 2007
¿Cómo ocurre el cambio?
Aspectos a analizar
www.agorasocial.com
El análisis de la información
¿Qué pretendemos cuando analizamos?
Identificar tendencias,
Interpretar situaciones,
Determinar relaciones causales,
Detectar patrones de comportamiento,
www.agorasocial.com
El análisis de la información
Escoger los indicadores clave
Recoger información
Interpretación
intuitiva de los
hechos
“LEER
LOS
DATOS”
www.agorasocial.com
Resultados del análisis
HALLAZGOS CONCLUSIONES RECOMENDACIONES
www.agorasocial.com
Evaluación sobre el impacto en el voluntariado
