1

LA EVALUACIÓN

Logroño, 4 de Junio de 2011

Lara González y Monika Mena

1. El concepto de evaluación: diferentes propuestas

2

¿?...

¿La evaluación…?

¿Qué entendemos por evaluación?

…

VEAMOS VUESTRAS PROPUESTAS

La evaluación es un proceso

Entendemos la evaluación como una actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos y fundamentados y comunicables sobre las

actividades, resultados e impactos, y formular recomendaciones para tomar decisiones que permitan ajustar la presente acción y mejorar la

acción futura.

Basado en Nirenberg, O. y otras (2000): Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales. Ediciones Paidós, Buenos Aires.

3

El Concepto de evaluación “oficial”

“La evaluación es una función que consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su concepción, su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto a su desarrollo, la eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas intervenciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones, tanto de los países de acogida como de los donantes”.

Fuente: Comité de ayuda al Desarrollo - OCDE : “Manual de la ayuda al desarrollo. Principios del CAD para una ayuda eficaz”. Mundi Prensa. Madrid. 1995. Pág. 178

Tipologías de evaluación

SEGÚN LOS AGENTES:

1. Interna2. Autoevaluación3. Externa4. Mixta5. Participativa o Integrada

4

Tipologías de evaluaciónSEGÚN EL OBJETO:

1. De procesos (sistematización)

2. De resultados

3. De efectos y cambios (impacto)

SEGÚN PATTON (1990):1. Formativa2. Sumativa

Tipologías de evaluación

SEGÚN EL MOMENTO:

1. Evaluación previa (Línea de base o diagnóstico)

2. Evaluación ex ante (diseño)

3. Evaluación simultánea o durante

4. Evaluación final

5. Evaluación ex - post

5

2. Las funciones de la evaluación...

¿ Para que sirve todo esto?

Tres funciones clásicas de la evaluación

CONTROL APOYO A LA GESTIÓN APRENDIZAJE

FUTURAS ACCIONES

EVALUACIÓN

INFORMACIÓN

6

Más utilidades...

� Desarrollo de capacidades

� Gestión del cambio� Transparencia,

Rendición de cuentas

MEJORARMEJORAR

Crecimiento como organizacionesCrecimiento como organizaciones

Según ELOLA y Toranzos (2000):

- Función simbólica

- Función política

- Función de conocimiento

- función de mejoramiento

- Función de desarrollo de capacidades

II PARTE¿ Cómo se pone en marcha una evaluación ex – post?

ITINERARIO

7

F u e n t e : E l a b o r a c ió n p r o p i a

D E C I S I Ó N D EE V A L U A R

P L A N I F I C A C I Ó N D E L A E V A L U A C I Ó N

L O S T E R M I N O S D E R E F E R E N C I A ( T o R )

I N F O R M E

S o c ia l i z a c ió n

R E C O G I D A D EI N F O R M A C I Ó N

( T R A B A J O D E C A M P O )

Itinerario evaluación ex – post de

� 1.DECISIÓN DE EVALUAR

� 2. ELABORACIÓN PARTICIPATIVA DEL PLAN� Creación del equipo de trabajo� Consulta aportes equipo de trabajo� Aprobación de plan de trabajo� Elaboración de las categorías e instrumentos para recoger

información

� 3. TRABAJO DE CAMPO (Equipo)- Recogida de la información- Análisis de la información

� 4. Elaboración participativa del informe final-SOCIALIZACION

8

Esquema de TDR y/o PLAN DE EVALUACIÓN

Áreas a evaluar (categorías)6.-¿Qué?

Presupuesto9.-¿Cuánto?Cronograma8.-¿Cuándo?Metodología7.-¿Cómo?

Modelo (criterios)5.-¿Desde dónde?

Agentes4.-¿Quiénes?Clientes/ Sujetos-as3.-¿Para quién?Objetivos y resultados2.-¿Para qué?

Antecedentes y justificación1- ¿Por qué?APARTADOSPREGUNTAS

Hay tres debates clave:

�� QuienQuien realiza la evaluación

� Que modelomodelo la enfoca (criterios y categorías)

� Que herramientas utilizamos para recoger la información

9

Los agentes de la evaluación pueden ser...

� Internos � Externos � Mixtos� Involucrados

59 segundos59 segundos

Considerar las ventajas y desventajas según 5 CRITERIOS

�1. Lo objetivo frente a lo subjetivo

�2. El papel de la población beneficiaria

�3. La metodología utilizada

�4. Los costes

�5. Veracidad, fiabilidad y validez

Fuente: Lara González (Manual de evaluación Págs., 83- 88)

10

2º debate:¿que modelo utilizamos?

La evaluación del EML

Propone un modelo tridimensional:

Componentes de evaluación

INSUMOS PRODUCTOS OBJETIVO ESPECÍFICO

OBJETIVO GENERAL

Jerarquía de objetivos

Factores de desarrollo

Fuente:IUDC- UCM, Cedeal NORAD: “Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y, gestores. Madrid. 1997. Pág 31.

VIABILIDAD La sostenibilidad del proyecto en el largo plazo

PERTINENCIA Dirección y utilidad del proyecto

IMPACTO Efectos del proyecto

EFICACIA Logro de objetivos

EFICIENCIA Logro de Resultados

Pol

ítica

s de

apo

yo

Asp

ecto

s in

stitu

cion

ales

Asp

ecto

s fin

anci

eros

Fac

tore

s te

cnol

ógic

os

Asp

ecto

s so

cioc

ultu

rale

s

Dim

ensi

ón d

e G

ener

o

Med

io a

mbi

ente

11

Criterios claves para la evaluación ex – post desde la propuesta de la OCDE

Eficacia En qué medida se han alcanzado o se esperan alcanzar los objetivos propuestos.

Eficiencia Hasta que punto los resultados alcanzados derivan de una buena utilización de los recursos .

CRITERIOS

DE

EVALUACIÓN

Pertinencia La adecuación de los resultados y los objetivos de la intervención al contexto en que se realiza. Valoración de la utilidad del proyecto

SostenibilidadEstimación de la capacidad de continuación de las acciones de manera autónoma.

Impacto Sumatoria de todos los efectos que la acción ha tenido sobre el medio y los cambios que ha generado en el largo plazo (económico, técnico, social, cultural, político, ecológico, relaciones de género, etc.)

Fuente: Lara González (Manual de evaluación Págs., 17)

Lo importante es concretar esos criterios en categorías analíticas (preguntas clave)

IMPACTO

SOSTENIBILIDADConectividadCoherencia

PERTINENCIA(adecuación)

EFICIENCIA

EFICACIACobertura,

Instrumento

CATEGORÍA (VARIABLE)Indicador

Item

CRITERIO DE EVALUACIÓN

12

Concretando el trabajo de campo

LOS INSTRUMENTOS- HERRAMIENTAS Pueden ser:

� Primarias y Secundarias

� Cuantitativas y Cualitativas

Fuente: Lara González (Manual de evaluación)

Tabla: Instrumentos básicos para la evaluación

DE CARÁCTER SECUNDARIO DE CARÁCTER PRIMARIO Encuesta oral Medición directa (escalas)

Cuantitativas (estructuradas)

Auto- rellenado Entrevista a informantes clave Taller grupal

Análisis documental: - documentos internos de la organización - documentos del proyecto o intervención - otros documentos complementarios

Cualitativas (semi- estructuradas)

Observación directa Elaboración propia basada en la bibliografía.

13

Fuentes de documentación secundaria que no debemos olvidar si ponemos en marcha una evaluación de impacto de genero Documentos internos de la

organización Documentos del proyecto y

su seguimiento Documentos externos

complementarios

Plan estratégico de la organización o su departamento responsable

(en su defecto, objetivos y líneas de acción institucionales)

Diagnóstico o línea de base

Mapas, gráficos, fotos de la zona

Planes de acción operativa anual

(en su defecto planes de trabajo anual de la organización)

Estudios de viabilidad previa Estudios gubernamentales (estadísticas, censos, etc.)

Organigrama y tareas

Formulación del proyecto Estudios de historias de vida del

barrio, zona o grupo determinado

Protocolos propios

Planes de trabajo del equipo

Investigaciones sobre la situación de desigualdad entre hombres y

mujeres realizado por otra entidad

Sistematizaciones de otras experiencias similares

Plan de capacitación Otras investigaciones ligadas a

nuestra intervención (salud, educación, empleo, etc.)

Memorias institucionales

Informes de seguimiento (avance de indicadores, resultados)

Acuerdos, estudios o políticas gubernamentales nacionales o

locales

Balances económicos, auditorias

Documentación ligada al seguimiento

(actas de reuniones, diarios de campo, entrevistas, talleres, censos de asistencia a talleres, planillas de

recibido de materiales, etc.)

Planes gubernamentales locales, acuerdos de alcaldías, etc.

…

... ...

Fuente: Elaboración propia.

Dos herramientas claves para la evaluación:

LA ENTREVISTA

LA OBSERVACIÓN

Fuente: Lara González (Manual de evaluación)

14

Entrevistas grupales y observación directa durante el trabajo de campo de la evaluación

Entrevista grupal

Observaciones directas

Entrevistas grupales y observación directa durante el trabajo de campo de la evaluación

Entrevista grupal

Observaciones directas

15

Claves para elegir los instrumentos

� Verificar si los datos ya existen� Determinar si los datos a recoger están accesibles y no son confidenciales

� Identificar quién va a administrar la herramienta

� Identificar quién la va a interpretar y saca las conclusiones.

� Determinar el cuándo, en base a la realidad de la población involucrada

Fuente: Basado en PROJECTSTAR (2004): Americorps program applicant. Ferformance measuremente toolkit Corporation for National and CommunityService, USA.

Proceso para crear la herramienta

Equipo debate Plan de trabajo

Define criterios de evaluación generizados: Eficacia, eficiencia, pertinencia, sostenibilidad e impacto

Construye y consensua categorías para cada criterio o componente de evaluación

Agrupa las categorías que van dirigidas a un mismo grupo: organización de mujeres: líder del comité de agua, alcaldía…cada una requiere unas preguntas distintas

Diseña la herramienta necesaria para recoger la información de ese grupo desde esas categorías previamente definidas y consensuadas en el equipo de evaluación

Valida el instrumento

RECOGE LA INFORMACIÓN

ANALIZA LA INFORMACIÓN desde las categorías definidas y las herramientas del análisis de género (apartado 3 del manual)

16

GRACIAS…