View
235
Download
0
Category
Preview:
Citation preview
Qué medir Cómo medir
Herramientas de Evaluación de Impacto e
Innovación Social
23 de abril – 14 de mayo 2014
Santiago, Chile
Qué medir Cómo medir
Índice 1. Evaluando Emprendimientos Sociales
2. Tipos de Evaluación
3. Teoría de Cambio
4. Indicadores y Medición
5. Evidencia Rigurosa y Evaluación Aleatoria
6. Interpretación de Datos
7. Evaluaciones aleatorias: ¿Cómo se implementan?
8. Evaluación de Principio a Fin
2
Qué medir Cómo medir
Objetivos
4
Después de esta sesión los participantes serán capaces de:
Definir indicadores a partir de conceptos, a través de la operacionalización.
Distinguir entre distintas fuentes de datos secundarios y saber dónde buscarlos.
Conocer algunas de las dificultades que deben considerarse al diseñar cuestionarios.
Localizar tests estandarizados y escalas de actutides.
Entender el papel de los métodos cualitativos en la evaluación de programas.
Qué medir Cómo medir
Esquema de presentación
5
1. ¿Qué medir?
2. ¿Cómo medir?
3. Observar y escuchar*
Qué medir Cómo medir
7
NECESIDAD INSUMOS /
ACTIVIDADES PRODUCTOS
RESULTADOS INTERMEDIOS
RESULTADOS FINALES
Evaluación de necesidades
Evaluación teórica de programas
Evaluación de procesos
Evaluación de Impacto
Qué medir Cómo medir
Teoría de Cambio y Medición
La Teoría de Cambio…
Es útil para definir las preguntas de investigación o hipótesis.
Es importante para identificar los productos, resultados intermedios y supuestos que necesitamos medir.
Medir nos permite saber qué ha ido bien o qué ha fallado en la cadena causal del programa.
8
Qué medir Cómo medir
¿Qué medir?
9
Ejemplo: programa de formación de profesores para enseñar sobre prevención de VIH en Kenia.
NECESIDAD INSUMOS /
ACTIVIDADES PRODUCTOS
RESULTADOS INTERMEDIOS
RESULTADOS FINALES
Qué medir Cómo medir
¿Qué medir? De la idea a la medida
En relación con los Insumos, Actividades y Productos, suele ser sencillo pensar en qué medir.
Al plantear Resultados Intermedios y Finales, frecuentemente pensamos en términos de conceptos relativamente abstractos: educación, salud, corrupción, calidad de vida…
¿Cómo medir conceptos que son abstractos?
El procedimiento por el cual pasamos de un concepto más o menos abstracto a un indicador concreto y medible (o varios) se denomina operacionalización.
11
Qué medir Cómo medir
¿Qué medir? De la idea a la medida
Unos conceptos son más concretos que otros, y por tanto más fáciles de operacionalizar.
En todo caso, casi siempre hay “un salto” desde la idea hasta la medida.
Suponga que estamos interesados en medir los ingresos en la población en la que vamos a realizar una intervención
Exactamente, ¿cómo medimos los ingresos?
12
Qué medir Cómo medir
Operacionalización
En general, la operacionalización de un concepto consta de los siguientes elementos:
Concepto
Definición
Dimensiones (a veces subdimensiones)
Indicadores
Pregunta y Categorías de respuesta (cuando el indicador se obtiene de un cuestionario)
13
Qué medir Cómo medir
Operacionalización
Concepto: ingresos personales
Definición: flujos monetarios netos recibidos por un individuo a lo largo del último mes, procedentes de cualquier fuente (empleo, rentas u otros)
Dimensiones:
D1: Ingresos procedentes del trabajo
D2: Ingresos procedentes de rentas del capital
D3: Transferencias de la Administración Pública
14
Qué medir Cómo medir
Operacionalización
Indicadores:
D1: Ingresos netos procedentes del trabajo en el último mes, autorreportado.
D2: Ingresos netos procedentes de rentas del capital (propiedades inmobiliarias, beneficios empresariales, activos financieros…) en el último mes, autorreportado.
D3: Ingresos netos por concepto de subsidios, ayudas o becas de la Administración Pública en el último mes, auttorreportado.
15
Qué medir Cómo medir
Operacionalización
Preguntas:
D1: ¿Trabajó usted en el último mes? ¿Cuáles fueron sus ingresos netos procedentes del trabajo?
D2: ¿En el último mes, cuáles fueron sus ingresos netos procedentes de rentas del capital (propiedades inmobiliarias, beneficios empresariales, activos financieros…)?
D3: ¿En el último mes, recibió algún subsidio, ayuda o beca por parte de la Administración Pública? ¿Cuál fue el monto neto recibido en el último mes?
Categorías de respuesta: cifras o rangos
16
Qué medir Cómo medir
Operacionalización
Ahora un ejemplo más complejo:
Concepto: Involucramiento parental (planteado desde la perspectiva de un estudio centrado en el consumo de drogas).
Definición: comportamientos parentales que implican atención sobre las actividades y relaciones de los hijos.
Dimensiones:
vigilancia parental
control parental
comunicación parental
17
Qué medir Cómo medir
Una definición operacional define el concepto por medio del modo en que es medido. Ejemplo: Peso Definición teórica: fuerza con que la Tierra atrae a un cuerpo. Definición operacional: número que aparece en la balanza cuando se coloca sobre ella un objeto.
22
Qué medir Cómo medir
Ejercicio práctico:
23
En grupos, operacionalicen el concepto de Capital Social.
1. Individualmente, escriban una definición.
Seguidamente, acuerden una definición en grupo.
2. A partir de la definición acordada, discutan posibles dimensiones del concepto.
3. A partir de las dimensiones, piensen en posibles indicadores para capturar cada dimensión.
Qué medir Cómo medir
Cómo medir
Una vez hemos definido qué queremos medir (qué indicadores necesitamos), ¿cómo obtenemos los datos?
Datos secundarios: recurre a datos ya existentes procedentes de encuestas del INE u otros (Censo, CASEN…) o extraídos de registros administrativos
Datos primarios: recolecta tus propios datos mediante encuestas, tests académicos, mediciones físicas o biológicas, observación directa…
25
Qué medir Cómo medir
Cómo medir: Datos secundarios Registros administrativos:
Originalmente recolectados por gobiernos u otros, con fines
de focalización, gestión o rendición de cuentas
• Registros educativos, médicos, electorales, de consumo eléctrico…
• Datos de monitoreo de otros programas existentes
Suelen cubrir a toda la población, pero pueden carecer de
información relevante
Bajo costo, pero no siempre fiables, accesibles e
identificables
• Si no podemos identificar a los individuos, no podremos saber qué datos
corresponden al grupo de control y qué datos al grupo tratado. 26
Qué medir Cómo medir
Cómo medir: Datos secundarios Encuestas nacionales:
Datos obtenidos mediante grandes encuestas del Estado,
con fines amplios de caracterización:
• Nueva Encuesta Nacional de Empleo
• Encuesta de Presupuestos Familiares
• Estadísticas Sociales y Culturales (infancia, género, seguridad, salud…)
Suelen recolectar información muy detallada sobre individuos
que constituyen una muestra representativa
• Pueden ser muy útiles para evaluar necesidades y contexto.
• Utilidad limitada para evaluación de impacto: tamaño muestral;
relevancia de los indicadores; datos anonimizados.
27
Qué medir Cómo medir
Cómo medir: Datos secundarios Encuestas nacionales: dónde buscar
A nivel nacional:
• Observatorio Social: banco de preguntas y fichas metodológicas en la
página del Ministerio de Desarrollo Social:
http://observatorio.ministeriodesarrollosocial.gob.cl/enc_soc_descripcion.php
• Banco de Encuestas de la Fundación Futuro:
http://www.fundacionfuturo.cl/index.php?option=com_content&view=article&id=3
4&Itemid=48
A nivel internacional:
• World Data Bank, del Banco Mundial:
http://databank.worldbank.org/data/home.aspx
28
Qué medir Cómo medir
Cómo medir: Datos secundarios Encuestas nacionales: dónde buscar
A nivel nacional:
• Observatorio Social: banco de preguntas y fichas metodológicas en la
página del Ministerio de Desarrollo Social:
http://observatorio.ministeriodesarrollosocial.gob.cl/enc_soc_descripcion.php
• Banco de Encuestas de la Fundación Futuro:
http://www.fundacionfuturo.cl/index.php?option=com_content&view=article&id=3
4&Itemid=48
A nivel internacional:
• World Data Bank, del Banco Mundial:
http://databank.worldbank.org/data/home.aspx
29
¿Qué datos secundarios podrían
ser útiles para mi proyecto?
Qué medir Cómo medir
Cómo medir: Datos primarios
Si los datos que necesitamos no existen, no son fiables o no proporcionan el tamaño muestral suficiente, necesitaremos crear los datos nosotros mismos.
El instrumento más frecuente para recolectar datos primarios es la encuesta.
Otros instrumentos: tests estandarizados, escalas de actitud, mediciones físicas o biológicas, datos de navegación web…
30
Qué medir Cómo medir
Cómo medir: Datos primarios – La encuesta
La encuesta basada en el cuestionario es…
Un método para recoger información estandarizada a partir de un grupo relativamente amplio de individuos
Seleccionados de forma tal que constituyen una muestra representativa de una población mayor.
32
Qué medir Cómo medir
Diseño de cuestionarios
Algunas dificultades en el diseño de cuestionarios:
Vaguedad: ¿Vive usted con algún adolescente?
Varias preguntas en una: ¿Está de acuerdo con la decisión del gobierno de tomar medidas en contra de la delincuencia y aumentar el número de carabineros en las calles?
Supuestos erróneos: ¿Cuán a menudo se ve con sus hermanos?
33
Qué medir Cómo medir
Diseño de cuestionarios
Algunas dificultades en el diseño de cuestionarios:
Deseabilidad social
34
Qué medir Cómo medir
Diseño de cuestionarios
Algunas dificultades en el diseño de cuestionarios:
Preguntas direccionadas:
• ¿Está de acuerdo con la decisión del gobierno de construir un puente en [lugar]?
Sería distinto de:
• ¿Está de acuerdo con que se construya un puente en [lugar]?
35
Qué medir Cómo medir
Diseño de cuestionarios
36
Se cuidadoso en el diseño del cuestionario, y comprueba que no presente problemas:
Question Appraisal System (QAS); Sistema de Evaluación de
Preguntas.
Observa cómo funciona el cuestionario con unas pocas personas, antes de realizar la encuesta final:
Entrevistas cognitivas: observa a una persona rellenando el
cuestionario, e indaga acerca de cómo lo procesa y responde.
Si tienes recursos, haz una encuesta piloto antes de realizar la encuesta final (para detectar problemas logísticos y de implementación).
Qué medir Cómo medir
Cómo medir: Datos primarios – Escalas y tests
38
Instrumentos de medición desarrollados por psicólogos y otros cientistas sociales para medir habilidades, actitudes, opiniones, etc.
Ejemplos: test de inteligencia, creatividad, personalidad, salud mental...
Se administran igual que una encuesta, o como parte de esta.
Qué medir Cómo medir
Escala de Likert: Satisfacción con la vida
39
http://internal.psychology.illinois.edu/~ediener/SWLS.html
Qué medir Cómo medir
Escala de Likert: Curiosidad y Exploración
40
Curiosity and Exploration Inventory (CEI): http://ceicuriosity.tripod.com/
Qué medir Cómo medir
Tests y escalas
41
Algunos tests y escalas están a la venta.
Muchos otros están disponibles gratuitamente en internet.
Algunos lugares donde buscar:
http://www.scalesandmeasures.net/search.php
http://www.statisticssolutions.com/academic-
solutions/resources/directory-of-survey-instruments
Qué medir Cómo medir
42
Directorio de Instrumentos. En esta web pueden localizarse tests y luego comprarse, o buscarse en internet. http://www.statisticssolutions.com/academic-solutions/resources/directory-of-survey-instruments
Qué medir Cómo medir
43
Directorio de Instrumentos. En esta web pueden localizarse tests y luego comprarse, o buscarse en internet. http://www.statisticssolutions.com/academic-solutions/resources/directory-of-survey-instruments
Qué medir Cómo medir
Entrevistas semi-estructuradas Qué es:
El entrevistador lleva una pauta o guía con los temas a cubrir, los términos a usar y el orden de las preguntas.
Frecuentemente, los términos usados y el orden de los temas cambian en el curso de la entrevista, y surgen nuevas preguntas en función de lo que dice en entrevistado.
A diferencia de los cuestionarios, se basan en preguntas abiertas, aportando flexibilidad
46
Qué medir Cómo medir
Entrevistas semi-estructuradas Ventajas de la entrevista abierta frente al cuestionario
con preguntas cerradas:
Permiten más profundidad y aclarar cualquier malentendido
Permite ver hasta dónde llega el conocimiento del entrevistado
Facilitan la cooperación y la empatía
Permiten evaluar mejor qué piensa realmente el entrevistado
Pueden producir respuestas no esperadas
47
Qué medir Cómo medir
Entrevistas semi-estructuradas La tarea del entrevistador es intentar que los
entrevistados hablen libre y abiertamente.
Para ello:
Escucha más de lo que hables: la entrevista no es un espacio para que el entrevistador cuente sus experiencias u opiniones
Formula tus preguntas de forma directa, clara y no amenazante
Evita direccionar las respuestas
48
Qué medir Cómo medir
Grupos de discusión
Qué es:
Similar a una entrevista semi-estructurada, pero con varios participantes
El entrevistador pasa a ser un moderador: su papel es que la conversación se mantenga dentro del tema de interés y cubra los subtemas deseados
49
Qué medir Cómo medir
Grupos de discusión
Ventajas:
La interacción grupal puede aportar incentivos y generar información que no obtendríamos en entrevistas personales.
Puede ser útil para temas poco interesantes (investigación de mercados) y también para temas sensibles o tabú.
Es un método eficiente para obtener información cualitativa
50
Qué medir Cómo medir
Observación directa
Qué es:
En ocasiones puede ser útil observar directamente el comportamiento de interés en el momento mismo en que sucede. En evaluación de programas, los más frecuentes son:
• Visitas aleatorias
• Clientes fantasma
• Encuestadores incognitos
51
Qué medir Cómo medir
Los métodos cualitativos en evaluación de programas Evaluación de los instrumentos de medición
Evaluación de necesidades
Exploración previa a medición mediante encuestas
Evaluación de procesos
Observación directa de procesos, opiniones de usuarios e implementadores
Evaluación de impacto
“Descubrimiento” de resultados potenciales no anticipados. Interpretación de los resultados
52
Qué medir Cómo medir
Los métodos cualitativos en evaluación de impacto
Ejemplo: programa de subsidios de vivienda en Estados Unidos: Moving to Opportunity
¿Cuáles podrían ser los impactos de este programa?
Literatura previa indicaba que las razones más importantes para querer trasladarse a un barrio mejor era poder optar a mejores colegios y mejores casas.
Efectos sobre los niños: mejoras en rendimiento educativo.
Efectos sobre los padres: empleo, capacitación laboral e ingresos.
53
Qué medir Cómo medir
Los métodos cualitativos en evaluación de impacto
Sin embargo, los datos de línea de base mostraron una realidad que les invitó a cuestionar sus intuiciones:
Razón principal para querer cambiar de barrio: “alejarse de las bandas y las drogas”.
Alta frecuencia de asaltos sufridos por los participantes.
El miedo y la inseguridad aparecieron como un fenómeno central.
54
Qué medir Cómo medir
Los métodos cualitativos en evaluación de impacto
A la vista de estos hallazgos, los responsables del estudio decidieron llevar a cabo una investigación cualitativa con tres objetivos:
1) Entender los detalles de la intervención.
2) Explorar con mayor profundidad la importancia de las bandas y las drogas.
3) Escuchar con detalle las historias de las familias para pensar en aspectos de la investigación que no habían incluido.
55
Qué medir Cómo medir
Los métodos cualitativos en evaluación de impacto
Hallazgos en las entrevistas semi-estructuradas:
1) Se confirmó la importancia del miedo y la inseguridad como motivos para trasladarse a otro barrio
2) Se profundizó en cómo esa inseguridad afectaba a la vida cotidiana de las familias: “Bullets don’t got no name”
3) El cambio de barrio contribuía a la paz mental de los adultos y una mayor libertad para los niños
56
Qué medir Cómo medir
Los métodos cualitativos en evaluación de impacto A raíz de los hallazgos cualitativos, se incluyeron
nuevas preguntas sobre seguridad y salud en la encuesta de seguimiento.
Los impactos más grandes se relacionaban con estas variables:
1) Adultos: debido a una mayor seguridad en el barrio, se produjeron mejoras en el bienestar emocional
2) Niños: debido a una mayor seguridad en el barrio, hubo menos instancias de agresiones y lesiones, y también menos asma (en parte causado por el estrés).
57
Qué medir Cómo medir
Métodos de recogida de datos: resumen Para averiguar qué hace la gente en público:
observación directa
Para averiguar qué hacen en privado: entrevistas, grupos de discusión y cuestionarios
Para averiguar qué piensan, sienten o creen: entrevistas, grupos de discusión y cuestionarios con escalas de actitud
Para determinar habilidades o conocimientos: tests estandarizados
58
Recommended