Investigación Evaluativa en Educación
Profesora Titular de MIDE
Mª José Rodríguez Conde
Metodología de Evaluación de ProgramasMetodología de Evaluación de Programas
Tema 2. El proceso de evaluación
Objetivos de la sesión
Diferenciar “Investigación” y “Evaluación” en educación
Exponer las “Fases” en las que desarrollar un plan de evaluación en educación (enfoque cuantitativo)
Identificar distintos estándares en un proceso de evaluación (metaevaluación)
Contenidos
Tema 2. El proceso de evaluación de programas
3. Fases del proceso4. Estándares de la evaluación
Bibliografía y direcciones en Internet
FERNANDEZBALLESTEROS, R. (1995): El proceso de evaluación de programas, en R. FERNANDEZBALLESTEROS, (edt.), Evaluación de Programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid, Síntesis. 75113.
ALVIRA, F. (1991): Fases en el desarrollo de una evaluación, en F. ALVIRA, Metodología de la evaluación de programas, Madrid, Centro de Investigaciones Sociológicas, Cuadernos metodológicos, nº 2. 2132.
MATEO, J. (2000): La evaluación educativa, en J. MATEO, La evaluación educativa, su práctica y otras metáforas (pp. 2155), Barcelona, ICE de la Universidad de Barcelona.
LIZASOAIN, L. y otros (2004). Establecimiento de estándares y puntos de corte en pruebas de rendimiento. Una aplicación en el área de Matemáticas de 2º y 4º de la ESO, Bordón, 56 (2), 237252.
LUKAS, J.F. y SANTIAGO, K. (2004): Cap. 3. Concepto, componentes y fases de la evaluación, en J.F. LUKAS y K. SANTIAGO, Evaluación educativa (pp. 79117). Madrid: Alianza Editorial.
Inve
stig
aci
ó n E
valu
aci
ó nInve
stig
aci
ó n E
valu
aci
ó n
Utilidad, credibilidadInterna, externa y de constructoCriterios de validez
No procedeBásicaAleatorización
Preestablecido, pero flexiblePreestablecidoDiseño
DiversasDiversasMetodología
LimitadaPosibleGeneralización
Bajo y medioMedio y altoCosto
Inmediato, corto, medioMedio y largo plazoTemporalidad
El evaluador está a expensas a las demandas de los otros. Depende del cliente
El investigador establece y selecciona el problema o las cuestiones a investigar. Autónomo
Papel del investigador / evaluador
Ofrece información para tomar decisiones sobre un objetoBusca nuevos conocimientosFinalidad
Adaptado a las audiencias a las que se dirige la evaluaciónAdaptado a las normas de la comunidad científicaInforme
La decisión sobre el programa depende del cliente de la evaluación
La aceptación/rechazo de las hipótesis se resuelve el análisis de datosDecisión
Valoración por los responsables del programaAdaptado a la comunidad científicaInterpretación de los
datos
Superficial, cuando es posiblePosibleManipulación/contr
ol de variables
Condicionada por la utilidad del procesoDeterminada por el objetivo de la investigación y las hipótesisRecogida de datos
No posiblePosibleReplicación
Es difícil formular hipótesis y en ocasiones inadecuado
Se formulan y guían toda la investigaciónHipótesis
Se extienden también al desarrollo y aplicación de los procedimientos de estudio
Se limitan a los implícitos en el planteamiento del problema por el equipo de investigaciónJuicios de valor
Proceso de EvaluaciónProceso de InvestigaciónAspectos
Proceso de Evaluación: FASESProceso de Evaluación: FASES
R. Fernández Ballesteros (1995)
1. Planteamiento de la evaluación
2. Selección de las operaciones a observar
3. Selección del diseño de evaluación
4. Recogida de información
5. Análisis de datos
6. Informe
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
•Planificación del Modelo de EvaluaciónPlanificación del Modelo de Evaluación
•Qué se evalúa. El objeto de evaluaciónQué se evalúa. El objeto de evaluación
•Para qué se evalúa. La finalidad de la evaluaciónPara qué se evalúa. La finalidad de la evaluación
•Qué audiencias están implicadasQué audiencias están implicadas
•Qué información se requiereQué información se requiere
•A quién se demanda información. Las fuentes de informaciónA quién se demanda información. Las fuentes de información
•Con qué instrumentos y cuándo se recoge informaciónCon qué instrumentos y cuándo se recoge información
•Cómo se analiza la informaciónCómo se analiza la información
•Los informes de evaluaciónLos informes de evaluación
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
•Planificación del Modelo de EvaluaciónPlanificación del Modelo de Evaluación
Adecuación al contextocontexto donde se realizará la evaluación
Diseño de evaluación e Implicados
Modelos de evaluación y objeto
Garantizar la validez del proceso
y, con ello, su utilidad
Análisis de necesidades
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
•Qué se evalúa. El objeto de evaluaciónQué se evalúa. El objeto de evaluación
EnfoquesEnfoques
Calidad del Proceso Calidad del Proceso EducativoEducativo
Calidad del Impacto Calidad del Impacto del Programadel Programa
Objetivo de análisis
Bondad estructural y funcional del programa de enseñanza
Grado en que se consiguen los objetivos del programa
Indicador Adecuación de los diferentes elementos curriculares (diseño, metodologías, medios personales, …)
Nivel de competencia adquirido en diferentes cortes temporales (corto, medio y largo plazo)
Dificultad técnica
Operativizar el concepto de calidad del proceso educativo
Seguimiento del alumnoDiseños cuasiexperimentales
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
•Para qué se evalúa. La finalidad de la evaluaciónPara qué se evalúa. La finalidad de la evaluación
EnfoquesEnfoques
Calidad del Proceso Calidad del Proceso EducativoEducativo
Calidad del Impacto Calidad del Impacto del Programadel Programa
Evaluación formativa:Evaluación formativa:Mejorar el procesoMejorar el proceso
Evaluación sumativa:Evaluación sumativa:Contrastar la eficacia del Contrastar la eficacia del
programaprograma
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
•Qué audiencias están implicadasQué audiencias están implicadas
Identificar a todos los implicados en el programa y en su evaluación:
• Cliente (quien encarga el proceso de evaluación)
• Comunidad educativa: alumnos, padres, profesores, coordinadores, directivos, etc.
• Políticos, responsables del programa, etc…
Finalidad de la identificación de audiencias: conocer expectativas, motivaciones, solicitar información, recibir los informes…
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
•Qué información se requiereQué información se requiere
Condiciones: pertinencia /relevancia y evaluabilidad
Modelo teórico más usual: CIPP de Stufflebeam
Contexto
EntradaProceso
Producto
Medios materiales:Recursos, …
Medios personales(competencias iniciales):Alumnos y Profesores
Expectativas…
Organización interna del programa
Adecuación metodológica
Clima del centro (relaciones)…
Nivel de competencias alcanzadas por los alumnos
Satisfacción de la comunidad educativa
Tipo de centro, ubicación, nivel socioeconómico…
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
• A quién se demanda información. Las fuentes de informaciónA quién se demanda información. Las fuentes de información• Con qué instrumentos y cuándo se recoge informaciónCon qué instrumentos y cuándo se recoge información
Fuente de informaciónFuente de información Estrategia de recogida de Estrategia de recogida de informacióninformación
AntesAlumnosProfesoresPadresDirectivos,…
Durante
Al final
MomentoMomento
Pruebas específicas de aptitudEntrevistasCuestionarios,escalas, sociogramas…
AlumnosProfesoresPadres
Observación sistemáticaListas de control, escalas de estimación, …
AlumnosProfesoresPadresDirectivos, …
Pruebas específicas de aptitudEntrevistasCuestionarios,escalas, sociogramas…
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
• Cómo se analiza la informaciónCómo se analiza la información
Depende de…
• Los objetivos de la evaluación• El tipo de datos recogidos (cuantitativos, cualitativos)• El diseño de la evaluación (diseño experimental, …)• El formato de transmisión de los resultados
Proceso de análisis…
Informatización de datos (bases de datos, SPSS…)
Depuración de archivos
Análisis estadisticos descriptivos (inferenciales…)
Análisis de contenido, para datos cualitativos
Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas
• Los informes de evaluaciónLos informes de evaluación
Depende de: a quién van dirigidos…Depende de: a quién van dirigidos…Alumnos, Padres, ProfesoresDirectivos, PolíticosEvaluadoresSociedad …
Algunas recomendaciones para un informe global (componentes técnicoAlgunas recomendaciones para un informe global (componentes técnicometodológicos y relación de resultados):metodológicos y relación de resultados):
• Lenguaje y recursos de presentación: rigor científico + claridad
• Contextualizar todos los resultados
• Apoyarse en recursos gráficos de fácil comprensión
• Presentar síntesis de resultados (puntos fuertes y débiles) y recomendaciones de mejora
•…
EVALUACIÓN DE PROGRAMAS: PLANTEAMIENTO GENERAL
Concepto de EVALUACIÓN
Modalidades de Evaluación
Proceso general de Evaluación de Programas
Metaevaluación: estándares internacionales