EVALUACIÓN DOCENTEEVALUACIÓN DOCENTEON-LINEON-LINE
Manuel Peralbo UzquianoManuel Peralbo UzquianoVICERRECTOR DE CALIDADVICERRECTOR DE CALIDADY ARMONIZACIÓN EUROPEAY ARMONIZACIÓN EUROPEA
AntecedentesAntecedentes Evaluación: encuestas en papel Evaluación: encuestas en papel
realizadas en clase, anónimas, sin realizadas en clase, anónimas, sin “visualización del profesor”“visualización del profesor”
Programas de formación independientes Programas de formación independientes de la evaluación y sin que dispusieran de de la evaluación y sin que dispusieran de una evaluación de los efectos del una evaluación de los efectos del programa.programa.
Evaluación y formación centrada en el Evaluación y formación centrada en el profesorado, sin inclusión de profesorado, sin inclusión de estudiantes, centros y PASestudiantes, centros y PAS
Sólo se evaluaba satisfacción, no Sólo se evaluaba satisfacción, no competencias paracompetencias para
Razones para un cambioRazones para un cambio El EEES que introduce un sesgo hacia el aprendizaje (y El EEES que introduce un sesgo hacia el aprendizaje (y
por tanto hacia el aprendiz) y que promueve el análisis por tanto hacia el aprendiz) y que promueve el análisis de las competencias implicadas en cada actividadde las competencias implicadas en cada actividad
La necesidad de romper con una evaluación que se La necesidad de romper con una evaluación que se acaba convirtiendo en un fin en sí mismo para incluirla acaba convirtiendo en un fin en sí mismo para incluirla en un proceso de evaluación para la mejora (formación) en un proceso de evaluación para la mejora (formación) en sintonía con lo establecido por la ENQA (en sintonía con lo establecido por la ENQA (Asociación Asociación Europea para la Garantía de la Calidad en la Educación Europea para la Garantía de la Calidad en la Educación SuperiorSuperior
Informe sobre Criterios y directrices para la garantía de Informe sobre Criterios y directrices para la garantía de la calidad en el EEES: Las instituciones deben disponer la calidad en el EEES: Las instituciones deben disponer de medios que garanticen que el personal docente está de medios que garanticen que el personal docente está capacitado y sea competente para su trabajocapacitado y sea competente para su trabajo
La necesidad de poner los recursos en la formación y no La necesidad de poner los recursos en la formación y no en los procedimientos evaluativos y de poder modificar en los procedimientos evaluativos y de poder modificar la oferta en función de los resultados conseguidos.la oferta en función de los resultados conseguidos.
Evaluación on- line en la Evaluación on- line en la UDCUDC
Plan DirectorPlan Director DocenteDocente
Programa de Programa de EvaluaciónEvaluación
docentedocente
Programas de Programas de Formación Formación
Plan de Apoyo a laPlan de Apoyo a laEnseñanza (PAE)Enseñanza (PAE)
Plan de Apoyo al Plan de Apoyo al Aprendizaje (PAA)Aprendizaje (PAA)
Evaluación docente Evaluación docente (características)(características)
• Se introduce a la evaluación dentro del proceso de formación continua del profesorado y dentro del proceso formativo de los estudiantes
• Se evalua la docencia, no al profesorado• El objetivo es la mejora, no el control para otros fines
(habilitación, acreditación, quinquenios)• No se evalúa sólo al que enseña, también al que
aprende y al que da soporte desde la gestión, al proceso de enseñanza-aprendizaje.
• Se evalúa satisfacción con la docencia, pero también las competencias de los profesores para enseñar y de los estudiantes para aprender.
• La evaluación es recíproca (profesor-estudiante) y conduce a la elaboración de perfiles formativos que enlazan con el programa de formación de la Universidad.
Evaluación docente (cont.)Evaluación docente (cont.)
• Se persigue evitar el anonimato en la evaluación sustituyéndolo por la confidencialidad.
• Se evitan los costes derivados de la evaluación en papel para invertir en formación
• La evaluación on-line permite evaluar los efectos del programa formativo tanto a nivel individual, como Institucional.
Evaluación docente: fases de Evaluación docente: fases de implantaciónimplantación
• Diseño y desarrollo de las aplicaciones y de información web
• Realización de encuestas y generación de los informes personales y generales
• Análisis psicométricos de las escalas y modificación de los cuestionarios.
• Prueba de la segunda versión y comienzo del archivo histórico.
• Posibilidad de que los centros y títulos propios incluyan cuestionarios específicos.
• Introducción de encuestas de evaluación de centros y personal de administración y servicios (a lo que se añade un programa de apoyo al PAS (complementaría la actual evaluación de servicios on-line (dirigida a la evaluación EFQM, ISO y cartas de servicio)
PROCEDIMIENTOPROCEDIMIENTO
www.udc.es/avaliemos www.udc.es/avaliemos
Pantalla dePantalla deentrada a laentrada a laevaluaciónevaluación
Profesorado: encuestas generalesProfesorado: encuestas generales
Profesorado: encuestas por asignaturasProfesorado: encuestas por asignaturasdetalle de la página para quien impartiera dos asignaturasdetalle de la página para quien impartiera dos asignaturas
Asignatura conAsignatura contres profesores/astres profesores/as
Alumnado: encuestas por asignaturasAlumnado: encuestas por asignaturas
Asignatura conAsignatura conun/a profesor/aun/a profesor/a
Asignatura conAsignatura condos profesores/asdos profesores/as
RespuestaRespuestaúnicaúnica
RespuestaRespuestamúltiplemúltiple
Respuesta abiertaRespuesta abierta
Ejemplos de tipos de preguntasEjemplos de tipos de preguntas
PARTICIPACIÓNPARTICIPACIÓN
21
17
14
9
33
31
33
13
9 8
23
31
10
4
1 12 2 1
00
50
23
29
25
7 7
25
31
26
21
1311
13
4
13
5
15
0
10
20
30
40
50
60
24 25 26 27 28 29 30 31 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
MAYO JUNIO
Nú
me
ro d
e p
art
icip
an
tes
Participación diaria
Participación mediaRecordatorios
ParticipaParticiparon 557 docentes (44,4%)ron 557 docentes (44,4%) cubriendo 3510 encuestascubriendo 3510 encuestasParticipación del profesoradoParticipación del profesorado
131
45
7264
52 5665
80
6674
6755
105114
95
72
61
172
46
57
28
38
2726
25
3850
53
0
63
198
54
90
286
12
20
56 5670
0
50
100
150
200
250
300
24 25 26 27 28 29 30 31 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
MAYO JUNiO
Nú
me
ro d
e p
art
icip
an
tes
Participación diaria
Participación media
Recordatorios
Vídeo
ParticipaParticiparon 2670 estudiantes (11,6%)ron 2670 estudiantes (11,6%) cubriendo 50135 encuestascubriendo 50135 encuestasParticipación del alumnadoParticipación del alumnado
142861513985994770329248Total
122085020500EU Politécnica
26211217EU de Turismo
2802704960EU de Relaciones Laborales (F)
27361800EU de Relaciones Laborales (C)
9361942361225EU de Fisioterapia
3819601925741430EU de Estudios Empresariales
3804001250EU de Enfermería e Podología
29173417379442EU de Diseño Industrial
261858281741186EU de Arquitectura Técnica
44614428174845ETS de Náutica y Máquinas
6764766025495254ETS de Camin., Canales y Puertos
513011754119671440ETS de Arquitectura
141087033580Escuela Politécnica Superior
3604403810Fac. de Sociología
1491021148996146149Fac. de Informática
6604403010Fac. de Humanidades
936177312841270Fac. de Filología
1404701130Fac. de Derecho
91361155637742631Fac. de CC Económicas y Empres.
21204030343732Fac. de CC de la Salud
255581314234911923Fac. de CC de la Educación
121268Fac. de CC de la Comunicación
98401274654521704Fac. de Ciencias
2003-042000-01
Asignaturas evaluadasDocentes evaluados/asEncuestas válidas
2000-01 2003-04 2000-01 2003-04
Comparación lápiz y papel / en líneaComparación lápiz y papel / en líneaNúmero de estudiantes 2000-01: 25.733 / 2003-04: 24.973 Número de estudiantes 2000-01: 25.733 / 2003-04: 24.973
CATEGORÍA %
Eméritos 33,3
Catedráticos de Universidad 40,4
Titulares de Universidad 59,4
Catedráticos de Escuela Universitaria
59,4
Titulares de Escuela Universitaria
42,2
Profesores de Marina Civil 36,4
Asociados a Tiempo Completo
43,4
Asociados a Tiempo Parcial 14,7
Ayudantes Doctores 45,5
Ayudantes no Doctores 80,0
Otras Categorías 35,3 Total 44,4
SEXO %
Hombre
40,1
Mujer 54,3 Total 44,4
DOCTOR/A %
No 31,8
Sí 54,1 Total 44,4
EDAD (años)
%
25 0,0
De 26-35 55,4
De 36-45 54,1
De 46-55 39,9
De 56-65 25,6
≥ 66 17,9 Total 44,4
Variables significativamente relacionadasVariables significativamente relacionadascon la tasa de participación (profesorado)con la tasa de participación (profesorado)
RESULTADOSRESULTADOS
Evaluación de la docencia por el Evaluación de la docencia por el alumnadoalumnado::
propiedades de la escalapropiedades de la escalaFIABILIDADFIABILIDAD
Alfa de Alfa de CronbachCronbach
N de N de elementoselementos
0,960,96 1919
VALIDEZ PREDICTIVA (ítem 21)VALIDEZ PREDICTIVA (ítem 21)
ModeloModelo RR RR22 RR22
corregidacorregida
Error Error típicotípico
dedeestimacióestimació
nn
11 0,9080,908 0,8250,825 0,8250,825 0,5060,506VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL
Medida de adecuación muestral de Kaiser-Medida de adecuación muestral de Kaiser-Meyer OlkinMeyer Olkin 0,9700,970
Prueba de esfericidad de Prueba de esfericidad de BartlettBartlett
Ji cuadrado Ji cuadrado aproximadaaproximada
148570,7148570,76262
glgl 171171
Signif.Signif. 0,0000,000
Método de extracción: Mínimos cuadrados generalizadosMétodo de extracción: Mínimos cuadrados generalizados
Método de rotación: ecuamaxMétodo de rotación: ecuamax
VARIANZA EXPLICADA: VARIANZA EXPLICADA:
76,37%76,37%
CASOS VÁLIDOS: 6921CASOS VÁLIDOS: 6921
Evaluación de la docencia por el Evaluación de la docencia por el profesoradoprofesorado::
propiedades de la escalapropiedades de la escala
FIABILIDADFIABILIDAD
Alfa de Alfa de CronbachCronbach
N de N de elementoselementos
0,840,84 1616
VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL
Medida de adecuación muestral de Kaiser-Meyer Medida de adecuación muestral de Kaiser-Meyer OlkinOlkin 0,8990,899
Prueba de esfericidad de BartlettPrueba de esfericidad de Bartlett Ji cuadrado Ji cuadrado aproximadaaproximada
4485,674485,6744
glgl 120120
Signif.Signif. 0,0000,000
Método de extracción: Mínimos cuadrados generalizadosMétodo de extracción: Mínimos cuadrados generalizados
Método de rotación: ecuamaxMétodo de rotación: ecuamax
VARIANZA EXPLICADA: VARIANZA EXPLICADA:
61,7%61,7%
CASOS VÁLIDOS: 692CASOS VÁLIDOS: 692
Evaluación de las competencias Evaluación de las competencias del del alumnadoalumnado::
propiedades de la escalapropiedades de la escala
FIABILIDADFIABILIDAD
Alfa de Alfa de CronbachCronbach
N de N de elementoselementos
Contestada por el Contestada por el alumnadoalumnado 0,800,80 1616
Contestada por el Contestada por el profesoradoprofesorado 0,900,90 1616VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL
Contestada Contestada porpor
el alumnadoel alumnado
Contestada Contestada porpor
el el profesoradoprofesorado
Medida de adecuación muestral de Kaiser-Medida de adecuación muestral de Kaiser-Meyer OlkinMeyer Olkin 0,8570,857 0,9350,935
Prueba de esfericidad Prueba de esfericidad de Bartlettde Bartlett
Ji cuadrado Ji cuadrado aproximadaaproximada 6029.8016029.801 3850,4613850,461
glgl 120120 120120
Signif.Signif. 0,0000,000 0,0000,000
Método de extracción: Mínimos cuadrados generalizadosMétodo de extracción: Mínimos cuadrados generalizados
Método de rotación: ecuamaxMétodo de rotación: ecuamax
VARIANZA VARIANZA EXPLICADA: EXPLICADA: 43,8043,80 59,6059,60
CASOS VÁLIDOSCASOS VÁLIDOSAlumnado: 1978 / Profesorado: 523Alumnado: 1978 / Profesorado: 523
Evaluación de las competencias del Evaluación de las competencias del profesoradoprofesorado::
propiedades de la escalapropiedades de la escala
FIABILIDADFIABILIDAD
Alfa de Alfa de CronbachCronbach
N de N de elementoselementos
0,940,94 3434
VALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIALVALIDEZ DE CONSTRUCTO: ANÁLISIS FACTORIAL
Medida de adecuación muestral de Kaiser-Meyer Medida de adecuación muestral de Kaiser-Meyer OlkinOlkin 0,9280,928
Prueba de esfericidad de Prueba de esfericidad de BartlettBartlett
Ji cuadrado Ji cuadrado aproximadaaproximada
7062,07062,00202
glgl 561561
Signif.Signif. 0,0000,000
Método de extracción: Mínimos cuadrados generalizadosMétodo de extracción: Mínimos cuadrados generalizados
Método de rotación: ecuamaxMétodo de rotación: ecuamax
VARIANZA EXPLICADA: VARIANZA EXPLICADA:
62,27%62,27%
CASOS VÁLIDOS: 313CASOS VÁLIDOS: 313
RESULTADORESULTADOSS
EN LA WEBEN LA WEB
Ejemplo de resultados generales Ejemplo de resultados generales (públicos):(públicos):
todas las preguntas de todos los todas las preguntas de todos los cuestionarios porcuestionarios por
Centros y Titulaciones (alum.) o Centros y Titulaciones (alum.) o Departamentos (prof.)Departamentos (prof.)Habitualmente asisto a las clases de este/a profesor/a
3,22
3,42
4,05
3,60
3,30
3,24
4,29
4,06
4,19
3,19
3,46
3,53
4,75
3,27
4,22
3,57
3,47
3,43
3,61
2,76
3,30
1 2 3 4 5
Facultad de Sociología
Facultad de Informática
Facultad de Humanidades
Facultad de Filología
Facultad de Derecho
Facultad de Ciencias Económicas y Empresariales
Facultad de Ciencias de la Salud
Facultad de Ciencias de la Educación
Facultad de Ciencias de la Comunicación
Facultad de Ciencias
Escuela Universitaria Politécnica
Escuela Universitaria de Relaciones Laborales (F)
Escuela Universitaria de Fisioterapia
Escuela Universitaria de Estudios Empresariales
Escuela Universitaria de Enfermería y Podología
Escuela Universitaria de Diseño Industrial
Escuela Universitaria de Arquitectura Técnica
Escuela Técnica Superior de Náutica y Máquinas
Escuela Técnica Superior de Caminos, Canales y Puertos
Escuela Técnica Superior de Arquitectura
Escuela Politécnica Superior
COMPLETAMENTEDE ACUERDO
COMPLETAMENTEEN DESACUERDO
EvaluaciónEvaluaciónde la docenciade la docencia
(una encuesta(una encuestapor asignatura)por asignatura)
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Alumnado: resultados de las evaluaciones Alumnado: resultados de las evaluaciones REALIZADASREALIZADAS
AutoevaluaciónAutoevaluaciónde competenciasde competencias
para el aprendizajepara el aprendizaje(una única encuesta)(una única encuesta)
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Alumnado: resultados de las evaluaciones Alumnado: resultados de las evaluaciones REALIZADASREALIZADAS
Evaluación deEvaluación delas competenciaslas competencias
del alumnadodel alumnadohecha por elhecha por elprofesoradoprofesorado(una encuesta(una encuesta
por asignatura)por asignatura)
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Alumnado: resultados de las evaluaciones Alumnado: resultados de las evaluaciones RECIBIDASRECIBIDAS
EvaluaciónEvaluaciónde la docenciade la docenciahecha por elhecha por el
alumnadoalumnado(una encuesta(una encuesta
por asignatura)por asignatura)
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones RECIBIDASRECIBIDAS
AutoevaluaciónAutoevaluaciónde la docenciade la docencia
(una encuesta(una encuestapor asignatura)por asignatura)
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones REALIZADASREALIZADAS
AutoevaluaciónAutoevaluaciónde competenciasde competencias1: Metodología1: Metodología
didácticadidáctica
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones REALIZADASREALIZADAS
AutoevaluaciónAutoevaluaciónde competenciasde competencias
2: Tecnología2: Tecnologíaeducativa y educativa y EEESEEES
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones REALIZADASREALIZADAS
AutoevaluaciónAutoevaluaciónde competenciasde competencias3: Competencias3: Competencias
lingüísticaslingüísticas
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones REALIZADASREALIZADAS
Evaluación de lasEvaluación de lascompetenciascompetenciasdel alumnadodel alumnado
(una encuesta(una encuestapor asignatura)por asignatura)
Ejemplo de resultados personales (privados)Ejemplo de resultados personales (privados)Profesorado: resultados de las evaluaciones Profesorado: resultados de las evaluaciones REALIZADASREALIZADAS
PROFESORADO:PROFESORADO:PERFIL DE PERFIL DE
COMPETENCIASCOMPETENCIAS
Con enlaceCon enlaceautomáticoautomáticoa los cursosa los cursos
de formaciónde formaciónsi si PP P25P25
Plan de Apoyo a la EnseñanPlan de Apoyo a la Enseñanza (PAE)za (PAE)
Plan de Apoyo al AprendizajPlan de Apoyo al Aprendizaje (PAA)e (PAA)
FIFINN
MUCHAS GRACIASMUCHAS GRACIASPOR SU ATENCIÓNPOR SU ATENCIÓN