Las pruebas de diagnóstico y las nuevas políticas

Las pruebas de diagnóstico y las nuevas políticas Las pruebas de diagnóstico y las nuevas políticas educativaseducativas

Análisis de resultados en los centros de SecundariaAnálisis de resultados en los centros de Secundaria

Sevilla, 7 de junio de 2010

F. Javier Merchán Iglesias

Las pruebas de diagnóstico y las nuevas políticas educativas

Análisis de resultados en los centros de Secundaria

Las pruebas de diagnóstico en su contexto

Siempre ha habido evaluaciones y pruebas

Generalización y nuevo significado: las pruebas de diagnóstico como instrumento de la política educativa

El “Estado evaluador”: la evaluación para el mantenimiento del sistema, la evaluación como estrategia de cambio



TESIS 1ªLas dos caras de las pruebas de diagnóstico: evaluación y

controlEvaluar para conocer y mejorar

(AGAEVE) El sistema educativo ¿siempre en crisis? La evaluación como estrategia de cambio: diagnóstico, conocimiento,

actuaciones para mejorar. La evaluación (o pruebas) como medición de resultados: ¿realmente aporta

conocimiento para la mejora de la educación?



TESIS 2ª

Las dos caras de las pruebas de diagnóstico: evaluación y control parte del dispositivo de las nuevas políticas

educativas

“Como la evaluación es tan importante, se dice, les vamos a evaluar a ustedes”

(M. A. Santos Guerra) Redefinen el sentido de la educación Aplican nuevos mecanismos de control sobre el sistema. Establecen una nueva relación entre el estado y los centros escolares.

La política educativa: de la reforma pedagógica a la gestión empresarial de le escuela

Su puesta en marcha

En el contexto de la “modernización conservadora”: Tatcher, Balir, Bush, Clinton, Bush y Obama.

El papel de los organismos internacionales: OCDE, PISA, Tratado y Estrategia de Lisboa.

En España: Planes de Autoevaluación y gestión de calidad, LOCE, LOE, LEA, Programa de calidad y Estrategia para la mejora de la competitividad en Andalucía.


Bases y principios teóricos

La educación como inversión en capital humano.

La perspectiva de las escuelas eficaces: el “efecto escuela”.

La gestión empresarial como modelo de eficacia.

La gestión eficaz del servicio público


Un dispositivo para el cambio y el control de la educación Elementos del dispositivo

La mejora de la educación se define como logro de resultados cuantificables.

El logro se traduce en empleabilidad: lo importante no son los conocimientos sino las competencias.

Los centros escolares deben adaptarse a las formas de gestión empresarial

Rendición de cuentas e incentivos.


Un dispositivo para el cambio y el control de la educaciónElementos del dispositivo (II)

La dinámica de la evaluación y la autoevaluación como estrategias de mejora.

Discurso de la autonomía de los centros y mayor control del estado: el dispositivo como mando a distancia (definición y fijación de objetivos, evaluación de resultados, atribución de responsabilidad a los centros y profesores)

El papel de los órganos intermedios: el director-gerente y las agencias.


El papel de las pruebas de diagnóstico en el dispositivo

Un referente “científico” y objetivo del éxito y del fracaso: aportan legitimidad

Inciden sobre el contenido y el método de la enseñanza.

Activan los procesos de autoevaluación, emplazando a los centros a formular propuestas de mejora.

Las pruebas de diagnóstico en Andalucía: legislación, contenido, aplicación y uso

El marco legislativo

LOCE, 2002 (art. 97); LOE, 2006 (art. 144); Orden de 28 de Junio de 2006; LEA, diciembre 2006; Orden de 27 de Octubre de 2009.

Contenido Sobre competencias básicas:

Competencia en comunicación lingüística. Competencia de razonamiento matemático. Competencia en el conocimiento y la interacción con el

mundo físico y natural (2008).

Las pruebas de diagnóstico en Andalucía: legislación, contenido, aplicación y uso

Aplicación

Evaluación interna (corregida por los docentes) y externa (con pruebas confeccionadas por la Administración

Uso (explícito e implícito)

Análisis, reflexión y propuestas de mejora del rendimiento del alumnado.

Valoración del efecto de las medidas adoptadas.

Control de los contenidos y métodos de enseñanza

La mejora es un problema de los centros y los docentes

Apoyo de la política educativa

Las pruebas de diagnóstico en Andalucía: análisis de resultados

DATOS QUE SE UTILIZAN:

-Valor promedio de cada centro en las tres pruebas (2006, 2007 y 2008).

-Índice Socieconómico y Cultural (ISC).

-Valor promedio de cada centro en Comunicación lingüística, 2008.

-Valor promedio de cada centro en Com. Lingüística, detrayendo el ISC.

-Valor esperable en la competencia Comunicación lingüística en 2008.

-Diferencia entre valor esperable y valor obtenido.


CATEGORÍAS DEL ANÁLISIS:

Centros que obtienen, como media, una puntuación inferior o superior a la media (500).

Valores positivos o negativos en la relación entre el valor esperable y el valor obtenido en competencia lingüística.

Progresión en los resultados de las tres pruebas analizadas.


VARIABLES ANALIZADAS:

Contexto socieconómico y cultural.

Número de Programas educativos

Plan de Lectura y Biblioteca.

Tipo de enseñanza que imparten los centros (con o sin Bachillerato).

Planes de Autoevaluación y Mejora (PAM)


COMENTARIO ACLARATORIO SOBRE INFORMES OFICIALES

¿QUÉ VARIABLES SE ANALIZAN? ¿FACTORES DE EFICACIA?

Actitudes y comportamientos del alumnado: género, idoneidad, autoconcepto como estudiante, expectativas académicas, afición por el colegio y tiempo dedicado al estudio

Hábitos del alumnado en lectura y uso de tecnologías

Contexto familiar: perfil familiar –nivel educativo de los padres, estatus ocupacional-, importancia de

la lectura en las familias

Contexto escolar nivel económico de las familias, servicio de biblioteca y clima de convivencia en el

centro

Evolución del porcentaje de centros con puntuación superior a 500

56% 55%51%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

2006 2007 2008

Porcentaje de centros públicos según ISC

35%28%

21%16%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1

ISC Bajo

ISC Medio.Bajo

ISC Medio-Alto

ISC Alto

Centros con puntuación superior a 500, según ISC

10%14%

20%

56%

12% 11%

19%

58%

8% 8%

22%

62%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ISC Bajo ISC Medio Bajo ISC Medio-Alto ISC Alto

2006

2007

2008

Centros públicos con puntuación superior a 500, según ISC

20%26%

21%

32%

25%21% 21%

33%

16% 15%

29%

40%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ISC Bajo ISC Medio Bajo ISC Medio-Alto ISC Alto

2006

2007

2008

Centros públicos con puntuación superior a 500 en relación a su grupo ISC

23%

37%42%

85%

26% 27%

35%

78%

13% 14%

41%

78%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

ISC Bajo ISC Medio.Bajo ISC Medio-Alto ISC Alto

2006

2007

2008

Resultados en Comunicación lingüística sin detraer ISC

47%

53%

Porcentajes de centros con PTsuperior a 500

Porcentajes de centros con PTinferior a 500

Resultados en Comunicación lingüistica detrayendo ISC

39%

61%

Igual o mayor 500

Menor de 500

16%

45%

20%

33%

43%35%

89%

40%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo Medio-Bajo Medio-Alto Alto

Porcentaje de centros con puntuación superior a 500 en C. lingüistica, con y sin ISC


Porcentajes de centros con PTsuperior a 500, detraido ISC

16%

44%

16%

29% 30%

19%

64%

18%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo Medio-Bajo Medio-Alto Alto

Porcentaje de centros públicos Comunicación superior a 500 con y sin ISC


Porcentajes de centros con PTsuperior a 500, detraido ISC

Diferencia en la PT Comunicación, con y sin ISC

-160

-110

-60

-10

40

90

140

-2 -1,5 -1 -0,5 0 0,5 1 1,5 2

Diferencia resultados con y sin ISC. Comunicación 2008. Centros públicos

-1,75

-1,25

-0,75

-0,25

0,25

0,75

1,25

1,75

-140 -90 -40 10 60 110

ISC

Diferencia entre valor esperable y resultados 2008 en relación ISC. Centros públicos

-1,5

-1

-0,5

0

0,5

1

1,5

-120 -105 -90 -75 -60 -45 -30 -15 0 15 30 45 60 75 90 105 120

Centros públicos con diferencia positiva entre Valor esperable y valor obtenido

79%

63%

32%

7%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo

Medio-Bajo

Medio-Alto

Alto

Centros con puntuación superior a 500 en las tres pruebas, según grupo ISC

76,59%

15,95%

4,25% 3,19%

Alto

Medio-Alto

Medio-Bajo

Bajo

Centros públicos con puntuación superior a 500 en las tres pruebas, según grupo ISC

62,50%20,83%

12,50%4,16%

Alto

Medio-Alto

Medio-Bajo

Bajo

Resultados e ISC 2006

300

350

400

450

500

550

600

650

-2 -1,5 -1 -0,5 0 0,5 1 1,5 2

Puntuación

ISC

Resultados e ISC, 2007

300

350

400

450

500

550

600

650

-2 -1,5 -1 -0,5 0 0,5 1 1,5 2

ISCn

Punt

uaci

ón

Resultados e ISC 2008

300

350

400

450

500

550

600

650

-2 -1,5 -1 -0,5 0 0,5 1 1,5 2

Puntuación

ISC

16,50%

83,50%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Centros públicos

Progresan

No progresan

Centros públicos que progresan según ISC. Porcentaje sobre el total

35%

24%

14%

27%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo

Medio-Bajo

Medio-alto

Alto

Centros públicos que progresan según ISC. Porcentaje sobre el total de su grupo

16% 14% 11%

29%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo

Medio-Bajo

Medio-alto

Alto

Resultados 2008 y Programas

0

1

2

3

4

5

6

7

8

9

10

300 350 400 450 500 550 600 650

Puntuación

Núm

ero

de P

rogr

amas

43%37% 37% 34%

28%32%

0%

20%

40%

60%

80%

Más de 5002006

Más de5002007

Más de 5002008

Centros con y sin PLB. Porcentaje con puntuación total superior a la media

Centros con PLB

Centros sin PLB

26,50% 28,57%

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

Centros con y sin PLB. Porcentaje que supera la media en competencia lingüistica (2008)

Centros con PLB

Centros sin PLB

Centros con PLB

Centros sin PLB

22%

11,50%

0%

10%

20%

30%

40%

Porcentaje de centros con y sin PLB que progresa en las tres pruebas realizadas (2006, 7 y 8)

Centros con PLB

Centros sin PLB

ISC según tipo de enseñanza

49%

25%

13% 11%

26% 29% 26%19%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ISC Bajo ISC Medio-Bajo ISC Medio-Alto ISC Alto

Centro sin Bachillerato

Centros con Bachillerato

Porcentaje de centros con puntuación superior a la media

37% 39%

24%

42% 40%34%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

1 2 3

Pruebas 2006, 2007 y 2008



Porcentaje de centros que progresan en los tres años

17%15%

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

1



Porcentaje de centros con diferencia positiva entre valor esperable y valor obtenido

55% 52%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%



Centros con PAM porcentaje que alcanza más de 500 en las tres pruebas

0% 0% 0%

100%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo

Medio-bajo

Medio-alto

Alto

Centros sin PAM. Porcentaje que alcanza más de 500 en las tres pruebas

15%

5%0%

80%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Bajo

Medio-bajo

Medio-alto

Alto

Centros con PAM que progresan en las tres pruebas, según ISC

28,57%

14,28%

0%

57%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ISC B ISC MB ISC MA ISC A

Centros sin PAM que progresan en las tres pruebas, según ISC

42%

21%

10,52%

26,30%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

ISC B ISC MB ISC MA ISC A


Conclusiones sobre los resultadosConclusiones sobre los resultados

Los resultados coinciden con las evaluaciones.

La variable fundamental es el ISC, los demás factores no influyen significativamente.

En algunas competencias el género es un factor relevante.

No se produce mejoría significativa. No hay datos empíricos que avalen la bondad del dispositivo-


ALGUNAS CONCLUSIONES SOBRE EL DISPOSITIVO: RAZONES ALGUNAS CONCLUSIONES SOBRE EL DISPOSITIVO: RAZONES DE SU APLIACIÓNDE SU APLIACIÓN

No hay evidencias de que el dispositivo de cambio produzca mejores resultados, ni más equidad.

De los resultados no se desprenden políticas ni propuestas de mejora Su vigencia y aplicación obedece a razones de rentabilidad política:

Legitiman las decisiones previas y las revisten de cientificidad, calidad, etc. Traslada la responsabilidad a los centros y profesores. Control sobre el contenido de la enseñanza en el aula-


ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (I)ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (I)

-Aumenta las diferencias entre centros y alumnos con buenos y malos resultados.

-Los profesores tienden abandonar a los alumnos con más dificultades.

-Desmoraliza a los docentes que trabajan con alumnos con más dificultades.

-Desprofesionaliza a los docentes: agentes externos de un mecanismo en el que poco tienen que decir.

-Devalúa el significado de la educación.


ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (II)ALGUNAS CONCLUSIONES: LOS DAÑOS COLATERALES (II)

-Minusvalora los conocimientos no evaluados.

-Orienta la investigación educativa.

-Promueve comportamientos tramposos: Falsear los resultados Sesgar los estudios Bajar los niveles

Education

Las pruebas de diagnóstico y las nuevas políticas