PISAInnovación permanente en la

evaluación de competencias de estudiantes, desde el año 2000

Contenidos

• Antecedentes

• Innovaciones metodológicas relativas a instrumentos y constructos• Dominios Innovadores y Módulos complementarios

• Innovaciones metodológicas en psicometría y análisis estadístico

• Éxitos y dificultades de las innovaciones

• Resultados de Chile en dominios innovadores y módulos complementarios

• Aprendizajes para el país

• Agenda futura

Antecedentes

PISA: Programme for International StudentAssessment

• Estudio internacional iniciado en 2000, dirigido por la OCDE.

• Busca conocer cómo los sistemas educativos preparan a sus estudiantes para que apliquen su conocimiento y habilidades en tareas que son relevantes para su vida actual y futura.

• Cada tres años evalúa competencias de los estudiantes de 15 años en las áreas de Lectura, Matemática y Ciencias Naturales, con un foco particular.

• Incorporación de “dominios innovadores” opcionales y obligatorios.

• En base a los resultados se desarrollan políticas públicas que buscan la mejora del sistema educativo, lo que debe impactar en las oportunidades para los jóvenes.

• Permite a los países compararse con un referente internacional y también regional.

2000 2003 2006 2009 2012 2015 2018Lectura Chile

no participóCiencias Lectura Matemática Ciencias Lectura

5 países latinoamericanos

6 países latinoamericanos

8 países latinoamericanos

9 países latinoamericanos

8 países latinoamericanos

9 países latinoamericanos

Chile esmiembro de

Participación de Chile

1º vez en computador

Chile participa desde su inicio

Países participantes en 2015

Bajo Promedio SobreNIVEL DE COMPETENCIAS CIENTÍFICAS

Innovaciones temáticas y metodológicas

Dominios Innovadores y Módulos complementarios

En relación a los instrumentos

• Cuerpo “core” original obligatorio desde el 2000:• Prueba a estudiantes

• Cuestionario a estudiantes

• Cuestionario a establecimientos

• 2009: Bloque fácil, bloque difícil

• 2012: Cuadernillo de 1 hora

• Cuestionarios adicionales (opcionales)• 2000: Cuestionario de familiaridad con tecnología de la comunicación y la

información

• 2000: Cuestionario de carrera educativa

• 2006: Cuestionario de padres

• 2009: Lectura para el colegio

• 2012: 3 formas de cuestionarios de estudiantes

• viñetas

• 2012: Cuestionario 1 hora

• 2015: Cuestionario de profesores

En relación a las pruebas

• En cada ciclo de PISA hay un dominio principal:• Dominio principal: 7 bloques; otros 2-4 bloques

• Desde 2015: Dominio principal 12 bloques; otros 6.

• Revisión y ampliación del constructo para los dominios• Competencia lectora: 2009 se incorpora la dimensión “Medio

(Impreso/Digital)” y la subdimensión “Ambiente”.

• Competencia Matemática: 2012 se incorporan tres procesos matemáticos que dan lugar a subescalas reportables.

• Competencia científica. 2015 se introducen modificaciones en los contextos, la dimensión de “conocimiento”, la medición de las actitudes solo en cuestionario.

En aspectos tecnológicos e informáticos

• Cambio en el medio de los instrumentos: paso de papel a computador

• Sobre bases de datos • Software de digitación en computadores individuales.

• Software en plataforma con perfiles de acceso y posibilidad de importar archivos.

• Software en plataforma y base de datos maestra donde se importa información proveniente de distintas fuentes y con distintos formatos.

• Codificación de preguntas abiertas• Desde papel, codificación cuádruple hasta codificación en línea, con

chequeo intra-internacional.

Dominios innovadores

El dominio o área a incluir debe tener:

• La capacidad de proporcionar una visión en una nueva área.

• Relevancia en relación a la política educativa, incluida la capacidad de proporcionar información sobre el grado de preparación de los estudiantes para la plena participación en la sociedad.

• Viabilidad de la evaluación, incluyendo las limitaciones prácticas sobre el tiempo de prueba de los estudiantes y los recursos financieros.

Con los dominios innovadores se busca:

• Desarrollar una visión de una nueva competencia significativa, directamente relevante para los retos que los jóvenes enfrentarán en un mundo cambiante

• Contribuir a crear nuevos tipos de evaluación que evalúen eficazmente el conocimiento, las habilidades cognitivas, las habilidades sociales y emocionales, las actitudes y los valores, a nivel del sistema.

• Plantear nuevos temas de política que mejoren el valor analítico del estudio

Inclusión de dominios innovadores en prueba

• 2003• Resolución de problemas

• 2006• Inclusión en la prueba de escalas actitudinales de interés y apoyo

en la ciencia

• 2012• Resolución de problemas en computador

• Alfabetización financiera

• 2015• Resolución de problemas en equipo

• Alfabetización financiera y cuestionario de AF.

• Bienestar subjetivo (en Cuestionario de Estudiantes)

Innovaciones metodológicas

Psicometría y análisis estadísticos

Población Evaluada

• El año 2000/2001 participan 28 países OCDE y 15 otros países no OECD.

• En 2015 participan los 35 países OCDE y 37 países o economías (No OECD).

• En 2018 participan 80 países en total.

• Actualmente se está desarrollando PISA-D. Se espera que para 2021 se incorporen a PISA.

• Desafío: Población estudiantil mucho más diversa no sólo en términos étnico y socio-culturales sino que también de rendimiento.

Soporte/medio de aplicación de la prueba

• En prueba para estudiantes cambio de modo: desde papel a computador.

• El cambio fue probado gradualmente, de forma opcional:• 2006: Módulo de ciencias

• 2009: Lectura digital

• 2012: Matemática, Lectura digital y resolución de problemas en computador

• 2015: prueba completa y cuestionarios de estudiante en formato digital

Modelos Psicométricos

• Cada tres años se construye nuevo marco de referencia del dominio principal (desafío en comparabilidad)

• Se mantienen preguntas para análisis de tendencias

• El año 2015 se aplican cambios psicométricos:

Modelo de Medición

Método de Calibración

Muestra de Calibración

Análisis de cuestionarios

• Escalas de cuestionarios: simples, agregadas y con análisis IRT

• En ciclos 2012 y 2015 se aplican viñetas para controlar posibles efectos de apreciaciones culturales

• En aplicación 2015 se establece comparabilidad (hacia atrás) en escalas ECSC. Se estudia la comparabilidad de otras.

Precisiones sobre innovaciones en psicometría y análisis

Propósito de Innovaciones

• Obtener más y mejor información (Modo de aplicación)

• Robustecer técnicamente la medición (Psicometría)

• En aplicación experimental se realizó estudio puente para determinar posibles efectos

Los países que aplicaban computador dividieron la muestra experimental en tres grupos equivalentes:

-G1: Prueba en papel con preguntas de tendencia

-G2: Prueba en computador con preguntas de tendencia

-G3: Prueba en computador nuevas preguntas

En aspectos psicométricos y estadísticos

• Cambio en el modelo de escalamientoDe calibrar preguntas bajo Modelo de Rasch y de Crédito Parcial (PCM) a Modelo de 2 parámetros y Crédito Parcial Generalizado.

• Cambio en el tratamiento de funcionamiento diferencial (DIFF) de los Ítemes

Se agrega chequeo de posible interacción de país por lenguaje y año cálculo de DIFF

• Cambios en el tratamiento de las preguntas omitidas

Ítems omitidos se consideran erróneos si preceden contestados, pero omitidos al final se consideran no-presentadas. Antes ACER los consideraba siempre como malos.

En aspectos psicométricos y estadísticos

• Las preguntas se calibran usando TODOS los ciclos desde 2006, y TODAS las muestras de estudiantes (contingente en adjudicación).

• Se usaron para determinar la escala todos los ítems que justificaban invarianza métrica y escalar en el Piloto para efecto de modo de aplicación, los otros se “liberaron”.

Preguntas usadas en calibración

Efecto de Modo

Ítemes comunes 2012-2015 (prueba definitiva)

0,0

20,0

40,0

60,0

80,0

100,0

120,0

0,0 20,0 40,0 60,0 80,0 100,0 120,0

Po

rcen

taje

co

rrec

to 2

01

5

Porcentaje Correcto 2012

Efecto ModoPromedios por país Computador vs Papel/Lápiz

Cambios Psicométricos

• En el modelo 2PL/GPCM se retuvieron bajo modelo de Rash aquellas que tuvieron buen ajuste.

% Items Rasch

Matemática 43

Lectura 19

Ciencias 14

Alfabetización Financiera 38

Éxitos y dificultades de las innovaciones

Éxitos en las innovaciones

• Aumenta la cantidad de información que se puede obtener• En competencias de estudiantes

• En logros no cognitivos y factores que explican el logro

• Aumenta la robustez de las escalas reportadas

• Medición de tendencia más robusta en todos los dominios

Debilidades en las innovaciones

• Debilidad en la comparación de las tendencias tras el cambio

Afectó más a algunos países que otros: notoriamente a Uruguay. Es presumible que sus estudiantes fueran “menos penalizados” por omitir.; además la omisión en ellos bajó.

• Aumentó la incerteza de la variabilidad debida a la equiparación

Efectos de Cambios Psicométricos en Resultados

Errores de equiparación

Resultados de Chile

Principales dominios innovadores y módulos complementarios

-Lectura digital 2009

-Resolución de problemas 2012

-Alfabetización financiera 2015

-Bienestar 2015

Lectura Digital: Ejemplo de pregunta

Situación: Ocupacional; Formato de texto: continuo; Tipo de texto: Descripción; Ambiente: Basado en el mensaje

Lectura Digital: Ejemplo de pregunta

Aspecto de lectura: Acceder y extraer; Dificultad: 362; Nivel desempeño: 2; Puntaje completo: Alternativa C

Lectura Digital: Ejemplo de pregunta

Situación: Ocupacional; Formato de texto: múltiple; Tipo de texto: Argumentativo; Ambiente: Basado en el autor

Lectura Digital: Ejemplo de pregunta

Aspecto de lectura: Integrar e interpretar; Dificultad: 462; Nivel desempeño: 2; Puntaje completo: Alternativa D

Lectura Digital: Promedio en la escala

Lectura Digital: Niveles de desempeño

Lectura Digital: Niveles de desempeño

Lectura Digital y Lectura impresa

Lectura Digital: brechas de género

Resolución de problemas 2012: Ejemplo de preguntas

• Contexto: No tecnológico/foco personal Naturaleza: estática

Resolución de problemas 2012: Ejemplo de preguntas

Proceso: Planificar y ejecutarEstablecer el menor tiempo correcto entre dos puntos cercanos: 20.

Proceso: Planificar y ejecutarEstablecer la vía más rápida entre dos puntos distantes, siguiendo indicación de tiempo.

Proceso: Monitorear y reflexionarSeleccionar punto de encuentro que satisface a tres personas, evaluar en base a tres puntos de vista.

Resolución de problemas 2012: Promedios

0

100

200

300

400

500

600

Resolución de problemas 2012: Niveles de desempeño

100 80 60 40 20 0 20 40 60 80 100

KoreaJapan

Macao-ChinaSingapore

Hong Kong-ChinaShanghai-ChinaChinese Taipei

FinlandCanadaEstonia

AustraliaEngland (United Kingdom)

ItalyFrance

United StatesCzech Republic

AustriaNetherlands

GermanyIreland

DenmarkPortugalBelgiumNorway

OECD averageRussian Federation

SwedenPoland

Slovak RepublicSpain

SloveniaSerbia

CroatiaHungary

TurkeyChileIsraelBrazil

MalaysiaUnited Arab Emirates

BulgariaMontenegro

UruguayColombia

%

Estudiantes en nivel1 o menos

Estudiantes enNivel 2 y más

Resolución de problemas 2012: Brechas de Género

Alfabetización financiera 2015

• “La competencia financiera hace referencia al conocimiento y la comprensión de los conceptos y los riesgos financieros, y las destrezas, la motivación y la confianza para aplicar dicho conocimiento y comprensión con el fin de tomar decisiones eficaces en una amplia gama de contextos financieros, mejorar el bienestar financiero de los individuos y la sociedad, y permitir la participación en la vida económica.” (OCDE, 2016)

Alfabetización Financiera: Ejemplo de pregunta

NUEVA OFERTA

La Sra. Jones tiene un préstamo de 8 000 zeds con FirstZed Finance. La tasa de interés anual del préstamo es del 15%.

Sus pagos cada mes son 150 zeds.

Después de un año la señora Jones todavía debe 7 400 zeds.

Otra empresa financiera llamada Zedbest le ofrece a la señora Jones un préstamo de 10 000 zeds con una tasa de interés anual del 13%. Sus pagos cada mes también serían 150 zeds.

50

• Pregunta:

¿Cuál es una posible consecuencia financiera negativa para la señora Jones si acepta el préstamo de Zedbest?

_______________________________________________________________________________________________________________________________________________________________________________________

Alfabetización Financiera: Ejemplo de pregunta

• Tipo de pregunta: Pregunta abierta

• Descripción: Reconocer una consecuencia negativa de tener un gran préstamo

• Contenido: Planificación y manejo de finanzas

• Procesos: Evaluar temas financieros

• Contexto: Individual

• Dificultad: 582 (nivel 4)

Respuesta Correcta: • Referir a que la Señora Jones tendrá más deuda.• Referir a el pago de más intereses en total (13% de 10.000 es más que 15% de

8000).• Referir al mayor tiempo que tomará pagar el préstamo.• Referir a la posibilidad de pagar una multa de cancelación con FirstZed.

Alfabetización financiera 2015: Promedios

566

487 485

393

432

Significativamente bajo promedio OCDE

Resultados que entrega esta evaluación

53

Los estudiantes pueden analizar productos financieros complejos y resolver problemas financieros no-rutinarios. Estos estudiantes muestran una comprensión amplia del sistema financiero, como la implicación de impuestos sobre la renta, y pueden explicar las ventajas financieras de diversos tipos de inversiones.

Estos estudiantes pueden, en el mejor de los casos, reconocer la diferencia entre necesidades y deseos, tomar decisiones sencillas sobre el gasto diario y reconocer el propósito de documentos financieros cotidianos, como una boleta o factura.

Bajo Nivel 2

Nivel 2

Nivel 3

Nivel 4

Nivel 5

Alfabetización financiera: Niveles de desempeño

Alfabetización Financiera: Niveles de Desempeño

38

51

22

26

24

22

22

16

25

107

19

3 212

Chile Países Latinoamericanos Promedio Países

Nivel 5

Nivel 4

Nivel 3

Nivel 2

Bajo nivel 2

Alfabetización financiera: Brechas Género

• Chile no presenta diferencias por género en Alfabetización Financiera

Alfabetización Financiera: Conductas de Gasto

56

“Si no tienes suficiente dinero para comprar algo que realmente quieres, ¿qué es lo más probable que harías?”

3 5

1619

71 63

11 13

Chile Promedio Países

No lo compro

Ahorro para comprarlo

Intento pedir prestado

Lo compro con dinero que debió serusado para otra cosa

-No existen diferencias por género y GSE.

Alfabetización Financiera: Conductas de ahorro

57

9 10

67 69

23 22

Chile Promedio Países

Ahorro dinero solo cuando quierocomprar algo

Ahorro

No ahorro

-El ahorro como hábito es mayor entre mujeres y GSE alto.-El ahorro ante un objetivo es mayor en hombres y GSE bajo.

Bienestar 2015

• Bienestar en PISA refiere al funcionamiento psicológico, cognitivo, social y físico de los estudiantes, así como a las capacidades que los estudiantes necesitan para vivir una vida feliz y satisfactoria.

• Preguntas incluidas en el cuestionario de estudiantes

• Se crean índices sobre:• Ansiedad académica

• Acoso escolar - bullying

• Apoyo parental

• Sentido de pertenencia

• Actividades sobre actividades recreativas, escolares y laborales de los estudiantes (dentro y fuera del colegio)

Bienestar 2015

• Satisfacción con la vida (¿Que tan satisfecho estas con todo lo que es tu vida actualmente?, escala del 1 al 10)

6,5

7,3 7,4

8,5

Ho

ng

Ko

ng

(Ch

ina)

Mac

ao (

Ch

ina)

Ch

ines

e Ta

ipei

Ko

rea

Jap

an

Ital

y

Gre

ece

Turk

ey

B-S

-J-G

(C

hin

a)

Un

ited

Kin

gdo

m

Cze

ch R

epu

blic

Po

rtu

gal

Latv

ia

Hu

nga

ry

Po

lan

d

Irel

and

Ne

the

rlan

ds

Slo

ven

ia

Bel

giu

m

Spai

n

Ge

rman

y

OEC

D a

vera

ge

Un

ited

Sta

tes

Luxe

mb

ou

rg

Fran

ce

Esto

nia

Ch

ile

Tun

isia

Slo

vak

Rep

ub

lic

Swit

zerl

and

Au

stri

a

Un

ited

Ara

b E

mir

ate

s

Qat

ar

Thai

lan

d

Per

u

Bu

lgar

ia

Uru

guay

Fin

lan

d

Bra

zil

Icel

and

Ru

ssia

Lith

uan

ia

Cro

atia

Mo

nte

neg

ro

Co

lom

bia

Co

sta

Ric

a

Mex

ico

Do

min

ican

Rep

ub

lic

Bienestar: Ansiedad académica

• Set de preguntas (i.e. “Incluso si estoy bien preparado para una prueba me siento muy angustiado”)

• Índice centrado en 0, con desviación estándar 1 para la OCDE

-0,5

0,1

0,6

Au

stra

lia

Au

stri

a

Bel

giu

m

Can

ada

Cze

ch R

epu

blic

Den

mar

k

Esto

nia

Fin

lan

d

Fran

ce

Ge

rman

y

Gre

ece

Hu

nga

ry

Icel

and

Irel

and

Isra

el

Ital

y

Jap

an

Ko

rea

Latv

ia

Lith

uan

ia

Luxe

mb

ou

rg

Mex

ico

Ne

the

rlan

ds

Ne

w Z

eal

and

No

rway

Po

lan

d

Po

rtu

gal

Slo

vak

Rep

ub

lic

Slo

ven

ia

Spai

n

Swed

en

Swit

zerl

and

Turk

ey

Un

ited

Kin

gdo

m

Un

ited

Sta

tes

Bra

zil

B-S

-J-G

(C

hin

a)

Bu

lgar

ia

Ch

ile

Ch

ines

e Ta

ipei

Co

lom

bia

Co

sta

Ric

a

Cro

atia

Do

min

ican

Rep

ub

lic

Ho

ng

Ko

ng

(Ch

ina)

Mac

ao (

Ch

ina)

Mo

nte

neg

ro

Per

u

Qat

ar

Ru

ssia

Sin

gap

ore

Thai

lan

d

Tun

isia

Un

ited

Ara

b E

mir

ate

s

Uru

guay

Aprendizajes para el país

Aprendizajes para el país

• Mejorar el sistema nacional de evaluación: ampliación de capacidades técnicas• Técnicas y metodologías de evaluación: análisis estadísticos y

operatoria de los procesos [IRT recibió un gran impulso a raíz de la participación en TIMSS 1999.]

• Incorporación de preguntas abiertas en las pruebas nacionales

• Rigurosidad en investigación e implementación de procesos

• Aprendizajes relativos a la presentación de resultados y difusión de los mismos.

Aprendizajes para el país• Desarrollo curricular

• Respuesta a las necesidades de un mundo globalizado, cambiante y demandante para las futuras generaciones: desarrollo de competencias

• Reformas curriculares 7° a II medio del 2015: influencia de TIMSS y PISA

• Conexión del país con el mundo• Participación de los equipos nacionales en las discusiones sobre lo que se

evalúa y cómo se hace en el proyecto: comentarios a Marcos de referencia e ítems.

• Participación en la comunidad científica mundial: comité estratégico de apoyo en cuestionarios PISA 2021

• Desarrollo de capacidades de investigación en el país• Experiencia Informe PISA 2006: Participación de investigadores externos y

miembros del SIMCE, 11 artículos en total, 6 externos y 5 del SIMCE.

• Experiencia FONIDE PISA 2009: Llamado especial, 9 artículos en total, 7 externos y 2 del SIMCE

• FONIDE EEII 2017

• Talleres de uso de bases de datos; manuales en línea

Agenda futura

Incorporación de dominios innovadores

• 2018• Prueba y cuestionario de alfabetización financiera

• Competencia global• La competencia global es la capacidad de analizar temas globales e

interculturales de manera crítica y desde múltiples perspectivas, para comprender cómo las diferencias afectan las percepciones, juicios e ideas acerca de sí mismo y de los demás, y para comprometerse en interacciones abiertas, apropiadas y eficaces con otras personas de diferentes orígenes, sobre la base del respeto a la dignidad humana.

• Cuestionario de bienestar subjetivo• Cubre temas relativos a salud, grados de satisfacción, autopercepción de

bienestar, relaciones interpersonales, actividad física.

• 2021• Prueba sobre pensamiento crítico y creativo

• Nuevos temas en cuestionarios, actualmente en discusión (Estudiantes 4G, Proyecto de vida).

Otras innovaciones

• Incorporación de pruebas adaptativas• PGB aprobó analizar la aplicación experimental 2018

según un diseño tipo adaptativo (en cuanto a bloques de preguntas). La aplicación por computador lo permite. Se tendrá alrededor de 250 formas en la aplicación definitiva.