View
215
Download
0
Category
Preview:
Citation preview
Contenidos
• Antecedentes
• Innovaciones metodológicas relativas a instrumentos y constructos• Dominios Innovadores y Módulos complementarios
• Innovaciones metodológicas en psicometría y análisis estadístico
• Éxitos y dificultades de las innovaciones
• Resultados de Chile en dominios innovadores y módulos complementarios
• Aprendizajes para el país
• Agenda futura
PISA: Programme for International StudentAssessment
• Estudio internacional iniciado en 2000, dirigido por la OCDE.
• Busca conocer cómo los sistemas educativos preparan a sus estudiantes para que apliquen su conocimiento y habilidades en tareas que son relevantes para su vida actual y futura.
• Cada tres años evalúa competencias de los estudiantes de 15 años en las áreas de Lectura, Matemática y Ciencias Naturales, con un foco particular.
• Incorporación de “dominios innovadores” opcionales y obligatorios.
• En base a los resultados se desarrollan políticas públicas que buscan la mejora del sistema educativo, lo que debe impactar en las oportunidades para los jóvenes.
• Permite a los países compararse con un referente internacional y también regional.
2000 2003 2006 2009 2012 2015 2018Lectura Chile
no participóCiencias Lectura Matemática Ciencias Lectura
5 países latinoamericanos
6 países latinoamericanos
8 países latinoamericanos
9 países latinoamericanos
8 países latinoamericanos
9 países latinoamericanos
Chile esmiembro de
Participación de Chile
1º vez en computador
Chile participa desde su inicio
En relación a los instrumentos
• Cuerpo “core” original obligatorio desde el 2000:• Prueba a estudiantes
• Cuestionario a estudiantes
• Cuestionario a establecimientos
• 2009: Bloque fácil, bloque difícil
• 2012: Cuadernillo de 1 hora
• Cuestionarios adicionales (opcionales)• 2000: Cuestionario de familiaridad con tecnología de la comunicación y la
información
• 2000: Cuestionario de carrera educativa
• 2006: Cuestionario de padres
• 2009: Lectura para el colegio
• 2012: 3 formas de cuestionarios de estudiantes
• viñetas
• 2012: Cuestionario 1 hora
• 2015: Cuestionario de profesores
En relación a las pruebas
• En cada ciclo de PISA hay un dominio principal:• Dominio principal: 7 bloques; otros 2-4 bloques
• Desde 2015: Dominio principal 12 bloques; otros 6.
• Revisión y ampliación del constructo para los dominios• Competencia lectora: 2009 se incorpora la dimensión “Medio
(Impreso/Digital)” y la subdimensión “Ambiente”.
• Competencia Matemática: 2012 se incorporan tres procesos matemáticos que dan lugar a subescalas reportables.
• Competencia científica. 2015 se introducen modificaciones en los contextos, la dimensión de “conocimiento”, la medición de las actitudes solo en cuestionario.
En aspectos tecnológicos e informáticos
• Cambio en el medio de los instrumentos: paso de papel a computador
• Sobre bases de datos • Software de digitación en computadores individuales.
• Software en plataforma con perfiles de acceso y posibilidad de importar archivos.
• Software en plataforma y base de datos maestra donde se importa información proveniente de distintas fuentes y con distintos formatos.
• Codificación de preguntas abiertas• Desde papel, codificación cuádruple hasta codificación en línea, con
chequeo intra-internacional.
Dominios innovadores
El dominio o área a incluir debe tener:
• La capacidad de proporcionar una visión en una nueva área.
• Relevancia en relación a la política educativa, incluida la capacidad de proporcionar información sobre el grado de preparación de los estudiantes para la plena participación en la sociedad.
• Viabilidad de la evaluación, incluyendo las limitaciones prácticas sobre el tiempo de prueba de los estudiantes y los recursos financieros.
Con los dominios innovadores se busca:
• Desarrollar una visión de una nueva competencia significativa, directamente relevante para los retos que los jóvenes enfrentarán en un mundo cambiante
• Contribuir a crear nuevos tipos de evaluación que evalúen eficazmente el conocimiento, las habilidades cognitivas, las habilidades sociales y emocionales, las actitudes y los valores, a nivel del sistema.
• Plantear nuevos temas de política que mejoren el valor analítico del estudio
Inclusión de dominios innovadores en prueba
• 2003• Resolución de problemas
• 2006• Inclusión en la prueba de escalas actitudinales de interés y apoyo
en la ciencia
• 2012• Resolución de problemas en computador
• Alfabetización financiera
• 2015• Resolución de problemas en equipo
• Alfabetización financiera y cuestionario de AF.
• Bienestar subjetivo (en Cuestionario de Estudiantes)
Población Evaluada
• El año 2000/2001 participan 28 países OCDE y 15 otros países no OECD.
• En 2015 participan los 35 países OCDE y 37 países o economías (No OECD).
• En 2018 participan 80 países en total.
• Actualmente se está desarrollando PISA-D. Se espera que para 2021 se incorporen a PISA.
• Desafío: Población estudiantil mucho más diversa no sólo en términos étnico y socio-culturales sino que también de rendimiento.
Soporte/medio de aplicación de la prueba
• En prueba para estudiantes cambio de modo: desde papel a computador.
• El cambio fue probado gradualmente, de forma opcional:• 2006: Módulo de ciencias
• 2009: Lectura digital
• 2012: Matemática, Lectura digital y resolución de problemas en computador
• 2015: prueba completa y cuestionarios de estudiante en formato digital
Modelos Psicométricos
• Cada tres años se construye nuevo marco de referencia del dominio principal (desafío en comparabilidad)
• Se mantienen preguntas para análisis de tendencias
• El año 2015 se aplican cambios psicométricos:
Modelo de Medición
Método de Calibración
Muestra de Calibración
Análisis de cuestionarios
• Escalas de cuestionarios: simples, agregadas y con análisis IRT
• En ciclos 2012 y 2015 se aplican viñetas para controlar posibles efectos de apreciaciones culturales
• En aplicación 2015 se establece comparabilidad (hacia atrás) en escalas ECSC. Se estudia la comparabilidad de otras.
Propósito de Innovaciones
• Obtener más y mejor información (Modo de aplicación)
• Robustecer técnicamente la medición (Psicometría)
• En aplicación experimental se realizó estudio puente para determinar posibles efectos
Los países que aplicaban computador dividieron la muestra experimental en tres grupos equivalentes:
-G1: Prueba en papel con preguntas de tendencia
-G2: Prueba en computador con preguntas de tendencia
-G3: Prueba en computador nuevas preguntas
En aspectos psicométricos y estadísticos
• Cambio en el modelo de escalamientoDe calibrar preguntas bajo Modelo de Rasch y de Crédito Parcial (PCM) a Modelo de 2 parámetros y Crédito Parcial Generalizado.
• Cambio en el tratamiento de funcionamiento diferencial (DIFF) de los Ítemes
Se agrega chequeo de posible interacción de país por lenguaje y año cálculo de DIFF
• Cambios en el tratamiento de las preguntas omitidas
Ítems omitidos se consideran erróneos si preceden contestados, pero omitidos al final se consideran no-presentadas. Antes ACER los consideraba siempre como malos.
En aspectos psicométricos y estadísticos
• Las preguntas se calibran usando TODOS los ciclos desde 2006, y TODAS las muestras de estudiantes (contingente en adjudicación).
• Se usaron para determinar la escala todos los ítems que justificaban invarianza métrica y escalar en el Piloto para efecto de modo de aplicación, los otros se “liberaron”.
Efecto de Modo
Ítemes comunes 2012-2015 (prueba definitiva)
0,0
20,0
40,0
60,0
80,0
100,0
120,0
0,0 20,0 40,0 60,0 80,0 100,0 120,0
Po
rcen
taje
co
rrec
to 2
01
5
Porcentaje Correcto 2012
Cambios Psicométricos
• En el modelo 2PL/GPCM se retuvieron bajo modelo de Rash aquellas que tuvieron buen ajuste.
% Items Rasch
Matemática 43
Lectura 19
Ciencias 14
Alfabetización Financiera 38
Éxitos en las innovaciones
• Aumenta la cantidad de información que se puede obtener• En competencias de estudiantes
• En logros no cognitivos y factores que explican el logro
• Aumenta la robustez de las escalas reportadas
• Medición de tendencia más robusta en todos los dominios
Debilidades en las innovaciones
• Debilidad en la comparación de las tendencias tras el cambio
Afectó más a algunos países que otros: notoriamente a Uruguay. Es presumible que sus estudiantes fueran “menos penalizados” por omitir.; además la omisión en ellos bajó.
• Aumentó la incerteza de la variabilidad debida a la equiparación
Resultados de Chile
Principales dominios innovadores y módulos complementarios
-Lectura digital 2009
-Resolución de problemas 2012
-Alfabetización financiera 2015
-Bienestar 2015
Lectura Digital: Ejemplo de pregunta
Situación: Ocupacional; Formato de texto: continuo; Tipo de texto: Descripción; Ambiente: Basado en el mensaje
Lectura Digital: Ejemplo de pregunta
Aspecto de lectura: Acceder y extraer; Dificultad: 362; Nivel desempeño: 2; Puntaje completo: Alternativa C
Lectura Digital: Ejemplo de pregunta
Situación: Ocupacional; Formato de texto: múltiple; Tipo de texto: Argumentativo; Ambiente: Basado en el autor
Lectura Digital: Ejemplo de pregunta
Aspecto de lectura: Integrar e interpretar; Dificultad: 462; Nivel desempeño: 2; Puntaje completo: Alternativa D
Resolución de problemas 2012: Ejemplo de preguntas
• Contexto: No tecnológico/foco personal Naturaleza: estática
Resolución de problemas 2012: Ejemplo de preguntas
Proceso: Planificar y ejecutarEstablecer el menor tiempo correcto entre dos puntos cercanos: 20.
Proceso: Planificar y ejecutarEstablecer la vía más rápida entre dos puntos distantes, siguiendo indicación de tiempo.
Proceso: Monitorear y reflexionarSeleccionar punto de encuentro que satisface a tres personas, evaluar en base a tres puntos de vista.
Resolución de problemas 2012: Niveles de desempeño
100 80 60 40 20 0 20 40 60 80 100
KoreaJapan
Macao-ChinaSingapore
Hong Kong-ChinaShanghai-ChinaChinese Taipei
FinlandCanadaEstonia
AustraliaEngland (United Kingdom)
ItalyFrance
United StatesCzech Republic
AustriaNetherlands
GermanyIreland
DenmarkPortugalBelgiumNorway
OECD averageRussian Federation
SwedenPoland
Slovak RepublicSpain
SloveniaSerbia
CroatiaHungary
TurkeyChileIsraelBrazil
MalaysiaUnited Arab Emirates
BulgariaMontenegro
UruguayColombia
%
Estudiantes en nivel1 o menos
Estudiantes enNivel 2 y más
Alfabetización financiera 2015
• “La competencia financiera hace referencia al conocimiento y la comprensión de los conceptos y los riesgos financieros, y las destrezas, la motivación y la confianza para aplicar dicho conocimiento y comprensión con el fin de tomar decisiones eficaces en una amplia gama de contextos financieros, mejorar el bienestar financiero de los individuos y la sociedad, y permitir la participación en la vida económica.” (OCDE, 2016)
Alfabetización Financiera: Ejemplo de pregunta
NUEVA OFERTA
La Sra. Jones tiene un préstamo de 8 000 zeds con FirstZed Finance. La tasa de interés anual del préstamo es del 15%.
Sus pagos cada mes son 150 zeds.
Después de un año la señora Jones todavía debe 7 400 zeds.
Otra empresa financiera llamada Zedbest le ofrece a la señora Jones un préstamo de 10 000 zeds con una tasa de interés anual del 13%. Sus pagos cada mes también serían 150 zeds.
50
• Pregunta:
¿Cuál es una posible consecuencia financiera negativa para la señora Jones si acepta el préstamo de Zedbest?
_______________________________________________________________________________________________________________________________________________________________________________________
Alfabetización Financiera: Ejemplo de pregunta
• Tipo de pregunta: Pregunta abierta
• Descripción: Reconocer una consecuencia negativa de tener un gran préstamo
• Contenido: Planificación y manejo de finanzas
• Procesos: Evaluar temas financieros
• Contexto: Individual
• Dificultad: 582 (nivel 4)
Respuesta Correcta: • Referir a que la Señora Jones tendrá más deuda.• Referir a el pago de más intereses en total (13% de 10.000 es más que 15% de
8000).• Referir al mayor tiempo que tomará pagar el préstamo.• Referir a la posibilidad de pagar una multa de cancelación con FirstZed.
Resultados que entrega esta evaluación
53
Los estudiantes pueden analizar productos financieros complejos y resolver problemas financieros no-rutinarios. Estos estudiantes muestran una comprensión amplia del sistema financiero, como la implicación de impuestos sobre la renta, y pueden explicar las ventajas financieras de diversos tipos de inversiones.
Estos estudiantes pueden, en el mejor de los casos, reconocer la diferencia entre necesidades y deseos, tomar decisiones sencillas sobre el gasto diario y reconocer el propósito de documentos financieros cotidianos, como una boleta o factura.
Bajo Nivel 2
Nivel 2
Nivel 3
Nivel 4
Nivel 5
Alfabetización financiera: Niveles de desempeño
Alfabetización Financiera: Niveles de Desempeño
38
51
22
26
24
22
22
16
25
107
19
3 212
Chile Países Latinoamericanos Promedio Países
Nivel 5
Nivel 4
Nivel 3
Nivel 2
Bajo nivel 2
Alfabetización financiera: Brechas Género
• Chile no presenta diferencias por género en Alfabetización Financiera
Alfabetización Financiera: Conductas de Gasto
56
“Si no tienes suficiente dinero para comprar algo que realmente quieres, ¿qué es lo más probable que harías?”
3 5
1619
71 63
11 13
Chile Promedio Países
No lo compro
Ahorro para comprarlo
Intento pedir prestado
Lo compro con dinero que debió serusado para otra cosa
-No existen diferencias por género y GSE.
Alfabetización Financiera: Conductas de ahorro
57
9 10
67 69
23 22
Chile Promedio Países
Ahorro dinero solo cuando quierocomprar algo
Ahorro
No ahorro
-El ahorro como hábito es mayor entre mujeres y GSE alto.-El ahorro ante un objetivo es mayor en hombres y GSE bajo.
Bienestar 2015
• Bienestar en PISA refiere al funcionamiento psicológico, cognitivo, social y físico de los estudiantes, así como a las capacidades que los estudiantes necesitan para vivir una vida feliz y satisfactoria.
• Preguntas incluidas en el cuestionario de estudiantes
• Se crean índices sobre:• Ansiedad académica
• Acoso escolar - bullying
• Apoyo parental
• Sentido de pertenencia
• Actividades sobre actividades recreativas, escolares y laborales de los estudiantes (dentro y fuera del colegio)
Bienestar 2015
• Satisfacción con la vida (¿Que tan satisfecho estas con todo lo que es tu vida actualmente?, escala del 1 al 10)
6,5
7,3 7,4
8,5
Ho
ng
Ko
ng
(Ch
ina)
Mac
ao (
Ch
ina)
Ch
ines
e Ta
ipei
Ko
rea
Jap
an
Ital
y
Gre
ece
Turk
ey
B-S
-J-G
(C
hin
a)
Un
ited
Kin
gdo
m
Cze
ch R
epu
blic
Po
rtu
gal
Latv
ia
Hu
nga
ry
Po
lan
d
Irel
and
Ne
the
rlan
ds
Slo
ven
ia
Bel
giu
m
Spai
n
Ge
rman
y
OEC
D a
vera
ge
Un
ited
Sta
tes
Luxe
mb
ou
rg
Fran
ce
Esto
nia
Ch
ile
Tun
isia
Slo
vak
Rep
ub
lic
Swit
zerl
and
Au
stri
a
Un
ited
Ara
b E
mir
ate
s
Qat
ar
Thai
lan
d
Per
u
Bu
lgar
ia
Uru
guay
Fin
lan
d
Bra
zil
Icel
and
Ru
ssia
Lith
uan
ia
Cro
atia
Mo
nte
neg
ro
Co
lom
bia
Co
sta
Ric
a
Mex
ico
Do
min
ican
Rep
ub
lic
Bienestar: Ansiedad académica
• Set de preguntas (i.e. “Incluso si estoy bien preparado para una prueba me siento muy angustiado”)
• Índice centrado en 0, con desviación estándar 1 para la OCDE
-0,5
0,1
0,6
Au
stra
lia
Au
stri
a
Bel
giu
m
Can
ada
Cze
ch R
epu
blic
Den
mar
k
Esto
nia
Fin
lan
d
Fran
ce
Ge
rman
y
Gre
ece
Hu
nga
ry
Icel
and
Irel
and
Isra
el
Ital
y
Jap
an
Ko
rea
Latv
ia
Lith
uan
ia
Luxe
mb
ou
rg
Mex
ico
Ne
the
rlan
ds
Ne
w Z
eal
and
No
rway
Po
lan
d
Po
rtu
gal
Slo
vak
Rep
ub
lic
Slo
ven
ia
Spai
n
Swed
en
Swit
zerl
and
Turk
ey
Un
ited
Kin
gdo
m
Un
ited
Sta
tes
Bra
zil
B-S
-J-G
(C
hin
a)
Bu
lgar
ia
Ch
ile
Ch
ines
e Ta
ipei
Co
lom
bia
Co
sta
Ric
a
Cro
atia
Do
min
ican
Rep
ub
lic
Ho
ng
Ko
ng
(Ch
ina)
Mac
ao (
Ch
ina)
Mo
nte
neg
ro
Per
u
Qat
ar
Ru
ssia
Sin
gap
ore
Thai
lan
d
Tun
isia
Un
ited
Ara
b E
mir
ate
s
Uru
guay
Aprendizajes para el país
• Mejorar el sistema nacional de evaluación: ampliación de capacidades técnicas• Técnicas y metodologías de evaluación: análisis estadísticos y
operatoria de los procesos [IRT recibió un gran impulso a raíz de la participación en TIMSS 1999.]
• Incorporación de preguntas abiertas en las pruebas nacionales
• Rigurosidad en investigación e implementación de procesos
• Aprendizajes relativos a la presentación de resultados y difusión de los mismos.
Aprendizajes para el país• Desarrollo curricular
• Respuesta a las necesidades de un mundo globalizado, cambiante y demandante para las futuras generaciones: desarrollo de competencias
• Reformas curriculares 7° a II medio del 2015: influencia de TIMSS y PISA
• Conexión del país con el mundo• Participación de los equipos nacionales en las discusiones sobre lo que se
evalúa y cómo se hace en el proyecto: comentarios a Marcos de referencia e ítems.
• Participación en la comunidad científica mundial: comité estratégico de apoyo en cuestionarios PISA 2021
• Desarrollo de capacidades de investigación en el país• Experiencia Informe PISA 2006: Participación de investigadores externos y
miembros del SIMCE, 11 artículos en total, 6 externos y 5 del SIMCE.
• Experiencia FONIDE PISA 2009: Llamado especial, 9 artículos en total, 7 externos y 2 del SIMCE
• FONIDE EEII 2017
• Talleres de uso de bases de datos; manuales en línea
Incorporación de dominios innovadores
• 2018• Prueba y cuestionario de alfabetización financiera
• Competencia global• La competencia global es la capacidad de analizar temas globales e
interculturales de manera crítica y desde múltiples perspectivas, para comprender cómo las diferencias afectan las percepciones, juicios e ideas acerca de sí mismo y de los demás, y para comprometerse en interacciones abiertas, apropiadas y eficaces con otras personas de diferentes orígenes, sobre la base del respeto a la dignidad humana.
• Cuestionario de bienestar subjetivo• Cubre temas relativos a salud, grados de satisfacción, autopercepción de
bienestar, relaciones interpersonales, actividad física.
• 2021• Prueba sobre pensamiento crítico y creativo
• Nuevos temas en cuestionarios, actualmente en discusión (Estudiantes 4G, Proyecto de vida).
Otras innovaciones
• Incorporación de pruebas adaptativas• PGB aprobó analizar la aplicación experimental 2018
según un diseño tipo adaptativo (en cuanto a bloques de preguntas). La aplicación por computador lo permite. Se tendrá alrededor de 250 formas en la aplicación definitiva.
Recommended