Los distractores en preguntas

de opción múltiple para

estudiantes de Medicina

¿Cuál es su

comportamiento en un

examen de altas

consecuencias?

Alma Guadalupe Jurado Núñez

Preguntas de Opción Múltiple

Objetividad y Efectividad

Conceptual�Cognición superior

Estandarización del conocimiento

Educación Médica

Downing SM: Assessment of knowledge with written test forms. En International handbook of research in medical education Volume II. Editado por: Norman GR, Van der Vleuten C, Newble DI. Dorcrecht: Kluwer Academic Publishers; 2002:647-672

TalloOpciones

Óptimo

No funcionales

Exceso

¿Límite natural?

Probabilidad de acertar al azarTestwiseness

Educated guessing

Características

• Rodriguez MC: Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educ Meas Issues Pract 2005, 24(2):3-13.

• Downing SM: Guessing on selected-response examinations. Medical Education 2003, 37: 670-671

0

5

10

15

20

1° Quintil 2° Quintil 3° Quintil 4° Quintil 5° Quintil

Frec

uen

cia

% Correcta

Buen distractor

Baja frecuencia

Discriminación Positiva

No discriminación

Gráfico adaptado y modificado de: Trace line for a four-option item, Haladyna TM, Downing SM: How many options is enough for a multiple-choice test item? Educ Psychol Meas 1993, 53(4):999-1010

Índice de dificultad

�

Índice de discriminación

≠

Correlación Punto-biserial

↔

Kehoe J: Basic item analysis for multiple-choice tests. Practical Assessment, Research & Evaluation 1995, 4(10). http://PAREonline.net/getvn.asp?v=4&n=10.

¿Cuál es el comportamiento de los distractores en el Examen Profesional Teórico de la Facultad de

Medicina de la UNAM?

Relevancia social

• Confiabilidad y fortaleza

• Correspondencia con la realidad

Implicaciones prácticas

• Modificación pertinente

• Punto de referencia

Valor teórico

• Primer trabajo en México

• Nueva línea de investigación

Evaluar la funcionalidad de los distractores en elExamen Profesional Teórico de la Facultad deMedicina de la UNAM.

Establecer las diferencias entre el número dedistractores funcionales por ítem y los índicespsicométricos.

Evaluar el impacto al eliminar los ítems con cuatroDNF en el desempeño psicométrico del examen

• Fase Teórica del Examen Profesional 2008 de la Facultad de Medicina de la UNAM mediante la Teoría Clásica de los Test (TCT)

• ITEMAN 3.5

Análisis psicométrico

• 420 Reactivos• Cinco opciones

(2100 totales, 1680 distractores)

• Número de DNF

Análisis de frecuencia

• Diferencias entre DNF por ítem y su perfil psicométrico

• Diferencias significativas entre y dentro de los grupos

ANOVA y Test Tukey HSD Post

Hoc

• Eliminación de ítems con 4 DNF (34), análisis y comparación

Depuración

Alfa de Cronbach .93

SEM 8.67

� 892 (53.1%) DNF � 2.12 ± .99 DNF por ítem

� Mayoría categorizados en baja frecuencia

� 40% menor dificultad y discriminación entre ítems de cero

y cuatro DNF

DNF por

ítem

Total de

ítems

Frecuencia %

0 18 4.3

1 96 22.9

2 156 37.1

3 116 27.6

4 34 8.1

Tabla 1. Frecuencia de DNF en el Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Enero 2008

Gráfico 1. Análisis estadístico del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Comparación de medias (Índice de dificultad, índice de discriminación y DNF por ítem)

Tabla 2. Análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. ANOVA sentido único. Enero 2008.

ANOVA

Suma de cuadrados

Grados de

libertad

Media

cuadrática F Sig.

Índice de

dificultad

Entre grupos 3.540 4 .885 16.017 .000

Dentro de los grupos 22.931 415 .055

Total 26.472 419

Índice de

discriminación

Entre grupos 1.365 4 .341 21.619 .000

Dentro de los grupos 6.549 415 .016

Total 7.913 419

Correlación

punto

biserial

Entre grupos .335 4 .084 5.080 .001

Dentro de los grupos 6.846 415 .016

Total 7.181 419

Tabla 3. Análisis del Examen Profesional Teórico de la Facultad de Medicina de la UNAM. Test Tukey HSD Post Hoc. Enero 2008

Test Post Hoc

Comparaciones Múltiples

Tukey HSD Variable

Dependiente (I)

DNF (J)

DNF

Diferencia Media (I-

J) Error

estándar Sig.

Intervalo de confianza 95%

Límite inferior

Límite superior

Índice de dificultad

Cuatro DNF Sin DNF .35833* .06852 .000 .1706 .5461

Un DNF .35927* .04691 .000 .2307 .4878

Dos DNF .32058* .04449 .000 .1987 .4425

Tres DNF .28543* .04584 .000 .1598 .4110

Índice de discriminación

Cuatro DNF Sin DNF -.24944* .03662 .000 -.3498 -.1491

Un DNF -.18219* .02507 .000 -.2509 -.1135

Dos DNF -.14481* .02378 .000 -.2099 -.0797

Tabla 4. Comparación de análisis de reactivos del Examen Profesional Teórico de la Facultad de Medicina de la UNAM completo VS el depurado. Enero 2008

Características Completo Depurado*

Número de ítems 420 386

Alfa de Cronbach 0.928 0.928

Error estándar de

medición

8.669 8.462

P media

(dificultad)

0.550 0.523

Coeficiente de

punto biserial

medio

0.181 0.185

El arte de evaluarRazonamiento médico, resolución de problemas y toma de decisiones

46.9% distractores funcionales

Menos del 5% de los ítems con todos funcionales

Tres opcionesSuficiencia y máxima eficiencia

• Tarrant M, et al: An assessment of functioning and non-functioning distractors in multiple-choice questions: a descriptiveanalysis. BMC Medical Education 2009, 9:40• Abad FJ, et al: Analysis of the optimum number alternatives from the Item Response Theory. Psicothema 2001, 13(1): 152-158

Acreditación del examen a expensas de

testwiseness/ educated guessing

Profesionalizar la evaluación del aprendizaje

Formación adecuada implica optimización de recursos ymayor calidad

• Rogausch A, et al: Rarely selected distractors in high stakes medical multiple-choice examinations and their recognitionby item authors: a simulation and survey. BMC Medical Education 2010, 10:85• Haladyna TM, et al: A review of multiple choice item-writing guidelines for classroom assessment. Appl Meas Educ

2002,15(3):309-334

Seguimiento Evidencia

Evaluación cualitativa

Versiones posteriores

Un examen

InterpretaciónTCT

vs

Teoría de Respuesta

al Ítem

Disminuir número

de opciones

Disminuir número

de opciones

Limitaciones

Secretaría de Educación Médica

Facultad de Medicina, UNAM

Dr. Melchor Sánchez Mendiola

Dr. Adrián Martínez González

Dr. Fernando Flores Hernández

Dr. Hermann Sommer Cervantes