CONSTRUCCIÓN Y ADMINISTRACION DE INSTRUMENTOSAndrea GonzalezRuth RodríguezPaula Trujillo

FASES EN LA CONSTRUCCION DE UN TEST

Finalidad del test

Consideración de las

restricciones de la

aplicación del test

Conductas observables

representativas del constructo

Especificación de

contenidos

Especificaciones del formato de los

ítemsAnálisis de ítems

Planificación de la tipificación del test

Elaboración del manual del

test y otros materiales

Criterios para la valoración del

test

FINALIDAD DEL TEST•Considerar población a la cual irá dirigido

el test y el tipo de decisiones que se tomarán con ella.

TIPOS DE DECISIONES

Relativas al nivel de instrucción

De diagnóstic

o

De selección

De asignación

De clasificació

nDe consejo

RESTRICCIONES EN LA APLICACIÓN DE LOS TEST

Consideraciones

Tiempo de

aplicación

Longitud del test

Grupal o colectiva

Tipo de ayudas

Número de

intentos

Ambiente físico

CONDUCTAS REPRESENTATIVAS DEL CONSTRUCTO Y ESPECIFICACIÓN DE LOS CONTENIDOS DEL TEST

Otras opciones

• Se plantean cuestiones abiertas a los sujetos sobre el constructo y luego se intenta establecer categorías a partir de las respuestas

ANALISIS DE CONTENIDO

• Si el atributo ya ha sido investigado por otros autores se pueden revisar los diferentes instrumentos usados como marco de referencia.

REVISION DE PUBLICACIONE

S

• Se identifica una lista de conductas que caractericen los comportamientos extremos del constructo.

INCIDENTES CRITICOS

• El constructor identifica las conductas por medio de la observación directa

OBSRVACIONES DIRECTAS

• Por medio de las opiniones de personas que ya hayan trabajado con el constructo

JUICIO DE EXPERTOS

• Se pide a expertos que revisen los contenidos de programas o textos y que establezcan objetivos que deban evaluarse en el test

OBJETIVOS INSTRUCCIONALES O PROGRAMAS

DE INTERVENCION

ESPECIFICACIONES DEL FORMATO

Sustitución/

corrección

presentación

Construcción

Elección múltiple

Selección o identificació

n

Completar

Ordenación del

material estimular

ANÁLISIS DE ÍTEMSEdades o cursos (test de rendimiento) se ensayará la pureba-

Tamaño muestral

Subgrupos especiales (sexo, estrato, etnia)

Longitud del test

Tiempo de aplicación

Puntuación criterio para el análisis del los ítems

Índice de dificultad

• Indica la proporción de aciertos en la muestra (25% sup. +25% inf.)

• AS+AI/N+N

Índice de discriminaci

ón• expresan en

qué medida cada ítem diferencia a los que más y menos saben

• Dc=AS-AI/N

Finalidad del test

• Es necesario tener en cuenta el tipo de decisiones que se tomarán con el test, lo que definirá diferentes niveles de dificultad para los ítems

CONTENIDOS DEL TEST• El desarrollo del test por lo regular requiere que se atienda

a 2 propiedades: contenido sustantivo y el proceso cognitivo que el sujeto debe emplear para la resolución de la tarea.

Sistema de operaciones cognitivas de Bloom (1956)

CONOCIMIENTO: recuerdo de

material

COMPRENSIÓN: Interpretación de un concepto

en forma diferente a la presentada

APLICACIÓN: Resolver

problemas por medio del uso de principios familiares o

generalizaciones

ANÁLISIS: descomponer

un problema en sus

componentes reconociendo

elementos múltiples,

relaciones y/o principios de organización

SINTESIS: resolver

problemas que requieren la

combinación de varios

elementos o principios

EVALUACIÓN: uso de criterios

internos o externos para hacer juicios

críticos

PLANIFICACIÓN DEL TIPO DE TESTNormativo o referido

a las normas

• Población objetivo• Diseño muestral• Establecer estratos

(edades, sexo, etc)• Población marco y

selección de la muestra

• Aplicación del test a los sujetos seleccionados

Referidos al criterio

• No se usa grupo normativo

• El rendimiento o conducta del sujeto es suficiente para describir su estado según el dominio establecido.

ELABORACIÓN DEL MANUAL DEL TEST Y OTROS MATERIALES DE APOYO

Usos a los que se puede dedicar el test

Instrucciones completas y detalladas para la administración

Baremos

Coeficientes de fiabilidad y precisión en la medida del test

Datos sobre los diferentes tipos de validez

Sugerencias sobre el posible uso de las puntuaciones del test

Criterios para la valoración de un test

Guía según normas de la APA y AERA (American Educational Research Association)

¿procede de una teoría psicológica que defina operacionalmente el constructo (validez de constructo)?Instrucciones estandarizadas detalladas, adecuadas a la población dirigida y con ejemplosSi los ítems son de dificultad variable, ¿están ordenados de manera creciente?

Uso de procedimientos para un muestreo representativo de los elementos

Instrucciones claras con las respuestas

Guía según normas de la APA y AERA (American Educational Research Association)

Pruebas de sesgos o validez diferencial

Acogida favorable de presentación, materiales, etc.

Información suficiente sobre normas, validez, confiabilidad, etc.

Especificación de tiempo limite si lo hay

Corrección y puntuación sencillas fiables

Hoja de respuestas clara y sencilla

Uso de bibliografía

FORMAS DE APLICACIÓN DE UN CUESTIONARIO

1. AUTOADMINISTRADONo hay intermediarios y las respuestas las marcan ellos

GRUPAL

EINDIVIDUAL

NVIO

POR ENVIO

INDIVIDUAL

INDIVIDUAL: Los participantes contestan

por escrito las preguntas contenidas en el

cuestionario. La intervención del

investigador se limita a presentar el

cuestionario, entregarlo y finalmente

recuperarlo.

GRUPAL: Es tal vez la forma más económica

de aplicar un cuestionario.

Se entregan a todos los miembros de un

grupo,

normalmente en una sesión de formación, y

tras un periodo de tiempo se recogen

personalmente.

Es conveniente, dado por sentado el

anonimato, que aplique el cuestionario uno

de los monitores de formación.

POR ENVIO:

•Mensajería privada

•Correo electrónico

•Pagina web

La eficacia de este tipo de encuesta depende de

la claridad con que se hayan elaborado las

preguntas y la estrategia que se implemente en

el seguimiento de la misma.

2.ENTREVISTA PERSONAL

EL ENTREVISTADOR DEBE:

• Trasmitir que no hay rtas incorrectas.

• Orientar el desarrollo del instrumento

• Ser neutral, pero cordial y servicial.

• Al inicio de la entrevista comentar: el propósito

general del estudio, las motivaciones y el

tiempo aproximado de respuesta, agradeciendo

de antemano la colaboración.

EL ENTREVISTADOR NO DEBE:

•Sesgar o influir en las respuestas.

•Evitar que decaiga la concentración y el

interés

NOTAS:

I. Cuando se trata de entrevista personal, el

lugar donde se realice es importante.

II. Es común mostrar visualmente las opciones de

respuesta a los entrevistados, mediante

tarjetas, en especial cuando se incluyen más

de cinco o son complejas.

III. Casi siempre las entrevistas son individuales,

aunque podrían aplicarse a un grupo pequeño

(si ésta fuera la unidad de análisis o caso).

3. ENTREVISTA TELEFONICA

Ruiz (1999)

• El termino “entrevista” se utiliza para asignar una serie bastante heterogénea de clases de entrevistas que pueden adoptar interminables formas.

Briones (2001)

• Toma en cuenta la entrevista telefónica como una de las formas de obtener respuestas directamente de las personas.

Hernández et. al. (2003)

• La entrevista telefónica, es semejante a la entrevista personal, es decir el entrevistador aplica una guía de interrogantes a los respondientes, pero este proceso es a través de línea telefónica.

Política, Mercadotecnia y en salud

Martínez

(1999)Facilita la recolección de datos de tipo cualitativo.

Burke y Miller (2001)

EJEMPLOEstudio: medir el impacto de los servicios de salud que ofrece el programa Plantas Medicinales (PPM) de la universidad Autónoma Chapingo

Paciente Base de Datos

Numero telefónic

o

Identificación de las características y los

resultados en función del tratamiento

Determinar impacto social y epidemiológico del programa

(1993- 2003)

¿Porque “entrevist

a telefónica

”?

Permite dar seguimient

o

Verificar resultados

Cantidad alta de

pacientes en todo el país, muy

poco tiempo

Recueros económicos

RUBROS GENERALES DE LA ENTREVISTA

• Características socio-económica del paciente.

• Morbilidad del paciente (antecedentes y tratamientos)

• Experiencia del paciente en su visita al programa, efectividad de los tratamientos.

• Criterio básico: aceptación por parte del paciente, para ser entrevistado.

• Caso de menores de edad, se entrevistaba a los padres

Selección de 296 sujetos al azar

Prueba piloto de 25 pacientes

Estimar tiempo para cada llamada.

Comprensión de preguntas

Tiempo de aplicación mes

y medio.

De lunes a sábado día y

noche.

¿Como se lleva acabo la entrevista telefónica?

Presentación formal del entrevistador y explicación breve del por qué y para qué se desarrolla la entrevista, reseña sencilla del contenido de la misma. Primeros interrogantes: recoger y confirmar información general y socio-económica de las personas atendidas en consulta.

Desarrollar estrategias que faciliten el dialogo.

¿CÓMO SE INTERPRETA SI NO SE VE?

• Martínez (2001)• El tono de voz depende del

sistema nervioso autónomo, es involuntario y casi siempre inconsciente, contribuye de manera muy eficaz a precisar el verdadero sentido de la palabras , reforzando las o desmintiendo las.

• No es inherente en la entrevista telefónica

• Ni el investigador ni el informante, pueden pre juzgar sus actitudes.

• Es una herramienta neutral que evita suposiciones iniciales .

• Usar leguaje respetuoso, comprensible y cordial.

Compromiso con la situación del paciente ¿Es ético?

ALCANCES

•Permite obtener información relevante.•Facilita la sensibilización del investigador

en la problemática que vive el informante.•Facilita la recolección de información en

poblaciones heterogéneas, distribuidas en diferentes regiones, lo cual reduce su costo en tiempo y dinero.

LIMITACIONES

•No se puede aprovechar el lenguaje corporal para obtener información confiable o contratar datos.

•Exclusión de informantes porque no cuentan con servicio telefónico.

•Disponibilidad de los entrevistados a brindar datos respecto a su salud.

SUGERENCIA

Lenguaje sencillo claro y cordial, también con una

actitud amena.Redactar preguntas sencillas y

cortas .Duración

telefónica corta.

Identificar también

previamente algunos datos

básicos del informante

REFERENCIAS BIBLIOGRAFICAS•http://www.medic.ula.ve/tsues/Variables.pdf

pag 8•http://www.medic.ula.ve/tsues/Variables.pdf

pag 9•http://www.crucired.com.ar/est_unidad_5.pdf•http://cvonline.uaeh.edu.mx/Cursos/

Maestria/MTE/Gen02/seminario_de_tesis/Unidad_4_anterior/Lect_El_Cuestionario.pdf

•Sampieri, C., Fernández, C., Baptista, P. Recolección de datos cuantitativos. Metodología de la investigación 5 edición.