Validez de instrumentos y pruebas piloto

VALIDEZ DE UN INSTRUMENTOVALIDEZ DE UN INSTRUMENTO

Dr. Cristian Díaz VélezMédico EpidemiólogoJefe de la Oficina Inteligencia SanitariaHospital Nacional Almanzor Aguinaga AsenjoProfesor de la Universidad San Martín de Porres

Imagina que deseas evaluar el Nivel de Glucosa en sangre en pacientes adultos y el GLUCOMETRO que vas a usar esta descalibrado.

No Importa: Si el proyecto de investigación es perfecto Si la muestra y muestreo es adecuado Si usas las pruebas estadística mas potentes y complejas.Se invirtió mucho dinero y mucho tiempo

Simplemente tus resultados no sirven. ¿EVIDENTE NO?

Si el instrumento que es usado para la recolección de datos no esta validado..!

Las conclusiones tampoco son validados

REQUISITOS DE UN BUEN INSTRUMENTO DE MEDICION

CONFIABILIDAD

GRADO EN QUE SU APLICACION REPETIDA AL MISMO SUJETO U

OBJETO PRODUCE IGUALES RESULTADOS

VALIDEZ

GRADO EN QUE UN INSTRUMENTO MIDE LA

VARIABLE QUE PRETENDE MEDIR

Hernández Sampieri y col

GRADO EN QUE UN INSTRUMENTO PRODUCE RESULTADOS

CONSISTENTES Y COHERENTESHernández Sampieri y col

El instrumento debe demostrar ser confiable y válido a la vez Hernández Sampieri y col

1. Validez : seguridad, exactitud

Error sistemático2. Confiabilidad : Precisión, reproducibilidad

Error aleatorio

VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS DE RECOLECCIÓN DE DATOS

A no ha sido ni exacto ni preciso.

B Exacto y preciso.

C bastante exacto pero no preciso.

D muy preciso pero poco exacto.6

Confiabilidad ~Precisión

Validez ~Exactitud

Validación cualitativa

La validez• En términos generales, se refiere al grado en que

un instrumento realmente mide la variable que pretende medir.

• Por ejemplo, un instrumento para medir la inteligencia válido debe medir la inteligencia y no la memoria.

• La validez es una cuestión más compleja que debe alcanzarse en todo instrumento de medición que se aplica.

Validez

• Para la validación se contará con un panel de expertos, que suele consistir de un promedio de 10-15 personas, aunque de hecho pueden bastar de 5 a 7.

• Dicho panel debe estar compuesto de personas conocedoras de la materia, entre los cuáles puede estar el evaluador, especialistas en la materia técnica concerniente, personal de salud, administradores, miembros de la facultad, etc.

• Mejorar el cuestionario para que este cumpla con el nivel del público objetivo y con el propósito y objetivos del estudio.

Validez de contenido, criterio y constructo

• Las recomendaciones del panel de expertos se orientan a facilitar la claridad de las preguntas, la relevancia de las mismas, si el número de preguntas es adecuado, o si el tiempo que toma contestarlo es o no apropiado.

• El panel de expertos sugerirá el cambio de preguntas, eliminación de algunas de ellas, uso apropiado de las palabras, o modificaciones en el formato del cuestionario.

• Dichas recomendaciones deben tenerse en cuenta en la modificación del cuestionario.

Validez del contenido

• Grado en que el contenido de un instrumento es capaz de medir la mayor parte de las dimensiones del constructo que se quiere estudiar.

• Por ejemplo una prueba de conocimientos sobre las canciones de un grupo musical no deberá basarse solamente en sus 2 primeros discos, sino que debe incluir canciones de todos sus discos.

Revisión del temaExperiencia de los expertos

Validez del contenido

Validez del criterio

• Grado en que el resultado del cuestionario predice o concuerda con algún criterio de “valor real” o gold standard.

• Por ej., un investigador valida un examen sobre manejo de aviones, mostrando la exactitud con que el examen predice que tan bien un grupo de pilotos puede operar un aeroplano.

Test Psicologicos: Zung, Hamilton, etcCoeficiente de concordancia Kappa (var. categóricas) y Correlación intraclase (var. cuantitativas)

Validez del constructo

• Es probablemente la más importante sobre todo desde una perspectiva científica y se refiere al grado en que una medición se relaciona consistentemente con otras mediciones de acuerdo con hipótesis derivadas teóricamente y que conciernen a los conceptos (o constructos) que están siendo medidos.

• Grado en que las mediciones que resulten de las respuestas del cuestionario puedan considerarse como una medición del fenómeno estudiado.

Muy importante escoger los expertos

Expertos

Población Objetivo

VALIDEZ TOTAL = VALIDEZ DE CONTENIDO + VALIDEZ DE CRITERIO + VALIDEZ DE CONSTRUCTO

Validación cuantitativa

REPRODUCIBILIDAD

Fiabilidad1. Es el grado en que un instrumento es capaz de medir sin error.2. Mide la proporción de variación en las mediciones que se debe a la variedad de valores que toma una variable y que no es producto del error sistemático (sesgo) o aleatorio (azar).3. Esta propiedad determina la proporción de la varianza total atribuible a diferencias verdaderas que existen entre los sujetos.4. El coeficiente alfa de Cronbach es el recurso estadístico más utilizado para evaluar la fiabilidad de un instrumento.5. Su valor está comprendido entre 0 y 1 y depende tanto del número de ítems que componen la escala.

Fiabilidad

6. Cuando el instrumento está compuesto por un grupo de dominios (sub-escalas), debe calcularse el coeficiente alfa de Cronbach para los ítems de cada dominio respecto del valor del puntaje del mismo (correlación ítem-dominio).7. El valor mínimo aceptado para este coeficiente es de 0,70; valores inferiores indican que la fiabilidad de la escala utilizada es baja.8. Se espera un valor máximo de 0,90; valores mayores indican que hay redundancia o duplicación, lo que significa que varios ítems están midiendo exactamente el mismo elemento de un dominio o constructo; por lo tanto, dichos ítems deben eliminarse. 9. Usualmente, se prefieren valores de alfa entre 0,80 y 0,90.

Consistencia interna

1. Es el grado de correlación y coherencia que existe entre los ítems de un instrumento o entre los ítems que conforman una dimensión en las escalas multi-dimensionales.

2. Se evalúa si los ítems que miden una misma dimensión presentan homogeneidad entre ellos, lo que indica que los puntos de cada dominio miden el concepto que pretenden medir y no otro.

2. Las escalas están diseñadas para medir separadamente los diferentes dominios que componen un determinado constructo, por lo cual se debeevaluar la consistencia interna de cada uno de ellos.

4. Se evalúa con oeficientes de correlación de Pearson

Poder discriminante

1. Esta característica aplica para las escalas multi-dimensionales y determina el grado de correlación que existe entre los ítems de una dimensión y el puntaje de las otras dimensiones a los cuales no pertenecen.

2. Se evalúa con coeficientes de correlación de Pearson.

Fiabilidad intra-observador o fiabilidad test-retest

1. Es la repetibilidad del instrumento, es decir, si cuando es aplicado por los mismos evaluadores, con el mismo método, a la misma población y en dos momentos diferentes se obtienen puntajes similares.2. Coeficiente de correlación de Pearson, Spearman o intraclase (intraclase).3. Es importante considerar que el tiempo transcurrido entre la primera aplicación de la escala (test) y la segunda (retest) varía según lo que se esté midiendo. 4. No debe ser largo, para evitar variaciones en el fenómeno de interés medido y tampoco debe ser muy breve, ya que puede presentarse un “efecto de aprendizaje”, es decir, recordar las respuestas dadas en la primera aplicación. 5. En los dos casos, el valor de la repetibilidad se ve alterado. Otra dificultad que se puede presentar es que algunos sujetos no admitan una segunda aplicación del instrumento

VARIABILIDAD INTEROBSERVADOR

Fiabilidad inter-observador

1. Grado de acuerdo que hay entre evaluadores diferentes que valoran a los mismos sujetos, con el mismo instrumento y en la misma ocasión.

2. Coeficiente de correlación de Pearson, Spearman o intraclase (intraclase) o Kappa.

Densidad Mamográfica: 13,59%

Densidad Mamográfica: 15,86%

VARIABILIDAD INTRAOBSERVADOR

Variables cualitativasConcordancia= Coeficiente Kappa

Variables cuantitativasCorrelación= Coeficiente r pearson Coeficiente spearman Coeficiente intraclase

Coeficiente alfa de Cronbach

Medidas de consistencia interna (Coeficiente alfa de Cronbach, Kuder y Richardson o fórmula KR-20, KR21,

Un instrumento

1 sola aplicación del instrumento Resultado

Coeficiente alfa de Cronbach es para variables de intervalos o de razón KR.20 y KR21 es para ítems dicotómicosCoeficiente de Correlación de Pearson cuando el nivel de medición es por intervalos o razón.Coeficiente de Spearman o de Kendall cuando el nivel de medición es ordinal

Hernández Sampieri y col

PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD

Kuder y Richardson o fórmula KR-20

Instrumentos de nivel conocimientos.

ESTUDIOS PILOTO: tipos y características

Que es?

• Se refiere a versiones en miniatura de un estudio a gran escala (también llamados estudios de viabilidad).

• Los estudios piloto son un elemento crucial de un buen diseño del estudio. La realización de un estudio piloto no garantiza el éxito en el estudio principal, pero sí aumenta la probabilidad.

• Los estudios piloto a cumplir una serie de funciones importantes y pueden proporcionar información valiosa para otros investigadores.

• Hay necesidad de una mayor discusión entre los investigadores, tanto del proceso y los resultados de los estudios piloto.

Prueba Piloto• Puede referirse a los llamados estudios de factibilidad

que son "versión a pequeña escala, o el juicio de ejecución, realizadas como preparación para el importante estudio" (Polit et al, 2001).

• Sin embargo, un estudio piloto también puede ser la prueba previa o "probar" de un instrumento de investigación en particular (Baker 1994).

• Una de las ventajas de realizar un estudio piloto es que se podría dar un aviso por adelantado acerca de dónde podría fallar el proyecto de investigación, o si los métodos o instrumentos propuestos son inadecuados o demasiado complicado.

Razones para la realización de estudios piloto

1. Desarrollo (validación de novo) de un instrumento de investigación.2. Prueba de adecuación (validez cultural) de los instrumentos de

investigación.3. La evaluación de la viabilidad a gran escala del estudio/ aplicación del

instrumento.4. Estimación del tamaño muestral y/o establecer el diseño muestral.5. Identificación de problemas logísticos que pueden producirse usando

los métodos propuestos.6. Determinación de qué recursos (financieros, de personal, etc) son

necesarios para el estudio planificado.7. Entrenamiento del investigador(es).8. Evaluación de las técnicas estadísticas propuestas para el análisis de

datos para descubrir problemas potenciales.9. Convencer a organismos de financiación que el equipo de investigación

es competente y bien informado.10.Convencer a otros grupos de interés que el estudio principal es digno

de apoyo

Problemas de estudios piloto

• Estos incluyen la posibilidad de hacer predicciones inexactas o suposiciones sobre la base de los datos de piloto; los problemas derivados de la contaminación; y los problemas relacionados con la financiación.

• Una preocupación adicional es el de la contaminación. Esto puede ocurrir de dos maneras:– Donde los datos del estudio piloto se incluyen en los

resultados principales.– Donde los participantes piloto se incluyen en el estudio

principal, pero los nuevos datos se recogen de estas personas.

Características de la Prueba Piloto para la evaluación de la confiabilidad del instrumento

• El proyecto piloto permite averiguar la consistencia o confiabilidad del cuestionario.

• Para ello se utiliza un número de unas 20-25 personas que representen a los participantes del estudio.

• Se recomienda mayor número al de ítems.• Algunos recomiendan 5 personas por ítems.• Idealmente, las personas seleccionadas para el proyecto piloto no

deben participar en el estudio, aunque sí deben poseer características similares a las de los participantes.

• El procedimiento para la toma de datos podría ser de encuesta, por teléfono, por correo físico o electrónico. En el caso de administración directa se deben anotar las observaciones para las preguntas en las cuales el participante tenga dificultad en contestar, para efectuar posteriormente las debidas correcciones.

EJEMPLOS DE INSTRUMENTOS VALIDADOS

Cronbach de 0,804 (>0,8)

Kaiser- Meyer-Olkin fue de 0,082 y el test de esfericidad de Bartlett fue de 0,023, por lo que no se realizó el análisis factorial.

ADAPTACIÓN TRANSCULTURAL AL ESPAÑOL DE LA VERSIÓN CORTA INSTRUMENTO “THE AWARENESS OF INDEPENDENT LEARNING

INVENTORY (AILI)”

Estrategias para incrementar la confiabilidad de los Cuestionarios

• Alargar el instrumento.• Efectuar preguntas de mediana dificultad.• Aumentar el tiempo para contestar el

instrumento.• Asegurarse que el instrumento sea claro para

el público objetivo.

Si no haces las preguntas correctas, no obtienes las respuestas correctas... El hacer preguntas es el ABC del diagnostico. Sólo la mente que cuestiona resuelve problemas.

- Edward Hodnett

https://dialnet.unirioja.es/descarga/articulo/5178935.pdf

http://www.dynasolutions.com/publicaciones/pdf/30.pdf

http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0036-36342013000100009

¿Preguntas?

cristiandiazv@hotmail.com