Upload
andre
View
256
Download
7
Embed Size (px)
DESCRIPTION
dhghgdhdhh
Citation preview
FIABILIDAD Y VALIDEZ
FIABILIDAD Y VALIDEZ DE ENCUESTAS
FIABILIDAD Y VALIDEZ
DE ENCUESTAS
FIABILIDAD DE ENCUESTASCohen (1996), Davis (1996), Hayes (1998) y Huck (1996) estn de acuerdo en que la fiabilidad de un instrumento de medicin hace referencia a la consistencia de un resultado. Esto es, el cuestionario de datos ser consistente despus de pruebas repetidas, utilizando los mismo o diferentes valores, para las mismas preguntas o similares.
Diferentes procedimientos estadsticos han sido desarrollados para probar la fiabilidad (consistencia). Cada una de las diferentes tcnicas proporciona una medida de consistencia llamada coeficiente de fiabilidad. Ese nmero tendr un valor de 0.00 a +1.00. El valor 0.00, establece que la consistencia est ausente, mientras que el valor de +1.00 indica una consistencia total. Huck (1996) establece que el coeficiente de fiabilidad puede ser negativo, pero debera ser cambiado a 0.00. Davis (1996) establece que no existen lineamientos absolutos como el coeficiente de fiabilidad pero proporciona el siguiente paquete de estndares para consideracin:
0.7 utilizado para investigacin exploratoria
0.8 utilizado para investigacin bsica
0.9 utilizado para escenarios aplicados para decisiones importantes
Cohen (1996) lista las razones (excluyendo al humano) por las que el puntaje o las respuestas de la encuesta pueden variar del valor real:
Elaboracin del cuestionario: Variacin entre las preguntas del cuestionario en contenido o seleccin
Administracin del cuestionario: La temperatura de la sala estuvo muy alta, la iluminacin fue pobre, el cuestionario del administrador se entreg tarde pero aplicaciones de prueba con los tiempos lmite originales
Puntaje e interpretacin del cuestionario: No todas las pruebas son calificadas por una mquina, algunas son calificadas de manera subjetiva por los humanos.
Si las calificaciones del cuestionario no muestran mucha variacin, entonces el coeficiente de fiabilidad debera ser cercano a 1.00. Los fundamentos del estado de fiabilidad establecen que un puntaje observado est compuesto de dos partes bsicas: el puntaje real y el error de valor.
Puntaje observado = puntaje real + error de valor
Variacin (puntaje observado) = variacin (puntaje real) + variacin (error de valor)
Fiabilidad =
Como la variacin de error disminuye en valor (o como los puntajes del cuestionario son ms consistentes) el coeficiente de fiabilidad ser ms cercano al valor de 1.00. Esto puede indicar un muy buen juego de datos. Por otro lado, como la informacin en la evaluacin es inconsistente, entonces el coeficiente de fiabilidad caer.
Existen 3 pruebas de fiabilidad que pueden ser utilizadas:
- Fiabilidad de prueba:Utilizado para evaluar la consistencia desde la primera reevaluacin
prueba hasta la ltima prueba.
- Fiabilidad de
formas paralelasDos pruebas similares le darn un puntaje consistente
- Fiabilidad de Los mismos puntos del cuestionario producirn los mismos
consistencia internaresultados dentro de el cuestionarioFiabilidad de cuestionario-reevaluacin
Los mismos temas sern medidos dos veces con el mismo instrumento de medicin, con un tiempo de prueba separado. Esto es, una separacin de un da, semana, mes o ao es utilizada antes que la misma prueba sea administrada a los mismos temas. El investigador correlacionar los juegos de puntajes para determinar el monto de consistencia en la informacin. En el reporte, el coeficiente de fiabilidad es renombrado como el coeficiente de fiabilidad de prueba-reevaluacin.
Fiabilidad de formas paralelas
Esta prueba puede estar referida como formas equivalentes o alternar pruebas de fiabilidad. Los sujetos son probados con dos diferentes formas que miden las mismas caractersticas, pero difiere la precisin de las preguntas.
Es utilizado un corto periodo de tiempo para realizar el cuestionario. Un coeficiente de equivalencia indica el grado de consistencia entre las dos formas.
Fiabilidad de consistencia interna
Esta es una prueba de la consistencia del cuestionario en s. Un instrumento debera poseer una fiabilidad de consistencia interna alta. Los mtodos disponibles son:
Fiabilidad de Dispersin-media: el investigador analizar los puntos de el cuestionario mediante la dispersin del cuestionario a la mitad. Las preguntas con nmero impar sern comparadas con las preguntas de nmeros pares.
Kuder-Richardson #20 (K-R 20): Una variacin de la anterior. Se le llama K-R 20 porque fue la 20va frmula en el clculo eventual. Esta es la estadstica de opcin para preguntas de opcin mltiple.
Coeficiente Alfa, Cronbachs Alfa o Alfa: Una prueba que es muy til para pruebas con dicotoma (s, no), opcin mltiple o un rango de valores
(Huck, 1996)
Fiabilidad de interevaluadores
Debe existir una necesidad para evaluar el grado de consistencia entre evaluadores. Un ndice de fiabilidad de interevaluadores ser hecho. Los tres mtodos ms utilizados son:
Coeficiente de concordancia Kendalls
Cohens Kappa
Coeficiente e correlacin intraclass
Validacin del examen
La validacin representa el alcance de precisin del instrumento de prueba. Mientras que la fiabilidad procura medir la consistencia de la informacin, la validacin se enfocar en la exactitud y consistencia. Existen tres procedimientos frecuentemente utilizados para validar:
Validez de contenido
Criterio en relacin a la validez
Construccin de validez
Validez de contenido
Los expertos usualmente verificarn que las preguntas del instrumento de prueba pertenezcan al contenido del material bajo cuestin. Una lista de verificacin, resumen, perfil sern utilizados para verificar las preguntas del instrumento.
Criterio relativo a la validez
Un criterio es definido como el estndar contra el cual una prueba o puntaje de prueba es evaluado. Esto puede ser un nuevo examen de ingreso a la universidad comparado al examen existente. Una prueba es proporcionada sobre el nuevo instrumento con un coeficiente de validez calculado.La validez comn es conducida si la nueva prueba puede ser comparada a el cuestionario vieja si se da dentro de un periodo corto de tiempo una de la otra. La validez proftica es utilizada cuando la nueva prueba es tomada en el periodo de tiempo actual, con el criterio de prueba (prueba estndar) tomado aos despus.
Construccin de validez
Una construccin es un concepto, un comportamiento, una actitud o una idea cientfica utilizada para explicar un desempeo. La construccin puede ser la satisfaccin del trabajo, ansiedad, motivacin o satisfaccin del cliente. La construccin de validez busca empatar las preguntas del cuestionario con las situaciones observadas. Los puntajes altos y bajos del cuestionario deben coincidir con las conductas observadas.
La validez convergente es el grado de asociacin (correlacin) que el instrumento del cuestionario tiene que construir bajo pregunta. La satisfaccin del cliente puede ser medido por un instrumento de muestra y empata al grado de satisfaccin del cliente.
La validez discriminante es el uso de un instrumento vlido que medir lo opuesto a lo construido. En este caso, una medicin de la insatisfaccin del cliente puede estar correlacionada de manera negativa a la satisfaccin del cliente.
Comentarios finales de validez
Huck (1996) noto que cualquier estudio o encuesta puede poseer un alto grado de validez o fiabilidad. El diseo del estudio y el uso de tcnicas apropiadas estadsticas juegan una parte en la obtencin de buenas conclusiones.
Valoracin de la encuesta
Las encuestas pueden ser utilizadas en la investigacin para obtener informacin cualitativa o cuantitativa. Los proyectos pueden estar basados en informacin pura experimental bajo condiciones controladas, tales como en un laboratorio. Muchos proyectos pueden requerir un campo de datos recolectados va algn mtodo como los cuestionarios o entrevistas. La calidad profesional puede tener una necesidad para recolectar informacin en:
Retroalimentacin del cliente
Satisfaccin/insatisfaccin del cliente
Desempeo del proveedor
Satisfaccin del empleado
Efectividad de la capacitacin
Escala Likert
Una escala de puntuacin utilizada comnmente para encuestas es la escala Likert. Pueden ser de 5 puntos, 7 puntos o una escala numrica especial. La escala se puede extender de 1 a 7, de 1 a 9, de 1 a 11, etc. dependiendo de la aplicacin. Por ejemplo:
Fuertemente en desacuerdo1
En desacuerdo
2
Indeciso
3
De acuerdo
4
Fuertemente de acuerdo5
Entre ms favorable el encuestado est inclinado hacia la pregunta, mayor ser el puntaje. As pues, varias estadsticas como la media, la desviacin estndar, coeficientes de correlacin, y otros valores estimados pueden ser sacados de la evaluacin.
Las mediciones son parte del proceso de mejora. La comunicacin de qu tan buena o pobre es la calidad ser expresada en trminos numricos. Con las bases estadsticas apropiadas, las mejoras en el proceso, el servicio al cliente, la satisfaccin al cliente, la retencin del cliente, puede ser determinado.
Evaluacin cualitativa
Muchas evaluaciones no necesariamente se prestan a anlisis cuantitativo. La informacin por naturaleza tiende a ser subjetiva o cualitativa en la naturaleza. Ejemplos:
Preguntas de Si/no
Respuestas de opcin mltiple
Rango de valores
Evaluaciones subjetivas basadas en el sentido humano
Preferencia de color
Desempeo del empleado
Personalidad
Etc,
Ejemplos cualitativos
Es comn correlacionar los rechazos internos de planta con las fallas de campo. Cuando son reportadas cuantitativamente, cierta informacin puede ser determinada. Para encontrar donde las expectativas interna y externas difieren, deben ser comparadas categoras de quejas cualitativas.
El uso del anlisis de Pareto es una herramienta poderosa. Assume que la tasa de desperdicio interno es 8% y la tasa de quejas externas es de 3%. Esta informacin puede ser graficada en una grfica de atributos para ver si alguna tendencia o ciclos existen. Una mejora considerable no ocurrir hasta que categoras de un diagnstico de defectos sea determinado.
Anlisis y uso de los resultados de la encuesta
Los resultados de una encuesta crean deficiencias y oportunidades. Muchos resultados de encuesta son discutidos en detalle entre gerentes clave. El rol de los gerentes de calidad en este intercambio variar de forma considerable. El gerente de calidad puede ser un participante activo en el mejoramiento de la calidad y de la prontitud de los resultados de las encuestas por las siguientes actividades:
Proporcionando formatos de encuestas bien diseados
Proporcionando incentivos para alentar una retroalimentacin adecuada
Proporcionando instrucciones simples para la forma del uso de datos
Realizar auditoras de la encuesta o el proceso de recoleccin de datos.
Promover el uso de tecnologa moderna para recolectar informacin
Promover el uso de herramientas modernas para el anlisis de datos
Promover el uso de conceptos de muestreo modernos
Asegurar que los canales de comunicacin con los que han sido encuestados estn abiertos
Los gerentes de calida y sus departamentos son comnmente llamados para analizar los datos y resumir de una manera digerible para la alta gerencia. De manera colectiva gerentes claves o un comit administrativo revisar los resultados y tomar accin. Comnmente las acciones sern decididas en algn orden de prioridad. Varias versiones (para la misma informacin) pueden ser necesarias:
Un despliegue de categora basado en una frecuencia dcil
Un despliegue de categora basado en costo
Un despliegue de categora basado en el grado de insatisfaccin del cliente
Un despliegue de categora basado en regulaciones gubernamentales
Un despliegue de categora basado en el peso de varias cuestiones
Despus de la asignacin de prioridades por la alta gerencia, las necesidades de mejor son delegadas a fuerzas de tarea, equipos de calidad, equipos contemporneos, etc., para la solucin. El departamento de calidad est involucrado en el rastreo de resultados de esta actividad de mejora mediante grficas, tablas, resmenes ejecutivos. Ejecucion curricular
Estadsticas de total de elemento
Media de escala si el elemento se ha suprimidoVarianza de escala si el elemento se ha suprimidoCorrelacin total de elementos corregidaAlfa de Cronbach si el elemento se ha suprimido
V213,004,444,000-,525a
V312,404,267-,153-,412a
V412,604,044-,137-,435a
V513,004,667-,293-,191a
V613,804,844-,311-,353a
V713,204,844-,311-,353a
V812,203,956,035-,615a
V913,304,011,103-,636a
V1012,604,044-,137-,435a
V1113,204,400-,075-,498a
V1213,404,489-,142-,445a
V1313,203,733,327-,780a
V1412,803,289,024-,739a
V1513,304,900-,322-,324a
a. El valor es negativo debido a una covarianza promedio negativa entre elementos. Esto viola los supuestos del modelo de fiabilidad. Podra desea comprobar las codificaciones de elemento.
Rendimiento acadmico
Estadsticas de total de elemento
Media de escala si el elemento se ha suprimidoVarianza de escala si el elemento se ha suprimidoCorrelacin total de elementos corregidaAlfa de Cronbach si el elemento se ha suprimido
V370,1810979,964,997,996
V470,5511093,273,995,996
V570,3611038,855,990,996
V670,1810978,764,993,996
V770,0010923,600,995,996
V870,5511092,873,992,996
V970,1810980,564,992,996
V1070,7311148,818,990,996
V1169,6410810,655,996,996
V1270,0010924,400,992,996
V1372,1811612,764,986,996
V1472,1811613,764,985,996
V1572,3611671,655,984,996
V1671,0911265,091,986,996
V1770,9111208,491,989,996
V1869,2710697,4181,000,996
V1970,7311148,818,993,996
V2072,3611671,455,985,996
V2171,6411438,255,981,996
Pgina 10 de 10
_1294025626.unknown