13
¿Qué es la validez? La validez se refiere al grado en que la evidencia y la teoría apoyan una interpretación de los puntajes del test, interpretación que está vinculada a los usos propuestos del test. • Un test puede ser confiable pero NO ser válido • Pero no podemos alcanzar una alta validez si no disponemos de un test confiable • Luego, la confiabilidad es una condición necesaria pero no suficiente para la validez Concepto de Validez Standards for Educational and Psychological Testing (1999): La validez se refiere al grado en que la evidencia y la teoría apoyan una interpretación de los puntajes del test, interpretación que está vinculada a los usos propuestos del test. La interpretación de los puntajes del test se refiere a los constructos o conceptos que el test pretende medir El marco conceptual que se elabora para describir el constructo esta en parte determinado por el uso que se le dará a los resultados del test La validación debe ser vista como un proceso que consiste en generar evidencia acerca de la adecuación de la interpretación de los puntajes del test y su relevancia para su uso propuesto. Tradicionalmente se estudian 3 aspectos de la validez: A. Validez de constructo B. Validez de contenido C. Validez de criterio Concepto Unificado de Validez Aunque históricamente se pensaba en distintos tipos de validez, la postura actual y más ampliamente aceptada concibe la validez como un concepto unitario. En la teoría unificada de la validez las distintas fuentes de validación son suplementarias, es decir, la validez no depende de una fuente de validación y ninguna fuente de validación es requisito para establecer la validez de un test. En la teoría unificada las fuentes de validación están subordinadas a la validez de constructo. Distintas formas de clasificar las fuentes de validez: Anastasi, A., y Urbina, S. (2000). i. Procedimientos de la descripción del contenido i. Especificaciones de la prueba ii. Identificar fuentes irrelevantes de varianza en el desempeño (p.e., “think aloud”) iii. Validez aparente ii. Procedimientos de criterio-predicción i. Validación concurrente y predictiva ii. Correlación con otras variables (p.e., alta consistencia con pruebas validadas previamente) iii. Generalización de la validez (p.e., meta-análisis) iii. Procedimientos de identificación del constructo i. Validez convergente y discriminante

La Validez

Embed Size (px)

DESCRIPTION

Cuantitativo

Citation preview

Page 1: La Validez

¿Qué es la validez? La validez se refiere al grado en que la evidencia y la teoría apoyan una interpretación de los puntajes del test, interpretación que está vinculada a los usos propuestos del test.• Un test puede ser confiable pero NO ser válido • Pero no podemos alcanzar una alta validez si no disponemos de un test confiable • Luego, la confiabilidad es una condición necesaria pero no suficiente para la validez

Concepto de Validez Standards for Educational and Psychological Testing (1999): La validez se refiere al grado en que la evidencia y la teoría apoyan una interpretación de los puntajes del test, interpretación que está vinculada a los usos propuestos del test.La interpretación de los puntajes del test se refiere a los constructos o conceptos que el test pretende medir El marco conceptual que se elabora para describir el constructo esta en parte determinado por el uso que se le dará a los resultados del testLa validación debe ser vista como un proceso que consiste en generar evidencia acerca de la adecuación de la interpretación de los puntajes del test y su relevancia para su uso propuesto.

Tradicionalmente se estudian 3 aspectos de la validez: A. Validez de constructo B. Validez de contenido C. Validez de criterio

Concepto Unificado de Validez Aunque históricamente se pensaba en distintos tipos de validez, la postura actual y más ampliamente aceptada concibe la validez como un concepto unitario. En la teoría unificada de la validez las distintas fuentes de validación son suplementarias, es decir, la validez no depende de una fuente de validación y ninguna fuente de validación es requisito para establecer la validez de un test.En la teoría unificada las fuentes de validación están subordinadas a la validez de constructo.

Distintas formas de clasificar las fuentes de validez:Anastasi, A., y Urbina, S. (2000).i. Procedimientos de la descripción del contenido

i. Especificaciones de la prueba ii. Identificar fuentes irrelevantes de varianza en el desempeño (p.e., “think aloud”) iii. Validez aparente

ii. Procedimientos de criterio-predicción i. Validación concurrente y predictiva ii. Correlación con otras variables (p.e., alta consistencia con pruebas validadas previamente) iii. Generalización de la validez (p.e., meta-análisis)

iii. Procedimientos de identificación del constructo i. Validez convergente y discriminanteii. Análisis factorial y consistencia internaiii. Estudios correlacionales y experimentales (p.e., cambios en el desarrollo, correlaciones con

otros tests, intervenciones experimentales)

Procedimientos de la Descripción del Contenido Validez de contenido: Un término utilizado en los Standards de 1974 para referirse a un tipo o aspecto de la validez que era “requerido cuando el usuario del test quiere estimar cómo un individuo se desempeña en el universo de situaciones que el test pretende representar”Validez de Contenido: Las estrategias de validación de contenido buscan verificar si el contenido de un test (itemes, preguntas) representa adecuadamente el contenido del trabajo.

Page 2: La Validez

Pasos a seguir en la construcción de items 1. Identificar el o los propósitos para los cuáles serán utilizadas las puntuaciones de los items. 2. Identificar los comportamientos que representarán el constructo o definirán el dominio. 3. Preparar un set de especificaciones, acotando el número o proporción de itemes que darán cuenta de los comportamientos definidos en (2).4. Construcción de un Banco de Itemes

1. Identificar el o los propósitos para los cuáles serán utilizadas las puntuaciones de los items. En general, podemos clasificar a los test según si miden: a) Rendimiento óptimo (pruebas de aptitudes, conocimientos o habilidades) b) Rendimiento típico (inventarios de personalidad, actitudes)En cualquiera de los casos debemos identificar de antemano PARA QUÉ se utilizará el puntaje o resultado de un test, y A QUIÉN se le aplicará la prueba. En función de ello, se determinará, por ejemplo, el grado de dificultad de una prueba.

Formato de ítems para pruebas de RENDIMIENTO ÓPTIMO Alternativas dicotómicas: un statement o proposición y dos posibles respuestas (verdadero-falso,

sí-no) Alternativas múltiples: se plantea una pregunta o un problema y diferentes soluciones o

respuestas a ello, dentro de las cuáles hay una respuesta correcta y dos o más incorrectas. Emparejamiento: se presenta un principio o criterio según el cual relacionar dos listas separadas

pero relacionadas.Formato de items para pruebas de RENDIMIENTO TÍPICO

Acuerdo-desacuerdo: se puede analizar simplemente sumando los puntajes, o bien, sumándolos pero también ponderándolos (escalamiento tipo Thurstone)

Escala tipo Likert o categorías ordenadas: muy común. Ejemplo: Muy en desacuerdo, En desacuerdo, Ni de acuerdo ni en desacuerdo, De acuerdo, Muy de acuerdo.

Diferencial Semántico de Osgood (también llamado adjetivos bipolares)

2. Identificar los comportamientos que representarán el constructo o definirán el dominio. • Análisis de contenido

Page 3: La Validez

• Revisión de la literatura • Detección de incidentes críticos • Observación directa • Evaluación por jueces expertos • Determinación de objetivos instruccionales o de aprendizaje

- Consideraciones para la elección y construcción de los itemes • Especificación del tipo de ítemes y el tipo de respuesta (formato) • Diferenciar entre contenido sustantivo y proceso cognitivo • Preparar una Tabla de Especificaciones3. Preparar un set de especificaciones, acotando el número o proporción de itemes que darán cuenta de los comportamientos definidos en (2).Las especificaciones del test indican qué contenidos debe incluir la prueba • Otros procedimientos contribuyen a identificar los procesos subyacentes a la generación de respuesta (p.e., “think aloud”) • El análisis de ítemes puede contribuir a identificar fuentes irrelevantes de varianza del test (ver ejemplos a continuación) 4. Construcción de un Banco de Itemes

ÍNDICE DE CONGRUENCIA Se basa en que, idealmente, un ítem debiera emparejarse con un y sólo un objetivo del test.Nota: Para usar esta fórmula, los jueces deben haber sido instruidos para evaluar el grado en que un ítem es representativo del dominio usando la siguiente escala: +1: el ítem mide claramente el objetivo 0: hay dudas de que el ítem mida el objetivo -1: el ítem claramente no mide el objetivo

Síntesis Validez de Contenido • La validez de contenido se refiere fundamentalmente a que el test representa adecuadamente el ámbito que el test pretende medir y no otro • La elaboración de las especificaciones de la prueba es la principal herramienta para asegurar la validez de contenido • Existen procedimientos empíricos para determinar la validez de contenido (p.e., índice de congruencia, “think aloud”) • Anastasi y Urbina (2000) consideran la validez aparente como parte de la validez de contenido del test. Es importante que los examinados sientan que el test mide algo relacionado con el propósito último del test (p.e., para seleccionar un(a) cajero(a) para un supermercado formular problemas de matemáticas relacionados al manejo de dinero)

PROCEDIMIENTOS DE CRITERIO-PREDICCIÓN Validez de criterio: se aplica cuando “uno quiere inferir a partir del puntaje de un test cuál será la posición relativa de un individuo en otra variable distinta denominada criterio” (p. 26)

Page 4: La Validez

Validez de criterio: Concepto Validez referida al criterio: para situaciones donde el examinador quiere hace una inferencia a partir del puntaje del sujeto en relación a su desempeño en un ámbito de comportamiento de relevancia práctica.

Validez Referida al Criterio Concepto Inferencias de las puntuaciones del test a la conducta del sujeto en un criterio de rendimiento externo al propio testDiseño 1. Identificación criterio relevante y método medición 2. Selección de una muestra representativa 3. Administración del test y obtención de puntuaciones 4. Obtener medida del criterio (concurrente o retardada) 5. Determinar el grado de relación entre test y criterio Temporalidad del criterio Validez concurrente - Validez predictiva

Problemas Asociados a la Validación en referencia a un criterio 1. El problema del criterio: establecer buenas medidas de criterio puede ser difícil (p.ej., ¿desempeño laboral?) 2. Tamaño de la muestra: el poder para detectar relaciones entre variables aumenta con el tamaño muestral 3. Contaminación del criterio: una alta relación entre el predictor y el criterio puede ser espuria si alguien que puede interferir en la variable criterio tiene acceso a los puntajes de los sujetos en el predictor. 4. Restricción del rango: selección explícita o incidental; baja variabilidad (efecto de techo o piso); mortalidad 5. Confiabilidad del predictor y el criterio: en general, mientras menor el error de medición del predictor y el criterio mayor puede ser la correlación entre ambos.Análisis que se pueden usar para la validez referida al criterio:• Correlación entre el predictor y el criterio • Diferencia de medias (en el caso que la variable de criterio fuese dicotómica). • Coeficiente de determinación o “R2” • Regresión y error estándar de estimación.

Correlación con otras variables:

Page 5: La Validez

• La validez criterio-predicción también se puede evaluar usando como criterio un test previamente validado• En el contexto de la validez criterio-predicción es indispensable que el test que está siendo evaluado tenga una ventaja en comparación con otros test que miden el mismo constructo (p.e., test más corto o menos costoso)• Ejemplo: uso de test de personalidad autodescriptivos en comparación con test que requieren un evaluador experto como el Rorschach.

Generalización de la validez • Un meta-análisis es un tipo de estudio que sintetiza cuantitativamente los resultados de la literatura científica y estima la correlación existente entre dos variables a nivel de la población (ρ o “rho”) usando el promedio ponderado de las estimaciones puntuales de los estudios primarios. • La evidencia acumulada respecto de la validez predictiva de un constructo también puede ser utilizada como argumento de validez en un estudio local de validación.

PROCEDIMIENTOS DE LA IDENTIFICACIÓN DEL CONSTRUCTO Validez de constructo: Un término utilizado para indicar que los puntajes del test han de interpretarse como indicativos de la posición del examinado en el constructo psicológico medido por el test.

“La validez de constructo de un instrumento es el grado en el que puede afirmarse que mide un constructo o rasgo psicológico” (Anastasi y Urbina, 2000, p. 126) • En un sentido amplio, establecer la validez de constructo involucra los siguientes pasos (Crocker y Algina, 1986)

1. Formular una o más hipótesis acerca de cómo las diferencias en el constructo se relacionan con diferencias en otras variables (e.g., características demográficas, desempeño, medidas teóricamente similares)

2. Seleccionar un instrumento para medir3. Recolectar datos4. Determinar si la evidencia es consistente con las hipótesis formuladas

• Por ello se dice que otros tipos o aspectos de la validez están subordinadas a la validez de constructo, que es un procedimiento más general.• No obstante lo anterior, existen algunos procedimientos que típicamente se asocian con la validez de constructo validez convergente y discriminante, análisis factorial.

Procedimientos para la Validación de Constructo 1. Obtener las relaciones entre las puntuaciones en el test y en otras variables que

deberían relacionarse con el constructo de interés. Si el modelo teórico está bien fundamentado, debe establecer relaciones entre el constructo de interés y otros diferentes, y por tanto debe ser posible establecer diseños de investigación para contrastar las previsiones teóricas.

2. Evaluar mediante el test a grupos que se supone deben ser diferentes en el constructo, para comprobar si realmente es así. Por ejemplo, si un test de inteligencia general para edades infantiles es válido, debería reflejar el mayor rendimiento de los niños de más edad.

3. Utilizar una estrategia experimental para comprobar si el test resulta sensible para detectar los efectos previsibles debidos a la manipulación o selección de los niveles en una o más variables independientes.

4. Aplicar la técnica multivariada del Análisis Factorial (exploratorio o confirmatorio) sobre la matriz de correlaciones entre items, para establecer estadísticamente las variables o dimensiones subyacentes (factores) a la covariación entre los elementos.

Validez convergente y discriminante • Validez convergente: evidencia basada en la relación entre los puntajes de los tests y otras medidas del mismo constructo. Se espera una correlación alta entre medidas del mismo constructo. • Validez discriminante: evidencia basada en la relación entre los puntajes de los tests y medidas de constructos diferentes. Se espera una correlación baja entre medidas de distintos constructos.

Page 6: La Validez

La matriz multimétodo-multirasgo (Campbell y Fiske, 1959) es un diseño experimental sistemático para la aproximación dual de validación convergente y discriminante (ver lámina siguiente)

VALIDEZ: MEDICIÓN E INTERPRETACIÓN Validación local Un estudio de validación local permite demostrar que un test es válido en el contexto particular en el cual se aplica el test.No siempre es necesario demostrar la validez de un test en un contexto local.

Condiciones que afectan a los coeficientes de validez: • Naturaleza o características del grupo evaluado • p.ej., una muestra local puede resolver un problema usando un método distinto al método utilizado por el grupo normativo por lo que la relación del test con el criterio puede cambiar • Heterogeneidad de la muestra. p.ej., efectos de preselección pueden disminuir el coefficiente validez por efecto de restricción del rango • Forma de la relación entre la prueba y el criterio • p.ej., la relación entre la prueba y el criterio puede ser no lineal en la muestra local

¿Cómo se interpreta la magnitud del coeficiente de validez? “Una vez que se ha establecido que una correlación [estadísticamente] significativa entre los resultados de la prueba y el criterio es necesario evaluar el tamaño de la correlación en función del uso que pretende hacerse de la prueba” (Anastasi y Urbina, p. 143)

Error estándar de estimación

Análisis de Utilidad ¿Magnitud de un coeficiente de validez? ¿Cómo se interpreta la magnitud del coeficiente de validez? Una forma de interpretar el coeficiente de validez es estimando qué proporción de la muestra seleccionada es exitosa en relación a un punto de corte específico en el criterio ¿En qué medida el procedimiento de selección aumentó el porcentaje de éxito de los seleccionados? Conceptos básicos:

Coeficiente de validez — la correlación de un test con un criterio Razón de selección: proporción de aplicantes a ser seleccionados (p.ej., se eligirá al 10% de

todos los postulantes) Tasa base: proporción de solicitantes exitosos (p.ej., si seleccionáramos al azar a los postulantes

60% de ellos serían exitosos)

Tablas de Taylor-Russell • Las Tablas de Taylor-Russell dan una estimación de la validez incremental de un test • Validez incremental = ganancia asociada al uso de un procedimiento de selección por sobre no usar el procedimiento Taylor y Russell (1939) demostraron que un test de selección es más útil cuando el coeficiente de validez es alto y la razón de selección es baja • Si el coeficiente de validez bajo el test tendrá poca utilidad como predictor • Si la razón de selección es alta, los resultados del test no son relevantes (seleccionas a un gran número de aplicantes de todas maneras) EL TEST ES MÁS ÚTIL CUANDO EL COEFICIENTE DE VALIDEZ ES ALTO Y LA RAZÓN DE SELECCIÓN ES BAJA

Dos aproximaciones al análisis de ítemes El objetivo del análisis es identificar ítemes defectuosos para revisarlos o eliminarlos del test.

Análisis Cualitativo Adecuación a las especificaciones del test (incluye identificar contenido posiblemente

inapropiado para ciertos grupos) Problemas de estilo y formato Claridad del enunciado

Page 7: La Validez

Opciones de respuesta Análisis Cuantitativo

Dificultad Discriminación Índice de discriminación Correlación ítem-test

Dos aproximaciones al análisis de ítemesEl proceso de análisis de ítemes es recursivo. Distintos tipos de análisis son relevantes, pero el análisis de contenido ocupa un lugar predominante

Lineamientos Generales Para la Redacción de Ítemes (Haladyna, 2004)Contenido

Cada item debe reflejar un contenido específico y sólo un proceso cognitivo de acuerdo a las especificaciones del test

Focalizarse en el contenido importante; dejar fuera cuestiones triviales Usar material novedoso para medir comprensión y aplicación de conocimientos y habilidades Evitar encadenar unos enunciados con otros Evitar cuestiones sobre opiniones Evitar hacer ítemes tramposos

Estilo y Formato Ubicar las opciones de respuesta de manera vertical Editar los ítemes para aumentar claridad Editar los ítemes para chequear gramática, puntación, ortografía, y uso de mayúsculas Simplificar el vocabulario Minimizar el tiempo de lectura Revisar cada ítem

Claridad del Enunciado Dar instrucciones claras Hacer el enunciado lo más breve posible Poner la idea principal del ítem en el enunciado no en las opciones de respuesta

Opciones de respuesta Dos o tres opciones altenativas son suficientes Asignar la posición de la alternativa correcta al azar Generar opciones homogéneas en contenido y estructura gramática Mantener el largo de las opciones aproximadamente igual Usar la alternativa “Ninguna de las anteriores” muy ocasionalmente Evitar usar la alternativa “Todas las anteriores” Evitar palabras negativas como “No” o “Excepto” Evitar usar opciones que sugieran la respuesta correcta Hacer los distractores plausibles Usar errores típicos de los estudiantes al construir los distractores

Análisis de las Opciones de RespuestaEn el análisis de opción de respuestas, es importante tener presente:a) La proporción de sujetos que elijen la opción correcta.b) Si existe alguna tendencia marcada por un distractor u opción incorrecta que pueda parecer demasiado atractivac) La correlación entre las opciones incorrectas y el total del test (debiera ser negativa o cercana a cero)

Indice de dificultad Elección del Nivel de Dificultad: En general, se persigue la máxima variabilidad en el nivel de

rasgo de los sujetos. Para ello se eligen los ítems de dificultad media. (0.40 –0.60). Po: .50 + .50/m

Discriminación del reactivoCapacidad de un ítem para diferenciar correctamente entre los examinados en relación con la conducta que se quiere medir (Anastasi y Urbina, 1999)Criterio:

Interno (total del test) Externo (desempeño en otro test o medida externa independiente)

Page 8: La Validez

Índices de discriminación Uso de grupos extremos Correlación ítem-test (p.ej., correlación biserial y punto biserial)

Índice de discriminación Su uso es exclusivamente para ítems dicotómicos. Supone generar puntos de corte para generar dos grupos de alto y bajo rendimiento en la prueba o un criterio externo.Tabla para la interpretación del índice de discriminación:Si D ≥ .40, el item funciona satisfactoriamenteSi .30 ≤ D ≤ .39, requiere poca o nula revisión.Si .20 ≤ D ≤ .29, requiere revisiónSi D ≤ .19, el item debiera ser eliminado o revisado completamente

Índice de Homogeneidad Índice de Validez Correlación Punto Biserial: Para realizar análisis de correlación sobre variables donde al

menos una de ellas es dicotómica (correcto/incorrecto). Es una alternativa al cálculo de r de pearson y se computa de manera más sencilla. El resultado es exactamente el mismo.

Criterio para la elección de items en función del Índice de Homogeneidad (1)• Cuando dos ítems tienen la misma correlación con el criterio, es preferible seleccionar aquel que tenga mayor varianza y que, por lo tanto, aporta en mayor medida a la confiabilidad del test. • Cuando disponemos de un número limitado de ítems y nos interesa retener aquellos que hagan una contribución positiva al parámetro de interés, se puede establecer un nivel MÍNIMO para el índice de homogeneidad en función de la significancia estadística de la correlación item-test.

ANÁLISIS FACTORIALPropósito del Análisis Factorial:…evaluar la validez de los puntajes de un test (deductivo)…desarrollar una teoría sobre la naturaleza de un constructo (inductivo)…reducir la complejidad de un conjunto de variables en la forma de un conjunto proporcionalmente más específico de factores a utilizarse en análisis posteriores (reducción de datos)

Tipos de Análisis Factorial• Análisis Factorial Exploratorio (AFE)– El investigador NO tiene expectativas específicas sobre el número o naturaleza de los factores subyacentes• Análisis Factorial Confirmatorio (AFC)– El investigador SI tiene expectativas sobre:

- el número de factores. - Qué variables cargan en qué factores- La relación entre los factores

¿Qué es el análisis factorial? Abad, Garrido, Olea y Ponsoda (2006)- El análisis factorial es una técnica estadística multivariante que sirve para estudiar las

dimensiones que subyacen a las relaciones entre varias variables. Normalmente toma como datos de partida la matriz de correlaciones entre las n variables que interesa analizar.

Un factorRequiere al menos3 ítemsEn su expresión más simple cada ítem tiene un valor de regresión para el factor y un error

Page 9: La Validez

Dos factores•Al menos 2 ítems por factor, asumiendo que los factores están correlacionados•Si los factores no están correlacionados, al menos3 ítems por cada factor son necesarios•La correlación entre los factores produce ciertas restricciones que producen valores únicos para las cargas factoriales

Estructura simple•Cada ítem correlaciona con un solo factor.

¿Qué es el análisis factorial?En la práctica el análisis factorial se aplica en dos pasos. En primer lugar se obtiene la solución inicial, lo que permite evaluar la bondad de ajuste del modelo y determinar el número de factores. En segundo lugar se realiza una rotación, ortogonal u oblicua, según los propósitos del investigador. La solución rotada sirve para interpretar el sentido de los factores. Si se realiza la rotación ortogonal, es posible calcular las comunalidades, unicidades y la varianza explicada por cada factor. Si se realiza la rotación oblicua, se obtiene la correlación entre factores y unas saturaciones más sencillas de interpretar.Rotación En realidad existe un conjunto de saturaciones que satisfacen esta ecuación (de hecho este conjunto es infinito). Por ejemplo: Cualquiera de estos conjuntos de saturaciones puede obtenerse por un procedimiento llamado rotación Cuando dos conjuntos de saturaciones se obtienen a través de rotación, cada conjunto “carga” en un mismo número de factores y da cuenta de las correlaciones de la misma manera. Sólo cambian los tamaños de las cargas factoriales.Si hay un número infinito de conjuntos de saturaciones que satisfacen esta ecuación ¿Cómo elegir cuál de ellos interpretar? propone que el conjunto más apropiado es aquel que mejor cumple el criterio de la estructura simple, esto es, que cada test debiera tener altas saturaciones en el menor número posible de factores y correlaciones bajas o iguales a cero en el resto de los factores. Las ecuaciones utilizadas para transformar la solución inicial (sin rotar) intentan que las saturaciones rotadas se ajusten al criterio de la estructura simple.Rotación Ortogonal versus Rotación Oblicua Aunque los factores son variables inobservables pueden estar o no estar correlacionados entre ellos. Cuando los factores subyacentes no están correlacionados la solución rotada se denomina solución ortogonal. Cuando los factores sí están relacionados, se recomienda utilizar la solución llamada oblicua. En la rotación ortogonal los ejes correspondientes a cada factor se mantienen perpendiculares, mientras que en el caso de la rotación oblicua, el ángulo que forman los ejes pueden ser distinto de 90°

Page 10: La Validez

Matriz de Correlaciones Reproducida vs Matriz de Correlaciones Observadas Puesto que generalmente el análisis factorial se realiza sobre datos muestrales, las cargas factoriales asociadas a las distintas variables no producirán una matriz de correlaciones exactamente igual a la matriz de correlaciones observadas. La matriz de correlaciones reproducidas (MCR) sólo será igual a la matriz de correlaciones observadas (MCO) cuando el número de factores extraídos sea igual a N – 1, esto es, el total de test o variables exploradas menos 1. Cuando el número de factores extraídos es menor que N – 1, habrán diferencias entre la MCR y la MCO.

Comunidad y unicidadUn factor común es un factor al cual se encuentran asociados dos o más test o ítems. Un factor único se relaciona sólo con un test. Una pregunta importante en el análisis factorial es cuál es la proporción de varianza de un test o ítem que se relaciona con la varianza común. Esta cantidad se conoce como comunalidadLuego, la proporción de la varianza asociada con el factor único, denominada unicidad o varianza únicaLa comunalidad de un ítem se puede interpretar como el límite inferior de la confiabilidad de los puntajes de un item. En este caso, la confiabilidad del item 1 es “al menos” .354Eigenvalues • El número de eigenvalues es igual al número de variables (items, tests) analizadas • La suma de los eigenvalues es igual al número de variables medidas • Al dividir un eigenvalue por el número de variables medidas de obtiene la proporción de varianza explicada por el factor • La suma de los eigenvalues de los factores extraídos dividido por el número de variables medidas indica la proporción de información de la matriz analizada que los factores extraídos, en conjunto, reproducen.

Análisis Factorial Exploratorio Ejemplo Paso a Paso 1. Determinar matriz a ser analizada 2. Número de factores a extraer 3. Método para extraer los factores 4. Tipo de Rotación 5. Obtener puntajes en el factor.

1. Determinar matriz a ser analizada • La matriz de correlaciones de Pearson es la matriz analizada por defecto • Una alternativa es construir una matriz usando la rho de Spearman como coeficientes de asociación • A diferencia de r que utiliza datos intervalares, rho sólo considera el orden de los datos (datos ordinales) • Otra matriz que utilizaremos en AFC es la matriz de varianza-covarianza

Page 11: La Validez

2. Número de factores • Existen diferentes estrategias para determinar el número de factores (ver Zwick & Valicer, 1986) • La más ampliamente utilizada es la regla de “Eigenvalues mayores que 1” (Guttman, 1954) • Otra estrategia consiste en inspeccionar el gráfico de sedimentación (o scree plot) • El análisis paralelo (Horn, 1965) compara los eigenvalues de la matriz original con los eigenvalues de una matriz similar pero que ha sido aleatoriamente reordenada

3. Método para extraer de factores • Análisis de componentes principales (o principal components analysis) – Asume perfecta confiabilidad de los puntajes de las variables medidas (i.e., usa 1s en la diagonal de la matriz de correlaciones) – Tiende a reproducir la varianza de los datos de la muestra (en vez de la población)• Análisis de ejes principales (o principal axes factoring) – Reemplaza los 1s de la diagonal utilizando uno de los siguientes métodos:

• Comunalidades obtenidas mediante análisis de componentes principales • Confiabilidad conocida de los tests utilizados• Regresión múltiple para una variable medida en función de todas las otras variables

medidas (SPSS usa este método para obtener las comunalidades iniciales)

4. Tipo de rotación • Muchas veces las expectativas sobre la estructura factorial puede no coincidir (aparentemente) con el patrón de factores de la solución sin rotar • Rotar quiere decir mover los ejes de los factores en el espacio de modo de faciltar la interpretación de los constructos subyacentes • La rotación NO afecta (a) las comunalidades ni (b) la varianza total explicada por los factores • Pero SI puede redistribuir la varianza explicada por cada factor ya que la rotación intenta producir una estructura simple • (No es posible hacer una rotación cuando hay sólo un factor)

• Ortogonal => factores independientes o no correlacionados – Varimax (preferida): se focaliza en maximizar las diferencias entre las cargas factoriales asociadas a un factor – quartimax: se focaliza en maximizar las diferencias entre las cargas factoriales de las variables • Oblicua => factores no independientes o relacionados – Promax, oblimin

5. Obtener puntajes en el factor • En algunos casos, el propósito del análisis factorial es reducir el número de variables medidas a un conjunto de factores que son el objeto de posteriores análisis • Los puntajes factoriales obtenidos están estandarizados (tienen una media igual a 0 y una desviación estándar igual a 1) • Este método (llamado método basado en regresión) permite comparar factores entre grupos • Otros métodos producen factores con medias distintas (e.g., Thompson, 1993) que son útiles cuando el propósito es comparar las medias de los factores