T7 PSCMTR_Validez de Las Inferencias II

PSICOMETRÍA (GRADO 2011 2012)

TEMA 7 – VALIDEZ DE LAS INFERENCIAS (II)

1.- ORIENTACIONES DIDÁCTICASSe aborda el estudio de validación cuando se utilizan varios predictores y también se expone la forma de analizar la validez de las decisiones que se tomen a partir de las puntuaciones de los sujetos en el test o batería de tests.Importante su entendimiento:– Correlación múltiple, parcial y semiparcial. - Error típico de estimación múltiple. - Coeficientes de determinación, alienación y valor predictivo múltiples.– Cosntruir y aplicar ecuaciones de regresión múltiple en los distintos tipos de escalas (directa, diferencial y típica).– Cómo seleccionar los predictories más adecuados de entre un conjunto de ellos.– Cómo analizar la validez y utilidad de las decisiones tomadas a partir de las puntuaciones de los tests y qué factores influyen en el coeficiente de validez y porqué.

2.- VALIDACIÓN CON VARIOS PREDICTORES Y UN SOLO INDICADOR DEL CRITERIOPara cubrir un puesto de trabajo en empresa, se debe analizar necesidades y características del mismo y ello nos dará datos de cuáles son las aptitudes o variables de personalidad mejores para cubrir el puesto o no adecuadas para él. Para el estudio de las variables que van a incidir en él se procede a:> Seleccionadas a priori aptitudes o conocimientos de personalidad (VV preditoras) , se seleccionan tam- bién instrumentos adecuados.> La medida obtenida de la V predictora se compara con la medida criterio de éxito en el puesto de trabjo a partir de uno o varios indicadores: existe la posibilidad de que correlacionen de forma alta las medidas de de la variable predictora y las del criterio; que algunas no correlacionen con esta, y que además, correlacionen entre sí las VV predictoras. De ello el considerar a algunas y no a otras (se eliminan) y de qué forma se debe combinar la información obtenida a partir de las variables predictoras para que el pronóstico sea efectivo.La correlación múltiple y el modelo de regresión lineal múltiple dan grlmente solución a los problemas que se generan al querer conocer la influencia de VARIAS VARIABLES PREDICTORAS CUANTITATIVAS en otra CRITERIO CUANTITATIVA . (Si fuera V predictora cuantitativa y criterio discreto el procedimiento mejor a aplicar es análisis discriminante y si el criterio es dicotómico se puede utilizar la regresión logística)El modelo de regresión lineal múltiple permite obtener ECUACIÓN de REGRESIÓN, ponderando y combinando las VV predictoras seleccionadas, eliminando las VV que no aporten información y reduciendo los errores de pronóstico para estimar el criterio. Se introduce al proceso también la correlación parcial y semiparcial.-> CORRELACIÓN PARCIAL:permite interpretar el grado de correlación entre la VARIABLE CRITERIO (Y) y una de las variables predictoras, eliminando de antemano el efecto que sobre la correlación estén ejerciendo el resto de VV. RYX2·X1 (Correlación de la correlación de Y- criterio- con X2, con la X1) esta elimina la influencia de la variable X1RYX1·X2 es correlación de la de Y con X1 y esta con la X2. En esta se elimina la influencia de la V X1

RYX1·X2 = r YX1 - r YX2 · r X1·X2 √(1 – r²YX2) ·(1 – r²X1X2)RYX2·X1 = r YX2 - r YX1 · r X1·X2 √(1 – r²YX1) ·(1 – r²X1X2)para todos los cálculos hay que hallar siempre antes cada correlación a no ser que nos den los datos directamente: rYX2 ; rYX1 ; r X1·X2 , los cuadrados de r,...-> CORRELACIÓN SEMIPARCIAL:permite conocer grado de correlación entre la V criterio (Y) y una de las variables predictoras, eliminando el efecto que sobre ésta variable predictora puedan estar influyendo el resto de VV.Elimina la influencia que una Vpred ejerce sobre otra predictora, no sobre la correlación en sí (esto sería c.parcial)

R ó r (indistintamente) Rr Y(x1· x2x3 x4x5 x6...) se elimina de X1, las restantes....

.r Y(x1· x2)= r YX1 - r YX2 · r X1·X2 √ 1 – r²X1X2Expresa correlación de Y-criterio y la variable X1 cuando de ésta se elimina la influencia de X2.r Y(x2· x1)= r YX2 - r YX1 · r X1·X2 √ 1 – r²X1X2

Goretti Glez – PSICOMETRÍA tema 7 1

Descargado del campus felizmente, http://campus.felizmente.info Autorizado sólo para uso personal

2.1. El coeficiente de validez múltipleViene dado por la correlación múltiple entre puntuaciones de la muestra en V criterio y las obtenidas en el conjunto de variables predictoras. El coeficiente analiza el grado de ASOCIACIÓN entre la VD (criterio) y las predictoras (cuando son dos : X1 y X2)RY · X1X2 = r ² YX1 + r ² YX2 - 2 r YX1 r YX2 r X1X2 √ 1 - r²X1X2Otra forma de expresarlo:RY·X1X2 = √ b*

1rYX1 + b*2rYX2

Y = puntuaciones obtenidas por los sujetos en el criterio.X1 y X2 = puntuaciones obtenidas por los sujetos de la muestra en las dos variables predictorasb*1 y b*2 = coeficientes de regresión en puntuaciones típicas

2.2. El modelo de regresión lineal múltipleLas ecuaciones de regresión múltiple ya no son de una RECTA sino de un PLANO ( dos VV predictoras) o hiperPLANO (más de dos) Teniendo n Vvpredictoras la ecuación hiperplano:Y´ = a + b1X1 + b2X2 + b3X3 + ................bnXndonde Y´ => puntuación pronosticada en el criterios según los datos aportados por a; b, Xna = ordenada en el origen ( punto de corte de la vertical en la gráfica, je,je)b1 no es lo mismo que b*1b1, b2, ......bn = coeficientes de regresiónX1, X2, .....Xn = variables predictorasPara construcción de las ecuaciones de regresión es necesario calcular primero los coeficientes.Utilizamos para los siguientes apartados solo dos VV predictoras (si fueran más hay que recurrir a programas informáticos, pues es muy costoso su desarrollo)Y´ = a + b1X1 + b2X2

2.2.1. Ecuaciones de regresión

PUNTUACIONES DIRECTAS PUNTUACIONES DIFERENCIALES PUNTUACIONES TÍPICASPara hallarlas, antes hay que conocer los coeficientes b o b* o a ( X1 = 0...) :. a = Y – b1X1 – b2X2 b1 = b*1 · Sy b2 = b*2 · Sy

Sx1 Sx2

a = 0

b*1 = rYX1 – rYX2 · rx1x2

1 – r2x1x2

b*2 = rYX2 – rYX1 · rx1x2

1 – r2x1x2

Y´= a + b1X1 + b2X2

Los coeficientes b de regresión son iguales en puntuaciones directas como en diferenciales. Y´= b1x1 + b2x2

Sx1, Sx2 y Sy => desv.típicas criterios y de VV predictoras

ZY´ = b*1·Zx1 + b*2· Zx2

rYX1, rYX2 = correlaciones entre V criterio (V dependiente) y VV predictoras (VV independientes) rx1x2 = correlación entre las dos predictoras. .a = 0 ordenada en origenGoretti Glez – PSICOMETRÍA tema 7 2

. a = ordenada en el origen del PLANO de regresión. Término independiente y equivale al valor que toma la variable criterio cuando X

1 = X

2 = 0

. b1 = indica lo que AUMENTA el criterio al aumentar en una

unidad la variable X1 mientras permanece constante la variable X

2


Es curioso como para hallar la ecuación de regresión en puntuaciones directas se necesita primeramente tener datos de las diferenciales y de la típicas del coeficiente de regresión (b*). sin este no se halla (b) y sin este no tenemos (a). -> Los coeficientes (b) de regresión son iguales en puntuaciones directas como en diferenciasles.-> Las ecuaciones de los planos de regresión en puntuaciones directas y diferenciales corresponden a planos paralelos.-> Las ecuaciones de los planos de regresión en puntuaciones diferenciales y típicas pasan por el origen de coordenadas.2.2.2. La varianza residual o varianza error y el error típico de estimación múltipleEn la medida en que el coeficiente de valide sea más alto, la estimación será más exacta, y en el límite, cuando el coeficiente de validez fuera la unidad, el valor estimado coincidiría con la puntuación que realmente obtuvieran los sujetos en el criterio. No obstante el coeficiente no será perfecto (=1 en valor absoluto (sin signo)) y la estimación vendrá afectada por el error de estimación que equivale a la dife- rencia entre la puntuación que hha obtenido un sujeto en el criterio y la que se le pronostica mediante ecuación (Y – Y´).Con cada sujeto un determinado error de estimación. A la varianza de todos los errores de estimación cometidos por los sujetos de la muestra se le llama VARIANZA RESIDUAL, VARIANZA ERROR o ERROR CUADRÁTICO MEDIO y su fórmula es : N => número de sujetos en la muesta

S2Y·X1X2 = ∑(Y – Y´ )2

NEsta varianza error representa la variabilidad media de las puntuaciones de los sujetos en el criterio respecto a la puntuación que se le pronostica mediante la recta de regresión. A su desviación típica se le denomina ERROR TÍPICO de ESTIMACIÓ MÚLTIPLE:SY·X1X2 = ∑(Y – Y´ )2

N

SY·X1X2 = Sy √ 1 – R2y·x1x2

SzY· x1x1 = √ 1 – R2y·x1x2

2.2.3. Intervalos de confianzaLas estimaciones conviene hacerlas por intervalos pues condicionan los errores de estimación al hacer los pronósticos. Si los errores se asume se distribuyen según la normal cuya desv.típica viene dada por el error típico de estimación múltiple, se establece intervalo confidencial en torno a la puntuación pronosticada. Pasos a seguir: (1) Determinar n.c. , y buscar su puntuación típica asociada (tabla de Z) ; (2)Calcular el error típico de estimación múltiple; (3) Calcular el error máximo; (4) Aplicar la ecuación de regresión correspondiente y obtener la puntuación pronosticada, y (5) establecer el intervalo de confianza.(1)

nc --> Zc asociadaejemplo99% --> 0,99tabla 1 pág.100ojo (bilateral 1 – 0,99 = 0,01 => 0,01/2= 0,0051 – 0,005 = 0,995 => Z correspondiente 2,58)

(2)

Error típico:

SY·X1X2 ó SzY· x1x1

(3)

Error máximo:

Emax = Zc · (SY·X1X2)diferenciales o directasemax = Zc · (SZY·X1X2)típicas

(4)

Ecuación regresión:

y´Y´

ZY´

(5)

Intervalo confianza:

y´ ± Emax Y´± Emax

Zy´ ± emax



2.3. Interpretación de la evidencia obtenida acerca de la capacidadSe interpretan los resultados siempre en base a tres coeficientes : CD, CA y CVPSe parte de saber la varianza total de las puntuaciones obtenidas S2Y por los sujetos en el criterio ( varianza de Vdependiente) como la suma de la varianza de las puntuaciones pronosticadas a partir de las variables predictoras y la varianza de los residuos o varianza error.

S2Y = S2

Y´ + S2Y·X1x2.A partir de esta se puede hallar la varianza de puntuaciones de los sujetos en el criterio que se puede explicar a partir de las puntuaciones de las VV predictoras y qué proporción no se puede explicar y co- rresponde a residuos.La proporción de varianza que sí se puede explicar a partir de la variación debida a la influencia conjunta de las dos variables predictoras es igual al coeficiente de validez al cuadrado (R2

YX1 X2)Desde este punto igualmente se halla la varianza error y el error típico (siempre lo mismo pero ahora en múltiple) S2Y·X1x2. ; SY·X1x2. (En el libro solo se reflejan los pasos de una a otra fórmula tras aplicar diferentes operaciones)

2.3.1. Coeficiente de determinación múltipleC.D. = R2 YX1 X2 es el coeficiente de validez al CUADRADO (no es más que eso) representa la proporción de la varianza de

las puntuaciones de los sujetos en el criterio (Y -> Vdpte) que se puede pronosticar a partir del conjunto de variables predictoras. Varianza común o asociada entre el criterio y las predictoras.

2.3.2. Coeficiente de alienación múltiple

C.A. = K = SY· X1X2 = √ 1 - R2 YX1 X2

SYaunque la fórmula coincida con la del error típico de estimación en puntuaciones típicas, para interpretar este coeficiente hay que saber que indicar la proporción que representa el error típico de estimación múltiple respecto a la desv.típica de las puntuaciones en el criterio.En la medida en que el error típico sea más pequeño que la desv.típica del criterio , el coeficiente K = CA será menor. K oscila en múltiple igual que en simple entre 0 y 1, y será MÁXIMO cuando el coeficiente de validez sea 0 y será MÍNIMO cuando el coef.de validez valga 1 (¡¡ojito con esto chiqui !!)El coeficiente de alienación al cuadrado C.A.2 es el complementario del C.D. Pues CD es igual a 1 – CA2

2.3.3. Coeficiente de valor predictivo múltipleEs el complementario de C.A. CVP = 1 – CA CVP = 1 - √ 1 - R2 YX1 X2

Proporción (o porcentaje x100) de seguridad con que se hacen los pronósticos.

2.3.4. Ejemplo Página 354 a 361 (“Explícome”en el archivo de fórmulas y para qué... T7)Se quiere averiguar si la fluidez verbal y la extraversión son dos variables que favorecen el número de ventas en un laboratorio farmarceútico. Para comprobarlo, se ha seleccionado una muestra de seis ven- dedores a los que se les han pasado dos pruebas, una de fluidez verbal (X1) y otra de extraversión (X2); asimismo, este grupo ha sido evaluado por sus jefes en un criterio de pericia como vendedor, utilizando como indicador el número de ventas (en miles de euros) que realiza cada uno de ellos en n mes (Y)TABLA 7.1 con datos del ejemplo y a partir de ahí se desarrolla............



2.4. Métodos para seleccionar las variables predictoras más adecuadas(Esto me recuerda a DIAD) En diferentes análisis se puede disponer de distintos predictores (VV Indptes) para pronosticar criterio (Y) pero antes de su uso conviene comprobar de que en realidad contribuyan de significativamente a explicar una parte de la varianza que no sea explicada por ningún otro predictor. Existen varios métodos: Forward (Stepwise - hacia adelante) y Backward (hacia atrás). 2.4.1. Métodos Forward

Stepwise es el más utilizado:1.- Se calculan las inter - correlaciones entre las distintas variables2.- Se selecciona en PRIMER lugar la V predictora (indepte cuya correlación sea la más alta con el criterio) y se construye la ecuación de regresión.3.- Se van añadiendo en la ecuación de regresión, una a una, las demás siguiendo la pauta : la 2ª que entrará en juego será la que aplicándole la correlación semiparcial con el criterio sea la más alta, pues se supone eliminada el efecto de la primera. Seguidamente , la tercera variable a incluir, sería la que tuviera con el criterio correlación más alta, una vez eliminadas las anteriores y así sucesivamente.4.- Cada vez que se incluye una variable predictora en la ecuación de regresión se calcula el aumento que se produce en el porcentaje de varianza del criterio que explican el conjunto de VV seleccionadas (aumento en el coeficiente de determinación múltiple) y se analiza si es estadísticamente significativo o no. Cuando no lo sea, finaliza la inclusión de predictores.Gracias ya a los programas informáticos (SPSS).2.4.2. Método BackwardInverso al anterior (menos uso) :1.- Cálculo de correlación múltiple al cuadrado (CD = R2Y X1x2x3x........xn ) entre V criterio (Y) y el conjunto de predictores que se tengan.2.- Se van eliminando una a una las VV menos relevantes calculando en cada proceso de eliminación la reducción que se produce en el CD.3.- El proceso termina cuando la reducción sea significativa.2.4.3. EjemploPágina 363 a 366 (“Explícome”en el archivo de fórmulas y para qué... T7) EJEMPLO: Supongamos que para la predicción del éxito como piloto (Y) se cuenta con tres posibles variables predictoras: Destreza manual (X1), Razonamiento espacial (X2) y Control emocional (X3), y se encarga a un psicólogo el estudio de validación correspondiente a fin de encontrar la ecuación de regresión que contribuya mejor a la predicción del criterio. La muestra de validación utilizada estuvo formada por 300 pilotos. TABLA 7.3 -> MÉTODO DE STEPWISE:

TABLA 7.3 MATRIZ DE INTERCORRELACIONES

Y X1

predictora

X2

predictora

X3

predictora

Ycriterio 0,80 0,75 0,86

X1 1 0,60 0,70

X2 1 0,65

X3 1

5º .......................................... Comprobación con F para el nivel de significación del aumento en valor de la correlación múltiple: F = N – K – 1 R2Y KX - R2

Y JX = F( k – J ) (N -K – 1) g.l. K – J 1 – R2 Y K XK = > predictores finales incluidos J => predictores incluidos hasta paso anterior


1º La predictora que correlaciona más con el criterio es la ryx3 = 0,862 º se calcula la CORRELACIÓN SEMIPARCIAL eliminando de X1 y X2 la influencia que pudiera estar produciendo su relación con la Variable X3

ry(x1x3) a tener en cuenta que x3 es la que se coloca al final del paréntesis

por ser la eliminada en correlación semi parcial ry(x1x3) = 0,28

ry(x2x3) = 0,25

3º La X1 será la siguiente pues la correlación ry(x1x3) es más alta. Será la que

siga formando parte de la ecuación de regresión.4º Se determina el CD (coeficiente de determinación R2 al introducir la segunda variable X1 con las restantes


-> MÉTODO DE BACKWARD: Siguiendo con el mismo ejemplo, se procede en sentido contrario o inverso al Stepwise.1º se obtiene la correlación múltiple al cuadrado R2 Y · X3X1X2 = 0,86SU EXPLICACIÓN EN EL ARCHIVO de Fórmulas y para qué T73.- VALIDEZ Y UTILIDAD DE LAS DECISIONESSiguen los procedimientos que permiten analizar la validez de las decisiones tomadas a partir de las puntuaciones obtenidas por los sujetos en un o varios tests, en relación a un criterio dicotómico.Sabemos que si las VV predictoras fueran VV cuantitativas y el criterio Dicotómico, el procedmto. estadístico mejor a emplear sería la regresión logística. Pero si las puntuaciones obtenidas en el test se dicotomizan a partir de un punto de corte de manera que se asignen a dos categorías ( Admitido-Rechazado ; Aptos – no aptos; enfermos – no enfermos,...) lo más adecuado es analizar la validez de las inferencias mediante índices que reflejen la consistencia o acuerdo entre las decisiones basadas en test y la medida criterio. TRC son los referidos.

3.1. Índices de validez y de selecciónSupongamos resultados del proceso de validación de sujetos que se seleccionarán para hacer el Doctorado de metodología de las Ciencias del Comport.de la UNED y no se sabe si la prueba de admisión con la que contamos puede servir a nuestros propósitos. Se prepara estudio de validación. Se fija punto de corte (Xc). Una vez admitidos a todos, al final del curso se les presenta prueba de rendimiento ( R ) en los cursos de Doctorado (A) . Se diferenciarán entre los de bune rendimiento y nulo. De esta forma se evi- denciará si la prueba de selección era válida o no para la aplicar en el siguiente curso. TABLA 7.4 CLASIFICACIÓN DE LOS SUJETOS EN FUNCIÓN DEL TEST Y DEL CRITERIO

CRITERIO

A R

TESTA NAA (18) NAR (2) NAT (20)

R NRA (3) NRR (27) NRT (30)

NAC (21) NRC (29) N (50)De la tabla: -> NAA + NRR = (ACIERTOS) Número de sujetos calificados inicialmente de igual forma en prueba de selección (test) y en el criterio (Y). NAA fueron aptos prueba y en criterio y NRR fueron rechazados en ambas calificaciones.-> NRA = ( falsos NEGATIVOS) Sujetos que superaron el criterio de rendimiento pero no habían pasado la prueba de admisión en punto de corte. En proceso de selección habrían sido rechazados pero deberían haber sido admitidos.-> NAR = (Falsos POSITIVOS) sujetos que en prueba de admisión superaron el pto de corte y luego no superaron el criterio de rendimiento. No deberían haber sido admitidos en prueba de selección pero al superar el punto de corte en el predictor serían admitidos.-> NAC = Nº de sujetos considerados aptos en criterio-> NRC = nº de sujetos considerados no aptos en el criterio-> NAT = nº de sujetos considerados aptos en el test-> NRT = Nº de sujetos considerados no patos en el test.

· Fc => Nº de casos donde hay coincidencia entre las puntuaciones del predictor y las del criterio· Fa => Nº de casos en los que cabe esperar que las calificaciones del predictor y las del criterio coincidan por azar.· N => nº de personas de la muestra.

Fc = NAA + NRR = (18 + 27) = 45 Fa = Suma de las frecuencias esperadas en casillas AA y RR AA = (NAT + NAC) / N = 20 X 21 / 50 = 8,4

RR = ( NRT + NRC) / N = 30 X 29 / 50 = 17,4 era lo esperadoAplicado a nuestro ejemplo K = 0,79 (el máximo será 1) por lo tanto la prueba de validez es alta.


3.1.1. Índices de validez: 1º Coeficiente KAPPA

K = Fc - Fa N - Fa


Otra información para valorar los resultados de la decisión adoptada:2º Proporción de clasificaciones correctas P.C.C 3º Sensibilidad: índice que equivale a la proporción de aspirantes correctamente seleccionados mediante la prueba de admisión respecto al total de los sujetos que rindieron satisfactoriamente en los cursos (S)4º Especificidad: Proporción de aspirantes que fueron correctamente rechazados mediante la pruebadeadmisión respecto al T de los que no alcanzaron un rendimiento adecuado ( E) 5º Razón de eficacia: Proporción de aspirantes seleccionados mediante prueba de admisión queriendieron satisfactoriamente en el doctaro. ( R.E. )

KAPPA = 0,79

K = Fc - Fa N - Fa

P.C.C. = 0,90

P.C.C. = NAA + NRR

N

Sensibilidad :admisión correctoS = NAA = 0,86 NAC

Especificidad (rechazo correcto)E = NRR = 0,93 NRC

Razón de eficacia

R.E. = NAA = 0,90 NAT

3.1.2. Índices de selección Otros índices que ofrecen información acerca del resultado del proceso:1º Razón de idoneidad: R.I. Equivale a la proporción de aspirantes que rindieron satisfactoriamente en el criterio (Y) Estos fueron los idóneos finales2º Razón de selección: R.S. Proporción de aspirantes que han sido seleccionados mediante el test. R.I. = NAC N R.S. = NAT N

3.2. ¿Dónde situar el punto de corte?Es importantísimo el valor del punto de corte sobre la validez de cualquier prueba y sobre el criterio ya que este es el que nos va a permitir definir las dos categorías de rendimiento.RESULTADO DE LAS DECISIONES: Figura 7.1.Aceptados

CRITERIO

Rechazados

FALSOS NEGATIVOS ACIERTOS VERDADEROS

POSITIVOS

AA

RR

RECHAZADOSVERDADEROS

aaAR

FALSOS POSITIVOS

TEST

otro detalle a tener en cuenta para situar el punto de corte. Desde el punto de vista de la Tª de la decisión estadística diríamos que el punto de corte habría que co- locarlo teniendo en cuenta la matriz que refleje las “pérdidas” y “ganancias” derivadas de las decisiones adoptadas. Se suelen utilizar dos criterios en ambiente de incertidumbre que son el Criterio maximin (elegir alternativa que entre los resultados más desfavorables, le permita obtener la máxima ganancia -máximo de los mínimos) y el Criterio minimax (estudiar las alternativas que le proporcionarán las máximas pérdidas y de ellas la que le proporcione una pérdida menor (mínimo de los máximos).Goretti Glez – PSICOMETRÍA tema 7 7

Elipse inclinada , siendo a la vista áreas mayores las de AA y RR.La eplipse representa el diagrama de distribución conjunta de las puntuaciones obtenidas por los sujetos de la muestra tanto en el test predictor para probar como en el criterio. Las líneas que se cruzan formando 4 partes son los puntos de cortes respectivos y deben estar en lugar adecuado. Dado que la validez de las decisiones que se tomen va a depender de donde se sitúe el punto de corte, habrá que buscar el valor de éste que maximice la capacidad predictiva de la V predictora.También importante analizar las consecuencias de las decisiones, pues no siempre es igual cometer un tipo de error que otro, y es

RA AA

RR AR


3.3. EjemploEjemplo anterior de la selección de alumnos al curso de doctorado... Supongamos grupo de 10 aspirantes y calificaciones en prueba y en criterio de rendimiento según figura 7.5. siguiente:TABLA 7.5 DATOS DEL EJEMPLO

ASPIRANTES PRUEBA (X)continua

CRITERIO (Y)dicotómica

A 5 NA ACIERTO NRR

B 7 NA FALSO POSITIVO NAR

C 6 A FALSO NEGATIVO NRA

D 8 A ACIERTO NRA

E 6 NA ACIERTO NRR

F 7 A ACIERTO NAA

G 6 A FALSO NEGATIVO NRA

H 9 A ACIERTO NAA

I 4 NA ACIERTO NRR

J 6 NA ACIERTO NRR

TABLA 7.6 DISTRIBUCIÓN DE ASPIRANTES

PRUEBA DE ADMISIÓN

ACEPTADO > 7 RECHAZADO < 7

CRITERIOAPTO 3 aciertos 2 falsos negativos 5

No APTO 1 falso positivo 4 aciertos 5

4 6 10Especificidad : E = RR / RC = 4 / 5 = 0,80Razón de idoneidad : .RI = AC / N = 5 / 10 = 0,50Razón de eficacia : RE = AA / AT = 3 / 4 = 0,75 Tener en cuenta siempre que el valor máximo es la unidad. Los valores conseguidos en ejemplo anterior son aceptables.3.4. Modelos de selecciónSe intenta obtener siempre mucha información para evitar cometer errores. El problema es cómo mane- jar esta información a la hora de tomar una decisión. Los modelos:

1- COMPENSATORIO

- Modelo aditivo y a c/sujeto se le asigna única puntuación globlal. - Compensatorio porque el sujeto una baja puntuación la compensa con otras con rsultado alto para que el final sea una única puntuación. - No siempre tiene sentido ya que ausencia de capacidad no puede ser com- pensado con excedencia en otra.- Para obtener puntuación global se recurre al modelo de REGRESIÓN LINEAL MÚLTIPLE (puntuación pronosticada) a partir de comb.aditiva de los obtenidos por los predictores, pues cada predictor tiene un peso que es determinado por el coeficiente de regresión determinado.

2- CONJUNTIVO - Se fijan previamente mínimos en cada una de las pruebas usadas para la se- lección.

3- DISYUNTIVO - En este modelo sólo se exige superar determinado nivel de competencia en al menos alguno de los predictores

4- CONJUNTIVO-COMPENSATORIO

- Se seleccionan los sujetos que superen los mínimos establecidos. Se le aplica luego el modelo compensatorio, para su orden por puntuación global. Y se eligen nº de sujetos determinados o los que superen el punto de corte fijado.


Tener en cuenta, que considerando que la prueba de admisión es V cuantitativa o continua ,y el criterio es dicotómica, para estimar su validez tendríamos con el cálculo de Correlación BISERIAL PUN-TUAL. Si se estableciera la dicotomía de V predictora mediante un punto de corte: (X >7), se tendría V dicotomizada por lo que hallaríamos ф- biserial.Pero lo que deseamos es obtener MÁS INFORMACIÓN sobre los errores cometidos al seleccionar a los sujetos. Por ello es mejor elaborar la TABLA DE CONTIN- GENCIA (esto es de análisis de 1º) y se refleja decisiones conjuntas tanto de la prueba como del criterio.Índice Kappa K = Fc – Fa = 0,40 N – FaFa (AA) = 4 x 5 / 10 = 2Fa (RR) = 6 x 5 / 10 = 3Fa = 2 + 3 = 5Proporción de clasificaciones correctas:P.C.C. = (AA + RR) / N = =,70Sensibilidad: S = AA / AC = 0,60


5- DISYUNTIVO - COMPENSATORIO

- Se hace primera selección aplicando el modelo disyuntivo y a los seleccionados se les presenta el modelo compensatorio.

3.5. ¿Cómo estimar la eficacia de una selección?Se ha expuesto la R.E. (razón de eficacia) como la que representa proporción de personas seleccionadas que tienen éxito en el criterio.Otra forma de estimar la eficacia de selección es mediante el modelo de regresión, mientras los supuestos se verifiquen pues así la probabilidad queda estimada donde los sujetos tengan éxito en el criterio. Dentro de las situaciones posibles están en las que el no hay nº limitado de plazas selecionándose a todos los que superen det.puntación en el predictor y otra en la que sí hay nº de plazas limitadas, y se seleccionen a los que tengan mejores resultados.EJEMPLO: Nos dan ecuación de REGRESIÓN ( Y´= a + b·X ) siguiente => Y´= 0,5 + 2·X donde (a) es 0,5 y la desviación típica correspondiente nos dicen que es Sy = 5 ; y que el coeficiente de validez rxy = 0,80 , y nos dicen que para considerar que se ha tenido éxito en el criterio se debe obtener (punto de corte) puntuación > 8 puntos. Con los datos y considerando que no hay nº limitado de dde plazas ¿qué probabilidad de éxito tendrán los sujetos que en el test hayan obtenido una puntuación de 6 puntos (X) ?-> Utilizando los datos hallamos la puntuación pronosticada Y´ en el criterio según puntuación de 6 Y¨ = 0,5 + 2· 6 = 12,5 (media dada)-> La desviación típica viene dada por el error típico de estimación, por eso debemos hallarlo: Sé que Sy·x = Sy √ 1 – r² xy = 5· √ 1 – 0,64 = 3 error típico de estimación. (rxy = 0,80 => 0,802 = 0,64)-> Aplicamos Zc = Yc - Y´ = 8 – 12,5 = - 1,5 marca la separación entre la probabilidad de éxito y la de fracaso. Sy·x 3 permitiendo analizar eficacia de la selección. Se va a la tablas de curva normal y se busca área de la curva que queda por encima de Zc = - 1,5 y en realidad nos dice que el límite esta dejando bajo sí el 0,0668 (zona oscura) y si se lo restamos a 1, nos dará la proporción 0,9332 que será lo que quede sobre la Zc .Debe quedar claro que una puntuación de 6 puntos y haya sido seleccionado al pronosticarle el criterio con una de 12,5 estándo por encima del punto crítico (8) tiene una probabilidad de 0,9332 de tener éxito. De fracaso de 0,0668.

Y´ = 12,5 Yc = 8 0,0668 de fracaso X = 6EJEMPLO: Datos anteriores, pero esta vez el planteamiento es con nº límite de aspirantes (100 sujetos) pero solo hay 10 plazas a cubrir . Se supone que se deben elegir a los 10 que más alta puntuación tengan ¿Cuál sería la probabilidad de éxito de estas personas?Debemos tener claro que son 10 de los 100 aspirantes, lo que significa 10 % que han dejado por debajo de sí al resto de participantes ( 90 %) buscamos en la tabla de la curva Zx = ? Se distribuyen de forma normal. Puntuación típica qe deja por debajo de sí al 90 % es 1,28 y si la media del test fuera de 7 puntos y la desv.típica es 2, la puntuación directa mínima de las 10 personas sería ...90 % = > 0,90 voy a la tabla ==> y un 0,9000 ≈ 0,8997 => nos da un Zx = 1,28 aplicamos la fórmula de la tipificada y sustituimos datos :-> 1,28 = X – X = X – 7 = > 2 · 1,28 + 7 = X => 9,56 Sx 2-> Una vez obtenida la X (puntuación directa) se halla la ecuación de regresión y se calcula la punt que se pronosti- caría a estos según criterio : Y´= 0,5 + 2 (9,56) = 19,62-> Ahora se averigua la probabilidad de éxito => Zc = (Yc – Y´) / Syx = (8 – 19,62) / 3 = - 3,87 (fuera de la curva por lo tanto todo es ÉXITO , prácticamente el 100 %


0,9332 de éxito

Zc = - 1,5


4.- FACTORES QUE INFLUYEN EN EL COEFICIENTE DE VALIDEZFactores que influyen en el coeficiente de validez: (a) variabilidad muestral, (b) fiabilidad de puntuaciones del test y criterio y ( c ) la longitud del test.4.1. La variabilidad de la muestraEl coeficiente de validez es la CORRELACIÓN entre las puntuaciones obtenidas por los sujetos en el predictor o en varios, y las obtenidas en el criterio. La correlación aumenta si la variabilidad muestral es mayor y disminuye a medida que la muesta es más homogénea. El coeficiente varía de una muestra a otra. EJEMPLO:Una universidad utiliza batería de tests para hacer selección de alumnos. Para conocer la validez de esa batería para pronosticar el rendimiento de los alumnos en los estudios, es preciso buscar algún indicador que permita obtener una medida de ese rendimiento (notas) Para averiguar validez se calcula correlación entre puntuaciones obtenidas por los sujetos en batería y la medida de criterio. El valor obtenido será el COEFICIENTE de VALIDEZ de la batería. Se obtuvo de muestra previamente seleccionada puesto que calificaciones en el criterio solo se conocen en la muestra de admitidos. Será más homogénea que la de aspirantes y el valor de la correlación más bajo. No obstante lo que interesa:(a) Aplicar batería a todos, admitirlos a todos y al finalizar el primer año evaluarles en el criterio de rendimiento a partir de las notas obtenidas. El coeficiente de validez sería la correlación entre punt.de la batería y las notas.(b) O bien, calcular correlación entre las punt.obtenidas en batería por el grupo seleccionado y sus punt.al criterio. Y luego basándose en supuestos hacer estimación del coeficiente de validez que se habría obtenido en el grupo de aspirantes. -> SUPUESTOS: ( 1 ) La pendiente (“ B “ y “b” ) de la ecuación de regresión que permitirá pronosticar el criterio es la misma en el grupo de aspirantes y en el de seleccionados.( 2 ) El error típico de estimación es igual en ambos grupos ( Sx) Mayúsculas grupo aspirantes y minúscu- las los del grupo de admitidos.

Pendiente de regresión en aspirantes y en elegidos (minúsculas)

B = b = RXY · SY = rxy · sxy

SX sx

Para conocer el COEFICIENTE DE VALIDEZ de la batería en gr. aspirantes

RXY = Sx · r xy

√ S2X · r2

xy + s2x - s2

x · r2xy

Error típico de estimación:

SYX = sxy = SY · √ 1 – R2XY = sy · √ 1 - r2

xy

Para estimar cuál sería la variabilidad de la muestra de aspirantes en el criterio:

SY = sy √ 1 – r2xy + r2

xy · S2X

s2x

X -> variable utilizada para seleccionar a los sujetos (directa) Y -> variable indirectamente selecitaRXY -> valor de coeficiente de validez si se hubiera calculado en la muestra de aspirantes.SX -> desviación típica de las puntuaciones obtenidas en el test porr la muestra de aspirantes..rxy -> coeficiente de validez obtenido en muestra de sujetos seleccionados..sx -> desviación típica de las puntuaciones obtenidas en el test por los sujetos seleccionados (minúscula x)SY -> desviación típica de las puntuaciones en el criterio por la muestra de aspirantes (mayúscula Y).sy -> desviación típica de las puntuaciones en el criterio por los sujetos seleccionados.

4.2. La fiabilidad de las puntuaciones del test y del criterioLas puntuaciones empíricas que se toman pueden estar afectadas por errores de media y éstos influyen en el coeficiente de validez produciendo sesgos que hay que eliminar o controlar. SPEARMAN propuso la fórmula de atenuación porque corrige la atenuación, disminución o reducción del coeficiente de valid-dez debida a la presencia de los errores de medida. Casos concretos derivados de la fórmula general:RXY = rxy

rxx ryy

RXX RYY


EJEMPLO: 300 aspirantes obtuvie-ron una desviación típica en batería de 12 puntos. Se selecionaron a 40 cuya desviación típica en batería fue de 6 puntos. Al año los admitidos fueron calificados en el criterio, siendo la correlación entre las puntuaciones que habían obtenido en batería y las del criterio de 0,30. ¿cuál será el c. de validez estimado si se hubiese calculado en muestra total de aspirantes? RXY = 12 · 0,30 =0,53 √ 122 ·0,302+ 62 – 62· 0,302

RXY = coeficiente validez FINAL despues de mejorar la fiabilidad

del test y criterio..rXY = coeficiente validez inicial.

.rXX ; rYY = coeficiente de fiabilidad inicial en test y criterio.RXX ; RYY = coeficiente fiab. final mejorado en test y criterio


4.2.1. Estimación del coeficiente de validez (RXY) en el supuesto de que tanto el test como el criterio tuvieran una fiabilidad perfecta.

R VX VY = r XY

√ r xx · √r YY

NO HAY ERRORES NI EN TEST NI EN CRITERIO

EJEMPLO: Test razonamiento abstracto se obtiene un coeficiente de fiabilidad igual a 0,64, la fiabilidad del criterio es de 0,60 y el coeficidene de validez es de 0,56R VX VY = 0,56 = 0,91 √0,64 · 0,60

4.2.2. Estimación del coeficiente de validez en el supuesto de que el test tuviera una fiabilidad perfecta

R VX ·Y = r XY

√r XX

NO HAY ERRORES EN EL TEST , SÍ EN CRITERIOPOR ESO SE CORRELACIONA CON LAS EMPÍRICAS

EJEMPLO: Test razonamiento abstracto se obtiene un coeficiente de fiabilidad igual a 0,64, la fiabilidad del criterio es de 0,60 y el coeficidene de validez es de 0,56R VX Y = 0,56 = 0,70 √0,64

4.2.3. Estimación del coeficiente de validez en el supuesto de que el criterio tuviera una fiabilidad perfecta

R X ·VY = r XY

√r YY

NO HAY ERRORES EN EL CRI- TERIO Y SÍ EN EL TESTPOR ESO SE CORRELACIONA CON LAS EMPÍRICAS

EJEMPLO: Test razonamiento abstracto se obtiene un coeficiente de fiabilidad igual a 0,64, la fiabilidad del criterio es de 0,60 y el coeficidene de validez es de 0,56R X· VY = 0,56 = 0,73 √0,60

4.2.4. Estimación del coeficiente de validez en el supuesto de que se mejorara la fiabilidad del test y del criterioAunque se lograse mejorar la fiabilidad del test y del criterio, eliminando en parte los errores de medida, se mantendría constante la correlación entre las puntuaciones verdaderas del test y criterio, pues están libres de errores.

R X Y = rXY

r XX r YY

R XX R YY

SUPUESTO MEJORA LA FIABILIDAD TEST Y CRITER

EJEMPLO: Test razonamiento abstracto se obtiene un coeficiente de fiabilidad igual a 0,64, la fiabilidad del criterio es de 0,60 y el coeficidene de validez es de 0,56 ¿Cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el test de 0,75 y en el criterio de 0,64?R X Y = 0,56 = 0,63 0,64 · 0,60

0,75 0,64

4.2.5. Estimación del coeficiente de validez en el supuesto de que se mejorara la fiabilidad del test

R XY = rXY

rXX

RXX

MEJORA DEL TEST pero se MANTIENE CRITERIO (Y)

EJEMPLO: Test razonamiento abstracto se obtiene un coeficiente de fiabilidad igual a 0,64, la fiabilidad del criterio es de 0,60 y el coeficidene de validez es de 0,56 ¿Cuál sería el coeficiente de validez si el coeficiente de fiabilidad del test se pudiera aumentar hasta 0,75 y se mantuviera constante el del criterio ? R XY = 0,56 = 0,61 0,64 Al ser constante el criterio = 0,60 / 060 = 1 Por eso se 0,75 suprime.



4.2.6. Estimación del coeficiente de validez en el supuesto de que se mejorara la fiabilidad del test

RXY = rxy

r YY

RYY

Esto suena un poco raro, pues conseguir invariable la fiabilidad del test es como puntería, ja,ja Bueno ..., de conseguirlo y a la vez obtener aumento en la fiabilidad de criterio de 0,64 ¿cuál sería el coeficiente de validez estimado? Según los datos, aunque hay aumento es bastante más peqñ. RXY = 0,56 = 0,58 0,60 0,64 el inicial era 0,56 = rxy

4.2.7. Valor máximo del coeficiente de validez

Rxy < rxx

Partimos del dato que nos indica que el coeficiente de validez cuando se han eliminado por completo los errores en criterio y en medidas del test, es igual o menor que 1. Suponemos su valor máximo en 1 y también es uno el valor máximo del coeficiente de fiabilidad del criterio.La raíz cuadrada del coeficiente de fiabilidad es el índice de fiabilidad.

4.3. Validez y longitudUna de las formas de aumentar el coeficiente de fiabilidad era aumentar la longitud del test. Esta mejora repercute directamente en una mejora del coeficiente de validez. La relación entre el coeficiente de validez con la fiabilidad y la longitud del test viene dada por :R XY = rXY √ n rXX => coeficiente de fiabilidad inicial del test √1 + (n – 1) rXX Ojo: “n” es el número de veces que aumenta o disminuye la longitud del test. Para calcular valor de “n” despejar.

.n = R2XY ( 1 - rXX) coeficiente de validez r2

XY - R2XY · rXX (ojo, coef.fiabilidad)

5.- GENERALIZACIÓN DE LA VALIDEZUno de los enfoques más actuales e importantes es la tendencia a la modelización de los procesos subyacentes a las respuestas a los ítems. (Quedó reflejado en la conferencia sobre Test Validity for the 1900´s and Beyond organizada en 1986 y publicadas en un libro. Algunos capítulos hacen referencia a la teoría clásica de validez con perspectivas distintas pero sí todos resaltando la importancia de la validez de constructo.El nivel de generalización ha pasado de ser un tema someramente visto a tener mucho peso, incluido en el annual Review. Lo importante es poder utilizar y aplicar la evidencia de una situación a otras similares. (Evaluación a gran escala) Desde 1986 se han hecho muchos estudios y las estrategias usadas son variaciones de metódos clásicos del meta- análisis, reduciendo resultados a métrica común que hace factible su comparación y combinación. Los más utili- zados son los niveles de significación y el tamaño del efecto (coef.de correlación). Hedhes describe otra aproximación al estudio de generalización basada en método bayesiano de meta-análisis.



Documents

T7 PSCMTR_Validez de Las Inferencias II