Funiber Master en Educacion Cuestionarios

7/27/2019 Funiber Master en Educacion Cuestionarios

http://slidepdf.com/reader/full/funiber-master-en-educacion-cuestionarios 1/28

DISEÑO Y VA LIDACIÓN DE CUESTIONARIOS

© F

U N D A C I

Ó N

U N I V E R S I T A R I A

I B E R O A M E R I C A N A

1

AUTORES :LUIS MANUEL LOZANO

EMILIA INMACULADA DE LA FUENTE S OLANA

DISEÑO Y VALIDACIÓN

DE CUESTIONARIOS1

1. INTRODUCCIÓN

Este texto tiene la intención de mostrar los diferentes pasos para elaborar un test. Laintención del autor es mostrar los pasos que hay que seguir sin realizar excesivasdisquisiciones teóricas. Por ello, este documento trata de ser eminentemente práctico.Para el lector interesado en las diferentes teorías para la elaboración de cuestionarios sele recomienda la lectura de Drowning y Haladyna (2006).

2. TIPOS DE TEST

Atendiendo a la finalidad con la que elabora el cuestionario pueden diferenciarse dosgrandes grupos de test (Crocker y Algina, 1986; Cronbach, 1985; Muñiz, Fidalgo,

García-Cueto, Martínez y Moreno, 2005; Nunally y Bernstein, 1995). Por un lado estánlos cuestionarios que pretenden evaluar el rendimiento máximo de las personas (ya seaen memoria, atención...) y por otro el rendimiento típico (donde tendrían cabida loscuestionarios de personalidad, actitudes...). Otra clasificación admisible diferencia entreTest Referidos al Criterio o Test Referidos a la Norma. Sobre estos últimos versará estecapítulo.

1. Adaptación del capítulo, con el mismo nombre, publicado en el liibro: Pantoja, A. (Coord.) (2009).Manual básico para la realización de tesinas, tesis y trabajos de investigación (pp. 219-248). Madrid: Editorial EOS.[Esta adaptación ha sido realizada respetando la elaboración de los autores del texto original. Todos los derechos

cedidos a FUNIBER].






3

© F

U N D A C I

Ó N



3. PASOS PARA LA ELABORACIÓN DE UNCUESTIONARIO

3.1. DEFINICIÓN DE LA VARIABLE MEDIDA

Antes de comenzar con la labor de construir los ítems que forman un cuestionario unpaso fundamental es definir operativamente la variable. El primer paso, por tanto, esdefinir con la máxima precisión posible el constructo que se quiere medir, ya que deesta forma estaremos en disposición de elaborar ítems que abarquen todo el espectrode la definición.

Para realizar una buena definición de la variable a medir se debe acudir a las diferentesfuentes bibliográficas. También puede ser muy útil la ayuda de expertos en aquello quese quiera evaluar, a la hora de construir los ítems de un test. De no hacer esto,probablemente, se podrán hacer diferentes ítems que evalúen el constructo perodejamos de lado partes relevantes, y difíciles de preguntar, del constructo en cuestión.Sin contar con el hecho de que nos puede indicar la correcta forma de redactar el ítempara que la población que queremos evaluar lo comprenda de forma correcta.

3.2. ELABORACIÓN DE ÍTEMS

Una vez se ha definido aquello que se quiere medir se deben elaborar los ítems que loevalúen. Pero, antes de redactar los ítems se deben responder a varias preguntas: ¿aquién se va a evaluar con el cuestionario?, ¿qué formato de respuesta van a tener losítems?

La respuesta de la primera pregunta es esencial para no cometer errores a la hora deredactar los ítems. En el caso de que no nos planteemos de antemano la poblaciónobjetivo del cuestionario nos arriesgamos a elaborar preguntas que no van a serentendidas, que van a ser malinterpretadas o que no van a poder ser contestadas.

Otras variables a tomar en cuenta para determinar el número de ítems, así como paradecidir la forma de redacción son:

La edad de las personas que se va a evaluar (no se debe realizar la pregunta dela misma manera a adolescentes que a ancianos).

El grado de instrucción alcanzado (¿saben leer las personas que vamos aevaluar?, ¿saben el significado de todas las palabras que componen losítems?...).



4

© F

U N D A C I

Ó N



DISEÑO Y VA LIDACIÓN D E CUESTIONARIOS

El origen de las personas (¿es el idioma en el que realizamos el cuestionario lalengua madre de quien responde?).

El nivel de desarrollo cognitivo de las personas (¿pueden trabajar con conceptosabstractos?...).

Las posibles minusvalías tanto físicas como psíquicas (¿puede escribir larespuesta?, ¿puede mantener la atención en preguntas largas?...).

Figura 3: Elaboración de un cuestionario.Fuente: Elaboración FUNIBER, 2010.

Para responder a la segunda pregunta existen multitud de formatos que pueden serelegidos. Los más populares en los Test referidos a la norma son:

- Adjetivos bipolares.

El sujeto debe seleccionar uno de los adjetivos que se le presentan:

Intrépido - Reflexivo

- Las respuestas dicotómicas.

Me gusta estar solo

a) Sí.

b) No.




5

© F

U N D A C I

Ó N



- Las escalas tipo Likert.

Me gusta estar solo

1. Nunca.

2. Pocas veces.

3. A veces.

4. Muchas veces.

5. Siempre.

Tradicionalmente tanto el formato de adjetivos bipolares como el de respuestadicotómica se emplean en test de personalidad y las escalas tipo Likert se empleanfundamentalmente en los test de actitudes.

Si bien existen investigaciones (Muñiz, García-Cueto y Lozano, 2005) que recomiendanel uso de las esca las tipo Likert también para los test de personalidad. El motivo deesto, aparte de que se mejoran las propiedades psicométricas de los cuestionarios, esque permiten al sujeto matizar la respuesta. Si se analizan los ejemplos anteriores sepuede apreciar que se fuerza al sujeto a definirse como intrépido o reflexivo, si prefiereestar solo o acompañado, pero no se le deja ninguna posibilidad de elegir opcionesintermedias. En ocasiones una persona puede ser reflexiva y en otras situacionesintrépidas. En ciertos momentos se puede preferir estar solo y en otras estar rodeado deamigos. Al contrario de los formatos anteriores, las escalas tipo Likert sí dejan a lapersona que responde al test ese margen de matización, lo que además revierte en elhecho de que responde a las preguntas de una forma más cómoda.

Me gusta estar solo:

1. Nunca.

2. Pocas veces.

3. A veces.

4. Muchas veces.

5. Siempre.

Para construir de forma adecuada escalas tipo Likert, se deben seguir ciertas normas:

- Sólo se puede preguntar una cosa en cada ítem. Los ítems en los que se lessolicita a los sujetos que se posicionen en dos aspectos diferentes sonincorrectos.



6

© F

U N D A C I

Ó N




La construcción de colegios y los hospitales son fundamentales para el desarrollo del país.

1. Totalmente en desacuerdo.

2. En desacuerdo.

3. Posición neutra.

4. De acuerdo.

5. Totalmente de acuerdo.

En este caso nos podemos encontrar con personas que crean que sólo uno deellos es necesario para el desarrollo del país, y por lo tanto no podrán responderadecuadamente al ítem. Para solucionar este problema se desdoblaría el ítemconstruyendo dos diferentes. En uno se preguntaría por las escuelas y en otrodiferente por los hospitales.

- La redacción de las preguntas debe ser clara y concisa. Se debe evitar cualquiertipo de redacción que pueda confundir a las personas que respondan el test(dobles negaciones, vocabulario excesivamente complejo para las personas quevan a responder...).

No puedo hacer nunca nada que no esté mal hecho.

1. Totalmente en desacuerdo.

2. En desacuerdo.


4. De acuerdo.


Cuándo se responde que está Totalmente en desacuerdo ¿se sabe exactamentelo que se está respondiendo? Sin duda alguna requiere un serio esfuerzo pararesponder a la pregunta que no está en absoluto relacionado con el constructomedido. Con preguntas como la anterior se puede estar evaluando capacidad de

comprensión lectora y no el rasgo que se pretende medir.- El enunciado debe ser coherente con el formato de respuesta. Se deben evitar

incoherencias debidas a cómo se redacta la pregunta y la forma de redacción delas alternativas.

Siempre me gusta estar rodeado de gente.

1. Nunca.

2. Pocas veces.

3. A veces.




7

© F

U N D A C I

Ó N



4. Muchas veces.

5. Siempre.

Como se puede observar no existe coherencia entre la forma en la que lapregunta se ha realizado y la forma en la que se debe responder a la misma.

- Las alternativas de respuesta deben ser equidistantes. Debe existir la mismadistancia entre la opción 5 y la 4 que entre la 4 y la 3.

Me gusta estar solo.

1. Nunca.

2. A veces.

3. Muchas veces.

4. Siempre.

No existe la misma distancia entre las alternativas 1 y 2 que entre la 2 y la 3.De esta forma estamos generando un sesgo que provoca que haya másopciones de respuesta en el lado positivo que en el negativo.

- Existe mucha investigación en la que se debate cuál es el número dealternativas de respuesta más adecuado a la hora de elaborar una escala tipoLikert. Aunque ninguna proporciona un número exacto se suele recomendarentre 5 y 7 alternativas de respuesta (Lozano, 2004; Lozano, García-Cueto yMuñiz, 2008). El motivo de esta decisión es que se maximizan tanto lafiabilidad como la validez del test. Como se puede ver dentro de ese abanico dealternativas (de 5 a 7) cabe la posibilidad de elegir un número par o impar. Esadecisión debe tomarla el investigador. Elegir un número par implica no tener unaalternativa intermedia (neutra) a la que los sujetos puedan acogerse cuando notienen una opinión formada sobre lo que se les pregunta o simplemente noquieren decantarse. Por ello, en función de si se quiere forzar a responder o nose debe elegir una u otra.



8

© F

U N D A C I

Ó N




Figura 4: Escala tipo Likert.Fuente: Elaboración FUNIBER, 2010.

3.3. ANÁLISIS DE LOS ÍTEMS

Una vez se han construido los ítems estos deben ser aplicados a una muestra piloto – ode prueba - para poder comprobar que funcionan correctamente, que los sujetosentienden las instrucciones del cuestionario, la redacción de los ítems... De este modose pueden corregir errores que invalidarían la aplicación del cuestionario a la muestratotal.

Dado que el paquete estadístico más frecuente es el SPSS 2 , los siguientes apartados seejemplificarán usando el citado programa.

Introducción de datos

Lo primero que se debe saber es que las filas hacen referencia a los sujetos y lascolumnas a los ítems que componen la escala. La primera pantalla que se encontrará enel SPSS es la que se muestra en la figura 5 .

2. Statistical Package for the Social Sciences (SPSS) es un programa estadístico informático muy usado en las cienciassociales y las empresas de investigación de mercado. Existen múltiples versiones, y la más actualizada es SPSS forwindows 18 (2009), en la que cambia su denominación de SPSS por PASW 18. No obstante, versiones anteriores son

factibles de uso. (Nota FUNIBER, 2010).




9

© F

U N D A C I

Ó N



Figura 5: Editor de datos del SPSS.

Para definir las variables se debe seleccionar la pestaña “Vista de variables”. En estapantalla se pueden nombrar las variables, definir el tipo de medida que son, determinarel código que permitirá al programa tratar a valores como valores perdidos, señalar lasetiquetas en el caso de variables nominales (1=hombre, 2=mujer)... La figura 6 reflejala pantalla que se obtiene al presionar “Vista de variables”.



10

© F

U N D A C I

Ó N




Figura 6: Vista de variables.

Análisis del índice de discriminación o de homogeneidad de los ítems

Como se ha visto anteriormente en los test referidos a la norma lo que pretendemos esescalar a las personas. Por ello es de esperar que los ítems que componen un test seancapaces de diferenciar entre las personas que obtienen una puntuación alta en el test ylos que obtienen una puntuación baja. Es decir, si se pretende conocer la conductaprosocial de una persona y se le plantea un ítem:

Robaría y pegaría a un niño perdido.

1. Totalmente en desacuerdo.2. En desacuerdo.


4. De acuerdo.


Se estaría empleando un ítem que, es esperable, no diferencia entre las personas conalta y con baja conducta prosocial, ya que para realizar la conducta presentada en el




11

© F

U N D A C I

Ó N



ítem hay que tener un nivel en la variable medida nula. Es decir, la pregunta es tan

extrema que difícilmente se encontrará a alguien que responda favorablemente al ítem.

El índice de discriminación u homogeneidad se puede definir como la correlación entre lapuntuación obtenida en el ítem y la obtenida en el test. De la puntuación total en el testse debe eliminar la parte que corresponde al ítem, ya que si no se hace esto se estaríaaumentando artificialmente la correlación entre ambas puntuaciones.

Para realizar este análisis con el SPSS se deben seguir los siguientes pasos:

Analizar → Escalas → Análisis de fiabilidad.

Una vez seguidos los pasos anteriores, se deben seleccionar los ítems que quieren seranalizados pasándolos (usando para el lo la f lecha) al apartado Elementos.Posteriormente se debe seleccionar Estadísticos solicitando Escala si se elimina elelemento (tal y como se presenta en la figura 7 ).

Figura 7: Cálculo del Índice de Discriminación de los ítems.

Tras Continuar y Aceptar la salida que se obtiene será muy parecida a la que aparece enla tabla 1 .



12

© F

U N D A C I

Ó N




Tabla 1. Índice de discriminación de los ítems.

Para estudiar el índice de discriminación de los ítems se debe observar la columnaCorrelación elemento-total corregido . Se deben eliminar aquellos ítems que tengan uníndice de discriminación inferior a 0,20. Los puntos de corte fueron propuestos por Ebel(1965) y se presentan en la tabla 2 .

Tabla 2. Interpretación del índice de discriminación.

Como se puede apreciar todos los ítems del ejemplo tienen un índice de discriminaciónsuperior a 0,20 (el más bajo tiene un valor de 0,30), por lo que no se debe eliminarninguno de ellos. En el caso de que el valor de alguno fuese inferior a 0,20 se deberíaeliminar y volver a realizar el análisis.

Fiabilidad

El problema de la fiabilidad afecta a todas las ciencias. Cuando aplicamos un test nosdebe preocupar qué cantidad de error cometemos a la hora de calcular la puntuación.Precisamente ese aspecto es el que se aborda desde la fiabilidad.

ESTADÍSTICOS TOTAL-ELEMENTO

Media de la escala si seelimina el elemento

Varianza de la escala si seelimina el elemento

Correlación elemento-total corregida

Ítem 01Ítem 02Ítem 03Ítem 04Ítem 05Ítem 06Ítem 07Ítem 08Ítem 09

15,7316,3216,7817,2416,0916,1816,9315,9716,43

21,92519,31621,66723,15720,19619,11821,64420,17821,948

,385,460,372,324,413,361,399,378,300

VALORES INTERPRETACIÓN

Igual o mayor que 0,40 El ítem discrimina muy bien

Entre 0,30 y 0,39 El ítem discrimina bien

Entre 0,20 y 0,29 El ítem discrimina poco

Entre 0,10 y 0,19 Ítem límite. Se debe mejorar

Menor de 0,10 El ítem carece de utilidad para discriminar




13

© F

U N D A C I

Ó N



Existen dos posibles definiciones de la fiabilidad de un cuestionario. Por un lado está la

de “estabilidad en la medida”. Según esta definición un test es fiable si obtenemos lamisma puntuación en dos aplicaciones diferentes del mismo test o de dos test paralelos(para profundizar más en el concepto de test paralelos acudir a Muñiz, 2002 o García-Cueto, 1993). Según esta definición, para calcular la fiabilidad sólo es necesariocalcular el coeficiente de correlación de Pearson entre las puntuaciones obtenidas enambas aplicaciones. El principal inconveniente de este método para calcular la fiabilidades precisamente la necesidad de aplicar el cuestionario dos veces. Esto conlleva elriesgo de que las personas que han respondido recuerden lo que contestaron y por lotanto la segunda vez respondan en función de lo que pusieron en la primera aplicación.Para solucionar este problema se puede demorar más tiempo la segunda aplicación del

cuestionario, pero entonces se corre el riesgo de no poder reunir de nuevo a todos losmiembros a los que se les realizó la primera aplicación perdiendo sujetos que sí setendrían si sólo se tuviese que realizar una única aplicación (mortandad experimental).

La segunda definición que se puede realizar de fiabilidad es “consistencia interna entredos mitades aleatorias de un test”. Siguiendo esta lógica se debería dividir un test endos partes aleatorias y calcular el coeficiente de correlación de Pearson entre laspuntuaciones obtenidas en ambas partes por los sujetos, corrigiéndola posteriormentemediante Spearman-Brown (cualquier texto de psicometría explica este procedimientoen detalle). Si en vez de calcular la consistencia entre dos mitades aleatorias de un

cuestionario, se calcula la consistencia entre todos los ítems que componen elcuestionario, también se está calculando la fiabilidad del test. Lo único que se estaríahaciendo es saber hasta qué punto todos los ítems que componen el test estánmidiendo lo mismo. Basándose en esta idea Cronbach (1951) propone otra forma deacercarse a la fiabilidad, el coeficiente α .

Para calcular el coeficiente alfa mediante el SPSS, se deben seguir las siguientesinstrucciones Analizar → Escalas → Análisis de fiabilidad (al igual que cuando se estudiael índice de discriminación de los ítems). Una vez hemos obtenido el desplegable, sólose deben introducir los ítems del cuestionario en la casilla de Elementos, tal y como se

aprecia en la figura 8 .



14

© F

U N D A C I

Ó N




Figura 8: Análisis de fiabilidad mediante el coeficiente alfa.

El coeficiente de fiabilidad que se obtiene en el ejemplo se puede observar en la tabla 3 .

Tabla 3. Resultado del coeficiente de fiabilidad.

Tal y como se puede apreciar en este ejemplo el coeficiente de fiabilidad es de 0,695. Elcoeficiente de fiabilidad oscila entre 0 y 1, comenzando a ser aceptables valoressuperiores a 0,80. Por ello el valor que se obtiene se puede considerar bajo, siendonecesario incrementar el número de ítems (ya que sólo son 9 ítems los que se analizan)para incrementar la fiabilidad del test. Otra forma de incrementar la fiabilidad delcuestionario es modificar el número de alternativas de respuesta de una escala tipoLikert. Cuanto mayor sea el número de alternativas mayor será la varianza que segenere, incrementando de este modo la fiabilidad del cuestionario (Lozano, García-Cueto

y Muñiz, 2008, Muñiz, García-Cueto y Lozano, 2005). A la hora de aumentar el númerode alternativas hay que tener en cuenta que no se puede superar la capacidaddiscriminativa de los sujetos. Es decir, el número de alternativas debe estar muyrelacionado con las características de la muestra a la que se le va a aplicar elcuestionario. Un estudiante universitario puede diferenciar perfectamente en una escalade 0 a 10 puntos (intervalo en el que se califica a los estudiantes), pudiendo distinguirentre un 6 y un 7. Por el contrario una persona sin estudios puede tener más problemasa la hora de diferenciar entre un 6 y un 7 si no está acostumbrada a trabajar en dichaescala. Por ello, como norma general, no es recomendable superar las 7 alternativas derespuesta cuando se trate de evaluar población general.

ESTADÍSTICOS DE FIABILIDAD

Alfa de Cronbach N de elementos

,695 9




15

© F

U N D A C I

Ó N



Tal y como se dijo anteriormente, la fiabilidad del cuestionario evaluada mediante el

coeficiente alfa, es consistencia interna. Por ello, al calcular la fiabilidad de uncuestionario se debe hacer para cada factor por separado (en el siguiente apartado seintroduce el concepto de factor y análisis factorial), ya que, de no hacerlo así, seestarían obteniendo valores más bajos de la fiabilidad del cuestionarios sólo por el hechode estar analizando conjuntamente dimensiones que están midiendo aspectosdiferentes.

Validez

Empleamos los cuestionarios para poder realizar inferencias sobre la conducta de laspersonas. Cuando se comprueba la validez de un cuestionario, lo que realmente se estárealizando es garantizar la pertinencia de tales inferencias (Muñiz, 2002). Existenmúltiples definiciones de validez, pero todas ellas con un claro denominador común “untest es válido si mide aquello para lo que fue creado”:

• “Podemos definir la validez de un test como el grado con el que mide o predicecualquier criterio de interés” (Lord y Novick, 1968).

• “Un test es válido si mide lo que pretende medir” (Allen y Yen, 1979).

• “Un test es válido si sirve para lo que con él se pretende” (Yela, 1987).

• “Un test, como cualquier otro instrumento de medida, es válido si sirve para mediradecuadamente aquello para lo que fue pensado como instrumento de medida”(García-Cueto, 1993).

Existen diferentes tipos de validez, lo que lleva asociado la necesidad de realizar unaclasificación. La que se presenta a continuación si bien no es la única es la másextendida:

• Validez de contenido: hace referencia al punto en que los ítems de un cuestionarioson una muestra representativa del contenido o contenidos que se pretende

evaluar. Un test tendrá una buena validez de contenido si sus ítems cubrencorrectamente todo el espectro de la conducta que se trata de evaluar. El pasoimprescindible para poder asegurarse de que el test posee una adecuada validez decontenido es realizar una correcta revisión bibliográfica. De este modo se aseguraráde conocer todos los aspectos relevantes sobre los que realizar los ítems. Parademostrar esta validez hay que recurrir a expertos en la temática evaluada por elcuestionario que nos señalen que todas las dimensiones del constructo han sidoevaluadas.



16

© F

U N D A C I

Ó N




• Validez predictiva: hace referencia hasta qué punto se pueden emplear las

puntuaciones obtenidas en el cuestionario para predecir conductas futuras. Un testtendrá una correcta validez predictiva si el cuestionario sirve para predecircorrectamente conductas futuras.

• Validez de constructo: hace referencia a la recogida de evidencia empírica quegarantice la existencia de un constructo psicológico (Cronbach y Meehl, 1955). Esdecir, trata de comprobar qué constructos está evaluando un test.

Cada una de estas categorías está compuesta a su vez por múltiples tipos desubcategorías. Para el lector interesado en profundizar más se le recomienda la lecturade Muñiz (2002), García-Cueto (1993) y la lectura más especializada Messick (1996).

En este capítulo sólo se hará referencia a la validez de constructo, ya que es la másfrecuentemente comprobada en la literatura científica.

Figura 9: Análisis de los ítems.Fuente: Elaboración FUNIBER, 2010.

Validez de constructo

Dentro de esta validez se pueden diferenciar a su vez dos subtipos; la validezconvergente-discriminante y la validez factorial.

Dentro de la validez convergente-discriminante se evalúa la validez convergente como lacorrelación alta con otros test que midan lo mismo que se pretende medir con elcuestionario elaborado, aunque se hayan realizado por diferentes métodos. Para evaluarla validez divergente se deben obtener correlaciones bajas con otros cuestionarios que




17

© F

U N D A C I

Ó N



evalúan diferente constructo aunque sea por medio del mismo método. La matriz en la

que se representan estas correlaciones se denomina matrices multirrasgo-multimétodo.

Como se puede apreciar, para realizar esta matriz sólo es necesario realizarcorrelaciones. Mediante el SPSS sólo se debe seguir el siguiente procedimiento:

Analizar → Correlaciones → Bivariadas

A continuación se representa una matriz multirrasgo-multimétodo en la que secorrelaciona el test que se está elaborando sobre depresión infantil (Depresión 1) conotro cuestionario que ya está en el mercado pero en el que se pregunta a los padres envez de responder el propio niño (Depresión 2). Asimismo se correlaciona el test conotros de habilidades sociales (Habilidades 1 y Habilidades 2) en el que se pregunta alniño y a los padres respectivamente.

Tabla 4. Matriz Multirrasgo-Multimétodo.

Como se puede apreciar, la diagonal principal (en negrita) es la correlación del testconsigo mismo (obviamente en dos aplicaciones diferentes), es decir, es la fiabilidad decada uno de los test.

La correlación entre los test que evalúan depresión es alta (0,773) lo que indica que elcuestionario tiene una buena validez convergente. Al tener bajas correlaciones con lostest de habilidades sociales (0,003 y 0,000 respectivamente) también se puededefender que el test que se está realizando tiene una buena validez divergente. Así puesse puede afirmar que el test tiene una adecuada validez de constructo.

El inconveniente principal de este método es el hecho de tener que aplicar varioscuestionarios, e incluso aplicarlos dos veces (para poder obtener los valores de lafiabilidad, la diagonal principal). Por ello el método más empleado para comprobar lavalidez de constructo es la validez factorial, ya que sólo requiere una aplicación delcuestionario al que se le está comprobando la validez.

DEPRESIÓN 1 DEPRESIÓN 2 HABILIDADES 1 HABILIDADES 2

DEPRESIÓN 1 0,900

DEPRESIÓN 2 0,773 0,880

HABILIDADES 1 0,003 0,004 0,890

HABILIDADES 2 0,000 0,001 0,790 0,900



18

© F

U N D A C I

Ó N




Figura 10: Validez de constructo.Fuente: Elaboración FUNIBER, 2010.

Para comprender el significado de la validez factorial en primer lugar es necesariocomentar la técnica estadística que se emplea, el Análisis Factorial. A un nivel casiprofano, se puede decir que esta técnica tiene como objeto agrupar los ítems en funciónde sus correlaciones. Es esperable que los ítems que miden lo mismo tengan altascorrelaciones entre sí, agrupándose estos ítems como un factor. Así pues, puededecirse que un test tiene validez factorial cuando al observar que los ítems elaboradospara medir una dimensión se agrupan diferenciándose de otros ítems destinados aevaluar otra dimensión diferente.

Para poder realizar un Análisis Factorial con el SPSS se deben seguir los siguientespasos:

Analizar → Reducción de datos → Análisis Factorial

La pantalla que nos ofrece el programa es la que se ofrece en la figura 11 .

Figura 11: Análisis Factorial.




19

© F

U N D A C I

Ó N



En esta situación se deben seleccionar los ítems que se quieran analizar (usualmente

todo el cuestionario) y pasarlos a la ventana de variables.

Como se dijo anteriormente el análisis factorial requiere que las variables esténintercorrelacionadas. Para comprobarlo se emplea el test de esfericidad de Bartlett, quesomete a prueba la hipótesis nula de que las correlaciones entre las variables son cero.Otra medida que nos permite saber si es adecuada la realización del análisis factorial esel índice de Kaiser-Mayer-Olkin (KMO). Cuanto más próximo esté a 1, más aconsejableresulta la utilización del análisis factorial, indicando los valores inferiores a 0,5 quedicha prueba no es adecuada. Para calcular estas pruebas en el menú anterior se debeseleccionar la opción de Descriptivos, obteniendo una ventana como la que se muestra

a continuación ( figura 12 ). En dicha ventana se debe seleccionar la opción de KMO yprueba de esfericidad de Bartlett.

Figura 12: KMO y prueba de esfericidad de Bartlett.

El siguiente paso es la selección del método de extracción de factores. Los másfrecuentes son Componentes (si bien entonces no se habla de análisis factorial si no deanálisis de componentes), Ejes Principales y Máxima Verosimilitud. Las diferencias entre

los diferentes métodos supera la intención de este capítulo por lo que al lectorinteresado en las diferencias entre los tipos de extracción se le recomienda el libro deFerrando (1993).



20

© F

U N D A C I

Ó N




Figura 13: Método de extracción en el Análisis Factorial.

También se debe determinar cuál es el número de factores que se quiere retener, esdecir, cuántos factores se quieren obtener (pueden extraerse tantas dimensiones comoítems compongan el cuestionario). La opción que el SPSS tiene programada por defectola opción de extraer autovalores mayores que uno (criterio de Kaiser), que es el queaparece señalado en la figura 13 . Otra alternativa es señalar el número de factores quese quieren extraer con independencia del autovalor (varianza de cada dimensión). Otroprocedimiento utilizado para determinar cuántas dimensiones hay que extraer es elestudio del gráfico de sedimentación (también aparece señalado en la figura 13 ).

Usualmente se realiza primero un análisis factorial para comprobar en el gráfico desedimentación cuántas dimensiones se pueden extraer y posteriormente se fuerza alSPSS a que extraiga tantas dimensiones como indica el gráfico.

Cuando se obtienen dos o más dimensiones, conviene utilizar algún tipo de rotación (pordefecto el SPSS no utiliza ninguna rotación) que clarifique la interpretación de losfactores. Para determinar qué rotación se desea realizar hay que desplegar la opción deRotación que aparece en la figura 11 , obteniéndose un menú como el que aparece en lafigura 14 .

Figura 14: Método de Rotación en el Análisis Factorial.




21

© F

U N D A C I

Ó N



Existen diversos métodos de rotación. Los más utilizados son la rotación ortogonal

“Varimax” y la rotación oblicua “Oblimin”. Si se emplea el método Varimax, se respetala ortogonalidad de los factores, es decir, la independencia de los factores. Medianteeste método se trata de obtener coeficientes lo más altos posibles en una dimensión ybajos en la otra. Por el contrario, mediante la rotación Oblimin las dimensiones que seobtengan no serán independientes sino que tendrán algún tipo de relación entre ellas. Esel psicólogo el que debe determinar si las dimensiones pueden estar relacionadas o no ypor tanto emplear una rotación u otra.

Tras realizar todos estos pasos, ya se puede comenzar con el Análisis Factorial. Entrelos resultados que aporta el SPSS hay que destacar en primer lugar la prueba de

esfericidad de Bartlett y el KMO (ver tabla 5 ).

Tabla 5. Prueba de esfericidad y KMO.

Como se puede apreciar en la tabla 5 , tanto el valor de KMO (0,956) como la prueba deBartlett (p<0,001) indican que se cumplen las condiciones necesarias para realizar unAnálisis Factorial.

En segundo lugar se debe saber cuántos factores se deben extraer. Para ello se puedeutilizar el Gráfico de Sedimentación ( figura 15 ).

KMO Y PRUEBA DE BARTLETT

Medida de adecuación muestral de Kaiser-Meyer-Olkin ,956

Prueba de esfericidad de Bartlett Chi-cuadrado aproximado 28561,255

gl 1225

Sig. ,000



22

© F

U N D A C I

Ó N




Figura 15: Gráfico de Sedimentación.

La forma de interpretar esta figura es la siguiente. En el eje horizontal están los factores(tantos como ítems tenga el cuestionario), y en el eje vertical el autovalor de cada unode ellos. El criterio para determinar cuántas dimensiones retener es analizar el gráfico dederecha a izquierda, observar donde cambia de forma brusca la pendiente y retener losfactores a partir de ese punto. Como se puede apreciar en la figura 15 , la pendientecambia bruscamente en el 2º factor, por lo que sólo hay una única dimensión en estecuestionario.

Al concluir que sólo hay una única dimensión, se deben repetir todos los pasosanteriores para realizar el análisis factorial pero en este caso pidiendo que se extraigasólo un único factor (esto se programa en la figura 13 ).

En la tabla 6 se muestran los autovalores de cada componente y el porcentaje devarianza total que explica la dimensión extraída. Como se puede observar, la dimensiónextraída explica el 26,68% de la varianza total generada por todos los ítems quecomponen el cuestionario.




23

© F

U N D A C I

Ó N



Tabla 6. Varianza total explicada por el factor.

Una vez que se sabe que sólo existe una dimensión, se puede apreciar el orden deimportancia de los ítems dentro del factor (ver tabla 7 ). Así en este ejemplo el ítem másimportante es el 5 seguido por el 10 y así sucesivamente.

Tabla 7. Matriz factorial.

Cuando se extraen dos o más factores, la tabla que hay que analizar en los resultadoses la Matriz de Configuración, en la que nos indicará a qué dimensión pertenece cadaítem. En estos casos la asignación es muy simple, el ítem se va al factor en el que tengaun valor numérico (en valor absoluto) más alto.

VARIANZA TOTAL EXPLICADA

Factor Autovalores iniciales Sumas de las saturaciones al

cuadrado de la extracción

Total % de lavarianza

%acumulado Total % de la

varianza%

acumulado

12345678910

13,3402,1701,7231,5661,4061,2801,2551,2101,1181,003

26,6794,3393,4453,1322,8112,5592,5102,4202,2362,005

26,67931,01934,46437,59640,40842,96745,47747,89750,13352,138

12,607 25,214 25,214

MATRIZ FACTORIAL

Factor

1

v5v10v7v2v3v1v8

v4v9v6

,488,462,452,443,443,440,430

,397,376,359



24

© F

U N D A C I

Ó N




Una vez que se sabe en qué dimensión se han agrupado los diferentes ítems le

corresponde al investigador analizar con detenimiento si la agrupación tiene sentido ono. Es decir, le corresponde interpretar qué es lo que se está midiendo con ese factor. Sila dimensión o las diferentes dimensiones miden aquello para lo que fueron elaboradoslos ítems, se puede defender que el cuestionario tiene Validez Factorial y por tantoValidez de Constructo.

Baremación del cuestionario

Con lo que se tiene hasta el momento ya se puede conocer cuál es la puntuación directade un sujeto en el test que se esté construyendo. Sólo es necesario sumar la puntuaciónobtenida en cada uno de los ítems de las diferentes dimensiones que se esténevaluando. Lo que ocurre con esto es que no nos permite determinar si alguien tienemucha o poca puntuación en la variable medida. Para ello es necesario tener tablas deconversión que permitan transformar las puntuaciones directas de los sujetos enpuntuaciones que puedan ser interpretadas, teniendo en cuenta las puntuaciones queobtenga el grupo con el que se quiera comparar al sujeto.

Figura 16: Baremar el cuestionario.Fuente: Elaboración FUNIBER, 2010.

Una de las escalas más populares es la de los centiles. Un percentil se interpreta comoel porcentaje de gente que obtiene menos puntuación que el sujeto. Así, si decimos queManuel Fernández obtiene un percentil 75 en inteligencia, estamos defendiendo que es

más hábil que el 75% de la población (lo que también lleva asociado que es más torpeque el 25% de la población).

Para obtener los centiles con el SPSS sólo es necesario calcular la puntuación total en elfactor.

Para sumar las puntuaciones se deben seguir los siguientes pasos:

Transformar → Calcular Variable




25

© F

U N D A C I

Ó N



Se debe nombrar una variable de destino (variable que se va a crear) y se construye la

expresión numérica correspondiente (p. ej. v1+v2+...+vn).

Con esa puntuación final se pueden calcular los percentiles:

Analizar → Estadísticos descriptivos → Frecuencias

Posteriormente una vez que se está en el menú de Frecuencias se debe pasar la variablede la puntuación directa a Variables y solicitar los Estadísticos.

Una vez en los estadísticos se pueden solicitar los cuartiles (25%, 50% y 75%) así como los valores de los percentiles que nos interesen (5%, 10%, 20%,...,90%, 95%,99%). Los pasos anteriores se ven reflejados en la figura 17 .

Figura 17: Pasos para el cálculo de los percentiles.

Como resultado de lo anteriormente calculado se puede obtener una tabla como la queaparece a continuación.



26

© F

U N D A C I

Ó N




Tabla 8. Baremación por percentiles.

Como se puede apreciar en la tabla 8 aquella persona que obtenga una puntuacióndirecta de 110 obtiene un percentil de 70, es decir, el 70% de la población de referenciatiene menos puntuación que él en la variable medida.

Tras la consecución de los pasos anteriormente expuestos se posee un cuestionariofiable, válido y baremado para poder usarlo con la garantía de que el cuestionario mideexactamente y de forma correcta el constructo deseado.

4. REFERENCIAS BIBLIOGRÁFICAS

[1] Allen, M. J. y Yen, W. M. (1979). Introduction to measurement theory .California: Brooks/Cole Publishing Company.

[2] Crocker, L. y Algina, G. (1986). Introduction to classical and modern test theory . New York: Holt, Rinehart and Winston.

[3] Cronbach, L.J. (1951). Coefficient alpha and the internal structure of test.Psychometrika, 12, 1-16.

[4] Cronbach, L. J. (1985). Fundamentos de la exploración psicológica . Madrid:Biblioteca Nueva.

ESTADÍSTICOS

Total

N VálidosPerdidos

17480

Percentiles 510202530405060707580909599

60,0066,0075,0079,0083,0090,0097,00

103,00110,00114,75119,00132,00148,00169,51




27

© F

U N D A C I

Ó N



[5] Cronbach, L.J. y Meehl, P.E. (1955). Construct validity in Psychological test. Psychological Bulletin, 52, 281-302.

[6] Drowning, S.M. y Haladyna, T.M. (2006). Handbook of test development .Londres: Routledge.

[7] Ebel, R.L. (1965). Measuring educational achievement . Englewoods Cliffs, N.J.: Prentice-Hall.

[8] Educational Measurement: Issues and Practice (1994). Número monográficodedicado a los treinta años los Test Referidos al Criterio, 13(4).

[9] Ferrando, P. J. (1993). Introducción al Análisis Factorial . Barcelona: PPU.

[10] García-Cueto, E. (1993). Introducción a la psicometría . Madrid: Siglo XXI de

España Editores, S.A.[11] Glaser, R. (1963). Instructional Technology and the measurement of

learning outcomes some questions. American Psychologist, 18, 519-521.

[12] Hambleton, R.K. (1994). The rise and fall of criterion-referencedmeasurement. Educational Measurement: Issues and Practice, 13 (4), 21-26.

[13] Lozano, L.M. (2004). Efecto del número de alternativas en las propiedades psicométricas de las escalas tipo Likert . Oviedo: Universidad de Oviedo.

[14] Lozano, L.M., García-Cueto, E. y Muñiz, J. (2008). Effect of the number ofresponse categories on the reliability and validity of rating scales.Methodology, 4 (2), 73-79.

[15] Lord, F.M. y Novick, M.R. (1968). Statistical theories of mental test scores .Massachusetts: Addison-Wesley.

[16] Messick, S. (1996). Validity of Performance Assessment. En Philips, G.(1996). Technical Issues in Large-Scale Performance Assessment .Washington, DC: National Center for Educational Statistics.

[17] Moreno, R., Martínez, R.J. y Muñiz, J. (2004). Directrices para laconstrucción de ítems de elección múltiple. Psicothema, 16 (3), 490-497.

[18] Muñiz, J. (2002). Teoría Clásica de los Test . Madrid: Pirámide.

[19] Muñiz, J., Fidalgo, A. M., García-Cueto, E., Martínez, R. y Moreno, R.(2005). Análisis de los ítems . Madrid: La Muralla.

[20] Muñiz, J., García-Cueto, E. y Lozano, L.M. (2005). Item format and thepsychometric properties of the Eysenck Personality Questionnaire.Personality and Individual Differences, 38 (1), 61-69.

[21] Nunnally, J. C. y Bernstein, I. J. (1995). Teoría Psicométrica . México:McGraw-Hill.

[22] Yela, M. (1987). Apuntes de psicología matemática, II . Madrid: Facultad dePsicología.



Documents

Funiber Master en Educacion Cuestionarios