El Análisis Discriminante

8/18/2019 El Análisis Discriminante

1/27

Aplicación del El análisis discriminante

El análisis discriminante se utiliza para clasificar a distintos individuos en grupos opoblaciones alternativos a partir de los valores de un conjunto de variables sobre

los individuos a los que se pretende clasificar. Ejemplo, que un director de unasucursal bancaria necesita establecer algún criterio que para conceder o no lospréstamos que le son solicitados. Su misión es detectar si el solicitantepertenecerá en el futuro al grupo de los que devuelven los préstamos o si, por elcontrario, será de aquellos que no lo acen.

Supongamos que ese director tiene el istorial de todos aquellos individuos que,en el pasado, solicitaron préstamos. En ese istorial figura, evidentemente, si

finalmente el préstamo fue devuelto o no, es decir, el director tiene clasificados alos individuos en solventes e insolventes. !o que se plantea a ora es si se puedeobtener algún tipo de función que le permita, ante una nueva solicitud, predecir acuál de los dos grupos va a pertenecer el solicitante.

"ara esto sirve el análisis discriminante. #ada una población, que tenemosdividida en grupos, el análisis discriminante encuentra una función que permite,con un determinado grado de acierto, e$plicar esa división en grupos %visión

explicativa &. 'na vez obtenida, puede utilizarse para clasificar a nuevos individuosen alguno de los grupos en que está dividida la población.

(isión geométrica del análisis discriminante

)ntentaremos ofrecer una intuición geométrica del análisis discriminante que nosservirá, además, para introducir algunos conceptos necesarios. Supongamos quetenemos una población que puede dividirse en dos grupos. Siguiendo con elejemplo inicial del director de banco* clientes solventes e insolventes.

Supongamos, también, que queremos ser capaces de e$plicar esa clasificaciónatendiendo a una única variable, por ejemplo, el nivel de ingresos del cliente.

+omo el director del banco tiene el istorial de los créditos pasados que concedió,sabe qué nivel de ingresos ten an los solventes - los insolventes. #e estainformación podr a obtenerse fácilmente la figura .


2/27

'n criterio que podr a adoptar el director de banco para conceder o no unpréstamo, podr a ser calcular la media de ingresos de los dos grupos. !a media deambas medias %C & ser a un buen punto de corte como se ilustra en la figura.

. Si el nuevo solicitante tiene unos ingresos % X & superiores a +, se le concede elpréstamo - si los tiene inferiores no se le concede*

es decir, si /0+ al individuo se le clasifica en el grupo de los solventes - si /1+ enel de los probables insolventes.


3/27

Este criterio, como también se observa en la figura , no es infalible, dado que enla base de datos del director del banco a- clientes con unos ingresos inferiores a+ que s que devolvieron sus créditos -, por el contrario, a- clientes que ten aningresos superiores a esa cantidad - que acabaron siendo insolventes.

!a misión del análisis discriminante es obtener un criterio de clasificación quereduzca ese error. Es decir, encontrar una función discriminante que separe lomejor posible las dos poblaciones.

!a figura 2, ilustra el caso anterior cuando utilizamos no una variable e$plicativa%los ingresos&, sino dos, por ejemplo, los ingresos - la edad del solicitante.

En esta figura 2, se intenta ilustrar cómo, si en lugar de utilizar para clasificar unade las dos variables / - /2 por separado, se utiliza una combinación de ambas


4/27

#, el área que recoge el error, es muc o menor. En s ntesis, el análisisdiscriminante pretende encontrar aquella función discriminante*

# 3 u / 4 u2/2 454 u6/6

que menor error de clasificación produzca, donde / .../6 son las 6 variablese$plicativas - u ...u6 son coeficientes de ponderación.

+uando a los individuos se les quiera clasificar en dos grupos, bastará con unafunción discriminante #, pero si se les quiere clasificar en tres grupos, arán faltados funciones discriminantes. En general serán necesarias 78 funcionesdiscriminantes donde 7 es el número de grupos en que se divide la población%figura 9&.


5/27

Análisis Discriminante con SPSS

+uando se utiliza S"SS se suelen considerar varias fases en el análisisdiscriminante.

+omprobación de los supuestos paramétricos del análisis discriminante

En sentido estricto, la función discriminante minimiza la probabilidad deequivocarse al clasificar los individuos en cada grupo. "ara ello, las variablesoriginales se deben distribuir como una normal multivariante - las matrices decovarianzas deben ser iguales en todos los grupos. En la práctica es una técnicarobusta - funciona bien aunque las dos restricciones anteriores no se cumplan.

Si un conjunto de variables se distribu-e como una normal multivariante, entoncescualquier combinación lineal de ellas se distribu-e como una normal univariante."or ello, si alguna de las variables originales no se distribu-e como una normal,entonces es seguro que todas las variables conjuntamente no se distribuirán comouna normal multivariante.

!a segunda restricción se refiere a la igualdad entre las matrices de covarianzasde los grupos. "ara comprobar esto, se puede usar la prueba : de ;o$, que estáincluida en el

S"SS. #ic a prueba tiene como ipótesis nula que las matrices de covarianzasson iguales.

Se basa en el cálculo de los determinantes de las matrices de covarianzas decada grupo.

El valor obtenido se apro$ima por una < de Snedecor. Si el p8valor es menor que=,=> se rec aza la igualdad entre las matrices de covarianzas.

El test : de ;o$ es sensible a la falta de normalidad multivariante, es decir,matrices iguales pueden aparecer como significativamente diferentes si no e$istenormalidad. "or otra parte, si las muestras son grandes, pierde efectividad %esmás fácil rec azar la ipótesis nula&.


6/27

Selección de las variables discriminantes

"rimero se puede realizar un análisis descriptivo univariante calculando las medias- las desviaciones estándar de las variables originales para cada uno de los

grupos por separado. Si para alguna variable las medias de los grupos sondiferentes - la variabilidad es peque?a, se considera que dic a variable seráimportante a la ora de discriminar a los grupos.

A continuación, se observan las relaciones entre las variables. Se calculanmatrices de correlaciones en lugar de matrices de covarianzas por ser másfácilmente interpretables.

Además de analizar la correlación entre pares de variables sin distinguir grupos,

se debe analizar las correlaciones dentro de cada grupo - luego considerar lamedia de las mismas. Se calcula también la matriz "ooled @it in8groupscorrelation matri$. #ic a matriz se calcula como una matriz media de correlacionescalculadas por separado en cada grupo. A menudo no se parece a la matriz decorrelaciones total por ejemplo*

Si se considera cada grupo por separado % , 2 - 9&, el coeficiente de correlaciónentre $ - $2 es = %el ec o de variar $ no influ-e en $2* la pendiente de la rectade regresión es =&. Si allamos la media de esos coeficientes, su valor es también= sin embargo, el coeficiente de correlación calculado para todos los datos sin


7/27

tener en cuenta a los grupos está pró$imo a , porque cuando aumenta el valor de$ también lo ace el valor de $2.

Estadísticos usados

< de Snedecor se compara para cada variable las desviaciones de las medias decada uno de los grupos a la media total, entre las desviaciones a la media dentrode cada grupo.

Si < es grande para cada variable, entonces las medias de cada grupo están mu-separadas - la variable discrimina bien. Si < es peque?a, la variable discriminarápoco, -a que abrá poca omogeneidad en los grupos - éstos estarán mu-pró$imos.

B de Cil6s Dambién se la denomina '8estad stico. +uando se considera a lasvariables de modo individual, la B es igual al cociente entre la suma de cuadradosdentro de los grupos - la suma de cuadrados total %sin distinguir grupos&. Es decir,equivale a las desviaciones a la media dentro de cada grupo, entre lasdesviaciones a la media total sin distinguir grupos. Si su valor es peque?o, lavariable discrimina muc o* la variabilidad total se debe a las diferencias entregrupos, no a las diferencias dentro de grupos.

Variables originales que se consideran

!a idea del Análisis discriminante es construir funciones lineales de las variablesoriginales que discriminen entre los distintos grupos. Sin embargo, no todas lasvariables discriminan de la misma forma o tienen los mismos valores de la < deSnedecor o de la B de Cil6s. "or ello, a la ora de construir las funciones lineales,no es necesario incluir a todas las variables iniciales en la función.

+omo criterio general para seleccionar una variable se emplea la selección delvalor de la B de Cil6s o, de modo equivalente, del valor de su < asociada.

Se usan fundamentalmente dos métodos de selección de variables* el métododirecto - el método step@ise.


8/27

En el método directo se consideran todas las variables originales que verifiquen uncriterio de selección.

El método step@ise es un método que funciona con varios pasos*

. Se inclu-e en el análisis la variable que tenga el ma-or valor aceptable parael criterio de selección o de entrada.

2. Se evalúa el criterio de selección para las variables no seleccionadas. !avariable que presenta el valor más alto para el criterio se selecciona%siempre que esté dentro de un l mite&.

9. Se e$aminan las variables seleccionadas según un criterio de salida - see$aminan también las variables no seleccionadas, para ver si cumplen elcriterio de entrada. Se e$clu-en o se inclu-en variables según cumplan loscriterios de entrada - de salida.

. Se repite el paso %9& asta que ninguna variable más pueda ser seleccionada o eliminada.

Además de todo lo anterior, en el S"SS se considera un número má$imo depasos, dado que una variable puede ser incluida - eliminada en más de una

ocasión. Se toma el doble del número de variables originales como númeromá$imo de pasos del método step@ise.

En el SPSS se considera también para cada variable la tolerancia asociada.

Tolerancia

Se define para un conjunto de p variables, Fi, el coeficiente de correlación múltipleque e$presa el porcentaje de variabilidad de la variable $i %i 3 , . . . , p& recogida

por el resto de %p G & variables. Si se eleva al cuadrado F2

i se obtiene elcoeficiente de determinación.

Entonces, la tolerancia se define como G F2i . As , cuanto ma-or sea la toleranciade una variable, más información independiente del resto de variables recogerá.


9/27

#e este modo, si en una iteración dada del procedimiento step@ise la variableseleccionada verifica que su tolerancia con respecto a las variables -a incluidas enla función discriminante es mu- peque?a entonces la variable no se inclu-e endic a etapa. As , se evita la redundancia de información.

álculo de la ! " de la # de $il%s multivariantes para &i'ar los criterios de

entrada " salida

"ara un conjunto de variables se define la < como

donde

H;H 3 determinante de la matriz de covarianzas entre grupos.

HC H 3 determinante de la suma de las matrices de covarianzas dentro de losgrupos.

En general, el determinante de una matriz de covarianzas da una medida de la

variabilidad total de un conjunto de variables. A partir de este valor de


10/27

+uando se comparan covarianzas entre grupos, se ace en base a los centroidesde los grupos, es decir, a los vectores de medias de las variables en cada grupo.

Estadísticos que se calculan en el procedimiento step(ise

! de entrada )! to enter*

E$presa la disminución en la B de Cil6s que se produce si se inclu-e una variabledada entre las que no están dentro de la función discriminante. Si el valor espeque?o, la disminución de la B de Cil6s será inapreciable - la variable no entraráen la función.

! de salida )! to remove*+

E$presa el incremento que se produce en la B de Cil6s, si se elimina de la funcióndiscriminante una variable dada. Si el valor de la < de salida es peque?o, elincremento no será significativo - la variable se eliminará del análisis.

orrelación anónica

#a una medida del grado de asociación entre las puntuaciones discriminantes decada uno de los objetos - el grupo concreto de pertenencia

es decir, es la proporción de la variabilidad total debida a la diferencia entre grupospara las funciones discriminantes.

+uando sólo se tienen dos grupos, la correlación canónica es igual al coeficientede correlación entre la puntuación discriminante - el grupo de pertenencia, que se

representa por una variable codificada en =I %en S"SS&.


11/27

Signi&icación " coe&icientes de las &unciones discriminantes

+uando no e$isten diferencias entre los grupos, las funciones discriminantes sólo

indican variabilidad aleatoria %ruido&. Se puede usar la B de Cil6s para realizar untest en el cual la ipótesis nula es que las medias de las funciones discriminantesen cada grupo son iguales.

+uando se tienen varios grupos - varias funciones, se calcula una B de Cil6s totalmediante el producto de las B de Cil6s de cada función. Jsta se puede apro$imar por una

K2, usando la siguiente transformación*

de modo que ( ∼ K2 p%6G & apro$imadamente. #e este modo, si B es peque?o ( esgrande - se rec aza la ipótesis nula.

Si la significación asociada al valor de la K2 es menor que =,=> %o bien otro valor

prefijado& se rec aza la ipótesis nula %a dic o nivel de confianza&.,nterpretación de los coe&icientes de la &unción discriminante

Si usamos variables originales tipificadas, se obtienen los coeficientes a ij querelacionan las variables con las funciones discriminantes*

Se pueden interpretar las magnitudes de los coeficientes como indicadores de laimportancia relativa de las variables en cada función discriminante. As , si aij es


12/27

grande en valor absoluto, entonces a- una fuerte asociación entre la variable $ j -la función -i, en relación al resto de variables. Aun as , al e$istir en generalcorrelaciones significativas entre las variables originales, se debe tener cuidado al

acer interpretaciones precipitadas.

-atri de estructura

Ltra forma de calcular la contribución de cada variable a una función discriminantees e$aminar las correlaciones entre los valores de la función - los valores de lasvariables.

Se calculan, dentro de cada grupo, las correlaciones entre las variables - laspuntuaciones luego se combinan en una matriz pooled @it in8groups correlation

matri$. !os valores obtenidos dan una medida de las contribuciones.

lasi&icación de los ob'etos

'na vez calculadas las funciones discriminantes, es decir, las combinacioneslineales de las variables originales, a cada objeto se le puede asignar unapuntuación o valor dado en la función discriminante.

Esto equivale al valor que se recoge en una ecuación de regresión. As , si $ ij es el

valor que alcanza el objeto i8ésimo en la variable j8ésima, entonces la puntuación ovalor alcanzado en la función discriminante 6 será*

/egla de 0a"es

Se pueden usar las puntuaciones discriminantes para obtener una regla paraclasificar los casos en los grupos. En el S"SS se usa la regla de ;a-es.

As , la probabilidad de que un objeto j, con una puntuación discriminante # 3%- j , ..., - jm&, pertenezca al grupo i8ésimo se puede estimar mediante la regla de;a-es*


13/27

" %7i& es la probabilidad a priori - es una estima de la confianza de que un objeto

pertenezca a un grupo si no se tiene información previa. "or ejemplo, si M> de 2=personas sobreviven en la muestra, la probabilidad de sobrevivir se apro$ima por M>N 2=.

!as probabilidades a priori se pueden determinar de distintos modos. Si la muestrase considera representativa de la población, se pueden usar las proporciones delos casos en cada grupo como estimadores de dic as probabilidades. +uandotodos los grupos tienen el mismo número de objetos - no se tiene ningún tipo de

información previa, se asignan probabilidades a priori iguales para todos losgrupos.

" %#H7i& es la probabilidad de obtener la puntuación # estando en el grupo i8ésimo.

+omo las puntuaciones discriminantes se calculan a partir de combinacioneslineales de p variables, distribuidas según una normal, se distribu-en a su vezcomo una normal, cu-a media - varianza se estiman a partir de todas laspuntuaciones que se recogen en el grupo i8ésimo.

" %7iH#& es la probabilidad a posteriori que se estima a través de " %7i& - de " %#H7 i&.

En realidad, mide lo mismo que la " %7i&, pero refina la medida de incertidumbre altener en cuenta la información que recogen las puntuaciones discriminantes #. Esdecir, lo que interesa es calcular la probabilidad de que un objeto pertenezca algrupo 7i, dado que presenta la puntuación #.

Se asignará un objeto al grupo 7 i cu-a probabilidad a posteriori sea má$ima, esdecir, dado que presenta la puntuación #.

-atri de con&usión


14/27


15/27

!os datos corresponden a dos tipos raciales diferentes en los que se practicarondiferentes medidas antropométricas de longitudes, anc uras de cráneo - de cara.Se trata de acer un análisis discriminante sobre los dos tipos raciales.

Se toma una muestra de >= ve culos producidos en EE.'', Papón - Europa. Seconsideran las siguientes variables* +onsumo, +ilindrada, "otencia, "eso,

Aceleración, A?o del modelo - Oúmero de cilindros. Se trata de acer un análisisdiscriminante sobre los tres tipos de ve culos, en función de su origen.


16/27


17/27

:edia, desviación t pica, número de casos válidos %ponderado - no ponderado&para cada uno de los grupos - para la muestra total*


18/27

Dabla de AOL(A con estad sticos < que permiten contrastar la ipótesis deigualdad de medias entre los grupos en cada variable independiente. !a tabla de

AOL(A inclu-e también el estad stico lambda de Cil6s univariante. !a información


19/27

de esta tabla suele utilizarse como prueba preliminar para detectar si los gruposdifieren en las variables de clasificación seleccionadas sin embargo, debe tenerseen cuenta que una variable no significativa a nivel univariante podr a aportar información discriminativa a nivel multivariante.

+orrelación intra8grupos. :uestra la matriz de correlaciones intra8grupocombinada, es decir la matriz de correlaciones entre las variables independientesestimada a partir de las correlaciones obtenidas dentro de cada grupo.

0o12s Test o& Equalit" o& ovariance -atrices


20/27


21/27


22/27


23/27


24/27


25/27

Validación cru ada * para comprobar la capacidad predictiva de la funcióndiscriminante, para ello el S"SS genera tantas funciones discriminantes comocasos válidos tiene el análisis cada una de esas funciones se obtiene eliminandoun caso después, cada caso es clasificado utilizando la función discriminante enla que no a intervenido.


26/27

Análisis #iscriminante %con F&


27/27

Documents

El Análisis Discriminante