1 algebra lineal y vectores aleatorios

INTRODUCCIÓN 1. Álgebra lineal y vectores aleatorios 2. Distribución normal multivariante ANÁLISIS DE LA MATRIZ DE COVARIANZAS 3. Componentes principales 4. Análisis factorial 5. Correlaciones canónicas CLASIFICACIÓN 6. Análisis discriminante 7. Análisis de conglomerados

ALGEBRA LINEAL

1

1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS

Vectores Ortogonalización de Gram-Schmidt Matrices ortogonales Autovalores y autovectores Formas cuadráticas Vectores y matrices aleatorias Matriz de datos

2

ALGEBRA LINEAL

Vectores

Matriz de datos: p variables observadas en n objetos

3

nxp

npnnn

p

p

p

X

xxxx

xxxxxxxxxxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n

Variable_1 Variable_p

nxp

npnnn

p

p

p

X

xxxx

xxxxxxxxxxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


ALGEBRA LINEAL

Vectores

Dados

px

xx

1

py

yy

1

se define:1. Suma

pp yx

yxyx

11

4

ALGEBRA LINEAL

Vectores

2. Producto de un escalar por un vector

pxc

xcxc

1

3. Producto escalar de dos vectores

pp

p

iii yxyxyxyxyxyx

111

',

5

ALGEBRA LINEAL

Vectores

4. Norma de un vector

Propiedades

p

iixxxxxx

1

22/1)'('

zxbyxabzayx ,,,

xyyx ,,

00,0, xxxyxx

x xx x

6

ALGEBRA LINEAL

Vectores

5. Distancia entre dos vectores

6. Ángulo entre dos vectores

yxyxd ),(

y

x

yx y

x

yx

7

yxyx,

cos

yxyx 0cos0,

ALGEBRA LINEAL

Vectores

Desigualdad de Cauchy-Schwarz

yxyx ,

Consecuencia:

8

1cos1

1,

1

,

yxyx

yxyxyx

ALGEBRA LINEAL

Vectores

7. Ortogonalidad

8. Ortonormalidad

nuuu ,,, 21 jiuu ji ,

es ortonormal si es ortogonal

y todos los vectores tienen norma 1, es decir,

es ortogonal si

9

neee ,,, 21

iei 1

ALGEBRA LINEAL

Vectores

Ejemplo

10

cos)(),()(?)(

)(,)(

301

201

vvudivvuiii

uiivui

vu

ALGEBRA LINEAL

Vectores

Un conjunto de vectores nuuu ,,, 21

es linealmente independiente si

n

n

iii cccuc

211

0

(la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0)

11

=0

ALGEBRA LINEAL

Vectores

Proposición. Todo conjunto ortogonal de vectores no nulos es linealmente independiente.

nuuu ,,, 21 ortogonal nuuu ,,, 21 l.i.

00,

0,,

0

11

11

jjj

jjjnnj

nn

cuu

uucucucu

ucuc

Demostración

12

ALGEBRA LINEAL

Vectores

Proyección de x sobre y

13

yy

yxy

yyyx

xpr y 2

,,,

)(

ALGEBRA LINEAL

Vectores

Ejemplo

14

?)(

?)(

11

2

301

ypr

xpr

yx

x

y

ALGEBRA LINEAL

Ortogonalización de Gram-Schmidt

V subespacio vectorial de psi V es espacio vectorial,

;,, bayVvues decir, si Vbvau

Dado A =

n

iiii cucAspan

1

:

nuuu ,,, 21

Propiedades

subespaciounesAspaniiAspanAi

)()()(

15

pV

ALGEBRA LINEAL


Proposición

n

i

uuspanvniuv,,

,,1

1

0,,,

,,

11

1

i

n

ii

n

iii

n

uvcucvvu

uuspanu Demostración

16

ALGEBRA LINEAL


111

11

11

1

222

231

11

1333

111

1222

11

,,

,,

,,

,,,,

nnn

nnnnn u

uuux

uuuux

xu

uuuux

uuuux

xu

uuuux

xu

xu

Sean

Dado un conjunto de vectores l.i., se puede construir otro conjunto ortogonal que genere elmismo espacio.

linealmente independientes nxxx ,,, 21

17

ALGEBRA LINEAL


Entonces:

ortogonalesuuii

uuspanxxspani

n

nn

,,)(,,,,)(

1

11

18

ALGEBRA LINEAL

Matrices ortogonales

Matrices ortogonales Anxn; inversa A-1: A A-1 = A-1A = I. A’ transpuesta de A. Qnxn es ortogonal si Q’Q = QQ’ = I.(las columnas de una matriz ortogonal son vectores ortonormales)

mnmm

n

mxn

aaa

aaaA

21

11211

19

ALGEBRA LINEAL

Matrices ortogonales

Propiedades

Qy Qxy

x

20

xQxiiiQyQxyxii

yxQyQxiortogonal

matrizQyx p

)()(

,,)(

; ,

ALGEBRA LINEAL

Autovalores y autovectores

Anxn; xAxquetalx 0

x

autovalor de A

x es autovector asociado a

00)(,0

0,00 ,0

IAxIAx

IxAxxxAxx

Polinomiocaracterístico

Ecuacióncaracterística

21

ALGEBRA LINEAL

Autovalores y autovectores

Ejemplo

Autovalores y autovectores de

22

1551

A

ALGEBRA LINEAL

Autovalores y autovectores Propiedades

..

,)(

)(

2122

1121

21

ilsonxyxautovalorconx

autovalorconxii

trAi n

Diagonalización de matrices

jiijnxn aaAAsimétricaA '

nnn

n

nxn

aa

aaaa

A

1

12

11211

23

ALGEBRA LINEAL

Autovalores y autovectores: diagonalización

Si A simétrica entonces

'

''

0

0

2

1

2

1

21

nn

nnxn

e

ee

eeeA

existen autovalores reales n ,,1 con autovectores asociados nee ,,1

ortonormales tales que

P P’DA=PDP’, siendo D diagonal y P ortogonal(Toda matriz simétrica es diagonalizable)

24

ALGEBRA LINEAL

Ejemplo

Diagonalizar

25

22

23A

Autovalores y autovectores: diagonalización

ALGEBRA LINEAL

Autovalores y autovectores:representación espectral

Sea

n ,,1 con autovectores ortonormales nee ,,1 tales que

Si A es simétrica entonces existen autovalores reales

.''222

'111 nnn eeeeeeA

.

1

12

11211

nnn

n

nxn

aa

aaaa

A

26

ALGEBRA LINEAL

Ejemplo

Descomposición espectral de

27

6229

A

Autovalores y autovectores:representación espectral

ALGEBRA LINEAL

Formas cuadráticas

Anxn simétrica;

n

jii

n

jjiij

n

i

n

j

n

iiijjiij

nnnnjiijnnn

nnnn

n

n

xxaxaxxa

xxaxxaxxaxaxa

x

xx

aa

aaaa

xxxxf

1 11 1 1

2

11211222

111

2

1

1

21

11211

21

2

)(

nx ,

nx

xx

1

f(x)=x’ A x es una forma cuadrática

28

ALGEBRA LINEAL

Formas cuadráticas

EjemploExpresar matricialmente la forma cuadrática

Escribir en forma cuadrática

29

32312123

22

21321 546325),,( xxxxxxxxxxxxf

2

12121 22

21),(

xx

xxxxf

ALGEBRA LINEAL

Formas cuadráticas

Como Anxn es simétrica, es diagonalizable,

se puede escribir A = PDP’ y, por tanto, queda: f(x) = x’PDP’x.Haciendo y = P’x:

,0

0')(

1

211

1

n

iii

nn

n yy

yyyDyyyf

se tiene

.)( 2

1

211

2nn

n

iii yyyyf

30

Formas cuadráticas

x2

x1 y2y1

e2e1 2λc

1λc

ALGEBRA LINEAL31

y los autovectores x’Ax=c2 representa geométricamente una elipseen

2222

211

2

2

'''

cyycxPDPxcAxx

; los autovalores son 21 normalizados son e1 y e2.

2

Formas cuadráticas

ALGEBRA LINEAL32

EjemploRepresentar, hallar los ejes y obtener la expresión reducida de

9135

513

2

121

xx

xx

Formas cuadráticas

Clasificación de formas cuadráticas

ALGEBRA LINEAL33

Sea f(x) = x’ A x f es definida positiva si f es semidefinida positiva si f es semidefinida negativa si f es definida negativa si f es indefinida si

0)(,0 xfx0)(, xfx n

0)(,0 xfx

0)(0)( 2121 xfyxfquetalxyx nn

0)(, xfx n

Formas cuadráticas

Sean los autovalores de A f es definida positiva f es semidefinida positiva f es semidefinida negativa f es definida negativa f es indefinida

ALGEBRA LINEAL

0,,01 n 0,,01 n

0,,01 n 0,,01 n

0,0 ji

34

n ,,1

Raíz cuadrada de una matriz

B es raíz de A si A=BB;

ALGEBRA LINEAL

n

iii eeA

1

'

Raíz cuadrada de una matriz:

A semidefinida positiva;

B=A1/2 ; A=A1/2 A1/2

Si A es simétrica y A=PDP’ con descomposición espectralentonces:

35

Formas cuadráticas

ALGEBRA LINEAL

Raíz cuadrada de una matriz:

'

' 0

0

' 0

0

1

12/1

1

ii

n

ii

n

n

ee

PPA

PPASea

'1'/10

0/1

1

11

ii

n

i in

eePPA

Nota:

36

Descomposición singular de una matriz

ALGEBRA LINEAL

i

Dada la matriz Amxn, AA’ es cuadrada y

simétrica; por tanto, diagonalizable.

VUAk

000

001

es un valor singular de A, si 2

i es autovalor de AA’.

Descomposición singular Sea A una matriz mxn; k ,,1 valores singulares de A. Entonces existen matrices ortogonales U y V tales que:

37

Vectores y matrices aleatorias

22 )]([)(

)(aleatoria variable

iiiiii

ii

i

XEXEXV

XEX

mnmm

n

p XXX

XXX

X

XX

21

112111

;

Vectoraleatorio

Matrizaleatoria

31


)(

)( 11

pp XE

XEEX

Se llama vector de medias a:

y covarianza entre dos variables a

Se define la matriz de covarianzas de X como: )].)([(),( jjiijiij EXXEXXEXXCov

ppp

p

XVX

1

111

39

:Entonces . , ;constantes c ,11

VXEX

c

c

X

XX

pp

ccXcViicXcEi

')'( )(

')'( )(

'.)( )(.)( )(

:Entonces .constantes de matriz

CCCXViiCEXCXEi

Cmxp



ALGEBRA LINEAL

Ejemplo

41

4226

01

2

2

123

212

121

2

1

XXYXXYXXY

XX

X


)()()()()()()(

)()(

)()()()()(

1

111

YEXEYXEYiiiBXAEAXBEii

XEXE

XEXEAXAEAXEi

mxn

mnm

n

Propiedades

Sea Xmxn y sean Akxm y Bnxr matrices de constantes.

Entonces:

42


,

1

11

21

221

112

pp

p

p

rr

rrrr

Matriz de correlaciones

,2/12/1 VVen forma matricial:

donde V es la matriz de varianzas:

2

2111

0

0

0

0

ppp

V

donde ;jjii

ijijr

43


)2(

)1(

1

1

1

;XX

X

XX

X

XX

XX

p

r

r

p

Partición de un vector aleatorio

)2(

)1(

Vector de medias:

Sea

Matriz de covarianzas:

2221

1211

),(),()()(

)2()1()2()1('2112

)2(22

)1(11

ji XXCovXXCovXVXV

, donde

44

Matriz de datos

45

nxp

npnnn

p

p

p

X

xxxx

xxxxxxxxxxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


nxp

npnnn

p

p

p

X

xxxx

xxxxxxxxxxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


n

xx

n

xx

n

iip

p

n

ii

111

1

Matriz de datos

46

px

xx

1

Vector de medias:

Matriz de varianzas y covarianzas:donde

ppp

p

n

ss

ssS

1

111

nxxxxs jkj

n

kikiij /)()(

1

Matriz de correlaciones: 2/12/1 nnn VSVR , donde

pp

n

s

sV

0

011

Matriz de datos

; ...,,,; 21

1

diiXXXX

XX n

p

Proposición

n

XX

n

ii

1

Dado

47

nnSEiii

nXViiXEi

n1)()(

/)()()()(

Matriz de datos

48

La matriz de datos se puede representar como: Diagrama de dispersión, n puntos en el espacio

p

x1

x2p=2

x1

x2

x3p=3

Como para p>3 no es posible representarlo, se utilizan diagramas de dispersión múltiple con pares de variables.

Matriz de datos

49

Considerando las columnas en vez de la filas de lamatriz de datos, es decir, p puntos en

n

nxp

npnnn

p

p

p

X

xxxx

xxxxxxxxxxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


nxp

npnnn

p

p

p

X

xxxx

xxxxxxxxxxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


Y1 Y2 Y3 Yp

Para cuatro variables:

34333231

24232221

14131211

xxxxxxxxxxxx

X

Y1 Y2 Y3 Y4

Y1 Y4

Y3

Y2

Matriz de datos

50

y forma el mismo ángulo con todoslos ejes.

1

1

11 nx

n1

Vector de unos: n unos

Propiedades

es el vector unitario que forma el mismoángulo en todas las direcciones.

n/1

Matriz de datos

51

Proyección de un vector sobre el vector

i

i

i

n

jij

ii

x

xx

n

xy

ypr 1111,11,

)( 11

:1

yi

1 1ix

Matriz de datos

52

1

111

i

ni

i

ini

ii

i xx

x

xx

xxd

Vector de desviaciones a la media:

Matriz de datos

53

Entonces:

ijjjii

ij

jjii

ij

ji

jiji

ijjkj

n

kikiji

iiiiniiii

rss

s

nsns

nsdd

dddd

nsxxxxdd

nsdxxxxd

,),cos(

)()(,

)(...)(

1

2221

Matriz de datos

54

ppp

p

pp

XEX

XX

1

11111

;)(;

Varianza generalizada y varianza total:

Matriz de datos

55

Varianza generalizada de X: Varianza total de X:

Varianza generalizada muestral: Varianza total muestral:

)det(

pptraza 11)(

ppn ssStraza 11)(

)det( nn SS

Matriz de datos

56

Interpretación geométrica

Área =

Varianza generalizada en

pn nVolumenS

2

||)1(cos1 2122211

2221121 nSnrssnnsnssendd

p

57EJEMPLOS

58EJEMPLOS

59EJEMPLOS

Education

1 algebra lineal y vectores aleatorios