Aproximación por mínimos cuadrados - Facultad de Ingeniería - Universidad de …jana/gal22010/clase12.pdf · 2010. 9. 9. · planteo del problema mínimos cuadrados - recta mínimos

planteo del problema mínimos cuadrados - recta mínimos cuadrados - polinomio

Aproximación por mínimos cuadrados

Jana Rodriguez HertzGAL2

IMERL

9 de setiembre de 2010


problema

problema

aproximación polinomial de datostenemos N mediciones experimentales

(t1, y1), . . . , (tN , yN)queremos encontrar un polinomio P tal que

P(ti) ≈ yi i = 1, . . . ,N

queremos ademásP que mejor aproxime

las mediciones


problema

problema

aproximación polinomial de datostenemos N mediciones experimentales(t1, y1), . . . , (tN , yN)

queremos encontrar un polinomio P tal que

P(ti) ≈ yi i = 1, . . . ,N


las mediciones


problema

problema

aproximación polinomial de datostenemos N mediciones experimentales(t1, y1), . . . , (tN , yN)queremos encontrar un polinomio P tal que

P(ti) ≈ yi i = 1, . . . ,N


las mediciones


problema

problema

aproximación por mínimos cuadradoscuál es el P que mejor aproxima los datos?

vector error

~ε(P) = (y1 − P(t1), . . . , yN − P(tN))

buscamos que ‖~ε(P)‖ sea el menor posible:i.e. dado un grado fijo k , P0 es el que hace:

‖~ε(P0)‖ = minP∈Pk (R)

‖~ε(P)‖

(aproximación por mínimos cuadrados)


problema

problema

aproximación por mínimos cuadradoscuál es el P que mejor aproxima los datos?vector error

~ε(P) = (y1 − P(t1), . . . , yN − P(tN))



‖~ε(P)‖



problema

problema


~ε(P) = (y1 − P(t1), . . . , yN − P(tN))

buscamos que ‖~ε(P)‖ sea el menor posible:

i.e. dado un grado fijo k , P0 es el que hace:


‖~ε(P)‖



problema

problema


~ε(P) = (y1 − P(t1), . . . , yN − P(tN))



‖~ε(P)‖



buscando recta que aproxima

mínimos cuadrados - recta

recta que aproxima datosbuscamos recta que mejor aproxima:

(t1, y1), . . . , (tN , yN)(polinomio de grado k = 1)




recta que aproxima datosbuscamos recta que mejor aproxima:(t1, y1), . . . , (tN , yN)

(polinomio de grado k = 1)




recta que aproxima datosbuscamos recta que mejor aproxima:(t1, y1), . . . , (tN , yN)(polinomio de grado k = 1)




mínimos cuadrados - rectavector error:

~ε(α, β) = (y1 − (αt1 + β), . . . , yN − (αtN + β))

~ε(α, β) =

y1...yN

− t1 1... ...

tN 1

(α, β)

= Y − AX

con X = (α, β)buscamos minX∈R2 ‖Y − AX‖




mínimos cuadrados - rectavector error:~ε(α, β) = (y1 − (αt1 + β), . . . , yN − (αtN + β))

~ε(α, β) =

y1...yN

− t1 1... ...

tN 1

(α, β)

= Y − AX






~ε(α, β) =

y1...yN

− t1 1... ...

tN 1

(α, β) = Y − AX






~ε(α, β) =

y1...yN

− t1 1... ...

tN 1

(α, β) = Y − AXcon X = (α, β)

buscamos minX∈R2 ‖Y − AX‖





~ε(α, β) =

y1...yN

− t1 1... ...

tN 1

(α, β) = Y − AXcon X = (α, β)buscamos minX∈R2 ‖Y − AX‖



solución del problema

mínimos cuadrados - rectabuscamos minX∈R2 ‖Y − AX‖, con datos: Y ,A

ahora S = {AX : X ∈ R2} s.e.v. de RN

⇒ min es alcanzado en AX0 = PS(Y )o sea, Y − AX0 = PS⊥(Y ) cumple‖Y − AX0‖ = minX∈R2 ‖Y − AX‖




mínimos cuadrados - rectabuscamos minX∈R2 ‖Y − AX‖, con datos: Y ,Aahora S = {AX : X ∈ R2} s.e.v. de RN






⇒ min es alcanzado en AX0 = PS(Y )

o sea, Y − AX0 = PS⊥(Y ) cumple‖Y − AX0‖ = minX∈R2 ‖Y − AX‖





⇒ min es alcanzado en AX0 = PS(Y )o sea, Y − AX0 = PS⊥(Y ) cumple

‖Y − AX0‖ = minX∈R2 ‖Y − AX‖


proposición

proposición

proposiciónA ∈MN×K (R)

S = {AX : X ∈ RK} s.e.v. de RN

⇒S⊥ = {Y ∈ RN : AtY = ~0}


proposición

proposición

proposiciónA ∈MN×K (R)S = {AX : X ∈ RK} s.e.v. de RN

⇒S⊥ = {Y ∈ RN : AtY = ~0}


proposición

demostración

Y ∈ S⊥

⇔ 〈Y ,AX 〉 = 0 ∀X ∈ RK

⇔ 〈AtY ,X 〉 = 0 ∀X ∈ RK

⇔ AtY = ~0

∈ RK


proposición

demostración

Y ∈ S⊥

⇔ 〈Y ,AX 〉 = 0 ∀X ∈ RK

⇔ 〈AtY ,X 〉 = 0 ∀X ∈ RK

⇔ AtY = ~0 ∈ RK


proposición


mínimos cuadrados - rectabuscamos X0 ∈ RK tal que‖Y − AX0‖ = minX∈RK ‖Y − AX‖

⇒ Y − AX0 ∈ S⊥

con S = {AX : X ∈ RK} s.e.v. de RN

⇒ At(Y − AX0) = ~0⇒ X0 es solución de(ecuaciones normales)


proposición


mínimos cuadrados - rectabuscamos X0 ∈ RK tal que‖Y − AX0‖ = minX∈RK ‖Y − AX‖⇒ Y − AX0 ∈ S⊥


⇒ At(Y − AX0) = ~0⇒ X0 es solución de(ecuaciones normales)


proposición




⇒ At(Y − AX0) = ~0

⇒ X0 es solución de(ecuaciones normales)


proposición




⇒ At(Y − AX0) = ~0⇒ X0 es solución de

AtAX0 = AtY

(ecuaciones normales)


ejemplo


ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

y A =

0 11 13 14 1

X0 tal que‖Y − AX0‖ = min ‖Y − AX‖⇒ AtAX0 = AtY⇒ X0 = (AtA)−1AtY

= (1110 ,−15)


ejemplo


ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

y A =

0 11 13 14 1

X0 tal que‖Y − AX0‖ = min ‖Y − AX‖

⇒ AtAX0 = AtY⇒ X0 = (AtA)−1AtY

= (1110 ,−15)


ejemplo


ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

y A =

0 11 13 14 1

X0 tal que‖Y − AX0‖ = min ‖Y − AX‖⇒ AtAX0 = AtY

⇒ X0 = (AtA)−1AtY

= (1110 ,−15)


ejemplo


ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

y A =

0 11 13 14 1

X0 tal que‖Y − AX0‖ = min ‖Y − AX‖⇒ AtAX0 = AtY⇒ X0 = (AtA)−1AtY

= (1110 ,−15)


ejemplo


ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

y A =

0 11 13 14 1

X0 tal que‖Y − AX0‖ = min ‖Y − AX‖⇒ AtAX0 = AtY⇒ X0 = (AtA)−1AtY = (1110 ,−

15)


ejemplo

observación

observaciónAtA es siempre matriz cuadrada y simétrica

NO SIEMPRE es invertiblecaso no invertible: se escaleriza el sistema AtAX = AtYse verifica que quede compatiblese asignan datos que sobran para resolver.


ejemplo

observación

observaciónAtA es siempre matriz cuadrada y simétricaNO SIEMPRE es invertible

caso no invertible: se escaleriza el sistema AtAX = AtYse verifica que quede compatiblese asignan datos que sobran para resolver.


ejemplo

observación

observaciónAtA es siempre matriz cuadrada y simétricaNO SIEMPRE es invertiblecaso no invertible: se escaleriza el sistema AtAX = AtY

se verifica que quede compatiblese asignan datos que sobran para resolver.


ejemplo

observación

observaciónAtA es siempre matriz cuadrada y simétricaNO SIEMPRE es invertiblecaso no invertible: se escaleriza el sistema AtAX = AtYse verifica que quede compatible

se asignan datos que sobran para resolver.


ejemplo

observación

observaciónAtA es siempre matriz cuadrada y simétricaNO SIEMPRE es invertiblecaso no invertible: se escaleriza el sistema AtAX = AtYse verifica que quede compatiblese asignan datos que sobran para resolver.


mínimos cuadrados - polinomio

mínimos cuadrados - polinomios

problemaahora buscamos polinomio de grado k que minimice

~ε(P) = (y1 − (ak tk1 + · · ·+ a0), . . . , yN − (ak tkN + · · ·+ a0))

~ε(P) =

y1...yN

− t

k1 t

k−11 . . . 1

......

...tkN t

k−1N . . . 1

(ak ,ak−1, . . . ,a0)

= Y−AX

con X = (ak ,ak−1, . . . ,a0)




problemaahora buscamos polinomio de grado k que minimice~ε(P) = (y1 − (ak tk1 + · · ·+ a0), . . . , yN − (ak tkN + · · ·+ a0))

~ε(P) =

y1...yN

− t

k1 t

k−11 . . . 1

......

...tkN t

k−1N . . . 1

(ak ,ak−1, . . . ,a0)

= Y−AX

con X = (ak ,ak−1, . . . ,a0)





~ε(P) =

y1...yN

− t

k1 t

k−11 . . . 1

......

...tkN t

k−1N . . . 1

(ak ,ak−1, . . . ,a0) = Y−AX

con X = (ak ,ak−1, . . . ,a0)





~ε(P) =

y1...yN

− t

k1 t

k−11 . . . 1

......

...tkN t

k−1N . . . 1

(ak ,ak−1, . . . ,a0) = Y−AXcon X = (ak ,ak−1, . . . ,a0)




ejemplo - polinomiocomo antes, buscamos X0 tal que‖Y − AX0‖ = minX∈Rk+1 ‖Y − AX‖

⇒ Y − AX0 ∈ S⊥

con S = {AX : X ∈ Rk+1} s.e.v. de RN

⇒ AtY − AtAX0 = ~0⇒ X0 ∈ Rk+1 solución de la ecuación AtAX0 = AtY




ejemplo - polinomiocomo antes, buscamos X0 tal que‖Y − AX0‖ = minX∈Rk+1 ‖Y − AX‖⇒ Y − AX0 ∈ S⊥








⇒ AtY − AtAX0 = ~0

⇒ X0 ∈ Rk+1 solución de la ecuación AtAX0 = AtY


ejemplo - polinomio que aproxima por mínimos cuadrados


ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

A =

0 0 11 1 19 3 1

16 4 1

X0 tal que‖Y − AX0‖ = minX ‖Y − AX‖⇒ AtAX0 = AtY⇒X0 = (AtA)−1AtY

= (13 ,−730 ,

310)




ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

A =

0 0 11 1 19 3 1

16 4 1

X0 tal que‖Y − AX0‖ = minX ‖Y − AX‖

⇒ AtAX0 = AtY⇒X0 = (AtA)−1AtY

= (13 ,−730 ,

310)




ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

A =

0 0 11 1 19 3 1

16 4 1

X0 tal que‖Y − AX0‖ = minX ‖Y − AX‖⇒ AtAX0 = AtY

⇒X0 = (AtA)−1AtY

= (13 ,−730 ,

310)




ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

A =

0 0 11 1 19 3 1

16 4 1

X0 tal que‖Y − AX0‖ = minX ‖Y − AX‖⇒ AtAX0 = AtY⇒X0 = (AtA)−1AtY

= (13 ,−730 ,

310)




ejemplo

t 0 1 3 4y 0 1 2 5

Y =

0125

A =

0 0 11 1 19 3 1

16 4 1

X0 tal que‖Y − AX0‖ = minX ‖Y − AX‖⇒ AtAX0 = AtY⇒X0 = (AtA)−1AtY = (13 ,−

730 ,

310)

planteo del problemaproblema

mínimos cuadrados - rectabuscando recta que aproximaproposiciónejemplo

mínimos cuadrados - polinomiomínimos cuadrados - polinomioejemplo - polinomio que aproxima por mínimos cuadrados

Documents

Aproximación por mínimos cuadrados - Facultad de Ingeniería - Universidad de …jana/gal22010/clase12.pdf · 2010. 9. 9. · planteo del problema mínimos cuadrados - recta mínimos