50
Planteamiento Criterio de m´ ınimos cuadrados Casos concretos: regresi´ on lineal Ajuste por m´ ınimos cuadrados Mathieu Kessler Departamento de Matem´ atica Aplicada y Estad´ ıstica Universidad Polit´ ecnica de Cartagena Cartagena, Enero 2010 Kessler UPCT Ajuste por m´ ınimos cuadrados

Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

  • Upload
    dinhnga

  • View
    220

  • Download
    1

Embed Size (px)

Citation preview

Page 1: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ajuste por mınimos cuadrados

Mathieu Kessler

Departamento de Matematica Aplicada y EstadısticaUniversidad Politecnica de Cartagena

Cartagena, Enero 2010

Kessler UPCT

Ajuste por mınimos cuadrados

Page 2: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Guion

1 Planteamiento

2 Criterio de mınimos cuadrados

3 Casos concretos: regresion linealLa recta y = ax + bAlgunas transformaciones utiles

Kessler UPCT

Ajuste por mınimos cuadrados

Page 3: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Guion

1 Planteamiento

2 Criterio de mınimos cuadrados

3 Casos concretos: regresion linealLa recta y = ax + bAlgunas transformaciones utiles

Kessler UPCT

Ajuste por mınimos cuadrados

Page 4: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Conjuntos de datos reales

A menudo, mas de una variable asociada a cada individuo.

Nos interesa las posibles relaciones

Empezamos por una matriz de graficas por pares...

Kessler UPCT

Ajuste por mınimos cuadrados

Page 5: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Matriz de graficas, ejemplo

Para cada asignatura de la UPCT y por curso academico, hemos calculado:

Proporcion de presentados resp. a matriculados

Proporcion de aprobados respecto a los presentados.

Numero de matriculados.

Nota media entre los alumnos que superan la asignatura durante ese academico.

Entre los alumnos que han superado la asignatura durante ese curso, el numeromedio de convocatorias que han agotado para aprobar.

Entre los alumnos que han superado la asignatura durante ese curso, el numeromedio de matriculas que han agotado para aprobar.

Entre los alumnos que se han presentado por primera vez durante el curso, elnumero medio de convocatorias que han necesitado para ello.

Entre los alumnos que se han presentado por primera vez durante el curso, elnumero medio de matriculas que han necesitado para ello

Kessler UPCT

Ajuste por mınimos cuadrados

Page 6: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Datos academicos, UPCT, Arquitectura Tecnica, Curso2006-07

PROP_PRES

0.6 1.0 1.4

●●

● ●

●●

●●

●●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●●

●● ●

●●

●●

● ●

●●

●●

●●●

●●

5.5 6.5 7.5 8.5

●●

●●

●●

●●

●●●

●●

●●

● ●

●●

●●

●●●

● ●

●●

●●

●●

●●

●●●

●●

●●

● ●

●●

●●

●●●

● ●

1.0 2.0

●●

●●

●●

●●

●● ●

●●

●●

● ●

●●

●●

● ●●

● ●

●●

●●

●●

●●

●● ●

●●

●●

● ●

●●

●●

●●●

● ●

1.0 2.0 3.0

●●

● ●

●●

●●

●● ●

●●

●●

● ●

●●

●●

●●●

●●

0.3

0.6

0.9

●●

●●

●●

●●

●● ●

●●

●●

● ●

●●

● ●

●●●

●●

0.6

1.2

●●●

●●

●●

●●

● ●

●● ●●

●●

●●

● ●●

●●

●●●●●

PROP_APRB

●●●

●●

●●

●●

● ●

●●●●

● ●

●●

●●●

●●

●●●●●

● ●●

●●

● ●

●●

●●

●● ●●

● ●

● ●

● ●●

●●

● ●●● ●

● ●●

●●

● ●

●●

● ●

●● ●●

● ●

● ●

● ●●

●●

● ●●● ●

●●●

●●

●●

●●

●●

●●● ●

● ●

● ●

●●●● ●

●●●●●

●●●

●●

●●

●●

● ●

●●●●

● ●

●●

●●●●●

●●●●●●

●●●

●●

●●

●●

●●

●●●●

● ●

●●

●●●●●

●●● ●●●

●●●

●●

●●

●●

●●

●●●●

● ●

●●

●●●●●

●●●●●●

●●

●●

●●

●●

●●

●●

●●

●●● ●●●

●●

●●

●●●

● ●●

●●●

● ●

●●

●●

●●

●●

●●

●●

●●● ●● ●

●●

●●

● ●●

●●●

●●●

NUM_MATR

●●

● ●

●●

●●

●●

●●

●●

● ● ●● ● ●

●●

●●

● ●●

●●●

●● ●

●●

● ●

●●

●●

●●

●●

●●

●● ●● ● ●

●●

●●● ●

●● ●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●● ●● ●●

●●

●●●●

●●●

●●● ●

●●

●●

●●

●●

●●

●●

●●

●●●● ●●

●●

●●

●●●

●●●●● ●

● ●

●●

●●

●●

●●

● ●

●●

● ●●● ●●

●●

●●●●●●●

●●

●●

015

035

0

●●

●●

●●

●●

●●

● ●

●●

● ●●● ●●

● ●

●●●●

●●●●●

●●

5.5

7.0

8.5

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●NOTA_MED

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

● ●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●●●

●●

●●

●●

● ●

● ●

●●

●●

●●

●●●

●●

●●

●●

●●

●●

●●

●●

●●

●● ●

●●

●NOTA_COD_MED

●●

●●

●●

● ●

●●

●●

●●

●●●

●●

●●

●●

● ●

● ●

●●

●●

●●

●●●

● ●

●●

●●

● ●

● ●

●●

● ●

●●

●● ●

●●

1.0

1.6

2.2

●●

●●

● ●

● ●

●●

● ●

●●

●● ●

●●

1.0

2.0

●●

●●

● ●

● ●

●●

● ●●●●●●

● ●● ●●● ●

●●

●●

●●

●●

●●

●●● ●●●●

●●●●●●●

●●

● ●

● ●

●●

●●

●●● ●●●●

● ●●●●●●

●●

●●

●●

● ●

●●

● ●● ●●●●

●● ●●● ●●

●●

●●

● ●

● ●

●●

● ●● ●●●●

●● ● ●● ●●

MED_CONV_APRB

●●

● ●

● ●

●●

●●

●●●●●● ●●●●●●●●

●●

● ●

●●

●●

●●

●●●●●●●

●●●● ●●●

●●

● ●

●●

●●

●●

●● ●●●●●●●●●●●●

●●

●●

●●

●●

● ●

●●●

●●

●●●●●●

● ●● ●●● ●

●●

●●

●●

●●

● ●

●●●

●●●● ●●●

●●●●●●●●

●●

●●

●●

●●

●●

●●●

●●

●● ●●●●● ●●●●●●

●●

●●

●●

●●

●●

● ● ●

●●

●● ●●●●

●● ●●● ●●

●●

●●

●●

●●

●●

●● ●

●●

●● ●●●●

●● ● ●● ●●

●●

●●

●●

●●

●●

●● ●

●●

●●● ●●●

●●●●●●●

MED_MAT_APRB

●●

●●

●●

●●

●●

● ●●

●●

●●●●●●●●●● ●●●

1.0

1.6

2.2●

●●

●●

●●

●●

●●

● ●●

●●

● ●●●●●●●●●●●●

1.0

2.5 ●●

●●

● ●

●●

●●

●●●

●●●●

●●● ●● ●

●●●

●●

●●

●●

●●

●●

●● ●

●● ●●●● ●●●●

●●●

●●

●●

● ●

●●

●●

●●●

●● ●●

●●● ●●●

●●●

● ●

●●

●●

●●

● ●

●● ●

●● ●●

●● ●● ●●

●● ●

● ●

●●

● ●

●●

● ●

●● ●

●● ●●

●● ●● ● ●

●● ●

●●

●●

●●

●●

● ●

●●●

●●● ●

●●●●●●

●● ●

●●

●●

● ●

●●

●●

●●●

●●●●

● ●●●●●

●● ●

MED_CONV_PRES

●●

●●

●●

●●

●●

●●●

●●●●

●●●●●●

●●●

0.3 0.6 0.9

●●●

● ●

● ●

●●

●●

●●●

●●●

●●●●●

●●

●● ●●

● ●●

● ●

●●

●●

●●

●● ●

●● ●

●●● ●●

●●●●●●

0 100 250

●●●

●●

● ●

●●

●●

●●●

●● ●●●●●

●●●

●●●●

●●●

●●

●●

●●

● ●

●● ●

●● ●

●●● ●●

●●

● ●● ●

1.0 1.4 1.8 2.2

●●●

●●

● ●

●●

● ●

●● ●

●● ●

●●● ●●

●●

● ●● ●

●●●

●●

●●

●●

● ●

●●●

●●●

●●●●●●●

●●● ●

1.0 1.6 2.2

●●●

●●

● ●

●●

●●

●●●

●●●

●● ●●●

●●

●●● ●

● ●●

●●

●●

●●

●●

●●●

●●●

●●●●●●●

●●●●

1.0 1.4 1.8

1.0

1.4

1.8

MED_MAT_PRES

Kessler UPCT

Ajuste por mınimos cuadrados

Page 7: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Nos centramos a partir de ahora

Una variable respuesta Y

Una (o mas) variable(s) explicativas, X , (o X1, X2, . . .)

Buscamos explicar la evolucion de la respuesta en funcion de lasexplicativas

Construimos un modelo basado en los datos

Para entender

Para predecir

Ejemplo: evolucion media en agosto en San Javier

Modelo: Temperatura = −582.5 + 0.3ano,

Kessler UPCT

Ajuste por mınimos cuadrados

Page 8: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ejemplos de cuatro conjuntos de datos realesResistencia del cemento en funcion del tiempo de fraguado en dıas (Hald 1952)

0 5 10 15 20 25

1520

2530

3540

Días

Res

iste

ncia

Kessler UPCT

Ajuste por mınimos cuadrados

Page 9: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ejemplos de cuatro conjuntos de datos realesNivel maximo anual del mar en Venecia

1930 1940 1950 1960 1970 1980

8010

012

014

016

018

0

Año

Niv

el

Kessler UPCT

Ajuste por mınimos cuadrados

Page 10: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ejemplos de cuatro conjuntos de datos realesProduccion mundial de petroleo

1880 1900 1920 1940 1960 1980

050

0010

000

1500

020

000

Año

MB

BL

Kessler UPCT

Ajuste por mınimos cuadrados

Page 11: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ejemplos de cuatro conjuntos de datos realesVelocidad de Recesion de 24 nebulosas

●●

●●

●●●

●● ●

●●

0.0 0.5 1.0 1.5 2.0 2.5

050

010

0015

0020

00

Distancia(megaparsecs)

Vel

ocid

ad (

km/s

)

Kessler UPCT

Ajuste por mınimos cuadrados

Page 12: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Guion

1 Planteamiento

2 Criterio de mınimos cuadrados

3 Casos concretos: regresion linealLa recta y = ax + bAlgunas transformaciones utiles

Kessler UPCT

Ajuste por mınimos cuadrados

Page 13: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Los datos

Nos limitamos de momento a una variable respuesta Y y unavariable explicativa X .

Presentacion de los datos:

X Y

x1 y1

x2 y2

......

xn yn

Empezamos por una nube de puntos

Kessler UPCT

Ajuste por mınimos cuadrados

Page 14: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Nube de puntos

0 1 2 3 4

0.5

1.0

1.5

2.0

2.5

3.0

X

Y

(x1,y1)

(x2,y2)

(x3,y3)

Kessler UPCT

Ajuste por mınimos cuadrados

Page 15: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ajuste

Decidimos ajustar una curva de una determinada forma funcional

Por ejemplo, una recta: Y = aX + b.

Por ejemplo, una parabola: Y = a0 + a1X + a2X2.

En general, especificamos una familia parametrica:

x 7→ f (θ, x) θ = (θ1, . . . , θk),

θ es el vector de parametros.

Nuestro objetivo

Buscamos la funcion de la familia que “mejor” se ajusta a la nube⇔ Debemos encontrar el valor concreto de θ que corresponde aesa funcion optima

Kessler UPCT

Ajuste por mınimos cuadrados

Page 16: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Nuestro concepto de “mejor”: el criterio de mınimoscuadrados

Buscamos minimizar la suma de los cuadrados de las distanciasverticales entre la curva y los datos de la nube de puntos.

X

Y

y=f(θ, x)

(x3,y3)

x3

y3

f(θ, x3)

Kessler UPCT

Ajuste por mınimos cuadrados

Page 17: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Ajuste por mınimos cuadrados

La suma de cuadrados:

SC (θ) = (y1y1 − f (θθ, x1x1))2 + · · ·+ (ynyn − f (θθ, xnxn))2.

Buscamos el valor θ de θ que minimiza θ 7→ SC (θ).

Nota

En SC (θ), x1, . . . , xn e y1, . . . , ynx1, . . . , xn e y1, . . . , yn son valoresfijados concretos. Solo θθ es variable.

Para la minimizacion

Si la forma de f es simple, (lineal respecto a θ1, . . . θk),tenemos formulas explıcitas para calcular θ. (Regresion lineal)

Si la forma de f es mas complicada, se debe recurrir aminimizacion numerica (Regresion no lineal)

Kessler UPCT

Ajuste por mınimos cuadrados

Page 18: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunos terminos

La curva de ecuacion y = f (θ, x): curva ajustada.

Los valores y1 = f (θ, x1), . . . , yn = f (θ, xn): valores ajustados.

Las distancias verticales entre los puntos observados y lacurva ajustada: los residuos e1, . . . , en. Tenemos

ei = yi − yi , i = 1, . . . , n.

La suma de cuadrados SC (θ) =∑n

i=1 e2i se llama suma de

cuadrados residuales.

La varianza de los residuos: varianza residual

s2e =

1

n − 1

n∑i=1

(ei − e)2.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 19: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Guion

1 Planteamiento

2 Criterio de mınimos cuadrados

3 Casos concretos: regresion linealLa recta y = ax + bAlgunas transformaciones utiles

Kessler UPCT

Ajuste por mınimos cuadrados

Page 20: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Recta y = ax + b.

Entre todas las posibles rectas:

50 60 70 80 90

−30

−25

−20

−15

−10

−5

0

x

y

Kessler UPCT

Ajuste por mınimos cuadrados

Page 21: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Recta y = ax + b.

Buscamos la mejor:

50 60 70 80 90

−30

−25

−20

−15

−10

−5

0

x

y

Kessler UPCT

Ajuste por mınimos cuadrados

Page 22: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Ecuacion de la recta ajustada

La suma de cuadrados:

θ = (a, b), SC (θ) = SC (a, b) =n∑

i=1

(yi − (axi + b))2.

La minimizacion

Los candidatos para el mınimo:

∂aSC (a, b) = 0,

∂bSC (a, b) = 0.

Obtenemos

a =xy − x · yx2 − (x)2

b = y − ax .

Kessler UPCT

Ajuste por mınimos cuadrados

Page 23: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Ecuacion de la recta ajustada

a = xy−x ·yx2−(x)2

b = y − ax .

Con nuestros datos: X Y

x1 y1

x2 y2

......

xn yn

Necesitaremos calcular:La media de X , (x). La media de y , (y). La media del producto X · Y , (xy).

La media de X 2, (x2). La media de Y 2, (y2).

Kessler UPCT

Ajuste por mınimos cuadrados

Page 24: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

a = xy−x ·yx2−(x)2

b = y − ax .

Introducimos:sxy =

n

n − 1(xy − x y),

que llamamos la covarianza de X e Y .Por lo tanto:

a =sxy

var(x) b = y − ax .

Otra forma de escribir la ecuacion:

y − y =sxy

var(x) (x − x) .

Kessler UPCT

Ajuste por mınimos cuadrados

Page 25: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Tipos de asociacion lineal

La covarianza puede ser positiva o negativa, pero del mismo signoque la pendiente a.

Covarianza positiva = asociacion positiva: cuando crece unavariable crece la otra.

Covarianza negativa = asociacion negativa: cuando crece unavariable decrece la otra.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 26: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Bondad del ajuste

Propiedades de los residuos

La media de los residuos es nula.

La varianza residual es

s2e = s2

y

(1− (sxy )2

s2x s2

y

).

s2e = s2

y

(1− (sxy )2

s2x s2

y

).

Correlacion lineal

Introducimos

r =sxysx sy

: coeficiente de correlacion (de Pearson) de X e Y .

R2 =(sxy )2

s2x s2

y: coeficiente de determinacion.Kessler UPCT

Ajuste por mınimos cuadrados

Page 27: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Bondad del ajuste

s2e = s2

y

(1− (sxy )2

s2x s2

y

)s2e = s2

y

(1− (sxy )2

s2x s2

y

)⇒ s2

e = s2y

(1− R2

).

Propiedades de r y R2

0 ≤ R2 ≤ 1.

Cuanto mas proximo a 1 este R2, mejor ajuste.

R2 = 1⇒ s2e = 0⇒ ajuste perfecto.

−1 ≤ r ≤ 1.

r es del mismo signo que la pendiente.

Cuanto mas proximo a ±1 este r , mejor ajuste.

r = ±1⇒ ajuste perfecto.Kessler UPCT

Ajuste por mınimos cuadrados

Page 28: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Ejemplo

Queremos estudiar la relacion entre el peso y la altura en un grupode individuos. Los datos son

Peso(kg) 54 70 65 78 68 85 Y

Altura(cm) 160 170 172 185 160 175 X

Kessler UPCT

Ajuste por mınimos cuadrados

Page 29: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Ejemplo, nube de puntos

150 160 170 180 190

5560

6570

7580

85

altura

peso

Kessler UPCT

Ajuste por mınimos cuadrados

Page 30: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Calculos

x = 160+170+...+1756

= 170.33, y = 54+70+...+856

= 70,

x2 = 1602+1702+...+1752

6= 29089, y2 = 542+702+...+852

6= 4995.7,

xy = 160×54+170×70+...+175×856

= 11984.2

s2x =

n

n − 1(x2 − (x)2) =

6

5[29089− (170.33)2] ' 90.7,

s2y =

n

n − 1(y2 − (y)2) =

6

5[4995.7− (70)2] ' 144.8,

sxy =n

n − 1(xy − (x)(y)) =

6

5[11984.2− 170.33× 70] ' 73.

y − 70 =73

90.7(x − 170.33), y = 0.80x − 67.1 .

Kessler UPCT

Ajuste por mınimos cuadrados

Page 31: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Ejemplo, nube de puntos con recta ajustada

150 160 170 180 190

5560

6570

7580

85

altura

peso

Kessler UPCT

Ajuste por mınimos cuadrados

Page 32: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Ejemplo, bondad del ajuste

r =sxysx sy

=73√

90.7√

114.8' 0.715,

lo que implica que R2 ' 0.51, mal ajuste.Se suele considerar buen ajuste a partir de R2 ≥ 0.8 aprox.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 33: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

La recta y = ax + b

Prediccion

Disponemos de un modelo ajustado, lo usamos para predecir

x0 valor no observado de X , nuestra prediccion del valor de larespuesta Y sera:

yx0 = a x0 + b.

Ejemplo: ¿A que peso corresponderıa una altura de 180cm?peso = 0.8altura− 67.1⇒ peso ' 0.80× 180− 67.1 ' 76.9kg

¡CUIDADO!

Es peligroso extrapolar nuestro modelo lejos del rango observadode valores de X .Ejemplo: ¿a que peso corresponderıa la altura de un nino de 80cm?

Kessler UPCT

Ajuste por mınimos cuadrados

Page 34: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Transformaciones que permiten linealizar

Contexto

Hay formulas explıcitas para el ajuste de modelos lineales.Para modelos no lineales, en general se usan algoritmosnumericos.

Algunos modelos especıficos no lineales se pueden ajustar conlos metodos lineales.

Veremos:

Modelo exponencial y = beax

Modelo potencial y = bxa.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 35: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Modelo exponencial

Ecuacion del modelo exponencial

y = beax , b > 0

Si a > 0, crecimiento exponencial.

Si a < 0, decrecimiento exponencial.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 36: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Ajuste del modelo exponencial

Modelo original y modelo transformado

Modelo teorico original Modelo transformado

y = beax aplico ln−−−−−−→ ln(y) = ln(b) + ax

y ′ = b′ + a′x ′

Llamemos las variables transformadas Y ′ = ln(Y ), y X ′ = X ,tenemos: Y ′ = a′X ′ + b′.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 37: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Procedimiento

Modelo transformado: Y ′ = ln(Y ), y X ′ = X , tenemos:

Y ′ = a′X ′ + b′.

Anadimos una columna a nuestros datos:

X Y Y ′ = ln(Y )

x1 y1 ln(y1)

x2 y2 ln(y2)...

......

xn yn ln(yn)

Kessler UPCT

Ajuste por mınimos cuadrados

Page 38: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Procedimiento (II)

Ajustamos ahora una recta de Y ′ sobre X .Hacemos la transformacion inversa del modelo ajustado paraobtener el ajuste original.

Ejemplo

Queremos ajustar un modelo exponencial a los siguientes datos

X Y Y ′ = ln(Y )

2.3 2.92 1.07

5 3.69 1.31

7.1 6.19 1.82

8 6.36 1.85

Kessler UPCT

Ajuste por mınimos cuadrados

Page 39: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Obtenemos y ′ = 0.148x ′ + 0.682

es decir que ln(y) = 0.148x + 0.682,

lo que implica que

y = e0.148xe0.682 = 1.18e0.148x .

Kessler UPCT

Ajuste por mınimos cuadrados

Page 40: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Modelo exponencial: ejemplo

Evolucion del precio del metro cuadrado de la vivienda en la Region de Murcia entre

1995 y 2006 ( datos cuatrimestrales, fuente: Ministerio de la Vivienda )

● ● ● ● ● ● ● ● ● ● ● ●● ● ●

● ●● ●

●●

●●

●●

●●

●●

● ●

●●

●●

Año

Pre

cio

1996 1998 2000 2002 2004 2006

400

600

800

1000

1200

1400

Kessler UPCT

Ajuste por mınimos cuadrados

Page 41: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Modelo exponencial: ejemplo

¿Que deberıamos observar al representar el logaritmo de Y en funcion de X?

●●

● ● ● ●● ● ●

● ●●

●●

●● ●

● ●●

●●

●●

●●

● ●

●●

● ●

Año

log(

Pre

cio)

1996 1998 2000 2002 2004 2006

6.0

6.2

6.4

6.6

6.8

7.0

7.2

Kessler UPCT

Ajuste por mınimos cuadrados

Page 42: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Modelo potencial

Ecuacion del modelo potencial

y = bxa x > 0

La forma de la curva depende del valor de a.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 43: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Ajuste del modelo potencial exponencial

Modelo original y modelo transformado

Modelo teorico original Modelo transformado

y = bxa aplico ln−−−−−−→ ln(y) = ln(b) + a ln(x)

y ′ = b′ + a′x ′

Llamemos las variables transformadas Y ′ = ln(Y ), y X ′ = ln(X ),tenemos: Y ′ = a′X ′ + b′.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 44: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Procedimiento

Modelo transformado: Y ′ = ln(Y ), y X ′ = ln(X ), tenemos:

Y ′ = a′X ′ + b′.

Anadimos dos columnas a nuestros datos:

X Y X ′ = ln(X ) Y ′ = ln(Y )

x1 y1 ln(x1) ln(y1)

x2 y2 ln(x2) ln(y2)...

......

...

xn yn ln(xn) ln(yn)

Kessler UPCT

Ajuste por mınimos cuadrados

Page 45: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Procedimiento

Ajustamos ahora una recta de Y ′ sobre X ′.Hacemos la transformacion inversa del modelo ajustado paraobtener el ajuste original.

Ejemplo

Queremos ajustar un modelo potencial a los siguientes datos

X Y X ′ = ln(X ) Y ′ = ln(Y )

3 10.3 1.1 2.3

7.34 13.5 2 2.6

20.1 18.2 3 2.9

54.6 24.5 4 3.2

Kessler UPCT

Ajuste por mınimos cuadrados

Page 46: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Obtenemos y ′ = 0.298x ′ + 2.006,

es decir que ln(y) = 0.298 ln(x) + 2.006,

lo que implica que

y = e0.298 ln(x)e2.006 = 7.433x0.298.

Kessler UPCT

Ajuste por mınimos cuadrados

Page 47: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Un ultimo ejemplo

Volvemos a la resistencia del cemento en funcion del tiempo de fraguado:

0 5 10 15 20 25

1520

2530

3540

Días

Res

iste

ncia

Kessler UPCT

Ajuste por mınimos cuadrados

Page 48: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Un ultimo ejemplo

Volvemos a la resistencia del cemento en funcion del tiempo de fraguado:

0 5 10 15 20 25

1520

2530

3540

Días

Res

iste

ncia ¿Qué tipo de función

podemos ajustar?

Kessler UPCT

Ajuste por mınimos cuadrados

Page 49: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

Un ultimo ejemplo

Volvemos a la resistencia del cemento en funcion del tiempo de fraguado:

0 5 10 15 20 25

1520

2530

3540

Días

Res

iste

ncia ¿Qué tipo de función

podemos ajustar?

Kessler UPCT

Ajuste por mınimos cuadrados

Page 50: Ajuste por mínimos cuadrados - OpenCourseWare UPCTocw.bib.upct.es/.../content/1/ajuste_por_minimos_cuadrados.pdf · PlanteamientoCriterio de m nimos cuadrados Casos concretos: regresi

Planteamiento Criterio de mınimos cuadrados Casos concretos: regresion lineal

Algunas transformaciones utiles

R = C exp−k/t

¿Interpretacion de C?

ln(R) = 3.688− 1.146/t

⇒ R = 39.96 exp−1.146/t .

Kessler UPCT

Ajuste por mınimos cuadrados