1 Estadística Descriptiva: 4. Correlación y Regresión LinealRicardo Ñanculef Alegría Universidad Técnica Federico Santa María

2 Estadística Descriptiva ObjetivoObtener información desde una muestra, que permita entender o formular hipótesis acerca del fenómeno que se estudia. Tipos de Análisis: Describir cómo se comporta una variable Describir cómo una variable (digamos explicativa) afecta el comportamiento de a otra (digamos dependiente) Describir cómo interaccionan varias variables

3 Estadística Descriptiva Correlación en Análisis BivariadoCorrelación: Medida cuantitativa del grado de asociación entre dos variables X e Y continuas Idea: Si X e Y están correlacionadas un cambio en X se corresponde con un cambio en Y y viceversa. Si un incremento en X genera un incremento en Y diremos que las variables están correlacionadas positivamente. En caso contrario diremos que están correlacionadas negativamente.

4 Estadística Descriptiva Correlación en Análisis BivariadoEjemplo: Columna del New York Times

5 Estadística Descriptiva Correlación en Análisis BivariadoCovarianza: La idea es medir los cambios con respecto al nivel medio de cada variable Claramente generaliza la varianza: cov(x,x) Problema: la medida depende de las magnitudes absolutas de x e y. Una mayor covarianza no significa mayor asociación

6 Estadística Descriptiva Correlación en Análisis BivariadoCoeficiente de Correlación de Pearson: La idea es normalizar la covarianza con una medida de dispersión para X y para Y Medida acotada entre -1 y 1 (probarlo! se sigue de la desigualdad de Cauchy-Schwarz para productos puntos)

7 Estadística Descriptiva Correlación en Análisis BivariadoObservación: Si x e y tienen una relación lineal exacta la correlación de Pearson es igual al signo de a

8 Estadística Descriptiva Correlación en Análisis BivariadoObservación: Si x e y tienen una relación lineal exacta la correlación de Pearson es igual al signo de a

9 Estadística Descriptiva Correlación en Análisis BivariadoObservación: Si x e y tienen una relación lineal exacta la correlación de Pearson es igual al signo de a

10 Estadística Descriptiva Correlación en Análisis BivariadoCorrelación positiva (Pearson)

11 Estadística Descriptiva Correlación en Análisis BivariadoCorrelación negativa (Pearson)

12 Estadística Descriptiva Correlación en Análisis BivariadoCorrelación nula (Pearson)

13 Estadística Descriptiva Correlación en Análisis BivariadoLimitaciones del Coeficiente de Pearson

14 Estadística Descriptiva Correlación en Análisis BivariadoLimitaciones del Coeficiente de Pearson

15 Estadística Descriptiva Correlación en Análisis BivariadoLimitaciones del Coeficiente de Pearson

16 Estadística Descriptiva Correlación en Análisis BivariadoLimitaciones del Coeficiente de Pearson

17 Estadística Descriptiva RegresiónModelo de una variable y como función de otra x x se denomina la variable independiente y se denomina la variable dependiente ε es el residuo, la parte que no logra ser explicada por el modelo (f será usualmente una función determinista)

18 Estadística Descriptiva RegresiónModelo de una variable y como función de otra x A partir de una muestra de valores de x e y, queremos encontrar un modelo apropiado. Qué tipo de función f utilizar? Cómo seleccionar un modelo adecuado en base a la muestra de observaciones?

19 Estadística Descriptiva Regresión¿Qué función f utilizar?: Una función periódica?

20 Estadística Descriptiva Regresión¿Qué función f utilizar? un polinomio?

21 Estadística Descriptiva Regresión¿Qué función f utilizar? una exponencial?

22 Estadística Descriptiva Regresión¿Qué función f utilizar? una logística?

23 Estadística Descriptiva RegresiónGraficar la muestra de valores (x,y) y estudiar la forma de la posible relación

24 Estadística Descriptiva Regresión LinealUna alternativa simple consiste en modelar y como función lineal de x, es decir

25 Estadística Descriptiva Regresión LinealUna alternativa simple consiste en modelar y como función lineal de x, es decir

26 Estadística Descriptiva Regresión Lineal¿Qué parámetros b0 y b1 son apropiados para modelar la relación entre x e y? Supongamos que hemos conseguido una muestra de n pares de valores x e y:

27 Estadística Descriptiva Regresión LinealEjemplo: ¿El financiamiento entregado a la autoridad Palestina contribuye a mitigar el conflicto en la región?

28 Estadística Descriptiva Regresión LinealVariables: X: financiamiento entregado a la autoridad palestina. Y: número de homicidios el año siguiente. Muestra: Si medimos x e y en los últimos años tenemos: X Y 1999 75 2000 50 250 2001 450 500 2002 375 275 2003 190 210 2004 300 240 2005 290 2006 610 600

29 Estadística Descriptiva Regresión LinealGraficando X versus Y

30 Estadística Descriptiva Regresión LinealGraficando X e Y en cada año

31 Estadística Descriptiva Regresión LinealVariables: X: financiamiento entregado a la autoridad palestina. Y: número de homicidios el año siguiente. Modelo: Postulamos un modelo lineal

32 Estadística Descriptiva Regresión LinealAjustar el modelo lineal consiste en buscar parámetros b0 y b1 que hagan el modelo adecuado Cada combinación de parámetros genera una predicción para el valor de y asociado a x

33 Estadística Descriptiva Regresión Linealb0 = 10 y b1 = 1 X Y f(X) Y-f(X) 1999 75 10 65 2000 50 250 60 190 2001 450 500 460 40 2002 375 275 385 - 110 2003 210 200 2004 300 240 310 -70 2005 290 2006 610 600 620 -20

34 Estadística Descriptiva Regresión Linealb0 = 50 y b1 = 0.5 X Y f(X) Y-f(X) Anterior 1999 75 50 25 65 - 2000 250 175 190 2001 450 500 275 225 40 + 2002 375 237 38 - 110 2003 210 145 10 2004 300 240 200 -70 2005 290 195 85 2006 610 600 355 245 -20

35 Estadística Descriptiva Regresión Linealb0 = 50 y b1 = 0.75 X Y f(X) Y-f(X) Anterior 1999 75 50 25 - 2000 250 87.5 162 175 2001 450 500 387.5 112 225 2002 375 275 331.25 -56.25 38 + 2003 190 210 192.5 17.5 65 2004 300 240 -35 40 2005 290 267 107.5 85 2006 610 600 507.5 92.5 245

36 Estadística Descriptiva Regresión LinealLo que necesitamos es definir una función de error y encontrar los parámetros b0 y b1 que la minimizan Propuesta: minimizar error cuadrático,

37 Estadística Descriptiva Regresión LinealDada la muestra de observaciones buscamos el modelo que minimiza el error promedio

38 Estadística Descriptiva Regresión LinealSi los paramétros b0 y b1 minimizan Se debe verificar

39 Estadística Descriptiva Regresión LinealEcuaciones normales: derivando

40 Estadística Descriptiva Regresión LinealEcuaciones normales: reordenando y dividiendo por n

41 Estadística Descriptiva Regresión LinealDespejando b0 en la primera y reemplazando en la segunda

42 Estadística Descriptiva Regresión LinealEstimadores de Mínimos Cuadrados del Modelo Lineal para Y en función de X

43 Estadística Descriptiva Regresión LinealEn nuestro ejemplo anterior, variables: X: financiamiento entregado a la autoridad palestina. Y: número de homicidios el año siguiente. Muestra X Y 1999 75 2000 50 250 2001 450 500 2002 375 275 2003 190 210 2004 300 240 2005 290 2006 610 600

44 Estadística Descriptiva Regresión LinealCalculamos la varianza de la variable predictora y la covarianza entre las variables x e y X Y 1999 75 80160 2000 50 250 54350 2001 450 500 27850 2002 375 275 91.875 8440 2003 190 210 8670 2004 300 240 16.875 280 2005 290 6.875 59.375 2006 610 600 10685

45 Estadística Descriptiva Regresión LinealTenemos entonces que X Y 1999 75 2000 50 250 2001 450 500 2002 375 275 2003 190 210 2004 300 240 2005 290 2006 610 600

46 Estadística Descriptiva Regresión LinealPredicciones de nuestro modelo X Y f(x) 1999 75 2000 50 250 2001 450 500 2002 375 275 2003 190 210 2004 300 240 2005 290 2006 610 600

47 Estadística Descriptiva Regresión LinealPredicciones de nuestro modelo (magenta)

48 Estadística Descriptiva Regresión Lineal¿Cómo juzgar cuantitativamente qué tan bueno es el modelo?: Análisis de Varianza. variabilidad total de Y variabilidad explicada por el modelo variabilidad NO explicada por el modelo

49 Estadística Descriptiva Regresión Lineal¿Cómo juzgar cuantitativamente qué tan bueno es el modelo?: Análisis de Varianza. variabilidad explicada por el modelo

50 Estadística Descriptiva Regresión Lineal¿Cómo juzgar cuantitativamente qué tan bueno es el modelo?: Análisis de Varianza. variabilidad total de Y variabilidad NO explicada por el modelo variabilidad explicada por el modelo

51 Estadística Descriptiva Regresión LinealCoeficiente de Determinación: Fracción de la variabilidad que sí es explicada por el modelo lineal variabilidad explicada por el modelo variabilidad total de Y variabilidad explicada variabilidad explicada + variabilidad NO explicada

52 Estadística Descriptiva Regresión LinealCoeficiente de Determinación: Fracción de la variabilidad que sí es explicada por el modelo lineal

53 Estadística Descriptiva Regresión LinealCoeficiente de Determinación: Fracción de la variabilidad que sí es explicada por el modelo lineal

54 Estadística Descriptiva Regresión LinealCoeficiente de Determinación: Fracción de la variabilidad que sí es explicada por el modelo lineal Coeficiente de correlación de Pearson!!

55 Estadística Descriptiva Regresión LinealTransformaciones Cómo ajustar un modelo lineal sobre estas observaciones?