1 Regresión lineal simpleTema 2 Regina Kaiser Depto. Estadística, Universidad Carlos III

2 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

3 Depto. Estadística, Universidad Carlos IIIObjetivos Construcción de modelos de regresión Métodos de estimación para dichos modelos Inferencia acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables Cuantificación del grado de relación lineal Regina Kaiser Depto. Estadística, Universidad Carlos III

4 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

5 Depto. Estadística, Universidad Carlos IIIIntroducción Estudio conjunto de dos variables Relación entre las variables Regresión lineal Historia del concepto de regresión lineal Regina Kaiser Depto. Estadística, Universidad Carlos III

6 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

7 Ejemplo: Pureza del oxígeno en un proceso de destilaciónRegina Kaiser Depto. Estadística, Universidad Carlos III

8 Ejemplo: Pureza del oxígeno en un proceso de destilaciónRegina Kaiser Depto. Estadística, Universidad Carlos III

9 El modelo de regresión simplen pares de la forma (xi,yi) Objetivo: valores aproximados de Y a partir de X X: variable independiente o explicativa Y: variable dependiente o respuesta (a explicar) Regina Kaiser Depto. Estadística, Universidad Carlos III

10 El modelo de regresión simpleRegina Kaiser Depto. Estadística, Universidad Carlos III

11 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

12 Linealidad: datos con aspecto rectoRegina Kaiser Depto. Estadística, Universidad Carlos III

13 Depto. Estadística, Universidad Carlos IIIHomogeneidad El valor promedio del error es cero, Regina Kaiser Depto. Estadística, Universidad Carlos III

14 Homocedasticidad: Var[ui]=s2 Varianza de errores constanteRegina Kaiser Depto. Estadística, Universidad Carlos III

15 Independencia: Observaciones independientes, en particular E[uiuj]= 0Regina Kaiser Depto. Estadística, Universidad Carlos III

16 Depto. Estadística, Universidad Carlos IIINormalidad: ui~N(0, s2) Regina Kaiser Depto. Estadística, Universidad Carlos III

17 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Tansformaciones Regina Kaiser Depto. Estadística, Universidad Carlos III

18 Método de Mínimos CuadradosValor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada Regina Kaiser Depto. Estadística, Universidad Carlos III

19 Mínimos Cuadrados (Gauss, 1809)Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. Ecuación: Residuo: Minimizar: Regina Kaiser Depto. Estadística, Universidad Carlos III

20 Mínimos Cuadrados (Gauss, 1809)Resultado: Regina Kaiser Depto. Estadística, Universidad Carlos III

21 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

22 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

23 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

24 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

25 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

26 Método de Máxima VerosimilitudMismo resultado. Estimación de la varianza: Regina Kaiser Depto. Estadística, Universidad Carlos III

27 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

28 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

29 Props. de los coeficientes de regresiónNormalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III

30 Props. de los coeficientes de regresiónNormalidad Combinación lineal de normales Estimador centrado Varianza del estimador Regina Kaiser Depto. Estadística, Universidad Carlos III

31 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

32 Inferencia respecto a los parámetros ICRegina Kaiser Depto. Estadística, Universidad Carlos III

33 Inferencia respecto a los parámetros Contraste de HipótesisRegina Kaiser Depto. Estadística, Universidad Carlos III

34 Ajuste regresión simple: pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

35 Descomposición de la variabilidadLa variabilidad del modelo satisface: VT =VE+VNE Contraste de regresión Regina Kaiser Depto. Estadística, Universidad Carlos III

36 Ajuste regresión simple: pureza oxígenoVE Regina Kaiser Depto. Estadística, Universidad Carlos III

37 Ajuste regresión simple: pureza oxígenoVNE Regina Kaiser Depto. Estadística, Universidad Carlos III

38 Coeficiente de determinaciónRegina Kaiser Depto. Estadística, Universidad Carlos III

39 Depto. Estadística, Universidad Carlos IIIPredicción Dos tipos de predicción: Predecir un valor promedio de y para cierto valor de x. Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente. Regina Kaiser Depto. Estadística, Universidad Carlos III

40 Predicción (promedio)Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada Regina Kaiser Depto. Estadística, Universidad Carlos III

41 Ajuste regresión simple: pureza oxígenoLa anchura del intervalo aumenta cuando aumenta Regina Kaiser Depto. Estadística, Universidad Carlos III

42 Predicción para futuros valoresIntervalo de predicción Regina Kaiser Depto. Estadística, Universidad Carlos III

43 Ajuste regresión simple: pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

44 Descripción breve del temaIntroducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis Regina Kaiser Depto. Estadística, Universidad Carlos III

45 Depto. Estadística, Universidad Carlos IIIDiagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. Gráficos de residuos frente a valores previstos. Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna. Regina Kaiser Depto. Estadística, Universidad Carlos III

46 Ajuste regresión simple: Datos pureza oxígenoRegina Kaiser Depto. Estadística, Universidad Carlos III

47 Depto. Estadística, Universidad Carlos IIIRelaciones no lineales Gráficos de residuos Regina Kaiser Depto. Estadística, Universidad Carlos III

48 Depto. Estadística, Universidad Carlos IIILinealidad Soluciones a la falta de linealidad: Transformar las variables para intentar conseguir linealidad. Introducir variable adicionales. Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta. Regina Kaiser Depto. Estadística, Universidad Carlos III

49 Depto. Estadística, Universidad Carlos IIIHomocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y Regina Kaiser Depto. Estadística, Universidad Carlos III

50 Depto. Estadística, Universidad Carlos IIIHomocedasticidad Soluciones a la heterocedasticidad: Si la variabilidad de la respuesta aumenta con x según la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). Transformar la variable respuesta y puede que también x. Si lo anterior no funciona, cambiar el método de estimación. Regina Kaiser Depto. Estadística, Universidad Carlos III

51 Depto. Estadística, Universidad Carlos IIINormalidad La falta de normalidad invalida resultados inferenciales. Comprobación mediante histogramas o gráficos probabilísticos. En un gráfico probabilístico comparamos los residuos ordenados con los cuantiles de la distribución Normal estándar. Si la distribución de los residuos es normal, el gráfico ha de mostrar aproximadamente una recta. Regina Kaiser Depto. Estadística, Universidad Carlos III

52 Depto. Estadística, Universidad Carlos IIINormalidad Regina Kaiser Depto. Estadística, Universidad Carlos III

53 Independencia y Datos influyentesConviene hacer una gráfica de residuos frente a tiempo (residuos incorrelados). Datos influyentes Analizar la presencia de datos influyentes. Los atípicos son datos muy grandes o muy pequeños. Estudiar su posible eliminación. Regina Kaiser Depto. Estadística, Universidad Carlos III

54 Depto. Estadística, Universidad Carlos IIITransformaciones Forma funcional que relaciona y con x Transformación apropiada Exponencial: y = aexp{bx} Potencia: y = axb Recíproca: y = a+b/x Hiperbólica: y = x/(a+bx) y’ = lny y’ = lny , x’ = lnx x’ = 1/x y’ = 1/y , x’ = 1/x Regina Kaiser Depto. Estadística, Universidad Carlos III