1 MCE Paul Ramírez De la Cruz Aguascalientes, Ags. Nov 2011Regresión Revisión 21 ene 2011: Se cambiaron las imágenes de la UAA por las del CIMAT Se corrigió el grado del instructor Se corrigió el nombre del curso Se cambió la fecha de revisión MCE Paul Ramírez De la Cruz Aguascalientes, Ags. Nov 2011

2 Introducción

3 Introducción En este módulo estudiaremos la situación en la que nos interesa establecer estadísticamente si existe una relación funcional entre Una variable que llamaremos “respuesta” o “dependiente” y Una o más variables que llamaremos “explicativas” o “independientes” En caso afirmativo, queremos establecer un modelo matemático que plasme dicha relación

4 Ejemplos ¿Existe una relación entre lo que gasta un hotel en publicidad en espectaculares, revistas y radio con su volumen de ocupación durante un año? ¿Se puede calcular el costo de la calefacción de una oficina con base en el área de la recepción y el número de personas que generalmente la ocupan? ¿Hay alguna relación entre la antigüedad en el trabajo de un empleado de producción y el número de unidades que elabora?

5 Introducción Nuestro interés por saber si hay una relación entre las variables, y en tal caso determinar cómo es, se debe a que existe una variable respuesta que nos interesa medir, a la cual denotamos como Y Ocurre que Y es difícil o costosa de medir

6 Introducción Existen otras variables que por sí mismas no nos resultaban de interés inicialmente, a la cuales llamamos variables independientes o explicativas, y representamos por X1, X2,…, Xk Estas variables Xj son más fáciles o menos costosas de medir que Y, y comienzan a resultarnos de interés porque además de ello, sospechamos que de algún modo influyen en el valor que toma Y Suponemos entonces que existe una relación funcional entre ellas y la variable Y

7 Introducción A los modelos estadísticos que nos permiten predecir valores de una variable, digamos Y, con base en otras, por ejemplo X1, X2, …, Xk, se les llama modelos de regresión La obtención de un modelo de regresión se hace con base en una muestra en donde se miden todas las variables Las observaciones en la muestra tienen la forma (xi1, xi2, …, xik, yi), i = 1, 2, …, n Tras haberlos obtenido, los modelos de regresión tienen como fin estimar los valores de Y (sin medirlos) a partir de valores de las Xj (los cuales sí medimos)

8 Regresión lineal simple

9 Algunos tipos básicos de relación entre dos variables

10 Modelo de regresión lineal simpleLa forma más sencilla de relación algebraica entre dos variables es una línea recta Cuando se supone que la relación entre dos variables se puede expresar como una recta, se dice que se tiene un modelo lineal Cuando en un modelo de regresión se tiene solamente una variable explicativa, se dice que se trata de un modelo de regresión simple Por tanto, si se cuenta con solamente una variable explicativa y se supone que la relación de esta con la variable respuesta está dada por una línea recta, se dice que tenemos un modelo de regresión lineal simple (RLS)

11 Modelo de regresión lineal simpleCuando la relación entre dos variables es una línea recta, basta con dos valores para determinar cuál es dicha recta Ordenada al origen: Es el valor que nos indica en qué punto del eje Y pasa la recta Pendiente: Es una medida de la inclinación de la recta. Si la pendiente es Negativa, la recta está “inclinada hacia abajo” (viéndola de izquierda a derecha) Cero, la recta es horizontal Positiva, la recta está “inclinada hacia arriba” (viéndola de izquierda a derecha)

12 Tipos de pendiente Recta con pendiente negativaRecta con pendiente cero Recta con pendiente positiva

13 Recta con pendiente cero = Y es constante con respecto a XPendiente igual a cero Note que el caso en que la pendiente es cero corresponde a la situación en la que la “variable” Y, en realidad es una constante Expresado de otro modo: el valor de Y en realidad no depende de X Recta con pendiente cero = Y es constante con respecto a X Y X

14 La pendiente es la tangente del ángulo g:Eje Y Recta y = a + bx g La pendiente es la tangente del ángulo g: b = tan(g) Ordenada al origen a Eje X

15 Notación En lo sucesivo, utilizaremos la letra griega  para representar los coeficientes del modelo de regresión En el caso lineal simple: 0 para la ordenada al origen 1 para la pendiente Así que la gráfica anterior queda como sigue

16 La pendiente es la tangente del ángulo g:Y Recta y = 0 + 1x Oct 2011 g La pendiente es la tangente del ángulo g: 1 = tan(g) Ordenada al origen 0 X

17 Ajuste de un modelo de RLSA partir de una muestra de n pares de observaciones del tipo (xi,yi), verifíquese que los datos cumplan los supuestos del modelo, examinando gráficas y realizando contrastes de hipótesis Si existen violaciones a dichos supuestos Identifíquelas En caso de que sea posible, corrija las violaciones a los supuestos haciendo transformaciones a los datos Realice inferencias sobre el modelo y los parámetros 0 y 1 (estimación puntual, intervalos de confianza y contrastes de hipótesis)

18 Ajuste de un modelo de RLSDetermine si hay observaciones influyentes o discrepantes, e identifíquelas Reúna mayor información sobre el fenómeno para determinar si dicho comportamiento es erróneo o atípico Corrija las observaciones erróneas Elimine las observaciones atípicas influyentes  Con moderación Utilice el modelo para pronosticar valores de Y con base en valores de X

19 Ejemplo RLS Suponga que se quiere establecer un modelo que permita calcular el tiempo que una persona pasará en la caja registradora de una tienda de autoservicio Para ello, se supone que existe una relación entre el número de artículos que adquiere una persona en una tienda de autoservicio (X) y el tiempo que toma atenderle en la caja registradora (Y) Pensemos que podemos asumir que dicha relación es lineal (mientras más cosas compre, más se tardará en cobrarle) Si la relación fuera perfectamente lineal, la expresión que relaciona a X con Y sería

20 Ejemplo RLS Sin embargo, no es realista pensar que la relación sea perfectamente lineal Existen otros factores que no estamos tomando en cuenta los cuales podrían influir en el tiempo de atención: El tipo de artículos (no solamente la cantidad) Las características de la persona que compra Las características de la cajera que atiende La hora del día El día de la semana Los artículos que están de oferta ese día La fecha del año Etc

21 Ejemplo RLS Por tanto, cada observación que hagamos del tiempo (Y), estará determinada en parte por la cantidad de artículos (X), pero también tendrá un componente de “error” aleatorio, que representamos con la letra  (épsilon minúscula) Donde el término de error  contiene las variaciones debidas a todos los factores que influyen en Y que nuestro modelo no toma en cuenta Dado que asumimos que los valores de Y dependen de X, se escribe más correctamente

22 Ejemplo RLS En un modelo básico de regresión, se asume que los errores siguen una distribución normal con una media igual a cero y una varianza desconocida, pero fija, 2, es decir Suponiendo esta distribución para los errores, es posible demostrar que la distribución condicional de Y dado X queda determinada como Suponiendo que los errores  tienen media cero, si tomamos el valor esperado de Y dado el valor de X, resulta

23 Ejemplo RLS La expresión anterior indica que la media del valor de Y en cada valor de X es 0 + 1X Dicho de otro modo, la recta de regresión une los valores medios de Y en los distintos valores de X Por tanto, alrededor de cada punto de la recta se tiene una distribución normal con media 0 + 1X y varianza 2.

24 Ejemplo RLS Para simplificar la notación, se suele expresar la expresión referida como Pero como tenemos solamente una muestra, tendremos estimaciones de los parámetros 0 y 1, y en consecuencia, de Y

25 Ejemplo RLS X (Artículos) Y (Tiempo) 8 6 28 7 18 3 5 2 15 4Supongamos que tomamos datos y obtuvimos lo mostrado en la tabla Se desea realizar lo siguiente: Ajustar un modelo de regresión lineal simple a los datos obtenidos Interpretar los coeficientes del modelo estimado Estimar el tiempo que tomaría atender a una persona que lleve 10 artículos

26

27 Recta de regresión Un primer problema que observamos es que podría haber varias formas de hacer pasar una recta por entre los puntos ¿Cuál de todas ellas deberíamos elegir?

28 ¿Cuál recta empleamos?

29 Recta de regresión Para poder escoger una recta, se impone una restricción: Escogeremos aquella recta que esté “lo más cerca posible” de todos los puntos (en algún sentido) Se dice que la recta que está “más cercana” a todos los puntos es la que minimice la distancia global entre ella y los puntos

30 Error e1 Error e3 (x1 , y1) (x3 , y3)

31 Recta de regresión A estas distancias, se les denomina residuos y se les calcula como Los residuos son estimadores de los errores  El criterio que se debe satisfacer es que los estimadores de 0 y 1 sean tales que produzcan el valor más pequeño posible de la suma de cuadrados de los errores:

32 Recta de regresión Es por dicho criterio que a la recta resultante se le llama de mínimos cuadrados Por lo mismo, a las estimaciones resultantes de los coeficientes  se les llama estimadores de mínimos cuadrados

33 Estimadores de mínimos cuadradosUtilizando procedimientos de cálculo vectorial, se puede ver que las expresiones para los estimadores de mínimos cuadrados para el modelo de regresión lineal simple son:

34 Estimadores de mínimos cuadradosDonde

35 Ejemplo RLS Volviendo a nuestro ejemplo, tenemos:

36 Ejemplo RLS Luego Así que el modelo estimado es

37 Ejemplo RLS Estime puntualmente el tiempo en que se atenderá a una persona que lleva 10 artículos

38 Interpretación de los coeficientes de regresiónLa interpretación de los coeficientes de regresión puede proporcionar información relevante sobre el fenómeno estudiado El valor de 0 indica el valor de Y cuando X = 0. Esta interpretación no siempre hace sentido en el contexto del problema, principalmente si la relación entre X y Y es tal que cuando X sea cero, Y debería también serlo El valor de 1 representa la cantidad promedio de unidades que aumenta Y cuando X aumenta en una unidad (si el signo del coeficiente es negativo, entonces indica la cantidad de unidades que Y disminuye cuando X aumenta en una)

39 Ejemplo RLS Realice la interpretación de los coeficientes del modelo de regresión lineal simple dado por Solución Como el valor de 0 es 2.480, se tiene que si una persona no lleva artículos (X = 0), entonces tardará minutos en la caja registradora Note que este es uno de esos casos en los que 0 no parece tener mucho sentido Como 1 vale , entonces por cada artículo adicional que lleve una persona, demorará minutos adicionales en la caja registradora

40 Ejercicio En una hoja de Excel introduzca el modelo de regresión recién obtenido Calcule Y para X = 0, 1, 2, 3, 4 Observe que el valor de Y cuando X = 0 es igual a 0. Verifique que la diferencia entre cada par de valores consecutivos de Y es igual a 1.

41 Sesión de ejercicios Resuelva los ejercicios propuestos haciendo uso de Minitab

42 VALIDACIÓN DE LOS SUPUESTOS DEL MODELO DE REGRESIÓN

43 Calidad del ajuste en un modelo de regresiónLa gráfica de dispersión de los puntos nos da una primera impresión del tipo de relación que pudiera haber entre las variables Existen dos medidas principales que nos indican qué tan adecuadamente representa un modelo lineal la relación entre Y y X Una de ellas sirve para valorar el grado de relación lineal entre X y Y. Se trata del coeficiente de correlación

44 Calidad del ajuste en un modelo de regresiónLa otra se interpreta como el porcentaje de la variabilidad en Y que está explicada por X. Es el coeficiente de determinación Debe notarse que para que estas dos medidas tengan sentido, X debe ser también una variable aleatoria normal

45 Calidad del ajuste en un modelo de regresiónCoeficiente de correlación, r Es una medida del grado de relación lineal entre X y Y Está entre -1 y 1 Si r = -1, entonces existe una relación lineal perfecta y negativa entre X y Y; es decir, cuando X aumenta, Y disminuye Si r = 0, entonces no existe una relación lineal entre X y Y Si r = 1, entonces existe una relación lineal perfecta y positiva entre X y Y, es decir, cuando X aumenta, Y aumenta

46 Una regla general para interpretar los valores de rCoeficiente de correlación Relación lineal entre X y Y -1  r  -0.5 Alta, negativa -0.5 < r < 0 Baja, negativa r = 0 Inexistente 0 < r < 0.5 Baja, positiva 0.5  r  1 Alta, positiva

47 Una regla general para interpretar los valores de r (muy desagregada)Coeficiente de correlación Relación lineal entre X y Y -1  r  -0.9 Muy alta, negativa -0.9 < r  -0.5 Alta, negativa 0.5 < r  -0.3 Regular, negativa -0.3 < r < 0 Escasa, negativa r = 0 Ninguna 0 < r < 0.3 Escasa, positiva 0.3  r < 0.5 Regular, positiva 0.5  r < 0.9 Alta, positiva 0.9  r  1 Muy alta, positiva

48 Conjuntos de datos con distintos valores del coeficiente de correlación

49 Calidad del ajuste en RLSCoeficiente de determinación, r2 Está entre 0 y 1 Representa la proporción de la variabilidad en los datos que está explicada por el modelo

50 Conjuntos de datos con distintos valores en el coeficiente de determinación

51 Ejemplo RLS Calcule el coeficiente de correlación y el de determinación e interprete Solución: El coeficiente de correlación es Existe una relación lineal alta positiva entre el número de artículos adquiridos y el tiempo de atención en caja

52 Ejemplo RLS El resultado anterior hace uso de que En nuestro ejemplo

53 Ejemplo RLS El coeficiente de determinación esEl número de artículos adquiridos explica el 31.98% de la variabilidad en el tiempo de atención en caja Esto puede considerarse un porcentaje regular, lo cual era esperable considerando que el modelo explorado es muy sencillo

54 Verificación de los supuestos del modelo de RLSNormalidad de los errores Puede observarse en una gráfica de probabilidad normal de los residuos Deben estar cerca de la línea, aleatoriamente por arriba y por abajo No deben mostrar tendencias claras También se puede decir algo sobre la normalidad de los errores con base en el histograma de residuos Debe mostrar una forma acampanada, simétrica y sin observaciones discrepantes

55 Verificación de los supuestos del modelo de RLSIgualdad de varianzas de los errores e independencia de los errores con X Gráfico de dispersión de residuos contra los valores predichos Sin tendencias ni patrones identificables Completamente dispersos por toda la gráfica Independencia de los errores entre sí Gráfico secuencial de residuos Sin tendencias  En realidad esta gráfica es algo complicada de interpretar

56 Otras inferencias para el modelo de RLSIntervalos de confianza para 0 y 1 Contrastes de hipótesis para 0 y 1 Contraste de hipótesis basado en un análisis de varianza para el modelo Contraste de hipótesis sobre (el verdadero valor del coeficiente de correlación) Intervalo de confianza para el valor medio de Y dados los valores para las Xj Intervalo de predicción para el valor individual de Y dados los valores de las Xj

57 Referencias Devore, J. L. (2005) Probabilidad y estadística para ingeniería y ciencias. 6a edición. International Thomson Editores, S.A. de C.V. México Freund, J. E.; Miller, E. & Miller, M. (2000) Estadística matemática con aplicaciones. Pearson. México Gutiérrez Pulido, H. & De la Vara Salazar, R. (2008) Análisis y diseño de Experimentos. McGraw – Hill Interamericana. México Hildebrand, David K. & Ott, Lymann (1998) Probabilidad y estadística aplicadas a la administración. Addison Wesley Iberoamericana. México Mendenhall, W. & Sincich, T. (1997) Probabilidad y estadística para ingeniería y ciencias. Prentice Hall Hispanoamericana, S. A. México