1 Estadística Bayesiana. Parte IManuel Mendoza Ramírez Instituto Tecnológico Autónomo de México III Taller Mexicano de Estadística Bayesiana Veracruz, México. Junio 26, 2011.

2 Contenido Estadística Estadística Bayesiana Historia Bayesiana Ejemplo

3 Estadística Estadística: Herramienta para describir fenómenos, a partir de conjuntos de observaciones que presentan variabilidad.

4 Estadística Estadística: Herramienta para describir fenómenos, a partir de conjuntos de observaciones que presentan variabilidad.

5 Estadística Estadística: Herramienta para describir fenómenos, a partir de conjuntos de observaciones que presentan variabilidad. La descripción se refiere a una caracterización que rebasa el ámbito de la sola enumeración. La descripción puede ser: Exacta (deductiva) cuando dispone de toda la información sobre el fenómeno. Aproximada (inductiva) cuando sólo cuenta con parte de la información. (Análisis Exploratorio de Datos) (Inferencia Estadística)

6 Ronald Aylmer Fisher Estadística La escuela de Inferencia Estadística predominante hasta pocos años lo fue, en solitario, por aproximadamente 80 años. Surge a finales del Siglo XIX y, ahora, se conoce con el nombre de Estadística Frecuentista. Parte de una interpretación de la Probabilidad como límite de frecuencias relativas (verificable a través de la experimentación) El colectivo de exponentes de esta escuela es muy vasto pero a ninguno se le atribuye tanto el desarrollo y consolidación como a R. A. Fisher ( ).

7 Ronald Aylmer Fisher Fisher Fisher fue muy productivo y se le deben ideas fundamentales de la Inferencia. R. A. Fisher (1922). On the Mathematical Foundations of Theoretical Statistics.

8 Ronald Aylmer Fisher Fisher Los conceptos técnicos que introdujo o que retomó de sus antecesores para relanzarlos en la literatura son abundantes; entre otros: Verosimilitud Significancia Suficiencia Información Análisis Fiducial Análisis de la Varianza Consistencia Máxima Verosimilitud

9 Estadística MatemáticaRonald Aylmer Fisher Estadística Matemática Propuso métodos que hasta la fecha se utilizan, cada uno de los cuales era fruto de un examen matemático riguroso. Su preocupación era la aplicación de métodos con una fundamentos teóricos. No desarrolló, sin embargo, una Teoría Estadística (un sistema lógico de observaciones, axiomas y postulados). R. A. Fisher (1922). On the Mathematical Foundations of Theoretical Statistics.

10 Andréi Nikoláyevich Kolmogórov (1903-1987)Estadística Matemática La Inferencia Estadística que Fisher contribuyó a desarrollar tiene métodos y procedimientos rigurosamente validados en términos matemáticos, es de aplicación muy general en la práctica y cuenta con herramientas de cómputo, pero no forma un conjunto armonioso de piezas de conocimiento. La Teoría de la Probabilidad, en su versión formal, axiomática, sólo apareció hasta 1933, gracias al trabajo de A.N. Kolmogorov.

11 Aproximaciones alternativasFrank P. Ramsey ( ) Bruno de Finneti ( ) Aproximaciones alternativas En paralelo, otros personajes intentaron formalizar una interpretación subjetiva de la Probabilidad. Truth and Probability (1926/1931) de Frank Ramsey, plantea la Probabilidad subjetiva como una rama de la Lógica. Foresight: its Logical Laws, Its Subjective Sources (1937) de Bruno de Finetti, establece que la única definición posible de la Probabilidad es como un concepto subjetivo e introduce el concepto de intercambiabilidad. Con diferentes enfoques, ambos autores exploran la asignación subjetiva de probabilidades y su relación con problemas de decisión.

12 Estadística BayesianaLa Estadística Bayesiana, como se conoce actualmente, se inicia con la segunda mitad del siglo XX. Surge con la idea de organizar y sistematizar los conceptos, métodos y técnicas existentes de la Inferencia (Frecuentista) en una Teoría Estadística. Desde entonces, el énfasis se ha desplazado, de los Fundamentos primero, a los Métodos de Inferencia específicos después y, más recientemente, al Cómputo Bayesiano y la producción de software para el análisis Bayesiano.

13 Fundamentos de la Teoría de InferenciaEstadística Bayesiana Métodos Bayesianos Fundamentos de la Teoría de Inferencia Cómputo Bayesiano Para los Fundamentos, las ideas de Probabilidad subjetiva y Teoría de decisiones han jugado un papel central. Por su parte, el Cómputo Bayesiano ha hecho posible la aplicación de la Inferencia Bayesiana a problemas reales, complejos.

14 Fundamentos de la Teoría de InferenciaEstadística Bayesiana Métodos Bayesianos Fundamentos de la Teoría de Inferencia Cómputo Bayesiano

15 Estadística BayesianaMétodos Bayesianos Fundamentos de la Teoría de Inferencia Cómputo Bayesiano Inferencia Bayesiana No Paramétrica

16 Teoría Estadística BayesianaLeonard Jimmie Savage ( ) Dennis Victor Lindley ( ) Teoría Estadística Bayesiana La idea de la probabilidad subjetiva fue (y aún es) motivo de controversia que ha dado lugar a un debate permanente con los no Bayesianos. Entre los promotores de esta alternativa destaca D.V. Lindley que en 1953 publica Statistical Inference. Ahí aborda los problemas de inferencia como problemas de decisión y los resuelve con un argumento de Probabilidad Inversa y el criterio de pérdida esperada mínima. Sin embargo, la primera formulación completa, exhaustiva y axiomática de los Fundamentos de la Estadística (Bayesiana) se debe a Savage:

17 Teoría Estadística BayesianaSavage reproduce, generaliza e integra, diversas contribuciones de otros autores, por ejemplo: de Finetti Probabilidad Subjetiva von Neumann & Morgenstern Teorías de Utilidad, Decisión y Juegos Wald Teoría Estadística de la Decisión

18 Teoría de Decisión A partir de un conjunto de axiomas para la toma de decisiones, Comparabilidad Transitividad Sustituibilidad Medición Deriva un criterio que, prueba, es el único compatible con estos axiomas.

19 Teoría de Decisión El criterio establece que para seleccionar de forma óptima una opción de entre una variedad de alternativas se debe (y se puede): Describir toda fuente de incertidumbre a través de la asignación de probabilidades. Describir las preferencias a través de una función de utilidad. Elegir la opción de Utilidad Esperada Máxima.

20 Teoría de Decisión El criterio establece que para seleccionar de forma óptima una opción de entre una variedad de alternativas se debe (y se puede): Describir toda fuente de incertidumbre a través de la asignación de probabilidades. Describir las preferencias a través de una función de utilidad. Elegir la opción de Utilidad Esperada Máxima.

21 Inferencia Bayesiana Una inferencia se interpreta como una descripción posible del fenómeno incierto bajo estudio.

22 Inferencia Bayesiana Una inferencia se interpreta como una descripción posible del fenómeno incierto bajo estudio. En un estado de conocimiento específico, existen distintas inferencias alternativas que se pueden formular.

23 Inferencia Bayesiana Una inferencia se interpreta como una descripción posible del fenómeno incierto bajo estudio. En un estado de conocimiento específico, existen distintas inferencias alternativas que se pueden formular. La elección de lo que se puede afirmar sobre lo que no se conoce del fenómeno, dado lo que sí se conoce, es un problema de decisión en ambiente de incertidumbre.

24 Inferencia Bayesiana Una inferencia se interpreta como una descripción posible del fenómeno incierto bajo estudio. En un estado de conocimiento específico, existen distintas inferencias alternativas que se pueden formular. La elección de lo que se puede afirmar sobre lo que no se conoce del fenómeno, dado lo que sí se conoce, es un problema de decisión en ambiente de incertidumbre.

25 Inferencia Bayesiana Existe un único procedimiento para producir las inferencias óptimas. Debe elegirse la inferencia de Utilidad Esperada Máxima. La Probabilidad describe el estado de incertidumbre particular del Investigador sobre el fenómeno de interés. La Utilidad describe las consecuencias (para el Investigador) de las inferencias. Los datos (muestra) son relevantes en tanto modifican el estado de incertidumbre del Investigador.

26 Inferencia Bayesiana Existe un único procedimiento para producir las inferencias óptimas. Debe elegirse la inferencia de Utilidad Esperada Máxima. La Probabilidad describe el estado de incertidumbre particular del Investigador sobre el fenómeno de interés. La Utilidad describe las consecuencias (para el Investigador) de las inferencias. Los datos (muestra) son relevantes en tanto modifican el estado de incertidumbre del Investigador.

27 Inferencia Bayesiana Fija condiciones bajo las cuales la Hipótesis de Utilidad Esperada Máxima deja de ser una hipótesis para la única consecuencia compatible con los axiomas (de coherencia). Le da carácter normativo a la asignación subjetiva de probabilidades. Establece como mecanismo básico de aprendizaje la fórmula de Bayes y el concepto de Probabilidad Inversa.

28 Aprendizaje BayesianoThomas Bayes ( ) Aprendizaje Bayesiano Savage no emplea el término Bayesiana para su teoría. Esta denominación surge, al parecer en Economía.

29 Estadística BayesianaAsí, podría afirmarse que, en 1954, se establece formalmente la Teoría Bayesiana de la Inferencia Estadística. En 2011, estaría cumpliendo 57 años … evidentemente, es joven! Sin embargo, sus raíces se pueden rastrear bastante más atrás. S. Fienberg (2006). When Did Bayesian Inference Become Bayesian"?.

30 Más Historia BayesianaThomas Bayes ( ) Más Historia Bayesiana Bayes no vio publicado su trabajo. Apareció hasta 1763. Lo más relevante no era la fórmula, sino el empleo que hizo de ella. Inferencia sobre la probabilidad de éxito en ensayos Bernoulli. Utiliza el modelo Beta.

31 Historia Bayesiana Introduce la idea de la Probabilidad Inversa.Thomas Bayes ( ) Historia Bayesiana Introduce la idea de la Probabilidad Inversa. Una versión probabilística de lo que sus contemporáneos denominaban El Problema Inverso. “… which shows that we may hope to determine the … unknown Causes, by sufficient observation of their Effects.” D. Hartley (1749). Observations on Man, his Frame, his Duty and his Expectations.

32 Pierre Simon de Laplace( ) Historia Bayesiana Quien formula, en general, el llamado Teorema de Bayes y, más importante, utiliza sistemáticamente la Probabilidad Inversa para la producción de inferencias, es Laplace. “If an event can be produced by a number n of different causes, the probabilities of these causes given the event are to each other as the probabilities of the event given the causes” “An urn is supposed to contain a given number of white and black tickets in an unknown ratio; if one draws a ticket and it turns out to be white, determine the probability that the ratio of white to black tickets is that of p to q; the event is known and the cause is unknown. ” P.S. Laplace (1774). Mémoire sur la probabilité des causes por les évènements.

33 Pierre Simon de Laplace( ) Historia Bayesiana Laplace también retoma de Bayes, y discute con extensión, el llamado Principio de la Razón Insuficiente, origen del concepto de distribuciones iniciales no-informativas. Otro resultado que sigue siendo ejemplo de libro de texto hasta la fecha es La Regla de Sucesión. Durante mas de treinta años Laplace continuó generalizando y, sobre todo, aplicando estas ideas a una variedad de problemas.

34 Daniel Bernoulli ( ) Historia Bayesiana A lo largo de cien años, hasta el último tercio del siglo XIX, los procedimientos que se desarrollan para la producción de inferencias están basados en la Probabilidad Inversa en gran parte como efecto de la publicación en 1812 de Théorie Analytique des Probabilités, también de Laplace. Otro autor sumamente relevante es Daniel Bernoulli. En 1738 publica Specimen Theoriae Novae de Mensura Sortis (Presentación de una Nueva Teoría de Medida del Riesgo). En ese trabajo introduce el concepto de función de utilidad y la idea de maximizar la Utilidad Esperada.

35 Historia Bayesiana La influencia de Bayes, Laplace y sus contemporáneos a través de la idea de Probabilidad Inversa llega hasta los científicos que habrían de desarrollar la Estadística Frecuentista. S. Fienberg (2006). When Did Bayesian Inference Become Bayesian"?.

36 Historia Bayesiana De esta forma resulta que la Estadística Bayesiana es una Teoría joven pero con raíces que vienen del siglo XVIII. Stephen Fienberg denomina a la escuela que surge en torno al trabajo de Savage como Neo-Bayesiano.

37 Un ejemplo

38 Conteo Rápido BayesianoPara la elección Presidencial de 2006 se instalaron alrededor de 130,500 casillas, en 300 distritos. En cada distrito las casillas se organizan en secciones rurales, urbanas o mixtas. La votación inicia a las 8 a.m. y cierra (en principio) a las 6 p.m. Existen dos husos horarios con retraso respecto al horario central (una y dos horas respectivamente)

39 Conteo Rápido BayesianoPara capturar las diferencias regionales, se diseñó un muestreo estratificado con 300 estratos (uno por distrito). Para reflejar las preferencias de los medios rural y urbano, los 300 estratos originales se subdividieron en rurales y no rurales El resultado fue un diseño con 481 estratos.

40 Conteo Rápido BayesianoEl tamaño de muestra inicial fue de 7,500 casillas y se distribuyó en los 481 estratos en forma proporcional al número de casillas en cada estrato. Se analizó el retraso, por diferencia de husos, en el arribo de los datos de las regiones mas occidentales y se determinó que solo afectaría Sonora y Baja California. El efecto se compensó con una muestra adicional de 136 casillas adicionales en esos estados.

41 Conteo Rápido BayesianoLos datos se transmitieron por teléfono (público, residencial o celular), por el servicio de telefonía rural, por radio o por teléfono satelital a la unidad de captura distrital. El sistema operó con claves de transmisión y filtros de comprobación de datos. Desde las 300 unidades de captura distrital se concentró la información en un servidor para su análisis estadístico cada cinco minutos.

42 Conteo Rápido BayesianoInteresa estimar la proporción de votos a favor de los candidatos. Se utilizan distribuciones iniciales no informativas. Los resultados se obtienen por simulación. El análisis se realizó para cada actualización de información. En cada caso, las gráficas implican la simulación de muestras de tamaño 10,000.

43 Resultados Cada cinco minutos se obtuvieron los resultados, por simulación. Para facilitar la comunicación de los resultados, se diseñó un diagrama que permite analizar los resultados por pares.

44 18:00

45

46

47 18:00

48 18:05

49 18:10

50 18:15

51 18:20

52 18:25

53 18:30

54 18:35

55 18:40

56 18:45

57

58 18:45

59 18:50

60 18:55

61 19:00

62 19:05

63 19:10

64 19:15

65 19:20

66 19:25

67 19:30

68 19:35

69 19:40

70 19:45

71 19:50

72 19:55

73 20:00

74 20:05

75 20:10

76 20:15

77

78 20:15

79 20:20

80 20:25

81 20:30

82 20:35

83 20:40

84 20:45

85 20:50

86 20:55

87 21:00

88 21:05

89 21:10

90 21:15

91 21:20

92 21:25

93 21:30

94

95 21:30

96 21:35

97 21:40 ( 91.8 % )

98 21:45

99 21:50

100 21:55

101 22:00

102 22:05

103 22:10 ( % )

104 22:15 Muestra: 92.12%

105

106 22:15 Muestra: 92.12%

107 Resultados Intervalos de Máxima Densidad Posterior (0.95 de probabilidad). 

108

109

110

111

112