1 2007 [email protected] 1 Meta-análisis
2 2007 [email protected] 2 Preguntas básicas ¿Qué es? ¿Para qué sirve? ¿Cómo se regula? ¿Cómo se hace? ¿Qué métodos? ¿Cuándo?
3 2007 [email protected] 3 INDICE 1. Definición 2. Objetivos 3. Antecedentes históricos 4. Protocolo y desarrollo de un meta- análisis 5. Estimadores del tamaño del efecto 6. Ejemplo de meta-análisis
4 2007 [email protected] 4 Definición El meta-análisis es una revisión sistemática de un gran número de estudios que utiliza métodos estadísticos para combinar, sintetizar e integrar la información de varios estudios independientes que son considerados por el análista como “combinables” Adaptado de: -Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8. -Huque MF. Experiences with meta-analysis in NDA submissions. Proc Biopharmaceutical Section of the American Statistical Association 1988;28-33. -Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995;48:168-71. -D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. Clin Pharmacol Ther 1995; 58:605-616.
5 2007 [email protected] 5 Objetivos (1) El meta-análisis, cuando se realiza de forma adecuada, puede ser utilizado para los siguientes propósitos: Incrementar la potencia estadística de los resultados procedentes de múltiples estudios individuales y posibilitar el análisis estadístico de subgrupos Mejorar las estimaciones de la magnitud del efecto Resolver controversias cuando hay desacuerdo entre los estudios entre los estudios.
6 2007 [email protected] 6 Objetivos (2) Contestar nuevas preguntas que no se habían planteado en los estudios individuales Confirmar hipótesis que no se habían podido confirmar en los estudios individuales Elaborar nuevas hipótesis que deben ser contrastadas en futuros estudios Abrir nuevos caminos de investigación o redirigir la investigación en curso Presentar el perfil de eficacia y seguridad de los fármacos.
7 2007 [email protected] 7 Objetivos (3) Obtención de estimadores o parámetros para estudios de farmacoeconomía, calidad de vida, etc. Adaptado de: -Fleiss JL, Gross A. Meta-analysis in epidemiology, with special reference to studies of association between exposure to environmental tobacco smoke and lung cancer: a critique. J Clin Epidemiol 1991; 127-139.
8 2007 [email protected] 8 OBJETIVOS Conclusión: –Ganancia en precisión –Comparación crítica de los resultados –Diferencias en magnitud o sentido –Posibilidad de generalizar
9 2007 [email protected] 9 EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO Período de tiempoTotalRatio articulos/mes 1950-195910.008 1960-196980.067 1970-1979180.150 1980-1984731.217 1985-19893335.550 1990-1992 (Junio)2455.833 1992 (Julio)-1995150336.429
10 2007 [email protected] 10 EVOLUCIÓN DEL USO DEL MÉTODO META-ANALÍTICO
11 2007 [email protected] 11 CARACTERÍSTICAS Areas de aplicación Ciencias de la educación Psicología Biología Medicina Ciencias medio-ambientales Química Física Economía Etc...
12 2007 [email protected] 12 CARACTERÍSTICAS Problemas preliminares –Selección de material Bibliografía –Búsqueda informatizada (Medline, Science Citacion Index,...) –Búsqueda manual (Citas referenciadas, conferencias) –Lenguas extranjeras –Estudios presentados a conferencias y congresos –Calidad de los estudios –Diseños distintos (estudios de cohortes, caso-control,...)
13 2007 [email protected] 13 CARACTERÍSTICAS Datos: –Tipos de medida de los efectos –Escalas de medida –Extensión de la información Datos originales Estadísticos de resumen Estimación del efecto y errores estándar Valores de significación
14 2007 [email protected] 14 CARACTERÍSTICAS Datos: –Toda la información, a excepción de los datos originales, complica enormemente el ajuste por distinto factores de confusión potenciales Disponibilidad de los estudios: Sesgo de publicación
15 2007 [email protected] 15 CARACTERÍSTICAS No independencia de los estudios –Tiempo: momento en que se realiza el estudio –Centro o investigador –Múltiple publicación de los resultados –Mismos sujetos (en distintos estudios)
16 2007 [email protected] 16 Ventajas y limitaciones Ventajas Consideración sistemática (evaluación no sesgada) Cuantificación de los resultados Aumento de precisión de los resultados Mayor capacidad de estudiar efectos en subgrupos Mayor facilidad para evaluar las discrepancias entre estudios Mayor generalización de las conclusiones
17 2007 [email protected] 17 Ventajas y limitaciones Limitaciones: La calidad está limitada por los estudios individuales Dificultad para establecer los criterios de inclusión Sesgo de selección (publicación, lengua, calidad...)
18 2007 [email protected] 18 Protocolo Como en cualquier otro estudio, antes de iniciar un meta-análisis se debe elaborar un protocolo completo y detallado El protocolo debería incluir como mínimo: -Una descripción detallada de los objetivos e hipótesis que se van a probar -Los criterios de inclusión y exclusión de los estudios -Los procedimientos que se utilizarán para probar la homogeneidad de los tamaños de los efectos entre estudios -Los métodos estadísticos que se utilizarán para estimar el tamaño del efecto global -Los métodos que se utilizarán para presentar y resumir los resultados
19 2007 [email protected] 19 Análisis de la heterogeneidad Respuesta a la siguiente pregunta: ¿SON COMBINABLES LOS ESTUDIOS? Pruebas de homogeneidad de los resultados de los estudios individuales: -Prueba ji-cadrado Q de Cochran -Prueba ji-cuadrado de Breslow-Day Las pruebas de homogeneidad tienen baja potencia para detectar la heterogeneidad Un valor p de la prueba de homogeneidad 0.10, sugiere heterogeneidad entre estudios y, por tanto, podría no ser válido combinar los estudios
20 2007 [email protected] 20 Egger et al. Systematic reviews in health care. London: BMJ books, 2001.
21 2007 [email protected] 21 Magnitud del efecto (1) Los métodos estadísticos utilizados para estimar el tamaño del efecto global de diferentes estudios se basan en Modelos de Efectos Fijos y Efectos Aleatorios Los Modelos de Efectos Fijos asumen un efecto constante del tratamiento entre estudios, es decir, los tamaños de los efectos entre estudios son homogéneos o similares. -Los diferentes estudios pertenecen a una misma población -Consideran la variabilidad intra-estudio
22 2007 [email protected] 22 Magnitud del efecto (2) Los Modelos de Efectos Aleatorios consideran que existe una variación entre estudios -Los estudios provienen de poblaciones diferentes -Consideran la variabilidad intra e inter-estudio
23 2007 [email protected] 23 Magnitud del efecto (3) Ninguno de los dos modelos se puede considerar “correcto”: -Si los estudios son homogéneos La elección entre un modelo de efectos fijos y efectos aleatorios no es importante, ya que los resultados serán idénticos -Si los estudios no son homogéneos Es más apropiado elegir un modelo de efectos aleatorios Los modelos de efectos fijos y efectos aleatorios utilizan diferentes métodos estadísticos para combinarlos resultados
24 2007 [email protected] 24 Magnitud del efecto (4)
25 2007 [email protected] 25 Unbiased Hedges’ g estimate Corrections for small sample size will be made.
26 2007 [email protected] 26 Effect size interpretation Since effect sizes are non-dimensional measurements (no units), some conventions have been proposed [1],[2] : [1][2] [1][2] –small≈0.20, –medium≈0.50 –large≈0.80 –[1] Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Erlbaum. [1] –[2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155-159. [2]
27 2007 [email protected] 27 Análisis de sensibilidad (resumen) Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis
28 2007 [email protected] 28 Análisis de sensibilidad (1) Un análisis de sensibilidad evalúa la estabilidad de las conclusiones de un análisis según las asunciones (supuestos) que se han realizado en el análisis Cuando una conclusión permanece invariante al variar las asunciones del análisis, se refuerza la confianza en la validez de las conclusiones del análisis El análisis de sensibilidad permite identificar las asunciones más críticas del análisis Conocer las asunciones críticas de un análisis puede ser utilizado para formular las prioridades para una futura investigación enfocada a resolver el problema planteado en el análisis
29 2007 [email protected] 29 Análisis de sensibilidad (2)
30 2007 [email protected] 30 Análisis se sensibilidad (3)
31 2007 [email protected] 31 Análisis de la correlación Una correlación significativa entre la magnitud del efecto y el tamaño de la muestra de los estudios indica que el tamaño del efecto depende del tamaño del estudio Esta correlación puede indicar una verdadera heterogeneidad entre estudios, fundamentalmente debida a un diferente esfuerzo experimental entre estudios, es decir, la rigurosidad del estudio estaría en función de su tamaño En este caso podría no ser valido el meta-análisis
32 2007 [email protected] 32 Análisis de la correlación
33 2007 [email protected] 33 Análisis de la robustez Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos Correlación entre la magnitud del efecto y el tamaño muestral de los estudios.
34 2007 [email protected] 34 Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (1) La introducción del sesgo de publicación y/o inclusión selectiva de estudios positivos en un meta-análisis se debe fundamentalmente a que: -La mayoría de estudios publicados presentan -La mayoría de estudios publicados presentan resultados positivos significativos y una minoría muestran resultados negativos o no significativos -Hay una tendencia a seleccionar y, por tanto, incluir en el meta-análisis los estudios o datos no publicados con resultados positivos significativos y a guardar los que muestran resultados negativos o no significativos
35 2007 [email protected] 35 Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (2)
36 2007 [email protected] 36 Los métodos utilizados para detectar la introducción del sesgo de publicación en un meta-análisis son: –Funnel plot –El análisis de la asimetria del funnel plot Si el número de estudios incluidos en el meta-análisis es pequeño, el funnel plot es poco útil. En este caso, el mejor método es comparar el tamaño del efecto global entre los estudios publicados y no publicados En un meta-análisis basado en todos los estudios originales, no es necesario analizar el sesgo de publicación Análisis del sesgo de publicación y/o inclusión selectiva de estudios positivos (3)
37 2007 [email protected] 37 Funnel plot
38 2007 [email protected] 38 Funnel plot
39 2007 [email protected] 39 Presentación gráfica
40 2007 [email protected] 40 Conclusiones (1) 1.El meta-análisis es un herramienta valida y poderosa para la síntesis de la investigación siempre y cuando se aplique de forma adecuada (justificación, protocolo, etc.) 2.La utilización no crítica del meta-análisis puede llevar a conclusiones erróneas. Las principales críticas que se realizan a un meta-análisis son: -Sesgo de publicación y/o inclusión selectiva de estudios positivos -Heterogeneidad entre estudios -Correlación entre el tamaño del efecto y el tamaño de la muestra
41 2007 [email protected] 41 Conclusiones (2) 3.Únicamente cuando estos problemas son debidamente considerados y analizados por medio de: -Análisis de la asimetría del funnel plot -Pruebas de homogeneidad -Análisis de la correlación entre el tamaño del efecto y el tamaño de la muestra de los estudios Es posible aplicar esta técnica estadística para combinar los estudios de forma que los resultados globales sean científicamente validos
42 2007 [email protected] 42 Meta-análisis Ejemplo Ferran Torres [email protected]
43 2007 [email protected] 43 Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis Effects of plantago ovata husk on lipid metabolism. A meta-analysis
44 2007 [email protected] 44 Selection of studies Identified 26 studies =>18 were valid according to the predefined criteria Excluded studies. –Most of them (7 of 8) insufficient information on descriptive statistics to calculate the meta-analysis estimates from those studies; –the other one was erroneously pre-selected since only insoluble fiber was used in that trial.
45 2007 [email protected] 45 Statistical issues on the results (1) Poor quality of information withdrawals and descriptive results: Complete available descriptive data, n, mean and dispersion (SD or SE), for the baseline subtracted effect was found only for one study (Williams 1995). –SD (or SE to derive the SD): Estimated from baseline and final values by using correlation coefficients from other published data. If baseline or final SD not available: SD for the baseline difference was directly imputed from other published data. cross-over design –Intrasubject correlation for the estimation of the SD of the treatment differences has been ignored for the cross-over design because of (a) it was not available and (b) this is conservative since it leads to less significant results.
46 2007 [email protected] 46 Statistical issues on the results (2) Treatment arms 2 per study except 1: –(MacMahon 1998): The mentioned study was a three arm trial with a control group (n=74) and 2 active doses of 7 G/d (n=101), and 10.5G/d (n=91). –Half the sample size of the control group (n=37; 74/2) was used for the comparison between each active group.
47 2007 [email protected] 47
48 2007 [email protected] 48
49 2007 [email protected] 49 Statistical issues on the results (3) Potential Publication Bias –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive.
50 2007 [email protected] 50 Statistical issues on the results (3) Heterogeneity and sensibility analysis –(a) The biggest studies have the lowest magnitude effect for Total Cholesterol, although the direction of the effect is positive for all of them. –(b) There are probably some unpublished small studies with negative results, although the bigger studies are positive. => –Pooled results too heterogeneous very cautious with the conclusions fixed effects not valid
51 2007 [email protected] 51 Meta-analysis estimations Significant effect for –Total Cholesterol (p
52 2007 [email protected] 52
53 2007 [email protected] 53
54 2007 [email protected] 54
55 2007 [email protected] 55
56 2007 [email protected] 56
57 2007 [email protected] 57
58 2007 [email protected] 58
59 2007 [email protected] 59
60 2007 [email protected] 60
61 2007 [email protected] 61
62 2007 [email protected] 62 Subgroups SS with ES>1 –Cholesterol and LDL fiber food supplement compound intake duration between 4 and 8 weeks daily doses >10G/d Moderate SS ES –>8 weeks regimens -0.7 cholesterol and -0.8 LDL SS with ES≈1 –periods of study publication: no clear trend Adult population: replication of the main pooled effect because only 2 studies on childhood.
63 2007 [email protected] 63 Cholesterol
64 2007 [email protected] 64LDL
65 2007 [email protected] 65 Meta-análisis Ejemplo Ferran Torres [email protected]
66 2007 [email protected] 66 Example Fleiss JL The statistical basis of meta-analysis. Statistical Methods in Medical research 1993; 2: 121-145. Results of seven placebo-controlled randomised studies of the effect of aspirin in preventing death after myocardial infarction
67 2007 [email protected] 67 Studies of aspirin in myocardial infarction
68 2007 [email protected] 68 Pooled estimate of ln(OR) = OR = 0.90 (0.84 0.96) Meta-analysis of Aspirin trials
69 2007 [email protected] 69 Graphical representation
70 2007 [email protected] 70 Fixed OR = 0.90 (0.84 0.96) Random OR= 0.88 95%CI : (0.77 ; 0.99)
71 2007 [email protected] 71
72 2007 [email protected] 72
73 2007 [email protected] 73
74 2007 [email protected] 74 10.4%-14.2% = 3.8%
75 2007 [email protected] 75 Meta-análisis Normativas Ferran Torres [email protected]
76 2007 [email protected] 76 Guias y Normativas ICH - E9: Statistical Principles for Clinical Trials Note for Guidance on Statistical Principles for Clinical Trials. CMP/ICH/363/96. September 1998 CPMP/EWP/2330/99: Validity and Interpretation of Pooled Analyses, and one Pivotal study The Potsdam International Consultation on Meta-analysis Potsdam, Germany, March 1994 QUORUM. Statement. Lancet 1999; 354: 1896-1900. Lancet 1999; 354: 1896-1900.Lancet 1999; 354: 1896-1900.
77 2007 [email protected] 77 Potsdam International Cosultation Journal of Clinical Epidemiology 1995; 48: 1-71 Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation meta-analysis. J Clin Epidemiol 1995; 48:168-71. Describen los pasos que se deben seguir en el desarrollo de un meta-análisis riguroso
78 2007 [email protected] 78
79 2007 [email protected] 79 ICH Biostatistical guideline ”Individual clinical trials should always be large enough to satisfy their objectives.” ”The use of meta-analytic techniques to combine these estimates is often useful, because it allows a more precise estimate of the size of the treatment effects.”
80 2007 [email protected] 80 ICH Biostatistical guideline ”Under exceptional circumstances a meta- analytic approach may be the most appropriate way to, or the only way, of providing sufficient overall evidence of efficacy...”
81 2007 [email protected] 81 PtC on Meta-analyses ”… not to encourage applicants to rely on a submission where stand alone studies have been substituted by a meta- analysis of trials of inadequate size.”
82 2007 [email protected] 82 Acceptable regulatory purposes for meta analysis To improve the precision of the estimate of efficacy To evaluate whether overall positive results are also seen in pre-specified subgroups To evaluate apparently conflicting results.
83 2007 [email protected] 83 Acceptable regulatory purposes for meta analysis To evaluate an additional efficacy outcome that requires more power than the individual trials can provide. To evaluate safety in a subgroup, or a rare event in all patients.
84 2007 [email protected] 84 Pre-specification: Meta-analysis protocol The objective of the analyis. Criteria for inclusion and exclusion of studies (study populations, study design, dosage, duration etc). Strategy for indentification of studies. Endpoints. The definitions set up for the individual studies should be followed.
85 2007 [email protected] 85 Pre-specification: Meta-analysis protocol Statistical methods. P-value more extreme than the conventional 0.05. Evaluation of hetreogeneity. Plan for evaluation of robustness. Demonstration of consistency in alternative analyses.
86 2007 [email protected] 86 Timing of the meta-analysis protocol A retrospective specification should be avoided if possible. In retrospectively specified protocols the primary specifications and definitions set up in the indivi-dual studies should be followed.
87 2007 [email protected] 87 Retrospective meta-analysis May be acceptable if some studies clearly positive no major numerical interactions positive trend in inconclusive studies pooled CI well away from zero (or unity) selection bias unlikely robustness of the findings
88 2007 [email protected] 88 Selection of studies Obligation to submit all studies relevant to the claims made. Selection bias normally not a problem for new chemical entities. Selection bias in drug applications not specific to applications with a meta-analysis
89 2007 [email protected] 89 Selection of studies Substantial risk for selection bias in applications wholly or partly relying on bibliographical data. The strategy for indentifying relevant studies should be presented together with a thorough discussion of a potential selection bias.
90 2007 [email protected] 90 Clinical relevance of pooled results Statistical significance vs clinical relevance. Emphasis on clinical judgement. Significant effects might be to small to result in a positive overall risk/benefit.
91 2007 [email protected] 91 Heterogeneity and external validity Are the study populations sufficiently representative of a common target population (dosage, duration, severity etc)? Are there any reason to suspect a clinically relevant interaction? Suspected interactions and major clinical differences among the individual studies should be evaluated in alternative analyses.
92 2007 [email protected] 92 Pooled analyses of safety endpoints Pooled analyses of safety endpoints Less sophisticated pooling of data from variable sources. Strigent meta-analysis for in depth evaluation of safety signals from less reliable analyses. Special attention to the inclusion of studies that are likely to dilute potential negative effect. Intra-study comparisons a minimum requirement.
93 2007 [email protected] 93 ICH E9 Statistical principles for Clinical Trials, 1998 ”The results of the confirmatory trial(s) should be robust.” ”In some circumstances the weight of evidence from a single confirmatory trial may be sufficient.”
94 2007 [email protected] 94 What is the crucial question? Do we have enough studies? or Do we have enough data?
95 2007 [email protected] 95 Arguments for replication More than one study provides a broader basis for generalisation of the results. Protection against fraud Reduced risk for some hidden systematic bias The general demand for replication of scientific results
96 2007 [email protected] 96 Fundamental requirement on the phase III documentation Adequate and well-controlled data of good quality A sufficient number of patients, with a sufficient variety and disease conditions, collected by a sufficent number of investigators, demonstrating a positive risk/benefit in the intended population at the intended dose and manner of use. Minimum requirement: One controlled study with sta-tistically compelling and clinically relevant results.
97 2007 [email protected] 97 Reasons to plan for more than one study Lack of pharmacological rationale A new pharmocological principle Phase I and phase II data limited or unconvincing A therapeutic area with a history of failed studies or failures to confirm seemingly convincing results Any other need to address additional questions in the phase III program
98 2007 [email protected] 98 Crucial issues in the one pivotal study situation Internal and external validity. Clinical relevance. The treatment benefit must be large enough to be clinically relevant. Statistical significance. Passing the conventional 5% significance level is usually not sufficient.
99 2007 [email protected] 99 Crucial issues in the one pivotal study situation Data quality Internal consistency. Similar findings in pre-specified sub-populations and for different endpoints. Center effects. Plausibility of the hypothesis tested.
100 2007 [email protected] 100 Scientific advice on One confirmatory study Sponsors’ argument New/extended indication, pediatric indication New formulation Effects on survival Serious disease (e.g. cancer) Life-long disease without cure No therapy currently available Rare disease (orphan drug) One study in each of two indications Placebo controlled dose-finding study positive
101 2007 [email protected] 101 Conclusion on One Pivotal study There is no formal requirement to include two or more pivotal studies in the phase III program. In most cases several studies is the most feasible way to provide the data needed. In the exceptional event of a one pivotal study application, theis study has to be particularly compelling.