1 [email protected] 1 Sequential designs

2 [email protected] 2 Métodos Secuenciales Multiplicidad  Múltiples análisis (intermedios, secuenciales)  Otras causas: –Múltiples criterios de evaluación –Múltiples tiempos de observación (medidas repetidas) –Múltiples comparaciones:  diseños con más de dos tratamientos  subgrupos

3 [email protected] 3 Diseño frecuencista clásico  3 pasos básicos: –Estimación del tamaño muestral –Reclutamiento de la meustra –Análisis estadístico

4 [email protected] 4 Métodos secuenciales: justificación  La información en los ensayos clínicos se acumula progresivamente en el tiempo  Actitudes ante este hecho: –Ignorarlo: diseño clásico –Monitorización de acontecimientos adversos –Aprovechar la información a medida que se obtiene: diseño secuencial

5 [email protected] 5 Métodos secuenciales: justificación (2)  Aparición de conflictos éticos, sobretodo en enfermedades con pronóstico grave  La hipótesis de trabajo no se ajusta a la realidad: –Los tratamientos pueden ser mejores o peores que lo esperado  Estudios largos aconsejan algún tipo de control de los resultados.

6 [email protected] 6 Esquema de un estudio estándar Análisis Inicio reclutamiento Seguimiento

7 [email protected] 7 Esquema de un estudio secuencial Análisis Inicio reclutamiento Seguimiento

8 [email protected] 8 Clave: –Dado que los datos se van acumulando paulatinamente, se podrían analizar a ciertos intervalos y tomar decisiones en base a los resultados Pero … –Múltiples análisis pueden llevar a errores estadísticos y decisiones clínicas erroneas

9 [email protected] 9 Monitorización ingenua K hipótesis independientes: H 01, H 02,..., H 0K S resultados significativos ( p<  ) Pr (S  1 | H 01  H 02 ...  H 0K = H 0. ) = 1 - Pr (S=0|H 0. ) = 1- (1 -  ) K

10 [email protected] 10 Terminación prematura de ensayos clínicos Posibles causas:  Datos acumulados procedentes del ensayo  Desarrollo global del estudio  Información externa al estudio

11 [email protected] 11 Terminación prematura de ensayos clínicos 1) Datos acumulados procedentes del ensayo El tratamiento experimental es claramente peorEl tratamiento experimental es claramente peor Poca probabilidad de demostrar que el tratamiento experimental es mejorPoca probabilidad de demostrar que el tratamiento experimental es mejor El tratamiento experimental es mejorEl tratamiento experimental es mejor Efectos secundarios inesperados / inaceptablesEfectos secundarios inesperados / inaceptables

12 [email protected] 12 Terminación prematura de ensayos clínicos 2) Desarrollo global del estudio Imposibilidad de reclutar al ritmo necesarioImposibilidad de reclutar al ritmo necesario Excesiva falta de cumplimientoExcesiva falta de cumplimiento Insuficiente financiaciónInsuficiente financiación

13 [email protected] 13 Terminación prematura de ensayos clínicos 3) Información externa al estudio Datos procedentes de otros estudios: beneficio o perjuicioDatos procedentes de otros estudios: beneficio o perjuicio Datos de la práctica clínica habitual: acontecimientos adversos no sospechados e inaceptablesDatos de la práctica clínica habitual: acontecimientos adversos no sospechados e inaceptables Innovaciones terapéuticas que impliquen cambios en los estándares de comparaciónInnovaciones terapéuticas que impliquen cambios en los estándares de comparación Retirada del tratamiento del mercadoRetirada del tratamiento del mercado

14 [email protected] 14 Ventajas de los métodos secuenciales  Éticas: La asignación aleatoria es ética siempre que existan dudas sobre qué tratamiento es mejor  Económicas: Requieren menos recursos de tiempo, dinero y esfuerzo  De poder estadístico: Se mantiene el poder predefinido, independientemente de la variabilidad  Incentivas: Motivación al conocer resultados

15 [email protected] 15 Condiciones de aplicabilidad  El estudio requiere una muestra grande  El objetivo del estudio es único y bien definido  Se prevé una prolongada duración del estudio  El resultado para cada paciente se conoce rápidamente, durante la fase de inclusión

16 [email protected] 16 Diseño NO aplicable a método secuencial ¿Análisis? Desarrollo total Reclutamiento

17 [email protected] 17 Diseño SÍ aplicable a método secuencial Análisis Desarrollo total Reclutamiento

18 [email protected] 18 Tipos de diseño secuencial 1) Reestimación del tamaño muestral 2) Métodos secuenciales por grupos 3) Aproximación por funciones de gasto de  4) Intervalos de confianza repetidos 5) Restricción estocástica 6) Métodos bayesianos 7) Límites continuos (función de verosimilitud)

19 [email protected] 19 Métodos secuenciales por grupos Pocock (1977)  Pruebas de significación repetidas  K = Nº máximo de inspecciones a realizar  K fijo a priori  Análisis con pruebas estadísticas clásicas (  2, t-test,...)

20 [email protected] 20 Corrección del nivel de significación  Uso de un  ’ más estricto que  en cada inspección  ’: nivel de significación nominal Diseño  Predeterminación del tamaño muestral con  ’ para la última inspección teórica  N total > N clásica  N grupo = N total / K

21 [email protected] 21 Resumen de las características  Diseño y análisis sencillos  Aplicable a cualquier tipo de prueba estadística  Debe anticiparse el número máximo de inspecciones (K)  No permite finalizar prematuramente si H 0 es cierta

22 [email protected] 22 Group Sequential Methods

23 [email protected] 23 Implications of Stopping Rules  Haybittle-Peto –difficult to stop trial early –almost no impact on significance level final analysis  Pocock nominal significance levels –easier to stop trial early –heavy impact on significance level final analysis  O’Brien-Fleming –very stringent criterion at first interim analysis –relatively low impact on significance level final analysis

24 [email protected] 24 Example 1  Comparison of drug combinations CP and CVP in non-Hodgkins lymphoma. –Measure: tumour shrinkage –Trial: over 2 years, about 120 patients. –Five interim analyses planned, roughly after every 25th result.  Table gives numbers of ‘successes’ and nominal p-values using a  2 test at each stage.

25 [email protected] 25 Example 1

26 [email protected] 26 Example 1  Conclusion: –Not significant at end of trial (overall p>0.05) since p>0.016  the required nominal value for 5 repeat tests –If NO interim analyses had been done then conclusion would have been different  CVP declared significantly better at 5% level

27 [email protected] 27 Example 2  Cautionary Example:  ref: Br J Surg, (1974), 61: 177 –No significant difference with 49 patients –The trial was therefore continued –After 100 patients gave result  2 = 4.675, d.f. = 1, p< 0.05  (and the trial was published) –Actual p ‑ value is 0.031 > 0.029 so cannot claim 5% significance

28 [email protected] 28 Funciones de gasto de  (1) Lan y DeMets (1983)  Métodos secuenciales por grupos:  Especificación a priori de K  Tamaño de los grupos fijo  Relajan estos requisitos   global  Función de gasto de 

29 [email protected] 29 Alpha spending function approach (2) Pocock: : early stopping for H 0 rejection K = 5  = 0,5  = 0,05 Increase in information (%) U (Normal Distribution)

30 [email protected] 30 Alpha spending function approach (3) O’Brien y Fleming: early stopping for H 0 rejection K=5  =0  =0,05 U (Normal Distribution) Increase in information (%)

31 [email protected] 31 Conditional power  Negative results: –CAST (I-II) study. NEJM (1989 & 1992)  Group sequential testing using permutation distribution & stochastic curtailment methods –HPMPC trial, Ann Intern Med 1997 –ACTG Study 243. NEJM 1998

32 [email protected] 32 Conditional power  Positive results: –CRYO-ROP Arch Ophthalmology,1988 –Grable el al. Am J Obstet Gynecol, 1996  Extension of trial: –Proschan MA, Biometrics, 1995

33 [email protected] 33 Métodos basados en límites continuos J. Whitehead; PEST  Definición de: –Estadísticos Z y V –Gráfico de representación de Z y V –Región de continuación –Regla secuencial

34 [email protected] 34 Representación  Ejes:  abcisas: V  información acumulada  ordenadas: Z  diferencias acumuladas  Región de continuación  según un modelo secuencial  garantiza las propiedades estadísticas (  y  ) si se sigue la regla secuencial

35 [email protected] 35 Región de continuación

36 [email protected] 36 Métodos basados en límites continuos Flexibilidad  Número de inspecciones no limitado  Tamaño de N grupo  Formas de región variadas

37 [email protected] 37 Análisis secuencial según Z y V  Se calcula Z y V a medida que se acumulan los datos Regla secuencial  Se finaliza el estudio si la coordenada (Z,V) queda fuera de la región de continuación  La conclusión depende del límite cruzado

38 [email protected] 38 Ventajas de los métodos basados en límites continuos Flexibilidad:  Número de inspecciones no limitado  Tamaño de grupo entre inspecciones variable  Formas de región variadas, con diferentes propiedades

39 [email protected] 39 Fórmulas de Z y V  Específicas en función de: –el tipo de datos:  binarios  normales  supervivencia  ordinales –la definición de la diferencia  absoluta  relativa

40 [email protected] 40 Monitorización secuencial  Plan de monitorización: –número de respuestas o eventos –tiempo (calendario) Flexible (ej. ajustes a tasa reclutamiento)  V i independiente de Z i

41 [email protected] 41 Monitorización secuencial Finalización del estudio: –sobrepasar los límites de la región de continuación –criterios no relacionados con el resultado de la monitorización secuencial

42 [email protected] 42 Modelo triangular unilateral Modelo secuencial de límites continuos con región triangular para hipótesis unilateral

43 [email protected] 43 Modelo triangular bilateral

44 [email protected] 44 Modelo RPST

45 [email protected] 45 Modelo Restricted Procedure

46 [email protected] 46 Modelo RPST truncado

47 [email protected] 47 Open top design

48 [email protected] 48 Monitorización estudio TIM European Heart Journal, 2000; 21:457-465.

49 [email protected] 49 TIM study. European Heart Journal. 2000: 21, 457-65

50 [email protected] 50 Análisis estudio TIM E-P IA M AVC Muerte

51 [email protected] 51 Ejemplo monitorización Seguridad

52 [email protected] 52

53 [email protected] 53

54 [email protected] 54 References: Books  Books –Whitehead, J. (1997) The Design and Analysis of Sequential Clinical Trials. (Revised Second Edition). Chichester:Wiley –Jennison C, Turnbull BW. Group Sequential Methods with Applications to Clinical Trials. Chapman & Hall/CRC: Boca Raton, 2000

55 [email protected] 55 References: Software  Software (1/2) –Commercial  Pest v4. MPS research unit, University of Reading –http://www.rdg.ac.uk/mps/mps_home/software/pes t4/pest4.htm http://www.rdg.ac.uk/mps/mps_home/software/pes t4/pest4.htmhttp://www.rdg.ac.uk/mps/mps_home/software/pes t4/pest4.htm  EaSt 2000. Cytel Software Corporation. –http://www.cytel.com/new.pages/EAST.2.html http://www.cytel.com/new.pages/EAST.2.html  S-PLUS. S+ SeqTrial –http://www.insightful.com/products/product.asp?PI D=16 http://www.insightful.com/products/product.asp?PI D=16http://www.insightful.com/products/product.asp?PI D=16

56 [email protected] 56 References  Software (2/2) –Free  Programs for Computing Group Sequential Boundaries Using the Lan-DeMets Method. Version 2.1. David M. Reboussin, David L. DeMets, KyungMann Kim, K. K. Gordon Lan –http://www.medsch.wisc.edu/landemets/ http://www.medsch.wisc.edu/landemets/  Experiments and clinical trials in medicine: Computer programs enabling clinicians to design group sequential experiments (Repeated significance tests - R.S.T. - experiments). MEDSEQ by By Egil H. Lehmann and Hogne Sandvik. MEDSEQ –http://www.uib.no/isf/medseq.htm http://www.uib.no/isf/medseq.htm  Christopher Jennison. –http://www.bath.ac.uk/~mascj/book/programs/general http://www.bath.ac.uk/~mascj/book/programs/general

57 [email protected] 57 References: Some published Clinical Trials  The Triangular Test (1/2) –Anaesthesia for outpatient termination of pregnancy. Hackett et al. (1982). British Journal of Anaesthesia, 54, 865-870 –Immunotherapy regimens in bone marrow transplantation for leukaemia. Storb et al. (1986). New England Journal of Medicine, 314, 729-735 –Corticosteroids in AIDS-induced pneumonia. Montaner et al. (1990) Annals of Internal Medicine, 113, 4-20 –Insulin and glucagon in severe alcoholic hepatitis. Trinchet et al. (1992). Hepatology, 15, 76-81 –Enoxaparin in deep vein thrombosis resulting from hip replacement surgery. Whitehead (1992). Pharmaceutical Medicine, 6, 179-191 –Cisplatin in limited small-cell lung cancer. Arriagada et al. (1993). New England Journal of Medicine, 329, 1848-1852 –Spinal anaesthesia during Caesarian section (in a design also using the play-the -winner rule). Rout et al. (1993). Anaesthesiology, 79, 262-269 –Isradipine in stroke. Whitehead (1993). Drug Information Journal, 27, 733-740 –Surfactant in infantile respiratory distress. Gortner et al. (1994). Acta Paediatrica, 83, 135-141

58 [email protected] 58 References: Some published Clinical Trials  The Triangular Test (2/2) –Lipiodol chemoembolisation in hepatocellular carcinoma. Group d'Etude et Traitement du Carcinoma Hepatocellulaire. (1995). New England Journal of Medicine, 332, 1256-1261 –Defibrillators in coronary heart disease. Moss et al. (1996). New England Journal of Medicine, 335, 1933-1940 –Somastatin in acute oesophageal variceal bleeds. Avegerinos et al. (1997). The Lancet, 350, 1495-1499 –Metoclopramide in gastroesophageal reflux. Bellissant et al. (1997). Clinical Pharmacology and Therapeutics, 61, 377-384 –Viagra in erectile dysfunction. Derry et al. (1997). Neurology, 51, 1629-1633 –Interferon and cytarabine in chronic myelogenous leukaemia. Guilhot et al. (1997). New England Journal of Medicine, 337, 223-239 –Alpha-interferon in renal cancer. MRC Renal Cancer Collaborators (1999). The Lancet, 353, 14-17 –Electrical defibrillation in an animal model of vertriacular fibrillation. Niemann et al. (2000). Journal of the American College of Cardiology, 36, 932-938 –Lenograstim in leukaemia. Bradstock et al. (2001). Leukemia, 15, 1331-1338

59 [email protected] 59  The Double Triangular Test –Comparison of theatre mattresses in respect of pressure sore incidence during surgery. –Nixon et al. (1998). International Journal of Nursing Studies, 35, 193-203 Brown et al. (2000). Statistics in Medicine, 19, 3389-3400 –Diltiazem in acute myocardial infarction. Boden et al. (2000). The Lancet, 355, 1751-1756 –Glycopyrolate in elective Caesarian section. Yentis et al. (2000). International Journal of Obstetric Anaesthesia, 9, 156-159 –Chemotherapy in high-risk breast cancer. Bergh et al. (2000). The Lancet, 356, 1384-1391 –Thromboembolism during hormone replacement therapy. Hoibraaten et al. (2000). Thrombosis and Haemostasis, 84, 961-967 –Remacamide and carbamazepine in newly diagnosed epilepsy. Whitehead (2001). Epilepsy Research, 45, 81-87 –Lithium gamolenate in pancreatic cancer. Johnson et al. (2001). British Journal of Surgery, 88, 662-668 –Reliability of contrast agents in assessing the potency of Fallopian tubes. Boudghene (2001). Ultrasound Obstet. Gynecol., 18, 525-530 References: Some published Clinical Trials

60 [email protected] 60  The Double Truncated SPRT  Comparison of triflusal with aspirin following acute myocardial infarction. Cruz-Fernandez et al. (2000). European Heart Journal, 21, 457-465  The Restricted Procedure  Tiaprofenic acid and indomethacin in osteoarthritis. Whitehead and Thomas (1997). Journal of Biopharmaceutical Statistics, 7, 333-353  Safety Monitoring  Examples for severe head injury, stroke and heart disease. Bolland and Whitehead (2000). Statistics in Medicine, 19, 2899-2917  Open Top Design  Rilozole in amyotrophic lateral sclerosis. Lacomblez et al. (1996). The Lancet, 347, 1425-1431 References: Some published Clinical Trials