1 A MARKOV DECISION TREE MODEL TO EVALUATE COST-EFFECTIVENESS OF CERVICAL CANCER TREATMENTS Un modelo de Markov en un árbol de decisión para un análisis del coste-efectividad del tratamientos de cáncer de cuello uterino L. Robin KellerD* Jiaru Bai* Cristina del Campo*# DPast President, INFORMS, *University of California, Irvine, USA, #Universidad Complutense de Madrid, España 12th INTERNATIONAL CONFERENCE ON OPERATIONS RESEARCH, La Habana, CUBA, Plenary, March 10, 2016
2 Abstract We evaluated the cost-effectiveness of adding the new drug bevacizumab to chemotherapy treatment of advanced cervical cancer. A Markov decision tree was created using recent clinical trial data. In the 5-year model, patients transitioned through the following monthly states: response to the treatment, progression of the disease, minor complications, severe complications, and death. The 2013 US MediCare Services Drug Payment Table and Physician Fee Schedule provided costs, in US dollars. On average, patients survived 14.7 months at a US medical system cost of $5,938 with chemotherapy alone vs months at a cost of $79,097 with chemo plus bevacizumab. The estimated total cost of therapy with bevacizumab is approximately 13.3 times that for chemotherapy alone, adding $73,159 per 3.0 months of life gained. So the incremental cost effectiveness ratio (ICER) is $24,386 extra cost/extra month. Patients experienced a health quality level each month depending on the treatment effectiveness and on any complications, ranging from 0 for death to 1 for the baseline of one month responding to advanced cervical cancer treatment. Patients survived 11.2 quality adjusted life months (QALmonthscc) with chemo alone vs QALmonthscc with chemo plus bevacizumab. The ICER ratio increased to $27,096/QALmonthcc due to the smaller difference in QALmonthscc. Possible future cost reductions in bevacizumab or biosimilars would result in dramatic declines in the added cost of gaining more months of life.
3 Evaluamos la relación coste-eficacia de añadir el nuevo fármaco bevacizumab al tratamiento de quimioterapia de cáncer de cuello uterino avanzado. Un árbol de decisión de Markov se ha creado usando los últimos datos de los ensayos clínicos. En el modelo de 5-años, los pacientes la transición a través de los siguientes estados mensuales: respuesta al tratamiento, la progresión de la enfermedad, las complicaciones menores, complicaciones graves y muerte. Costes están en los Estados Unidos dollars de On promedio, los pacientes sobrevivieron 14,7 meses a un costo sistema médico de Estados Unidos de $5938 con quimioterapia sola frente a 17,7 meses a un costo de $ con quimioterapia más bevacizumab. El coste total estimado del tratamiento con bevacizumab es aproximadamente 13,3 veces mayor que la de la quimioterapia sola, la adición de $ por cada 3,0 meses de vida ganados. Por lo que la relación de coste-efectividad incremental (ICER) es $24,386 costo adicional/mes. Los pacientes reciben un nivel de calidad de la salud en cada mes, dependiendo de la eficacia del tratamiento y sobre las complicaciones, que van desde 0 a favor de la muerte a la 1 de la línea de base de 1 mes de responder para el tratamiento del cáncer avanzado de cuello uterino. Los pacientes sobrevivieron 11,2 meses de vida ajustados por calidad (QALmonthscc) con la quimioterapia sola frente a 13,9 QALmonthscc con quimioterapia más bevacizumab. La relación ICER aumentó a $ /QALmonthcc debido a la diferencia más pequeña en QALmonthscc. Las posibles futuras reducciones de costos en el bevacizumab o biosimilares se traduciría en una disminución dramática en el coste añadido de obtener más meses de vida.
4 Materials Posted on my Website Powerpoint slides of this talk Extended abstract of this talk BAI, J.R., del CAMPO, C., y KELLER, L. R. (2016): working paper, Modelos de Cadenas de Markov en la Practica: Una Revision de Opciones de Software de Bajo Coste (pagina 1-8 en Español), MARKOV CHAIN MODELS IN PRACTICE: A REVIEW OF LOW COST SOFTWARE OPTIONS (page 9-16 in English)
5 Applying Markov model to medical problems PLAN Applying Markov model to medical problems La aplicación de modelo de Markov para problemas médicos Example- Ejemplo-cáncer de cuello uterino cervical cancer Results Resultados Software Alternatives Alternativas de software (Treeage, StoTree, R) (Treeage, StoTree, R)
6 Markov Chain Not all problems easily portrayed in a standard decision tree, some medical problems are cyclical and the condition of patients can change over time. A Markov process is characterized by recurrent states over time. No todos los problemas fácilmente retratados en un árbol de decisión estándar, algunos problemas médicos son cíclicas y la condición de los pacientes pueden cambiar con el tiempo. Un proceso de Markov se caracteriza por estados recurrentes en el tiempo. What about in 5 years?/ ¿Que pasa en 5 años?
7 State Diagram 0.1 0.18 0.72 0.02 0.833 0.147 1
8 Problems with classical decision tree Problemas con el árbol de decisión clásica0.1 0.9 0.2 0.8 0.02 0.98 0.15 0.85 Tree grows large. Some substructures repeat. El árbol crece grande. Subestructuras se repiten.
9 Properties of cancer treatment Propiedades del tratamiento del cáncerRepeated states Estados repetidos Treatments/transitions are cyclical (monthly/yearly) Tratamientos/transiciones son cíclicos (mensual/anual) Transition probability is approx. independent of history, but may be related to individual characteristics Probabilidad de transición es aprox. independiente de la historia, pero puede estar relacionada con las características individuales En cada estado, pacientes pueden incurrir en costos diferentes, tanto en coste monetario o psicológica (y diferentes utilidades de salud). In each state, patient may incur different costs, both monetary or psychological cost (and different health utilities). A Markov model is likely to be appropriate! Un modelo de Markov es probable que sea apropiado!
10 A Markov tree has structure, probabilities, rewards (quality adjusted life years) & termination condition. Un árbol de Markov tiene structura, las probabilidades, las recompensas (ajustados a la calidad de vida de años) y condición de terminación. Treeage.com software
11 Pros Simpler Más simpleIt enables you to conjecture in an unfinished study with the estimated cost and reward Se le permite a la conjetura en un estudio sin terminar con el costo estimado y la recompensa Monte Carlo simulation to get the distribution rather than a single mean estimate Simulación de Monte Carlo para obtener la distribución en lugar de una sola estimación de la media
12 Cons Contras Less useful when the survival time is short (a standard decision tree is preferred) Menos útil cuando el tiempo de supervivencia es corta (se prefiere un árbol de decisión estándar) Sólo tiene ciclos de tiempo Only has discrete time cycles (the transition is not continuous) discretos (la transición no es continua) Necesitamos para que coincida con el ciclo de costo para el ciclo de probabilidad (no tener suficientes datos, incurrir en inexactitudes) We need to match the cycle of cost to the cycle of probability (may not have enough data, incur inaccuracy) May not have stationary probabilities No puede tener probabilidades estacionarias
13 Example Ejemplo El coste-efectividad de añadir el nuevo fármaco bevacizumab (nombre de marca Avastin) para el tratamiento de quimioterapia de cáncer de cuello uterino avanzado es evaluada con un análisis del árbol de decisión de Markov utilizando los datos de los ensayos clínicos. The cost-effectiveness of adding the new drug bevacizumab (with the brand name Avastin) to chemotherapy treatment of advanced cervical cancer is evaluated with a Markov decision tree analysis using clinical trial data.
14
15 This example New paper
16
17 This example is based on the full paper by Minion et alThis example is based on the full paper by Minion et al. (2015), a research team in the western United States combining two operations researchers from the University of California, Irvine Merage School of Business with gynecological cancer surgeon physicians at the UCI School of Medicine and other physicians. Este ejemplo se basa en el trabajo completo por Minion et al. (2015), un equipo de investigación en el oeste de los Estados Unidos que combina dos operaciones investigadores de la Universidad de California, Irvine Escuela de Negocios con los médicos del cirujano del cáncer ginecológico en la Escuela de Medicina de la UCI y otros médicos.
18 Suitability for a Markov model La idoneidadSurvival time is short (usually within 3 years) but treatment cycle is almost a month, so a Markov model is more convenient El tiempo de supervivencia es corto (por lo general en 3años), pero el ciclo de tratamiento es de casi un mes, por lo que un modelo de Markov es más conveniente Varios estados repetidas (complicaciones, responder, el progreso y morir) Several repeated states (complications, respond, progress and die) Las probabilidades se supone que son estacionarios Probabilities assumed to be stationary
19 Puede mostrar de mes a mes transiciones probabilísticas de cada paciente a través de la simulación de Monte Carlo. Permite a los médicos y los pacientes a comprender la naturaleza probabilística de tratamiento contra el cáncer, con algunos pacientes que están empeorando y otras permanecer en el estado de responder satisfactoriamente al tratamiento durante más meses. Can show month-to-month probabilistic transitions of each patient via Monte Carlo simulation. Allows physicians and patients to understand the probabilistic nature of cancer treatment, with some patients getting worse and others staying in the state of responding successfully to treatment for more months.
20 Markov Diagram/ Diagrama (Treeage software)
21 Model parameters Decidir la duración del ciclo Deciding cycle length3 tipo de datos (eficacia, coste, ficha de los pacientes) Tratamiento es casi mensualmente- Así que coincida con todos los datos a ser mensual Probabilidades originalmente un formato de 6 meses (transformado a ser de 1 mes para que coincida con la duración del ciclo) Deciding cycle length 3 kind of data (effectiveness, cost, patients’ record) Treatment is almost monthly- So match all data to be monthly Probabilities originally 6-month format (transformed to be 1-month to match the cycle length)
22 Transition Probabilities from state i to j in one Cycle Probabilidades de Transición del Estado i al Estado j en un Ciclo De i a j Respuesta R Complicaciones Limitadas CL Progreso P Complicaciones Graves CG Muerte M Chemo Quimio 0,8671 0,0024 0,1270 0,0035 1 0,8623 0,1377 0,9 0,1 Chemo+ Beva Quimio + Beva 0,8720 0,0273 0,0823 0,0184 0,8771 0,1229
23 Limited compli-cations Severe compli-cationsEfectividad (basado en el criterio de los médicos o del informe de evaluación del dolor de los pacientes) Effectiveness (based on judgment of medical doctors or patients’ pain assessment report) States Respond Progress Limited compli-cations Severe compli-cations Die Utility= Reward per month 1 0.5 0.75 Reward = 1 means patient spends 1 QALMonth living with cervical cancer. Living one month with severe complications = .5 month of living with cervical cancer in the treatment responding state. Recompensa = 1 significa paciente pasa 1 QALMonth que viven con cáncer de cuello uterino. Vivir un mes con complicaciones graves = 0,5 meses de vivir con cáncer de cuello uterino en el estado de responder.
24 Match cost with effectiveness Cost data is either monthly or for one event Change event cost data to monthly cost by dividing the expected length of event Coste partido con efectividad Los datos de costo es mensual o para un evento Cambiar los datos de costes evento a coste mensual dividiendo la longitud esperada del evento $US Cost/ month Beva is expensive Hypertension Thromboembolism or fistula
25 Decision tree Treeage.com software
26 Treeage.com software
27 Treeage.com software
28 Cost-effectiveness D in cost/D in months = Incremental cost effectiveness Ratio ICER = $24,387/month
29 (Future) Cost Reduction
30 What if the probabilities differ ¿Qué pasa si las probabilidades from the base case? difieren del caso base? Treeage.com software
31 Sensitivity Analysis Tornado Analysis (cost) Tornado Analysis (ICER)Treeage.com software
32 Software alternativesTreeage Pro HealthCare software $ 395 Estados Unidos- licencia anual para los académicos $ 45 Estados Unidos- licencia estudiante Menús, extenso manual en línea, utilizado profesionalmente en la investigación y las empresas $395 US annual license for academics $45 US student course license Menu driven, extensive online manual, used professionally in research and firms
33 Software alternativesSto Tree by Prof. Gordon Hazen Northwestern University $20 US HAZEN, G.B. (2002): Stochastic trees and the StoTree modeling environment: Models and software for medical decision analysis, Journal of Medical Systems, 26(5),
34 Markov Decision Tree in Sto Tree
35 StoTree Spreadsheet for Calculating Costs and Quality Adjusted Cervical Cancer Life Months (Health Utilities) over 60 Monthly Treatment Cycles: Results of 1 cycle Hoja de Cálculo de Sto Tree para el Cálculo de los costes (Costs) y años de vida ajustados por calidad (QALY, en inglés) durante 60 Ciclos de Tratamiento Mensual: Resultos de 1 ciclo
36 Software alternatives“markovchain” add in to R https://www.r-project.org/ $0, manual available in Spanish: https://cran.r-project.org/doc/contrib/R-intro espanol.1.pdf JR Bai JR, C del Campo, L R Keller, MARKOV CHAIN MODELS IN PRACTICE: A REVIEW OF LOW COST SOFTWARE OPTIONS Modelos de Cadenas de Markov en la Practica: Una Revision de Opciones de Software de Bajo Coste, working paper in Spanish and English, 2016
37 Output of Script for R with “markovchain”
38 R-comander (known as Rcmdr) is the most used GUI specially designed to work with R, providing the user access to a selection of common analysis techniques common using simple menus (similar to SPSS). (http://www.uv.es/innovamide/l4u/R/R0/R0.wiki web page, in Spanish, on how to install R for Windows and how to install Rcmdr and see, for example, Guisande Gonzalez and Barreiro Felpeto Vaamonde Liste (2011) on how to use it for various analyses.) The R package that is to be used (markovchain) is not yet incorporated into Rcmdr. The code below incorporates the markovchain package to repeat the analysis in this article. R-comander (conocido como Rcmdr) es la más utilizada interface gráfica de usuario especialmente diseñada para trabajar con R y que lo que hacen es facilitar al usuario el acceso a una selección de técnicas de análisis de uso muy común utilizando unos sencillos menús (equivalentes a los que tiene SPSS). (http://www.uv.es/innovamide/l4u/R/R0/R0.wiki, en español, sobre cómo instalar R sobre Windows y cómo instalar Rcmdr y ver, por ejemplo, Guisande González, Vaamonde Liste y Barreiro Felpeto (2011) sobre cómo usarlo para diversos análisis.) En este caso el paquete de R que se va a utilizar (markovchain) no está incorporado todavía a Rcmdr. El código para poder repetir el análisis realizado en este artículo tiene “markov chain” incorporada.
39 realmente se deben ejecutar.R Script/ Código: # signs indicate comments, code is on rows without # signs El signo de sostenido (#) indica que el texto que aparece a continuación es un comentario. Las líneas que no tienen dicho signo contienen las sentencias que realmente se deben ejecutar. # Instala la librería # Una vez instalada en un ordenador no se vuelve a ejecutar la sentencia install.packages("markovchain") # Carga la librería para poder utilizarla en la sesión actual. # Esta sentencia hay que ejecutarla al principio de cada sesión library(markovchain, pos=4) # Crea la cadena de markov, utilizando el paquete “markovchain” # Se especifican a continuación los nombres de los estados de la cadena (entre comillas) # Después se escriben de manera continua las probabilidades de transición, por filas (byrow=TRUE) # Se precisa la dimensión de la matriz (nrow = 5) # Y por último, optativo, el nombre que se le quiera dar a la cadena de Markov quimio <- new("markovchain", states = c("R", "CL", "P", "CG", "M"),transitionMatrix = matrix(data = + c(0.8671, , , , 0, 1, 0, 0, 0, 0, 0, 0, , 0, , 0, 0, 0.9, 0.1, 0, 0, 0, 0, 0, 1), byrow + = TRUE, nrow = 5), name = "Quimio") # Verificamos que la matriz de transición es correcta, ya que la imprime en formato matriz Quimio continued
40 # Dibuja el diagrama de markov plot(quimio) # Dibuja otro diagrama de markov más bonito en blanco y negro (en concreto el de la Figura 1) # Para ello necesita instalar otra librería. Una vez instalada en un ordenador no se vuelve a ejecutar la sentencia install.packages("diagram") # Se carga la librería, para poder utilizarla en esta sesión library(diagram, pos=4) # Y ahora se le pide a R que haga el gráfico plot(quimio, package="diagram", box.size = 0.04) # Guarda el gráfico en formato png dev.copy(png,'C:/investigacion_operacional/figura_1.png') dev.off() # Cálculo de la matriz fundamental Q_quimio = matrix(data = c(0.8671, , , , 1, 0, 0, 0, 0, 0, , 0, 0, 0, 0.9, 0.1), byrow = + TRUE, nrow = 4) I4 = diag(4) F_quimio = solve(I4-Q_quimio) F_quimio Continued
41 # Tiempo esperado para la absorción, considerando que se empieza en el estado respuestat_quimio = F_quimio%*%c(1,0,0,0) cat(“Tiempo esperado de vida=”)+ print(t_quimio) # Cálculo del coste del tratamiento, como lo hace TreeAge # Los costes son los mensuales en cada estado de la cadena coste = cbind(c(524,262,809,4157,0)) utilidad = c(1,0.75,0.5,0.5,0) x <- c(1,0,0,0,0) coste0 = x%*%coste Cost=0 for(i in seq(1:60)) { x = x*quimio Rewardeff = utilidad*x Rewardcost = coste0%*%Rewardeff Cost = sum(Rewardcost) + Cost } cat("Coste del tratamiento =") + print(Cost)
42 Thank you Gracias
43 References BAI, J.R., del CAMPO, C., y KELLER, L. R. (2016).:Modelos de Cadenas de Markov en la Practica: Una Revision de Opciones de Software de Bajo Coste, working paper, 2016, BHARGAVA, H. K., SRIDHAR, S., y HERRICK, C. (1999): Beyond spreadsheets: Tools for building decision support systems. IEEE Computer, 3 (3), BECK, J.R. y PAUKER, S.G. (1983): The Markov process in medical prognosis. Medical Decision Making, 3(4), GOUBERMAN, A., y SIEGLE, M. (2014): Markov reward models and Markov decision processes in discrete and continuous time: Performance evaluation and optimization. En: Remke, A. y Stoelinga, M. (Eds.) Stochastic Model Checking. Rigorous Dependability Analysis Using Model Checking Techniques for Stochastic Systems, , Springer, Berlin Heidelberg. GUISANDE GONZÁLEZ, C., VAAMONDE LISTE, A. y BARREIRO FELPETO, A. (2011): Tratamiento de datos con R, Statistica y SPSS, Ediciones Díaz de Santos, Madrid. HAZEN, G.B. (2002): Stochastic trees and the StoTree modeling environment: Models and software for medical decision analysis, Journal of Medical Systems, 26(5), HOWARD, R. A. (1971): Dynamic Probabilistic Systems, Vol. 1-2, Wiley, New York. MENN, P. y HOLLE, R. (2009): Comparing three software tools for implementing Markov models for health economic evaluations, Pharmaeconomics, 27(9), MINION, L. E., BAI, J., MONK, B. J., KELLER, L. R., ESKANDER, R. N., FORDE, G. K., CHAN, J.K. y TEWARI, K. S. (2015): A Markov model to evaluate cost-effectiveness of antiangiogenesis therapy using bevacizumab in advanced cervical cancer, Gynecologic oncology, 137(3), NORBERG, R. (1995): “Differential Equations for Moments of Present Values in Life Insurance,” Insurance: Mathematics and Economics, 17(2), Refaat T, Choi M, Gaber G, et al. (2013): Markov Model and Cost-Effectiveness Analysis of Bevacizumab in HER2-Negative Metastatic Breast Cancer. American journal of clinical oncology. RUBIO-TERRÉS, C. (2000): Introducción a la utilización de los modelos de Markov en el análisis farmaeconómico. Revista Farmacia Hospitalaria, 24(4), SOTO ÁLVAREZ, J. (2012)"Evaluación económica de medicamentos y tecnologías sanitarias: Principios, métodos y aplicaciones en política sanitaria”, Springer Healthcare Iberica, Madrid. TEWARI, K. S., SILL, M. W., LONG III, H. J., et al. Improved survival with bevacizumab in advanced cervical cancer. New England Journal of Medicine, 2014, 370(8):