1 CASE STUDY: o registo DANBIOsábado, 16 de dezembro de 2017 O uso negligenciado do valor-p Paulo Nicola Unidade de Epidemiologia Instituto de Medicina Preventiva e Saúde Pública Faculdade de Medicina da Universidade de Lisboa Reunião GEAR - SPR - 10 Jan 2007

2

3 O significado sacro-santo do valor de p...

4

5

6

7 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ESTUDO CLÍNICO COMO UMA REPRESENTAÇÃO DA REALIDADE Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

8 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ESTUDO CLÍNICO COMO UMA REPRESENTAÇÃO DA REALIDADE Uma realidade que se pode estudar (amostrar, medir, quantificar…) De facto têm sido publicadas diversas recomendações e lista de verificação de itens que devem constar ou ser endereçados nas publicações. Essas recomendações são relativamente específicas para o tipo de estudo em questão. As recomendações que estão aqui indicadas encontram-se disponíveis no site do curso. Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

9 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ESTUDO CLÍNICO COMO UMA REPRESENTAÇÃO DA REALIDADE Uma realidade que se pode estudar (amostrar, medir, quantificar…) … através do método científico. Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

10 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ESTUDO CLÍNICO COMO UMA REPRESENTAÇÃO DA REALIDADE Amostragem Medição / Experimentação Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

11 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 QUE AMEAÇAS EXISTEM ÀS CONCLUSÕES DE UM ESTUDO? Realidade Amostra Inferência Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

12 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 QUE AMEAÇAS EXISTEM ÀS CONCLUSÕES DE UM ESTUDO? Realidade Amostra Inferência Verdade Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

13 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 QUE AMEAÇAS EXISTEM ÀS CONCLUSÕES DE UM ESTUDO? Realidade Amostra Inferência Acaso Viés Confundimento Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

14 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 QUE AMEAÇAS EXISTEM ÀS CONCLUSÕES DE UM ESTUDO? Realidade Amostra Inferência Acaso Viés Confundimento Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

15 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ACASO E A ESTATÍSTICA Realidade: H0 Verdadeira Falsa confiança Erro II b Verdadeira 1 - a Conclusão: H0 Erro I a Potência Falsa 1 - b Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

16 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ACASO E A ESTATÍSTICA Realidade: H0 Proposição Verdadeira Falsa confiança Erro II b Verdadeira 1 - a Conclusão: H0 Erro I a Potência Falsa 1 - b Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

17 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ACASO E A ESTATÍSTICA Realidade: H0 Verdadeira Falsa confiança Erro II b Verdadeira 1 - a Conclusão: H0 Erro I a Potência Falsa 1 - b  0,05 Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

18 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ACASO E A ESTATÍSTICA Realidade: H0 Verdadeira Falsa Da mesma forma de que no sistema judicial, é preferível libertar um culpado, por prova insuficiente, do que condenar um inocente, por mera suspeita em ciência, é preferível rejeitar uma possível associação inexistente (verificada “apenas“ devida ao acaso), do que aceitar uma associação que, na verdade realidade, não existe. Daí fixar-se o limiar de rejeição (da hipótese nula – de não associação), para uma probabilidade baixa ≤0,05. confiança Erro II b Verdadeira 1 - a Conclusão: H0 Erro I a Potência Falsa 1 - b < 0,05 Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

19 Ameaças à validade de um estudo: acaso, viés e confundimentosábado, 16 de dezembro de 2017 O ACASO E A ESTATÍSTICA Realidade: H0 Verdadeira Falsa Pode ser ‘minorado’ através: Tamanho amostral Testes estatísticos uni ou bicaudais Emparelhamento Relação entre casos e controlos (1: n) Definição de variáveis mais informativas (exemplo: classes vs contínuas) confiança Erro II b Verdadeira 1 - a Conclusão: H0 Erro I a Potência Falsa 1 - b < 0,05 Decisões no Desenho de Estudos Clínicos Curso APIC - Alcoitão

20

21

22 Grimes & Schulz, 2002 (www) (PDF)Relação Causa-Efeito Grimes & Schulz, (www) (PDF)

23 Grimes & Schulz, 2002 (www) (PDF)O QUE É O VALOR DE P? Grimes & Schulz, (www) (PDF)

24 Grimes & Schulz, 2002 (www) (PDF)O QUE É O VALOR DE P? Grimes & Schulz, (www) (PDF)

25 Mas… de que depende o tamanho amostral de um estudo (analítico)?Erro α (1- confiança) Erro β (1- potência) Desenho … Diferença mínima detectar (e sua variância) Grimes & Schulz, (www) (PDF)

26 Mas… de que depende o tamanho amostral de um estudo (analítico)?Erro α (1- confiança) Erro β (1- potência) Desenho … Diferença mínima detectar (e sua variância) Grimes & Schulz, (www) (PDF)

27

28 Mas… de que depende o tamanho amostral de um estudo (analítico)?Erro α (1- confiança) Erro β (1- potência) Desenho … Diferença mínima detectar (e sua variância) O valor de p não nos diz nada sobre o significado (científico, clínico, etc.) da diferença mínima a detectar Grimes & Schulz, (www) (PDF)

29 Grimes & Schulz, 2002 (www) (PDF)Casos peculiares Grimes & Schulz, (www) (PDF)

30 Casos peculiares Demonstração de equivalência e não inferioridadehttps://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

31 Casos peculiares https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

32

33 Casos (não tanto) peculiaresAnálise de subgrupos / análises secundárias https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

34 O caso dos ensaios clínicosHeterogeneidade e interações estatísticas (/modificações de efeito) https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

35 O caso dos ensaios clínicosHeterogeneidade e interações estatísticas (/modificações de efeito) Análises múltiplas (e suas correções - eg. Bonferroni) https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

36 O caso dos ensaios clínicosHeterogeneidade e interações estatísticas (/modificações de efeito) Análises múltiplas (e suas correções - eg. Bonferroni) Análise pré-especificada vs pós-estudo (Post Hoc) https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

37 O caso dos ensaios clínicosHeterogeneidade e interações estatísticas (/modificações de efeito) Análises múltiplas (e suas correções - eg. Bonferroni) Análise pré-especificada vs pós-estudo (Post Hoc) Guidelines específicas https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

38 O caso dos ensaios clínicoshttps://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

39 https://d1vzuwdl7rxiz0. cloudfronthttps://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

40 Para além do valor de p Diferença, efeito Análise de subgrupos(Variação) com o ajuste para 3ªs variáveis Modelos multivariados sequênciais? https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

41 Para além do valor de p Diferença, efeito Análise de subgruposhttps://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

42 Para além do valor de p Diferença, efeito Análise de subgrupos(Variação) com o ajuste para 3ªs variáveis Risco (populacional) atribuível, fração etiológica https://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

43 Polémicas com o valor de phttps://d1vzuwdl7rxiz0.cloudfront.net/sites/default/files/highwire/ehj/34/32/2491/embed/inline-graphic-12.gif

44

45

46 CASE STUDY: o registo DANBIOsábado, 16 de dezembro de 2017 Obrigado ! Paulo Nicola Reunião GEAR - SPR - 10 Jan 2007