1 Modelos alternativos para avaliação da Atividade Científica: Impacto Social da CiênciaMauricio L Barreto “Tópicos em Estudos Sociais da Ciência, Tecnologia e Sociedade” Programa de Pós-Graduação em Informação e Comunicação em Saúde (PPGICS/Icict) Rio de Janeiro, 04 de Maio de 2016
2 Crescimento das Publicações Científicas
3 Publicações Científicas - BRICS
4 Publicações Científicas - BRICS
5 Crescimento das Publicações Científicas2 1
6 Momento 1 – Estimular o Crescimento da Produção CientíficaMomento 2 – Avaliar os Efeitos/Impactos da Produção Científica
7 Ciência “Science is our best effort to learn from experience, but it remain unclear how experience can deliver knowledge” (Broadbent, 2014)
8 10 types of Scientist – not all science jobs are the same (Reseacrch Council-UK)
9 Tipos de Pesquisa de SaúdeBiomédica Biologia Molecular, Microbiologia, Imunologia, Genética, Biotecnologia Clínica Medicina, Farmácia, Odontologia, Nutrição, Enfermagem Populacional Epidemiologia, Demografia, Ciências Sociais, Ciências Ambientais Sistemas de Saúde Saúde Coletiva, Política, Economia, Ciências Sociais, Economia, Epidemiologia Administração D O E N Ç A S T R M I
10
11 Frackowiak, 2014
12 Frackowiak, 2014
13 Produção do Conhecimento Científico em Ciências da Saúde: Muitos desafios1- Reducionismo vs Holismo 2- Dificuldades na Integração dos diferentes níveis de Conhecimento 3- Dilemas entre “testar hipóteses” (hypothesis-driven research) ou “explorar dado” (exploratory research)?
14 Medicina/ Cuidado a Saúde/ Saúde Pública Baseada em EvidênciaUso consciente, explícito e judicioso da melhor evidência atual na tomada de decisões sobre o cuidado de pacientes ou ações de saúde pública
15 Pesquisa Translacional em SaúdeTransformar descobertas científicas resultantes de estudos laboratoriais, clínicos ou populacionais em aplicações que reduzam a incidência, morbidade e mortalidade das doenças. Versão atualizada “Bed” “Bench” and “Bush”
16 Ciência e Avaliação Apesar de nem sempre oferecer soluções imediatas para problemas relevantes das sociedades humanas, existe um crescente entendimento da importância das ciências no mundo contemporâneo, mesmo nas sociedades ditas em desenvolvimento. Crescente participação nos investimentos públicos
17 Razões Para Avaliar em CiênciaConhecimento da Situação – Estimular o Desenvolvimento Científico Ranqueamento(selecionar os melhores) (Indivíduos/Grupos/Instituições) Planejamento-Gestão-Alocação de Recursos, em especial de Financiadores Públicos ou Privados Conhecimentos sobre os Efeitos/Impactos
18 Avaliar os Efeitos/Impactos da Produção CientíficaBibliométricos – efeitos na dinâmica do conhecimento Não Bibliométricos – efeitos “sobre a sociedade” (“societals”)
19 As Bases BibliográficasPara facilitar a sua organização e localização, estes artigos passaram a ser indexados em sistemas bibliográficos (recentemente adicionaram-se os mecanismos de busca, a exemplo do Google Acadêmico). Mais tarde aparece uma outra possibilidade que seria a de registrar não somente os artigos, mas também aqueles artigos que foram citados.
20 Fontes usadas para medir citações (calcular Fator de Impacto, índice-h etc)ISI WEB OF KNOWLEDGE SCOPUS GOOGLE ACADÊMICO
21 Medindo o Mérito e a Excelência Científica - Emergência da CIENTOMETRIAPublicações Fator de Impacto das Revistas Citações (número; índices) As vantagens e os mitos da bibliometria – O uso ilimitado do Fator de Impacto e outros índices bibliométricos Enquanto tenham diferenças, são partilhados pelos diversos Campos Científicos A publicação científica e as mudanças do “open access”.
22 A Publicação CientíficaPublico ou pereço! O quanto preciso publicar? Quero/Devo/Consigo publicar em revistas de alto impacto!! Em que língua publicar? Português, inglês ou ? Como este Editor pôde rejeitar meu ‘fantástico’ artigo?
23 A Publicação CientíficaNão há dúvida de que uma das similaridades mais marcantes entre todos os Campo Científicos é o fato de que a transmissão dos estudos realizados seja feita através de relatos escritos com a síntese do trabalho conduzido, incluindo os métodos utilizados, os resultados e as implicações destes. Estas publicações são feitas na forma de relatórios, livros e capítulos de livro e, mais frequentemente, de artigos publicados em revistas científicas.
24 A citação Uma outra característica dos relatos científicos é o de citar outros relatos para construir relações com os conhecimentos que antecede
25 Fator de Impacto Em termos matemáticos, em um dado ano o FI de um periódico é calculado como o número médio de citações dos artigos que foram publicados durante o biênio anterior. Por exemplo, o FI de um dado periódico em 2009 pode ser calculado como se segue: sendo A = o número de vezes em que os artigos publicados em 2007 e 2008 foram citados por periódicos indexados durante 2009 sendo B = o número total de "itens citáveis" publicados em 2007 e 2008 ("itens citáveis": geralmente artigos, revisões, resumos de congressos ou notas, não sendo computados editoriais ou cartas ao editor) então, o fator de impacto de 2009 = A/B
26 Indice-h O índice h, ou h-index em inglês, é uma proposta para quantificar a produtividade e o impacto de pesquisadores baseando-se nos seus artigos (papers) mais citados. Em palavras, o índice h é o número de artigos com citações maiores ou iguais a esse número. Exemplo : um pesquisador com h = 5 tem 5 artigos que receberam 5 ou mais citações; uma revista com h = 45 tem 45 artigos entre os seus artigos publicados com 45 ou mais citações; e assim por diante.
27
28
29 13 de Maio 2013
30 13 de Maio 2013
31 13 de Maio 2013
32 13 de Maio 2013
33
34 Quantitative evaluation should support qualitative, expert assessment.Measure performance against the research missions of the institution, group or researcher. Protect excellence in locally relevant research. Keep data collection and analytical processes open, transparent and simple. Allow those evaluated to verify data and analysis. Account for variation by field in publication and citation practices. Base assessment of individual researchers on a qualitative judgement of their portfolio. Avoid misplaced concreteness and false precision. Recognize the systemic effects of assessment and indicators. Scrutinize indicators regularly and update them
35 The metric tide (A maré das métricas)“As métricas precisam ser escolhidas com cuidado e devem sempre suplementar e apoiar o julgamento de especialistas, em vez de substituí-lo”,
36 Recommendations The research community should develop a more sophisticated and nuanced approach to the contributions and limitations of quantitative indicators Data providers, analysts and producers of university rankings and league tables should strive for greater transparency and interoperability between different measurement systems. Publishers should reduce emphasis on journal impact factors as a promotional tool, and only use them in the context of a variety of journal-based metrics that provide a richer view of performance. There is a need for greater transparency and openness in research data infrastructure. A set of principles should be developed for technologies, practices and cultures that can support open, trustworthy research information management. The research system should take full advantage of ORCID as its preferred system of unique identifiers. .
37 Recommendations Further investment in research information infrastructure is required. Research funders need to increase investment in the science of science policy.
38 Indo além da Bibliometria
39 Altmetrics is the study and use of scholarly impact measures based on activity in online tools and environments. The term has also been used to describe the metrics themselves–one could propose in plural a “set of new altmetrics.” Altmetrics is in most cases a subset of both scientometrics and webometrics; it is a subset of the latter in that it focuses more narrowly on scholarly influence as measured in online tools and environments, rather than on the Web more generally.
40 ResearchGate ResearchGate is a social network site for academics to create their own profiles, list their publications, and interact with each other. Like Academia.edu, it provides a new way for scholars to disseminate their work and hence potentially changes the dynamics of informal scholarly communication. “RG Score is calculated based on the publications in your profile and how other researchers interact with your content on ResearchGate”. “The RG Score takes all your research and turns it into a source of reputation.”
41 Open Researcher and Contributor ID
42 Não – Bibliométricos (efeitos/impactos sobre a sociedade)A bibliometria parte do fato de que as publicações e citações, apesar de diferentes padrões, é comum a todos os campos científicos. Porém, as ciências diferem no que diz respeito a outros tipos de efeitos
43 Não – Bibliométricos (efeitos/impactos sobre a sociedade)É um movimento de priorizar a noção de “mérito científico” para “impactos/efeitos sobre a sociedade” Os efeitos não biblométricos tem sido mais postulados do que demonstrados
44
45 Hannney et al, Evaluation, 2000
46
47
48
49
50
51 Cambiar la forma de evaluar la actividad científica sería una valiosa contribución a la búsqueda de sentido y utilidad del conocimiento que producimos. Sin embargo, hay que decir que esta no es una tarea fácil ni rápida, que requiere desarrollar nuevas formas de concebir fines no bibliográficos para la actividad científica y a continuación idear nuevas medidas de evaluación.
52 Colocar todo el peso de la evaluación —sea individual o colectiva— en la cuantificación de las publicaciones y citaciones es una estrategia que se está agotando. Añadir los efectos y beneficios que el conocimiento pueda tener, o que de hecho tiene en la vida de las personas y de las sociedades, cambiaría el énfasis de estas evaluaciones. La cuestión central radica en cambiar la lógica de lo que queremos, lo que se hace y lo que podemos hacer con la ciencia que producimos. Creo que es la forma de cambiar la dirección del debate sobre el productivismo y convertirlo en un debate útil sobre los significados del trabajo científico.
53 Cambiar la forma de evaluar la actividad científica sería una valiosa contribución a la búsqueda de sentido y utilidad del conocimiento que producimos. Sin embargo, hay que decir que esta no es una tarea fácil ni rápida, que requiere desarrollar nuevas formas de concebir fines no bibliográficos para la actividad científica y a continuación idear nuevas medidas de evaluación. Un aspecto importante a tener en cuenta es que los diversos campos de la ciencia son bastante diferentes respecto de sus efectos. Y, en lo que concierne a la evaluación, esto se convierte en un problema: ¿cómo comparar campos científicos que generan efectos tan diferentes?
54 Los esfuerzos para elaborar nuevos modelos de evaluación científica son parte de una empresa más grande que, para muchos, se necesita con urgencia. Sin embargo hasta el momento apenas si se ha propuesto, y requiere desarrollarse y probarse. La misión de la investigación y de los investigadores debe ser ayudar a cambiar el medio (sea social, económico, cultural o ambiental) en el cual vivimos, y la evaluación científica debe constituirse en un instrumento que nos ayude a entender cómo contribuye a esa misión el trabajo científico.
55 OBRIGADO!