1 Los Estudios Métricos de la Información en la evaluación científica Universidad de Costa Rica Septiembre 2015 Profesoras: Dra. María Luisa Lascurain-Sánchez Dra. Daniela De Filippo Universidad Carlos III de Madrid

2 Tema 1: La ciencia y la evaluación de la actividad investigadora Curso: Los estudios métricos de la información en la evaluación científica. Universidad de Costa Rica Septiembre 2015

3 1. Papel de la ciencia y la tecnología en la sociedad actual. 2. Modelos de investigación científica. 3. Objetivos y métodos de evaluación científica. 4. Sistemas de evaluación utilizados por organismos españoles. 5. Alfabetización / divulgación científica Tema 1. Contenidos Los estudios métricos de la información en la evaluación científica.

4  Aumentar el acervo de conocimientos científicos  Aumentar la competitividad -Motor del desarrollo industrial -Innovación  Mejorar la formación -Permite la flexibilidad de los individuos ante un entorno continuamente cambiante Los estudios métricos de la información en la evaluación científica. 1.Papel de la ciencia y la tecnología en la sociedad actual.

5  Mejorar la calidad de vida  Facilitar la convivencia social  Programas de divulgación de la Ciencia  Fortalecimiento del espacio democrático Los estudios métricos de la información en la evaluación científica. 1.Papel de la ciencia y la tecnología en la sociedad actual.

6 Los estudios métricos de la información en la evaluación científica. 1.Papel de la ciencia y la tecnología en la sociedad actual.  Declaración sobre la Ciencia y el Uso del Saber Científico http://www.unesco.org/science/wcs/esp/declaracion_s.htm http://www.unesco.org/science/wcs/esp/declaracion_s.htm  La ciencia al servicio de la humanidad  Uso responsable del saber científico  Ciencia al servicio del conocimiento. Conocimiento al servicio del progreso.  Ciencia al servicio de la paz.  Ciencia al servicio del desarrollo.  Ciencia en la sociedad y para la sociedad. Nuevas iniciativas de Ciencia y Tecnología en la Sociedad

7 Los estudios métricos de la información en la evaluación científica. 1.Papel de la ciencia y la tecnología en la sociedad actual.  CIENCIA ABIERTA: Es una nueva forma de producción de conocimiento que promueve la colaboración por fuera del ámbito del laboratorio y cuyos datos y resultados tienden a ser de acceso libre. Algunas prácticas relacionadas con la ciencia abierta son: ciencia ciudadana; investigación acción-participativa; publicaciones de libre acceso; datos libres; etc.  Proyecto Foldit EE.UU. Proyecto Foldit  Nuevo Observatorio Virtual Astronómico (NOVA-CONICET) Argentina Nuevo Observatorio Virtual Astronómico (NOVA-CONICET  Expedición del Okeanos Explorer en Puerto Rico (USA) http://oceanexplorer.noaa.gov/…/explorat…/ex1502/reddit.html http://oceanexplorer.noaa.gov/…/explorat…/ex1502/reddit.html  Blog: http://stepsamericalatina.org/ciencia-abierta-beneficios-colectivos/

8 Los estudios métricos de la información en la evaluación científica 1.Papel de la ciencia y la tecnología en la sociedad actual. Características que presenta la generación y comunicación del conocimiento:  Los resultados de la investigación se hacen públicos mediante libros, artículos, notas, etc.  Para ser valorado y creído por la comunidad científica, el investigador ha de compartir sus resultados  Los científicos se apoyan en sus investigaciones en trabajos anteriores que citan en la bibliografía (Efecto acumulativo)

9 Los estudios métricos de la información en la evaluación científica 1.Papel de la ciencia y la tecnología en la sociedad actual. Características que presenta la generación y comunicación del conocimiento :  Las contribuciones científicas se concentran en un número pequeño de actores:  Las publicaciones científicas se concentran en un número pequeño de revistas (Ley de Bradford)  Una pequeña parte de los investigadores es la responsable de la mayoría de los trabajos científicos (Ley de Lotka)  El prestigio y reconocimiento científico se concentra en muy pocos centros de investigación o investigadores (Efecto Mateo)

10 Los estudios métricos de la información en la evaluación científica. 2. Modelos de investigación científica. INPUTS  Recursos económicos  Recursos humanos  Instrumental científico  Información / Conocimiento OUTPUTS  Nuevo conocimiento teórico y experimental  Formación de nuevos científicos  Difusión de resultados  Contribuciones económicas y culturales CONOCIMIENTOS INSTRUMENTOS RECURSOS PROCESO COMPLEJO DE MÚLTIPLES INTERACCIONES

11 3. Objetivos de la evaluación. Objetivos de la evaluación:  Conocer la eficiencia y eficacia del sistema científico  Detectar fortalezas/debilidades  Conocer a los distintos actores y escenarios que intervienen (Revistas, Grupos de investigación, Instituciones, Disciplinas, Países)  Adaptar la investigación a las demandas sociales  Aumentar cuantitativa y cualitativamente los resultados de la actividad científica Los estudios métricos de la información en la evaluación científica.

12 3. Objetivos de la evaluación La evaluación debe permitir Conocer la realidad Reflexionar sobre resultados y procesos Actuar para cambiar/mejorar

13 I- Peer review Basada en la opinión de especialistas sobre una materia concreta teniendo en cuenta una serie de criterios, como son la producción bibliográfica, los méritos de investigación o los proyectos de investigación obtenidos. Ventajas: Permite conocer la calidad de la investigación Técnica de larga tradición y muy contrastada Limitaciones Poca objetividad Coste elevado No permite conocer evoluciones Los estudios métricos de la información en la evaluación científica 3. Métodos de evaluación científica.

14 “Los datos numéricos extraídos de los documentos que publican los científicos o que utilizan los usuarios, y que permiten el análisis de las diferentes características de su actividad científica, vinculadas, tanto a su producción como a su consumo de información” (Sanz-Casado y Martín Moreno, 1997) Ventajas:  Objetividad  Coste mínimo  Facilita el análisis de grandes volúmenes de datos  Permite conocer evoluciones  Los datos se obtienen de forma rápida  A partir de ellos se pueden establecer estándares Los estudios métricos de la información en la evaluación científica II. Indicadores métricos 3. Métodos de evaluación científica

15 Limitaciones:  Imprecisos para conocer la calidad de la investigación  Problemas de exhaustividad y precisión de las fuentes de información  Su uso acrítico Los estudios métricos de la información en la evaluación científica. Indicadores métricos 3. Métodos de evaluación científica

16 Los estudios métricos de la información en la evaluación científica. 4. Algunos sistemas de evaluación utilizados por organismos españoles.  El Sistema Español de Ciencia y Tecnología SECyT Admin. Pública UniversidadesOPISFundacionesOTRIS Agencias Fomento Innovación Inst. Sin ánimo de lucro Sector Privado Estrategia española de CTI (2013-2020) Plan Nacional (2013-2016)

17 Los estudios métricos de la información en la evaluación científica. 4. Algunos sistemas de evaluación utilizados por organismos españoles.  ANEP. Agencia Nacional de Evaluación y Prospectiva http://www.idi.mineco.gob.es/portal/site/MICINN/menuitem.26172fcf4eb029fa6 ec7da6901432ea0/?vgnextoid=3d5167b99490f310VgnVCM1000001d04140aRCRD http://www.idi.mineco.gob.es/portal/site/MICINN/menuitem.26172fcf4eb029fa6 ec7da6901432ea0/?vgnextoid=3d5167b99490f310VgnVCM1000001d04140aRCRD  CNEAI. Comisión Nacional de Evaluación de la Actividad Investigadora. http://www.mecd.gob.es/ministerio- mecd/organizacion/organismos/cneai.html  ANECA. Agencia Nacional de Evaluación de la Calidad y Acreditación http://www.aneca.es/ANECA  Agencias regionales de evaluación http://www.madrimasd.org/acreditacion Proyectos del Plan Nacional Tramos de Investigación Titulaciones y docentes Proyectos regionales

18  EVALUACIÓN EN LAS UNIVERSIDADES: UNIV XXI  Sistema integral de gestión de la investigación  Gestión de la información  Gestión de los proyectos  Gestión de los resultados  OCU (Oficina de Cooperación Universitaria): es una Asociación de 6 universidades y el grupo Santander. http://www.ocu.es/portal/page/portal/iniciohttp://www.ocu.es/portal/page/portal/inicio Gestión integral de la Investigación (1) 4. Algunos sistemas de evaluación utilizados por organismos españoles. Los estudios métricos de la información en la evaluación científica.

19  ¿Qué datos pueden integrarse?  Datos económicos de proyectos  Datos de RRHH  Datos de actividad investigadora del profesorado  Datos de entidades financiadoras Gestión integral de la Investigación (3) 4. Algunos sistemas de evaluación utilizados por organismos españoles. Los estudios métricos de la información en la evaluación científica.

20  Dimensión social de la ciencia Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica. InformarComunicarDivulgar

21  Alfabetización informacional ~ Usuarios. Dominio de competencias o habilidades para obtener, evaluar, usar y comunicar la información a través de medios convencionales y electrónicos. ~ Instituciones educativas y documentales. Servicio y actividades para lograr la enseñanza-aprendizaje de dichas destrezas Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica.

22  Alfabetización científica ¿es necesario divulgar la ciencia? “Hubo un tiempo en que la gente se contentaba con dejar la ciencia para los científicos y que ellos se encargaran de comprender cosas tan abstractas. Ahora hay gente que se da cuenta de que su vida ha cambiado por completo como resultado de un cúmulo de cosas que no entiende” (W. Daniel Hillis) Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica.

23  Alfabetización científica. Vertientes  La sociedad. Conocimientos que permitan entender y desenvolverse en el mundo actual  Las universidades y centros de investigación  Los medios de comunicación  Los científicos que divulguen los conocimien tos Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica.

24  Alfabetización científica “…un ciudadano está adecuadamente formado científicamente cuando es consciente de que la ciencia, las matemáticas y la tecnología, con sus pros y sus contras, van de la mano de iniciativas humanas; cuando comprende los principios y los conceptos fundamentales de la ciencia; cuando está familiarizado con el mundo natural y en el que reconoce, a la vez, su biodiversidad y su unidad, y cuando utiliza el conocimiento científico y el método científico de razonamiento con fines personales y sociales” (García Barreno, 1999) Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica.

25 Dificultades para la divulgación  La abstracción de la ciencia.  La necesidad de emplear leyes para describir fenómenos y predecir acontecimientos.  En general, para entender los resultados de la investigación hay que tener conocimientos científicos previos  Desfase cada vez más acusado entre la velocidad de la consecución de descubrimientos y su asimilación por los ciudadanos Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica. Es necesario encontrar vías para la divulgación

26 Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica. Estudio de la presencia y uso de las películas de ciencia ficción en las publicaciones científicas CINE CIENCIA PUBLICA CIONES http://jcom.sissa.it/sites/default/files/documents/JCOM_1303_2014_A07_en.pdf

27 Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica. Objetivos con los que se usan las películas en los papers

28 Gestión integral de la Investigación (3) 5. Alfabetización científica / divulgación científica Los estudios métricos de la información en la evaluación científica. http://www.thebigvantheory.com/index.html https://youtu.be/gHJNMiSFuAM

29  ABBGNANO, N. (1996). Diccionario de Filosofía. México DF: Fondo de Cultura Económica  BARNES, B. (1987). Sobre ciencia. Barcelona: Editorial Labor.  BERNAL, J. D. (1971). Science in History. Cambridge: MIT Press.  BERNAL, J. D. (1939). The Social Function of Science. Londres: Routledge  BUNGE, M. (1968). La ciencia, su método y su filosofía. Buenos Aires: Siglo Veinte.  GÓMEZ CARIDAD, I. y BORDONS GANGAS, M. (1996). Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. Política Científica, vol. 46, p. 21-26. Bibliografía tema 1 Los estudios métricos de la información en la evaluación científica.

30  GONZÁLEZ UCEDA, L. (1997). Teoría de la ciencia, documentación y bibliometría. Revista General de Información y Documentación, 7(2), 202- 215.  KYVIK, S. (1991). Productivity in Academia. Oslo: Norwegian University Press  MERTON, R. K. (1973). The sociology of science: theoretical and empirical investigations. Chicago: University of Chicago Press.  PRICE, D. J. d. S. (1963). Little Science, Big Science. New York: Columbia Univ. Press  SANZ CASADO, E. y MARTÍN MORENO, C. (1997). Técnicas bibliométricas aplicadas a los estudios de usuarios. Revista General de Información y Documentación, vol. 7, nº. 2, p. 41-68.  ZIMAN, J. M. (1972). El conocimiento público: Un ensayo sobre la dimensión social de la ciencia. México DF: Fondo de Cultura Económica. Bibliografía tema 1 Los estudios métricos de la información en la evaluación científica.