1 Cienciometría y medidas de calidad de las revistas científicas GRUPO EC3 Dr. Evaristo Jiménez-Contreras Facultad de Comunicación y Documentación Universidad de Granada Cienciometría, evaluación de la ciencia (…y de las revistas) Cátedra Celestino Mutis, Bogotá 10 noviembre 2014

2 Definición Algo de Historia Estructura, funcionamiento La primera pregunta Aplicaciones – Evaluación de proyectos – Evaluación de revistas – Evaluación de investigadores – Rankings – Evaluación de Instituciones Ejemplo de la UGR Contenido

3 Vinckler, (1991) – Cienciometría es una disciplina científica dedicada a los aspectos cuantitativos de la Ciencia y la investigación científica. La Cienciometría es una disciplina nacida como variación sobre la Bibliometría de la que toma sus metodologías pero las aplica exclusivamente sobre el análisis de la Ciencia y a la que añade todas las fuentes que pueden completar ese estudio. Entre sus usos estaría el mejor uso de los recursos para la investigación Definición: qué es, para qué sirve la Cienciometría?

4 INFORMETRICS BIBLIOMETRICS CIBERMETRICS WEBMETRICS SCIENTOMETRICS Bjorneborn, L. (2004): Small world link structures across academic web space. A Library and Information Science approach SCIENTOMETRICS Su posición

5 Cuando nace?, los primeros recuentos.. Precursores: Cole & Eales, Hulme, Ortega Clásicos: Lotka, Zipf, Bradford… los modelos Maduración: – Price, la Ciencia de la Ciencia – Garfield, ISI – Brookes, El envejecimiento Hoy: – Es una disciplina muy europea y cada vez más asiática – Hard Science – Muy estructurada: sociedades científicas, revistas, congresos. – Fuerte proyección social – Controvertida Algo de Historia

6 Investigación Básica: Modelos, leyes, citas, redes… Desarrollo de bases de datos, repositorios Indicadores Rankings institucionales Evaluación/Rankings revistas Evaluación de autores Resultados/ProductosAplicaciones Evaluación institucional Benchmarking Política científica en general Metodologías para el análisis de especialidades Evaluación de proyectos Nuevos indicadores altmetricos Estructura funcional

7 Variables mixtas: financiación externa, becas… RRHH Recursos Econ. Variables de entorno Económicas Políticas Caja negra Producción científica Formación Transferencia Labor social Lo que medimos (lo que podemos medir)

8 La primera pregunta: es posible la evaluación de la Ciencia?

9 Evaluación en Ciencia La evaluación es inherente a la actividad científica. – La revisión por expertos es uno de los signos distintivos del quehacer científico, es lo que diferencia a las revistas científicas de las restantes (por ejemplo) Es cualitativa/cuantitativa Sin embargo, evaluar la Ciencia con la pretensión de orientar su avance, optimizar los recursos, controlar sus progresos, etc. es algo completamente diferente y en cierto modo ajeno a la tradición científica

10 Es posible la planificación y la evaluación en Ciencia? El proceso de creación y aplicación de nuevo conocimiento es un fenómeno muy complejo que implica a numerosos agentes: – Gobiernos, instituciones científicas, empresas, la sociedad en su conjunto Sus efectos y algunos de sus factores son en parte intangibles Es incierta y a veces impredecible Las herramientas analíticas están poco desarrolladas (aunque cada vez más) Con frecuencia genera polémicas y tiene efectos contraproducentes

11 Por otra parte hay razones que parecen aconsejarla: – Optimización de recursos – Planificación de inversiones y de carreras – Evaluación de proyectos – Justificación ante la sociedad Es posible la planificación y la evaluación en Ciencia?

12 El debate sobre la Política científica Entre la Ciencia responsable. Bernal JD, (1931) La responsabilidad social del científico Los poderes públicos pueden y deben controlar la orientación de la Ciencia Y la república de la Ciencia… La evaluación ex ante no es necesaria porque “the results of any one particular investigation cannnot be predicted with accuracy” (Bush, V. 1945) Los científicos debían gozar de libertad total, nace la NSF La práctica evaluadora se generaliza a partir de los 70-80 como consecuencia de la crisis económica

13 A quien interesa o afecta? La evaluación de la Ciencia es un territorio donde convergen muchos intereses: Académicos Desde la Universidad se suministran las herramientas y los fundamentos teóricos que la hacen posible. Políticos Desde la política se crean la herramientas legales para su organización y se utilizan los resultados para financiar las actividades Económicos Se aportan criterios para priorizar la investigación y se aprovechan de sus resultados Sociales Se impulsan prioridades y se benefician de los resultados

14 Consecuencias: Internas Determina las carreras académicas Asigna la financiación Estratifica a la población Incrementa la eficiencia del sistema científico Externas Hasta cierto punto define la orientación en la medida en que es una herramienta de la PC Da cuenta a los gestores y a la ciudadanía del estado de sus instituciones científicas

15 Otra reflexión previa La reflexión sobre los indicadores y usos de la Cienciometría no es meramente técnica/teórica, Tiene unas evidentes implicaciones políticas. Su uso deben ser decidido a la luz del modelo de universidad que busquemos (y no hay un modelo único). La no evaluación de las actividades científicas, o su disolución entre un conjunto más o menos amplio de objetivos o indicadores. también es una opción política,

16 La percepción de las evaluaciones Actitud de los investigadores franceses ante los procesos evaluativos: Los ejercicios evaluadores no gustan a la comunidad científica (especialmente en CCSS y H), Desde luego no gustan en España (en Latinoamérica?) Eventualmente esta resistencia puede ser tan fuerte que paralice las evaluaciones En Alemania a día de hoy no hay un sistema constituido de evaluación institucional

17 No existe un patrón común: – Países con sistemas universitarios muy desarrollados: México, Chile, Brasil, Colombia y otros… – Países con infraestructuras organizativas maduras y otros… También hay que considerar si nos dirigimos a: – Universidades enfocadas a investigación o a docencia – Si tienen orientación internacional, nacional o local – Si los destinatarios de los indicadores son usuarios, gestores, responsables políticos – Públicas o privadas – Si aspiran a la excelencia científica o tienen una agenda social Por tanto los indicadores deben adaptarse a esos modelos y objetivos. Situación de las universidades en Iberoamérica

18 Aplicaciones

19 Ámbitos de actuación Resultados/Productos Rankings institucionales Evaluación/Rankings revistas Evaluación de autores Evaluación institucional Evaluación de proyectos

20 Valoración de proyectos Desde los primeros ensayos en USA la valoración de proyectos ha incluido sistemáticamente un apartado de valoración de los CV de los solicitantes Gradualmente esta valoración ha incorporado elementos bibliométricos – Producción, impacto, citas como parte del proceso

21 Caso España, la ANEP Agencia Nacional de evaluación y Prospectiva (1989) 1, Méritos científicos del investigador principal y del resto del equipo de investigación. 1.1 - Valorar el historial científico del IP, especialmente en los últimos 6 años, y su capacidad de liderazgo dentro del grupo. 1.2 - Valorar el historial investigador del resto de los componentes del equipo de investigación. Méritos científicos de cada uno de los participantes, valorando positivamente la participación de investigadores en formación 2. Interés científico-técnico del proyecto. 2.1 - Valorar el grado de novedad y relevancia del proyecto y el avance científico-técnico que supone respecto del estado actual del tema. 2.2 - Valorar los resultados esperables de los objetivos propuestos, el conocimiento del estado actual del tema y la claridad de ideas en el desarrollo del proyecto 3. Viabilidad de la propuesta. 3.1 - Capacidad del equipo de investigación para llevar a cabo los objetivos propuestos. No valorar negativamente los intentos ambiciosos y arriesgados: un cierto riesgo puede ser meritorio en un proyecto bien fundamentado. Comentarios sobre la adecuación del presupuesto, plan de difusión, formación, otros.

22 Aplicación a la evaluación de las carreras académicas e institucionales Numerosos países: Australia, Bélgica, Holanda, Noruega, Finlandia, España… han implementado alguna forma de premio por publicar fuera. Se vincula la carrera académica a la publicación en los “mainstream journals”. En general promueven la autoselección por parte de los autores Consecuencias: La investigación ha pasado a ser el centro de la vida universitaria Incremento de las cifras de publicaciones internacional Reacción en contra de las áreas de CCSS y Hum.

23 Algunos ejemplos; Noruega Tipos de publicaciones “A,B,C publications that could have achieved greater significance by expending more effort and being compiled into a smaller number of publications” Tipos de investigadores: local, nacional, Internacional “As a general rule, publications in publication channels with local authorship are not to be included in the statistics on academic publishing reported to the Database for Statistics on Higher Education (DBH), and which would therefore be included in the Ministry’s basis for setting the research component of the budgets.” Se diferencia entre Thomson Sci, Norart y BibSys Definición de publicación académica: originalidad, metodología canal, lengua.

24 Algunos ejemplos; UK, del RAE al REF Controvertido, calificado como muy negativo o muy positivo Mide la calidad de los resultados (publicaciones), entorno, reputación Flexible: cada panel establece sus reglas y umbrales. Se valoraban los 7 años anteriores del miembros permanentes pero se consideró a los part-time más adelante. Selección de las mejores publicaciones 15 paneles y 67 subpaneles Muy costoso Incremento de la visibilidad pero no necesariamente de la calidad (Moed 2008) Ha generado una adaptación de conductas

25 Valoración en 5 niveles. Astectos nuevos: Calidad 65%; Impacto 20%; Medio ambiente 15% 36 paneles Cada panel desarrolla sus propios criterios. A modo de ejemplo en el de Medicina no se menciona el impacto científico clásico medido en citas o similar. Sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 will neither receive nor make use of citation data, or any other form of bibliometric analysis including journal impact factors. Algunos ejemplos; UK, del RAE al REF

26 España CNEAI: objetivos – Introducir un régimen retributivo para incentivar, mediante evaluaciones, la actividad investigadora de calidad – Fomentar que los investigadores orienten sus trabajos a lograr resultados de amplia repercusión (internacional) científica y social Procedimiento: – Evaluación sobre resultados de investigación: Las publicaciones – Evaluaciones formales, NO sobre contenidos. Utilización de indicadores de objetivación forma – Evaluación por pares: comisiones de expertos y selección de las mejores publicaciones de cada candidato (5 en 6 años) – Valoración bibliométrica sobre todo

27 ANECA fue creada en 2002 la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación de enseñanzas, profesorado (Ayuda para la toma de decisiones) España

28 ¿Qué dimensiones evalúa ACADEMIA? ACTIVIDAD INVESTIGADORA Artículos en revistas Libros y Capítulos Proyectos y contratos Transferencia Congresos MÉRITOS DOCENTES Docencia universitaria Dirección de tesis, tesinas, trabajos grado… Cursos de formación docente FORMACIÓN ACADÉMICA Títulos y premios Becas y ayudas Estancias de investigación GESTIÓN Cargos Académicos Puestos en la administración Liderazgo de grupos de investigación y docentes OTROS MÉRITOS Qué evalúa ANECA?

29 2008 programa ACADEMIA (> 22.000 evaluaciones) ANECA (2002 →) INVESTIGACIÓN Docencia Gestión Transferencia … pero, de hecho. ANECA: una evaluación integral de la actividad académica

30 Pesos y puntuaciones para acreditación

31 Revistas Indexadas o con Índice de Calidad Relativo JCR Valoración de las revistas Revistas no Indexadas o sin Índice de Calidad Relativo

32 o 1 index ¡Mínimo! Ciencias y Ciencias de la Salud CU 40 SCI (50% primer tercio) PTU 20 SCI (50% primer tercio) ¿Cuántas publicaciones son necesarias en ANECA? Intercambiables por sexenios

33 Indicadores cualitativos Indicadores cuantitativos – Basados en citas FI, SJR, SNIP, AI…, sin ponderar, ponderadas – Nuevos Uso: visitas, descargas…Altmétricas Redes: Intermediación, centralidad… Indicadores para revistas

34 Los rankings son un arma arrojadiza Son unidimensionales o lo que es peor multidimensionales Difieren en sus reglas por tanto son incomparables entre sí No descansan en supuestos teóricos claros en muchos de sus apartados Rankings

35 Los rankings han proliferado en los últimos años – Internacionales, nacionales – Unidimensionales, multidimensionales, sintéticos – Orientados a investigación, a la profesión, etc. – Cerrados, adaptables Lo bueno es que siempre podemos elegir el que más convenga a nuestra agenda científica o política. Rankings

36 Desmontando los rankings Elementos que componen la realidad de los rankings Elementos que componen la realidad universitaria: Investigación Docencia Inserción laboral Transferencia Opinión de los expertos Reconocimiento Opiniones y éxito de los egresados Otras labores sociales

37 Una valoración personal Cual es la razón del éxito? – Percepciones, metodologías, información, expectación mediática Los rankings han venido para quedarse por tanto… – Hay que tener un programa de actuación y debemos ser pro- activos – Conocer sus criterios internos y potenciarlos en nuestra política científica si son razonables y es factible hacerlo, por ejemplo; Favorecer la publicación en revistas internacionales de alto impacto Contratar profesores de reconocido prestigio Atraen/ran visibilidad, estudiantes y recursos tanto humanos como económicos

38 La incorporación de las herramientas ciencimétricas a la gestión de la universidad es uno de los grandes cambios de la política universitaria reciente Permiten – La toma de decisiones informada – La asignación de recursos de forma más objetiva y coherente – La evaluación de los logros de las políticas y el grado de acercamiento a los objetivos – La rendición de cuentas Evaluación institucional

39 Un ejemplo de aplicación: la unidad de Bibliometría de la UGR Daniel Torres-Salinas, Evaristo Jiménez-Contreras: Hacia las unidades de bibliometría en las universidades: modelo y funciones. REDC, Vol 35, No 3 (2012)

40 Las unidades de Bibliometría

41

42

43

44

45 Un ejemplo de Transferencia: EC3metrics

46

47 Muchas Gracias! [email protected]