1 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación16 de mayo de 2011 Manu Ruiz de Luzuriaga Oficina de Referencia Biblioteca Universidad Pública de Navarra 9745

2 Evaluación de la investigaciónEn las modernas economías de mercado, aparece como un objetivo prioritario el impulso de la investigación y el desarrollo de la ciencia. Para conseguir estos objetivos, se hace imprescindible conocer, medir y evaluar la investigación. Evaluación de la investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

3 Evaluación de la investigaciónLa evaluación de la investigación hace necesarios unos indicadores para Conocer el valor de la investigación de la unidad de análisis (país, universidad, departamento) y ver su evolución en el tiempo Comparar la investigación en la unidad de análisis con otras unidades y tender a emular las mejores prácticas (benchmarking) Sirve de apoyo para una mejor asignación de los recursos en los sistemas de ciencia y tecnología Sirve de base a decisiones políticas tendentes a mejorar la investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

4 Evaluación de la investigación1930 Se realizan en la Unión Soviética los primeros intentos de medir la investigación 1940 Comienza la recopilación de datos estadísticos sobre la investigación en Estados Unidos El Proyecto Manhattan que sirvió para desarrollar la bomba atómica sirve para que se tome conciencia de la importancia de la investigación científica. 1942 Merton publica The Normative Structure of Science. Formula el llamado Efecto Mateo para la ciencia. Define el conocimiento científico como comunal, universal, desinteresado y escéptico. 1945 Vannervar Bush realiza el informe Science, Endless Frontier, donde indica que la investigación es fundalmental para la supervivencia nacional, por razones económicas y militares. Recomienda la creación del futuro NSF. 1947 John R. Steelman realiza lo que se conoce por Steelman Report, titulado Science and public policy : a report to the President que sienta las bases de la política científica de los Estados Unidos. 1950 Se crea la National Science Foundation (NSF) de Estados Unidos, que comienza a enviar periódicamente una encuesta a las empresas para recopilar datos de la investigación desarrollada Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

5 Evaluación de la investigaciónDecada de los 50 La mayoría de las economías de libre mercado recogen datos sobre la investigación, generalmente por medio de encuestas. La diversidad de estas encuestas hacía difícil la comparación de datos entre los diferentes países. Decada de los 50-60 Guerra Fría y Carrera Espacial. Impulso a la ciencia, consideración de la importancia de la investigación, estudios teóricos e intentos de modelización de la ciencia. 1960 Se funda la OCDE (Organización para la cooperación y el Desarrollo Económico). 1962 Khun publica The Structure of Scientific Revolutions, define el paradigma y otra forma de entender la ciencia. 1963 La OCDE toma a su cargo la normalización de las estadísticas referidas a I+D. En Frascati se reunen expertos en estadísticas de los países de la OCDE, y de esa reunión surge el documento Metodología normalizada propuesta para las encuestas sobre investigación y desarrollo experimental. Este documento se conoce como Manual de Frascati, cuya sexta edición es de 2002. 1984. La OCDE comienza a publicar la serie Science and Technology: Indicators Reports, sustituidos en 1988 por los Main Science and Technology Indicators, a los que sigue un amplio número de publicaciones sobre I+D. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

6 Evaluación de la investigación1989 Suplemento del Manual de Frascati. Estadísticas de I+D y medida de los resultados en enseñanza superior. Se añadirá al Manual de Frascati en las siguientes ediciones. 1990 TBP Manual. Proposed Standard Method of Compiling and Interpreting Technology Balance of Payments Data. Manual de Balanza de Pagos Tecnológicos. 1992 Manual de Oslo publicado por la OCDE. Guía para la recogida e interpretación de datos sobre innovación tecnológica. 1993 La UNESCO comienza a publicar el World Science Report. Más adelante, en 1999, se completará con el World Social Science Report, que ahora lo hace con el International Social Science Council. 1994 Manual de estadísticas de patentes publicado por la OCDE. Utilización de los datos de las patentes como indicadores de ciencia y tecnología. EUROSTAT presenta el European Report on S&T Indicators. Posteriormente aumentara la cobertura de ciencia y tecnología. Como novedad, en 2008, ha publicado Science, technology and innovation in Europe en formato guía de bolsillo. 1995 Manual de Canberra publicado por la OCDE. Manual sobre la medida de recursos humanos en ciencia y tecnología. 1996 La UNESCO comienza a publicar The State of Science and Technology in the World, que se mantiene hasta Pasa a convertirse en el Informe de la UNESCO sobre la Ciencia, con edición en español. 2000 Casi todos los países occidentales desarrollan su propio observatorio de Ciencia y Tecnología. En España FECYT en Publica regularmente Análisis sobre ciencia e innovación en España, y Indicadores bibliométricos de la actividad científica española. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

7 ¿Qué se puede medir / evaluar?Entorno Población PIB Presupuesto Input Recursos humanos Recursos económicos Output Patentes Impacto Innovación Unidad de análisis / Sistema de investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

8 ¿Qué se puede medir / evaluar?Indicadores de financiación / inversión Porcentaje del presupuesto dedicado a I+D Gasto de I+D en la industria Gasto de I+D en la administración Gasto de I+D en la enseñanza superior Indicadores de recursos humanos Personal dedicado a I+D Proporción de mujeres sobre el total de investigadores Proporción de investigadores de otros países Investigadores jóvenes Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

9 ¿Qué se puede medir / evaluar? Características de este modeloEs un análisis fundamentalmente económico y contable. Sólo mide los outputs y el impacto industrial y económico. No aparecen outputs e impacto social y científico. Aplicable a países, grupos de países y regiones. Si se extrapola a universidades es poco relevante. Aplicable a ciertos campos de ciencia y tecnología. No es relevante para ciencias sociales y humasnidades Sigue un modelo lineal, que presupone que la investigación adoptada por el mercado es siempre positiva para la sociedad. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

10 ¿Qué se puede medir / evaluar?Entorno Población PIB Presupuesto Input Recursos humanos Recursos económicos Output Patentes Publicaciones científicas Impacto Innovación Impacto social Impacto científico Unidad de análisis / Sistema de investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

11 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…1896 Trabajo de Campbell, que usa métodos estadísticos para medir la dispersión de las publicaciones 1917 Trabajo de Cole & Eales, que estudia el crecimiento de la literatura en anatomía comparada. 1923 Trabajo de Hulme, que usa la cuenta de documentos para explicar la historia de la ciencia y la tecnología. Usa el término ‘Statistical bibliography’ 1926 Lotka formula la Ley de Lotka. La primera ley bibliométrica. 1934 Bradford formula la Ley de Bradford, segunda ley de la bibliometría. Paul Otlet propone el término 'bibliometrie' para la "medición de los libros". Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

12 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…1948 Ranganathan propone el termino 'librametry' como aplicación de técnicas estadísticas y matemáticas a la gestión de los servicios bibliotecarios. (Citado por Sengupta 1992) 1949 Zipf formula la Ley de Zipf, la tercera ley de la bibliometría. 1955 Eugene Garfield publica su artículo A Citation Index for Science, artículo seminal del ISI, y de los Citation Index. 1961 Se publica Little Science, Big Science, por Derek J. de Solla Price. Formula la teoría del crecimiento exponencial de la ciencia. Posteriormente describirá los colegios invisibles y la Ley de Price. Es el padre de la expresión ‘Publish or Perish’ 1966 Dobrov publica Nauka o Nauke. Literalmente ‘Ciencia de la Ciencia’, que propone el estudio científico de la ciencia 1969 Nalimov y Mulchenko publican su obra Naukometriya, el equivalente ruso a 'scientometrics' Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

13 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…1969 Pritchard, en su artículo Statistical bibliography or bibliometrics? propone el término 'bibliometrics' para sustituir a 'statistical bibliography'. 1970 LISA, la principal base de datos (entonces servicio de resúmenes) sobre bibliotecas, información y documentación, incluye ‘bibliometrics' como encabezamiento. 1972 Eugene Garfield publica su artículo Citation analysis as a tool in journal evaluation, que será el origen de los Journal Citation Reports, también producidos por el ISI. 1978 Se funda la revista 'Scientometrics‘ por Tibor Braun. Nalimov es el ‘Consulting Editor'. La revista pone en su cabecera que mide 'all quantitative aspects of the science of the science, communication in science, and science policy'. 1979 Nacke propone el término 'informetrics', que englobaría grandes partes de scientometrics y bibliometrics, y algunas nuevas como los usos y usuarios de la información, y la recuperación de la información. 1980 El término 'bibliometrics' aparece en la Library of Congress Subject Heading. 2007 Surge la revista 'Journal of Informetrics'. De su Editorial Board se infiere que pretende abarcar toda la bibliometría (incluida la librametry) y la mayor parte de la cienciometría. Pretende abarcar investigaciones ‘duras’, de tal modo que en SCIMAGO no se incluye en la Library Science, sino en Mathematics  Statistics and Probability. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

14 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

15 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…Publicación científica Scientometrics Bibliometrics Informetrics Librametrics Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

16 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…BIS (Publicación científica) Bibliometrics Scientometrics Informetrics Librametrics Protocolos OCDE Recursos económicos Recursos humanos Tecnología Sistemas de información Publicación no académica Medios de comunicación Web Estudios de usuarios Rendimiento de servicios Recuperación de la información Almacenamiento de la información Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

17 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…«Hay que indicar que todos estos conceptos [bibliometría, informetría, cienciometría, bibliotecometría] son suplementarios y complementarios los unos de los otros. Un análisis cuidadoso de los términos nos revelará que la principal distinción entre ellos radica en lo que acompaña a «-metría», es decir, a la técnica de medición. Por ejemplo, si aplicamos técnicas estadístico-matemáticas a la organización y servicios bibliográficos, obtenemos bibliometría. Si aplicamos esas ténicas para organizar una biblioteca y sus servicios, generamos bibliotecometría (librametrics). Asimismo, cuando el análisis estadístico-matemático es aplicado a los sistemas de información y sus servicios, obtenemos infometría. Por otra parte, cuando estas técnicas de medida son usadas en la organización de la ciencia, obtenemos cienciometría.» (Sengupta 1992) Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

18 Se va a llamar ciempiés: bibliometría, cienciometría, infometría…Scientometrics Science of Science (Historia, filososfía y economía de la ciencia) Informetrics Information Science (Documentación) Librametrics Library Science (Biblioteconomía) Bibliometrics Bibliography (Bibliografía) Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

19 Las leyes bibliométricasLey de Lotka (1926) El número de autores, An, que publican n trabajos sobre una materia es inversamente porporcional al cuadrado de n. Ley de Bradford (1934) Si las revistas científicas se ordenan en secuencia decreciente de productividad de artículos sobre un tema dado, éstas pueden dividirse en un núcleo de revistas dedicadas más en particular al tema y varios grupos o zonas conteniendo el mismo número de artículos que el núcleo, donde el número de revistas en el núcleo y las zonas sucesivas estará en la relación de 1 : n : n2:n3 Ley de Zipf (1949) En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente. Ley de Price (1961) Crecimiento exponencial de la ciencia. La información científica experimenta un crecimiento exponencial, de tal manera que se duplica en un plazo aproximado de años. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

20 Las leyes bibliométricasLey de Lotka Ley de Lotka El número de autores, An, que publican n trabajos sobre una materia es inversamente proporcional al cuadrado de n. Se formula: An = A1/n2 Explicación An es el número de autores que corresponden a determinado número de artículos aplicando la Ley de Lotka (autores esperados) A1 son el número de autores con un solo trabajo. n es el número de artículos para el que queremos calcular los autores esperados (An). Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

21 Las leyes bibliométricasArtículos Autores reales Autores esperados 41 1 27 25 24 20 15 2 14 13 12 11 4 10 9 8 6 3 7 5 19 18 32 163 Artículos de investigadores de la UPNA en el área de Food Science ISI Web of Science y = 163/x2 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

22 Las leyes bibliométricasLey de Bradford Ley de Bradford Si un conjunto de revistas se dispone en orden decreciente, de acuerdo con la cantidad de artículos que contengan sobre un tema dado, éstas se pueden dividir en un núcleo de publicaciones más específicamente dedicadas al tema y en varias zonas que agrupan aproximadamente igual número de artículos que el núcleo, mientras que los conjuntos de revistas que es necesario vaciar aumentan en progresión geométrica del tipo 1:n:n2:n3... Fórmula No tiene una expresión matemática clara, y varían tanto los tamaños del núcleo como los multiplicadores, aunque la tendencia siempre es la misma Utilidad Para los bibliotecarios es la ley bibliométrica más útil, pues proporciona un modelo sobre la distribución de la literatura sobre un tema. Otras formulaciones 80% - 20% Artículos progresión aritmética; revistas progresión geométrica Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

23 Las leyes bibliométricas Nº Artículos por revistaLey de Bradford Nº revistas Nº Artículos por revista Revistas acumuladas, r Artículos acumulados, R(r) 1 22 18 2 40 15 3 55 13 5 81 10 7 101 9 8 110 11 134 14 155 6 161 196 4 24 204 37 243 25 62 293 102 164 395 Datos originales de Bradford sobre revistas de geofísica en 1934 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

24 Las leyes bibliométricasLey de Bradford 200 400 600 800 1000 1200 1400 1600 1 10 100 r, revistas R(r), artículos Inflexión de Groos Fracción recta Núcleo Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

25 Las leyes bibliométricasLey de Bradford Revistas Artículos % revistas % Artículos 6 6841 0,42% 9,93% 16 13714 1,11% 19,90% 32 20641 2,22% 29,95% 53 27347 3,68% 39,69% 82 34266 5,70% 49,73% 120 41049 8,34% 59,57% 182 47915 12,65% 69,53% 287 54788 19,94% 79,51% 474 61678 32,94% 89,51% 1439 68910 100,00% Uso de las revistas de Science Direct en la UPNA, en 2010 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

26 Las leyes bibliométricasLey de Zipf Ley de Zipf En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente. Fórmula Fn = C/n Explicación Fn es la frecuencia de un término situado en el lugar n por orden de frecuencia C es una constante fijada empíricamente N es el orden del término Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

27 Las leyes bibliométricasLey de Zipf Términos Apariciones 1 601 10 2366 100 4804 1000 7083 1605 7688 Aplicación de la Ley de Zipf al artículo: Puente Lanzarote, L., del Campo Hilario, C., & Ruiz de Luzuriaga Peña, M. Indicadores de rendimiento para la evaluación de un servicio de bases de datos en línea, In Scire: Representación y organización del conocimiento. Universidad de Zaragoza. pp Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

28 Las leyes bibliométricasLey de Zipf Término Apariciones de 601 el 324 la 263 en 222 que 213 los 185 del 173 y 148 se 136 servicio 101 a 100 las 96 un 93 indicador 85 por 81 indicadores 71 para con 65 una 64 sabdl 56 como 53 es no 49 o rendimiento gasto 47 evaluación 42 número consultas 39 Término Apariciones al 35 usuario satisfacción 33 datos 32 lo valor 31 usuarios 30 tiempo 28 registros 27 este 25 su directo 24 consulta 23 entre 22 resultados sobre eficacia 21 son coste 20 e objetivos servicios unos b 19 pertinentes siendo medir 18 recursos año 17 Término Apariciones modelo 17 si 16 total campo 15 productos aplicación: 14 bases cada definición: interpretación: método: nos objetivo: otros referencia todos análisis 13 calidad c 12 estadísticas fuentes general impacto información natural nivel principio pueden Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

29 Las leyes bibliométricasLey de Price Ley de Price La información científica experimenta un crecimiento exponencial, de tal manera que se duplica en un plazo aproximado de años. Propuso varias matizaciones: El tiempo de duplicación depende en gran medida del área de conocimiento de la que se trate. El crecimiento de la ciencia pasa por varias etapas: una fase de crecimiento exponencial propiamente dicha, en la que la tasa de crecimiento es proporcional al tamaño de la muestra, y una fase de crecimiento lineal, en la que la tasa de crecimiento es constante o independiente del tamaño del sistema. No se aplica sólo a publicaciones: lo aplicó al número de autores en una materia, número de revistas, número de elementos químicos conocidos… Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

30 Las leyes bibliométricasLey de Price Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

31 Indicadores bibliométricosIndicadores de actividad Número de publicaciones Distribuciones (idioma, tipo de documento) Indicadores de especialización Temática Indicadores de calidad de las publicaciones Criterios de calidad Indicadores de visibilidad Presencia en bases de datos Difusión Open Access Indicadores de colaboración Colaboración internacional Colaboración institucional Coautoría Indicadores de impacto Citas Factor de impacto Indicadores de uso Usage Factor Indicadores basados en web 2.0 Indicadores de enlaces Sistemas de recomendación Indicadores relacionales Primera generación Segunda generación Visibilidad web Repositorios Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

32 Indicadores bibliométricosIndicadores de actividad (producción) Número de publicaciones Se puede poner en contexto, según la unidad de análisis, con población total, investigadores, alumnos, PIB, presupuesto… Porcentaje de trabajos indizados en ISI / Scopus También podría ser un indicador de visibilidad, ya que lo que intenta medir es la «producción visible» Distribuciones Por idioma Por tipo documental Nivel básico o aplicado Índice de transitoriedad Número de investigadores con un solo trabajo A veces se expresa como porcentaje del total de investigadores Propuesto por Derek J. de Solla Price Índice de producción Cantidad de autores responsables del 50% de los trabajos Índice de productividad Logaritmo decimal del número de publicaciones. Propuesto por Lotka Permite agrupar a los investigadores en 3 niveles: 0 (1), 1 (de 2 a 9) y >1 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

33 Indicadores bibliométricosDe Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

34 Indicadores bibliométricosDe Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

35 Indicadores bibliométricosIndicadores de especialización Índice de especialización temática Número de artículos sobre un tema sobre el total de artículos de la unidad de análisis. Iría de 0 a 1. El IBACE construye el índice como variación respecto a la media mundial. Iría de -1 a +1 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

36 Indicadores bibliométricosDe Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

37 Indicadores bibliométricosIndicadores de calidad de las publicaciones LATINDEX Sistema de Información sobre las revistas de investigación científica, técnico-profesionales y de divulgación científica y cultural que se editan en los países de América Latina, el Caribe, España y Portugal Califica las revistas según el cumplimiento de 33 criterios para revistas impresas y 36 para revistas-e DICE Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas Describe las revistas atendiendo a criterios de calidad y visibilidad ERIH ERIH Lists. European Reference Index for the Humanities.C Clasificación de revistas europeas de los ámbitos de las ciencias sociales y las humanidades elaborada por la European Science Foundation. Listados por materias y califica las revistas en las clases A, B y C. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

38 Indicadores bibliométricosHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

39 Indicadores bibliométricosHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

40 Indicadores bibliométricosIndicadores de visibilidad Presencia del artículo o revista en bases de datos. Difusión: se puede mirar la tirada para versiones impresas, indicadores como el Page Rank para versiones electrónicas, presencia en los catálogos de bibliotecas universitarias… Open Access. Es un indicador emergente, que considera las publicaciones libremente accesibles. CARHUS Plus Clasificación de revistas científicas de los ámbitos de las ciencias sociales y humanidades que se publican a nivel local, nacional e internacional Califica las revistas dividiéndolas en grupos: A, B, C y D, según grados de visibilidad. Unas 6000 revistas de ciencias sociales y humanidades Se clasifican las revistas atendiendo a parámetros de alcance y visibilidad MIAR Matriu d’Informació per a l’Avaluació de Revistes Clasificación de revistas según el Índice Compuesto de Difusión Secundaria (ICDS), que mide la visibilidad de las revistas. Unos títulos de revistas internacionales en ciencias sociales y humanidades, clasificados por categorías temáticas. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

41 Indicadores bibliométricosHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

42 Indicadores bibliométricosHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

43 Indicadores bibliométricosIndicadores de colaboración Colaboración internacional Tasa de colaboración internacional: % de documentos firmados por investigadores de más de un país. Colaboración institucional Tasa de documentos sin colaboración: % de documentos en los que sólo participa una institución Tasa de colaboración nacional neta: % de documentos firmados por más de una institución del mismo país. Tasa de colaboración: % de documentos firmados por más de una institución. Coautoría Índice de coautoría: Número de autores por documento Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

44 Indicadores bibliométricosDe Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

45 Indicadores bibliométricosCitas Menciones que recibe el trabajo analizado de otros trabajos posteriores Referencias Menciones que se hacen en el trabajo analizado a otros trabajos anteriores Factor de impacto Razón entre las citas recibidas en un año por los artículos de la unidad de análisis publicados en los dos años anteriores y el número de artículos publicados en los dos años anteriores Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

46 Indicadores bibliométricosHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

47 Indicadores bibliométricosSJR SCImago Journal Rank Es una medida del impacto, influencia o prestigio de una revista. Expresa la razón entre el número ponderado de citas recibidas en el año seleccionado y el número de trabajos publicados en la revista en los tres años anteriores. SCImago es un grupo de investigación formado por el Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares, dedicado al estudios del análisis, representación y recuperación de la información. GONZÁLEZ-PEREIRA, B., GUERRERO-BOTE, V.P. & MOYA-ANEGÓN, F. (2009). The SJR indicator: A new indicator of journals' scientific prestige. arXiv: v1. [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

48 Indicadores bibliométricosA favor de citas y factor de impacto Al día de hoy es la mejor herramienta, sino la única, para trabajar con la dimensión cualitativa de la investigación Es un indicador númerico, fácilmente comprensible y reproducible Los sesgos que pueda tener se pueden corregir poniendo en contexto y ponderando Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

49 Indicadores bibliométricosEn contra de citas y factor de impacto En general, se ha transformado un método para medir el impacto de un artículo o una revista en la comunidad científica, en un sistema de validación de la ciencia, con todo lo que ello conlleva, por parte de editores, autores e instituciones Distintas disciplinas tienen distintos hábitos de citación Sesgo de cobertura hacia revistas anglosajonas. En 2001: SCI: USA 2200 revistas, UK 1171, FR 148, IT 69, SP 26 Aunque pueda ser valido para disciplinas de ciencia y tecnología, cuyos estudios tienen vocación universal y la publicación se concentra en un número abarcable de revistas, no lo es tanto para ciencias sociales y humanidades, con una producción mucho más dispersa y abundancia de artículos y revistas de vocación local Un número relativamente pequeño de artículos altamente citados da un sesgo desproporcionado. 15% de los artículos 50% de las citas. 50% de los artículos 90% de las citas FI tiene poca capacidad predictiva Los reviews son muy citados. Las revistas con muchos reviews son muy citadas El FI favorece a las investigaciones en campos con obsolescencia muy rápida Citation Cartels. Se cita indiscriminadamente a uno mismo y a los colegas Su control está en manos de empresas privadas, con fuertes intereses en el sector editorial Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

50 Indicadores bibliométricosIndicadores de impacto Basados en citas Número de citas Promedio de citas por artículo Impacto normalizado. Promedio de citas por artículo de la unidad de análisis dividido por el promedio de citas por artículo mundial. Tasa de documentos citados y no citados Tasa de autocitación Trabajos altamente citados (>50) Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

51 Indicadores bibliométricosIndicadores de impacto Basados en factor de impacto Impacto normalizado. FI esperado Tasa de citación: FI esperado/FI observado Índice de atracción: relaciona el FI en una disciplina cn el FI del resto. FI ponderado. Toma en cuenta el FI de varias disciplinas FI relativo. Compara el FI con una unidad mayor Potencial investigador. FI y producción Distribución por cuartiles o decílica Posición normalizada. Posición que ocupa una revista en relación al total. Entre 0 y 1 Impacto potencial: C1-4 = 10%, 20%, 30% y 40% Porcentaje de publicación en revistas TOP3 Indice H Eigenfactor Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

52 Indicadores bibliométricosSHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

53 Indicadores bibliométricosIndicadores de uso Todavía en desarrollo La versión 4 de COUNTER incluirá estadísticas por artículo Usage Factor Usos durante un periodo x de artículos publicados en un periodo Y, partido por artículos publicados en un período y Desarrollado por UKSG Final Report en PDF Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

54 Indicadores bibliométricosSHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

55 Indicadores bibliométricosSHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

56 Indicadores bibliométricosIndicadores basados en la web 2.0 Se ha propuesto sistemas de medida de la investigación haciendo entrar en juego sistemas de la red social. Se trataría tanto de utilizar la web 2.0 para medir y evaluar las publicaciones tradicionales como del surgimiento de nuevos sistemas de comunicación científica (blogs científicos, redes sociales científicas…) Enlaces La equivalencia de un enlace con una mención o cita provoca que algunos estudios hablen de confluencia de la web semántica y estructurada y la posibilidades de aplicar el análisis de enlaces al análisis de la producción científica. Sistemas de recomendación Por un lado se trataría de aprovechar el potencial de las redes sociales científicas, como CiteUlike, Connotea o Mendeley. También se especula con la posibilidad de publicar el contenido de lo peer reviews Otros abogan por sistemas basados en comentarios de los lectores También se ha mencionado la posibilidad de crear un “Blogs Citation Index” Bibliografía BANKS, M. A.; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24 Issue: 3. [PDF] TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of the 8th International conference on the Design of Cooperative Systems (COOP ‘08) , Carry-Le Rouet, May [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

57 Indicadores bibliométricosIndicadores relacionados con visibilidad web Todavía en desarrollo y sin apenas implantación Es discutible su validez como medida de la investigación, pero exiten estudios que tratan “de conocer la presencia, tamaño, visibilidad e impacto de una universidad a través de su dominio web, como indicadores de lo bien o mal que ésta se comunica”. ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista española de Documentación Científica, 33(2): doi: /redc [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

58 Indicadores bibliométricosIndicadores relacionados con repositorios Todavía sin desarrollar, aunque es de esperar que en el futuro se tome en cuenta Ranking Web de Repositorios del Mundo Registry of Open Access Repositories (ROAR) Directory of Open Access Repositories (OpenDOAR) Ley 10/2011 de 13 de mayo de 2011, de la ciencia, la tecnología y la innovación. Artículo 37. Difusión en acceso abierto. 1. Los agentes públicos del Sistema Español de Ciencia, Tecnología e Innovación impulsarán el desarrollo de repositorios, propios o compartidos, de acceso abierto a las publicaciones de su personal de investigación, y establecerán sistemas que permitan conectarlos con iniciativas similares de ámbito nacional e internacional. 2. El personal de investigación cuya actividad investigadora esté financiada mayoritariamente con fondos de los Presupuestos Generales del Estado hará pública una versión digital de la versión final de los contenidos que le hayan sido aceptados para publicación en publicaciones de investigación seriadas o periódicas, tan pronto como resulte posible, pero no más tarde de doce meses después de la fecha oficial de publicación. 3. La versión electrónica se hará pública en repositorios de acceso abierto reconocidos en el campo de conocimiento en el que se ha desarrollado la investigación, o en repositorios institucionales de acceso abierto. 4. La versión electrónica pública podrá ser empleada por las Administraciones Públicas en sus procesos de evaluación. 5. El Ministerio de Ciencia e Innovación facilitará el acceso centralizado a los repositorios, y su conexión con iniciativas similares nacionales e internacionales. 6. Lo anterior se entiende sin perjuicio de los acuerdos en virtud de los cuales se hayan podido atribuir o transferir a terceros los derechos sobre las publicaciones, y no será de aplicación cuando los derechos sobre los resultados de la actividad de investigación, desarrollo e innovación sean susceptibles de protección. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

59 Indicadores bibliométricosIndicadores relacionales Indicadores relacionales de primera generación Redes de coautoría (científicos, universidades, países) Redes de cocitación (científicos, revistas, categorías) Indicadores relacionales de segunda generación Palabras asociadas Mapas cognitivos de temas e impacto Mapas cognitivos de temas y autores Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

60 Indicadores bibliométricosRedes de cocitación en España Construido con SCImago Map Generator Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

61 Rankings de universidadesSon clasificaciones de universidades e instituciones de investigación, ordenadas según una serie de criterios Los criterios utilizados son, en su mayor parte, bibliométricos Pueden utilizar una conjunto de criterios que, una vez codificados estructuran la clasificación, o pueden basarse en un solo criterio. No analizamos los rankings que suelen aparecen en la prensa basados en criterios subjetivos como encuestas, sondeos de opinión… Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

62 Rankings de universidadesA favor Permiten una comparación rápida entre instituciones, útil, sobre todo para no especialistas en bibliometría Permiten detectar puntos débiles de la institución Permiten detectar las mejores prácticas En contra Son una abstracción de una realidad bastante compleja Un profano puede no interpretar de forma correcta los resultados: tendría que conocer los indicadores en los que se basa y las instituciones que se analizan A veces se extrapola la clasificación a realidades distintas de lo que mide (por ejemplo, si mide la investigación, no será válido para la docencia) Tienen muchos sesgos: por los indicdores utilizados y por la vocación de las instituciones (educación-investigación; ciencias-humanidades) Para un conocedor de los indicadores bibliométricos no aportan gran cosa, puesto que se basan en ellos, sólo el presentar resultados de manera conjunta Hay críticas porque se les está dando demasiada importancia en ámbitos de decisión y financiación No parece útil para comparar unidades de investigación pequeñas Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

63 Rankings de universidadesNombre Ranking Web de Universidades del Mundo Productor Laboratorio de Cibermetría (CSIC) España Indicadores Tamaño: Número de páginas recuperadas desde los 4 motores de búsqueda: Google, Yahoo, Live Search y Exalead Visibilidad: El número total de enlaces externos únicos recibidos (inlinks) por un sitio que se pueden obtener de forma consistente desde Yahoo Search, Live Search y Exalead Ficheros ricos: .PDF . PS . DOC .PPT Google Scholar: Los resultados obtenidos de la base de datos del Google Académico comprenden artículos, informes y otro tipo de documentos académicos Ambito Internacional Número de instituciones 12 000 UPNA Sí Desagregación No Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

64 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

65 Rankings de universidadesNombre Academic Ranking of World Universities (ARWU) Shangai Jiao Tong University Ranking Ranking de Shangai Productor Universidad Jiao Tong de Shanghái China Indicadores Premios Nobel o Medallas Fields que ha tenido la universidad (10%) Premios Nobel o Medallas Fields activos (20%) Número de investigadores altamente citados (20%) Número de artículos publicados en Science y Nature (20%) Número de trabajos en SCI y SSCI (20%) Puntuación de todos los indicadores anteriores dividida entre el número de académicos de tiempo completo (10%). Ambito Internacional Número de instituciones 500 UPNA No Desagregación Por áreas y materias Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

66 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

67 Rankings de universidadesNombre Leiden Ranking Productor Centre for Science and Technology Studies (CWTS), Leiden University Holanda Indicadores Número de publicaciones Impacto normalizado (crown indicator y alternative) Potencial investigador Promedio de citas por artículo Ambito Internacional Número de instituciones 500 UPNA No Desagregación Por indicador Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

68 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

69 Rankings de universidadesNombre Scimago Institutions Rankings Productor Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares) España Indicadores Número de publicaciones Ratio de colaboración internacional Impacto normalizado Tasa de publicaciones en Q1 de SJR Ambito Internacional e Iberoamérica Número de instituciones 3500 UPNA Sí Desagregación No Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

70 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

71 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

72 Rankings de universidadesNombre Indicadores bibliométricos de la actividad científica española Productor FECYT y Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares) España Indicadores Indicadores de producción Indicadores de especialización Indicadores de impacto Ambito Número de instituciones 50 UPNA Sí Desagregación Por área científica, comunidades autónomas, universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

73 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

74 Rankings de universidadesNombre Ranking ISI de las universidades españolas según campos científicos Productor Grupo EC3: Evaluación de la Ciencia y de la Comunicación Científica ( Universidad de Granada – Universidad de Navarra) España Indicadores Número de documentos Número de citas Índice H Tasa de documentos en Q1 Promedio de citas por documento Tasa de documentos altamente citados (primer decil en su materia entre todas las universidades) Ambito Número de instituciones 52 UPNA Sí Desagregación Por campo científico Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

75 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

76 Rankings de universidadesNombre QS World University Ranking Times Ranking Productor The Times & QS Quacquarelli Symonds Limited United Kingdom Indicadores 60% a la "calidad de la investigación“ 10% a la capacidad de que un graduado obtenga empleo 10% a la "presencia internacional" 20% al cociente estudiantes/académicos Ambito Internacional Número de instituciones 650 UPNA No Desagregación Por materias Tipología Ranking Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

77 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

78 Rankings de universidadesNombre CHE University Ranking Productor Semanario Die Zeit Alemania Indicadores Oferta académica Profesorado Equipamiento Orientación internacional Orientación al mercado de trabajo Opinión Investigación: Patentes, publicaciones, citas, Tesis, subvenciones de terceros Ambiente universitario de la ciudad Ambito Alemania, Austria y Suiza Número de instituciones 250 UPNA No Desagregación Por materias Tipología Ranking Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

79 Rankings de universidadesHerramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

80 Bibliografía BANKS, M. A.; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24 Issue: 3. [PDF] BRADFORD, S. C. (1934). Sources of information on specific subjects. Engineering, 137 : 85–86. BUSH, V. (1945). Science, The Endless Frontier: A Report to the President on a Program for Postwar Scientific Research. Reprinted by the National Science Foundation, Washington, DC, [PDF] CALLON, M; COURTIAL, J. P.; Penan, H. (1995). Cienciometría: el estudio cuantitativo de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: TREA. [Ver en catálogo BUPNA] CAMPBELL, F. B. F. (1896). The Theory of the National and International Bibliography: with Special Reference to the Introduction of System in the Record of Modern Literature. Library Bureau, London, England. COLE, F. J.; EALES N. B. (1917). The history of comparative anatomy. Part I: A statistical analysis of the literature. Science Progress (London), 11 : 578–596. DE MOYA ANEGÓN, F. et al. Indicadores bibliométricos de la actividad científica española Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

81 Bibliografía DOBROV, G. M. (1966). Nauka o Nauke. Kiev, Naukova. GARFIELD, E. (1955). A citation Index for Science: A New Dimension in Documentation through Association of Ideas. Science, 122 (3159) : [PDF] GARFIELD, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178 (60) : [PDF] GONZÁLEZ-PEREIRA, B., GUERRERO-BOTE, V.P. & MOYA-ANEGÓN, F. (2009). The SJR indicator: A new indicator of journals' scientific prestige. arXiv: v1. [PDF] HULME, E. W. (1923). Statistical bibliography in relation to the growth of modern civilization. Grafton & Co., London, pp. 29–44. [PDF] KAROLINSKA INSTITUTET BIBLIOMETRICS PROJECT GROUP (2008). Bibliometrics: Publication Analysis as aa tool for science mapping and research assessement. Stockholm: Karolinska Institutet. [PDF] KUHN, T. S. (1962). The Structure of Scientific Revolutions. Chicago: University of Chicago Press. [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

82 Bibliografía LOTKA, A. J. (1926). The frequency distribution of scientific productivity. Journal of the Washington Academy of Science, 16 (12) : 317–323. MALTRÁS BARBA, B. (2003).Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón: TREA. [Ver en catálogo BUPNA] MERTON, R. K. (1942). The Normative Structure of Science. In: Merton, Robert K. ( ). The Sociology of Science: Theoretical and Empirical Investigations. Chicago, IL: University of Chicago Press [PDF] MERTON, R: K. (1968). The Matthew Effect in Science. Science, 159 (3810) : [PDF] NACKE, O. (1979). Informetrie: eine neuer Name für eine neue Disziplin. Nachrichten für Documentation, 30 (6) : OTLET, P. (1934). Traitée de Documentation. Le Livre sur le Livre. Theorie et Pratique. Van Keerberghen, Brussels. (BUPNA PISO 1º A ) [Ver en catálogo BUPNA] PRICE, D. J. de S. (1963). Little Science, Big Science. New York: Columbia University Press Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

83 Bibliografía PRICE, D. J. de S. (1965). Networks of Scientific Papers. Science 149 (3683) : PRICE, D. J. de S. (1967). Nations can Publish or Perish. International Science and Technology 70 : 84-90 NALIMOV, V. V.; MULCHENKO Z. M. (1969). Measurement of Science. Study of the Development of Science as an Information Process [PDF] ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista española de Documentación Científica, 33(2): doi: /redc [PDF] PRITCHARD, A. (1969). Statistical bibliography or bibliometrics?. Journal of Documentation, 25 : 348–349. [PDF] REHN, C; KRONMAN, U.; WADSKOG, D. (2007). Bibliometric indicators: definition and usage at Karolinska Institutet. Stockholm: Karolinska Institutet. [PDF] REHN, C; KRONMAN, U. (2008). Bibliometric habdbook for Karolinska Institutet. Stockholm: Karolinska Institutet [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

84 Bibliografía SCHOLZE, F. (2007). Measuring research impact in an open access environment. LIBER 36th Annual Conference, Warsaw, 3-7 July [PDF] SENGUPTA, I. N. (1992). Bibliometrics, informetrics, scientometrics and librametrics: an overview. Libri, 42 : 75–98. [PDF] SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] STEELMAN J. R. (1947). Science and Public Policy. Washington, DC: Government Printing Office. [PDF] TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of the 8th International conference on the Design of Cooperative Systems (COOP ‘08) , Carry-Le Rouet, May [PDF] ZIPF, G. K. (1949). Human behavior and the principle of least effort, Addison-Wesley, Reading, MA. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación