1 [email protected] Herramientas para medir el impacto de las publicaciones científicas XXVI Seminario Nacional y XI Seminario Internacional de investigación en materia de organizaciones de participación Escuela de Estudios Cooperativos Facultad de Ciencias del Trabajo de la UGR Granada, 27 de febrero de 2009 Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Universidad de Granada
2 [email protected] La evaluación de la investigación España en estado de excepción evaluativa –Ámbitos y objetos de evaluación: Personas, instituciones (Facultades, Departamentos…), titulaciones (grado, posgrado, doctorado), programas, proyectos, publicaciones –Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU, ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC… –Criterios de evaluación: PUBLICACIÓN ► ► ► ► ► ► IMPACTO Tema trascendente y polémico –Condiciona la orientación de la investigación de un país –Condiciona la posibilidad de investigar –Condiciona la promoción profesional –Otorga reconocimiento personal y social
3 [email protected] El impacto científico lo medimos a través de las citas Los motivos para citar son variados: –Identificar y reconocer ideas, métodos, hechos, resultados –Persuadir, argüir y apoyar nuestras ideas y resultados –Discutir, corregir, criticar trabajos previos –Homenajear, pagar deudas, hacer la pelota, intercambiar favores –Darnos autobombo Miden la influencia intelectual, no la calidad Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la influencia que dicho trabajo ha tenido en el suyo propio. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas El número de citas depende de múltiples factores: –Tamaño de las comunidades científicas: nº científicos –Naturaleza y tipo de la disciplina científica: básica/aplicada –Hábitos de publicación y prácticas de citación de las comunidades científicas: nº publicaciones por autor, nº referencias por artículo … –Tipo de trabajos: revisiones, artículos, cartas … –Rapidez en la publicación (ventana de citación) Base de datos empleada: WOS, IN-RECS, Google … Cobertura y fuentes procesadas: las citas obtenidas son directamente proporcionales a la cobertura de la fuente empleada, esto es, al número y tipo de fuentes indizadas La repercusión científica El impacto
4 [email protected] Econlit Revistas importantes Ulrichs’ Revistas en el mundo Web of Science Revistas nucleares Revistas de Economía 4.163 1.723 arbitradas 750 462 117 IN-RECS Revistas españolas 48 arbitradas 25 Esp 8 Esp 30 fuentes
5 [email protected] WOS ECON LIT IN- RECS Papeles de Economía EspañolaXX Pensamiento IberoamericanoX Principios. Estudios de Economía PolíticaX REVESCO. Revista de Estudios CooperativosX Revista de ContabilidadX Revista de Derecho financiero y Hacienda públicaX Revista de Economía AplicadaXXX Revista de Economía FinancieraX Revista de Economía MundialXX Revista de Estudios RegionalesX Revista de Historia EconómicaXXX Revista de Historia IndustrialXX Revista Española de EconomíaX Revista Española de Estudios Agrosociales y PesquerosX Revista Española de Financiación y ContabilidadXX Revista Española de Investigación de MarketingX Revista Europea de Dirección y Economía de la EmpresaX Spanish Economic ReviewX The International Journal of Digital Accounting ResearchX Universia Business ReviewXX Urban Public Economics ReviewX WOS ECON LIT IN- RECS Applied Econometrics and International DevelopmentX Boletín de Estudios EconómicosX CIRIEC - España. Revista de economía pública, social y cooperativaXX Crónica TributariaX Cuadernos de Economía y Dirección de la EmpresaXXX Cuadernos Económicos de ICEXX Economía Agraria y Recursos NaturalesX Economía IndustrialXX Economistas. Revista del Colegio de Economistas de MadridX Ekonomiaz: Revista vasca de EconomíaX Esic-MarketX Estadística EspañolaX Estudios de Economía AplicadaXXX Estudios Económicos de Desarrollo InternacionalX Estudios Económicos Regionales y SectorialesX Hacienda Pública EspañolaXXX Historia AgrariaX Información Comercial Española. Revista de EconomíaXX International Journal of Applied Econometrics and Quantitative StudiesX Investigaciones EconómicasXXX Moneda y CréditoXX Revistas españolas de economía en WOS, ECONLIT E IN-RECS (revistas fuente)
6 [email protected] Los índices de impacto –Índices estadísticos basados en recuentos de referencias bibliográficas citadas en revistas científicas –Revistas internacionales: Impact Factor de Thomson Reuter publicado anualmente en los Journal Citation Reports –Revistas españolas: Índices de impacto de EC3 de la Universidad de Granada publicados anualmente en IN-RECS (Índice de impacto de las revistas españolas de ciencias sociales) e IN-REJ ((Índice de impacto de las revistas españolas de ciencias jurídicas) –Promedio de las citas obtenidas en un año por los artículos de una revista publicados en un período de tiempo determinado Dos años anteriores en el caso del Impact Factor Tres años anteriores en el caso de IN-RECS / IN-RECJ Cautelas –No son representativos del artículo medio: distribución asimétrica de las citas. –Sesgos en la fórmula de cálculo: numerador (citas: todos los items publicados en la revista) denominador (trabajos citables: solo artículos originales y de revisión) La repercusión científica El impacto
7 [email protected] Úsese el impacto observado (citas reales) y no el esperado (factor de impacto) Impactitis: La obsesión por ser citados conduce a malas prácticas y aviesos comportamientos. (http://www.publicationethics.org.uk) –Cambios política editorial: publicación trabajos más potencialmente citables: revisiones, artículos metodológicos, cartas, trabajos polémicos… –Manipulación citas: autoreferenciación y autocitación desmedidas Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente La repercusión científica El impacto
8 [email protected] Comparación bases de datos AspectoWoSIN-RECSGoogle Scholar Cobertura gegráfica Fundamentalmente anglosajona EspañolaInternacional (+ anglosajona) Cobertura temática Multidisciplinar + ciencia y tecnologia - Hum. y CCSS Ciencias SocialesMultidisciplinar Cobertura Documentos citantes Revistas arbitradas 10.000 Revistas españolas arbitradas 200 Libros, revistas, tesis, informes.... ? Criterios de selección Estándares publicación científica Citación Estándares publicación científica Citación Ninguno PrestacionesÍndices de impacto Citas Índices de impacto Citas Normalización de datos ++-
9 [email protected] BASE DE DATOSHERRAMIENTAS DE ANÁLISIS Web of Science ● Science Citation Index (1900-) 7.100 revistas ● Arts & Humanities Citation Index (197) 1.200 rev. ● Social Science Citation Index (1956-) 3.500 rev. Otras bases de datos ● Current Contents ● Derwent ● … Journal Citation Reports Essential Science Indicators Science Edition 5.900 revistas en 171 categorías temáticas Social Sciences Edition 1.700 revistas en 55 categorías temáticas Institute for Scientific Information (ISI) Las bases de datos de THOMSOM-ISI
10 [email protected] El Journal Citation Reports CATEGORÍAS RELACIONADAS CON LA ECONOMÍA Y NÚMERO DE REVISTAS INDIZADAS ● BUSINESS (94) ● BUSINESS, FINANCE (73) ● ECONOMICS (285) ● INDUSTRIAL RELATIONS & LABOR (18) ● PLANNING & DEVELOPMENT (44) En la edición de 2007 sólo 35 revistas españolas tenían calculado el Impact Factor ! ! EL IMPACT FACTOR Cálculo del Impacto de 2007: ● A: Número de citas emitidas en 2007 a trabajos publicados en 2005 y 2006 ● B: Número de trabajos publicados en 2005 y 2006 Impact Factor = A/B
11 [email protected] Los Journal Citation Reports ¿Qué año tomar para justificar el impacto del trabajo? ¿Dónde encontrar los JCR anteriores a 2000? ¿Qué categoría temática elegir? ¿Cómo se averigua la posición de la revista? –Cuartiles, tercios, mediana... Aprendiendo a usar el Factor de Impacto Buscar en Cited Reference Search Incluir las variantes del nombre del autor, especialmente si es compuesto: forma abreviada (mayoral l*) o completa: (normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*) Incluir el título de la revista y truncarlo (*) para obtener variaciones Realizar la búsqueda por el nombre del primer autor firmante del trabajo (Los … precediendo al apellido significa que el autor no es el primer firmante) Aprendiendo a busar citas de un trabajo o un autor en la Web of Science
12 [email protected] –Con el resto de los artículos publicados en la revista ese mismo año –Con el resto de los trabajos publicados en el mundo en nuestra especialidad Usar los ESI (Essential Science Indicators): para trabajos excepcionales. Comparándolos con la media mundial –Los baselines –Percentiles y porcentajes –El Índice H ¿Qué es y como se calcula? Comparando nuestro trabajo
13 [email protected] ÍNDICES DE IMPACTO REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS
14 [email protected] Las cifras de IN-RECS/IN-RECJ TotalIN-RECSIN-RECJ Periodo cubierto1994-2001- Revistas fuente20914564 (32) Revistas con impacto calculado 1.086748338 Artículos citables227.975174.18453.791 Citas73.68859.29214.396
15 [email protected] Servidor EC3 Linux Suse 9.2, base datos postgres, apache, php,... Tablas BD Selección de revistas fuente por especialidades Introducción de los artículos citables Título, Autor…. Cindoc, Dialnet, Compludoc Psicodoc, revista... Carga en BD Introducción de la producción de la revista por años Cindoc, Dialnet, revista electrónica o en papel Carga en BD Obtención e introducción de las citas WOS de las revistas Carga de citas Introducción de las citas nacionales de las revistas Una vez al año Sistemático Carga de citas Cálculo de impactos e indicadores Resultados en web http://ec3.ugr.es/in-recs/ http://ec3.ugr.es/in-recj/ Sistemático
16 [email protected] Índice de impacto de las revistas –Anual (INRECS: 1994- /IN-RECJ: 2001- ) y acumulativo (5 años/histórico: 9 y 13) –Indicadores: artículos, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, curva de envejecimiento, tasa de autocitación, índice de coautoría. –Información: Triángulo de citación, evolución de la revista (cuartiles), revistas citadas, artículos citados por la revista, artículos más citados de la revista, especialidades citantes, instituciones citantes, autores citantes, revistas citantes, artículos citantes, perfil bibliométrico: comparación revista / especialidad. Prestaciones I
17 [email protected] Artículos más citados de la especialidad –Indicadores: total de citas, citas nacionales e ISI. –Información: rtículos citados y citantes Autores más citados de la especialidad –Indicadores: artículos publicados en revistas españolas, artículos publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría. –Información: relación de coautores; autores citados y autores citantes; filiación autores con los que publica, filiación de los que cita (citados) y de los que le citan (citantes); revistas en las que publica, revistas que cita y que le citan; especialidades en las que publica, especialidades que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación autor / especialidad. Instituciones más citadas de la especialidad –Indicadores: artículos publicados en revistas españolas, artículos publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría. –Información: relación de instituciones con quien colabora (publica); instituciones citados y autores citantes; artículos más citados de la institución; artículos citados por la institución y artículos citantes; revistas en las que publica, revistas que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación institución / especialidad. Prestaciones II
18 [email protected] Impacto revistas españolas de Ciencias Sociales y Jurídicas 2002-2006 90 revistas (10%) concentran el 65% de las citas. 180 revistas (20%) concentran el 80% de las citas El 30% de las revistas han sido incapaces de obtener una sola cita en cinco años. El 59% de las revistas obtuvieron 5 citas en cinco años (1 por año) El 90% de las citas proceden de revistas españolas Sólo el 26% de los artículos son citados El número medio de citas por artículo es de 0,3
19 [email protected] ¿Qué cubre? –Libros –Artículos de revistas científicas –Comunicaciones y ponencias a congresos –Informes científico-técnicos –Tesis, tesinas o memorias de grado –Trabajos científicos depositados en repositorios, archivos de preprints –Páginas web personales o institucionales etc… –Cualquier publicación con resumen No cubre –Reseñas de libros y editoriales –Libros de texto y monografías –Periódicos y revistas comerciales
20 [email protected] ¿Por qué y cuándo usarlo? Para buscar el texto completo de un trabajo Para buscar las citas recibidas por un trabajo Para buscar los trabajos producidos por un autor Para buscar trabajos sobre un tema publicados en una revista Para buscar trabajos sobre un tema ¡Cuidado!
21 [email protected] Fortalezas y debilidades Fortalezas –Rápido, fácil de usar y gratuito –Localiza toda la literatura especialmente la no anglosajona que es la peor controlada por los sistemas de información –Especialmente útil en disciplinas que no emplean preferentemente las revistas como medio de comunicación: Humanidades, Ciencias Sociales, Ingenierías… –Encuentra CITAS a libros y a trabajos publicados en revistas secundarias no incorporadas a la llamada “corriente principal de la ciencia” Debilidades –No todo está accesible en la WEB para el rastreador de GS –Falta de transparencia en el contenido de la base de datos –Errores en el procesamiento de la información: errores tipográficos, algoritmos automáticos, errores en la referencias bibliográficas –Muy costosa la recuperación y el tratamiento de los resultados de las búsquedas
22 [email protected] ¿Cómo funciona? El rastreador de Google Académico funciona del mismo modo que el rastreador principal de Google Tipo de ficheros rastreados: –HTML –PDF y PDF comprimido (pdf.gz): siempre que se puedan realizar búsquedas en ellos. No busca en PDF formados exclusivamente por imágenes escaneadas –PostScript y PostScript comprimido (ps.gz) ¿Cuáles son sus fuentes de alimentación? –Rastreador: rastreo automático de millones de páginas web –Acuerdos con editoriales comerciales: permiten libre acceso a sus catálogos y fondos editoriales. NO: Elsevier and the American Chemical Society –Acuerdos con Bibliotecas: permiten libre acceso a sus catálogos. Vacian y enlazan todos sus recursos –Acuerdos con servicios de distribución o almacenaje. Ejemplo: Highwire o Ingenta –Bases de datos bibliográficas. Ejemplo: OCLC Open WorldCat o PubMed
23 [email protected] La página de resultados 1 2 3 4 56 7 89 10 11 12 1
24 [email protected] La página de preferencias
25 [email protected] Atención a cómo se busca
26 [email protected] Muchas gracias por su atención Emilio Delgado López-Cózar [email protected] ec3.ugr.es/emilio [email protected] Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3