1 3. LA VIGILANCIA TECNOLÓGICA Herramientas profesionales

2 Herramientas profesionalesMinería de datos Minería de textos

3 Estudio Cienciomètrico: EtapasFormación del corpus de información Modelización de la información Análisis de la información Extracción de resultados

4 Data Mining Minería de datos  Información estructuradaOperaciones básicas: - Clasificación - Recuento - Cruces o co-ocurrencias Otras opciones: Tesauro, sinónimos, aplicaciones gráficas... Grado de funcionalidad y complejidad

5 Algunos ejemplos AUREKA MATHEO TETRALOGIE

6 Matheo Analyzer Software que permite desarrollar estudiosbibliométricos y mapas tecnológicos La información se importa de bases estructuradas Manejo e interface amigable

7 Matheo Analyzer Bases de Estructuradas: ArtículosScience (Social) Citation Index Chemical Abstracts (Química) Medline (Medicina) Compendex (Ingeniería) Inspec (Electricidad y Electrónica) Biosis (Ciencias de la Vida) CINDOC/CSIC (Ciencia y Tecnología...) ABI-Inform (Gestión Empresarial)

8 Matheo Analyzer Registro de la base de datos Compendex Plus, del distribuidor DIALOG DIALOG NO: El Mothly No: EIP Title: Correlation of structure and electric properties of high temperature superconducting wire with its fabrication conditions Corporate source: Inst Metallurgii im. A.A. Bajkova RAN, Moscow, Russia Source: Fizika i Khimiya Obrabothi Materialov N 2 Mar-Apr p Publication year: 1994 CODEN: FKOMAT ISSN: Language: Russian Document Type: JA; (Journal Article) Treatment code: X; (Experimental); A; (Applications) Abstract: Dependence of high temperature superconducting wire structure and properties on the conditions of thermal and pressure treatment has been studied. The influence of temperature and time of annealing and of cooling rate on critical temperature and current density of superconductor has been found. Descriptors: *Superconductivity; Superconducting materials; Wire; Structure (composition); Heat treatment; Annealing; Cooling; Superconducting transition temperature; Deformation. Identifiers: High temperature superconducting wire; Pressure treatment; Time of annealing; Cooling rate; Current density; Superconducting wire microstructure. El Classification Codes: 712.1 (Semiconducting Materials) 712 (Electronic & Thermionic Materials)

9 Matheo Analyzer Bases Estructuradas: Patentes(Oficina Mundial de la Propiedad Intelectual) (U.S. Patent and Trademark Office) (European Patent Office) (Oficina de Patentes de Japón) (Oficina Española de Patentes y Marcas) INPADOC (todas las colecciones nacional patentes) URL: (Delphion)

10 Matheo Analyzer

11 Estructura operativa Pretratamiento Tratamiento VisualizaciónImportación de datos desde un fichero (txt) Creación de la “regla de importación” Recuento simple y creación de diccionarios Formas o recuentos simples de campos Pares o coocurrencia de contenidos de uno o dos campos (simétricos o no) Histogramas (recuentos simples) Grafos de relaciones a partir de coocurrencias Matrices y tabla de coocurrencias Pretratamiento Tratamiento Visualización

12 Pretratamiento “Regla de importación”:Separador de noticias Separador de campos Mono/Multiforme Mono/Multiinformación La “Regla de importación” se almacena para poder ser reutilizada en otros análisis

13 Tratamiento. Formes Formas originales 1. Recuento SinónimosFiltros Formas originales Formas resultantes Roman, RM (3) Roman RM (2) roman, rm (1) 1. Recuento Roman, RM (*) Roman, RM (6) López, AJ (5) … Autores > F (6)

14 Modelos clasificaciónTratamiento. Formes Diccionarios Modelos clasificación Expertos Glosarios Agregación Estudios Genéricos Señales emergentes + -

15 Pantalla de control de FormesTratamiento. Formes Pantalla de control de Formes

16 Tratamiento. Paires Ejecución de coocurrencias o cruces del contenido de uno o dos campos. Posibilidad de seleccionar todo tipo de coocurrencias (campos filtrados creados anteriormente) Visualización en tabla y mediante grafos de relaciones.

17 Tratamiento. Paires Formas del 2º campoSelección del 1r campo de coocurrencia Selección del 2º campo de coocurrencia Formas del 1r campo Formas del 2º campo Frecuencia de coocurrencia Representación gráfica

18 Visualización. HistogramasRepresentación de los recuentos simples, tipos: Frecuencia, Rango, Profundidad de indexación. Ejemplo: aplicaciones de los filtros superconductores para altas temperaturas (HTS) en las comunicaciones inalámbricas: Patentes concedidas por año

19 Histogramas. Ejemplo Patentes por países de empresas líderes

20 Visualización. Réseau Representación de las coocurrencias.3 conceptos básicos: Forme: Las formas se indican en recuadros con el número de artículos en que aparecen. Connectivité: Número de formas con las que contacta una forma (número de flechas que salen de una forma). Paire: Número de veces que dos formas aparecen juntas (viene dada por el número de encima la flecha). 3 tipos de grafos: simétricos (un campo con él mismo), asimétricos (campos distintos), condorcet (grupos de noticias homogéneos en relación a un campo) y de propagación (selección de las formas iniciales).

21 Visualización. Réseau Controles del grafo para filtrar las formas según los tres criterios: Forme, paire y connectivité

22 Redes de colaboración. Réseau simétricoRéseau. Ejemplo Ejemplo: aplicaciones de los filtros superconductores para altas temperaturas (HTS) en las comunicaciones inalámbricas. Redes de colaboración. Réseau simétrico

23 Réseau. Ejemplo Coocurrencia Afiliación-Códigos, sin filtrar los campos. Réseau asimétrico.

24 Réseau. Ejemplo Coocurrencia Afiliación-Códigos, con ambos campos filtrados (empresas líderes y códigos más frecuentes). Réseau asimétrico.

25 Visualización. Réseau Condorcet: grupos homogéneos de noticias en relación al campo Afiliación

26 Visualización. MatricesRepresentación en una matriz de los valores de las coocurrencias. Tipos de matrices: simétricas, asimétricas, condorcet y metamatriz. Se pueden ordenar: Par valeur Par somme Ejemplo: aplicaciones de los filtros superconductores para altas temperaturas (HTS) en las comunicaciones inalámbricas.

27 Matriz de coocurrencia: Afiliación-AfiliaciónMatrices. Ejemplo AMERICAN SUPERCONDUCTOR HITACHI LTD. INTERNATIONAL SUPERCONDUCTIVITY KABUSHIKI KAISHA TOSHIBA MURATA MANUFACTURING SUMITOMO ELECTRIC THE FURUKAWA ELECTRIC TRW INC. UNI OF CALIFORNIA 37 7 1 12 3 5 29 32 10 Matriz de coocurrencia: Afiliación-Afiliación

28 Matriz de coocurrencia: Empresas líderes - Año de concesiónMatrices. Ejemplo AMERICAN SUPERCONDUCTOR HITACHI LTD. INTERNATIONAL SUPERCONDUCTIVITY KABUSHIKI KAISHA TOSHIBA MURATA MANUFACTURING SUMITOMO ELECTRIC THE FURUKAWA ELECTRIC TRW INC. UNI OF CALIFORNIA 1998 2 5 7 3 1999 6 1 4 8 2000 9 2001 17 11 2002 Matriz de coocurrencia: Empresas líderes - Año de concesión

29 Matrices. Ejemplo AMERICAN SUPERCONDUCTOR HITACHI LTD. INTERNATIONAL SUPERCONDUCTIVITY KABUSHIKI KAISHA TOSHIBA MURATA MANUFACTURING SUMITOMO ELECTRIC THE FURUKAWA ELECTRIC TRW INC. UNI OF CALIFORNIA FiltroAfiliacion 37 8 17 6 29 32 10 7 FiltroCiudades 36 12 1 16 5 FiltroCodigos 45 9 38 11 Metamatriz: empresas líderes en relación a los campos Afiliación, Ciudad y Códigos todos ellos filtrados

30 Aplicaciones Los resultados y gráficos permiten obtener una impresión global y una buena aproximación al tema.

31 Text Mining Minería de textos  Información estructurada y no estructurada Entiende el lenguaje  Módulo semántico, sintáctico y morfológico Estructura modular/integrada

32 Text Mining Procesamiento lingüístico: Análisis léxico y normalizaciónPalabras compuestas y expresiones como únicas Palabras vacías Stemming o Lemmatization (raíz de palabra)

33 Text Mining: ImplementaciónExtracción Categorización Clustering Funciones Filtering Topic Spotting Summarization

34 Algunos ejemplos de Text MiningKNOWLEDGIST SEMIO TEXT KNOWLEDGE MINER TEMIS …

35 TEMIS Extracción de información de cualquier fuente: bases de datos, documentación e informes internos de la empresa, Internet, etc. Organización de la información e identificación de grupos homogéneos (clusters) 4 módulos: “Extractor”, “Clusterer”, “Categorizer” y “On-line Minner”. Tecnología base: Cartuchos

36 - Juicios positivos y negativosTecnología: Cartuchos Cartucho Características Cartuchos generales Trabajan con la información sin dar especial relieve a tipos de datos concretos. Cartucho de Inteligencia Competitiva Identifica las relaciones y acciones asociadas a fusiones, alianzas, adquisiciones… Cartucho para identificar la satisfacción del cliente Da relevancia a las expresiones de satisfacción e insatisfacción de clientes: - Verbos modales - Juicios positivos y negativos - … Cartuchos de sectores concretos Incluyen la terminología y estructura informativa específica del sector para tratar la información adecuadamente …

37 Estructura operativa ¿La empresa dispone ya de unaclasificación de su información? Extracción de la información No Sí Creación de grupos homogéneos y definición de categorías Introducción de nueva información en la clasificación existente

38 Extractor Análisis morfo-sintáctico Análisis gramatical y semánticoMultilingüe (inglés, francés, español, alemán, italiano, portugués, holandés) 200 formatos posibles (XML, word, pdf, html, txt…) Extrae la información de: artículos, comunicados de prensa, patentes, publicaciones científicas y técnicas, informes internos, documentación jurídica, foros y chat...

39 Ejemplo telecomunicaciones 

40 Clusterer Servidor de clasificaciónOrganiza automáticamente los documentos en grupos homogéneos (clusters) Clasificación y jerarquización Aplicaciones : Propuesta de un plan de clasificación Cartografía documental Análisis de fondos documentales

41 Ejemplo  

42 Categorizer Clasifica automáticamente documentos internos: artículos, informes, s, CVs en categorías predefinidas Aplicación : categorización de fondos documentales, alimentación de bases de conocimiento, rutaje documental Calidad y fiabilidad: - Funciona a partir de una base de aprendizaje - Cálculo de la similitud a partir de vectores semánticos

43 Caso real cedido por TEMIS para su demostraciónCRM Renault Unused data Feedback sampling 90% knowledge lost Before… 10,000 customer reports per month …now Automatic Problem Identification Daily reporting Design Department Quality Maintenance Factory X 100 Caso real cedido por TEMIS para su demostración

44 Caso real cedido por TEMIS para su demostraciónClasificación NOVARTIS No personalization Huge amount to read …now Competitive Information Analyst Before… News Medical Real time Newsfeed Pfizer Bayer Fusion Focused alerts Licensing Approval genetic disease Analyze Caso real cedido por TEMIS para su demostración

45 Text Mining: aplicacionesAnálisis de Información estructurada Text Mining KM Vigilancia e Inteligencia CRM Análisis de Información desestructurada RRHH Resúmenes y dossieres