1

2 1 INTEGRACIÓN DE SISTEMAS DE INFORMACIÓN Curso Doctorado “Sistemas Informáticos Avanzados” 2004/2005

3 Integración de Sistemas de Información 2 Repositorios Documentos Clusters Altas Prestaciones Servidores de Mapas Motivación BD Públicas (millones de registros) Sitios Web “Reporting”/Análisis ventas BD Corporativas ¡¡ Dominio e intereses comunes !!

4 Integración de Sistemas de Información 3 Ejemplos n Plataformas integradas para Bioinformática n Plataformas integradas para Hospitales n Sistemas de Información Geográfica n Integración de museos virtuales (Hypermuseum) n Comercio Electrónico n Etc.

5 Integración de Sistemas de Información 4 ¡¡ Dominio e intereses comunes !! Repositorios Documentos Clusters Altas Prestaciones Servidores de Mapas Motivación BD Públicas (millones de registros) Sitios Web “Reporting”/Análisis ventas BD Corporativas ¿Cómo obtener el máximo de información de todas las componentes? ¿Cómo crear organizaciones virtuales por encima de ellas?

6 Integración de Sistemas de Información 5 Repositorios Documentos Clusters Altas Prestaciones Servidores de Mapas Motivación BD Públicas (millones de registros) Sitios Web “Reporting”/Análisis ventas BD Corporativas MIDDLEWARE Cliente/Servidor JDBC-ODBC HTTP RMI, CORBA SOAP...

7 Integración de Sistemas de Información 6 Repositorios Documentos Clusters Altas Prestaciones Servidores de Mapas Capas a estudiar BD Públicas (millones de registros) Sitios Web “Reporting”/Análisis BD Corporativas MIDDLEWARE COMPONENTES INTEGRACIÓN/COORDINACIÓN ORGANIZACIÓN VIRTUAL COMPONENTES

8 Integración de Sistemas de Información 7 Organizaciones Virtuales ORGANIZACIÓN VIRTUAL Workflow Unidades Organizativas ProveedoresIntermediariosClientes Perfiles: usuarios, grupos Políticas globales de acceso, seguridad y privacidad

9 Integración de Sistemas de Información 8 Repositorios Documentos Clusters Altas Prestaciones Servidores de Mapas Capas a estudiar BD Públicas (millones de registros) Sitios Web “Reporting”/Análisis BD Corporativas MIDDLEWARE COMPONENTES INTEGRACIÓN/COORDINACIÓN ORGANIZACIÓN VIRTUAL COMPONENTES

10 Integración de Sistemas de Información 9 Integración/Coordinación Dimensiones de estudio en sistemas integrados Autonomía Escalabilidad Heterogeneidad

11 Integración de Sistemas de Información 10 Integración/Coordinación Autonomía Escalabilidad Heterogeneidad Semántica Plataforma Sintáctica

12 Integración de Sistemas de Información 11 Integración/Coordinación Autonomía Escalabilidad Heterogeneidad Semántica Plataforma Sintáctica MIDDELWARE

13 Integración de Sistemas de Información 12 Integración/Coordinación Autonomía Escalabilidad Heterogeneidad Semántica Plataforma Sintáctica

14 Integración de Sistemas de Información 13 Información XML OEM tablas objetos ASCII GIF MP3 WAV datos estructurados texto raw RDBMS ORDBMS Lore OODBMS MM-SRI Sistemas BBDD (universales) ORDBMS(+Extensiones) Información, Modelos de Datos semi-estruct. SGML HTML documentos Recuperación de la Información Nativas (Tamino)

15 Integración de Sistemas de Información 14 Poder expresivo de formatos tablas texto objetos XML SGML HTML RECUBRIMIENTOS

16 Integración de Sistemas de Información 15 Conversiones objetos XML SGML HTML tuplas texto DTD o Esquema DTD o Esquema ¿inferencia? XHTML Esquema ¿extracción?

17 Integración de Sistemas de Información 16 Ejemplos (libro#1,isbn:1231, titulo: ’Tesis’, capítulos: ( (cap#3, titulo:’t1’), (cap#4, titulo:’t2’))) 1231 Tesis t1 t2 Libro: isbn : 1231 titulo : Tesis capitulos: Titulo : t1 Titulo : t2 (isbn:1231, titulo:’Tesis’) Tupla Objeto XML HTML

18 Integración de Sistemas de Información 17 Integración Sintáctica n MODELO DE DATOS COMÚN o CANÓNICO: – Todas las fuentes exportarán sus datos a dicho modelo – Generalmente un modelo conceptual Orientado a Objetos: UML, Ontologías, etc. n MODELO DE ACCESO COMÚN – Todas las fuentes son consultadas a través de un lenguaje común – También Orientado a Objetos: OQL o similar n RECUBRIDORES – Dispondremos de mecanismos de traslación tanto de consultas como de respuestas n ESTRUCTURAS DE DATOS GLOBALES – Directorios, Catálogos de datos, esquemas globales, etc.

19 Integración de Sistemas de Información 18 Integración/Coordinación Autonomía Escalabilidad Heterogeneidad Semántica Plataforma Sintáctica

20 Integración de Sistemas de Información 19 Integración Semántica n Semántica: qué es y para qué sirve cada dato o información. n Diferentes conceptualizaciones utilizadas por diferentes administradores: relativismo. n Se expresa de muchas formas: – Conflictos de nombres (sinónimos, holónimos,...) – Conflictos de tipos (atributos, restricciones, etc.) – Conflictos de datos (objetos iguales?, valores contradictorios?, etc.) – Conflicto de usos (diferentes aplicaciones)

21 Integración de Sistemas de Información 20 ¿Qué es una ontología? n “Una especificación de una conceptualización” (Gruber’93) n Conceptualización: Expresa todo lo que “existe” en el sistema como conceptos y relaciones entre ellos. n Especificación : Formal, sin ambigüedad n Expresión de un consenso

22 Integración de Sistemas de Información 21 ¿Por qué son útiles? n Definen una semántica formal – Permiten el procesamiento de información por máquinas n Permiten una semántica del mundo real – Establecen una terminología por consenso – Unión entre el contenido procesable por máquinas y por humanos

23 Integración de Sistemas de Información 22 Ontologías y Metadatos RECURSOS BD1::Galería.Autorhttp://museo.com/cgi? pintor... Museo1.xml/pintura{id=4}.... URIs BD2::Escultura.obra Artist Artifact Museum String creates title exhibited fname lname Ontología

24 Integración de Sistemas de Información 23 Axiomas lógicosAxiomas estructurales Metadatos TérminosTesaurus Taxonomías Frames UMLO. Descriptivas O. Expresivas Dublin Core WordNet Yahoo! Diccionario Protégé RDF(S) OWL Lite OWL DL OWL Full Ontologías Ligeras Ontologías pesadas WEB-based

25 Integración de Sistemas de Información 24 Ejemplo de ontología Artist Artifact Painting Cubist Flemish Museum Sculpture String Sculptor Painter creates sculpts paints title exhibited fname lname technique paints Guernica Oil on canvas technique title Pablo Picasso lname fname I1I1 I2I2

26 Integración de Sistemas de Información 25 Manejo de metadatos n Ontologías  Esquemas – Expresadas en lenguaje natural – No son sistemas de tipos – Permiten describir datos/información de una manera flexible n Descubriendo metadatos: – Lenguajes específicos: RQL, OWL-QL (solo una ontología) – Buscadores basados en Recuperación de la Información (son aproximados!!)

27 Integración de Sistemas de Información 26 Schema Matching n ¿Cómo asociamos automáticamente los elementos de los esquemas con la ontología o esquema global? n Mezcla, alineamiento o combinación? n Numerosas aproximaciones: – COMA (Do, 2001) – CUPID (Madhavan, 2001) – Artemis (Castano, 2001) – PROMPT-Protégé (Noy, 2001) – S-Match (Giunchiglia, 2004)

28 Integración de Sistemas de Información 27 Schema Matching n Nivel de elemento: – Similitud léxica (e.g. Distancia edición) – Diccionarios (sinónimos, hiperónimos, etc.) – Similitud de tipos (numéricos, tipos nombrados,...) n Nivel de estructura: – Similitud entre árboles o grafos – Similitud taxonómica – Vecinos próximos n Nivel semántico (escasas propuestas) – Integración de axiomas consistente

29 Integración de Sistemas de Información 28 Integración/Coordinación Autonomía Escalabilidad Heterogeneidad Global-as-view Local-as-view Global/Local-as-view

30 Integración de Sistemas de Información 29 Autonomía de componentes n Fuerte relación con heterogeneidad: – A mayor autonomía, más redundancias, heterogeneidades e inconsistencias. – A mayor autonomía, mayor DINAMICIDAD del sistema integrado n Varios aspectos: – Autonomía en el diseño – Autonomía en la administración – Autonomía en el procesamiento de consultas

31 Integración de Sistemas de Información 30 Autonomía de componentes Principales enfoques (Levy 1999): Global as view (GAV). El esquema global se crea a partir de los esquema locales. Local as view (LAV). Los esquemas locales se definen a partir de un esquema global común.

32 Integración de Sistemas de Información 31 Ejemplo GAV estudiante(id,nombre,grado) sigue(sno,id) profesor(sno,sname,dept#) ug(id,nombre,grado,sno) tutor(sno,sname) doctor(id,nombre,titulo) supervisa(sno,id) supervisor(sno,sname,dept) Sg S1S1 S2S2 GAV: estudiante(id, nombre, grado)= {x,y,z |  ug   doctor   doctor  z = ‘phd’} sigue(sno, id)={x, y |  ug   doctor   supervisa} profesor(sno, sname, dept)={x, y, z |  tutor   supervisor   supervisor}

33 Integración de Sistemas de Información 32 Ejemplo LAV estudiante(id,nombre,grado) sigue(sno,id) profesor(sno,sname,dept#) ug(id,nombre,grado,sno) tutor(sno,sname) doctor(id,nombre,titulo) supervisa(sno,id) supervisor(sno,sname,dept) Sg S1S1 S2S2 LAV: S 1 tutor(sno,sname)= {x,y |  profesor   sigue   estudiante  w  ‘phd’}... S 2 doctor(id, nombre, titulo)= {x, y, w |  estudiante  z=‘phd’  w=null}...

34 Integración de Sistemas de Información 33 Pros y contras n GAV no soporta la evolución de los esquemas locales, pero facilita la reformulación de consultas globales a los esquemas locales. n En LAV los cambios del esquema local solo afectan a las reglas de ese esquema. n Pero, en LAV los cambios del esquema global afectan a todas las reglas de los esquemas locales!!, y la reformulación de consultas no es una tarea sencilla..

35 Integración de Sistemas de Información 34 Global/Local as View n El esquema global es una ontología consensuada. n Las fuentes de información se encargan de traducir localmente sus datos/consultas según la ontología de referencia. n Los cambios de los esquemas locales deben ser administrados por las componentes. n La ontología de referencia es invariante. n ¿Lenguaje de consulta global?

36 35 Aproximaciones de SS.II integrados

37 Integración de Sistemas de Información 36 BBDD Federadas/Warehouses Diccionario de Datos Esquema Importado ESQ. EXP. ESQ. EXP. ESQ. EXP. ESQ. EXP. ESQUEMA EXTERNO USUARIOS BDD Esquema Local USUARIOS BDD Esquema Local USUARIOS BDD Esquema Local USUARIOS BDD Esquema Local USUARIOS ESQUEMA EXTERNO H A S

38 Integración de Sistemas de Información 37 Arquitectura I3-DARPA Mediador Intermediario Aplicación Cliente Mediador Intermediario Recubridor XML RDBMS XML.. Interfaces de usuario dinámico diseñado Servicios de Coordinación Servicios de Integración Servicios de conversión Fuentes A E H

39 Integración de Sistemas de Información 38 Fauna del I3-DARPA n Intemediario (Facilitator): son dinámicos. En tiempo de ejecución seleccionan las fuentes y las componentes necesarias para el acceso e integración de los datos. Son útiles para el descubrimiento de nuevos recursos y su incorporación a las aplicaciones. n Mediadores (Mediators): codifican las tareas de consolidación de datos, fusión y análisis. – Descomponen las consultas complejas de las aplicaciones en sub- consultas ajustadas a la semántica y estructura de las fuentes. Planifican estas sub-consultas y las mandan a los recubridores implicados. – Integran los resultados intermedios y, una vez elaborados, los mandan a la aplicación. n Recubridores (Wrappers): transladan las consultas al lenguaje de interrogación de los servidores, y transforman las respuestas en el formato uniforme utilizado en los mediadores.

40 Integración de Sistemas de Información 39 Otras emergentes: GRID n GRID: distribución transparente de procesos computacionales muy costosos. n Organizaciones Virtuales bien definidas y estrictas. n Middleware muy potente: OGSA (Open Grid Services Arquitecture) n Acceso integrado a datos aún pobre (OGSA- DAI) n Integración semántica aún en fase muy preliminar (GRID semántico) A E H

41 Integración de Sistemas de Información 40 Otras emergentes: redes P2P n Redes para compartir recursos entre pares. n Operaciones básicas: – Anuncios en la red (broadcast) – Búsqueda de pares afines (o grupos) – Reunión e intercambio par a par n Alta escalabilidad (redes de miles de nodos) n Alta autonomía (cada usuario decide qué desea compartir y con quién) n Alta heterogeneidad semántica!!. n Redes P2P semánticas: – RDF como lenguajes para buscar y anunciar – Grupos semánticos basados en sus metadatos... A E H

42 Integración de Sistemas de Información 41 ¿qué falta? Autonomía Escalabilidad Heterogeneidad Semántica Plataforma Sintáctica ¿textos e imágenes? ¿miles de ontologías? ¿organizaciones virtuales dinámicas? ¿seguridad, privacidad, etc.? Posible tamaño: la web de contenidos (útiles) actual !!