1 Non-Standard-DatenbankenSemistrukturierte Datenbanken Prof. Dr. Ralf Möller Universität zu Lübeck Institut für Informationssysteme

2 Integration verschiedener Datenquellen

3 Semistrukturierte Datenbanken: ÜberblickDatenspezifikationssprache XML Gedacht zur Datenkommunikation und –integration Begriff des XML-“Dokuments“ Strukturprüfung möglich (DTD, XML-Schema) Repräsentation von XML-Daten in SQL möglich? Anfragesprache XPath Beispiele Übersetzung nach SQL möglich? Anfragesprache XQuery Einige Aspekte der optimierten Anfragebeantwortung

4 Acknowledgment: XPath-Präsentationen basieren auf Darstellungen von Dan Suciu, Univ. Washington Anpassungen für XQuery 3.0 sind erfolgt

5 Beispiel für ein Dokument Addison-Wesley Serge Abiteboul Rick Hull Victor Vianu 1995 Freeman Jeffrey D. Ullman 1998

6 Datenmodell für XPath bib Wurzel Ausführungs- anweisung KommentarDas Wurzelelement book book publisher author price=“55” Addison-Wesley Serge Abiteboul

7 XPath W3C-Standard: http://www.w3.org/TR/xpath (11/99)Wird in anderen W3C-Standards verwendet XSL Transformations (XSLT, XMLHTML) XML Link (XLink, Verweise in XML Dokumenten) XML Pointer (XPointer, XPath in URIs) XML Query (XQuery) Ursprünglich Teil von XSLT

8 XPath: Einfache Ausdrücke/bib/book/year Ergebnis: 1995 1998 /bib/paper/year Ergebnis: empty (keine Papiere in der bib)

9 XPath: Hülloperator ////author Ergebnis: Serge Abiteboul Rick Hull Victor Vianu Jeffrey D. Ullman /bib//first-name Ergebnis: Rick

10 XPath: Platzhalter Hull //author/* Ergebnis: Rick Hull * passt auf jedes Element

11 XPath: Attributknoten Ergebnis: “55” @price steht für eine Referenz auf den Attributwert

12 XPath: Qualifizierung/bib/book/author[first-name] Ergebnis: Rick Hull

13 XPath: Funktionen /bib/book/author/text() Ergebnis: Serge AbiteboulVictor Vianu Jeffrey D. Ullman Rick Hull tritt nicht auf, da firstname, lastname vorhanden /bib/book/*[name() != author] Zugriff auf Namen eines Knotens mittels Funktion name()

14 XPath: Weitere Qualifizierungen/bib/book/author[firstname][address[//zip][city]]/lastname Ergebnis: … …

15 XPath: Weitere Qualifizierungen< “60”] < “25”] /bib/book[author/text()]

16 XPath: Zusammenfassungbib passt auf ein bib Element * passt auf beliebiges Element / passt auf das root Element /bib passt auf bib Element unter root bib/paper passt auf paper in bib bib//paper passt auf paper in bib, in jeder Tiefe //paper passt auf paper in jeder Tiefe paper|book passt auf paper oder book @price passt auf price Attribut passt auf price Attribute in book, in bib passt auf …

17 XPath: Weitere DetailsEin Xpath-Ausdruck, p, beschreibt eine Beziehung zwischen: Einem Kontextknoten (Ausgangspunkt), und Knoten in der Antwortmenge (bzw. Antwortsequenz) Anders ausgedrückt: p denotiert eine Funktion: S[p] : Knoten -> 2Knoten Beispiele: author/firstname . = self .. = parent part/*/*/subpart/../name = part/*/*[subpart]/name

18 Das Wurzeldokument und die Wurzel 1 2 bib ist das “Wurzeldokument” Die Wurzel ist über bib /bib = ergibt das Wurzeldokument / = ergibt die Wurzel Warum? Es gibt Elemente neben (Kommentar usw.)

19 XPath: Weitere DetailsNavigation entlang 13 Achsen möglich: ancestor ancestor-or-self attribute child descendant descendant-or-self following following-sibling parent .. self preceding preceding-sibling namespace Notation navigationsrichtung::

20 XPath: Weitere DetailsBeispiele: child::author/child::lastname = author/lastname child::author/descendant::zip = author//zip child::author/parent::* = author/.. child::author/attribute::age = Was bedeuten folgende Ausdrücke? paper/publisher/parent::*/author /bib//address[ancestor::book] /bib//author/ancestor::*//zip

21 XPath: Und noch weitere Detailsname() = Name des aktuellen Knotens /bib//*[name()=book] identisch zu /bib//book Was bedeutet dieser Ausdruck? /bib//*[ancestor::*[name()!=book]] Navigationsachsen erhöhen die Ausdruckskraft!

22 Non-Standard-DatenbankenSemistrukturierte Datenbanken XML-Dokumentstruktur XPath-Anfragesprache XQuery Im nächsten Teil werden wir uns die letzten 2 Themen erarbeiten XPath Implementierung Prof. Dr. Ralf Möller

23 Unser Beispieldokument noch einmal Addison-Wesley Serge Abiteboul Rick Hull Victor Vianu 1995 Freeman Jeffrey D. Ullman 1998

24 Dokumenttypdefinitionen (DTDs)Beschreibung von akzeptieren Strukturen Kontextfreie Grammatik Siehe auch XML-Schema (ausdrucksmächtiger als DTDs) https://www.w3.org/QA/2002/04/valid-dtd-list.html

25 Speicher- und Zugriffstechniken für XMLVerwendung bestehender Techniken Abbildung auf relationale Datenbanken Verwendung des physischen Datenmodells Verwendung der Zugriffsoperatoren und deren Optimierungstechniken Abbildung des XML-Datenmodells auf relationale Schemata notwendig Entwicklung neuer Techniken Neues physisches Datenmodell Ausnutzung neuer Hardware-Strukturen Say we will talk about relational only A full version of these slides is available at

26 XML-Daten in Relationalen DatenbankenVerwendung eines generischen Schemas D. Florescu, D. Kossmann, Storing and Querying XML Data using an RDBMS, Bulletin of the Technical Committee on Data Engineering, 22(3):27-34, September 1999. Verwendung von DTDs zur Herleitung eines Schemas J. Shanmugasundaram, K. Tufte, C. Zhang, H. Gang, DJ. DeWitt, and JF. Naughton Relational databases for querying xml documents: Limitations and opportunities. Proceedings of the 25th International Conference on Very Large Data Bases, 1999. Herleitung eines Schemas aus gegebenen Daten A. Deutsch, M. Fernandez, D. Suciu, Storing semistructured data with STORED, ACM SIGMOD Record 28 (2), , 1999. Verwendung einer sog. Pfad-Relation M. Yoshikawa, T. Amagasa, S. Takeyuki, S. Uemura, XRel: A Path-Based Approach to Storage and Retrieval of XML Documents using Relational Databases, ACM TOIT Volume 1 (1), , 2001.

27 Generisches Schema: Ternäre RelationRef( Source, Label, Dest ) Val( Node, Value ) Ref Val &o1 paper &o2 year title author author &o3 &o4 &o5 &o6 “The Calculus” “…” “…” “1986” [Florescu, Kossman, 1999]

28 XML in ternären Relationen: AufgabeRef( Source, Label, Dest ) Val( Node, Value ) Schema für SQL: XPath: SQL: /paper[year=“1986”]/author

29 Generisches Schema: Ternäre Relation?In der Praxis werden mehrere Tabellen benötigt: Sonst Tabellen zu groß Sonst Datentypen nicht unterstützt Quintessenz: Abbildung auf SQL nicht trivial RefTag1( Source, Dest ) RefTag2( Source, Dest ) … IntVal( Node, IntVal ) RealVal( Node, RealVal )

30 DTDs zur Herleitung eines SchemasDTD (Kontextfreie Grammatik) Relationales Schema: Paper( PID, Title, Year ) PaperAuthor( PID, AID) Author( AID, FirstName, LastName ) [Shanmugasundaram et al siehe oben] Siehe auch: V. Christophides, S. Abiteboul, S. Cluet, M. Scholl, From structured documents to novel query facilities, ACM SIGMOD Record 23 (2), , 1994

31 Aus DTD hergeleitetes Schema: AufgabePaper( PID, Title, Year ) PaperAuthor( PID, AID ) Author( AID, FirstName, LastName ) Schema für SQL: XPath: SQL: /paper[year=“1986”]/author

32 Aus Daten hergeleitetes Schema(Große) XML Dokumente Kein Schema bzw. DTD Problem: Finde ein “gutes” relationales Schema NB: Selbst wenn DTD gegeben ist, kann die Ausdrucksstärke zu gering sein: Z.B. wenn eine Person 1-3 Telefonnummer hat, steht trotzdem: phone* [Deutsch, Fernandez, Suciu 1999]

33 Aus Daten hergeleitetes Schemapaper author title year fn ln Paper1 Paper2

34 Aus Daten hergeleitetes Schema: AufgabePaper1( fn1, ln1, fn2, ln2, title, year ) Paper2( author, title ) Schema für SQL: XPath: SQL: /paper[year=“1986”]/author

35 Pfad-Relations-MethodeSpeicherung von Pfaden als Zeichenketten Xpath-Ausdrücke werden durch SQL like umgesetzt (vgl. auch contains) Das Prozentzeichen '%' steht für eine beliebige Zeichenkette mit 0 oder mehr Zeichen SELECT * FROM Versicherungsnehmer WHERE Ort LIKE '%alt%'; Der Unterstrich '_' steht für ein beliebiges einzelnes Zeichen, das an der betreffenden Stelle vorkommen soll. [M. Yoshikawa, T.Amagasa, T.Shimura, S.Uemura 2001]

36 Pfad-Relations-MethodepathID Pathexpr 1 /bib 2 /bib/paper 3 /bib/paper/author 4 /bib/paper/title 5 /bib/paper/year 6 /bib/book/author 7 /bib/book/title 8 /bib/book/publisher Path Ein Eintrag für jeden vorkommenden Pfad Annahme: Nicht zu viele verschiedene Pfadbezeichner notwendig

37 Pfad-Relations-MethodeElement NodeID pathID ParentID 1 - 2 3 4 5 6 7 8 . . . Eine Eintrag für jeden Knoten in der Datenbasis Recht große Tabelle (Baum der Höhe h hat max. 2h Blätter)

38 Pfad-Relations-MethodeNodeID Val 3 Smith 4 Vance 5 Tim 6 Wallace 7 The Best Cooking Book Ever 8 2 . . . Val text() Ein Eintrag für jedes Blatt in der Datenbasis und jedes Attribut Recht große Tabelle

39 Pfad-Relations-Methode: AufgabeSchema wie oben vereinbart XPath: SQL: /bib/paper[year=“1986”]//figure

40 Motivation Können wir die Anzahl der IO-Operationen reduzieren?Können wir // mit relationalen Techniken besser unterstützen? Bereichsindex (D-Labeling) Pfadindex (P-Labeling) Können wir die Anzahl der IO-Operationen reduzieren? Können wir Join-Operationen optimieren?

41 D-Beschriftung: Dynamische Intervallkodierungbooks book title section figure description “The lord of the rings …” “Locating middle-earth” “A hall fit for a king” “King Theoden's golden hall” (1, 20000, 1) (6, 1200, 2) (10,80,3) (81, 250,3) ... (100, 200,4) Beschriftung (Start, Ende, Ebene) kann verwendet werden, um Vorgänger-Nachfolger-Beziehungen in einem Baum zu entdecken D. DeHaan, D. Toman, M. Consens, and M.T. Ozsu. A comprehensive XQuery to SQL translation using dynamic interval encoding. In Proceedings of SIGMOD, 2001 J. Celko. Trees, Databases and SQL. DBMS, 7(10):48–57, 1994

42 D-Beschriftung: AufgabeBook( BID, Title, Year, Start, Ende, Ebene ) Author( AID, FirstName, LastName Start, Ende, Ebene ) Schema: XPath: SQL: /book//author

43 Aufgabe Wozu dient die Ebenen-Angabe?Book( BID, Title, Year, Start, Ende, Ebene ) Author( AID, FirstName, LastName Start, Ende, Ebene ) Wozu dient die Ebenen-Angabe?

44 Aufgabe /book/author Wozu dient die Ebenen-Angabe?Book( BID, Title, Year, Start, Ende, Ebene ) Author( AID, FirstName, LastName Start, Ende, Ebene ) Wozu dient die Ebenen-Angabe? Finden von direkten Nachfahren (“Child”-Relation) /book/author

45 Non-Standard-DatenbankenXML-Dokumentstruktur XPath-Anfragesprache XQuery XPath Implementierung Prof. Dr. Ralf Möller

46 XQuery: FLWOR (“Flower”) Ausdrückefor... let... for... let... where… order by… return...

47 Unser Beispieldokument noch einmal Addison-Wesley Serge Abiteboul Rick Hull Victor Vianu 1995 Freeman Jeffrey D. Ullman 1998

48 XQuery: Erstes BeispielFinde alle Buchtitel die nach 1995 publiziert wurden: Ergebnis ist eine Liste von XML-Tags (i.a. Bäumen) for $x in doc("bib.xml")/bib/book where $x/year > 1995 return $x/title

49 XQuery: RETURN konstruiert ErgebnislisteFür jeden Author eines Buches bei “Morgan Kaufmann”, liste alle veröffentlichten Bücher auf for $a in distinct-values (doc("bib.xml") /bib/book[publisher="Morgan Kaufmann"]/author) return { $a, for $t in /bib/book[author=$a]/title return $t } distinct-values = Duplikateliminierung, dargestellt über eine Funktion

50 XQuery: Ergebnis ist eine sog. Liste Jones Smith

51 distinct-values

52 XQuery: Erstes BeispielFinde die Preise aller Bücher als Bücher: Ergebnis: Finde die Preise aller Bücher als Preise: for $x in doc("bib.xml")/bib/book return for $x in doc("bib.xml")/bib/book return 55

53 XQuery: for und let for $x in expr -- bindet $x mit jedem Element in der Liste expr let $x = expr -- bindet $x an die ganze Liste expr Nützlich für gemeinsame Teilausdrücke oder für Aggregationen

54 XQuery: Aggregation {for $p in distinct-values (doc("bib.xml")//publisher) let $b := doc("bib.xml")/bib/book[publisher = $p] where count($b) > 100 return $p } count = eine Aggregatfunktion zur Bestimmung der Anzahl von Elementen einer Liste

55 XQuery: where Finde Bücher, deren Preis größer als der Durchschnitt ist: let for $b in doc("bib.xml")/bib/book where > $a return $b

56 for vs. let for Bindet Knotenvariablen  Iteration letBindet Listenvariablen  ein Wert Zugriff auf Listenelement über Index [.] let $b := /bib/book $b[2]

57 for vs. let Ergebnis: ... ... for $x in doc("bib.xml")/bib/book return $x let $x := doc("bib.xml")/bib/book return $x Ergebnis: ... ... ...

58 Listen in XQuery Geordnete und ungeordnete Listen/bib/book/author = geordnete Liste distinct-values(/bib/book/author) = ungeordnete Liste let $b = /bib/book  $b ist eine Liste $b/author  eine Liste (mehrer Autoren ...) Ergebnis: ... ... ... return { $b/author }

59 Listen in XQuery Was ist mit Listen in Ausdrücken? Let $b = /bib/book Liste von n Preisen *  Liste von n Zahlen *  Liste von n x n Zahlen?? Konsequenz wäre: * +  * + * !! Semantik von arithmetischen Operationen zwischen Sequenzen nicht geklärt XQuery 1.0: An XML Query Language W3C Working Draft 07 June 2001

60 Sortierung in XQuery {for $p in distinct-values (doc("bib.xml")//publisher) order by $p/text() return $p/text() for $b in document("bib.xml")//book[publisher = $p] order by descending return $b/title , }

61 Fallunterscheidungenfor $h in //holding order by $h/title return { $h/title, if ( = "Journal" ) then $h/editor else $h/author }

62 Funktionen in XQuery declare function reverse ($items) { let $count := count($items) for $i in 0 to $count return $items[$count - $i] } Beachte: Zugriff auf Listenelemente über Index [..] XQuery ist Turing-vollständig, also eine Programmiersprache

63 Existenzquantoren for $b in //book where some $p in $b//para satisfiescontains($p, "sailing") and contains($p, "windsurfing") return $b/title

64 Allquantoren for $b in //book where every $p in $b//para satisfiescontains($p, "sailing") return $b/title

65 Xquery: Neue HerausforderungenNicht nur Pfade, sondern zweig-basierte Anfragen identifizieren: Finde das Publikationsjahr aller Bücher über “XML” geschrieben von “Jane Doe”. for $b in doc(“books.xml”)//book $a in $b//author where contains($b/title, ‘XML’) and $a/fn = ‘jane’ and $a/ln = ‘doe’ return     $b/year

66 Non-Standard-DatenbankenSemistrukturierte Datenbanken: Zweiganfragen XPath-Implementierung XPath-Anfragesprache Xquery Implementierung Xquery-Anfragesprache

67 Frühere Ansätze Basierend auf binären Joins [Zhang 01, Al-Khalifa 02].[Zhang 01] C. Zhang, J. Naughton, D. DeWitt, Q. Luo, G. Lohman, On Supporting Containment Queries in Relational Database Management Systems, In SIGMOD 2001, pp , 2001 Frühere Ansätze Basierend auf binären Joins [Zhang 01, Al-Khalifa 02]. Dekomponieren einer Anfrage in binäre Join-Operationen Bestimme binäre Joins in Bezug auf XML-DB Kombination dieser Basis über D-Join Umfassende SQL-Optimierung nötig Zwischenresultate können groß sein SQL-Maschinen überfordert Join mit Values-Tabelle - ((book ⋈ title) ⋈ XML) ⋈ (year ⋈ 2000) (((book ⋈ year) ⋈ 2000) ⋈ title) ⋈ XML Viele andere Möglichkeiten… [Al-Khalifa 02] Shurug Al-khalifa, Jignesh M. Patel, H. V. Jagadish, Divesh Srivastava, Nick Koudas & Yuqing Wu. Structural joins: A Primitive for Efficient XML Query Pattern Matching. In Proc. ICDE, pages 141–152, 2002

68 Binäre strukturelle Joinsauthor fn ln jane doe Query Document Decomposition author-fn 3 author-ln 3 fn-jane 2 ln-doe 2

69 Abbildung auf SQL?

70 BLAS: An Efficient XPath Processing SystemP-Beschriftung basiert auf XPRESS  eine XML Datenkompressionstechnik, die eine arithmetische Kodierung für Pfadbezeichner verwendet Anfragebeantwortung über komprimierten Dokumenten unter Verwendung der D- und P-Beschriftungen Bi-LAbeling based XPath processing System D-Beschriftung (Literatur siehe oben) (minimale Angaben) Aufbau eines B-Baums zur Unterstützung von Vorgänger/Nachfolger-Anfragen J.-K. Min, M.-J. Park, and C.-W. Chung. XPRESS: A queryable compression for XML data. In Proceedings of SIGMOD, 2003. BLAS: An efficient XPath processing system, Y. Chen, S.B. Davidson, Y. Zheng, In Proceedings SIGMOD '04 Proceedings of the 2004 ACM SIGMOD international conference on Management of data, 47-58, 2004

71 Ein Beispieldokument cytochrome c [validated] cytochrome c … Evans, M.J.… 2001 …

72 Graphische Darstellung eines kleinen TeilsproteinDatabase proteinEntry superfamily year “2001“ reference protein refinfo “cytochrome c” author “Evans, M.J.” @title “ The human... ”

73 Definitionen / NotationDie Auswertung eines Pfadausdrucks P (geschrieben [P]) gibt eine Sequenz (Menge) von Knoten in einem XML-Baum T zurück, die über P von der Wurzel des Baums T erreichbar sind. Pfadausdruck, Pfad und Anfrage werden synonym verwendet P ⊑ Q gdw. [P] ⊆ [Q] (Enthaltensein, Containment) Disjoint(P, Q) gdw. [P] ∩ [Q] = ∅ (Disjunktheit)

74 Definitionen (Forts.) Suffix-Pfadausdruck: Ein Pfadausdruck P mit einer Folge von Kind-Schritten (/), ggf. mit einem Nachfolger-Schritt (//) am Anfang Beispiele: //protein/name /proteinDatabase/proteinEntry/protein/name SP(n) : der eindeutige einfache Pfad P von der Wurzel bis zum Knoten n (SP = simple path) Die Auswertung eines Suffix-Pfadausdrucks Q ist die Bestimmung aller Knoten n, so dass SP(n) ⊑ Q

75 D-Beschriftungen Intervalle zur Nachfolgeranzeige: Tripel wird für jeden XML-Knoten n vergeben (n.d1 ≤ n.d2) m ist Nachfolger von n gdw. n.d1 < m.d1 und m.d2 < n.d2 m ist Kind von n gdw. m ist Nachfolger von n und n.d3+1 = m.d3 Verwendung mit Tag-basierter SQL-Tabellen- repräsentation

76 Beispiel: Zweiganfrage (aus XQuery-Anfrage extrahiert)XML-Dokument Anfrage: proteinDatabase Suche alle Knoten proteinDatabase und refinfo proteinEntry protein reference Seien proteinDatabase und refinfo zwei Relationen, die die jeweiligen Knoten repräsentieren, dann D-join ausführen superfamily refinfo “cytochrome c” year @title author “2001” “Evans, M.J.” “ The human... ” select refinfo.title from proteinDatabase pDB, refinfo where pDB.start < refinfo.start and refinfo.end < pDB.end

77 D-Beschriftungen B-Bäume als Index für D-JoinsBeispieldokument (ohne Ebenen) B-Bäume als Index für D-Joins B-Baum für das Beispieldokument Vergleiche hierzu: An Evaluation of XML Indexes for Structural Join, H. Li. M.L. Lee. W. Hsu. Ch. Chen, SIGMODRecord, 33(3), Sept. 2004

78 XB-Tree: Nachfolger und VorgängernavigationVerwendung von Indexen zur Effizienzsteigerung XB-Bäume sind wie R-Bäume und B-Bäume Interne Knoten haben die Form [L:R], sortiert nach L Eltern-Intervall enthält Kinder-Intervalle (10,45) Finde Vorgänger (10,45) Finde Nachfolger ( ) ( )

79 Zugriff über B-Baum: Clustered IndexBlattknoten sind normalerweise nicht in sequentieller Reihenfolge auf der Festplatte gespeichert Dieses muss explizit angefordert werden ( clustered index) Ning Zhang, Varun Kacholia & M. Tamer Özsu. A Succinct Physical Storage Scheme for Efficient Evaluation of Path Queries in XML. In Proc. ICDE, pages 54–63, 2004 R. Bayer and E. M. McCreight, Organization and Maintenance of Large Ordered Indexes, Acta Informatica, vol. 1, no. 3, 1972

80 P-Beschriftungen Kind-Navigation sollte ebenfalls effizient implementiert werden Beispiel /proteinDatabase/proteinEntry/protein/name Bisher: Extrem viele Joins bei naiver SQL-Codierung Aufgabe: Verbesserung der “/”-Auswertung für Pfade Fokus auf Suffix-Pfadanfragen: Beispiel: //protein/name

81 P-Beschriftungen Weise jedem Knoten n eine Zahl p zu und jedem Suffix-Pfad ein Intervall [p1,p2], so dass für Suffix-Pfade Q1 and Q2 gilt: Q1 ⊑ Q2 (Q1 in Q2 enthalten) falls Q2.p1 ≤ Q1.p1 und Q1.p2 ≤ Q2.p2 Ein Knoten n ist in einem Suffix-Pfad Q enthalten falls Q.p1 ≤ SP(n).p1 ≤ Q.p2 Sei Q ein Suffix-Pfad, dann gilt [Q] = {n | Q.p1 ≤ n.p ≤ Q.p2} wobei n.p=SP(n).p1

82 P-Beschriftungen h t t t t p=1 p-𝛥 p p+𝛥 p=max =: m maximal n

83 P-Beschriftung BeispielAnnahme: Längster Pfad: 6 Sei die Maximalanzahl der Auszeichner (Tags) auf 99 festgelegt Wähle maximalen p-Wert m = 1006 = (wir wollen, dass m ≥ (n+1)h ) Jedem Auszeichner (Tags) wird ein Bereich r zugewiesen: ri = 0.01 (bei 99 Auszeichnern also ausreichend viele) P-Beschriftung für jeden Suffix-Pfad bestimmen Beispiel P = /ProteinDatabase/ProteinEntry/protein/name

84 P-Beschriftungen (Beispiel)Anfrage: //protein/name m=1012 99 Auszeichner ri = 0.01 4.04*1010 4.03*1010 /protein/name 4.0301*1010 ... 4*1010 5*1010 /name //proteinEntry/name //protein/name 4.01*1010 4.02*1010 4.03*1010 ... //proteinDatabase/name 4.04*1010 / //protein Database Entry 1010 2*1010 3*1010 4*1010 ... //name 5*1010 1012

85 Zum Nachvollziehen zuhause:Seien n Auszeichner gegeben (t1,t2,….,tn). Weise “/” einen Wert r0 und jedem Auszeichner ti einen Wert ri zu, so dass r0+r1+r2+…….+rn = 1. Setze ri = 1/(n+1). Definiere den Wertebereich der Zahlen in P-Beschriftungen als Integer in [0, m-1], m wird gewählt, so dass m ≥ (n+1)h , wobei h der längste Pfad im XML-Baum ist P-Beschriftung wie folgt: Pfad // ist ein Intervall (P-label) von <0, m-1> zugeordnet Partitionierung des Intervalls <0, m-1> in der Ordnung der Auszeichnungen proportional zum Abschnitt ri von ti, für jeden Pfad //ti und jeden Abschnitt des Kind-Nachfolgers r0. Wir allozieren das Intervall <0, m*r0 -1> für “/” and für jedes ti, so dass (pi+1 - pi)/m=ri und p1/m = r0

86 Zweiganfragen (TWIG-Patterns)Beispielanfrage (ähnlich zu vorigen Daten, beachte aber //) proteinDatabase proteinEntry protein reference // superfamily refinfo “cytochrome c” // year @title author “2001” “Evans, M.J.” “ The human... ” Ergebnis

87 Ein Beispiel Aufspaltung: Verzweigungselimination (B-Eliminierung)p//q  p and //q Q1 proteinDatabase proteinEntry Tiefensuche protein reference Spalte p//q in p and //q Q2 // refinfo Eliminiere Verzweigung falls vorhanden, sonst evaluiere Q mit P-Beschriftungen superfamily year “cytochrome c” @title “2001” Join für Zwischenresultate unter Verwendung der D-Beschriftungen // Q3 author “Evans, M.J.”

88 Ein Beispiel VerzweigungseliminationP[q1,q2….qi]/r  p, //q1, //q2,…..,//qi, //r reference protein refinfo @title Q1 proteinDatabase proteinEntry “2001” year // Q4 Q6 Q5

89 Ein Beispiel Verzweigungselimination proteinDatabase proteinEntry //Q4 proteinDatabase proteinEntry // Q7 Q5 protein // reference refinfo Q8 Q9 // // year @title “2001”

90 BLAS Architektur … Query Engine decomposition Subquery Generator(based on P-labeling) XPath Suffix Path Query … composition D-labeling) Query Translator Ancestor-descendant relationship between the results of the suffix path queries XML P-labelings D-labelings Data values SAX Parser Events P-labeling generator D-labeling Storage Data loader Query result

91 Aufspaltung von AnfragenÜbersetzung einer XQuery-Anfrage nach SQL Anfragedekomposition Aufspaltung einer Anfrage in eine Menge von Suffix-Pfad-Anfragen unter Speicherung von Vorgänger-Nachfolger-Beziehungen SQL-Generierung Bestimmung der P-Beschriftung der Anfrage zur Verwendung in einer SQL-Unteranfrage (Bereichsanfrage) SQL-Komposition Komposition der Teilanfragen auf Basis der D-Beschriftungen und der Vorgänger-Nachfolger-Beziehung

92 BLAS: Verfeinerung 1: Vermeidung von JoinsPush up-Algorithmus: Optimierung der Verzweigungselimination Da p/qi und p/r spezieller als //qi und //r, zerlege p[q1,q2,….,qi]/r  p, p/q1, p/q2, …..p/qi, p/r proteinDatabase Q4 proteinDatabase proteinEntry proteinEntry proteinDatabase reference refinfo proteinEntry reference Q5 proteinDatabase refinfo proteinDatabase proteinEntry year reference proteinEntry “2001” refinfo protein @title

93 BLAS: Verfeinerung 2: Vermeidung von JoinsEntfaltungsalgorithmus als Nachfolger-Eliminierung (D-Eliminierung) Ein Beispiel: Q2=/ProteinDatabase/ProteinEntry/protein//superfamily=“cytochrome c” Q21 = /ProteinDatabase/ProteinEntry/protein/classification/superfamily=“cytochrome c” , p//q  p/r1/q, p/r2/q, ….., p/ri/q

94 Neuer Ansatz: Holistische JoinsBearbeitung der gesamten Anfrage in 2 Schritten: Produziere “garantierte” Teilergebnisse in 1. Schritt Kombiniere (merge join) Teilergebnisse Ziel: Teilergebnisse kleiner als Endergebnis. Wunsch: Nutze Indexe Nicolas Bruno, Nick Koudas, Divesh Srivastava, Holistic twig joins: optimal XML pattern matching, In Proceedings of the 2002 ACM SIGMOD international conference on Management of data (SIGMOD '02), pp , 2002

95 Datenstrukturen Assoziiere mit jedem Knoten q in einer AnfrageEinen Strom Tq mit den Positionen der Elemente, die zu q korrespondieren, in aufsteigener Links-Ordnung Einen Keller Sq mit einer kompakten Kodierung von partiellen Lösungen (Keller sind “verkettet”)

96 PathStack Beispiel 1 Anfrage Keller Ausgabe Dokument Ströme TA: A1, A2TB: B1, B2 TC: C1 C1 B2 A2 C1 B2 A1 C1 B1 A1 B2 A2 C1 B1 A1

97 PathStack Beispiel 2 Theorem: PathStack bestimmt Anfrageergebnisse korrekt in O(|input|+|output|) I/O- und CPU-Schritten.

98 Zweiganfragen Naïve Adaptation von PathStack.Bearbeite jeden Pfad isoliert Kombiniere Zwischenergebnisse (merge join) Problem: Viele Zwischenergebnisse sind nicht Teil der endgültigen Antwort

99 PathStack Anfrage Dokument 2 2 author fn ln jane doe Dekompositionauthor-fn-jane 2 author-ln-doe 2

100 TwigStack Streams Stacks author fn ln jane doe Query DocumentAllauthors author fn ln jane doe author1 author2 author3 fn1 ln1 fn2 ln2 fn3 ln3 Query jane1 poe john doe1 jane2 doe2 Streams Ta: a1, a2, a3 Tfn: fn1, fn2, fn3 Tln: ln1, ln2, ln3 Tj: j1, j2 Td: d1, d2 Document Stacks 1 -> (j2, fn3, a3) d2 J2 ln3 fn3 a3 2 ->(d2, ln3, a3)

101 TwigStack Query 1 1 author fn ln jane doe Document Decompositionauthor-fn-jane 1 author-ln-doe 1

102 Analyse von TwigStack Theorem: TwigStack bestimmt Anfrageergebnisse korrekt in O(|input|+|output|) I/O- und CPU-Schritten für Vorgänger/Nachfolger-Beziehungen

103 Zusammenfassung Holistische Pfad-Join-Algorithmen sind unabhängig von der Größe der Zwischenergebnisse der strukturellen binären Joins TwigStack generalisiert PathStack für Zweig-Anfragen XB-Bäume integriert in TwigStack

104 Weitere Arbeiten: AnfrageoptimierungAutomatische Selektion von Indizierungstechniken Beda Christoph Hammerschmidt, KeyX: Selective Key-Oriented Indexing in Native XML-Databases, Dissertation, IFIS Universität Lübeck, Akademische Verlagsgesellschaft Aka GmbH, DISDBIS 93, 2005 Christian Mathis, Storing, Indexing, and Querying XML Documents in Native XML Database Management Systems, Dissertation, Universität Kaiserslautern, 2009 Erfüllbarkeits- und Enthaltenseins-Tests unter Berücksichtigung von XML-Schema-Spezifikationen Jinghua Groppe, Speeding up XML Quering: Satisfiability Test & Containment Test of XPath Queries in the Presence of XML Schema Definitions, Dissertation, IFIS Universität Lübeck, dissertation.de: Verlag im Internet GmbH, 2008

105 XML in verteilten Systemen (IFIS / ITM)Neue Optimierungstechniken für XML-Anfragen bei Datenverteilung in großen Sensornetzwerken (Kommunikation energieaufwändig) Caches in der Nähe von Datenquellen zur Vermeidung von Kommunikation und Verifikation der Cache-Kohärenz bei nicht-zuverlässigen Kommunikationskanälen Nils Höller, Efficient XML Data Management and Query Evaluation in Wireless Sensor Networks, Dissertation IFIS Universität Lübeck, (vgl. auch das IFIS/ITM-Projekt AESOP‘s TALE)

106 Hauptansätze zur XQuery-ImplementierungAbbildung auf SQL Beispiel: BLAS Spezielle Datenstrukturen und Algorithmen Beispiel: Holistic Twig Joins

107 Nicht nur TWIG-Ausdrücke…for $b in //book where some $p in $b//para satisfies contains($p, "sailing") and contains($p, "windsurfing") return $b/title

108

109 Non-Standard-DatenbankenZusammenfassung und Ausblick XQuery Anfragespace XQuery- Implementierung Phrasale Anfragen Volltextindizierung Einfache Anfragen