1 INSTRUMENTE UTILIZATE PENTRU INTEGRAREA DATELORCursul 6
2 Agenda Sisteme de gestiune a bazelor de dateSisteme de gestiune a depozitelor de date Instrumente pentru federalizarea datelor Instrumente pentru migrarea datelor
3 1. SGBD un ansamblu complex de programe care asigură interfaţa între o bază de date şi utilizatorii acesteia. Rolul unui SGBD a defini şi descrie structura BD, printr-un limbaj propriu specific, conform unui anumit model de date; a încărca/valida datele în BD respectând restricţiile de integritate impuse de modelul de date utilizat; a realiza accesul la date pentru diferite operaţii (consultare, interogare, actualizare, editare situaţii de ieşire), utilizând operatorii modelului de date; a întreţine BD cu ajutorul unor instrumente specializate (editoare, utilitare (shells), navigatoare, convertoare etc.); a asigura protecţia BD sub aspectul securităţii şi integrităţii datelor.
4 Exemple de SGBD Oracle DB2 Informix Paradox MySQL Progress SQL ServerIngress II MS Access Visual FoxPro
5 Noi tipuri de baze de dateBaze de date NoSQL Baze de date in-memory
6 2. Instrumente de gestiune DWOracle Data Integrator SAP BI
7 Piata instrumentelor BI
8 Oracle Data Integrator
9 Oracle Data Integrator ODIOracle Data Integrator ofera o tehnologie Extract Load and Transform (ELT) care imbunatateste performanta si reduce costurile de integrare a datelor. instrument performant de transfer, transformare si sincronizare a datelor intre sisteme informatice prin programe in timp real, in mod sicron si asincron; design modularizat, inovativ, conectivitate cu toate marile baze de date, aplicatii datawarehouse si aplicatii analitice
10
11 Knowledge Modules componente ale tehnologiei Oracle Data Integrator Open Connector instruite sa proceseze un anumit set de task-uri pe o anumita tehnologie sau set de tehnologii RKM (Reverse Knowledge Modules) – pentru reverse engineering al modelelor de date pentru o anumita tehnologie LKM (Loading Knowledge Modules) – pentru a extrage date din tabelele sursa ale bazei de date si alte sisteme( fisiere, middleware, mainframe) JKM (Journalizing Knowledge Modules) – folosite pentru a crea un log al modificarilor de date (insert, update si delete) a bazelor de date sursa pentru a contoriza modificarile IKM (Integration Knowledge Modules)) – pentru a incarca date in tabelele tinta CKM (Check Knowledge Modules) – pentru a verifica integritatea constrangerilor SKM (Service Knowledge Modules) – pentru a genera cosul necesar pentru crearea serviciilor de date
12 Mod de functionare In faza de design: se va alege o interfata si pentru fiecare dintre etapele ei (incarcare, verificare, etc) se vor specifica regulile functionale (mapari, constrangeri, etc.) si modulele de cunoastere care se vor folosi. In faza de RUN : ODI va folosi regulile functionale, KM-urile, optiunile KM-urilor si metadate continute in Repository(modele, topologii) pentru a genera automat un set de taskuri pentru a procesa jobul definit. Taskurile includ conexiune, managementul tranzactiei si codul adecvat pt task
13 SAP BI
14 SAP Netweaver
15 SAP BI (Business Information Warehouse)Business Content = container ce cuprinde Infocuburi (peste 420), Query-uri (peste 1700), Rapoarte si Roluri utilizator cu specific industrial si functional= solutii preconfigurate pentru diferite industrii Extractori („plug-in“) - extragerea datelor din SAP ERP si incarcarea in SAP BW complet (full extraction) sau partial (delta extraction).
16 SAP Bi arhitectura pe 3 niveleBusiness Explorer: destinat interacţiunii cu utilizatorii de cunoştinţe, prin interfata de raportare şi analiză (Business Explorer) BEx Browser (organizarea foilor de calcul în canale şi clustere) BEx Analyzer (crearea de rapoarte standard, personalizate şi ad hoc). Business Information Warehouse Server: Administrator Workbench: managementul SAP BW. Meta Data Repository (Depozitul de metadate): metadate economice dar şi tehnice. Staging Engine (Motorul pentru scenarii): maparea datelor, coordonează procesul de transpunere în metadate. InfoCube (Infocubul): depozitul central de date, unde sunt gestionate caracteristicile şi indicatorii. Operaţional Data Store (ODS): depozitul central temporar al datelor interogate în cadrul sistemului BW. Procesorul OLAP : analizează datele OLTP agregate. Source Systems: include sursele de date diverse: SAP ERP, sisteme non-SAP, fişiere de date, dar şi sistemul BW Metadate: De unde vin datele Ce transformari li s-au aplicat Descrierea curenta Sistemul de codificare folosit Versiuni, daca exista Indicator de calitate Reguli de securitate Frecventa de actualizare
17 Arhitectura SAP Business Intelligence
18 Integrarea datelor Integrare prin interfete: fisiere text, DB-Link & API. Procesul ETL in BW este greoi, dificil Adesea se prefera alte instrumente ETL IBM DataStage IBM Cognos
19 3. Instrumente de federalizare a datelorCele mai populare SAP BusinessObjects Data Federator; Sybase Data Federation; IBM InfoSphere Federation Server; Oracle Data Service Integrator; SAS Enterprise Data Integration Server.
20 Cele de varf … (2015, Forrester Report)
21 Metode de federalizarefederated views - view-uri create pe mai multe tabele sau surse de date cu ajutorul unor API; utilizate de aplicatii BI sau portaluri (folosind standarde JDBC, ODBC, ADO.NET) data services – ofera posibilitatea de federalizare atat pentru aplicatii SOA, cat si non-SOA data mashups – combinarea virtuala a datelor din diferite surse (rapoarte, dashboard, cuburi, structuri de date) si prezentarea rezultatelor ca obiecte reutilizabile afisate in mod interactiv intr-un browser (standarde deschise REST, SOAP OVER HTTP, JMS ETC). caches – patrare in memoria cache a rezultatelor interogarilor frecvente pt o viteza m. buna; pot fi sincronizate automat periodic virtual data marts – care folosesc abstractizarea pentru a obtine din depozitul de date exact datele pentru care ar fi fost construit un data mart fizic; …
22 4. Instrumente pentru migrarea datelorOracle Migration Workbench Oracle SQL*Loader şi Import/Export Ispirer SQLWays Embarcadero DT/Studio Microsoft DTS
23 Oracle Migration Workbench
24 Oracle SQL*Loader şi Import/Export