1 Zarządzanie danymi biznesowymi za pomocą usług EIM serwera SQL 2012, czyli jak SSIS, MDM i DQS rozwiązują problem błędnych danych Marcin Szeliga

2 Agenda Ograniczenia klasycznego procesu zasilania hurtowni danychZarządzanie zmianami w hurtowni danych przy użyciu usługi SSIS Oczyszczanie danych przy użyciu usługi DQS Oczyszczenie danych jako część procesu ETL Zarządzanie danymi podstawowymi przy użyciu usługi MDS Zasilanie hurtowi danymi wzorcowymi Podsumowanie

3 Klasyczny projekt Business Intelligence Według Matta Massona i Matthew Roche’aJedna wersja prawdy …

4 DEMO Zasilanie hurtowni danych przy użyciu usługi SSIS

5 Klasyczny projekt Business Intelligence Według Matta Massona i Matthew Roche’a70%

6 Rozwiązanie – usługi EIM serwera SQL 2012Pozwalają przygotować dokładne i wiarygodne dane Automatyzują import i eksport danych Ułatwiają centralne zarządzanie danymi Data Quality Services Poprawa, deduplikacja i standaryzacja danych za pomocą baz wiedzy: manualna lub zintegrowana z SSIS Master Data Services Centralne repozytorium danych wzorcowych Integracja z arkuszem Excel Łatwy i szybki import danych Oczyszczanie Zarządzanie Integracja Integration Services Nowy model wdrażania i zarządzania pakietami Funkcjonalność i efektywność

7 Krok 1. Oczyszczenie danych przy użyciu usługi DQSStworzenie bazy wiedzy (DQKB) Dodatkowe informacje gromadzone są podczas oczyszczania danych Domeny reprezentują znaczenie danych Możemy korzystać z własnych baz wiedzy lub baz firm trzecich Oczyszczenie danych Parowanie (deduplikacja) danych Zarządzanie bazami wiedzy

8 Krok 2. Integracja usług DQS i SSISSSIS Data Flow Baza wiedzy Serwer DQS Nowe rekordy Źródło danych Poprawki Pakiet SSIS Przeznaczenie danych Poprawki & sugestie Reguły Dane referencyjne Poprawione rekordy Błędne rekordy

9 DEMO Oczyszczanie danych przy użyciu usługi DQS

10 Krok 3. Przygotowanie danych wzorcowych przy pomocy usługi MDSUsługa zadebiutowała w SQL Server 2008 R2 Wersja 2012 zawiera wiele ulepszeń i nowych funkcji Nowy interfejs WWW oparty o Silverlight Dodatek do arkusza Excel Nowy mechanizm importu danych Nowe widoki (subskrypcje) Cel - zapewnienie spójności danych biznesowych w ramach organizacji

11 Krok 4. Integracja usług MDS i SSISSSIS Control Flow Dane źródłowe Źródło danych Pakiet SSIS Serwer MDS Wersjonowanie Serwer MDS SSIS Data Flow Dane wzorcowe Pakiet SSIS DW Subskrypcje Transformacje

12 DEMO Zarządzanie danymi wzorcowymi przy użyciu usługi MDS

13 Kompletne, aktualne, spójne i wiarygodne daneUsługi EIM serwera SQL 2012 Master Data Services Integration Services Data Quality Services Przeznaczenie – zarządzanie danymi wzorcowymi Centralne repozytorium danych Integracja z usługami DQS i SSIS Interfejs WWW i dodatek do arkusza Excel Główne przeznaczenie – implementacja procesu ETL Wydajna i skalowalna architektura W pełni funkcjonalne środowisko programistyczne Oczyszczenie danych przy użyciu baz wiedzy Poprawienie i deduplikacja danych Integracja z usługą SSIS Kompletne, aktualne, spójne i wiarygodne dane

14 Pytania / kontakt z prelegentemMarcin Szeliga Konsultant i wykładowca | Założyciel SQLEXPERT.pl SQL MVP od 2006 roku Autor książek i artykułów poświęconych serwerowi SQL