1 Slowly changing dimension w SSISKarol Kuryło
2 Agenda Co to jest wymiar ? Co to jest wymiar SCD ? Typy wymiarów SCDMetody implementacji w SSIS Demo
3 Co to jest wymiar Wymiar pozwala grupować, filtrować i nazywać fakty, np.: Wymiar Pracownik Wymiar Produkt Wymiar Region Wymiar Czas Każdy wymiar posiada atrybuty np. w przypadku wymiaru pracownika mogą to być: Imię Nazwisko Oddział Płeć
4 Co to jest wymiar SCD To wymiary zawierające atrybuty zmieniające się w czasie Wymiary gdzie atrybuty zmieniają się bardzo często, dynamiczne, w regularnych interwałach czasowych to nie jest SCD.
5 Typy wymiarów SCD Typ 0 – bez zmian Typ 1 – zmiany są nadpisywanieTyp 2 – dodanie nowego wiersza, oznaczenie starego Typ 3 – wykorzystanie dodatkowej kolumny w tabeli Typ 4 – dodatkowa tabela z danymi historycznymi Hybrydy
6 SCD Type 1 Nadpisuje stare dane nowymi Brak historii IDNumer_pracownika Imie Nazwisko Miasto Plec 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Kowalska K
7 SCD Type 2 Tworzy nowy rekord Stary oznacza jako nieaktualnyNieograniczona historia ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K 3 Kowalska
8 SCD Type 2 ID Numer_pracownika Imie Nazwisko Miasto Plec DateFromDateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K 3 Kowalska
9 SCD Type 2 & Type 1 ID Numer_pracownika Imie Nazwisko Miasto PlecIsCurrent DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow 3 Kowalska ID Numer_pracownika Imie Nazwisko Miasto Plec IsCurrent DateFrom DateTo 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow 3 Kowalska K
10 SCD Type 3 Wykorzystanie dodatkowych kolumn na dane historyczneHistoria ograniczona do liczby dodatkowych kolumn ID Numer_pracownika Imie Nazwisko Miasto Plec Miasto_archiw 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak Krakow K ID Numer_pracownika Imie Nazwisko Miasto Plec Miasto_archiw 1 U101 Adam Kowalski Warszawa M 2 U102 Barbara Nowak K Krakow
11 Metody implementacji DEMO
12 SCD Wizard Standardowy komponent SSIS WolnyNiewielka możliwość konfiguracji Case sensitive, trailing spaces sensitive Próba ponownego uruchomienia wizarda – zupełnie niszczy dotychczasowy data flow Nie wspiera generowania kluczy podstawowych Domyślnie wstawia NULL w pole daty wygaśnięcia rekordu (zmiana tego i ponowne uruchomienie wizarda, niszczy data flow) Nie można oznaczyć usuniętych wierszy
13 Merge Dużo szybszy niż SCD Wizard ElastycznyMało przejrzysty w konfiguracji
14 Cheksum TransformationDużo szybszy niż SCD Wizard Wspierane algorytmy: Original checksum – depreciated od SQL 2005 RTM .Net Framework Cheksum – różne wartości na systemach 32/64 bitowych CRC32 – domyślny (problemy z unikalnością) Do ściągnięcia:
15 Multiple Hash Dużo szybszy niż SCD WIzard Wspierane algorytmy: MD5,SHA1, SHA256, SHA384, SHA512 Możliwość generowania kilku skrótów w jednej transformacji Do ściągnięcia:
16 Dimension Merge SCD Dużo szybszy niż SCD WizardStanowczo najbardziej rozbudowane narzędzie Szybki, bardzo dużo opcji Na początku może być trudny w konfiguracji Do ściagnięcia:
17 Dziękuję za uwagę!