1 II EKSPLORACJA DANYCH Przygotowanie danych: rodzaje danychnominalne (nominal) kategoryczne (categorical) porządkowe (ordinal) interwałowe (interval) proporcjonalne (ratio)

2 GIGO II EKSPLORACJA DANYCH Przygotowanie danych: czyszczenie danychW bazach danych znajdują się informacje nieprawdziwe, wprowadzone omyłkowo, zaszumione, itp. GIGO pola, które są przestarzałe lub zbędne rekordy z brakującymi wartościami, punkty oddalone, odstające (outliers) dane w formatach nie nadających się do przetwarzania wartości niezgodne z zasadami lub ze zdrowym rozsądkiem

3 II EKSPLORACJA DANYCH Przygotowanie danych: czyszczenie danychPola, w których zapisane informacje są przestarzałe lub zbędne

4 II EKSPLORACJA DANYCH Przygotowanie danych: uzupełnianie danychBaza danych może zawierać dwa rodzaje niewypełnionych pól: brakujące dane (missing value) puste dane (empty value) Każdy z tych przypadków musi być inaczej potraktowany

5 II EKSPLORACJA DANYCH Przygotowanie danych: uzupełnianie danychProblem brakujących i pustych danych może zostać rozwiązany na wiele sposobów. Wbudowane w komercyjne programy moduły uzupełniania danych są łatwe do zastosowania. Jednak najważniejsze jest to, aby modelujący nie tylko znał wykorzystywaną metodę uzupełniania, jej ograniczenia i niebezpieczeństwa wynikające ze stosowania, ale również, aby mógł wpływać na nią i korygować proponowane rozwiązania.

6 II EKSPLORACJA DANYCH Przygotowanie danych: uzupełnianie danychPowody uzupełniania danych: techniki modelowania nie potrafią poradzić sobie z brakiem danych stosowanie automatycznych technik uzupełniania danych może prowadzić do zniekształcenia cech zbioru modelujący musi znać i kontrolować sposób uzupełniania danych większość automatycznych metod uzupełniania zbiorów gubi informację zawartą w brakujących danych

7 1 2 3 x 5 II EKSPLORACJA DANYCHPrzygotowanie danych: uzupełnianie danych Uzupełnianie danych polega na znajdowaniu wielkości mających zastąpić dane brakujące lub puste. Najlepszym estymatorem (wartością oszacowaną) jest estymator nieobciążony. Estymator jest nieobciążony, jeśli wartość oczekiwana rozkładu estymatora jest równa wartości szacowanego parametru, czyli dana którą mamy zamiar zastąpić brakującą lub pustą daną wprowadzi najmniej lub w ogóle nie wprowadzi zaburzenia do uzupełnianego zbioru. x 5

8 II EKSPLORACJA DANYCH Przygotowanie danych: dane odstającePrzez dane odstające rozumiemy pojedyncze lub bardzo rzadko występujące dane, które lokują się bardzo, bardzo daleko od głównego zbioru analizowanej zmiennej. Czy to jest błąd?

9 II EKSPLORACJA DANYCH Przygotowanie danych: przekształcanie danychOgromne zbiory danych charakteryzują się między innymi wielowymiarowością. Zgromadzone dane obejmują wielkości różnej natury. Przekształcanie danych jest procedurą wstępnej obróbki tych danych mającą na celu umożliwienie ich wzajemnego porównywania i prowadzenie dalszej analizy.

10 II EKSPLORACJA DANYCH Przygotowanie danych: przekształcanie danychZmienne najczęściej mają bardzo różne zakresy. Dla pewnych algorytmów takie różnice przedziałów będą powodować nadmierny wpływ na wyniki. Aby tego uniknąć należy znormalizować dane: normalizacja min - max normalizacja soft max normalizacja z danymi odstającymi normalizacja Z-score (standaryzacja)

11 II EKSPLORACJA DANYCH Przygotowanie danych: normalizacja danych

12 II EKSPLORACJA DANYCH Przygotowanie danych: normalizacja danych

13 II EKSPLORACJA DANYCH Przygotowanie danych: normalizacja danych