1 Bazy danych

2 Baza danych pojęcie sięgające wieków informacja – pewien zasóbludzie od zawsze próbują gromadzić informację i wnioskować na jej podstawie komputery – tylko ułatwiają przetwarzanie informacji

3 Informacja ma wartość gdy jest:dokładna (nie za dużo, ani nie za mało) dostępna gdy mamy „zły” sposób poszukiwania informacji możemy nie być w stanie jej odszukać może nam zabraknąć życia! komputer tu nic nie pomoże

4 Baza danych metoda strukturalizacji zarządzania informacjądotyczy fragmentu rzeczywistości i stanowi kolekcję danych część systemu informacyjnego aplikacja bazy danych (oprogramowanie) system informatyczny (sprzęt)

5 Przykładowa baza danych dla diagnostyki

6 Funkcjonalna struktura bazy danych

7 Elementy bazy danych dla diagnostyki

8 Bazy danych często służą do wspomagania procesów zarządzania

9 System zarządzania bazami danych (SZBD) (angSystem zarządzania bazami danych (SZBD) (ang. Data Base Management System, DBMS) SZBD to oprogramowanie służące do zarządzania komputerowymi bazami danych. Systemy baz danych mogą być sieciowymi serwerami baz danych lub udostępniać bazę danych lokalnie Większość obecnie spotykanych systemów działa w trybie klient-serwer, gdzie baza danych jest udostępniana klientom przez SZBD będący serwerem. Serwer baz danych może udostępniać dane klientom bezpośrednio lub przez inny serwer pośredniczący (np. serwer WWW lub aplikacji).

10 Podstawowe pojęcia ze słownika baz danych …Co to jest baza danych ? Rekordy, pola, klucze Co to jest język SQL ? Rodzaje baz danych: plikowe, relacyjne, obiektowe obiektowo-relacyjne sieciowe

11 Cechy bazy danych trwałość (aplikacja powinna działać przez długi okres czasu – dane są przechowywane „latami”) zgodność z rzeczywistością zmiana rzeczywistości musi być uwzględniona w bazie danych

12 Przykład danych do bazyTytuł: Autor: ISBN: Tytuł: Autor: ISBN: Tytuł: Autor: ISBN: Potop H.Sienkiewicz Quo Vadis Pan Tadeusz A.Mickiewicz POLE REKORD BIBLIOTEKA

13 Ujęcie projektowe ... Dane przechowywane w tabeli: Atrybuty TytułAutor ISBN Rok Wydania ... Potop H.Sienkiewicz 23xc4 1970 Quo Vadis 3e45d 1985 Pan Tadeusz A.Mickiewicz 231ws 1990 Rekordy Klucz Pole

14 Przykładowa struktura rzeczywistego rekordu medycznej bazy danych

15 W bazie danych, musimy kontrolować redundancję (powtarzanie się danych) jeden fakt powinien być reprezentowany na jeden sposób problem dostępności i dokładności poszukiwanych danych (czas dostępu oraz nadmiar danych)

16 Posługiwanie się bazą danychwyszukiwanie danych modyfikacja (aktualizacja) danych dopisywanie danych usuwanie danych

17 Problem jednej tabeli ... Tytuł Autor ISBN Rok Wydania PotopH.Sienkiewicz 23xc4 1970 Quo Vadis 3e45d 1985 Pan Tadeusz A.Mickiewicz 231ws 1990

18 Najbardziej popularne są relacyjne bazy danych

19 Relacyjny model danychtwórca E.F.Codd (1970) terminologia matematyczna – baza danych to zbiór relacji relacja jest reprezentowana przez tablicę (kolumny i wiersze) np. dla zadanej kolumny mamy w wierszu odpowiednią wartość

20 Model relacyjny -rys historyczny1970 Najbardziej znany, najczęściej cytowany artykuł E.F.Codd’a z IBM proponujący oparcie się na teorii relacji jako podstawie ideologicznej i teoretycznej architektury, języków i interfejsów systemów zarządzania bazami danych. Koncepcja została określona jako “relacyjny model danych”, RDM. Zażarta walka ideologiczna pomiędzy zwolennikami RDM a zwolennikami koncepcji sieciowych baz danych opartych o propozycję grupy DBTG komitetu CODASYL. Walka toczy się o pieniądze rzędu 100 miliardów $ w skali 20 lat. Intensywny rozwój teorii związanych z RDM. RDM stał się ulubionym konikiem grup teoretycznych na całym świecie (kilka tysięcy publikacji). Intensywny rozwój technologii opartych o RDM. Kariera wielu systemów zarzadzania relacyjnymi bazami danych, takich jak: DB2, Oracle, Ingres, dBase; następnie Informix, Progress, Sybase, i wiele innych. Szerokie zastosowania na skalę przemysłową, ogromna popularność i pieniądze.

21 Model relacyjny - rys historyczny – cd.1975 Pierwsze publikacje na temat języka Sequel, poprzednika SQL, autorów z IBM (Chamberlin). 1986 Pierwszy standard języka SQL zaaprobowany przez ANSI. Wykazuje liczne odstępstwa od RDM. 1989, 1992 Następne standardy SQL. 1987 E.F.Codd, sfrustrowany odstępstwami od RDM, publikuje słynne 12 reguł “prawdziwego” systemu relacyjnego. Żaden z istniejących systemów nie jest “prawdziwym” systemem relacyjnym. Ma rację, ale nikt tym się nie przejmuje. “Prawdziwego” systemu relacyjnego chyba już nigdy nie będzie. Intensywna krytyka wad RDM. Świat naukowy zredukował swoje zainteresowanie RDM praktycznie do zera. Świat komercyjny rozbudowuje systemy bez jakiejkolwiek troski o ideologię RDM.

22 Model relacyjny - podstawowe założeniaBaza danych składa się z prostokątnych tablic, każda o określonej liczbie kolumn i dowolnej liczbie wierszy. Takie tablice sa okreslane jako relacje. Wiersz relacji jest nazywany krotką. Elementy krotek są atomowe (niepodzielne) i są bezpośrednio wartościami. Niedozwolone jest tworzenie wskaźników prowadzących do innych krotek. Niedozwolone jest, aby element krotki był zbiorem wartości. Jest to tzw pierwsza forma normalna (1NF). Porządek krotek nie ma znaczenia. Porządek kolumn również nie ma znaczenia. Jakiekolwiek cechy odnoszące się do reprezentacji relacji lub usprawnienia dostępu do relacji są ukryte przed użytkownikiem.

23 Model relacyjny - podstawowe założenia- cd.Relacje i ich kolumny posiadają nazwy. Nazwy kolumn są określane jako atrybuty. Każda relacja posiada wyróżniony atrybut lub grupę atrybutów określną jako klucz. Wartość klucza w unikalny sposób identyfikuje krotkę relacji. Jakakolwiek inna identyfikacja krotki (np. wewnętrzny identyfikator) jest niewidoczna dla użytkownika. Manipulacja relacjami odbywa się w sposób makroskopowy przy pomocy operatorów algebry relacji lub innego tego rodzaju języka. Przetwarzanie “krotka po krotce” jest niedozwolone.

24 Zalety i wady relacyjnych baz danych

25 Ważnym pojęciem w bazie danych jest dziedzina danychPrzykład: Nie wystarczy stwierdzenie, że dane mają postać liczb całkowitych. Dziedzina precyzuje to dokładniej.

26 Bazy danych - transakcyjne i analityczne

27 Diagram encji i relacji jako jeden z ważnych składników koncepcji relacyjnej bazy danychusers user password function session id time data bases base grants mask privilege

28 Przykładowa struktura fragmentu projektu medycznej bazy danych

29 Proces wprowadzania danych do bazy za pośrednictwem wypełnianych przez użytkownika „formatek ekranowych”.

30 Baza danych na przykładzie Microsoft Accesspłaszczyzna projektanta płaszczyzna użytkownika wyszukiwanie, modyfikacja, dopisywanie, usuwanie danych – w obu płaszczyznach na podstawie mechanizmów płaszczyzny projektanta możliwe jest tworzenie płaszczyzny użytkownika (interfejs użytkownika)

31 Wyszukiwanie danych filtr – doraźnie kwerenda – trwale

32 Relacyjna Baza Danych Autor Książka Wydawnictwo imię tytuł nazwanazwisko ISBN adres opis adres rok wyd ... ...

33 Relacyjna Baza Danych Książka Autor imię nazwisko Henryk SienkiewiczAdam Mickiewicz tytuł ISBN Potop 12234ee4 Quo Vadis 334we2 Pan Tadeusz 23we45

34 Uczeń Dane osobowe imię nazwisko ...... Hobby nazwa opis ..... Ocenyocena opis Przedmiot nazwa opis

35 Rzeczywiste relacyjne bazy danych bywają dosyć rozbudowane

36 W bazie danych może być wyróżniona warstwa aplikacji i warstwa prezentacji

37 Najważniejsze narzędzie baz danych: SQL Structured Query Language, czyli strukturalny język zapytańSQL jest wszechstronnym językiem baz danych. Obejmuje polecenia związane z definiowaniem danych, tworzeniem zapytań oraz aktualizacją danych. Pełni jednocześnie rolę języka DDL i języka DML. Standard SQL umożliwia definiowanie perspektyw dla baz danych, określanie zabezpieczeń i metod uwierzytelniania, definiowanie więzów integralności oraz sterowanie wykonywaniem transakcji.

38 SQL: podstawowy format zdania selectselect [all | distinct] expression {, expression} from table_name [corr_name] {.table_name [corr_name] } [where search_condition1] [group by column {, column}] [having search_condition2] Zapytania SQL moga być bardzo złożone. Semantyka jest dość często niejasna (“SQL puzzles”). Oprócz zdania select SQL wprowadza: zdania definicji danych zdania manipulacji danymi (update, insert, delete ) Mimo to, SQL nie jest pełnym językiem programowania, w związku z czym wymaga: Zanurzenia zdań SQL w uniwersalny język programowania Zdań pośredniczących, które umożliwiają takie zanurzenie

39 SQL: proste zdania selectZakładamy tablice: PRACOWNIK( NR, NAZWISKO, ZAROBEK, NRDZ) DZIAŁ( NRDZ, NAZWA, LOKALIZACJA ) Podaj nazwiska pracowników zarabiających mniej niż 1000: select NAZWISKO from PRACOWNIK where ZAROBEK > 1000 Podaj nazwiska i nazwy działów pracowników pracujących w Radomiu: select P.NAZWISKO, D.NAZWA from PRACOWNIK P, DZIAŁ D where P.NRDZ = D.NRDZ and D.LOKALIZACJA = ‘Radom’ Semantyka Zaczynamy od from: Specyfikujemy tablice do przeszukania oraz ew. ich lokalne synonimy (ściślej: zmienne krotkowe). Tworzymy iloczyn kartezjański tablic. Następnie where: Usuwamy z tablicy lub iloczyny kartezjańskiego takie krotki, które nie spełniają warunku. Na końcu select: Bierzemy z każdej wynikowej krotki to, co jest potrzebne. SQL Na bazie tego prostego pomysłu utworzono gigantyczną odwróconą piramidę (setki stron specyfikacji)

40 Przykład interfejsu użytkownika w klinicznej bazie danych „Neonatologia”

41 Co to jest niezgodność pomiędzy modelem pojęciowym i modelem implementacyjnym?Celem twórcy bazy danych jest uzyskanie jak najmniejszej luki pomiędzy myśleniem o rzeczywistości a myśleniem o danych i procesach, które zachodzą na danych. Mentalna percepcja świata rzeczywistego Model pojęciowy Schemat relacyjnej struktury danych W modelu relacyjnym model pojęciowy jest budowany w oparciu o model encja-związek. Model encja-związek stara się odwzorować świat rzeczywisty, lecz nie może być bezpośrednio zaimplementowany, gdyż relacyjna baza danych na to nie pozwala. W rezultacie: - schemat struktury danych gubi znaczną część semantyki danych, - użytkownik musi kojarzyć dane explicite w zdaniach SQL, co zwiększa ich złożoność i powoduje wzrost czasów wykonania.

42 Niezgodność modelu pojęciowego i relacyjnego(1)Mama Zatrudnia Departament NrD NazwaD Lokacja * Osoba Nazwisko Adres * RokUrodz Pracownik NrPrac Zawód * Wypłaty * Dziecko Pracuje_w Dziecko Szef Tata Ile schematów relacyjnych potrzeba, aby zaimplementować tę strukturę? Departament( NrD, NazwaD ) Lokacja( NrLokacji, NazwaLok, NrD ) Szef( NrD, NrPrac) Pracownik( NrPrac, NrOsoby) PracDept( NrPrac, NrD) Zawód( IdZawodu, NazwaZawodu, NrPrac ) Wypłata ( IdWypłaty,Wysokość, NrPrac ) Osoba( NrOsoby, Nazwisko, RokUrodz ) Adres( NrAdresu, Miejsce, NrOsoby ) Mama( NrOsoby, NrOsoby ) Tata( NrOsoby, NrOsoby ) Czytelna pojęciowa struktura zamieniła się na 11 nieczytelnych schematów relacji Pojawiły się nowe atrybuty - klucze Semantyka wyrażona poprzez liczności została częściowo zgubiona Semantyka dziedziczenia została zgubiona Odtworzenie semantyki - użytkownik musi zrobić explicite poprzez zapytania SQL

43 Niezgodność modelu pojęciowego i relacyjnego(2)Osoba Nazwisko Imię * Adres * Firma Nazwa Miejsce * Zatrudnienie Wypłata * Ocena * FZ PZ Pracownik Zawód * Firma( NrF, Nazwa) Lokal( NrF, Miejsce) Zatrudnienie( NrF, NrP) Pracownik( NrP, NrOs) Oceny( NrOceny, Ocena, NrF, NrP) Dochód( NrDochodu, Wypłata, NrF, NrP) Osoba( NrOs, Nazwisko) Wyszkolenie( Zawód, NrP) Imiona( NrOs, Imię) Adresy( NrOs, Adres)

44 Garby modelu relacyjnegoZ góry ustalony konstruktor typu danych (relacja), rozszerzany ad hoc przez wytwórców systemów relacyjnych. Brak złożonych obiektów. Informacje o pojęciach wyróżnialnych i manipulowalnych w rzeczywistości są rozproszone w krotkach wielu tablic. Skojarzenie tych informacji następuje w zapytaniach SQL, przez co wzrasta ich złożoność oraz czas wykonania (optymalizacja zapytań tylko częściowo to rozwiązuje). Brak wyspecjalizowanych środków do realizacji powiązań pomiędzy danymi. Brak środków do przechowywania danych proceduralnych. Wszelkie informacje wykraczające poza strukturę relacyjną (perspektywy, procedury bazy danych, BLOBy, aktywne reguły,...) są implementowane ad hoc. Brak środków hermetyzacji i modularyzacji: wykroczenie przeciwko zasadom abstrakcji i oddzielenia implementacji od specyfikacji. Brak uniwersalności środków dostępu do danych, powodujący konieczność zanurzenia ich w uniwersalne języki programowania, znacznie niższego poziomu; niezgodność impedancji (impedance mismatch). Niespełnione obietnice przetwarzania makroskopowego (wiele-w-tym-samym-czasie); powrót do niewygodnej techniki jeden-w-tym-samym-czasie. Niespójne mechanizmy wartości zerowych, brak wariantów, brak porządku w relacjach.

45 Obiektowe bazy danych Teza: bazy danych zawsze były obiektowe, chociaż nie realizowały wszystkich pojęć obiektowości, takich jak klasy, metody i dziedziczenie. Podstawowy wyróżnik: trwałe obiekty + identyfikatory obiektów Zmniejszenie dystansu pomiędzy fazami analizy, projektowania i implementacji Zwiększenie poziomu abstrakcji w myśleniu programistów i użytkowników Uwzględnienie informacji proceduralnej (metody) Stworzenie nowego potencjału dla ponownego użycia Docelowa tendencja - ortogonalna trwałość: Programista podczas programowania nie musi nic wiedzieć o bazie danych, operując na jej obiektach tak jak na obiektach/zmiennych programu. Baza danych powinna być niewidoczna (przezroczysta).

46 Co zdarzyło się w systemach po przejściu na technologie obiektowe?Część informacji semantycznej, która tradycyjnie tkwiła w bibliotekach, typach, aplikacjach, modułach została umieszczona i usystematyzowana w ramach klas. Relacyjna struktura aplikacji Obiektowa struktura aplikacji Pasywne dane (relacje) Powiązane obiekty Klasy i typy ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... Typy Biblioteki procedur i funkcji Moduły aplikacyjne Biblioteki procedur i funkcji Moduły aplikacyjne Słowniki, katalogi Procedury bazy danych, perspektywy, reguły Słowniki, katalogi Procedury bazy danych, perspektywy, reguły

47 Dodatkowe zalety baz obiektowychKlasyczne funkcje SZBD: Zarządzanie pamięcią zewnętrzną Zarządzanie schematem Sterowanie współbieżnością Zarządzanie transakcjami Odtwarzalność Przetwarzanie zapytań Kontrola dostępu Do tych funkcji dołożone są: Złożone obiekty Typy definiowane przez użytkownika Tożsamość obiektów Powiązania pomiędzy obiektami Hermetyzacja, interfejsy do obiektów Typy i/lub klasy oraz hierarchia dziedziczenia Przełanianie/przeciążanie/późne wiązanie Kompletność obliczeniowa (pragmatyczna)

48 Manifest obiektowych baz danychM.Atkinson, F.Bancilhon, D.DeWitt, K.Dittrich, D.Maier, S. Zdonik Cechy obowiązkowe złożone obiekty przesłanianie z dynamicznym wiązaniem tożsamość obiektów rozszerzalność hermetyzacja kompletność obliczeniowa dziedziczenie zarządzanie pamięcią pomocniczą typy lub klasy współbieżność, odtwarzanie trwałość udogodnienia dla zapytań ad hoc wielokrotne dziedziczenie, kontrola typów, rozproszenie, transakcje projektowe, wersje Cechy opcyjne paradygmat programowania, metody reprezentacji obiektów, system typów, jednolitość (kompatybilność) Cechy otwarte

49 Mimo licznych zalet obiektowe bazy danych są ciągle w fazie embrionalnej

50 Jak budujemy bazę danych?w sposób przyrostowy - dla każdego elementu osobna baza, potem próba łączenia wada – brak globalnej wizji (redundancja, niespójność) od razu jako zintegrowany system

51 Budując bazę, bierzemy pod uwagę:jeden system (model) reprezentacji danych np. model relacyjny współbieżny dostęp do bazy przez wielu użytkowników ochrona danych niezależność (zależność) określonych danych

52 Aplikacje korzystają z bazy:poprzez model danych zbiór zasad dotyczących struktur danych, warunki wspomagające utrzymanie zgodności z rzeczywistością system zarządzania bazą danych zbiór narzędzi dających dostęp do danych i ich aktualizacji np. wyszukiwanie danych, ochrona i dostęp do danych, konta użytkowników

53 Modelowanie danych specyfikacja wymagań użytkownikówokreślenie modelu systemowego konfiguracja sprzętu i oprogramowania projektowanie bazy ~ 80% czasu tworzenia implementacja bazy ~ 20% czasu tworzenia

54 Zaawansowane funkcje baz danych…Transakcje Replikacja bazy danych Procedury i wyzwalacze [triggery] Klucze obce i więzy integralności Podzapytania Wielowątkowość i blokowanie

55 Popularne serwery sieciowych baz danych

56

57

58 Hurtownia danych

59 Schemat gwiazdy

60 Schemat płatka śniegu

61 Integracja danych

62 Indeksacja bazy danych

63 Sposób rozwijania zapytań do bazy danych

64 Zapytania do bazy danych oraz odpowiedzi

65 Typowa interakcja „klient-serwer” w Internecie

66 Pośrednie sięganie do internetowej bazy danych

67 Model trójwarstwowy sieciowej bazy danych

68 Protokół HTTP

69 Używanie sieciowej bazy danych z wykorzystaniem apletów JavyJDBC = (Java Data Base Connectivity)

70 Dla potrzeb medycyny bardzo często wykorzystywane są multimedialne bazy danych, zawierające obok danych tekstowych i liczbowych także zapisy różnych danych multimedialnych rejestrowanych u pacjenta – w szczególności różnych obrazów medycznych.

71 Najbardziej znanym przykładem są tu bazy PACS

72 Mają one różne zastosowania

73 Przykład japońskiego systemu typu PACS

74 Przykład multimedialnej medycznej bazy danych (mammografia)

75 Przykład indeksacji (tworzenia opisu przypadku) w multimedialnej bazie danych. Opisy takie sporządza się w celu łatwego wyszukiwania danych. Ręczne sporządzanie takich opisów jest bardzo czasochłonne podczas gdy automatyzacja tej operacji jest bardzo trudna.

76 Architektura złożonej hurtowni danych

77 Wyszukiwanie obrazów w multimedialne bazie danych bez angażowania czynnika ich automatycznego rozumienia

78 Różne uproszczone schematy wyszukiwania

79 Przykładowe interfejsy użytkownika stosowane w systemach wyszukiwania obrazów

80 VISUALSEEK

81

82 VIDEOQ

83 Przykład odpowiedzi systemu wyszukiwania obrazów

84 Automatyczna anotacja obrazów na bazie procesu uczenia

85 Podział obrazu na regiony będący kluczem do procesu auto-anotacjiObraz poddawany auto-anotacji Obraz podzielony na regiony do auto-anotacji

86 Różnej jakości automatyczna anotacja przykładowych obrazów