1 Algorytmy i Struktury Danych Typy algorytmówWykład 3 Prowadzący: dr Paweł Drozda
2 Plan wykładu Brute force Rekurencje Metoda zachłannaProgramowanie dynamiczne dr Paweł Drozda
3 Brute force Sukcesywne sprawdzanie wszystkich kombinacji, aż do rozwiązania problemu Zazwyczaj nieoptymalna, prosta do implementacji Ogromna złożoność obliczeniowa Przykłady: Łamanie hasła Znajdowanie pary punktów najmniej odległych Wyszukiwanie wzorca w tekście dr Paweł Drozda
4 Wyszukiwanie wzorca w tekście – brute forceProblem Poszukiwanie wzorca długości M znaków w tekście o długości N znaków Rozwiązanie Indeksy i, j oznaczają miejsce poruszania się po wzorcu i po tekście Jeśli znajdziemy początek taki sam porównujemy kolejne znaki, aż do znalezienia znaku niezgodnego – przesunięcie początku przeszukania w tekście o 1, bądź do momentu przejścia całego wzorca – zwrócony zostanie indeks początku wzorca w tekście Po przejściu całego tekstu bez znalezienia wzorca – zwracany komunikat o niepowodzeniu przeszukania dr Paweł Drozda
5 Wyszukiwanie wzorca - implementacjaSzukaj (string wzorzec, string tekst){ int i=0, j=0; while (i
6 Rekurencje Przykład wprowadzający Cechy algorytmu rekurencyjnegoDziecko rozrzuciło klocki – musi je pozbierać do pudełka zadanie polega na włożeniu po jednym klocku do pudełka do momentu aż wszystkie klocki znajdą się w pudełku Cechy algorytmu rekurencyjnego zakończenie algorytmu jasno określone większy problem rozbity na problemy elementarne dr Paweł Drozda
7 Rekurencje – ilustracjaProblem Dla tablicy n liczb określić czy istnieje liczba x Rozwiązanie Weź pierwszy niezbadany element tablicy n-elementowej Jeśli jest to x wypisz sukces i zakończ W przeciwnym przypadku zbadaj pozostałą część tablicy Gdy po przejściu całej tablicy nie został znaleziony x wypisz porażka dr Paweł Drozda
8 Rekurencje – przykładowa implementacja#include
9 Analiza algorytmu Zakończenie programuElement odnaleziony Przekroczenie zakresu tablicy Duży problem rozbity na problemy elementarne Z tablicy o wymiarze n schodzimy do tablicy o wymiarze n-1 Instrukcja porównania dr Paweł Drozda
10 Rekurencje - schemat wykonywaniaPrzykład silnia unsigned long int silnia(int x) { if (x==0) return 1; else return x*silnia(x-1); } 3*2! X=0? nie X=0? 2*1! nie 1*0! X=0? nie X=0? 1 tak dr Paweł Drozda
11 Rekurencje – pułapki (1)Wykonywanie tych samych obliczeń wiele razy Problem ciągu Fibonacciego f(0)= 1, f(1)=1 f(n) = f(n-1) + f(n-2) f(4) f(3) f(2) f(2) f(1) f(1) f(0) f(1) f(0) dr Paweł Drozda
12 Rekurencje – pułapki (2)Wywoływanie rekurencji w nieskończoność int StadDoWiecznosci(int n) { if (n==1) return 1; else if ((n %2) == 0) // n parzyste return StadDoWiecznosci(n-2)*n;else return StadDoWiecznosci(n-1)*n; } Dla parzystych n – odwołania w nieskończoność dr Paweł Drozda
13 Rozwiązywanie rekurencjiMerge Sort Rozwiązanie Założenie n jest całkowite T(n) jest stałe dla małych n Omówione zostaną 3 rozwiązywania rekurencji i otrzymywania asymptotycznych oszacowań rekurencji
14 Metoda podstawiania czyli: założenie:metoda indukcyjna, stosowana gdy łatwo jest przewidzieć rozwiązanie
15 Metoda podstawiania warunek brzegowy:
16 Metoda podstawiania Zamiana zmiennych
17 Metoda iteracyjna i-ty składnik ciągu: iterowanie kończymy gdy:tu nie musimy zgadywać odpowiedzi i-ty składnik ciągu: iterowanie kończymy gdy:
18 Metoda iteracyjna szereg geometryczny
19 Drzewo rekurencji
20 Drzewo rekurencji
21 Metoda rekurencji uniwersalnejkoszt dzielenia/łączenia a podproblemów rowiązywanych w czasie n/b f(n) jest funkcja asymptotycznie dodatnia f(n) wieksza od n^log(...) -> f(n) równa n^log(...) -> f(n) mniejsza od n^log(...) -> f(n) musi byc wielomianowo wieksza/mniejsza (ze wzgledu na epsilon) jezeli jest wieksza/mniejsza ale nie wielomianowo to nie mozna zastosowac tej metody
22 Metoda rekurencji uniwersalnej
23 Metoda rekurencji uniwersalnejdla dostatecznie dużych n: więc:
24 Metoda zachłanna Główne zastosowanie – problemy optymalizacjiWybór w danej chwili najkorzystniejszy „Nadzieja” otrzymania globalnie optymalnego rozwiązania Przykłady zastosowania: Znajdowanie minimum (maksimum) w tablicy N liczb Ciągły problem plecakowy Kody Huffmana – kompresja danych wykorzystując tablicę częstości występowania znaków dr Paweł Drozda
25 Znajdowanie minimum - implementacjaint min(int tab[]){ int i,minimum=tab[0]; for (i=1; i
26 Problem plecakowy Sformułowanie problemu Problem dyskretnyZłodziej rabujący sklep znalazł n przedmiotów. Każdy z przedmiotów ma pewną wartość i pewną wagę. Problem polega na zmieszczeniu jak najwartościowszego łupu do plecaka mogącego pomieścić pewną liczbę kilogramów Problem dyskretny Każdy przedmiot jest kradziony w całości – część przedmiotu jest bezwartościowa np. księgarnia, sklep monopolowy, skarbiec ze sztabami złota Problem ciągły przedmiot można podzielić – część przedmiotu też ma wartość np. sklep mięsny, odzież na wagę, skarbiec ze złotym piaskiem dr Paweł Drozda
27 Problem plecakowy – przykład (1)Dyskretny waga 15kg wartość 120 zł waga 5kg wartość 60 zł waga 15kg wartość 120 zł waga 10kg wartość 100 zł waga 10kg wartość 100 zł waga 10kg wartość 100 zł waga 5kg wartość 60 zł Metoda zachłanna Rozwiązanie optymalne wartość kg: p1 = 12zł p2=10 zł p3=8 zł dr Paweł Drozda
28 Problem plecakowy – przykład (2)Ciągły waga 10kg wartość 80 zł waga 5kg wartość 60 zł waga 15kg wartość 120 zł waga 10kg wartość 100 zł waga 10kg wartość 100 zł waga 5kg wartość 60 zł wartość kg: p1 = 12zł p2=10 zł p3=8 zł Metoda zachłanna = rozwiązanie optymalne dr Paweł Drozda
29 Programowanie dynamiczneGłówne zastosowanie – problem optymalizacji Podobne do metody „dziel i zwyciężaj” Stosowane gdy podproblemy nie są niezależne Każdy podproblem rozwiązywany tylko raz – wynik rozwiązania zapamiętywany dr Paweł Drozda
30 Etapy programowania dynamicznegoScharakteryzowanie struktury optymalnego rozwiązania Rekurencyjne zdefiniowanie kosztu optymalnego rozwiązania Obliczenie optymalnego kosztu metodą wstępującą Znalezienie optymalnego rozwiązania dr Paweł Drozda
31 Przykład – linie montażowea1,n e1 t1,1 t1,2 x1 e2 t2,1 t2,2 x2 a2,1 a2,2 a2,3 a2,n Dwie linie montażowe – każda z linii ma n stanowisk Na i-tym stanowisku linii 1 jest wykonywana ta sama czynność co na i-tym stanowisku linii 2 Czasy wykonania czynności są różne Czasy e i x są to odpowiednio czas umieszczenia elementu i zdjęcia elementu z linii Czasy t oznaczają czas potrzebny na przeniesienie elementu z jednej linii na drugą dr Paweł Drozda
32 Linie montażowe Sformułowanie problemu Algorytm brute forceWskazanie stanowisk montażowych na obu liniach tak, aby czas montażu był jak najkrótszy Algorytm brute force Dla każdej możliwej ścieżki obliczany jest czas montażu, a następnie wybór najkrótszego czasu Nie do przyjęcia – złożoność obliczeniowa jest nie mniejsza od 2n co dla dużych n jest nie do policzenia w zadawalającym czasie dr Paweł Drozda
33 Linie montażowe – przykład7 9 3 4 8 4 2 2 3 1 3 4 3 4 2 1 2 2 1 2 8 5 6 4 5 7 Rozwiązanie optymalne: linia 1: stanowiska 1,3,6 linia 2: stanowiska 2,4,5 JAK DO TEGO DOJŚĆ??? dr Paweł Drozda
34 Rozwiązanie – programowanie dynamiczne(1)Etap 1 – struktura optymalnego rozwiązania Najszybszy sposób montażu do stanowiska i-tego pierwszej linii: dla i=1 – istnieje tylko jeden sposób dla i>1 – dwa sposoby: przejście ze stanowiska i-1 pierwszej linii – koszt przejścia pomijany Przejście ze stanowiska i-1 drugiej linii – koszt równy t2,n-1 Dla stanowisk i-1 koszt przejścia jest optymalny – Własność optymalnej podstruktury Analogicznie dla stanowiska i-tego drugiej linii Rozwiązanie problemu dla stanowiska i na każdej z linii znalezienie rozwiązania podproblemów stanowisk i-1 dla każdej z linii dr Paweł Drozda
35 Rozwiązanie – programowanie dynamiczne(2)Etap 2 – rozwiązanie rekurencyjne f= min(f1[n]+ x1 , f2[n] + x2) – najkrótszy czas montażu Wartości dla stanowisk 1: f1[1]=e1 + a1,1 f2[1]=e2 + a2,1 Sformułowanie równania dla dowolnego i: f1[i]=min(f1[i-1]+ a1,i, f2[i-1]+ t2,i-1 + a1,i) f2[i]=min(f2[i-1]+ a2,i, f1[i-1]+ t1,i-1 + a2,i) dr Paweł Drozda
36 Rozwiązanie – programowanie dynamiczne(3)Obliczenia funkcja f oznacza optymalne rozwiązanie tabele s1, s2 dla i-tego stanowiska zawierają numer linii z której pochodzi i-1 stanowisko w optymalnym rozwiązaniu f1[1]=e1 + a1,1 f2[1]=e2 + a2,1 for i=1 to n if (f1[i-1]+ a1,i < f2[i-1]+ t2,i-1 + a1,i) f1[i]=f1[i-1]+ a1,i, s1[i]=1 else f1[i]=f2[i-1]+ t2,i-1 + a1,i, s2[i]=2 analogicznie dla drugiej linii if (f1[n]+ x1 < f2[n] + x2) f= f1[n]+ x1, s=1 else f = f2[n] + x2, s=2 dr Paweł Drozda
37 Rozwiązanie – programowanie dynamiczne(4)Etap 4 – optymalne rozwiązanie Odczytanie odpowiednich numerów linii ze zmiennej s oraz z tablic s1, s2 w kolejności od n-tego do pierwszego stanowiska montażu dr Paweł Drozda
38 Problem montażu – rozwiązanie liczbowe7 9 3 4 8 4 2 2 3 1 3 4 3 4 2 1 2 2 1 2 8 5 6 4 5 7 f1[1]=9 f1[2]=min(9+9, )=18, s1[2]=1 f1[3]=20, s1[3]=2 f2[1]=12 f2[2]=min(12+5, 9+2+5)=16, s2[2]=1 f2[3]=22, s2[3]=2 f1[4]=24, s1[4]=1 f1[5]=32, s1[5]=1 f1[6]=35, s1[6]=2 f2[4]=25, s2[4]=1 f2[5]=30, s2[5]=2 f2[6]=37, s2[6]=2 f=38, s=1 numery linii dla poszczególnych wierzchołków od końca: 6-1, 5-2, 4-2, 3-1, 2-2, 1-1 dr Paweł Drozda