1 Użytkowanie i programowanie MatlabaMetody optymalizacji i przyspieszania obliczeń. Obliczenia równoległe
2 Metody optymalizacji i przyspieszania obliczeńWektoryzacja obliczeń - Jak najmniej pętli for Prealokacja (rezerwowanie) pamięci dla macierzy/tablic Nie modyfikować w kodzie funkcji dużych zmiennych przekazywanych jako parametry wywołania
3 Metody optymalizacji i przyspieszania obliczeńPisać funkcje niż skrypty Używać load/save zamiast funkcji I/O Stosować numeryczne typy danych m. in. double logical Nie stosować bez potrzeby cell, sparce, structure Stosować skalary logiczne w operatorach if, elseif, while Nie pisać więcej niż jednej operacji w linii Unikać zmiany typu danych dla zmiennej lub kształtu zmiennej Wywoływać wbudowane funkcje Matlaba Stosować małe tablice Dołączać kod skompilowany
4 Metody optymalizacji i przyspieszania obliczeńStosować obliczenia równoległe
5 Kiedy stosować obliczenia równoległe/rozproszoneDługi czas wykonywania obliczeń Duże zbiory danych
6 Obliczenia równoległeMateriały z wykładu Obliczenia równoległe i rozproszone wśrodowisku MATLAB, Miłosz Augustyński, ONT Kraków
7 Obliczenia równoległeObliczenia na wielu rdzeniach/procesorach komputera Obliczenia na klastrze Oblicznia na karcie graficznej
8 Trzy poziomy wykorzystania obliczeń równoległychProsty Umiarkowany Zaawansowany
9 Prosty poziom wykorzystania obliczeń równoległychWłączenie obliczeń równoległych matlabpool open Wiele funkcji w Matlabie ma wbudowane wsparcie dla obliczeń równoległych i rozproszonych Na koniec matlabpool close
10 Przykładowe narzędzia z wsparciem obliczeń równoległychOptimization Toolbox Global Optimization Toolbox Statistics Toolbox Simulink
11 Umiarkowany poziom wykorzystania obliczeń równoległychProste operatory i funkcje w skryptach MATLAB parfor batch spmd pmode
12 Zaawansowany poziom wykorzystania obliczeń równoległychPrzydzielanie klastrów obliczeniowych Definiowanie zadań job, ich wykonywanie i kontrola Definiowanie wątków task MATLAB Distributed Computing Server
13 Rodzaje obliczeń równoległychMateriały z wykładu Obliczenia równoległe i rozproszone wśrodowisku MATLAB, Miłosz Augustyński, ONT Kraków
14 Wykorzystanie licencji przy obliczeniach równoległychParallel Computing Toolbox – 1 licencja: Obliczenia równoległe na maszynie lokalnej (do 8 procesorów) Obliczenia z wykorzystaniem karty grafiki (NVIDIA CUDA) Połączenie z klastrem obliczeniowym MATLAB Distributed Computing Server Osobna licencja na workery Licencjonowanie dynamiczne
15 Obliczenia równoległe - definicjeScheduler – system zarządzający zadaniami Matlabowymi w systemie wieloprocesorowym. Worker – środowisko obliczeniowe Matlaba pracujące na pojedynczym procesorze. Klient – interaktywna sesja Matlaba, z poziomu której definiowane są zadania. Job – zadanie. Task – podzadanie
16 Obliczenia równoległe - definicjeZadanie – job – to program rozwiązujący określony problem. Zadanie rozdzielane jest na równolegle wykonywane podzadania. Podzadanie – task – to fragment programu, np. funkcja, działający na określonym zestawie danych. Podzadania mogą być niezależne. Tworzą program rozproszony – distributed job. Odpowiada to trywialnej równoległości. Podzadania mogą być od siebie wzajemnie zależne. Tworzą program równoległy – parallel job. Programy równoległe pracują najczęściej w trybie SPMD. Wszystkie podzadania są takie same. Różnią się prywatnymi danymi. Podzadania zależne od siebie mogą wymieniać się danymi.
17 Tryby wieloprocesorowe w MATLABTryb interakcyjny matlabpool Tryb wsadowy matlabpool Tryb interakcyjny pmode Tryb równoległy – parallel Tryb rozproszony – distributed
18 Pętla parfor Działanie: clear A clear A for i = 1:8 parfor i = 1:8A(i) = i; end A clear A parfor i = 1:8 A(i) = i; end A Działanie: Zakres zmienności zmiennej sterującej dzielony pomiędzy workerów Dane konieczne dla poszczególnych iteracji są rozsyłane do workerów Każdy worker wykonuje swoją pulę iteracji Wyniki są zwracane do klienta
19 Pętla parfor clear A clear A for i = 1:8 parfor i = 1:8 A(i) = A(i-1);end A clear A parfor i = 1:8 A(i) = A(i-1); end A Iteracje pętli muszą być wzajemnie niezależne! Kolejność wykonywania iteracji jest niedeterministyczna Wykonanie iteracji jest niesynchronizowane. Błąd pojedynczej iteracji powoduje zakończenie działania wszystkich iteracji…
20 Pętla parfor A = zeros(4, 11); parfor i = 1:4 for j = 1:10A(i,j+1) = i+j; end A = zeros(4, 11); parfor i = 1:4 for j = 2:11 A(i,j+1) = i+j-1; end Nie wolno stosować podwójnych indeksowań w wyrażeniach Nie można zagnieżdżać pętli parfor ani spmd Nie można stosować zmiennych globalnych i statycznych Nie wolno stosować wyrażeń break i return Nie wolno używać funkcji typu clear, who, whos, save, load Nie wolno wykonywać operacji graficznych
21 Pętla parfor A = zeros(4, 10); parfor i = 1:4 for j = 1:10 A(i,j)=i+j;end disp(A(i, 1)) A = zeros(4, 10); parfor i = 1:4 v = zeros(1, 10); for j = 1:10 v(j) = i + j; end disp(v(1)) A(i, :) = v; Nie wolno stosować indeksowanej tablicy poza pętlami
22 Pętla parfor A = zeros(4, 10); parfor i = 1:4 for j = 1:5A(i,j) = i+j; end for k = 6:10 A(i, k) = pi; A = zeros(4, 10); parfor i = 1:4 for j = 1:10 if j < 6 A(i, j) = i+j; else A(i, j) = pi; end Nie wolno stosować różnego indeksowania
23 Pętla parfor A = zeros(4, 10); parfor i = 1:4 for j = 1:5A(i,j) = i+j; end for k = 6:10 A(i, k) = pi; A = zeros(4, 10); parfor i = 1:4 for j = 1:10 if j < 6 A(i, j) = i+j; else A(i, j) = pi; end Nie wolno stosować różnego indeksowania
24 Pętla parfor A=zeros(100, 200); parfor i=1:size(A,1) for j=1:size(A,2)A(i,j)=plus(i,j); end A = zeros(100, 200); n = size(A, 2); parfor i=1:size(A,1) for j = 1:n A(i,j)=plus(i,j); end Podpętla loop musi być indeksowana stałą wartością
25 Pętla parfor B = @sin; for ii = 1:100 A(ii) = B(ii); end B = @sin;parfor ii = 1:100 A(ii)=feval(B,ii); end Nie można korzystać z referencji do funkcji
26 Rodzaje zmiennych Loop variables Sliced variables Broadcast variablesReduction variables Temporary variables
27 Loop variables parfor i = 1:n i = i + 1; a(i) = i; end
28 Sliced Variables parfor i = 1:length(A) B(i) = f(A(i)); end
29 Sliced Variables A.q{i,12} A{i,12}.qWymagany pierwszy poziom indeksowania
30 Sliced Variables parfor i = 1:k B(:) = h(A(i),A(i+1)); endB(:) = f(A(i)); C(:) = g(A{i}); end Wymagana jednakowa wartość indeksu
31 Praca domowa parfor i = 1:k B(:) = h(A(i),A(i+1)); endCo napisać, aby można było w wykonywać tą czynność w pętli
32 Sliced Variables A(i+f(k),j,:,3) A(i,20:30,end) A(i,:,s.field1)A(i+k,j,:,3) A(i,:,end) A(i,:,k) Prawidłowe i nieprawidłowe indeksowanie
33 Sliced Variables A(i,:) = []; A(end + 1) = 1;Nie można zmieniać kształtu/rozmiaru
34 Broadcast Variables Jest rozsyłany do wszystkich wątków
35 Reduction Variables Akumulują wartości po wszystkich pętlach
36 Reduction Variables x = 0; parfor i = 1:10 x = x + i; end x x2 = [];parfor i = 1:n x2 = [x2, i]; end x2
37 Reduction Variables X = X .* expr X = expr .* XX = min(X, expr) X = min(expr, X) X = max(X, expr) X = max(expr, X) X = union(X, expr) X = union(expr, X) X = intersect(X, expr) X = intersect(expr, X)
38 Reduction Variables parfor i = 1:n if testLevel(k) A = [A, 4+i]; elseend parfor i = 1:n if testLevel(k) A = [A, 4+i]; else A = [A, r(i)]; end
39 Przykład a = 0 ; r = rand(1,10) ; z = 0 ; c = 4 ; parfor i = 1 : 10a = i ; z = z + i ; b(i) = r(i) ; if i <= c d = 2*a ; end
40 SPMD Single Program Multiple Data – spmd ZastosowanieRównoległe wykonanie tego samego kodu Spmd umożliwia łączenie kodu seryjnego z kodem równoległym Bloki kodu zamknięte w ramy spmd wykonywane są jednocześnie na kilku wątkach Zmienne pochodzące z wnętrza bloku spmd są dostepnew kliencie (zmienne typu Composite) Zastosowanie Długotrwałe programy – spmd pozwala na obliczenia jednoczesne Programy operujące na dużych zbiorach danych – spmd pozwala na rozproszenie danych pomiędzy laby
41 Single Program Multiple Data – spmdSingle Program…Jeden kod programu Uruchamiany na kliencie – część seryjna wykonywana na kliencie, część równoległa wykonywana na zasobach matlabpool …MultipleData Pomimo jednego kodu każdy lab może pracować na innych danych
42 Single Program Multiple Data – spmdspmd(n)
43 Single Program Multiple Data – spmdlabindex zmienna przechowująca numer labu, na którym wykonywany jest program rozróżnia laby wykorzystywana np. do wczytywania różnych danych lub wyliczania zakresu pracy numer labu adresuje komunikację numlabs zmienna przechowująca liczbę wszystkich labów wykonujących dany program
44 SPMD -tablice rozproszoneTablice podzielone pomiędzy zasoby pamięciowe labów Ze strony klienta – DistributedArray matlabpool open local 2 W = ones(6,6); W = distributed(W); spmd T = W*2; end matlabpool close Ze strony labu – CodistributedArray codist = codistributor1d(3, [4, 12]); Z = codistributed.zeros(3, 3, 16, codist); Z = Z + labindex;
45 Pmode
46 GPU Rg = gpuArray.rand(1,4) G = gpuArray(ones(100, 'uint32'));D = gather(G); X = rand(1000); G = gpuArray(single(X)); result = arg1, arg2); gpuDeviceCount gpuDevice(2)
47 Współpraca Matlaba z innymi programamiMatlab plik program Program plik (ASCII, EXEL) Matlab Matlab plik MAT Program (C lub Fortran) Matlab plik program plik Matlab Matlab funkcja (C/C++, Fortran lub Java) Program (C/C++, Fortran lub Java) Matlab
48 Matlab plik program plik MatlabPrzykład m-pliku z funkcją interfejsu do zewnętrznego programu „topar.m”
49 Współpraca z innymi programamiMatlab plik program Program plik (ASCII, EXEL) Matlab Matlab plik MAT Program (C lub Fortran) Matlab plik program plik Matlab Matlab funkcja (C lub Fortran) Program (C lub Fortran) Matlab
50 Rodzaje funkcji bibliotecznychmx* – operacje na typach Matlaba mex* – komunikacja ze środowiskiem Matlaba eng* – korzystanie z mechanizmów Matlaba mat* – operacje na plikach z danymi Matlaba
51 Dodawanie kodu w C i Fortranie – tworzenie MEX-funkcjiStandardowa nazwa funkcji Biblioteka mx* do operacji na tablicach/strukturach Matlabowskich Biblioteka mex* do komunikacji ze środowiskiem Matlaba
52 Operowanie na plikach MATBiblioteka mat* do czytania i pisania do pliku tablic Matlabowskich Biblioteka mx* do operacji na tablicach Matlabowskich
53 Eksploatacja mechanizmu Matlaba z programuBiblioteka mx* do operacji na tablicach/strukturach Matlabowskich Bibloteka eng* do otwarcia „silnika” Matlaba, exportu i importu danych oraz wykonywania polecen w Matlabie
54 Dodawanie kodu w C i Fortranie – tworzenie MEX-funkcjiStandardowa nazwa funkcji Biblioteka mx* do operacji na tablicach Matlabowskich Biblioteka mex* do komunikacji ze środowiskiem Matlaba
55 Standardowa funkcja MEX w Cvoid mexFunction( int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[] ) { /* program ... */ }
56 Standardowa funkcja MEX w Fortraniesubroutine mexFunction(nlhs, plhs, nrhs, prhs) integer nlhs, nrhs integer plhs(*), prhs(*) C program C ...
57 Przykłady biblioteki mx*mxMalloc, mxFree – przydzielanie i zwalnianie pamięci na zmienne (w C ) Typy danych/struktury Matlaba, np. mxArray mxCreateDoubleMatrix, mxCreateDoubleScalar – tworzenie tablicy Matlaba mxDestroyArray – usuwanie tablicy Matlaba mxGetM, mxGetN – określanie rozmiarów tablic mxIsClass, mxIsDouble, itd. – badanie typu danych mxGetPr, mxGetPi, mxGetScalar – dostęp do danych double
58 Przykłady biblioteki mex*mexEvalString, mexCallMatlab – wykonywanie polecenia i funkcji z matlaba mexWarnMsgTxt, mexErrMsgTxt, mexPrintf – wypisywanie komunikatów w Matlabie mexLock – zatrzymanie MEX pliku w pamięci mexSet – ustawienie właściwości np. grafiki mexIsGlobal – badanie czy istnieje dana zmienna globalna mexFunctionName – odczytanie nazwy bieżącej funkcji
59 Kody przykładowych funkcji MEX w Ctrgmtst.c trgtitch.c tstumss6.c (umss6.m)
60 Kompilacja MEX funkcjiMożna stosować własny kompilator powszechny kompilator, np. Visual C++, Borland C, Watkom Matlab posiada własny kompilator. Wywoływany poleceniem mex
61 Kompilator Matlaba Kompilacja M-plików i tworzenie:kodów źródłowych w C dla MEX plików kodów źródłowych w C i C++ dla samodzielnych programów kodów w C z S-funkcjami dla Simulinka pluginów EXEL-a obiektów COM