1 Machine learning Lecture 6Marcin Wolter IFJ PAN 11 maja 2017 Uporzadkowac Dodac przykłady Deep learning Convolution network Zastosowanie do poszukiwań bozonu Higgsa
2 Deep learning 1 5 10 15 20 25 … … … 1 Duża waga Mała wagaPoszczególne warstwy ukryte uczą się rozpoznawania „cech” - od najprostszych do coraz bardziej złożonych. … … … 1 Duża waga Mała waga Wysyła silny sygnał, jeśli znajdzie ciemny obszar w lewym górnym rogu.
3 Warstwy trenowane są sekwencyjnieTrenuj tę warstwę Potem ta Potem ta Potem ta Na koniec ta
4 Deep Neural Network działa mniej więcej tak...
5 Convolutional NN Rozpoznawanie obrazuJak rozwiązać ten problem i uprościć sieć NN?
6 Convolutional NN Połączyć tylko lokalne obszary, np. 10x10 pikseliDuża redukcja liczby parametrów! Tych samych cech można poszukiwać w różnych miejscach => wytrenujmy wiele różnych filtrów cech i przesuwajmy je po obrazie.
7 Pooling Pooling – (przeważnie max pooling) polega na zastępowaniu odpowiedzi sieci dla każdej pozycji np. przez maximum (albo średnią) dla zadanego obszaru: Redukcja danych Mniejsza wrażliwość na położenie danej cechy.
8
9 SIFT - scale-invariant feature transform, algorytm opublikowany w 1999 roku przez Davida Lowe’a.
10
11
12
13
14
15 Oprogramowanie Biblioteki ConvNet:Cuda-convnet (Alex Krizhevsky, Google) Caffe (Y. Jia, Berkeley, now Google) Torch7 (Idiap, NYU, NEC) Scikit Learn (scikit-learn.org) również umożliwia użycie ConvNets
16 Kilka własności głębokich sieci
17
18 Deep learning Pięknie skaluje się przy dużej liczbie danych.
19
20 Poszukiwanie bozonu Higgsa (symulowane dane CMS)Zmienne niskiego poziomu – 22 zmienne (tu pokazujemy kilka)
21 Poszukiwanie Higgsa Fizycy pracują na dobrze dyskryminujących zmiennych wysokiego poziomu – są one zbudowane na podstawie zmiennych niskiego poziomu i nie zawierają żadnych dodatkowych informacji (7 zmiennych).
22 Poszukiwanie Higgsa Dane: przypadków do nauki, do walidacji Deep NN: 5 warstw, po 300 elementów w każdej
23 Podsumowanie Deep NN znalazła cechy umożliwiające znalezienie bozonu Higgsa lepiej, niż fizycy. Może pozwoli to w przyszłości na automatyzację analiz fizycznych? Czyżby groziło nam bezrobocie???
24 Zadanie zaliczeniowe
25 ATLAS Z→tau tau selectionDane: mc12/Ztautau.root - sygnał Powheg_ttbar.root - tło Wenu.root - tło Wmunu.root - tło Wtaunu.root - tło Zee.root - tło Zmumu.root tło Zmienne: preselekcja: if(!( evtsel_is_dilepVeto > 0 && evtsel_is_tau > 0 && fabs(evtsel_tau_eta) < 2.47 && evtsel_is_conf_lep_veto == 1 && evtsel_tau_numTrack == 1 && evtsel_lep_pt > 26 && fabs(evtsel_lep_eta) < 2.4 && evtsel_transverseMass < 70)) continue; if (!( evtsel_is_oppositeSign>0 && evtsel_is_mu>0 && evtsel_is_isoLep>0 )) continue;
26 ATLAS Z→tau tau selectionZmienne użyte do treningu: evtsel_tau_et evtsel_dPhiSum evtsel_tau_pi0_n evtsel_transverseMass sum_cos_dphi Spectator vis_mass Program: TMVAClassificationMW.C i TMVAClassificationMW.h Wykonuje podstawowy trening.
27 ATLAS Z→tau tau selectionZainstalować pakiet root i TMVA Ściągnąć dane i przykładowy program: Uruchomić przykładowy program: root -l .L TMVAClassificationMW.C++ TMVAClassificationMW t t.Loop() Zmodyfikować go: Spróbować zoptymalizować parametry wybranej metody Spróbować usunąć jakieś zmienne a może dodać? Spróbować użyć indywidualnych zmiennych wchodzących w skład np. sum_cos_dphi Użyć wszystkich rodzajów tła – użyć wag WeightLumi Zaaplikować wyuczony klasyfikator do danych (data12/Muons.PhysCont.grp14.root), można się wzorować na przykładzie TMVAClassificationApplication dostępnym na stronie TMVA oraz załączonym przykładzie TMVAClassificationApplicationMW.C.
28 ATLAS Z→tau tau selectionWykonać tego typu rysunek np. dla masy widzialnej
29 ATLAS Z→tau tau selectionCięcia zastosowane w analizie polaryzacji tau pochodzących z rozpadu Z → taut tau Czy używając uczenia maszynowego udało nam się poprawić wynik?