1 TRB – SODANet integrationGrzegorz Korcyl – PANDA Collaboration Meeting March 2017 FAIS, Uniwersytet Jagielloński

2 SODANet Synchronization system for PANDA subsystems One SODANet SourceBased on TrbNet One SODANet Source Generates clock signal (200 MHz) Clock phase synchronization Generates superburst update signals (26 kHz) Time synchronization Generates superburst numer Event synchronization Slow control messages Gateway (standard TrbNet) Multiple SODANet Hubs Distribution to multiple outputs (hubs or endpoints) Transparent Multiple SODANet Endpoints (subsystems, DC) M. Kavatsyuk

3 SODANet on TRB One pripheral FPGA as SODANet Source designRequires HUB Addon 3 synchronous optical outputs Pripheral FPGAs as SODANet HUBs design One SODANet Source optical input Central FPGA as Slow Control Gateway TrbNet over GbE SODANet Source SODANet HUB

4 SODANet TRB Endpoint Central FPGASODANet stream input Recovery: Phase-locked 200MHz clock SB update signal SB numer Internal trigger generation for peripheral FPGAs Readout data collection SB numer tagging Transmission to the Event Builder GbE for direct connection 8b/10b for Compute Node Only central FPGA with custom design! 8b/10b Output SODANet Source GbE Output

5 Central Trigger SystemSODANet TRB Endpoint SodaNet from SODA HUB 8/10 data readout out to CN Serdes + mi Soda packet handler Central Trigger System TrbNet HUB RegIO TDC FPGA Data Concentrator Data conv SFP3, 4 On board Superburst update as trigger input SODANet part TrbNet part Central FPGA Peripheral FPGAs GbE Gateway GbE to the Event Builder

6 Measurement Setup One SODANet Source and two SODANet TRB EndpDeliver recovered SB update signal to the TDCs and measure time difference CTS TRB1 Central FPGA SODANet Rec Trigger SP Update Periph TDC SODANet Clock Local TRB Clock SODANet Source SODANet Stream Time Difference CTS TRB2 Central FPGA SODANet Rec Trigger SP Update Periph TDC

7 Time Difference MeasurementsShort run (couple min) Sigma 20 ps Close to TDC resolution Long run (couple hrs) Sigma 73 ps [counts] [ns] [counts] [ns] Worse resolution due to online TDC calibration!

8 Online TDC Calibration Effects

9 Time Difference MeasurementsLong lasting run Standard online calibration ON Sigma 73 ps Long lasting run Online calibration OFF Sigma 19 ps [counts] [ns] [ns] [counts]

10 Measurement Results pt2Endpoints connected to SODANet Source Central 1 Central 2 TDC 1 TDC 2 SODANet source [ns] [Time a.u.] [C degrees] Up to 10% (2ps) jitter Up to 5% (5ps) jitter

11 Measurement Results pt3Endpoints connected to SODANet HUB Central 1 Central 2 TDC 1 TDC 2 SODANet source [ns] [Time a.u.] [C degrees] Up to 15% (3ps) jitter Up to 10% (10ps) jitter

12 Measurement Results pt4One Endp through HUB, one Endp directly to the source Central 1 Central 2 TDC 1 TDC 2 SODANet source [ns] [Time a.u.] [C degrees] Up to 15% (3ps) jitter Up to 10% (10ps) jitter

13 Measurement Results pt5Endpoints connected to SODANet Source Forced temperature change on the Source Central 1 Central 2 TDC 1 TDC 2 SODANet source [ns] [Time a.u.] [C degrees] Up to 10% (2ps) jitter Up to 5% (5ps) jitter

14 Measurement Results pt6Endpoints connected to SODANet Source Forced temperature change on one Endpoint Central 1 Central 2 TDC 1 TDC 2 SODANet source [ns] [Time a.u.] [C degrees] Up to 15% (3 ps) jitter Up to 10% (10ps) jitter

15 Jitter Measurements pt1Scope measurements of recovered 200MHz clock on Endpoints Long Term Jitter (100 edges, single Endpoint) Directly to the Source Min: 499,78149ns Max: 500,22609ns StdDev: 81,4204ps Through the HUB Min: 499,80547ns Max: 500,21250ns StdDev: 88,8520ps Time difference between Endpoints (Source – Source) Edge-Edge Min: -726,9ps Max: -222,5ps StdDev: 77,19ps Edge-100Edges Min: 498,4710ns Max: 498,9512ns StdDev: 85,37ps Time difference between Endpoints (HUB – Source) Min: -3,0086ns Max: -2,7395ns StdDev: 42,958ps Min: 496,6195ns Max: 497,0450ns StdDev: 74,50ps Time difference between Endpoints (HUB – HUB) Min: -687,0ps Max: -259,4ps StdDev: 65,513ps Min:

16 Jitter Measurements pt2Scope measurements of recovered SB update Long Term Jitter (100 edges, single Endpoint) Directly to the Source Min: 3, ms Max: 3, ms StdDev: 1,20529ns Through the HUB Min: 3, ms Max: 3, ms StdDev: 285,829ps Time difference between Endpoints (Source-Source) Edge-Edge Min: -782,7ps Max: -376ps StdDev: 74,835ps Edge-10Edges Min: 383,809375us Max: 383,809844us StdDev: 71,402ps Time difference between Endpoints (HUB-Source) Min: 191,8793ns Max: 192,2789ns StdDev: 70,787ps Time difference between Endpoints (HUB-HUB) Min: -764,2ps Max: -473,7ps StdDev: 61,555ps Min: 384,002165us Max: 384,002559us StdDev: 73,76ps

17 Conclusions SODANet TRB Endpoint implementedSB update recovery SB numer tagging Plug and play Custom central and standard peripheral designs Test setup constructed and under evaluation First measurements SODANet signal jitter sigma: 20 ps for short and long runs Stable operation under temperature changes Problems with reset of the system Compared to Myroslav calculated result 12 ps (including 10ps TDC resolution) M. Kavatsyuk

18 trb data processing platformGrzegorz Korcyl – STT Readout Workshop 2017 FAIS, Uniwersytet Jagielloński

19 Online Data Processing PlatformHardware, firmware and software infrastructure for: Receiving GbE data streams from TRBs Event building and synchronization Detector geometry mapping TDC data recovery Streamlined data decomposition – no dead time Pipelined analysis Parralel analysis

20 Processing Hardware JPET Controller (by NE M. Kajetanowicz)Xilinx Zynq 7045 16x SFP 4Gb DDR3 SODIMM 6x RJ45, USB, USB-UART, SD Zynq Programmable Logic Equivalent of XC7K325T Online processing Zynq Processing System Dual-core ARM Cortex-A9 Slow control and monitoring High-level algorithms possible but out of online path Procesowanie online jest kozak, jest płyta i są wyniki, oczywiście zależne bardzo od charakteru danych

21 Processing Firmware ZYNQ PL TRB Processing Stream 1 Module 1GbE Receiver Input Buffer Buffer Buffer TRB Parser TDC Parser Decomposition channel Processing Stream 1 Module 1 Processing Stream 1 Module N Endpoint Filter Geo Mapper xN Data Combiner … No tutaj to pompa Processing Stream 2 Module 1 Processing Stream 2 Module N Endpoint Filter Geo Mapper Ethernet Storage Decomposition channel TRB Parser TDC Parser TRB GbE Receiver Input Buffer Buffer Buffer

22 Development Workflow 1 2 3 4 Full Setup Hardware Evaluation .hldProcessing Module Development Processing Module Development Implemented and Integrated Module Software analysis Simple test data Simulation Real test data Simulation Hardware Evaluation Verification Implementation Implementation 4 Full Setup Hardware Evaluation

23 Example Application pt1JPET Tomograph prototype Readout TRBs record hits on scintillators Continuos readout Trigger 50kHz, 20 us timeslots JPET Controller processing Event building, parsing, mapping and hits times recovery Configurable time window scan for coincidences Event filtering/marking Slow Control and monitoring (xSC by P. Strzempek)) P.Moskal

24 Example Application pt2System contructed, algorithms implemented 8x input TRBs, 8x GbE outputs Stable and long-lasting runs Data volume reduction from 30% up to 99% depending on particular run conditions Online image reconstruction is the aim!

25 Reconstructed Images pt1Standard TDC data with Go4 analysis Hardware analysis, LORs as output, displayed by Go4

26 Reconstructed Images pt2Standard TDC data with Go4 analysis Hardware analysis, LORs as output, displayed by Go4

27 Tracking on straws The same processing framework for trackingEarly work stages for straight tracks Pattern recognition Selection of track candidates Noise rejection Track fitter E. Pieczonka, Diploma Thesis K. Cierlik, Diploma Thesis

28 Conclusions Platform for online processing of TRB data has been developed, together with design and evaluation environment Applicable for synchronized data sources with continuos readout Positively evaluated for JPET system First images produced Portable between Series 7 Xilinx devices JPET extension with Virtex Ultrascale VCU108 platforms Opens wide possibility for implementing online processing algorithms, like tracking on straws

29

30

31

32 Tomografia PET Technika obrazowania medycznegoPromieniotwórcza glukoza Emisja kwantów gamma Rejestracja kwantów Rekonstrukcja toru przelotu Rekonstrukcja obrazu Wikipedia.pl Napromieniowana gluzoka (np. w solarisie) emituje pozytony e- e- po zderzeniu z e+ generują 2 kwanty gamma (promieniowanie elektromagnetyczne) w kącie 180 stopni o energii 511 keV Tkanki rakowe są zbite i szybciej metabolizują cukry więc wciągają więcej cukru i tym samym świecą bardziej P.Moskal

33 Tomografia PET W Polsce 26 urządzeń (wikipedia.pl Listopad 2016)Ostatnie w 2015 we Wrocławiu GE Discovery IQ Kryształy scyntylacyjne Krzemowe fotopowielacze 8 mln PLN OECD (2013), Positron emission tomography scanners, per million population, 2010 (or nearest year available), in Cancer Care, OECD Publishing, Paris. DOI: Gehealthcare.com

34 JagiellonianPET Zaprojektowany i zbudowany w ciągu 6 latPierwsze zgłoszenie patentowe w roku 2009 Doświadczenie i technologie odziedziczone z dużych eksperymentów fizycznych Grupa około 50 osób Ponad 50 artykułów naukowych 16 zgłoszeń patentowych Działające urządzenie! Moskal P.: Strip device and the method for the determination of the place and response time of the gamma quanta and the application of the device for the Positron Emission Tomography. Patent Application No. P [WIPO ST 10/C PL388555], 2009 Powiedzieć że 6 lat później i 1,5 miliona pln urządzenie stoi i działa

35 JagiellonianPET Moduł detekcyjny JPET Plastikowy scyntylatorLampowe fotopowielacze JPET 3 warstwy 192 moduły 384 fotopowielacze Skupić się na pojedynczym module, Plastikowe scyntylatory, tanie i długie Lapowe fotopowielacze Sygnały analogowe, szybkie

36 Sygnały analogowe Digitalizacja sygnałówMinimum części analogowej Wzmocnienie sygnału Rozdzielenie na 4 ścieżki 1536 kanały do pomiaru Dyskryminacja buforami LVDS przy pinach w FPGA Analogowy sygnał na wejściu +, stały poziom progu na wejściu - Przełączanie stanu logicznego przy przecięciu poziomów Wyjście z bufora bezpośrednio podłączone do modułu TDC Kompaktowe rozwiązanie, niski koszt/kanał PCT/EP2014/ (2014) Minimalizacja elektroniki analogowej Wiele progów – pomiar czasu oraz tot Dyskryminowanie buforami! Tanie i wygodne

37 Płyta pomiarowa Płyta bazowa Trigger Readout Board TRBJednolity moduł do budowy większych systemów 5x Lattice ECP3-150 FPGA Centralny 8x złącza optyczne Zarządzanie odczytem Brama dla GbE Brama dla systemu kontroli Kolekcja danych Boczne Podłączone do 208 pinowych konektorów Programowane zależnie od aplikacji Wysokiej rozdzielczości TDC HUB optyczny Moduł ADC Typowo Opowiedzieć że można łączyć w większe systemu zbudowane z wielu płyt Traxler, M.; Korcyl, G.; Bayer, E.; Maier, L.; Michel, J.; Palka, M. „A compact system for high precision time measurements (<14 ps RMS) and integrated acquisition for a large number of channels”, JINST / /6/12/C12004

38 Pomiar czasu TDC zaimplementowane w bocznych FPGA200 MHz pomiar zgrubny 5 ns odcinki jako łańcuch z 370 linii przeniesienia Do kanałów w jednym FPGA Techniki kalibracyjne Time difference [ps] Counts Wyniki pomiarow od elektroniki, przez modul do detektora Pamiętać że my bez kalibracji póki co! 16 ps ps ps

39 Zbieranie danych HADES @ GSI 82000 kanałów 700 MBpsPomiar w trybie ciągłym Buforowanie danych w okresie 20 us Odczyt ze stałą częstotliwością 50 MHz Czas martwy zredukowany do ~50 ns Zalety: Brak przedwczesnej filtracji danych Skrócenie całkowitego czasu pomiaru Pomiary zjawisk fizycznych Wady: Potężny potok danych do 1 GBps Znaczna frakcja danych to tło PCT/EP2014/068352 Typowo Porównać na koniec do hadesu GSI 82000 kanałów 700 MBps

40 JPET Kontroler Procesowanie danych w czasie rzeczywistym KontrolerXilinx Zynq 7045 16x SFP 4Gb DDR3 SODIMM 6x RJ45, USB, USB-UART, SD Redukcja danych nawet o 99% Wysokie pokrycie z pełną analizą Procesowanie online jest kozak, jest płyta i są wyniki, oczywiście zależne bardzo od charakteru danych

41 Potok przetwarzania ZYNQ PL TRB Processing Module 1GbE Receiver Input Buffer Forwarder 125MHZ TRB Parser TDC Parser Processing channel Processing Module 1 Endpoint Filter Geo Mapper Processing Module N 8x … Ethernet Storage No tutaj to pompa GbE Receiver Input Buffer Forwarder TRB TRB Parser TDC Parser Processing channel Endpoint Filter Geo Mapper

42 Kontrola systemu Sterowanie procesem pomiaruNiskopoziomowa ewaluacja danych na żywo nudy

43 Nowa warstwa Moduł detekcyjny Kompaktowe rozwiązanie13 pasków scyntylacyjnych 4 + 4 krzemowe fotopowielacze na pasek Zintegrowana, cyfrowa elektronika czołowa Zasilanie fotopowielaczy 104 kanałowe, 30 ps TDC na Artix-200 Odczyt i sterowanie przez SFP Wewnętrzna auto-kalibracja Kompaktowe rozwiązanie Brak wysokiego napięcia Wysoka gęstość fotopowielaczy Technologia stosowana przez GE i Philips Możliwość zintegrowania z MRI Booom! Budujemy nowa warstwe, taka jak w najnowszych tomografach

44 System odczytu nowej warstwy24 moduły Każdy po 13 pasków 4 fotopowielacze z jednej strony 2 progi na fotopowielacz 4992 kanały TDC – potok danych do 8 GBps System budowany z gotowych elementów Płyty VCU108 Virtex Ultrascale XCVU095-2 Moduły AXI Sporo liczb bajtow i kozackiej elektroniki

45 Podsumowanie Opracowanie pokaźnej ilości rozwiązańOd syntezy scyntylatorów do oprogramowania Pierwsza generacja systemu w użyciu Pierwszy obraz do pół roku Druga generacja w rozwoju Operacyjna do roku System pomiarowy oparty w całości na układach FPGA

46

47

48 Systemy akwizycji danychEksperymenty fizyczne stanowią wielkie wyzwanie w zakresie przetwarzania danych Wzrastające skala eksperymentów – ilość czujników pomiarowych Wzrastające precyzja pomiarów – wysokie częstotliwości pomiarów, wzrastająca ilość danych Zdarzenie – Interesująca sytuacja w detektorze, warta przeprocesowania i zapisania, odwzorowuje rezultat pomiaru całego systemu w danym momencie czasu HADES (GSI) ATLAS (CERN) Ilość kanałów 82 000 Częstotliwość zdarzeń < 100 kHz 40 MHz Ilość podsystemów 7 9 Ilość surowych danych 700 MBps 70 TBps

49 Systemy akwizycji danychEksperyment fizyczny z perspektywy zagadnienia przetwarzania danych: Digitalizacja pewnych cech sygnałów analogowych z detektorów Przeprowadzenie algorytmów ekstrakcji cech z danych cyfrowych Filtrowanie, redukcja danych w czasie rzeczywistym Szybka transmisja danych Koncentracja danych z wielu źródeł, oznaczanie danych Budowanie zdarzeń, składowanie danych Oprogramowanie analizujące dane Oprogramowanie sterująco-kontrolne

50 Schemat systemu akwizycji danychConcentrators Detectors Front-End Electronics Readout electronics Trigger modules Event builders User interface

51 Platforma TRB Platforma do potokowego przetwarzania danych w trybie ciągłym Hardware Firmware Software Skalowalna, hierarchiczna architektura drzewiasta Od pojedynczej płyty bazowej do złożonych systemów Koncepcja oparta na płycie bazowej zapewniającej: Kanał kontroli oraz monitoringu Kanał odczytu danych Oraz modułach rozszerzających Pełna funkcjonalność pomiarowa Konfigurowalne moduły do pomiaru czasu i amplitudy Rozszerzalna o nowe funkcje oraz moduły Kompatybilna ze standardami Odczyt oraz kontrola przez Ethernet

52 Platforma TRB – Moduł BazowyPlatforma rozwijana przy współpracy z zagranicznymi instytutami Trigger Readout Board 3cia wersja płyty bazowej systemu 5x Lattice ECP3 FPGA Centralny Zarządzanie odczytem Brama dla GbE Brama dla systemu kontroli Kolekcja danych Boczne Podłączone do 208 pinowych konektorów Programowane zależnie od aplikacji Wysokiej rozdzielczości TDC HUB optyczny Moduł ADC 8x złącza optyczne 4x 208 złącza+ zasilanie 1x Addon złącze + zasilanie Odejście od hardware’u w stronę firmware’u Funkcjonalność Plug-And-Play Możliwość pomiaru w trybie standalone

53 Platforma TRB – Rodzina modułów

54 Platforma TRB - KomunikacjaTransmisja danych pomiarowych Moduł Gigabit Ethernet na koncentratorach Wymiana danych pomiędzy modułami Protokół specyficznych dla systemu – TrbNet Dystrybucja sygnału wyzwalania Kanał danych pomiarowych Kanał kontroli Kontrola oraz monitoring Protokół TrbNet TrbNet-Over-GbE

55 Aplikacje - HADES 7 podsystemów detektorów82000 kanałów Do 100 kHz częstotliwość odczytu 700 MBps do zapisu 520 modułów elektroniki 550 układów FPGA 1050 transmiterów optycznych 16 maszyn budujących zdarzenia Duży i złożony system w pełni zbudowany na elementach platformy TRB Jednostopniowy system wyzwalania zrealizowany hardwareowo, zarządzany przez CTS

56 Aplikacje - JPET Prototyp Pozytonowej Emisyjnej Tomografii512 kanałów analogowych z fotopowielaczy Pomiar czasu w wysokiej rozdzielczości 10ps Odczyt w pełni przez10x TRB3 + front-end Tryb ciągły pomiaru, z okresowym sygnałem wyzwalania Mniejsze prototypy Kilka, kilkadziesiąt kanałów Pojedyncze TRB w trybie standalone

57 Podsumowanie Jesteśmy grupą pracującą nad wszystkimi etapami odczytu danych pomiarowych Uczestniczymy w rozwijaniu uniwersalnej platformy pomiarowej, bazującej na układach FPGA Wielu użytkowników na całym świecie Ponad 200 wyprodukowanych sztuk TRBv3 Od eksperymentów wysokiej skali do urządzeń diagnostyki medycznej