1 Telewizja trójwymiarowa - wyzwaniamgr inż. Olgierd Stankiewicz mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska Seminarium katedralne, styczeń 2010
2 Telewizja 3D Telewizja 3D Telewizja stereoskopowa Telewizja swobodnegopunktu widzenia np. IMAX Synteza widoku oparta o obrazy Image-based rendering (IBR) Synteza widoku oparta o modele Model-based rendering (MBR) np. MPEG np. BBC
3 Pierwsza transmisja 3D-HDTVTransmitowano mecz rugby miedzy Szkocją a Anglią 8 marca 2008 BBC Resource i 3DFirm 3 pary kamer Sony 950 o rozdzielczości fullHD na statywiach Calcutta 3D firmy 3DFirm 19MB/s na każdy strumień, planowane 40MB/s 6/7 s opóźnienia Prezentowane na dwóch rzutnikach Christie 8K HD projectors z liniową polaryzacją
4 Telewizja Stereoskopowa
5 Telewizja Stereoskopowa BBC
6 Multiview capturing for sport applications BBC
7 Sport Applications BBCTrójwymiarowy model sceny Obrazy z kamer Z pracy: View-dependent reconstruction and free-viewpoint video rendering 3D Processing workshop, BBC R&D, Kingswood Warren, June 22—23, 2009 JeanYves Guillemaut, Joe Kilner and Adrian Hilton University of Surrey, UK
8 Ustawienie kamer
9 Przetwarzanie Filmowanie sceny Kalibracja Segmentacja RekonstrukcjaSynteza widoku
10
11 Segmentacja Segmentacja w oparciu o kluczowanie chrominancjiodejmowanie tła
12 Modelowanie sceny Problem znalezienia dopasowaniaObiekt z każdej kamery wygląda inaczej
13 Modelowanie sceny
14 Modelowanie sceny Gracze przydzielani do drużyn na podstawie koloru koszulek modelowanych za pomocą Gaussian Mixture Model
15 Modelowanie sceny Każdy gracz modelowany jest jako oteksturowana bryła 3d Visual Hull
16 Modelowanie sceny Każdy gracz modelowany jest jako oteksturowana bryła 3d
17 ggg
18 Synteza widoku wirtualnego w oparciu o model sceny (boisko i piłkarzy)Swobodna nawigacja w scenie
19 Schemat systemu telewizji 3D
20 System akwizycji Konfiguracja kamer – obraz/głębiaSynchronizacja kamer Równoległe przetwarzanie dużych strumieni danych 19MB/s na każdy strumień, planowane 40MB/s
21 Przetwarzanie wstępneRektyfikacja Korekcja kolorów Plansze kalibrujące dla stałych parametrów kamer Zmienne parametry? Ogniskowa Rozstaw kamer Kierunki kamer
22 Model 3D Image Based Rendering Estymacja mapy głębi + syntezaWyzwania doraźne Jakość map głębi Nieoznaczalność głębi (brak tekstury) Przysłonięcia Rozstaw kamer Estymacja w czasie rzeczywistym 1000 x RT Synteza w czasie rzeczywistym Duże ilości danych (3,1 MB na obraz)
23 Model 3D Wyzwania na przyszłość Niewystarczający model punktów scenyPrzeźroczystość Odbicia (lustra, refleksy) Niewielkie obiekty (płatki śniegu, deszcz) Ułożenie liniowe kamer daje zbyt płaskie odwzorowanie sceny
24 Kompresja Kodowanie modeli 3D – MPEG 4 (mesh)Kodowanie map głębi, map przeźroczystości Inny charakter treści Mniejszy udział średnich częstotliwości (powierzchnie płaskie + krawędzie) Inny charakter zniekształceń Mały udział w strumieniu <30%
25 Przentacja Technologie Stereoskopia Autostereoskopia HolografiaMonitory polaryzacyjne... Tylko dwa obrazy (Akomodacja Oka) Autostereoskopia Możliwość poruszania widzów Ogniskowa niezmienna Holografia Wyświetlacze Przetwarzanie modelu
26
27 Z-Cam IR = 20MHz Pomiar różnicy fazy Rozdzielczość 176x144około 80 pikseli koloru na piksel głębi wrapping głębi depth alignment to color boundary by bilateral filtering
28
29
30 Procesy standaryzacyjnehome Przyspieszenie komercjalizacji i wdrożenia technologii 3D Materiał Sprzęt Oprogramowanie HDMI 1.4 – mechanizmy dla 3DTV W USA: 3D ready TV
31
32
33 Zagadnienia kinematograficzne1000 EUR/dzień - nagrywanie Film „Coraline Coraline” Rejestracja poklatkowa Jedna kamera na suwaku NIKON D70, D80 Canon 1D MARK2N RED - 2K Digital Hi-Speed (dym, inne ruchome elementy) Koszt oprogramowania - +20%50% 53 sceny kręcone jednocześnie
34 Przewidywania na przyszłość
35
36
37
38
39 Przewidywania na przyszłośćTelewizja 3D rozwija się Powolny postęp algorytmów (MPEG) Silny nacisk przemysłu Silny nacisk Holywood Dobiega końca kilkanaście projektów ramowych UE FP7