1 Przetwarzanie informacji wizyjnej w komputerowym systemie z mobilną głowicą stereowizyjnąKrzysztof Skabek, Przemysław Kowalski Instytut Informatyki Teoretycznej i Stosowanej PAN, ul. Bałtycka 5, Gliwice Krynica 2001

2 Plan wystąpienia 1. Platforma badawcza 2. Sterowanie platformą wizyjną3. Zagadnienia stereowidzenia 4. Etapy rekonstrukcji sceny 3D 5. Reprezentacja grafowa sceny przestrzennej 6. Podsumowanie

3 Platforma badawcza Obserwowana scena 3D Pięć stopni swobody platformyGłowica stereowizyjna osadzona wysięgniku pojazdu gąsiennicowego Obserwowana scena 3D

4 Cel: Pozyskanie kompletnej reprezentacji przestrzennej obserwowanej sceny na postawie obrazów stereowizyjnych z różnych punktów widokowych. Brak informacji a priori o obiektach sceny. Nieznajomość dokładnego położenia obserwatora względem sceny.

5 Ramka BNET ... Adres (1 bajt) Dane Suma kontrolna Nr ramki (2 bity)(2 bajty) Nr ramki (2 bity) Polecenie Ilość danych SetExt 4 bajty BasRun 33 bajty BasErr 1 bajt BasStat 3 bajty Kod polecenia (6 bitów)

6 Model perspektywiczny kameryp – płaszczyzna obrazu O – środek rzutowania f – długość ogniskowej P = [X,Y,Z]T – punkt w przestrzeni p = [x,y,z]T – punkt na płaszczyźnie obrazu Przekształcenie perspektywiczne

7 Układy odniesienia Globalny układ odniesienia Układ odniesienia kameryUkład odniesienia obrazu

8 Parametry kamery Parametry zewnętrzne definiują położenie i orientację ukł. odniesienia kamery w stosunku do globalnego ukł. odniesienia Parametry wewnętrzne konieczne do powiązania pikselowych współrzędnych punktu obrazu ze współrzędnymi w układzie odniesienia kamery

9 Zewnętrzne parametry kameryT – wektor translacji 3D opisująca względne położenie środków dwóch układów współrzędnych R – macierz obrotu 3×3, ortogonalna, powoduje nałożenie odpowiadających sobie osi układów współrzędnych Relacja pomiędzy współrzędnymi punktu P w układzie globalnym Pw i w układzie kamery Pk Pk = R(Pw –T)

10 Wewnętrzne parametry kamery(ox, oy) – współrzędne środka obrazu w pikselach (sx, sy) – efektywny rozmiar piksela w mm Pominięto zniekształcenia toru optycznego Relacja pomiędzy współrzędnymi punktu obrazu p w ukł. obrazu (xim, yim) i w ukł. kamery (x, y) x = – (xim – ox) sx y = – (yim – oy) sy

11 Zagadnienia stereowidzeniaUstalenie odpowiedniości określenie, które punkty odpowiadają sobie na dwóch obrazach; odrzucenie punktów przesłoniętych Rekonstrukcja ustalenie położenia i struktury przestrzennej obserwowanych obiektów Rozbieżność (ang. disparity) – względna odległość pomiędzy odpowiadającymi sobie punktami obrazu Mapa rozbieżności (ang. disparity map) – ustalone rozbieżności dla wszystkich punktów obrazu Jeżeli znana jest geometria systemu stereo, to mapę rozbieżności można przekonwertować do mapy przestrzennej obserwowanej sceny

12 Rekonstrukcja stereo T – odległość pomiędzy środkami rzutowania Ol i Or; linia bazowa xl, xr – współrzędne na obrazie punktów pl i pr względem punktów osi cl i cr f – wspólna długość ogniskowej Z – odległość pomiędzy punktem P a linią bazową Położenie punktu P w systemie stereo: , gdzie d = xr – xl

13 Parametry systemu stereoParametry zewnętrzne opisują względną pozycję i orientację dwóch kamer T – odległość między środkami rzutowania R – macierz rotacji pomiędzy układami odniesienia kamer f – wspólna długość ogniskowej Parametry wewnętrzne Takie same jak w przypadku pojedynczej kamery Kalibracja systemu stereo to proces wyznaczania jego parametrów wewnętrznych i zewnętrznych

14 Etapy rekonstrukcji sceny 3D

15 Grafowa reprezentacja sceny 3DGraf konturu: Graf ścian: zbiór wierzchołków w scenie zbiór krawędzi pomiędzy wierzchołkami współrzędne (x,y,z) wierzchołków zbiór ścian w scenie zbiór połączeń pomiędzy ścianami parametry opisu ściany parametry połączeń pomiędzy ścianami

16 Tworzenie grafu konturu i grafu ścian4 7 Graf konturu 4 6 1 3 1 3 5 2 2 Graf ścian

17 Przetwarzanie informacji wizyjnejAlgorytmy segmentacji,wyodrębniania krawędzi, wierzchołków: metoda Susan Pasowanie stereo-par obrazów, wyznaczanie mapy głebii: metoda konturów aktywnych Scalanie grafów struktury: wyszukiwanie subizomorfizmów w grafach Wyznaczanie następnego punktu widokowego: przyjęcie strategii nawigacji