1 KINECT – czyli z czym to się je?
2 O czym będziemy mówić? Co to jest i jak działa Kinect?Jak przygotować komputer do pracy z Kinectem? Kinect SDK rzut oka. Kinect jako nietypowa kamera internetowa. Świat nie jest płaski – wkraczamy w 3D. Sekcja zwłok – zabawy szkieletem. Kinect jako nietypowy mikrofon.
3 Co to jest i jak działa Kinect?
4 SENSOR 3D KAMERA MIKROFON WIELOPŁASZCZYZNOWY KONTROLER NACHYLENIA
5 3 słowa o mikrofonach
6 Jak to działa? – semantyczna segmentacja obrazu w czasie rzeczywistym
7 Jak to działa? - prawdopodobieństwo
8 Jak to działa? – drzewa decyzyjne, uczenie maszynowe
9 Jak przygotować komputer do pracy z Kinectem?
10 Wymagania sprzętowe: Komputer z procesorem co najmniej dual-core 2.66-GHz 2 GB RAM (rekomendowane 4 GB) Karta graficzna kompatybilna z Windows 7 i wspierająca DirectX 9.0c
11 Wymagania użytkownika:Kubek kawy Kontroler Kinect wraz z zasilaczem Silne nerwy ;d Dużo……dużo czasu ;D Opcjonalnie – ktoś do cenzurowania otoczenia
12 Pobierz i zainstaluj następujące rzeczy:Microsoft® Visual Studio® 2010 Express lub dowolną inną wersję Visual Studio 2010 .NET Framework 4.0 Gdy korzystamy z kodu niezarządzanego (C++): Microsoft DirectX® SDK - June 2010 lub wersję późniejszą Runtime for Microsoft DirectX® 9 Gdy chcemy korzystać z funkcji rozpoznawania mowy: Microsoft Speech Platform Runtime, version 10.2 (x86 edition) Microsoft Speech Platform - Software Development Kit, version 10.2 (x86 edition) Kinect for Windows Runtime Language Pack, version 0.9
13 Pobierz i zainstaluj następujące rzeczy: Oficjalne SKD z dnia
14 Jak Kinect widoczny jest w systemie?
15 Kinect SDK rzut oka.
16 Biblioteka SDK dostępna z menu start>Microsoft Kinect>KinectSDK
17 Kinect jako nietypowa kamera internetowa.
18 Jakie informacje otrzymujemy z kamery?
19 Kąty widzenia obiektywówZakres działania 1,2 – 3,5 metra od kontrolera Kąty widzenia obiektywów 43° pionowo 57° poziomo Nachylenie kontrolera w zakresie ±28°
20 Kamera Czujnik głębokości 640x480, 30 klatek na sekundę
21 Świat nie jest płaski – wkraczamy w 3D.
22 Dane z kamery - przypomnienie
23 Bufor głebokości ImageFrame.Image.BitsTablica bajtów public byte[] Bits; punkt startu – lewy górny róg obrazka, zapis danych – od lewej do prawej, a potem krok w dół, mówi nam o odległości każdego piksela.
24 Jak obliczyć odległość piksela?2 bajty per piksel (16 bitów) Depth – odległość każdego piksela Distance (0,0) = (int)(Bits[0] | Bits[1] << 8); DepthAndPlayer Index – odległość dla każdego playera Distance (0,0) =(int)(Bits[0] >> 3 | Bits[1] << 5);
25 Definicja odległości Zakres: od 850 mm do 4000 mmOdległość = 0 oznacza odległość nieznaną Indeks playera 0 – brak gracza 1 – gracz 0 2 – gracz 1
26 Sekcja zwłok – zabawy szkieletem.
27 Skeleton API
28 Dane o szkielecie
29 Kości Nazewnictwo w języku polskim Można śledzić na raz dwóch graczyKażdy gracz ma określone wartości
30 DEMO
31 Kinect jako nietypowy mikrofon.
32 Cechy mikrofonu Format dźwięku Cztery mikrofony16-kHz, 16-bit mono pulse code modulation (PCM) Cztery mikrofony 24 bitowy konwerter analog-cyfra Sprzętowa redukcja szumów i echa
33 Audio API
34 DEMO
35 Bonus – gdzie szukać informacji Dokumentacja SDK