Kinect dla programistów, jak zacząć?

44

Transcript of Kinect dla programistów, jak zacząć?

Page 1: Kinect dla programistów, jak zacząć?
Page 2: Kinect dla programistów, jak zacząć?
Page 3: Kinect dla programistów, jak zacząć?
Page 4: Kinect dla programistów, jak zacząć?
Page 5: Kinect dla programistów, jak zacząć?

Cena: 6000$

Page 6: Kinect dla programistów, jak zacząć?
Page 7: Kinect dla programistów, jak zacząć?

KAMERA

MIKROFON WIELOPŁASZCZYZNOWY KONTROLER NACHYLENIA

SENSOR 3D

Page 8: Kinect dla programistów, jak zacząć?

• 4 kanałowy multi-płaszczyznowy mikrofon

• Komunikacja z konsolą: dźwięk / dźwięk z gry

Page 9: Kinect dla programistów, jak zacząć?
Page 10: Kinect dla programistów, jak zacząć?

projektor

IR

kamera

IR

kamera

RGB

Page 11: Kinect dla programistów, jak zacząć?
Page 12: Kinect dla programistów, jak zacząć?
Page 13: Kinect dla programistów, jak zacząć?

8-bit VGA RGB

640 x 48011-bit monochrome

320 x 240

Page 14: Kinect dla programistów, jak zacząć?

• 3-rdzeniowy PowerPC 970, 3.2GHz

• 2 wątki/rdzeń

• Karta graficzna 500 MHz ATI

• DirectX 9.5

• 512 MB RAM

Page 15: Kinect dla programistów, jak zacząć?
Page 16: Kinect dla programistów, jak zacząć?

Expert 1

Expert 2

Expert 3

Arbiter

DaneSensor Estymacja

szkieletuFinalna

estymacja

Page 17: Kinect dla programistów, jak zacząć?

Segmentacja otoczenia

Rozróżnienie graczy

Klasyfikacja części ciała

Mapa głębokościSensor

Identyfikacja części ciała Szkielet

Page 18: Kinect dla programistów, jak zacząć?
Page 19: Kinect dla programistów, jak zacząć?
Page 20: Kinect dla programistów, jak zacząć?

rozmiary ciała

włosy

budowa

ciała

ubranie

meble

zwierzęta

FOV

kąty

Page 21: Kinect dla programistów, jak zacząć?

• Identyfikacja otoczenia

• Wyodrębnienie otoczenia (kanapa)

• Identyfikacja graczy

Page 22: Kinect dla programistów, jak zacząć?
Page 23: Kinect dla programistów, jak zacząć?

Sztuczne dane

(model 3D)

Page 24: Kinect dla programistów, jak zacząć?

Motion Capture: - nienaturalne środowisko i ubranie

Page 25: Kinect dla programistów, jak zacząć?

Ręczne znakowanie:- Dużo ludzi

- Bardzo pracochłonne

- 1000 godzin @ 20 pracowników ~= 20 lat

Page 26: Kinect dla programistów, jak zacząć?
Page 27: Kinect dla programistów, jak zacząć?

Arbiter

Training examplesMachine learning

Page 28: Kinect dla programistów, jak zacząć?

Classifier

Training examples

Dryad

DryadLINQ

Machine learning

• > milion obiektów

wejściowych

• > 1020 operacji na obiektach

• Złożone dane

(obrazy, filmy, macierze itp.)

Page 29: Kinect dla programistów, jak zacząć?
Page 30: Kinect dla programistów, jak zacząć?
Page 31: Kinect dla programistów, jak zacząć?
Page 32: Kinect dla programistów, jak zacząć?

http://kinectforwindows.com

Page 33: Kinect dla programistów, jak zacząć?
Page 34: Kinect dla programistów, jak zacząć?
Page 35: Kinect dla programistów, jak zacząć?
Page 36: Kinect dla programistów, jak zacząć?

public byte[] Bits;

Page 37: Kinect dla programistów, jak zacząć?

int << 8

int >> 3 << 5

Page 38: Kinect dla programistów, jak zacząć?
Page 39: Kinect dla programistów, jak zacząć?
Page 40: Kinect dla programistów, jak zacząć?
Page 41: Kinect dla programistów, jak zacząć?
Page 42: Kinect dla programistów, jak zacząć?
Page 43: Kinect dla programistów, jak zacząć?
Page 44: Kinect dla programistów, jak zacząć?