微軟在今年E3展公佈了嶄新體感攝影機「Project Natal」（誕生計畫，以下簡稱ＰＮ），而超乎想像的體感讓微軟在E3展大大出風頭，而外界也普遍認為ＰＮ的前瞻性遠比任天堂及SCEI提供的體感裝置更優秀。不過大家應該很好奇，ＰＮ應該只是個攝影機（單從外表看起來跟EyeToy攝影機沒啥差別），為啥ＰＮ可以這麼厲害，玩家手上不用拿任何控制棒，ＰＮ就能精準的進行體感操縱，甚至還有多工的影像辨識、多工聲音辨識，到底怎麼回事咧？本篇就結合目前已知關於ＰＮ的資訊，與大家一探究竟推測可能原理吧。


微軟在E3的官方新聞稿上表示，ＰＮ是他們累積多年投入的語音、影像辨識系統的整合，而由微軟的先進科技研究院主導整個計畫發展（微軟先進科技研究院是全世界擁有最多專利技術的機構之一），而這個計畫網羅了許多天才參與，如2007年在網路上發表如何自己DIY改造，把Wiimote遙控器逆向設計變成3D體感指向裝置的博士研究生Johnny Chung Lee，現在也被微軟網羅投入ＰＮ計畫，而當初他讓人驚訝的技術得到微軟的青睞而進入微軟，不過進來後發現微軟還有更多厲害的前輩一起投入ＰＮ的研發，在E3展公佈的ＰＮ還只是非常小一部份，更驚人的還沒公佈咧。想知道Johnny Chung Lee之前厲害的技術影片，請到這裡。



而這項計畫之所以叫「Project Natal」，是因為主導該項計畫之一的成員Kudo Tsunoda是巴西人，而Natal是他的故鄉，而Natal在拉丁文也有「誕生」的意思，代表一種全新的人機操作介面可能性，所以就以Project Natal來當作計畫的代號。而整個體感攝影機透過兩組不同的鏡頭，分別進行紅外線3D空間深度測距攝影機與RGB全彩影像攝影，並結合兩組影像來進行臉部辨識、輪廓捕捉與動作偵測等運算。而其中最重要的還是微軟研發多年的辨識技術，更是整個產品中的核心。



‧紅外線3D深度測距攝影機：能感測平面（Ｘ、Ｙ軸）以及深度（Ｚ軸）
‧RGB全彩影像攝影：拍攝影像的全彩像素，並以RGB三原色處理
‧多陣列麥克風：可同時辨識多種的聲音訊息
而ＰＮ的使用原理類似聲納，是計算紅外線發射碰撞到物體反射後的相對時間，而計算出物體的相對位移體感效果，不過因為使用3D空間深度測距攝影機，這是把拍到的物件以「網格wireframe」的方式處理（見下圖），再透過微軟研發的專用軟體及特製晶片，把網格以及RGB像素加以同步結合，而產生讓人訝異的即時影像處理效果。



至於ＰＮ為何可以辨識多人的不同臉孔而不會被干擾，是因為ＰＮ把拍攝的的影像都以網格方式記錄並定位，不同玩家的臉型體型當然有不同的網格，就好像指紋一樣，所以只要追蹤定位不同玩家的網格定位點，當然不會有彼此干擾的情況，同時多人一起玩體感攝影也不是問題，甚至也能拿來當作身分認證的辨識，所以搭配臉部網格辨識以及語音辨識，也能透過ＰＮ來開機並且進行身分登錄。不過以往這種網格辨識都是所費不貲的昂貴設備，而且也不能達到同步處理，但ＰＮ竟然能把昂貴的設備加以精簡整合在小小的攝影機，甚至達到幾乎同步（大概還有0.5秒的延遲），靠的就是微軟獨家開發的辨識軟體及特製晶片了。



不過這種影像辨識產生的體感方式有好有壞，好處是玩家不需要手上拿著任何的操縱器（任天堂Wiimote遙控器、PS3的體感控制棒）讓接收器來捕捉操控器的訊號，因為這種傳統型的體感只是感應到遙控器而非真的感應到人體的即時動態，所以可以達到微軟所稱「全身都是控制器」的訴求。但微軟的做法也不是沒缺點，包含目前反應速度無法同步（慢0.5秒）以及無法進行細部的感應（如手指），而且更重要的是...如果試玩家背後攝影機拍不到的地方（如一支手放身後攝影機拍不到），就會產生「盲點」，這也是目前最須克服的問題。



不過ＰＮ如果有效克服缺點並降低成本，絕對是個有前途的產品，而微軟也不可能只單純的把ＰＮ當作X360的遊戲周邊用途，事實上這可能是顛覆傳統人機操作介面的新創舉，想想看如果以後在家看電視能簡單的用揮揮手嘴巴講就能操縱機器，網路購物用ＰＮ來即時試衣服並購買，甚至用到遠距教學、遠距開刀醫療...等更多用途，那帶來的影響就不一樣了，難怪微軟XBOX事業部全球副總裁Don Mattrick會說，ＰＮ是微軟投入研發多年的大計畫，不過先提前拿來X360遊戲用途，因為如果X360遊戲用途得到肯定，那往後更大的發揮空間是可預期的



先撇開ＰＮ的非遊戲用途，微軟對ＰＮ的重視程度也非比尋常，已經專門成立一支龐大的研發團隊投入各種創意遊戲的開發，被網羅進入微軟的Johnny Chung Lee就戲稱這感覺像是微軟再投入另一個「維納斯計畫」（微軟在1993年投資數十億美元進軍數位家電），規模非同小可，而目前微軟也把ＰＮ的相關遊戲開發套件寄發給廠商使用，包含《最後一戰》系列的Bungie公司、《戰爭機器》系列的EPIC公司、英國Liongead公司、RARE公司...等都已經投入ＰＮ的對應遊戲開發，或許不久得將來可以看到更多對應遊戲公佈。


※ 另外本篇是以目前得知的資訊來推測Project Nata體感l攝影機的可能原理，僅供大家參考。記者 (R-TYPE報導)

[ 本帖最后由 cangying 于 2009-6-7 04:39 编辑 ]

收了两张大图，谢谢楼主
其他基本原本就知道
具体原理还是没有详细谈

500ms的延迟过大。。。。，但是PN的优点在于扩展的可能性很大，看明年的软件吧。。。

0.5s的延迟太大了~

打枪饭和赛车饭都不可能接受得了。。。

这玩意现在就是个雏形

DOD的DRAPA的大狗看起来很神，其实最关键的还是一套算法，其他东西都是很成熟的技术。很多东西分开来看很平淡，但是组合在一起就是另外一码事，关键看你能否整合在一起做出理想的效果。大狗也是用红外扫描+一对深度摄像仪，不过大狗不是RGB摄像头，也只能达到29帧320*240的分辨率

[ 本帖最后由 教师随笔量产型 于 2009-6-7 13:11 编辑 ]

M$真是财大气粗 连国家安全局的技术都用上了

[posted by wap]

500ms这个也太久了。。。

希望改善延迟问题

图挺好，够大。文章，要么是已经在TG被转载、讨论烂的，要么就是胡说八道。

引用:

被網羅進入微軟的Johnny Chung Lee就戲稱這感覺像是微軟再投入另一個「維納斯計畫」（微軟在1993年投資數十億美元進軍數位家電）

Johnny Chung Lee的blog全文翻译TG有了，人家说的明明是曼哈顿计划。

这纱布文还是洗洗睡吧。

我老婆说那哥们长得和俺很像，俺很荣幸