业余爱好着讲讲见识，是以前发的帖子，当时是结合S3D呈像来讲的，可给大家参考一下

* 由于不是专业人士，只是在几年在网络上找到零星信息的汇总，所以不能保证一些理论完全准确

* 对于深度信息，应该是利用红外计算距离信息，比如以前用红外射线往返时间信息计算月球距离那种，不过这是个人猜想

* 帖子有点老，里面youtube视频可以通过一个sneakme什么什么的网站代理来看

* Natal的技术，包括wiimote的技术，都有人做事后诸葛亮，说是老技术，不过总得有商业机构或者军事机构来将这些技术请出研究院，怎么整合、怎么应用才是关键

* Natal的精彩之处，至少一半在于其“网络社交”层面的应用，影象识别只是Natal大计划中的一部分而已，而Natal的其他部分也赋予影象识别技术更大的活力和发展空间，仅仅靠游戏应用来推广和普及——以当今所谓CU玩家狭隘的包容能力和游戏制作厂商的胆量来看，是不太现实的

* 其实我个人认为我这帖子里的应用模式也是蛮好的想法，把headtracking和S3D结合起来，达到“准全息呈像”的效果，大家可以参考批评一下

引用:

深夜惊魂之headtrack

其实就讲了近两年的所见所闻, 题目可能并不恰当



| Johnny Lee的wiimote headtracking

一切都是从两年前johnny Lee在youtube发布的这段视频开始

  
Johnny Lee.jpg (15.01 KB)
28/3/2009 00:26



这个视频造成了轰动性的效应，包括国内各大IT网站在内的世界范围内IT媒体都对这个技术作了介绍

根据最新情报，Johnny Lee在推出这个视频不久，立即被Microsoft招安到旗下游戏部门行研发（根据个人估计应该是应用到下一代主机上）

其实，Headtracking并不是Johnny Lee的发明，在更早之前，使用电脑玩模拟游戏的玩家就开始使用各种形式的头部动作捕捉，例如下面这个视频：

http://www.youtube.com/watch?v=HIu87lKxZsI

   track ir.jpg (29.13 KB)
28/3/2009 00:26

那么，也许会有人问，既然早就有了headtracking，Johnny Lee的贡献在哪里？





| 进入正题：Johnny Lee headtracking技术的思路

通过上面的两个视频，相信大家也可以得出两个结论：

1、Headtracking并不是Johnny Lee的发明

2、Johnny Lee是应用headtracking这个技术，把软件应用带到了更高的层面——虚拟3D

以往，人们观察电脑屏幕，人头部动作、位置的变化并不会造成显示内容的任何改变，这是一切“平面图象”的基本属性

而实际上，现实生活中，有“横看成岭侧成峰 远近高低各不同”的说法，因为观察角度不同我们都会看到不一样的景致

Johnny Lee最大的贡献——他利用一个已经成熟的技术，也就是headtracking，来实现了“立体观察”3D物件的原理

是的，Johnny Lee胜在他对Headtracking的应用思路上





| J.L式Headtracking应用，对于3D呈像的贡献

第一，我们通过红蓝眼镜、分时眼镜等方式，以左右眼不同角度的交错图实现了视觉上的立体纵深感

第二，J.L通过Headtracking实现了电脑内部处理3D物件在观察形式上的立体感

想象一下当这两种技术结合在一起——电脑呈像技术将进入“准全息”时代

这就是我在上一张帖子里提到的“S3D+headtracking是未来3D的趋势”，而这贴就是向不了解这个技术的朋友作入门介绍

我把这两个技术提到一起来比较，还有两个原因：

1、他们在技术上实际上都已经相当成熟，只是缺乏大众广泛的认识

2、他们实现的成本实际上都可以做到很低，普及的可实施性很大




| 要实现Headtracking，成本可以做到多低？

Johnny Lee视频在发布之处，很多人着迷于利用wiimote来实现headtracking，因为这样的技术比之前使用track ir成本低了不少

不久之后，就有更逆天的技术出现了，请见下面的视频：

http://www.youtube.com/watch?v=Q-nrmxNKt84

   webcam track.jpg (21.36 KB)
28/3/2009 00:34



实际上，在J.L视频之后一个月左右，我就看到国外有高手利用webcam（也就是很常见的网络摄像头）实现了J.L视频一模一样的效果

这种技术被称为webcam track

其成本可以想象——从人民币20元起价到100多元，电脑城遍地都有这种产品买



| Webcam Track的原理

仅仅靠摄像头，如何判断人头部在显示器之前空间内的三维位置呢？

这是托IBM（或者是Intel？）一个叫Open CV的开源项目的福

这个项目中提供一个关键性技术——人类面部识别，这个技术允许电脑通过分析webcam捕捉到的图象，得到人类面部的信息，并通过对这张脸大小变化、眼鼻嘴相对位置的变化，来解读人脸距离摄像头远近、高低、左右的信息

远近、高低、左右——这实际上包括了三维空间中的关键性维度，在这个层面的三维追踪被称为6dof（6 degrees of freedom）

也就是通过这个技术，利用普通摄像头webcam电脑也能判断出用户脑袋和显示器的相对位置——从而实现了headtrack，头部动作捕捉和追踪

webcam headtrack实验性应用的网络游戏，想象一下headtrack + S3D的效果
http://www.youtube.com/watch?v=SewngkDJCyY&NR=1






| Webcam Track的其他应用

既然提到webcam track，就顺带介绍一下主流利用webcam来捕捉、追踪的利用形式：

1、头部动作捕捉，headtrack，前面已经提到了，主要用在模拟游戏驾驶仓模拟观察以及3D物体立体观察，另外一个没提到的应用是这个：http://www.youtube.com/watch?v=f6caQ0IxBIo

2、红外线捕捉，leaser track，利用摄像头一样可以捕捉红外线，可以用于鼠标模拟，当然也有把红外发射器绑在帽子上来实现头部动作捕捉的

3、形状捕捉，分析webcam拍摄下的特定形状，如蓝色方块、红色方块等，根据方块的形状、大小变化来分析解度三维空间数据，基于这个技术的有camspace提供的用色块替代手柄的软件，还有日本人开发的虚拟女仆（Camspace：http://www.youtube.com/watch?v=v0srY37kkMw ， 虚拟女仆：http://www.geishatokyo.com/jp/ar-figure/figure.html）

4、多点触碰捕捉，网上有高手在摄像头前设置毛玻璃一块，当手指点到毛玻璃的另外一面，摄像头捕捉到手指的黑色阴影，并将其转换成多点触碰的信号，国内有达人用此来diy了microsoft的surface互动桌面技术（surface的视频：http://www.youtube.com/watch?v=rP5y7yp06n0）





| 前景展望

很多技术其实已经存在很多年，只是一直缺乏推广

例如nintendo在nds上加入的触摸屏，在wii上加入的leaser track和动作感应（nintedo早年还有一个失败的尝试，vitual boy，实际上就是如今我们玩的3D游戏眼镜的远古版本），实际上都是成型多年的老技术，得到厂商推广后立即风起云涌，从这个角度上来说，wii最早被命名为revolution，改变的不仅仅是一时市场占有率，更让所有厂商和玩家（可能不包括“从小玩FC长大的资深高级非样板戏不玩高品位玩家”）转换了思路，让竞争对手也意识到原来主机的发展还有很多方向，技术发展之路上的未来明星技术还有很多被遗落在了身后、缺乏伯乐的赏识，等待人们去开发

现在而言，3D立体呈像技术在nvidia的推动下已经初具规模，接下来我仅期望能有有识之士能让J.L试headtrack发扬光大起来，这样我们就可以早日进入“准全息3D游戏时代”了[

[ 本帖最后由 superjay 于 2009-6-3 13:52 编辑 ]

马勒鼻

我辛苦码这么多字，到哪个论坛都只有沉底的命，多细得？

引用:

原帖由 BD 于 2009-6-3 20:31 发表
小回一帖，那些缺乏基本常识，混淆概念的人就不要继续秀下线了。
LZ所说的和我所说的没有实质性的冲突，LZ说的很多可实现的部分都是基于现场Show的。我也说了，现场Show的内容并没有超出现实，说白了也就是Eyetoy级 ...

实现natal式映像识别技术的公司3dv老早前就放出了视频,就是凭这个项目被MS收购的

你不知道不代表没有,连3dv收购事件都不知道,既然自己本身在这个领域就是纯小白,说话就不要装得自己很懂似的

我前面都已经放了那么多视频了, 就你还张口闭口"而且纵观业界", 鹦鹉学舌

讨论个毛游戏应用, 摘抄前面一段评论

引用:

* Natal的技术，包括wiimote的技术，都有人做事后诸葛亮，说是老技术，不过总得有商业机构或者军事机构来将这些技术请出研究院，怎么整合、怎么应用才是关键

* Natal的精彩之处，至少一半在于其“网络社交”层面的应用，影象识别只是Natal大计划中的一部分而已，而Natal的其他部分也赋予影象识别技术更大的活力和发展空间，仅仅靠游戏应用来推广和普及——以当今所谓CU玩家狭隘的包容能力和游戏制作厂商的胆量来看，是不太现实的

从这贴的置疑就可以看出传统玩家根本就没有接受新模式的足够包容性, 把希望寄托在他们身上是不现实的, 如同wii一样, natal的未来在大众娱乐层面上, 而natal计划中的网络功能、社交功能则是这盘棋的龙眼，它既是MS自x360以来最擅长的地方（live），也能很大程度上盘活natal的体感应用，再慢慢地、局部地、渐进地推向主流游戏应用

[ 本帖最后由 superjay 于 2009-6-3 23:47 编辑 ]

引用:

原帖由 RestlessDream 于 2009-6-4 00:23 发表

3DV的技术也很棒。但是 Natal 完全是微软自己研制的，和3DV的技术没有一点关系

3dv那边单纯的影像识别捕捉技术已经非常成熟了，应用方面也提出了和natal很相似的想法，而收购3dv和推广natal都在09年，所以难免让人那么理解了

听起来MS是早有一手，再考虑到J.L的博客口供，那只能理解为收购3dv和招聘J.L是为了制造技术壁垒，不想让竞争对手跟上而已

无论如何，现在有大厂牌来推广这个项目，还让这种东西在e3上大出了风头，真是好事，以后路子会越走越宽的

至于CU玩家担心的游戏应用问题，根本不用担心，谁说一个游戏只能在体感和手柄之前任选其一？游戏手柄上同时出现十字键和小摇杆也那么多年了，大部分游戏用什么还是看玩家自己喜好，很冲突么？

natal设备作为外设，举个简单的例子——好象有个叫joytick什么的软件，可以把手柄操作映射、绑定成鼠标操作——natal也可以从这种初级应用开始着手，根本用不着厂商费太多神，玩家也有自由选择，用不着对此特别焦虑那么久

引用:

原帖由 倍舒爽 于 2009-6-4 11:56 发表


我认为这很有难度，这里存在于一个时间响应的问题~
物理控制器可以产生0的反应时间，但这个却一定要存在识别的演算时间~
尤其是摄像头仅仅以30fps的扫描帧率~

ms发布会上足见此点，动作同步效果并不高~

...

延迟不成问题，这也是natal设备集成独立芯片的原因以及首要解决的问题，没有任何原因置疑说延迟是无法解决的

精度是另外一个问题，我不认为这个技术会用来制作特别竞技向的fps或者act游戏，好比鼠标和手柄之争，其实只要应用程序（游戏）针对性适应就好了，何况很多单机游戏对射击精度要求并不高

何况我说了，凡是新技术推广，希望不要寄托在cu身上，这群人别看年轻，新技术老是用来套几款样板戏游戏，思维已经完全固化了，所以理解不能

引用:

原帖由 ffcactus 于 2009-6-4 11:56 发表
轻微动动鼠标的事情， 却要用这个肢体去比划， 或者需要开口讲话， 这估计这套早已出现的技术至今不是主流的原因。而且开口讲话或者肢体动作来代替鼠标键盘， 就更有乐趣？

摇杆一定比十字键有趣、以至于现代手柄都带摇杆？

本来为了放松，手柄却要振动，不是很恼人么？

哪种方式有趣，问问看身边不玩游戏的人，大众娱乐是游戏未来发展的方向，游戏产业的未来希望也在不带偏见、脑子开明、纯洁无争的大众玩家身上

引用:

原帖由 ffcactus 于 2009-6-4 13:07 发表

本人学的电子信息科学与技术， 很看不惯外行冲内行YY到高潮。小台妹。

来来，说说您对Natal的技术解析

引用:

原帖由 ffcactus 于 2009-6-4 13:26 发表

技术不是什么新技术。我们楼下就是做视频抄牌的。
但是把技术整合也算是一种进步。
机器人技术、视频识别、语音识别、动作捕捉、专家系统早已不是什么新鲜玩意。为什么计算机技术日新月异，但是输入设备依然是键盘+鼠标，因为这已经能够满足绝大多数的需求。你以为别人是傻子，不知道整合就MS想得到? 关键是这个不必要，不实际。更别说MS的这个纯粹是控制， 一点反馈都没有就更有局限性了。

我感觉你是把之前的人话重复了一遍，然后得出一个完全无关的结论，更没体现出你上面帖子中的“内行”

我引用帖子里面，你是要说“内行”的

这里除了你，内行还有一个，楼主在读博士，国外留学，他的看法和你不一致，请内行指正

楼主说：

引用:

微软是computer vision研究方面如果说第二，没人敢说第一。

[ 本帖最后由 superjay 于 2009-6-4 13:34 编辑 ]

Look，楼主还分析了一下natal的技术组成

我也想听听FF内行的分析，当然不是什么“专家系统”这种泛泛而谈，更不是讨论“科学以人为本”的哲学人文话题，因为你一向是鄙视叉包“文科”的不是么

所以请来点技术硬核的，拜托了

引用:

原帖由 ffcactus 于 2009-6-4 13:37 发表

原来你连楼主想说什么都没看明白。

没实际内容的帖子就不用发了，硬绷什么面子

有话直说，扭捏得很，又不是琼瑶小说，你非得一句话拆成三个帖子么？

引用:

原帖由 ffcactus 于 2009-6-4 13:37 发表

原来你连楼主想说什么都没看明白。

Look，楼主还分析了一下natal的技术组成

我也想听听FF内行的分析，当然不是什么“专家系统”这种泛泛而谈，更不是讨论“科学以人为本”的哲学人文话题，因为你一向是鄙视叉包“文科”的不是么

所以请来点技术硬核的，拜托了

引用:

原帖由 ffcactus 于 2009-6-4 13:42 发表

并不需要完全知道别人具体是如何编程实现的， 用的什么高级可编程硬件技术， IP核又是怎样， 也能对他的总体有所了解。
真要像某些人吹嘘的那样神乎其神， MS怎么不在WINDOWS 7的发布会上演示呢。

你是不是不转移话题就不会回贴了？

就在前一页，你不是要来点“内行”的么？

发布会安排的内容，那是媒体人关心的东西，不是计算机专业内行应该考虑的

你还是来点硬核的技术分析吧，说说前面那些人如何YY了

[ 本帖最后由 superjay 于 2009-6-4 13:45 编辑 ]

引用:

原帖由 ffcactus 于 2009-6-4 13:47 发表

我可没说我要来点内行的， 但是却可以看出别人是不是内行。
要不你来解释下， 为什么windows 7都没能采纳的高级控制技术， xbox360却可以实现呢？

1、笑了，瞎凑热闹，真调皮

2、windows7在i/o方面主要是普及多点触摸

3、大家可以继续之前的讨论了

[ 本帖最后由 superjay 于 2009-6-4 13:51 编辑 ]