描”该空间区域期间向该空间区域中发射光。
[0050]现在参照图2，其图示了根据所公开的技术的一个实现方式的用于捕获图像数据的系统200。系统200优选地耦合到可佩带设备201，可佩带设备201可以是具有比如在图2中所示的护目镜外形、头盔外形的个人头戴式显示器(HMD)或者可以并入于手表、智能电话或者其它类型的便携设备中或者与它们耦合从而形成可佩带感测系统。
[0051]在各种实现方式中，如这里描述的用于捕获对象的3D运动的系统和方法可以与其它应用(比如头戴式设备或者移动设备)集成。再次参照图2，头戴式设备201可以包括向用户显示周围环境或者虚拟环境的光学组件203 ;在头戴式设备201中并入运动捕获系统200允许用户交互地控制显示的环境。例如，虚拟环境可以包括用户的被运动捕获系统200跟踪的手部手势可以操纵的虚拟对象。在一个实现方式中，与头戴式设备201集成的运动捕获系统200检测用户的手部的定位和形状并且在头戴式设备201的显示器上投射它，从而是的用户可以看见她的手势并且在虚拟环境中交互地控制对象。这可以例如应用于游戏或者因特网浏览中。
[0052]系统200包括耦合到感测处理系统206的一些相机102、104。相机102、104可以是任何类型的相机，包括跨越可见光频谱灵敏的或者具有对限定的波长频带(例如，红外线(IR)或者紫外线频带)的增强灵敏度的相机；更一般而言，术语“相机”这里是指能够捕获对象的图像并且以数字数据的形式表示该图像的任何设备(或者设备组合)。例如，可以运用线传感器或者线相机而不是捕获二维(2D)图像的常规设备。术语“光”一般用来表示可以在或者可以未在可见光频谱内并且可以是宽带(例如，白光)或者窄带(例如，单个波长或者窄波长带)的任何电磁辐射。
[0053]相机102、104优选地能够捕获视频图像(即，在每秒约15帧等的基本上恒定速率的相继图像帧)；但是无需特定帧速率。相机102、104的能力对于所公开的技术无关紧要，并且相机可以关于帧速率、图像分辨率(例如，每图像的像素)、颜色或者强度分辨率(例如，每像素的强度数据的位数)、透镜的焦距、景深等而变化。一般而言，对于特定应用，可以使用能够在感兴趣的空间体积内的对象上聚焦的任何相机。例如，为了捕获另外静止的个人的手部的运动，感兴趣的体积可以被定义为在一边上近似为一米的立方体。
[0054]如所示，相机102、104可以通过设备201的运动而朝着感兴趣的区域212的部分被定向以便查看感兴趣的区域212的虚拟地渲染或者虚拟地扩充的视图，该感兴趣的区域可以包括多种虚拟对象216以及包含在感兴趣的区域212内移动的感兴趣的对象214(在这一示例中为一个或者多个手部)。一个或者多个传感器208、210捕获设备201的运动。在一些实现方式中，一个或者多个光源115、117被布置为照射感兴趣的区域212。在一些实现方式中，相机102、104中的一个或者多个相机与待检测的运动(例如，其中预计手部214移动)被相反设置。这是最优位置，因为记录的关于手部的信息量与它在相机图像中占用的像素数目成比例，并且手部将在相机相对于手部的“指向方向”的角度尽可能接近垂直时占用更多像素。可以例如是计算机系统的感测处理系统206可以控制相机102、104的操作以捕获感兴趣的区域212和传感器208、210的图像以捕获设备201的运动。来自传感器208,210的信息可以被应用于由相机102、104拍摄的图像的模型以抵消设备201的运动的影响，从而向由设备201渲染的虚拟体验提供更大准确度。基于设备201的捕获的图像和运动，感测处理系统206确定对象214的定位和/或运动并且经由组件203向用户渲染其表不。
[0055]例如，作为在确定对象214的运动时的动作，感测处理系统206可以确定由相机102、104捕获的各种图像的哪些像素包含对象214的部分。在一些实现方式中，在图像中的任何像素可以被取决于该像素是否包含对象214的一部分而被分类为“对象”像素或者“背景”像素。因此可以基于亮度容易地区别对象像素与背景像素。另外，也可以基于在相邻像素之间的亮度差值容易地检测对象的边缘，从而允许确定对象在每个图像内的定位。在一些实现方式中，从对象的一个或者多个图像提取对象的廓影，该一个或者多个图像揭示如从不同有利位置所见的关于对象的信息。尽管可以使用多种不同技术来获得廓影，但是在一些实现方式中，通过使用相机以捕获对象的图像并且分析图像以检测对象边缘来获得廓影。使对象定位在来自相机102、104的图像之间相关并且抵消来自传感器208、210的设备201的捕获的运动允许感测处理系统206确定对象214在3D空间中的位置，并且分析图像序列允许感测处理系统206使用常规运动算法或者其它技术来重建对象214的3D运动。例如，参见通过引用将全部公开内容结合于此的第13/414，485号美国专利申请(提交于2012年3月7日)以及第61/724，091号(提交于2012年11月8日)和第61/587，554号(提交于2012年I月7日)美国临时专利申请。
[0056]呈现界面220结合基于感测的跟踪运用投射技术以便呈现由如下应用所创建的可视(或者虚拟化的实际)对象(可视、音频、触觉等)，这些应用可加载到设备201的光学组件203或者与光学组件203配合实施以向设备的用户提供个人虚拟体验。投射可以包括对象的图像或者其它可视表示。
[0057]一个实现方式使用耦合到运动捕获系统的运动传感器和/或其它类型的传感器以监视在实际环境内的运动。可以向便携设备201的用户投射向实际环境的扩充的渲染中集成的虚拟对象。可以至少部分基于从成像102、104或者声学或者其它感测设备接收的感测信息确定用户身体部分的运动信息。至少部分基于便携设备201的运动和根据从成像102、104或者声学或者其它感测设备接收的感测信息确定的用户的检测到的运动的组合向系统传达控制信息。可以在一些实现方式中通过添加触觉、音频和/或其它感测信息投射器来扩充虚拟设备体验。例如，参照图5，可视投射组件504可以投射来自在现实世界对象(例如，经由实况视频馈送向用户显示的工作台216)上叠加的虚拟书本对象的页面(例如，虚拟设备501)的图像；由此创建阅读实际书本或者在物理电子阅读器上阅读电子书的虚拟设备体验，尽管书本和电子阅读器均不存在。触觉投射器506可以向读者的手指投射书本的“虚拟页面”的纹理感。音频投射器502可以响应于检测到读者做出挥击以翻页而投射翻页的声音。由于它是扩充的现实世界，所以向用户投射手部214的背面，从而使得景物在用户看来如同用户在看用户自己的手部。
[0058]再次参照图2，多个传感器208、210耦合到感测处理系统206以捕获设备201的运动。传感器208、210可以是有用于从各种运动参数(加速度、速率、角度加速度、角度速率、定位/位置)获得信号的任何类型的传感器；更一般而言，术语“运动检测器”这里是指能够将机械运动转换成电信号的任何设备(或者设备组合)。这样的设备可以单独或者在各种组合中包括加速度计、陀螺仪和磁力计并且被设计为通过定向、磁力或者重力改变来感测运动。许多类型的运动传感器存在并且实现方式备选广泛地变化。
[0059]所图示的系统200可以单独或者在任何组合中包括为了清楚而在图2中未被示出的各种其它传感器中的任何传感器以增强向设备201的用户提供的虚拟体验。例如，在其中不能用充分程度的可靠度光学地识别自由形式的手势的低光情形中，系统206可以向其中基于声学或者振动传感器识别触摸手势的触摸模式切换。备选地，系统206可以在感测到来自声学或者振动传感器的信号时向触摸模式切换或者用触摸感测来补充图像捕获和处理。在又一操作模式中，敲击或者触摸手势可以充当“唤醒”信号以将图像和音频分析系统206从待机模式带到操作模式。例如，如果来自相机102、104的光学信号超过门限间隔不存在，则系统206可以进入待机模式。
[0060]将领会到，在图2中所示的项目为例示性的。在一些实现方式中，可能希望在不同成形的罩中容纳系统200或者集成于更大部件或者组件内。另外，为了清楚而示意地示出了图像传感器、运动检测器、照射源等的数目和类型，但是大小和数目在所有实现方式中均不相同。
[0061]现在参照图3，其示出了用于实施感测处理系统206的计算机系统300的简化框图。计算机系统300包括处理器302、存储器304、运动检测器和相机接口 306、呈现界面220、扬声器309、麦克风310以及无线接口 311。存储器304可以用来存储将由处理器302执行的指令以及与指令飞执行关联的输入和/或输入数据。特别地，存储器304包含在概念上被例示为以下更具体描述的一组模块的指令，这些指令控制处理器302的操作及其与其它硬件部件的交互。操作系统指引执行低级、基本系统功能，比如存储器分配、文件管理和海量存储设备的操作。操作系统可以是或者包括多种操作系统，比如Microsoft WINDOWS操作系统、Unix操作系统、Linux操作系统、Xenix操作系统、IBM AIX操作系统、HewlettPackard UX 操作系统、Novell NETWARE 操作系统、Sun Microsystems SOLARIS 操作系统、OS/2操作系统、BeOS操作系统、MACINTOSH操作系统、APACHE操作系统、0PENACT10N操作系统、1S、安卓或者其它移动操作系统或者另一平台操作系统。
[0062]计算环境也可以包括其它可去除/非可去除、易失性/非易失性计算机存储