介质。例如，硬盘驱动可以从非可去除非易失性磁盘介质读取或者向其写入，并且光盘驱动可以从可去除非易失性光盘(比如CD-ROM或者其它光学介质)读取或者向其写入。可以在示例性操作环境中使用的其它可去除/非可去除、易失性/非易失性计算机存储介质包括但不限于磁带盒、闪存卡、数字万用盘、数字视频带、固态RAM、固态ROM等。存储介质通常通过可去除或者非可去除存储器接口连接到系统总线。
[0063]处理器302可以是通用微处理器，但是取决于实现方式而可以备选地是微控制器、外围集成电路单元、CSIC(客户专属集成电路)、ASIC(专用集成电路)、逻辑电路、数字信号处理器、可编程逻辑器件(比如FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、PLA(可编程逻辑阵列))、RFID处理器、智能芯片或者能够实施所公开的技术的过程的动作的任何其它设备或者设备的布置。
[0064]运动检测器和相机接口 306可以包括支持在计算机系统300与相机102、104以及传感器208、210之间通信的硬件和/或软件(参见图2)。因此，例如，运动检测器和相机接口 306可以包括相机、照射源和运动检测器可以连接到(经由常规插头等)的一个或者多个相机数据端口 316、318、照射源端口 313、315和运动检测器端口 317、319以及用于在向在处理器302上执行的运动捕获(“mocap”)程序314提供从相机和运动检测器接收的数据信号作为输入之前修改该信号(例如，以减少噪声或者重新格式化数据)的硬件和/或软件信号处理器。在一些实现方式中，运动检测器和相机接口 306也可以向相机、照射源和传感器传输信号以例如激活或者去激活它们、控制相机设置(帧速率、图像质量、灵敏度等)、控制照射设置(强度、持续时间等)、控制传感器设置(校准、灵敏度水平等)等。可以例如响应于来自处理器302的控制信号传输这样的信号，这些控制信号转而可以响应于用户输入或者其它检测到的事件而被生成。
[0065]定义mocap程序314的指令存储于存储器304中，并且这些指令在被执行时对从相机供应的图像以及来自连接到运动检测器和相机接口 306的传感器的音频信号执行运动捕获分析。在一个实现方式中，mocap程序314包括各种模块，比如对象分析模块322和路径方联系模块324。对象分析模块322可以分析图像(例如，经由接口 306捕获的图像)以检测其中的对象的边缘和/或关于对象的位置的其它信息。在一些实现方式中，对象分析模块322也可以分析音频信号(例如，经由接口 306捕获的音频信号)以例如通过到达时间距离、多点定位等使对象局部化。(“多点定位”是一种基于测量与在已知时间广播信号的在已知位置的两个或者更多站的距离差值的导航技术。参见Wikipedia的http://en.wikipedia.0rg/w/index, php ? title = Multilaterat1n&oIdid = 523281858，2012年11月16日06:07UTC)。路径分析模块234可以基于经由相机获得的信息跟踪和预测在3D中的对象移动。一些实现方式将包括虚拟现实/扩充的现实环境管理器326，其提供反映实际对象(例如，手部214)的虚拟对象以及合成的对象216的集成以用于经由呈现界面220向设备201的用户呈现以提供个人虚拟体验213。一个或者多个应用328可以被加载到存储器304中(或者以其它方式变成可用于处理器302)以扩充或者定制设备201的功能，由此使系统200能够作为平台工作。在像素级分析相继相机图像以提取对象移动和速率。音频信号在已知表面上放置对象，并且信号的强度和变化可以用来检测对象的存在。如果音频和图像信息二者同时可用，则可以分析和调和(reconcile)两类信息以产生更具体和/或准确的路径分析。视频馈送集成器329提供来自相机102、104的实况视频馈送和一个或者多个虚拟对象(例如，图5的501)的集成。视频馈送集成器329支配来自不同类型的相机102、104的视频信息的处理。例如，从对IR光灵敏的像素和对可见光灵敏的像素(例如，RGB)接收的信息可以被集成器329分离并且被不同地处理。来自IR传感器的图像信息可以用于手势识别，而经由呈现界面220提供来自RGB传感器的图像信息作为实况视频馈送。来自一种类型传感器的信息可以用来增强、纠正和/或确认来自另一类型的传感器的信息。可以在一些类型的情形或者环境条件(例如，低光、雾、亮光等)中偏向来自一种类型的传感器的信息。设备可以基于一种类型或者其它类型的图像信息自动地或者通过从用户接收选择来在提供呈现输出之间选择。集成器329结合VR/AR环境管理器326控制经由呈现界面220向用户呈现的环境的创建。
[0066]呈现界面220、扬声器309、麦克风310和无线网络接口 311可以用来有助于用户经由设备201与计算机系统300交互。这些部件可以是一般常规设计或者如希望的那样被修改为提供任何类型的用户交互。在一些实现方式中，使用运动检测器和相机接口 306以及mocap程序314的运动捕获的结果可以被解释作为用户输入。例如，用户可以跨越表面执行使用mocap程序314被分析的手部手势或者运动，并且这一分析的结果可以被解释作为对在处理器302上执行的一些其它程序(例如，web浏览器、字处理器或者其它应用)的指令。因此，举例而言，用户可以使用向上或者向下挥击手势以“滚动”经由呈现界面220向设备201的用户当前显示的网页、使用旋转手势以增加或者减少从扬声器309输出的音频的音量等。路径分析模块324可以将检测到的路径表示为矢量并且推断以预测路径以例如通过预期移动来改进呈现界面220对在设备201上的动作的渲染。
[0067]将领会到，计算机系统300为例示性的并且变化和修改是可能的。可以用包括服务器系统、台式系统、膝上型系统、平板计算机、智能电话或者个人数字助理等的多种外形实施计算机系统。一个特定实现方式可以包这里未描述的其它功能、例如，有线和/或无线网络接口、媒体播放和/或记录能力等。在一些实现方式中，一个或者多个相机和两个或者更多麦克风可以被构建到计算机中而不是被供应作为分离的部件。另外，可以仅使用计算机系统部件的子集来实施图像或者音频分析器(例如，作为执行程序代码的处理器、ASIC或者固定功能的数字信号处理器而具有适当I/O接口用于接收图像数据并且输出分析结果)。
[0068]尽管这里参照特定块描述了计算机系统300，但是将理解，块是为了便于描述而被定义的并且未旨在于暗示组成部分的特定物理布置。另外，块无需对应于物理上不同的部件。在使用物理上不同的部件的程度上，在部件之间的连接(例如，用于数据通信)可以如希望的那样是有线和/或无线的。因此，例如，处理器302执行对象分析模块322可以使处理器302操作运动检测器和相机接口 306以捕获跨越表面行进和与表面接触的对象的图像和/或音频信号以通过分析图像和/或音频数据来检测它的进入。
[0069]图4描绘了根据所公开的技术的实现方式的涉及运动捕获和图像分析的基本操作和功能单元400。如图4中所示，相机402、404记录景物的数字图像410。关联的相机的图像传感器捕获每个数字图像为像素值数组，并且向一个或者多个帧缓冲器415传送(以“原始”格式或者在常规预处理之后)数字图像。帧缓冲器是易失性存储器分区或者专用段，该易失性存储器分区或者专用段存储与如由记录图像的相机输出的图像的像素值对应的“位图化”的图像帧420。一般在概念上将位图组织为网格，其中每个像素被一到一或者以其它方式映射到显示器的输出单元。然而，应当强调如何在帧缓冲器415内物理地组织存储器单元的拓扑无关紧要并且无需直接符合概念组织。
[0070]在系统中包括的帧缓冲器的数目一般反映由以下更具体描述的分析系统或者模块430同时分析的图像的数目。简言之，分析模块430分析在图像帧420的序列中的每个图像帧中的像素数据以对其中的对象进行定位并且跟踪它们随时间的移动(如在440指示的那样)。这一分析可以采用各种形式，并且执行分析的算法规定如何处置在图像帧420中的像素。例如，由分析模块430实施的算法可以在逐行的基础上处理每个帧缓冲器的像素，即相继地分析像素网格的每行。其它算法可以在列、平铺的区域或者其它组织格式中分析像素。
[0071]在各种实现方式中，在一系列相机图像中捕获的运动用来计算用于在显示器220上显示的对应系列的输出图像。例如，处理器可以将移动手部的相机图像转化成手部的线框或者其它图形描绘。备选地，手部手势可以被解释作为用来控制分离的可视输出的输入；举例而言，用户可以能够使用向上或者向下挥击手势以“滚动”当前显示的网页或者其它文档、或者打开和关闭她的手部以放大和缩小页面。在任何情况下，输出图像一般以像素数据的形式存储于帧缓冲器(例如，帧缓冲器415之一)中。视频显示控制器读出帧缓冲器以生成数据流和关联的控制信号以向组件230输出图像。由呈现界面220提供的视频显示控制可以与在计算机系统300的母板上的处理器302和存储器304 —起被提供并且可以与处理器302集成或者被实施为操纵分离的视频处理器的协同处理器。如指出的那样，计算机系统300可以配备有辅助生成用于组件203的输出图像馈送的分离的图形或者视频卡。一个实现方式包括一般具有图形处理单元(GPU)和视频存储器的视频卡，并且特别地在复杂和计算成本高的图像处理和渲染中有用。图形卡可以包括帧缓冲器以及视频显示控制器的功能(并且可以停用板上视频显示控制器)。一般而言，可以用各种方式在GPU与主处理器302之间分布