利用热区识别交互的制作方法
【专利说明】利用热区识别交互
[0001 ]优先权申明
本申请要求享有2013年6月26日提交的题为RE⑶GNIZING INTERACT1NS WITH REALWORLD OBJECTS的美国临时申请序列号61/839，532的权益。
【背景技术】
[0002]在过去，诸如计算机游戏和多媒体应用之类的计算应用已经使用了控制器、遥控、键盘、鼠标等来允许用户操纵游戏角色或应用的其它方面。最近，计算机游戏和多媒体应用已经开始采用相机和运动识别来提供自然用户接口(“NUI”)。利用NUI，用户手势被检测、解译和使用以控制游戏角色或应用的其它方面。
[0003]—般地在物理与数字世界之间存在强烈的界线。构建丰富的数字体验是可能的，但是一般不存在对体验所关于的物理对象的回绑(tie back)。存在众多与真实世界对象的应用用户交互将增强应用体验。
【发明内容】
[0004]描述了用于限定三维(3D)区的技术，所述三维区在由深度捕获系统检测到的元素激活时将引起数字事件。每一个区(zone)包括包含经限定的区块(area)的三维空间中的区域(reg1n)，与其的交互通过由捕获设备检测到的时间段内的阈值数目的像素的激活来检测。可以向应用提供该事件以执行基于事件的程序任务。阈值可以根据像素的绝对数目或必须激活以便触发事件的三维捕获数据中的像素的百分比来限定。事件的生成可以限于具体人员、身体部分或对象的进入或退出。通过使用数字事件，与真实世界对象的交互可以绑定到数字事件。区可以通过获悉具体像素是否总是“接通”而随时间适配以便从持续信号过滤它们并且可以做出捕获设备到之前记录的场景的自动对准以便自动校准相机和区。
[0005]提供本
【发明内容】
来以简化的形式引入以下在【具体实施方式】中进一步描述的概念的选择。本
【发明内容】
不意图标识所要求保护的主题的关键特征或必要特征，也不意图用作帮助确定所要求保护的主题的范围。
【附图说明】
[0006]图1图示了其中技术的实施例可以操作的目标识别、分析和追踪系统的示例实施例。
[0007]图2图示了包括用于自动生成具有经限定的艺术风格的用户的面部化身的硬件和软件组件的系统的实施例。
[0008]图3图示了可以用于体现和实现技术的系统和方法实施例的计算机系统的示例实施例。
[0009]图4A图示了示例性深度图像。
[0010]图4B描绘了示例性深度图像中的示例性数据。
[0011]图5示出由骨骼识别引擎生成的示例身体模型的非限制性视觉表示。
[0012]图6示出如从正面查看的骨骼模型。
[0013]图7示出如从倾斜视图查看的骨骼模型。
[0014]图8和9图示了用户与3-D热区交互的示例实施例。
[0015]图1OA是图示了依照本技术的方法的流程图。
[0016]图1OB是图示了依照本技术的追踪与热区的用户交互的方法的流程图。
[0017]图11是图示了渲染数字事件的引发事件的使用的流程图。
[0018]图12是图示了与热区的交互的检测的方法。
[0019]图13和14是图示了用于配置热区的方法的流程图。
[0020]图15是图示了用于修正与热区或相机有关的问题的方法的流程图。
[0021]图16是热区的示例性XML限定。
[0022]图17图示了热区与具体捕获设备的关联。
【具体实施方式】
[0023]描述了用于限定三维(3D)区的技术，所述三维区在深度捕获系统检测到的元素的进入或退出时将引起数字事件。区域的激活通过区域中的阈值数目的像素的数据在阈值时间段内的改变来确定。因而，区域可以由生物和无生命对象激活。可以向应用提供该事件以执行基于事件的程序任务。用于生成区中的事件的阈值可以根据像素的绝对数目或必须激活以便触发事件的三维捕获数据中的像素的百分比来限定。事件的生成可以限于具体人员、身体部分或对象或这些的组合的进入或退出。通过使用数字事件，与真实世界对象的交互可以绑定到数字事件。区可以通过获悉具体像素是否总是“接通”而随时间适配以便从持续信号过滤它们并且可以做出捕获设备到之前记录的场景的自动对准以便自动校准相机和区。
[0024]图1图示了其中技术的实施例可以操作的目标识别、分析和追踪系统的示例实施例。在该上下文示例中，用户18在他的起居室中，如椅子和植物的图示性静态、背景对象23所指示的那样。用户18与自然用户接口(NUI)交互，自然用户接口(NUI)将手势识别为控制动作。NUI利用在其视场中用户18站立的3D图像捕获设备20以及计算机系统12实现，以在显示监视器16的显示器14上的计算机系统12上执行的软件的控制之下从所显示的菜单选择多媒体应用，在该示例中高清晰度电视也在起居室中。该示例中的计算机系统12是游戏控制台，例如来自控制台的XBOXe家族的一个。3D图像捕获设备20可以包括提供深度数据的深度传感器，该深度数据也可以与所捕获的图像数据相关。这样的图像捕获设备的示例是相机的Kinect?家族的深度敏感相机。也可以经由麦克风捕获音频数据的捕获设备20与计算机系统12—起可以实现目标识别、分析和追踪系统10，其可以用于识别、分析和/或追踪诸如用户18之类的人类目标，包括用户的头部特征，包括面部特征。
[0025]其它系统实施例可以使用其它类型的计算机系统，诸如台式计算机和移动设备，比如膝上型电脑、智能电话和平板电脑，包括用于捕获用户的头部特征的深度敏感相机和用于示出作为结果的个性化化身的显示器或与其通信耦合。在任何事件中，无论哪一个或哪些类型的计算机系统用于生成面部个性化化身，生成面部化身的一个或多个处理器将最可能包括至少一个图形处理单元(GPU)。
[0026]系统10及其组件的合适示例在以下共同未决的专利申请中找到:2009年5月29日提交的题为“Environment And/Or Target Segmentat1n”的美国专利申请序列号12/475，094; 2009年7月29 日提交的题为 “Auto Generating a Visual Representat1n” 的美国专利申请序列号12/511,850; 2009年5月29日提交的题为“Gesture Tool”的美国专利申请序列号12/474，655;2009年10月21日提交的题为“Pose Tracking Pipeline”的美国专利申请序列号 12/603，437;2009年5月29日提交的题为“Device for Identifying and TrackingMultiple Humans Over Time”的美国专利申请序列号12/475，308; 2009年10月7日提交的题为“Human Tracking System”的美国专利申请序列号12/575，388 ； 2009年4月13日提交的题为“Gesture Recognizer System Architecture” 的美国专利申请序列号 12/422,661;2009年2月23日提交的题为“Standard Gestures”的美国专利申请序列号12/391，150;以及2009年5月29日提交的题为“Gesture Too I”的美国专利申请序列号12/474，655。
[0027]图2图示了包括用于检测相对于三维热区的用户移动和触发数字事件的硬件和软件组件的系统的实施例。捕获设备20的示例实施例被配置成经由任何合适的技术捕获具有可以包括深度值的深度图像的视频，任何合适的技术包括例如飞行时间、结构光、立体相机等等。根据一个实施例，捕获设备20可以将所计算的深度信息组织到“Z层”或可以垂直于从深度相机沿其视线延伸的Z轴的层中。X和Y轴可以限定为垂直于Z轴，或者可以限定在从基于相机本征值的相机原点扩展开的投影空间中。Y轴可以是竖直的并且X轴可以是水平的。在一起，X、Y和Z轴限定由捕获设备20捕获的3D真实世界空间。
[0028]在该公开内容的上下文中，对三维笛卡尔坐标系统做出参考。然而，应当理解的是，依照本技术可以使用众多各种类型的坐标系统中的任一个。
[0029]如图2中所示，该示例性捕获设备20可以包括图像和深度相机组件22，其捕获像素化传感器阵列26的深度图像。深度值可以与每一个所捕获的像素相关联。深度值的一些示例是所捕获的场景中的对象距相机的以例如厘米、毫米等为单位的长度或距离。传感器阵列像素28是利用对RGB可见光敏感的子像素传感器加上用于确定针对像素28的深度值的IR传感器的像素的代表性示例。可以使用深度敏感和可见光传感器的其它布置。红外(IR)光照组件24可以将红外光发射到场景上，并且IR传感器检测从传感器阵列26的视场中的场景中的一个或多个目标和对象的表面反向散射的光，可以从所述光创建场景的深度图。在一些示例中，基于在传感器处接收到的IR光的强度或相位的飞行时间分析可以用于做出深度确定。
[0030]根据另一实施例，捕获设备20可以包括两个或更多物理分离的相机，其可以从不同角度查看场景以获取可以被分解以生成深度信息的视觉立体数据。
[0031]捕获设备20还可以包括麦克风30，所述麦克风接收由用户提供的音频信号，以便控制可以在作为自然用户接口的部分的计算环境12上执行的应用。
[0032]在示例实施例中，捕获设备20可以包括与图像和深度相机组件22通信并且能够访问可以存储用于供处理器32执行的指令以及由3D相机捕获和可能处理的图像或图像帧的存储器组件34的处理器32。存储器组件34可以包括随机存取存储器(RAM)、只读存储器(R0M)、缓存、闪存、硬盘或任何其它合适的存储组件。处理器32还可以执行图像处理，包括一些对象识别步骤以及