利用热区识别交互的制作方法_4

文档序号:9756828阅读:来源:国知局
到步骤412所指示的,步骤412、414和416连续重复以允许后续步骤追踪运动数据并且以连续的方式输出控制信息。
[0070]在步骤418处,将运动数据提供给应用,包括在本文所描述的计算系统上可操作的任何应用。在420处还可以评估这样的运动数据,以确定用户是否正在执行预限定的手势。步骤420可以基于UI上下文或其它上下文来执行。例如,当在菜单上下文中操作时,手势的第一集合可以是活跃的,而当在玩游戏上下文中操作时,手势的不同集合可以是活跃的。在步骤420处执行手势识别和控制。将追踪模型和所捕获到的运动传递通过用于活跃手势集合的过滤器以确定是否满足任何活跃手势过滤器。在计算环境内应用任何所检测到的手势以控制计算环境12提供的用户接口。步骤420还可以包括确定是否存在任何手势,并且如果是这样,则修改响应于手势检测而执行的用户接口动作。
[0071]在步骤425处,与步骤418和420同时地,做出关于用户或其它对象是否与3D热区交互的确定。以下讨论与热区的交互的确定。如果在步骤425处做出用户已经与热区交互的确定,则在步骤430处,引发数字事件。方法在步骤425处重复,连续监视与所限定的热区的交互。
[0072]图11表示可以响应于接收到所引发的事件430而在诸如计算系统12之类的处理设备上发生的过程。在步骤512处,可以通过处理设备检测事件。事件可以通过运行在处理设备上的应用检测,或者指令处理器经由API 125响应于事件并且寻求事件的任何代码来检测。在515处,可以响应于热区事件而触发诸如游戏或渲染事件之类的数字事件。渲染事件可以发生诸如游戏或通信应用之类的应用。例如,在图9中将怪兽渲染在椅子上。在步骤516处,接收附加的用户运动数据以供应用或代码在生成游戏内的动作或代码中使用。在步骤518处,可以接收由捕获设备识别的手势。在步骤520处,应用响应于由捕获设备识别的手势和用户运动。
[0073]图12图示了用于检测热区中的改变的方法,其在一个实施例中可以包括用于执行图10中的步骤425的方法。在602处,对于捕获设备视图内的每一个区,在606处检测区中的改变。区中的改变可以是与几个像素或某个百分比的像素相关联的深度数据中的改变或来自区的定界区域内的大部分像素的深度数据中的主要改变。在步骤607处,做出关于改变是否在限定与区的交互所要求的阈值水平以上的确定。在607处,改变可以限定为3D热区内的像素的百分比,或者3D热区内的像素的绝对数目。如以下描述的,热区的限定可以基于可能撞击区、占据区体积内的所限定的像素的某个百分比的真实对象的移动而改变或过滤。可选地,在步骤608处,做出关于是否由所允许的人员、对象或人员的附属肢体做出阈值中的改变的确定。
[0074]当在以上的步骤406处检测到人类目标时,在步骤410处生成的人类目标的模型可以与各个用户以及被标识和追踪的用户相关联。在一些实施例中,仅在所标识个体与特定热区交互时才引发事件。该交互可以在热区的基础上发生和限定在热区上。也就是说,各个用户可以与各个区或多个区相关联。热区还可以包括限定可以发生与区的什么类型的交互的许可。例如,某些区可能要求人类身体部分交互,其它可能仅允许静态对象交互。应当理解的是,步骤608是可选的。
[0075]如果在607处确定区中的改变超过阈值并且在608处确定允许人员或对象改变阈值,则在610处引发数字事件。
[0076]图13和14图示了用于限定3D热区的两个不同的方法。在图13中,可以由用户在空间中限定3D热区。在712处,呈现配置接口。配置接口可以呈现在具有用户接口的计算设备上。在步骤714处,确定本地环境中的相机定位。在一方面中,本地坐标系统基于相机定位以及相对于本地坐标系统限定的3D热区。在步骤716处,从配置接口接收针对要限定的每一个3D热区的X、Y和Z坐标。在步骤718处,相对于本地坐标系统存储一个或多个3D热区。
[0077]在该上下文中,本地坐标系统可以限定为与相机定位相关或不相关。如果与坐标系统不相关,本地坐标系统可以与本地环境和环境内的基准点相关联。热区可以与环境的场景地图相关联,并且如果相机的定位在环境内移动,从基准点确定坐标。可替换地,可以通过相机定位限定本地坐标系统。在图16中图示了固定到相机定位的热区限定的示例。在又一替换方案中,每一个热区可以与特定真实对象相关联使得如果重定位对象,捕获设备的重新校准将确定对象的重定位并且改变热区的限定以匹配相对于对象的新定位。
[0078]在步骤720处,可以执行自动化对准/热区修改过程。如果例如,固体对象开始撞击之前在不受阻碍的空间中限定的热区,或者捕获设备相对于原始位置移动,则对准/修改过程可以补偿这些改变。
[0079]图14是图示了以自动化方式执行的热区限定过程的方法。在步骤812处,深度数据由处理设备访问。在814处,在本地空间中确定相机定位。步骤814等同于图13中的相同步骤。步骤816,可以创建场景地图。场景地图可以包括捕获设备定位在其中的本地深度图像。通过使用在步骤816处创建的场景地图,可以标识适合于用户交互的一个或多个真实世界对象,并且在818处确定热区相对于对象的位置。在818处的针对真实世界对象的热区的创建可以取决于将在该上下文中利用热区的应用。可替换地,热区可以针对环境对的数个可标识对象中的全部而创建。在步骤820处,可以在820处使用自动化热区对准/修改过程。步骤818和820等同于以上讨论的步骤718和720。
[0080]图15图示了自动化对准热区修改过程。在步骤922处,分析针对特定热区的深度数据。分析将包括相对于热区占据的体积的比较,以及热区中的哪些像素应当具有特定深度值的记录。并且924,做出关于是否一些像素通过具有不同于包含在热区限定中的深度数据而“接通”的确定。像素是否“接通”的确定是相对于在至少阈值量的时间或帧内针对该像素的深度数据中的改变。如果在阈值量的时间内热区的定界区域限定内的像素保持活跃或“接通”,则这可以指示需要解决的物理环境中的改变。如果在步骤924处确定像素在阈值量时间内接通,则在步骤926处,将从限定过滤“接通”像素。在926处从限定中过滤“接通”像素不改变限定,但是在确定是否已经与热区交互中不考虑“接通”像素。可替换地,或者除了过滤像素之外,可以更改热区的X、Y、Z定界限定。如以下关于图16指出的,可以通过X-Y平面中的像素范围和Z方向上的深度范围来创建热区的定界。替换热区限定可以包括更改X-Y平面中的(多个)像素范围和/或距捕获设备(或用于坐标系统的其它参考/基准点)的Z距离。过滤或改变定界限定包括修改热区。在步骤928处,做出关于是否要求相机对准的确定。数个检查可以用于确定相机是否相对于其原始定位而改变。如果是这样,可以在930处执行相机对准算法。可以利用包括例如使用迭代最近点(ICP)或另一类似但更加鲁棒的追踪算法的数个不同的相机对准算法。
[0081]在另外的实施例中,诸如KinectFus1n之类的系统通过从多个视角随时间对来自捕获设备的深度数据整合来提供环境的单个密集表面模型。当移动传感器时追踪相机姿势(其位置和取向)。对象或环境的这些多个视角可以一起融合(平均)到单个重构体元体积中。该体积可以用于限定环境和这些所映射的环境内的热区。
[0082]在一个实施例中,以XML格式限定热区以供计算设备使用解译。在图16中示出热点限定的示例。图16中图示的XML限定示出所限定的三个示例性热区。该上下文中的热区由限定数个像素的X和Y坐标以及限定距相机的距离的Z数据限定。X和Y坐标限定针对捕获设备的视场内的X和Y轴中的每一个的开始和结束像素距离。还示出激活热区所要求的热区内的像素的绝对数目以及由数个帧限定的时间长度,其为必须接合的像素的绝对数目。
[0083]图17图示了第一和第二捕获设备20a和20b,每一个具有相应的视场10a和100b。如其中所图示的,一系列热区812、814和822、824可以与每一个视场相关联。每一个捕获设备20a和20b可以连接到提供在处理设备上的中央配置工具以允许特定热点与特定捕获设备的关联。以此方式使用,两个或更多设备可以专用于热区追踪而第三设备可以专用于追踪用户交互。
[0084]技术的实施例包括一种渲染数字事件的计算机实现的方法。方法包括在真实世界环境中限定一个或多个三维热区,每一个热区包括空间的体积;
监视真实世界环境以接收深度数据,深度数据包括真实世界环境中的一个或多个三维热区;通过分析深度数据来检测第二真实世界对象与一个或多个热区中的至少一个之间的交互,在热区中的阈值数目的活跃像素基于第二真实世界对象的存在而具有深度距离中的改变时交互发生;以及响应于检测,响应于第二真实世界对象与一个或多个热区之间的交互而向处理设备上的至少一个应用输出信号。
[0085]实施例包括任何前述实施例的计算机实现的方法,其中深度数据可以通过参考真实世界环境的三维坐标系统来参考,三维坐标相对于深度捕获设备的定位而限定,每一个热区由坐标系统中的坐标限定。
[0086]实施例包括任何前述实施例的计算机实现的方法,其中深度数据可以通过参考真实世界环境的三维坐标系统来参考,三维坐标相对于捕获设备的视场中的基准对象的定位而限定,每一个热区由坐标系统中的坐标限定。
[0087]实施例包括任何前述实施例的计算机实现的方法,还包括确定发生定界区域内的连续活跃像素中的改变,并且修改热区。
[0088]实施例包括任何前述实施例的计算机实现的方法,其中所述修改包括从热区过滤连续活跃的像素。
[0089]实施例包括任何前述实施例的计算机实现的方法,其中所述修改包括改变限定热区的维度坐标中的一个或多个以从而移动热区。
[0090]实施例包括任何前述实施例的计算机实现的方法,其中检测包括当热区中的阈值数目的活跃像素在至
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1