深度图像的处理的制作方法
【专利说明】深度图像的处理
【背景技术】
[0001] 诸如计算机游戏、多媒体应用等之类的许多计算应用使用控制让用户操控游戏角 色或者应用的其他方面。传统上，这种控制使用例如控制器、遥控器、键盘、鼠标等进行输 入。不幸的是，这种控制可能不好学，从而在用户和这种游戏和应用之间形成了障碍。此外， 这种控制可能不同于实际的游戏操作或使用控制的其他应用操作。例如，使游戏角色摆动 一根棒球棒的游戏控制可能无法与摆动棒球棒的实际运动相对应。近来，摄像机已被用来 允许用户操控游戏角色或应用的其他方面，而无需使用传统的手持游戏控制器。此外，这种 摄像机使用户的表示可以在游戏或其他应用中显示。这种计算系统常常依赖骨骼跟踪(ST) 技术来检测运动或其他用户的行为，并生成用户的表示进行显示。然而，虽然在一些情况下 对检测和显示用户的表示很有用，但是ST技术已被证明无法在其他情况下可靠地对用户的 表示进行检测和显示。例如，ST技术通常无法在用户躺或坐在地上或者躺或坐在地面附近 的情况下可靠地对用户的表示进行检测和显示。
【发明内容】
[0002] 本文所描述的实施例是用于深度图像被用来检测和显示用户的表示和/或检测用 户的行为的情况。更具体地，本文所描述的一些实施例可以用来检测已被指定为对应于用 户的深度图像的像素子集中的孔洞，并用来填充这种检测到的孔洞。这种孔洞可能是在捕 获设备(如摄像机)被用来获取深度图像时，由于用户的一个部分遮挡了该用户的另一部分 而产生。这样的实施例可以包括(在被指定为对应于用户的像素子集内）辨识潜在地作为孔 洞的一部分的横向和纵向像素跨度，然后分析邻近这些跨度的像素来确定这些邻近的像素 是否也将被辨识为潜在地作为孔洞的一部分。彼此邻近的跨度可以被一起组合成潜在地对 应于孔洞的像素岛，然后对每个岛进行分析并分类为孔洞和非孔洞。然后执行孔洞填充对 任何已辨识的孔洞进行填充，使得在深度图像被用来显示用户的表示时，孔洞填充的结果 是可用的。
[0003] 另外，本文所描述的实施例可以用来生成已被指定为对应于用户的低分辨率版本 的像素子集，使得在显示用户的表示时，图像反映出用户的外形而且没有对用户线条分明 的（distinct)身体部位进行平滑，但并不是用户的镜像。生成这种已被指定为对应于用户 的低分辨率版本的像素子集可以在上述孔洞检测和孔洞填充的实施例之前或之后进行，或 者完全独立于上述孔洞检测和孔洞填充的实施例执行，这取决于实施方式。
[0004] 进一步地，本文所描述的实施例可以用来辨识可能对应于支撑用户的地面的（被 指定为对应于用户的像素子集内）的像素。这使被辨识为可能对应于地面的像素能够从被 指定为对应于用户的像素子集中去除。这种地面检测和去除技术可以在上述孔洞检测和孔 洞填充的实施例和/或上述生成已被指定为对应于用户的低分辨率版本的像素子集之前或 之后执行，或者完全独立于上述孔洞检测和孔洞填充的实施例和/或上述生成已被指定为 对应于用户的低分辨率版本的像素子集执行。
[0005] 本文所描述一些实施例可以用来调整深度图像，以将深度图像的灵敏度降低到用 来获取深度图像的捕获设备的倾斜度。这种调整可以包括获取与用来获取深度图像的捕获 设备相关联的向上向量。将深度图像中的像素从深度图像空间转换到三维(3D)摄像空间， 以生成包括被指定为对应于所述用户的像素子集的深度图像的3D表示。然后使用向上向量 将被指定为对应于用户的像素子集转换为具有指定姿态的平面。其后，可以将所述深度图 像的所述3D表示从所述3D摄像空间转回到所述深度图像空间。
[0006] 提供本
【发明内容】
来以简化的形式对概念的选择进行介绍，在下文的【具体实施方式】 中，将对其进行进一步的描述。本
【发明内容】
并非旨在对请求保护的主题的关键特征或本质 特征进行辨识，也并非作为辅助内容用于确定所要求保护的主题的范围。此外，所要求保护 的主题并不限于解决本公开的任何部分指出的任何或所有缺点的实施方式。
【附图说明】
[0007] 图1A和图1B示出了玩游戏用户的跟踪系统的示例实施例。
[0008]图2A示出了可作为跟踪系统的一部分使用的捕获设备的示例实施例。
[0009]图2B示出了图2A中介绍的深度图像处理和物体报告模块的示例实施例。
[0010] 图3示出了可用来跟踪用户行为并基于用户行为更新应用的计算系统的示例实施 例。
[0011] 图4示出了可用来跟踪用户行为并基于跟踪的用户行为更新应用的计算系统的另 一个示例实施例。
[0012] 图5示出了示例的深度图像。
[0013]图6描绘了示例的深度图像中的示例的数据。
[0014] 图7示出了根据一些实施例用来总结用于在深度图像内辨识孔洞和填充孔洞的方 法的高级流程图。
[0015] 图8示出了根据一实施例用来提供图7中步骤702的更多细节的流程图。
[0016] 图9示出了根据一实施例用来提供图7中步骤704的更多细节的流程图。
[0017] 图10示出了根据一实施例用来提供图7中步骤706的更多细节的流程图。
[0018] 图11示出了根据一实施例用来提供图7中步骤710的更多细节的流程图。
[0019] 图12A使用本文所描述的实施例示出分类为孔洞的两个示例的像素岛。
[0020] 图12B示出了图12A中示出的分类为孔洞的像素岛的孔洞填充结果。
[0021] 图13是根据一实施例用来总结地面去除方法的高级流程图。
【具体实施方式】
[0022] 本文所描述的实施例可以用来检测已被指定为对应于用户的深度图像的像素子 集中的孔洞。另外，本文所描述的实施例可以用来生成已被指定为对应于用户的低分辨率 版本的像素子集，使得在显示用户的表示时，图像反映出用户的外形，但并不是用户的镜 像。进一步地，本文所描述的实施例可以用来辨识被指定为对应于用户的像素子集中的可 能对应于支撑用户的地面的像素。这使被辨识为可能对应于地面的像素能够从被指定为对 应于用户的像素子集中去除。本文所描述的另外的实施例可以用来调整深度图像，以将深 度图像的灵敏度降低到用来获取深度图像的捕获设备的倾斜度。在对这些实施例的更多细 节进行描述之前，将对可以和这些实施例一起使用的示例的系统进行描述。
[0023]图1A和1B示出了玩拳击视频游戏的用户118的跟踪系统100的示例实施例。在示例 实施例中，跟踪系统100可用来识别、分析、和/或跟踪跟踪系统100范围内的人类目标(诸如 用户118)或其他物体。如图1A所示，跟踪系统100包括计算系统112和捕获设备120。正如下 文更加详细的描述，捕获设备120可以用来获取深度图像和彩色图像(也称为RGB图像），计 算系统112可以使用该深度图像和彩色图像辨识一个或多个用户或其他物体，以及跟踪运 动和/或其他用户行为。跟踪的位置、运动和/或其他用户行为可以用来更新应用。因此，用 户不使用控制器、遥控器、键盘、鼠标等(或者除了使用控制器、遥控器、键盘、鼠标等之外）， 可以通过使用用户的身体的移动和/或用户周围物体的运动来操控游戏角色或应用的其他 方面。例如，视频游戏系统可以基于物体的新位置更新视频游戏中显示的图像的位置，或者 基于用户的运动更新化身。
[0024]计算系统112可以是计算机、游戏系统或控制台等。根据示例实施例，计算系统112 可以包括硬件组件和/或软件组件，使计算系统112可用来执行诸如游戏应用、非游戏应用 等之类的应用。在一个实施例中，计算系统112可以包括诸如标准化处理器、专用处理器、微 处理器等之类的处理器，其可执行存储在处理器可读存储设备上的指令来进行本文所描述 的处理。
[0025]捕获设备120可以是例如以可视的方式监测一个或多个用户（诸如用户118)的摄 像机，使得由一个或多个用户执行的姿势和/或移动可以被捕获、分析和跟踪，以便在应用 内执行一个或多个控制或动作，和/或使化身或屏幕上的角色动起来，如将在下文更加详细 地描述的。
[0026] 根据一实施例，跟踪系统100可以连接到诸如电视、显示器、高清电视(HDTV)等之 类的视听设备116,其可以向用户(诸如用户118)提供游戏或应用的画面和/或音频。例如， 计算系统112可以包括诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器，其 可以提供与游戏应用、非游戏应用等之类的相关联的视听信号。视听设备116可以从计算系 统112接收视听信号，然后可以将与视听信号相关联的游戏或应用的画面和/或音频输出给 用户118。根据一实施例，视听设备16可以经由例如超级视频电缆、同轴电缆、HDMI电缆、DVI 电缆、VGA电缆、分量视频电缆等连接到计算系统112。
[0027] 如图1A和IB所示，跟踪系统100可用来识别、分析、和/或跟踪人类目标(诸如用户 118 )。例如，可以使用捕获设备120来跟踪用户118，使得用户118的姿势和/或移动可以被捕 获以便使化身或屏幕上的角色动起来，和/或使得用户118的姿势和/或运动可以被解释为 可用来影响正在由计算系统112执行的应用的控制。因此，根据一实施例，用户118可以移动 他或她的身体，以便对应用进行控制和/或使化身或屏幕上的角色动起来。
[0028] 在图1A和1B所描绘的示例中，在计算系统112上执行的应用可以是用户118正在玩 的拳击游戏。例如，计算系统112可以使用视听设备116向用户118提供拳击对手138的可视 化表示。计算系统112还可以使用视听设备116提供用户118通过他或她的移动来控制的玩 家化身140的可视化表示。例如，如图1B所示，用户118可以在物理空间中出拳使玩家化身 140在游戏空间中出拳。因此，根据示例实施例，计算机系统112和捕获设备120识别并分析 用户118在物理空间的出拳使得该出拳可被解释为对游戏空间中的玩家化身140的游戏控 制，和/或使得该出拳运动可用来使游戏空间中的玩家化身140运动起来。
[0029] 用户118的其他移动也可以被解释为其他控制或动作和/或用来使玩家化身(也可 称为用户化身）动起来，诸如进行跳动、迂回前进、到处转移、阻截、猛击或者打出各种不同 力量的拳的控制。此外，一些移动可以被解释为可能对应于控制玩家化身140以外的动作的 控制。例如，在一个实施例中，玩家（也可称为用户）可以使用移动来结束、暂停、或保存游 戏、选择级别、查看高分榜、与朋友交流等。根据另一个实施例，玩家可以使用运动从主用户 接口接口中选择游戏或其他应用。因此，在示例实施例中，可以以任何适当的方式使用户 118全方位的运动可用、被使用和分析，以便和应用进行交互。
[0030] 在示例实施例中，人类目标(诸如用户118)可以拥有一个物体。在这些实施例中， 电子游戏的用户可以握住物体使玩家和物体的运动可用来调整和/或控制游戏参数。例如， 玩家握住球拍的运动可以被跟踪并利用来控制电子竞技游戏中屏幕上的球拍。在另一个示 例实施例中，玩家握住物体的运动可以被跟踪并用于控制电子对抗游戏中屏幕上的武器。 还可以对用户