使用脉冲式光源的近平面分段的制作方法
【专利说明】使用脉冲式光源的近平面分段
[0001] 背景
[0002] 家庭娱乐和游戏系统已开始采用相机和姿势识别软件来提供自然用户界面。使用 自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制在计算系统上运行的计 算应用的各方面。该计算系统可包括用于捕捉场景的图像的彩色相机（例如，RGB相机）或 深度相机。深度相机可包括利用飞行时间（TOF)或结构化光技术来获得深度信息的主动照 明深度相机。彩色相机可将场景捕捉为彩色图像，而深度相机可将场景捕捉为深度图。深 度图可包括环境的二维图像，该图像包括与从特定参考点（诸如与深度相机相关联的点） 到环境内的物体的距离有关的深度信息。二维图像中的每一像素可与表示距该特定参考点 的直线距离的深度值相关联。
[0003] 概述
[0004] 描述了用于在近场环境内识别姿势的技术。在一些实施例中，移动设备（诸如头 戴式显示设备（HMD))可识别该移动设备的最终用户执行的手和/或手指姿势。移动设备 可在使用IR光源照射环境时捕捉环境的第一图像。该IR光源可将光投射到该环境以使得 第一范围被照射。由于光强度在距光源的距离上的指数衰减，第一范围可出于检测所投射 的IR光的反射的目的而被充分照射。在一些情况下，可通过调制从该光源投射的IR光的 初始光强度来调整第一范围。光源可包括激光器、激光二极管、或LED。移动设备可在不照 射该环境的情况下捕捉该环境的第二图像。该移动设备随后可基于第一图像和第二图像生 成差异图像以便消除由该环境内的其他IR光源（例如，来自由日光或人工光源带来的环境 IR光）带来的背景噪声。在一些情况下，可向该差异图像应用对象和姿势识别技术以便检 测该移动设备的近场环境内该移动设备的最终用户的手和/或手指姿势的执行。在一些实 施例中，集成的彩色和IR图像传感器可被用来捕捉第一图像和第二图像。
[0005] 提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一 步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮 助确定所要求保护的主题的范围。
[0006] 附图简述
[0007] 图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
[0008] 图2A描绘了与第二移动设备通信的移动设备的一个实施例。
[0009] 图2B描绘了 HMD的一部分的一个实施例。
[0010] 图2C描绘了图像传感器的一部分的一个实施例。
[0011] 图3描绘了包括捕捉设备和计算环境的计算系统的一个实施例。
[0012] 图4A描绘了环境的一个实施例，在该环境中，佩戴HMD的最终用户执行手和/或 手指姿势以便控制在该HMD上运行的应用。
[0013] 图4B描绘了图4A中描绘的HMD捕捉的第一图像的一个实施例。
[0014] 图4C描绘了图4A中描绘的HMD捕捉的第二图像的一个实施例。
[0015] 图4D描绘了基于图4B的第一图像和图4C的第二图像的差异图像的一个实施例， 以便消除由环境内的非HMD IR光源所带来的背景噪声。
[0016] 图4E描绘了包括与HMD的最终用户相关联的手区域的分段图像的一个实施例。
[0017] 图5是描述用于识别近场环境内的姿势的方法的一个实施例的流程图。
[0018] 图6是描述用于识别近场环境内的姿势的方法的替换实施例的流程图。
[0019] 图7是移动设备的一个实施例的框图。
[0020] 详细描述
[0021] 描述了用于在近场环境内识别姿势的技术。在一些实施例中，移动设备（诸如头 戴式显示设备（HMD))可在使用具有第一范围（例如，由于光强度在距离上的指数衰减） 的IR光照射环境时捕捉该环境的第一图像，且在不照射的情况下捕捉该环境的第二图像。 该移动设备可基于第一图像和第二图像生成差异图像以便消除由该环境内的其他IR光源 (例如，来自由日光或人工光源带来的环境IR光）带来的背景噪声。在一些情况下，可向该 差异图像应用对象和姿势识别技术以便检测该移动设备的近场环境内该移动设备的最终 用户的手和/或手指姿势的执行。在一些实施例中，集成的彩色和IR图像传感器可被用来 捕捉第一图像和第二图像。
[0022] 在一些实施例中，可基于使用HMD捕捉的平面图像来执行实时的手和/或手指跟 踪。而且，可使用基于两个或更多图像内的手和/或手指边界的位置的视差计算来确定与 手和/或手指边界相关联的三维位置信息或深度信息。在一个实施例中，可根据使用两个 图像传感器捕捉的两个或更多图像以及与移动设备相关联的一个光源来确定深度信息。在 另一实施例中，可根据使用一个图像传感器捕捉的两个或更多图像以及两个不同光源来确 定深度信息。在此情况下，可在第一时间点期间在使用两个不同光源中的第一光源来照射 环境时使用图像传感器捕捉第一图像，且可在第一时间点之后（或之前）的第二时间点在 使用该两个不同光源中的第二光源来照射该环境时使用该图像传感器捕捉第二图像。
[0023] 在一个实施例中，可针对近场对象（诸如位于移动设备一米内的手）的每个边界 生成相对深度值。例如，可以确定，手的拇指比手的小指或其他部位更靠近移动设备。在一 些情况下，每当检测到对象边界时（例如，每当检测到前景对象和背景之间的边界时），可 针对每个扫描线（或像素行）确定深度信息。从而，近场对象（例如，手）的边界点处的相 对深度信息可被从与不同视点相关联的两个或更多图像中提取并被用来推断该近场对象 在该移动设备的第一范围内的空间定向。
[0024] 控制HMD的一个问题是：与其他计算设备不同，HMD本身不固有地提供用于控制 HMD的物理界面（例如，HMD可能不提供如与平板计算机一起使用的触摸屏界面）。而且， 在一些环境中（例如，在商业会议期间或在搭乘拥挤的地铁时），使用语音命令来控制HMD 可能不合适且因此姿势识别可能是优选的。然而，依赖于深度相机的姿势识别技术可能是 昂贵的并且与本文描述的图像分段和姿势识别技术相比需要相对更高的功率和计算复杂 度。从而，需要一种低成本且能量高效的系统，该系统允许HMD的最终用户在很宽范围的光 照环境中（例如，黑暗的房间或阳光充足的海滩）使用手和/或手指姿势来控制HMD。
[0025] 图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联 网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络 180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动 设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包 括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计 算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网 络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网（LAN)、广域网（WAN)、 以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换 机、以及有线传输介质，比如有线网络或直接线连接。
[0026] 可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载 信息（例如，文本、音频、图像和视频文件）或者执行与存储在该服务器上的特定信息相关 的搜索查询。一般而言，"服务器"可以包括在客户端-服务器关系中充当主机的硬件设备、 或者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户 端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定 资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回 客户端。
[0027] 服务器15的一个实施例包括网络接口 155、处理器156、存储器157和翻译器158， 所有这些都彼此通信。网络接口 155允许服务器15连接到一个或多个网络180。网络接口 155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15 执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用 于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑（即，第二 文件可以是经翻译的版本的第一文件）。可使用文件映射指令来配置翻译器158,该文件映 射指令提供用于将第一文件格式的文件（或其部分）映射成第二文件格式的对应文件的指 令。
[0028] 移动设备19的一个实施例包括网络接口 145、处理器146、存储器147、相机148、 传感器149、以及显示器150,所有这些都彼此通信。网络接口 145允许移动设备19连接到 一个或多个网络180。网络接口 145可以包括无线网络接口、调制解调器、和/或有线网络 接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此 讨论的过程。相机148可以捕捉色彩图像和/或深度图像。传感器149可生成与移动设备 19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元（頂1])。 显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
[0029] 在一些实施例中，包括网络接口 145、处理器146、存储器147、相机148以及传感器 149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口 145、处理器 146、存储器147、相机148、传感器149可被集成成为片上系统（SOC)。在另一实施例中，网 络接口 145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
[0030] 在一些实施例中，通过采用相机148、传感器149,和运行在处理器146上的姿势识 别软件，移动设备1