手检测方法和设备的制造方法
【技术领域】
[0001] 本发明总体涉及人机交互，更具体地涉及手检测方法和设备。
【背景技术】
[0002] 目前，人机交互已经从触摸交互发展到通过检测操作者的手势和姿势来进行人机 交互。具体而言，就是通过捕获屏幕以及屏幕前的操作者的场景图像，并对获得的场景图像 进行处理，来获取操作者的动作，继而将操作者的动作转换成机器的操作指令，从而实现人 机交互。这种人机交互通常需要识别操作者的手势，而手势识别的基础是手的检测。鉴于 手自身的特性，例如，皮肤颜色以及手特有的形状，人们通常基于手的颜色或轮廓来识别和 检测手。
[0003] 在美国专利申请US20100803369A中，介绍了一种基于视觉的人手检测方法，该方 法要求两只手同时出现。具体的，该方法根据两个摄像机获取的左、右视差图像计算场景 的深度信息，根据肤色检测出多个人手候选区域，并对得到的候选区域两两组合，通过计算 它们的尺寸差、深度差、位置差等信息得出双手的位置。在日本专利申请JP2005000236876 中，介绍了一种基于彩色图像检测人手的方法。该方法利用肤色特征检测出多个人手候选 区域，然后计算候选区域的形状，并根据形状的复杂度确定该区域是否是人手。另外，在美 国专利US7593552B2中，介绍了一种手势识别方法，其中包括人手的检测。具体的，在该方 法中，首先检测人脸从而得到人脸的位置及肤色信息，然后以人脸的位置为中心，在其左右 两侧分别取一个搜索区域，并在该区域中检测肤色区域，检测到的肤色区域的重心点即为 人手位置点。但是，上述手检测方法都不能很好的应对运动模糊、背景中有类似肤色的物 体、光照变化等情况。另外，上述方法多需要启动手势。
【发明内容】
[0004] 根据本发明的一个方面，提供了一种手检测方法，包括：检测当前场景中手的候选 区域；基于当前场景的深度图像，确定当前场景中的小臂区域；利用每个所述手的候选区 域分别预测对应的手腕信息，并利用所述小臂区域预测所述手腕信息；和基于各个所述手 腕信息，选择置信度最高的候选区域作为手所在的区域。
[0005] 根据本发明的另一个方面，提供了一种手检测设备，包括：手候选区域检测部件， 配置用于检测当前场景中手的候选区域；小臂区域检测部件，配置用于基于当前场景的深 度图像，确定当前场景中的小臂区域；手腕信息预测部件，配置用于利用每个所述手的候选 区域分别预测对应的手腕信息，并利用所述小臂区域预测所述手腕信息；和手区域确定部 件，配置用于基于各个所述手腕信息，选择置信度最高的候选区域作为手所在的区域。
[0006] 根据本发明实施例的手检测技术能够很好的处理由于手的运动导致图像模糊、背 景中有类似肤色的物体、人机交互过程中光照有变化、手及脸部重叠等多种复杂情况。另 外，根据本发明实施例的手检测技术能够在单帧图像上进行手的检测，而且不需要启动手 势及运动信息。
【附图说明】
[0007] 图1示意性地示出了应用根据本发明实施例的手检测技术的场景。
[0008] 图2示出了根据本发明实施例的手检测方法的流程图。
[0009] 图3示出了根据本发明实施例的手检测方法中检测当前场景中手的候选区域的 处理的流程图。
[0010] 图4示出了图3中所示的处理中基于前景深度图像和前景彩色图像确定色调对比 图、饱和度对比度图和深度对比度图的流程图。
[0011] 图5示出了图3中所示的处理中计算色调对比图、饱和度对比度图和深度对比度 图的权值图的流程图。
[0012] 图6示出了根据本发明实施例的手检测方法中确定当前场景中的小臂区域的具 体处理的流程图。
[0013] 图7 (a)示出了示例性的前景深度图像，图7 (b)示出了示意性的深度分布图，图 7 (c)示出了示意性的阈值化处理后的深度分布图，图7 (d)示意性的示出了对应于小臂的 直线。
[0014] 图8示出了根据本发明实施例的手检测方法中利用手的候选区域预测对应的手 腕信息的处理的流程图。
[0015] 图9示出了根据本发明实施例的手检测方法中利用小臂区域预测手腕信息的处 理的流程图。
[0016] 图10(a)示意性地示出了在前景深度图像中利用手的候选区域预测出的手腕信 肩、。
[0017] 图10(b)示意性地示出了在前景深度图像中利用小臂区域预测出的手腕信息。
[0018] 图11示出了根据本发明实施例的手检测设备的功能配置框图。
[0019] 图12示出了根据本发明实施例的手检测系统的总体硬件框图。
【具体实施方式】
[0020] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0021] 图1示意性地示出了应用根据本发明实施例的手检测技术的场景。如图1所示， 用户正站在摄像机101的摄像范围内，使用手势来控制诸如计算机的处理设备102中的 程序。摄像机101可以是任意一种能够提供场景的彩色图像和深度图像的摄像机，比如 PrimeSensor、Kinect等。当用户进行手势控制时，摄像机101对用户进行拍摄，处理设备 102针对摄像机101拍摄到的每帧图像，检测出用户的手的位置信息。需要说明的是，图1 仅仅图示了本发明的一种可能的应用场景，根据实际情况，应用场景中的设备可以相应地 增加或减少，并具有不同的配置，或者可以采用其他不同的设备。
[0022] 下面，将对根据本发明实施例的手检测技术进行详细的描述。
[0023] 首先对本发明的手检测技术的基本思想进行简要的描述。众所周知，手是非刚性 物体，具有运动快、易变形等特点。因此，在由于手的运动导致图像模糊、背景中有类似肤色 的物体、手及脸部重叠等多种复杂情况下，很难准确检测出手的位置。针对这一情况，本发 明提出了利用小臂信息对检测到的多个手的候选区域进行验证，从而得到准确的手的位置 的技术。因为小臂体积较大并且具有较小的变形，因此其检测相对于手的检测要容易，从而 利用小臂信息验证得到的手的位置具有较高的可信度。
[0024] 图2示出了根据本发明实施例的手检测方法的流程图。
[0025] 如图2所示，在步骤S201，检测当前场景中手的候选区域。
[0026] 如前文所述，检测一个或多个手的候选区域在本领域中已有很多研究，其并非是 本发明的关键所在，本领域技术人员可以采用任何适当的方式来检测当前场景中手的候选 区域。此处，为了说明的完整，将参考图3对本实施例中使用的示例方式进行简单的描述。
[0027] 如图3所示，在步骤S2011，获取摄像机拍摄的当前场景的深度图像和彩色图像。 如本领域技术人员公知的，深度图像是图像中每一像素点的值表示场景中某一点与摄像机 之间的距离的图像，而彩色图像则是一幅RGB图像。
[0028] 在步骤S2012,基于所述深度图像和彩色图像，获取当前场景的前景深度图像和前 景彩色图像。
[0029] 由于在深度图像和彩色图像中不仅包括用户，还包含有其他背景图像内容，因此 为了降低后续检测处理的计算量，可以通过前景分割从深度图像和彩色图像中分割出包括 用户和/或场景中其他靠近摄像机的物体的前景区域，即获取当前场景的前景深度图像和 前景彩色图像。这一处理可以通过本领域中各种现有的方法来实现，例如连通域分析、阈值 分割等等，此处不再进行详细描述。
[0030] 在随后的步骤S2013-S2016中，将从手的色调、饱和度和深度信息出发，利用前景 深度图像和前景彩色图像检测出前景区域中的显著性区域，作为手的候选区域。由于手的 颜色与大多数物体具有区分性，因此颜色对比度可以作为区分手与大多数物体的特征之 一。而且，通过分别处理颜色的色调和饱和度，对于前景区域包含的物体与