手具有相近颜色 的情况，也可以较为准确的区分出手。关于色调和饱和度分量，可以通过将彩色图像从RGB 颜色空间转换到HSV颜色空间而得到，这一转换属于现有技术，此处不对其进行详细的描 述。另一方面，由于在人机交互操作中，手到摄像机的距离内没有其他物体，因而手在深度 上是显著的，其可以作为区分手与其他物体的另一特征。因此，显著性区域的检测包括色 调、饱和度及深度三方面的计算及融合。下面将结合步骤S2013-S2016中的具体处理描述 这一显著性区域检测过程。
[0031] 具体的，在步骤S2013中，基于所述前景深度图像和前景彩色图像，确定色调对比 图Ct、饱和度对比度图Cs和深度对比度图Cd。
[0032] 色调对比度图Ct是由前景彩色图像的色调通道计算得到的，饱和度对比度图Cs是 由前景彩色图像的饱和度通道计算得到的，而深度对比度图Cd则是由前景深度图像计算得 到的，其中各对比度图中每个像素点的像素值表示该像素点相对于图像中其他像素点的显 著值。色调对比图CT、饱和度对比度图Cs和深度对比度图Cd可以采用同样的方法来计算， 例如采用下文中将结合图4描述的方法。也就是说，通过执行三遍图4中示出的方法，分别 计算出色调对比图CT、饱和度对比度图Cs和深度对比度图CD。下面将对图4中示出的方法 进行具体的说明。为了便于说明，在以下的描述中用I表示输入图像，而对应的对比度图则 用Cd(d=D，T，S)来表示。能够理解，在计算色调对比图时，I表示前景彩色图像的色调通道 图像，在计算饱和度对比度图时，I表示前景彩色图像的饱和度通道图像，在计算深度对比 度图时，I表示前景深度图像。
[0033]如图4所示，在步骤S401中，对图像I的每一个像素i选择其邻域像素 j(j=l. ? ?Iii)，其中Iii是像素i的邻域像素个数。
[0034] 在该步骤中，可以采用任何适当的方式来选择邻域像素。一种可能的方式是采用 多密度采样方法。所谓的多密度采样方法就是在距离像素i越近的位置采样的邻域像素越 多，在距离像素i越远的位置采样的越少。具体而言，以像素i为原点选取m等分个方向。 在这m个方向上，分别以r为步长进行采样，直到图像I的边界。m的取值可以根据具体需 要来确定，例如，在实验中m的值取通常为8,而如果想获得更精确的结果，m的取值可以更 大(如16)，或者如果对结果的精确性要求不高，m的取值也可以较小(如4)。步长r的取值 也可以根据具体需要来确定，例如r的取值可以是2个像素距离。通过这种采样，分别对应 前景彩色图像的色调通道图像、前景彩色图像的饱和度通道图像及前景深度图像，获取各 图像中的采样点的色调值、饱和度值以及深度值。可选的，在该步骤中可以只对于每一个非 〇值的像素i选择其邻域像素，以减少计算量。
[0035] 在步骤S402中，对图像I中的每个作为原点的像素i，计算其与对应的邻域像素j 之间的像素值之差。
[0036] 在该步骤中，可以利用表达式[1]来计算每个作为原点的像素i与对应的邻域像 素j之间的像素值差Clijt5
[0037] Clij=Ili-IjI 2,i=l. ..N[1]
[0038] 其中，Ii是像素i的像素值，Ij是邻域像素j的像素值，N是图像I的尺寸。更具 体地，在计算深度对比度图Cd时，Ii和L表示像素i和j的深度值；在计算色调对比度图 Ct时，Ii和Ij分别表示像素i和j的颜色色调值；而在计算饱和度对比度图Cs时，Ii和Ij 分别表示像素i和j的颜色饱和度值。
[0039] 在步骤S403,对于每个邻域像素j，确定其权值。
[0040] 在该步骤中，例如，可以利用表达式[2]来计算邻域像素j的高斯权值Wijtj
【主权项】
1. 一种手检测方法，包括： 检测当前场景中手的候选区域； 基于当前场景的深度图像，确定当前场景中的小臂区域； 利用每个所述手的候选区域分别预测对应的手腕信息，并利用所述小臂区域预测所述 手腕信息；和 基于各个所述手腕信息，选择置信度最高的候选区域作为手所在的区域。
2. 如权利要求1所述的手检测方法，其中所述基于当前场景的深度图像确定当前场景 中的小臂区域包括： 对所述深度图像进行前景分割，以生成前景深度图像； 基于所述前景深度图像，生成深度分布图； 对所述深度分布图进行阈值化处理； 在阈值化处理后的深度分布图上检测直线； 基于所述前景深度图像中人体的位置，确定所述直线中对应于小臂的直线； 根据所述对应于小臂的直线，在所述前景深度图像中确定小臂区域。
3. 如权利要求1或2所述的手检测方法，其中利用每个所述手的候选区域分别预测对 应的手腕信息进一步包括对于每个所述手的候选区域： 确定该手的候选区域的外接矩形，并基于该外接矩形计算手的主方向； 在与所述手的主方向相反的方向上，设置一预定大小的第一辅助区域，该第一辅助区 域与所述手的候选区域的外接矩形相接； 确定所述第一辅助区域的重心，作为预测的手腕的位置； 计算所述第一辅助区域的主方向，作为预测的手腕的方向。
4. 如权利要求3所述的手检测方法，其中利用所述小臂区域预测所述手腕信息进一步 包括： 确定该小臂区域的外接矩形，并基于该外接矩形计算小臂的主方向； 在与所述小臂的主方向相同的方向上，设置一预定大小的第二辅助区域，该第二辅助 区域与该所述小臂区域的外接矩形相接； 确定所述第二辅助区域的重心，作为预测的手腕的位置； 计算所述第二辅助区域的主方向，作为预测的手腕的方向。
5. 如权利要求1所述的手检测方法，进一步包括对于每个所述手的候选区域，计算其 是手所在的区域的概率。
6. 如权利要求5所述的手检测方法，进一步包括对于所确定的对应于小臂的直线，计 算该直线是小臂的概率。
7. 如权利要求6所述的手检测方法，其中基于各个所述手腕信息选择置信度最高的候 选区域作为手所在的区域包括： 对于每个所述手的候选区域，将其是手所在的区域的概率与所述对应于小臂的直线是 小臂的概率进行加权，并将加权结果作为该候选区域的置信度； 选择具有最大加权结果的候选区域，作为置信度最高的候选区域。
8. 如权利要求7所述的手检测方法，其中利用小臂区域预测出的手腕信息与利用手的 候选区域预测出的手腕信息的差别越小，则所述对应于小臂的直线是小臂的概率的权值越 大。
9. 如权利要求1所述的手检测方法，其中检测当前场景中手的候选区域包括：利用手 的色调、饱和度和深度信息，检测当前场景中手的候选区域。
10. -种手检测设备，包括： 手候选区域检测部件，配置用于检测当前场景中手的候选区域； 小臂区域检测部件，配置用于基于当前场景的深度图像，确定当前场景中的小臂区 域； 手腕信息预测部件，配置用于利用每个所述手的候选区域分别预测对应的手腕信息， 并利用所述小臂区域预测所述手腕信息；和 手区域确定部件，配置用于基于各个所述手腕信息，选择置信度最高的候选区域作为 手所在的区域。
【专利摘要】提供了手检测方法和设备，所述手检测方法包括：检测当前场景中手的候选区域；基于当前场景的深度图像，确定当前场景中的小臂区域；利用每个所述手的候选区域分别预测对应的手腕信息，并利用所述小臂区域预测所述手腕信息；和基于各个所述手腕信息，选择置信度最高的候选区域作为手所在的区域。所述手检测方法和设备在由于手的运动导致图像模糊、背景中有类似肤色的物体、人机交互过程中光照有变化、手及脸部重叠等多种复杂情况下能获得较好的检测结果。
【IPC分类】G06F3-01, G06K9-00
【公开号】CN104765440
【申请号】CN201410001215
【发明人】赵颖
【申请人】株式会社理光
【公开日】2015年7月8日
【申请日】2014年1月2日