人手检测方法及系统的制作方法
【专利摘要】本发明提供了一种人手检测方法，包括：获取当前场景的深度图像和彩色图像；从所述深度图像中分割出场景的前景蒙版图，并利用所述深度图像和彩色图像与前景蒙版图生成前景深度图像和前景彩色图像；利用在前景深度图像和前景彩色图像上进行显著性检测获得人手所在区域的多个候选区域；以及对所述多个候选区域进行评分，并选择得分最高的候选区域作为人手所在区域以及输出该区域的包围盒。
【专利说明】人手检测方法及系统
【技术领域】
[0001] 本发明涉及一种人手检测方法以及使用该方法的人手检测系统。具体而言，本发 明涉及一种利用人手的显著性来检测人手方法以及使用该方法的人手检测系统。
【背景技术】
[0002] 目前，人机交互已经从触摸交互进展到采用检测操作人员的手势和姿势来执行人 际交互。具体而言，就是通过捕获显示屏幕以及屏幕前操作人员的场景图像，并对所获得图 像进行处理，获得操作人员的操作动作，并将操作人员的动作转换成机器的操作指令，从而 实现人机交互。这种人机交互通常需要检测操作人员的手势。而检测手势的最基本的检测 在于检测到操作人员的手。即人手检测。鉴于人手自身的特性，例如，皮肤颜色以及人手特 有的形状，人们通常基于手的肤色或轮廓在图像中识别人手。
[0003] 在美国专利US2011/0279663A1中，介绍了一种基于视觉的人手检测方法。该方法 在前景图上进行边缘检测从而获得手指边缘及指尖，然后结合这两类信息来定位人手。这 是基于手的特定形状来进行检测的具体例子。在美国专利US2012/0027263A1中，介绍了一 种手势检测方法，其中的人手检测的步骤利用运动历史图、线性支持向量机及描述物体形 状信息的有向梯度直方图特征。另外，在美国专利US7590262中，介绍了一种基于深度信息 的视觉跟踪技术。该发明在深度图上提取边缘信息，然后将这些边缘构建出多个轮廓。将 获得的轮廓和已有的人手的轮廓模型进行匹配，选出匹配度最高的以确定人手的位置。但 是，上述人手检测方法都不能很好的应对运动模糊、背景中有类似肤色的物体、光照变化等 情况。此外，上述方法多需要启动手势。
【发明内容】
[0004] 为此，本发明提出一种能够有效处理上述复杂环境，并且能在单帧图像上进行检 测人手的方法。该方法还可以用于初始化基于人手轨迹进行操作控制的系统。
[0005] 根据本发明的一个方面，提供了一种人手检测方法，包括：获取当前场景的深度图 像和彩色图像；从所述深度图像中分割出场景的前景蒙版图，并利用所述深度图像和彩色 图像与前景蒙版图生成前景深度图像和前景彩色图像；利用在前景深度图像和前景彩色图 像上进行显著性检测获得人手所在区域的多个候选区域；以及对所述多个候选区域进行评 分，并选择得分最高的候选区域作为人手所在区域以及输出该区域的包围盒。
[0006] 根据本发明的人手检测方法，所述从所述深度图像中分割出场景的前景蒙版图， 利用所述深度图像和彩色图像与前景蒙版图生成前景深度图像和前景彩色图像的步骤包 括：通过对深度图像进行连通域检测，将所检测连通域确定为物体，从而将深度图像按物体 划分成多个区域；基于一个预定深度阈值，执行二值化处理，以便从所述多个区域中选择出 前景区域从而生成前景蒙版图；以及将所述前景蒙版图分别和所述深度图像和彩色图像进 行"与"操作，分别生成前景深度图像和前景彩色图像。
[0007] 根据本发明的人手检测方法，所述利用在前景深度图像和前景彩色图像上进行显 著性检测获得人手所在区域的多个候选区域的步骤包括：利用前景深度图像计算出深度对 比度图以及利用前景彩色图像计算出色调对比度图和饱和度对比度图；基于深度对比度 图、色调对比度图和饱和度对比度图任意两者相对另外一个投票计算所述另外一个对比度 图的权值图；基于所述对比度图以及对应的权值图，进行融合形成显著性图；以及基于预 定阈值对所述显著性图进行二值化处理，以便获得人手所在区域的多个候选区域。
[0008] 根据本发明的另一个方面，提供了一种人手检测系统，包括：图像获取单元，获取 当前场景的深度图像和彩色图像；前景分割单元，从所述深度图像中分割出场景的前景蒙 版图，并利用所述深度图像和彩色图像与前景蒙版图生成前景深度图像和前景彩色图像； 显著性检测单元，利用在前景深度图像和前景彩色图像上进行显著性检测获得人手所在区 域的多个候选区域；区域选择单元，对所述多个候选区域进行评分，并选择得分最高的候选 区域作为人手所在区域以及输出该区域的包围盒。
[0009] 本发明不需要启动手势及运动信息。本发明能够很好的处理多种复杂情况，比如 图像中运动模糊，场景中类肤色物体，人机交互过程中光照有变化，人手及脸部重叠等。
【专利附图】
【附图说明】
[0010] 通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本 发明的以上和其他目标、特征、优点和技术及工业重要性。
[0011] 图1是采用了根据本发明的人手检测方法的应用系统的示意图。
[0012] 图2所示的是根据本发明的人手检测系统的功能模块示意图。
[0013] 图3所示的是根据本发明的前景分割单元所执行的操作的流程图。
[0014] 图4所示的是显著性检测单元实施的人手显著性检测的总体流程图。
[0015] 图5所示的是显著性检测单元计算对比度图的流程图。
[0016] 图6所示是显著性检测单元基于对比度图生成对应权值图的流程图。
[0017] 图7所示的是将对比度图与对应权值图融合为显著性图的示意图。
[0018] 图8所示的是根据本本发明由区域选择单元从显著性图的人手候选区域中选择 人手所在区域的流程图。
[0019] 图9所示为本发明涉及的一个硬件框图。
【具体实施方式】
[0020] 下面结合附图描述本发明实施例。
[0021] 本发明提供了一种利用手的显著性及深度信息在单帧视频上检测人手的系统。图 1是采用了根据本发明的人手检测方法的应用系统的示意图。如图1所示，图中示出了一 个人际交互的场景，例如，一个人在投影屏幕前进行演讲。该系统100包括深度摄像机101 以及计算机102。深度摄像机101可以是任意一种能够提供场景深度信息的摄像机，比如 PrimeSensor、Kinect等。在图1所示的应用场景中，用户正在使用手势控制计算机102中 的程序。本发明可以检测到该应用场景中的人手位置，人手的运动可以作为设备的输入命 令。集成了本发明人手检测方法的应用程序可以用于初始化基于轨迹控制的系统。更具体 地说，安装了本发明人手检测方法的计算机102分析深度摄像机101拍摄到的每帧图像，然 后输出用户手的位置信息，其中，每帧图像包括一幅深度及一幅彩色图像。图1所示的装置 100仅为本发明的一个应用示例，实际应用中可能会多于或少于其所包含的设备个数，或者 使用不同的设备。
[0022] 图2所示的是根据本发明的人手检测系统的功能模块示意图。人手检测系统200 接收图像获取单元201所拍摄并输入的一帧图像。该图像包括某一时刻在含有背景以及操 作者的场景的深度图像和彩色图像。图像获取单元201是图1中所示的深度摄像机101的 功能模块。如图2所示，本发明的人手检测系统还包括：前景分割单元202,用于分割出当 前场景中的前景区域；显著性检测单元203,用于计算前景深度图像和前景彩色图像的显 著性，并生成人手的候选区域；区域选择单元204,用于从候选区域中选择出人手区域。系 统输入为场景的深度及彩色图像，输出为人手区域的包围盒205。
[0023] 图3所示的是根据本发明的前景分割单元202所执行的操作的流程图。如图3所 示，深度摄像机201捕获某一时刻场景的一帧图像201，该帧图像包括一幅深度图像20la和 一幅彩色图像201b。深度图像201a是一幅灰度图像，其像素值表示该场景中物体到深度摄 像机的距离。而彩色图像201b是一幅RGB图像。在深度图像201a上进行连通域分析301， 检测到的每一个连通域为一个物体，从而将该图像按物体划分成多个区域。这里使用的连 通域分析可以被替换为其他分类方法，比如聚类。这些分类方法都是现有的方法，在此不赘 述。根据深度值从上述连通域中选择出前景区域。用所有区域的平均深度作为阈值，阈值 化处理连通域分析的结果图，其中，前景区域为1，其他区域为0,从而生成一幅前景蒙版图 302,即通过阈值将连通域分析的结果图二值化为前景蒙版图。前景区域的含义是包含用 户或/及场景中其他靠近摄像机的物体的区域。将前景蒙版图302和深度图像201a进行 "与"操作303,生成前景深度图像304。将前景蒙版图302和彩色图像201b进行"与"操作 305,生成前景彩色图像306。其中，所谓的"与"操作303为保留深度图像201a中对应前景 蒙版图302值为1的区域，将其余区域的深度置为0。而所谓的"与"操作305与"与"操作 303类似，不同的是，它需要反过来将前景蒙版图302的值为1的区域复制为彩色图像201b 对应部分的三个通道，因为彩色图像201b有三个通道，而前景蒙版图302的值为0的其余 部分为空白。通过上述处理，从而获得输入图像的前景深度图304以及前景彩色图306。通 过这种分割，能够显著降低了后续检测步骤的计算量。
[0024] 图4-7 -起图释了由显著性检测单元203实施的人手显著性检测的流程。总体而 言，显著性检测单元203从颜色和深度两个方面信息出发，利用前景深度图像和前景彩色 图像检测出前景区域中的显著性区域，作为人手的候选区域。对于颜色信息，人手的颜色与 大多数物体具有区分性，并且本申请分别处理颜色的色调和饱和度，从而可以应对前景中 有类似肤色的物体的情况。本申请将彩色图像201b从RGB颜色空间转换到HSV颜色空间， 从而得到色调和饱和度两个分量。这种转换属于现有技术，因此不在此详述转换过程。对 于深度信息，由于在交互操作中，人手到摄像机的距离内没有其他物体，因而人手在深度上 是显著的。因此，显著性检测包括色调、饱和度及深度三方面的计算及融合。首先分别计算 色调对比度图、饱和度对比度图及深度对比度图，然后计算对应的权值图，最后将三种对比 度图按照各自对应的权值图融合起来，生成显著性图。其中，权值图的像素表示其对应对比 度图的像素属于人手区域的概率值。
[0025] 图4所示的是显著性检测单元203实施的人手显著性检测的总体流程图。如图4 所示，显著性计算单元203首先接收前景分割单元202输入前景深度图像304和前景彩色 图像306。显著性检测单元203最后输出是一幅包含多个人手候选区域的蒙版图405。在 接收到前景深度图像304和前景彩色图像306之后，在步骤401处，显著性计算单元203计 算输入图像的对比度图505。
[0026] 图5所示的是显著性检测单元203计算对比度图505的流程图。为简便说明，以 下用I表示输入图像，其对应的对比度图C包含三个对比度图，即对比度图C D，CT，Cs。也就 是说，图5中的步骤401需要针对前景深度图像304和前景彩色图像306的前景色调图像、 前景饱和度图像及前景深度图像三个方面执行三遍。
[0027] 如图5所示，在步骤501中，对图像I的每一个非0值像素 i采用多密度采样方法 选择其邻域像素 j (j=l. . . r〇，其中叫是像素 i的邻域像素个数。所谓的多密度采样方法 就是在距离像素 i越近的位置所采邻域像素越多，在距离像素 i远的位置采样少。采用非 〇值像素点，可以减少计算量。具体而言，以像素 i为原点选取m等分个方向。在上述m个 方向上，分别以r为步长进行采样，直到图像I的边界。通常，实验中m的值取为8。当然如 果为了获得更精确的经过m的值可以取16。m也可以取为4。其中步长r通常为2个像素 距离。也可以为3、4个像素，这可以根据具体应用的需要而改变。通过这种采样，分别对应 前景色调图像、前景饱和度图像及前景深度图像，获取个图像的采样点的色调值、饱和度值 以及深度值。
[0028] 随后，在步骤502中，针对三种图像的每一个，利用公式[1]计算每个作为原点的 像素 i和被采样像素 j之间的差dp
[0029] (1υ=|?「Ι」2, i=l. · ·Ν· [1]
[0030] 其中，L是像素点i的像素值，Ν是图像I的尺寸。更具体地，对于计算深度对比 度图，Ii表示像素点i的深度值；对于计算色调对比度图，Ii表示像素点i的颜色色调值； 对于计算饱和度对比度图，Ii表示像素点i的颜色饱和度值。而对于采样点也是如此。
[0031] 随后，在步骤503,为每个被采样的像素点对应的像素值差赋予一定的权值，该权 值采用公式[2]来计算邻域像素 j的高斯权值Wij。
[0032]
【权利要求】
1. 一种人手检测方法，包括： 获取当前场景的深度图像和彩色图像； 从所述深度图像中分割出场景的前景蒙版图，并利用所述深度图像和彩色图像与前景 蒙版图生成前景深度图像和前景彩色图像； 利用在前景深度图像和前景彩色图像上进行显著性检测获得人手所在区域的多个候 选区域； 对所述多个候选区域进行评分，并选择得分最高的候选区域作为人手所在区域以及输 出该区域的包围盒。
2. 根据权利要求1所述的人手检测方法，其中所述从所述深度图像中分割出场景的前 景蒙版图，利用所述深度图像和彩色图像与前景蒙版图生成前景深度图像和前景彩色图像 的步骤包括： 通过对深度图像进行连通域检测，将所检测连通域确定为物体，从而将深度图像按物 体划分成多个区域； 基于一个预定深度阈值，执行二值化处理，以便从所述多个区域中选择出前景区域从 而生成前景蒙版图；以及 将所述前景蒙版图分别和所述深度图像和彩色图像进行"与"操作，分别生成前景深度 图像和前景彩色图像。
3. 根据权利要求1所述的人手检测方法，其中所述利用在前景深度图像和前景彩色图 像上进行显著性检测获得人手所在区域的多个候选区域的步骤包括： 利用前景深度图像计算出深度对比度图以及利用前景彩色图像计算出色调对比度图 和饱和度对比度图； 基于深度对比度图、色调对比度图和饱和度对比度图任意两者相对另外一个投票计算 所述另外一个对比度图的权值图； 基于所述对比度图以及对应的权值图，进行融合形成显著性图；以及 基于预定阈值对所述显著性图进行二值化处理，以便获得人手所在区域的多个候选区 域。
4. 根据权利要求3所述的人手检测方法，其中所述利用前景深度图像计算出深度对比 度图以及利用前景彩色图像计算出色调对比度图和饱和度对比度图的步骤包括针对深度 图、彩色图像变换后的色调图以及饱和度图进行如下步骤： 以三种图像之一的图像I的每一个像素 i为原点选取m等分个方向，并在在所述m个 方向上，分别以r为步长进行采样邻域像素 j (j=l. . . ，，直到图像I的边界，其中叫是像 素i的邻域像素个数； 采用基于公式[1]计算每个像素对i和j之间的差du dij=l 工厂1』I2, i=1· · · Ν·[丄] 其中，Ii是像素 i的像素值，Ν是图像I的尺寸； 基于公式[2]计算邻域像素j的高斯权值Wij，
P] 其中，％是高斯权值的尺度因子，Pi像素i的位置；以及 采用公式[3]基于所计算的和权值Wij计算像素i的对比度Ci，尤其获得各个对比 度图
[3]
5. 根据权利要求3或4所述的人手检测方法，其中所述基于深度对比度图、色调对比度 图和饱和度对比度图任意两者相对另外一个投票计算所述另外一个对比度图的权值图的 步骤包括： 针对每个对比度图计算对应的由梯度梯度方向T和梯度幅值if二元组（Τ，Με) (c=D，T，S)表达的梯度向量图Ge ; 针对任意对比度图Cd计算其余对比度图（T对它的投票，获得投票结果 Vdc(c, d=D, T, S;c ^ d)； 针对对比度图Cd的投票结果采用公式[7]进行求和获得对应的权值Wd(d=D，T，S)，
m 对所获得权值采用公式[8]执行归一化处理，从而获得归一化的权值图，
[8]· 其中 Wd(d=D，T，S)。
6. 根据权利要求5所述的人手检测方法，其中所述针对任意对比度图Cd计算其余对比 度图(^对它的投票，获得投票结果1。((：，(1=0，1'，5 ;(3尹(1)的步骤包括： 采用公式[4]和[5]计算0>在(^为正确的条件下错误的概率，
[4] [5] c, d=D, T, S; c ^ d. 其中，C表示cr是错误的，Γ表示cr是正确的，θ是向量e和#的夹角；以及 采用公式[6]计算(T对Cd的投票，
[6] 其中 c, d=D、T、S，且 c 尹 d。
7. 根据权利要求6所述的人手检测方法，其中所述基于所述对比度图以及对应的权值 图进行融合形成显著性图的步骤包括： 采用公式[9]，对对比度图的值以及对应的权值图的权值的乘积进行累加求和
[9];以及 采用公式[10]基于预定阈值对其进行二值化处理，获得人手所在区域的多个候选区 [10] 域， 其中，每个候选区域的尺寸为sc(i) (i=i... k)，k是候选区域的个数。
8. 根据权利要求7所述的人手检测方法，其中所述对所述多个候选区域进行评分的步 骤包括： 计算前景深度图像的直方图，将属于直方图同一个柱的像素组成一个超像素 SS(i) (i=l. . . t)，其中t是超像素的个数，并且t不小于k ; 用上述超像素的编号标记对应候选区域； 采用公式[11]计算标记后的候选区域与其对应的超像素的比例R(i)，
[11] 计算标记后的候选区域i的平均深度值A (i);以及 采用公式[12]计算标记后的候选区域i的分数Score (i)， Score (i) =R(i) *A (i)，（i=l. ·· k) [12]。
9. 一种人手检测系统，包括： 图像获取单元，获取当前场景的深度图像和彩色图像； 前景分割单元，从所述深度图像中分割出场景的前景蒙版图，并利用所述深度图像和 彩色图像与前景蒙版图生成前景深度图像和前景彩色图像； 显著性检测单元，利用在前景深度图像和前景彩色图像上进行显著性检测获得人手所 在区域的多个候选区域； 区域选择单元，对所述多个候选区域进行评分，并选择得分最高的候选区域作为人手 所在区域以及输出该区域的包围盒。
【文档编号】G06T7/00GK104123529SQ201310147976
【公开日】2014年10月29日 申请日期:2013年4月25日 优先权日:2013年4月25日
【发明者】赵颖 申请人:株式会社理光