专利名称：检测手势的方法及装置的制作方法
技术领域：
本发明涉及人机交互领域，尤其涉及一种检测手势的方法及装置。
背景技术：
近年来，随着硬件以及软件的不断发展，基于检测手势的人机交互操作方法受到广泛关注，通过检测手势能够实现人与终端之间直接、自然且有效的交互。目如，终纟而多是米用深度摄像头、3D摄像头或者普通2D摄像头犾取视频图像，并对视频图像进行检测以确定手的位置。其中，通过2D摄像头获取视频图像，并对视频图像进行检测以确定手的位置时，多是根据肤色特征或者形状特征来确定手的位置。在实现本发明实施例的过程中，发明人发现现有技术中至少存在如下问题:在运用深度摄像头或3D摄像头实现检测手势时，由于通过深度摄像头或3D摄像头获取的视频图像包含的内容多，信息量较大，使得处理该视频图像时计算量较大；在运用2D摄像头实现检测手势时，可以根据肤色特征来确定手的位置，然而通过肤色特征来确定手的位置时，易与视频图像中背景中的人脸或者其他类肤色区域等目标混淆；还可以根据形状特征来确定手的位置，然而通过形状特征来确定手的位置时，易于与手的轮廓相似的轮廓混淆。综上所述，上述两种运用2D摄像头实现检测手势都出现漏检错检的情况。
发明内容
本发明的实施例提供检测手势的方法及装置，用于解决现有技术中存在的处理视频图像计算量较大，检测手势容易出现错检漏检的问题。为达到上述目的，本发明的实施例采用如下技术方案:第一方面，本发明实施例提供一种检测手势的方法，包括:对视频进行肤色提取以获得与所述视频对应的多帧肤色图像；根据所述多帧肤色图像确定待检测区域，所述待检测区域能覆盖检测手势中初始动作的动作范围对应的区域；根据所述待检测区域以及形状特征确定手的位置。在第一种可能的实现方式中，结合第一方面的实现方式，所述根据所述多帧肤色图像确定待检测区域，包括:提取每隔N帧的肤色图像，其中NS I ;对提取出来的相邻两帧肤色图像进行差值比较，得到相邻两帧图像的差异点个差值比较结果进行叠加得到第一叠加结果并根据所述第一叠加结果确定待检测区域，其中M为预先设置的，所述第一叠加结果包括多个差异点以及所述差异点在M个差值比较结果中出现的次数。在第二种可能的实现方式中，结合第一方面的第一种可能，所述根据所述第一叠加结果确定待检测区域，具体包括:根据所述第一叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第一叠加结果中的差异点。在第三种可能的实现方式中，结合第一方面的第一种可能，所述根据所述第一叠加结果确定待检测区域，具体包括 :对所述第一叠加结果进行筛选，剔除低概率出现的差异点以得到第二叠加结果；根据第二叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第二叠加结果中的差异点。在第四种可能的实现方式中，结合第一方面的第一种可能，所述对视频进行肤色提取以获得与所述视频对应的多帧肤色图像，包括:对视频进行亮度处理，剔除高于预设值的高像素点，得到多帧待处理图像；通过采集大量现有肤色图像，对现有肤色图像提取的像素训练高斯混合模型；根据所述高斯混合模型对所述多帧待处理图像进行处理得到与所述视频对应的多帧肤色图像。在第五种可能的实现方式中，结合第一方面的第一种可能，所述根据所述待检测区域以及形状特征确定手的位置，包括:对所述多帧待处理图像中的待检测区域提取手势形状边缘，得到待匹配手势形状；根据预先设置的手静态势模板，采用距离变换方法对所述待匹配手势形状进行匹配，确定手的位置。第二方面，本发明实施例提供一种检测手势的装置，包括:提取单元，用于对视频进行肤色提取以获得与所述视频对应的多帧肤色图像；第一确定单元，用于根据所述提取单元获得的多帧肤色图像确定待检测区域，所述待检测区域能覆盖检测手势中初始动作的动作范围对应的区域；第二确定单元，用于根据所述第一确定单元确定的待检测区域以及形状特征确定手的位置。在第一种可能的实现方式中，结合第二方面的实现方式，所述第一确定单元，包括:
第一提取子单元，用于提取每隔N帧的肤色图像，其中N彡I ；比较子单元，用于对所述提取子单元提取出来的相邻两帧肤色图像进行差值比较，得到相邻两帧图像的差异点；执行子单元，用于对比较子单元得到的M个差值比较结果进行叠加得到第一叠加结果并根据所述第一叠加结果确定待检测区域，其中M为预先设置的，所述第一叠加结果包括多个差异点以及所述差异点在M个差值比较结果中出现的次数。在第二种可能的实现方式中，结合第二方面的第一种可能，所述执行子单元，包括:第一确定模块，用于根据第一叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第一叠加结果中的差异点。在第三种可能的实现方式中，结合第二方面的第一种可能，所述执行子单元，包括:筛选模块，用于对所述第一叠加结果进行筛选，剔除低概率出现的差异点以得到
第二叠加结果；第二确定模块，用于根据第二叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第二叠加结果中的差异点。在第四种可能的实现方式中，结合第二方面的第一种可能，其特征在于，所述提取单元，包括:第一处理子单元，用于对视频进行亮度处理，剔除高于预设值的高像素点，得到多帧待处理图像；
训练子单元，用于通过采集大量现有肤色图像，对现有肤色图像提取的像素训练高斯混合模型；第二处理子单元，用于根据所述训练子单元训练出的高斯混合模型对所述第一处理子单元得到的多帧待处理图像进行处理得到与所述视频对应的多帧肤色图像。在第五种可能的实现方式中，结合第二方面的第一种可能，其特征在于，所述第二确定单元，包括:第二提取子单元，用于对所述多帧待处理图像中的待检测区域提取手势形状边缘，得到待匹配手势形状；确定子单元，用于根据预先设置的手静态势模板，采用距离变换方法对所述第二提取子单元提取的待匹配手势形状进行匹配，确定手的位置。本发明实施例提供的一种检测手势的方法及装置，由于通过视频对应的多帧肤色图像进行待检测区域的确定，并根据所述待检测区域以及形状特征确定手的位置，从而使得手的位置是基于待检测区域实现确定，而所述待检测区域是能覆盖检测手势中初始动作的动作范围对应的区域，与现有技术相比，待检测区域中的信息量远小于运用深度摄像头或3D摄像头实现检测手势时获得的视频图像包含的内容，使得处理该待检测区域对应的图像时计算量较小，且待检测区域的检测范围也小于运用2D摄像头实现检测手势时用于检测的视频图像，减小了运用2D摄像头实现检测手势都出现漏检错检的情况。
图1为本发明实施例提供的一种检测手势的方法的流程图；图2为本发明又一实施例提供的一种检测手势的方法的流程图；图3为图2所示的一种检测手势的方法中步骤201的流程图；图4为图2所示的一种检测手势的方法中步骤202的流程图；图5为本发明实施例提供的一种检测手势的装置的结构示意图一；图6为图5所示的一种检测手势的装置中提取单元的结构示意图；图7为图5所示的一种检测手势的装置中的第一确定单元的结构示意图；图8为图7所示的一种检测手势的装置中的第一确定单元的执行子单元的结构示意图；图9为图5所示的一种检测手势的装置中的第二确定单元的结构示意图；图10为本发明实施例提供的一种检测手势的装置的结构示意图二。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供的一种检测手势的方法及装置，用于解决现有技术中进行手势检测时不是处理视频图像时计算量较大就是出现漏检错检的问题。下面结合附图对本发明实施例提供的一种检测手势的方法进行详细描述。
如图1所示，本发明实施例提供的一种检测手势的方法，包括:步骤101、对视频进行肤色提取以获得与所述视频对应的多帧肤色图像。其中，所述视频为摄像头采集的多帧视频图像，多帧视频图像通过肤色提取获取与多帧视频图像对应的多帧肤色图像。步骤102、根据所述多帧肤色图像确定待检测区域。其中，所述待检测区域能覆盖检测手势中初始动作的动作范围对应的区域。步骤103、根据所述待检测区域以及形状特征确定手的位置。本发明实施例提供的一种检测手势的方法，由于通过视频对应的多帧肤色图像进行待检测区域的确定，并根据所述待检测区域以及形状特征确定手的位置，从而使得手的位置是基于待检测区域实现确定，而所述待检测区域是能覆盖检测手势中初始动作的动作范围对应的区域，与现有技术相比，待检测区域中的信息量远小于运用深度摄像头或3D摄像头实现检测手势时获得的视频图像包含的内容，使得处理该待检测区域对应的图像时计算量较小，且待检测区域的检测范围也小于运用2D摄像头实现检测手势时用于检测的视频图像，减小了运用2D摄像头实现检测手势都出现漏检错检的情况。为了使得本领域技术人员更好的理解本发明实施例提供的技术方案，现对本发明又一实施例提供的一种检测手势的方法进行详细的说明。如图2所示，本发明又一实施例提供的一种检测手势的方法，应用于具有摄像头的终端，所述方法，可以包括:步骤201、对视频进行肤色提取以获得与所述视频对应的多帧肤色图像。
在本实施例中，所述视频为摄像头采集的多帧视频图像。其中，肤色提取的方式有很多种，在现有技术中均有体现，现以一具体实施例为例对肤色提取进行详细的说明。具体的，如图3所示，所述步骤201，包括:步骤2011、对所述多帧视频图像进行亮度处理，剔除高于预设值的高像素点，得到多帧待处理图像。其中，所述剔除高于预设值的高像素点的具体实现方式为:提取视频图像的売度/[目息，去除视频图像的売度>200的像素点，减小売度彳目息对肤色检测的影响，如公式(I)所示；Y=0.299XR+0.587XG+0.114XB(I)其中，R、G、B分别为视频图像中的红、绿、蓝三个通道分量；Y为视频图像的亮度信息；0.299,0.587,0.114三个常数为实验所得的经验值。步骤2012、通过采集大量现有肤色图像，对现有肤色图像提取的像素训练高斯混合模型(Gaussian Mixture Model, GMM),如公式(2)所不:
MP (Xi) = X a , N i (.T y; ;, Σ , )2 ;
/=1其中，为单高斯模型在GMM中的权值；μ j为单高斯模型的均值；Σ j为单高斯模型的方差4为样本向量；P(Xi)为概率分布密度A为单高斯。步骤2013、根据上述GMM对所述多帧待处理图像进行处理得到与所述视频对应的多帧肤色图像。步骤202、根据所述多帧肤色图像确定待检测区域，所述待检测区域覆盖检测手势中初始动作的动作范围对应的区域。其中，如图4所示，步骤202可以包括:步骤2021、提取每隔N帧的肤色图像。其中，N ≥1，表示间隔帧数的数值，可以根据当前肤色图像的帧数设置，也可以是预先设置的阈值。步骤2022、对提取出来的相邻两帧肤色图像进行差值比较，得到相邻两帧图像的像素差异点，如公式(3)所示:Diffi (x, y) =abs (Skini (x, y) -Skinj (x, y))(3)其中，Diffi (x，y)为像素差异点集合Jkini(^y)为相邻两帧肤色图像中后一帧的肤色图像像素点集合；Skir^(x，y)为相邻两帧肤色图像中前一帧的肤色图像像素点集合；(X，y)为像素点在视频图像帧中的坐标信息。Sabs ()非0，则此刻(X，y)对应的像素点为像素差异点。步骤2023、对M个差值比较结果进行叠加得到第一叠加结果并根据所述第一叠加结果确定待检测区域。其中，M为预先设置的，所述第一叠加结果包括多个差异点以及所述像素差异点在M个差值比较结果中出现的次数，如公式(4)所示:
权利要求
1.一种检测手势的方法，其特征在于，包括: 对视频进行肤色提取以获得与所述视频对应的多帧肤色图像； 根据所述多帧肤色图像确定待检测区域，所述待检测区域能覆盖检测手势中初始动作的动作范围对应的区域； 根据所述待检测区域以及形状特征确定手的位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多帧肤色图像确定待检测区域，包括: 提取每隔N帧的肤色图像，其中NS I ； 对提取出来的相邻两帧肤色图像进行差值比较，得到相邻两帧图像的差异点； 对M个差值比较结果进行叠加得到第一叠加结果并根据所述第一叠加结果确定待检测区域，其中M为预先设置的，所述第一叠加结果包括多个差异点以及所述差异点在M个差值比较结果中出现的次数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一叠加结果确定待检测区域，具体包括: 根据第一叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第一叠加结果中的差异点。
4.根据权利要 求2所述的方法，其特征在于，所述根据所述第一叠加结果确定待检测区域，具体包括: 对所述第一叠加结果进行筛选，剔除低概率出现的差异点以得到第二叠加结果； 根据第二叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第二叠加结果中的差异点。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述对视频进行肤色提取以获得与所述视频对应的多帧肤色图像，包括: 对视频进行亮度处理，剔除高于预设值的高像素点，得到多帧待处理图像； 通过采集大量现有肤色图像，对现有肤色图像提取的像素训练高斯混合模型； 根据所述高斯混合模型对所述多帧待处理图像进行处理得到与所述视频对应的多帧肤色图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待检测区域以及形状特征确定手的位置，包括: 对所述多帧待处理图像中的待检测区域提取手势形状边缘，得到待匹配手势形状； 根据预先设置的手静态势模板，采用距离变换方法对所述待匹配手势形状进行匹配，确定手的位置。
7.—种检测手势的装置，其特征在于，包括: 提取单元，用于对视频进行肤色提取以获得与所述视频对应的多帧肤色图像； 第一确定单元，用于根据所述提取单元获得的多帧肤色图像确定待检测区域，所述待检测区域能覆盖检测手势中初始动作的动作范围对应的区域； 第二确定单元，用于根据所述第一确定单元确定的待检测区域以及形状特征确定手的位置。
8.根据权利要求7所述的装置，其特征在于，所述第一确定单元，包括:第一提取子单元，用于提取每隔N帧的肤色图像，其中NS I ； 比较子单元，用于对所述提取子单元提取出来的相邻两帧肤色图像进行差值比较，得到相邻两巾贞图像的差异点； 执行子单元，用于对比较子单元得到的M个差值比较结果进行叠加得到第一叠加结果并根据所述第一叠加结果确定待检测区域，其中M为预先设置的，所述第一叠加结果包括多个差异点以及所述差异点在M个差值比较结果中出现的次数。
9.根据权利要求8所述的装置，其特征在于，所述执行子单元，包括: 第一确定模块，用于根据第一叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第一叠加结果中的差异点。
10.根据权利要求8所述的装置，其特征在于，所述执行子单元，包括: 筛选模块，用于对所述第一 叠加结果进行筛选，剔除低概率出现的差异点以得到第二叠加结果； 第二确定模块，用于根据第二叠加结果中的差异点确定所述待检测区域，所述待检测区域全部覆盖或者大部分覆盖所述第二叠加结果中的差异点。
11.根据权利要求7-10任一项所述的装置，其特征在于，所述提取单元，包括: 第一处理子单元，用于对视频进行亮度处理，剔除高于预设值的高像素点，得到多帧待处理图像； 训练子单元，用于通过采集大量现有肤色图像，对现有肤色图像提取的像素训练高斯混合模型； 第二处理子单元，用于根据所述训练子单元训练出的高斯混合模型对所述第一处理子单元得到的多帧待处理图像进行处理得到与所述视频对应的多帧肤色图像。
12.根据权利要求11所述的装置，其特征在于，所述第二确定单元，包括: 第二提取子单元，用于对所述多帧待处理图像中的待检测区域提取手势形状边缘，得到待匹配手势形状； 确定子单元，用于根据预先设置的手静态势模板，采用距离变换方法对所述第二提取子单元提取的待匹配手势形状进行匹配，确定手的位置。
全文摘要
本发明实施例提供的一种检测手势的方法及装置，应用于人机交互领域，用于解决现有技术中存在的处理视频图像计算量较大，检测手势容易出现错检漏检的问题。本发明实施例提供一种检测手势的方法，包括对视频进行肤色提取以获得与所述视频对应的多帧肤色图像；根据所述多帧肤色图像确定待检测区域，所述待检测区域能覆盖检测手势中初始动作的动作范围对应的区域；根据所述待检测区域以及形状特征确定手的位置。本发明实施例提供的一种检测手势的方法及装置可以应用于带摄像头的智能终端。
文档编号G06F3/01GK103218601SQ20131011524
公开日2013年7月24日 申请日期2013年4月3日 优先权日2013年4月3日
发明者方奎 申请人:华为技术有限公司