一种基于多特征融合的手势检测方法
【专利摘要】本发明提供了一种基于多特征融合的手势检测方法，选择HOG特征、方差特征和Haar特征三种特征融合的方法来训练级联的Gentle Adaboost分类器，形成手势分类器；使用肤色预检模块对摄像头采集到的图像进行肤色预检，将疑似肤色的区域筛选出来；对被筛选出来的肤色区域使用滑动窗口法进行遍历，被认为含有手势的输入图像中用矩形框标定出来；对于多次反复被分类器判定为候选手势区域的重叠矩形区且域窗口进行合并，得到该幅图像的手势标定；选择HOG特征、方差特征和Haar特征三种特征融合的方法来训练分类器，并根据手的几种独特性使用多种特征值来衡量图像，以提高对人手的表征性能，从而提高检测系统的准确率。
【专利说明】一种基于多特征融合的手势检测方法
【技术领域】
[0001] 本发明属于人机交互与机器视觉领域，涉及利用手势检测进行人机交互的方法， 尤其涉及一种基于多特征融合的手势检测方法。
【背景技术】
[0002] 在人机交互领域，目前常见的方法是通过外置设备，如键盘、遥控器、触摸屏等进 行交互。与之相比，采用手势识别的方式对使用者的要求更低，且拥有更高的灵活度，更加 适用于日常生活。
[0003] 手势识别按照输入数据的不同可以分为两种方式：一，基于手套的手势识别；二， 基于视觉的手势识别。基于手套的方法需要使用者佩戴专用的数据手套，虽然准确率较高， 但仍未能达到自然交互的要求，且造价较为昂贵，不利于推广。基于视觉的识别方法对摄像 头采集到信息加以分析处理，从而得到手势信息。根据摄像头数目的不同，该方法又可分为 基于表象的单目视觉手势识别和基于三维模型的多目视觉手势识别。多目视觉能够得到深 度信息，从而获得更丰富的特征。然而，由于多目视觉的建模难度高、计算量大且硬件成本 相对较高，因此目前单目手势识别的应用较为广泛，而现有的单目手势识别方法实时性差， 准确率不高，人机交互能力差。
【发明内容】
[0004] 本发明的目的在于克服现有技术缺陷，提供一种实时性强且准确率高的基于多特 征融合的手势检测方法。
[0005] 为达到上述目的，本发明采用的技术方案是：
[0006] -种基于多特征融合的手势检测方法，包括手势分类器训练方法和手势检测方 法；
[0007] 所述手势分类器训练方法步骤如下：
[0008] 首先、以不同光照和不同距离条件下的常见手势作为正样本，同时选取大量重复 性低的室内外图片作为负样本，建立手势集；
[0009] 其次，根据人手的每个组成部分的特殊性，选择H0G特征、方差特征和Haar特征三 种特征融合的方法来训练分类器，通过特征值的计算、样本权重的初始化和调整、训练由多 个弱分类器构成的Gentle Adaboost分类器，级联后组成手势分类器；
[0010] 所述手势检测方法步骤如下：
[0011] 首先，使用肤色预检模块对摄像头采集到的图像进行肤色预检，将疑似肤色的区 域筛选出来；
[0012] 其次，对被筛选出来的肤色区域使用滑动窗口法进行遍历，并对输入的图像进行 等比例缩放后，使之依次进入手势分类器的各级强分类器，将通过前一级强分类器即被判 定为手势的检测窗口被送入下一级强分类器，每一级强分类器由若干个弱分类器组成，每 一级强分类器的所有弱分类器都会对该检测窗进行判断，并得出一个置信值，将所有弱分 类器的置信值相加即为该级强分类器的判断值，将判断值与该级强分类器的阈值进行判 断，如某个检测窗通过了所有强分类器的检测，则被认为含有手势，并将其在输入图像中用 矩形框标定出来；
[0013] 最后，对于多次反复被分类器判定为候选手势区域的重叠矩形区且域，根据设置 的重叠面积阈值th对窗口进行合并，当两个矩形重叠面积大于th时丢弃小矩形保存大矩 形，即可得到该幅图像的手势标定。
[0014] 所述手势集包括正样本图片、负样本图片以及测试集图片，正样本图片由手势图 片与背景图片叠加而成，手势图片包含了手指并拢、手指张开和手指自然弯曲三种基本手 势，并加入了适当的左右和前后倾斜，负样本图片包含大量室内和室外图片以及训练过程 中产生的误检图片。
[0015] 在特征值的计算时，首先利用积分图得到矩形区域内的所有点值之和，再进行特 征值的计算。
[0016] 所述Haar特征采用基本Haar特征以及模拟手型的三种扩展矩形特征。
[0017] 所述H0G特征的计算采用了查表的方法，在训练或检测前创建梯度幅值查询表和 K值查询表，针对所有可能的取值情况，预先计算出幅值和K值并存储在两张表中，并以二 维数组mag[511] [511]和bin[511] [511]的方式实现。
[0018] 所述方差特征通过下式计算：
[0019]
【权利要求】
1. 一种基于多特征融合的手势检测方法，其特征在于：包括手势分类器训练方法和手 势检测方法； 所述手势分类器训练方法步骤如下： 首先、以不同光照和不同距离条件下的常见手势作为正样本，同时选取大量重复性低 的室内外图片作为负样本，建立手势集； 其次，根据人手的每个组成部分的特殊性，选择HOG特征、方差特征和Haar特征三种特 征融合的方法来训练分类器，通过特征值的计算、样本权重的初始化和调整、训练由多个弱 分类器构成的Gentle Adaboost分类器，级联后组成手势分类器； 所述手势检测方法步骤如下： 首先，使用肤色预检模块对摄像头采集到的图像进行肤色预检，将疑似肤色的区域筛 选出来； 其次，对被筛选出来的肤色区域使用滑动窗口法进行遍历，并对输入的图像进行等比 例缩放后，使之依次进入手势分类器的各级强分类器，将通过前一级强分类器即被判定为 手势的检测窗口被送入下一级强分类器，每一级强分类器由若干个弱分类器组成，每一级 强分类器的所有弱分类器都会对该检测窗进行判断，并得出一个置信值，将所有弱分类器 的置信值相加即为该级强分类器的判断值，将判断值与该级强分类器的阈值进行判断，如 某个检测窗通过了所有强分类器的检测，则被认为含有手势，并将其在输入图像中用矩形 框标定出来； 最后，对于多次反复被分类器判定为候选手势区域的重叠矩形区且域，根据设置的重 叠面积阈值th对窗口进行合并，当两个矩形重叠面积大于th时丢弃小矩形保存大矩形，即 可得到该幅图像的手势标定。
2. 根据权利要求1的基于多特征融合的手势检测方法，其特征在于：所述手势集包括 正样本图片、负样本图片以及测试集图片，正样本图片由手势图片与背景图片叠加而成，手 势图片包含了手指并拢、手指张开和手指自然弯曲三种基本手势，并加入了适当的左右和 前后倾斜，负样本图片包含大量室内和室外图片以及训练过程中产生的误检图片。
3.根据权利要求1的基于多特征融合的手势检测方法，其特征在于：在特征值的计算 时，首先利用积分图得到矩形区域内的所有点值之和，再进行特征值的计算。
4.根据权利要求1的基于多特征融合的手势检测方法，其特征在于：所述Haar特征采 用基本Haar特征以及模拟手型的三种扩展矩形特征。
5.根据权利要求1的基于多特征融合的手势检测方法，其特征在于：所述HOG特征的 计算采用了查表的方法，在训练或检测前创建梯度幅值查询表和K值查询表，针对所有可 能的取值情况，预先计算出幅值和K值并存储在两张表中，并以二维数组mag[511] [511]和 bin[511] [511]的方式实现。
6. 根据权利要求1的基于多特征融合的手势检测方法，其特征在于：所述方差特征通 过下式计算：
v+A/-I a+A-I v+A/-I r+ /V -i 其中5： 2：K[表示窗口的灰度值总和，Z2：(即咖表示窗口的灰度值平方总和。 /=y n !=v !=x
【文档编号】G06K9/00GK104268514SQ201410476232
【公开日】2015年1月7日 申请日期:2014年9月17日 优先权日:2014年9月17日
【发明者】梅魁志, 徐璐, 王方, 李博良, 林斌, 高增辉, 王阳 申请人:西安交通大学