一种多特征融合的手势识别方法与流程

本发明涉及图像识别技术领域，特别涉及一种多特征融合的手势识别方法。

背景技术：

随着计算机的发展在现代社会中应用越来越广泛和迅速，人机交互技术的需求在人类生活中也变得越来越高，手势作为一种自然而直观的人机交互模式，逐渐发展为人机交互领域的研究热点，并在体感游戏、机器人控制、电脑控制等方面得到广泛的应用。相比基于数据手套的手势识别技术，基于视觉的手势识别技术具有对设备要求低、交互自然等优点，并成为手势识别的主流方式。

手势分割是基于视觉的手势识别中关键的环节，分割的效果影响着特征提取，进而影响手势分类结果。现有的单目静态手势识别方法采用的手势特征比较单一，导致手势识别系统的鲁棒性较弱，识别准确率不高。因此，提出一种在复杂背景下能够快速识别手势的手势识别方法是目前函待解决的问题。

技术实现要素：

本发明的目的在于提供一种多特征融合的手势识别方法，该方法通过选择合理的手势特征，利用多特征融合的特征提取算法，使特征的计算量小，有效性高，通过这种方式能有效解决复杂场景下，手势识别率不高的问题，且满足实时性的要求。

本发明提供了一种多特征融合的手势识别方法，包括以下步骤：

步骤1：通过图像采集单元采集手势图像，将手势图像输入图像预处理单元进行色度提取、边缘提取和指尖提取；

步骤2：通过运算单元得出当前手势图像的边缘坐标信息和指尖坐标信息，计算当前识别手势的周长与面积比、hu矩以及傅里叶描述子特征，构成手势特征向量；

步骤3：将提取的手势特征向量作为bp神经网络的输入，通过训练bp神经网络实现静态手势分类。

进一步地，所述色度提取是将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域分别识别提取出来，得到二值图像；

进一步地，利用八连通判别算法，计算手势区域的周长和面积，计算周长与面积的比值；

进一步地，计算每个手势图像的hu矩特征，并对其进行归一化处理，hu矩特征可以用式表示：

hu＝(φ1,φ2,φ3,φ4,φ5,φ6,φ7)

其中，φ1～φ7分别表示hu矩特征的每一个分量；

进一步地，将手势轮廓边缘的坐标{(xk,yk)}用复数的形式表示，构成复数序列{ck}，ck表示如下：

ck＝xk+iyk,(k＝0,1,2,...,n-1)；

对离散序列{ck}作傅里叶变换，得到傅里叶系数序列{c(u)}，提取u＝1开始的10个傅里叶系数，对其取模值并归一化，构成傅里叶描述子特征。

与现有技术相比，本发明具有如下显著优点：

(1)采用多特征融合的特征提取方法，特征计算量小，各特征可从不同角度描述手势，能有效修正因单一特征误检带来的错误，在尽可能小的计算量下带来较高的识别率。

(2)本发明通过组合多种有效的手势特征训练bp神经网络，提供了一个鲁棒性强、准确率高的手势识别方法。

附图说明

图1为本发明实施例提供的一种多特征融合的手势识别方法的结构示意图；

图2为本发明实施例提供的一种多特征融合的手势识别方法的运算单元流程图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

为了便于理解和说明，参照图1，本发明提供了一种多特征融合的手势识别方法，包括以下步骤：

步骤1：通过图像采集单元采集手势图像，将手势图像输入图像预处理单元进行色度提取、边缘提取和指尖提取；

步骤2：通过运算单元得出当前手势图像的边缘坐标信息和指尖坐标信息，计算当前识别手势的周长与面积比、hu矩以及傅里叶描述子特征，构成手势特征向量；

步骤3：将提取的手势特征向量作为bp神经网络的输入，通过训练bp神经网络实现静态手势分类。

其中所述色度提取是将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域分别识别提取出来，将输入的图像由rgb色彩空间转换到ycr′cb′色彩空间，转换公式如下：

y＝0.299×r+0.587×g+0.114×b

式中r、g、b分别为图像在rgb色彩空间中的红、绿、蓝三个分量，y、cr'、cb'分别为图像在ycr′cb′色彩空间中的亮度分量、红色色度分量、蓝色色度分量；

若像素点的两个色度分量同时满足肤色在cr'和cb'分量的阈值范围时，令该像素点取值为1，否则取值为0，从而将图像中的肤色及类肤色区域提取出来，得到二值图像。

其中所述边缘提取是将二值化处理后的手势图像进行边缘提取算法得到手势图像的边缘图像；所述边缘提取算法先采用7×7模板的腐蚀算法去除杂散点，然后用7×7模板膨胀恢复原图，再采用恢复原图减去该恢复原图经过3×3腐蚀算法后的图得到边缘图像。

其中所述指尖提取是根据手势图像的边缘图像实现二维手指坐标定位；所述二维手指坐标定位采用搜索手势图像中整个手的边缘轮廓图像，扫描手部轮廓曲线中的夹角，确定夹角为锐角并且方向垂直向上的为指尖部位，定位出手指的每个指尖所在位置。

计算手势区域的周长和面积，计算周长与面积的比值。利用八连通判别算法，

计算每个手势图像的hu矩特征，并对其进行归一化处理，hu矩特征可以用式表示：

hu＝(φ1,φ2,φ3,φ4,φ5,φ6,φ7)

其中，φ1～φ7分别表示hu矩特征的每一个分量。

将手势轮廓边缘的坐标{(xk,yk)}用复数的形式表示，构成复数序列{ck}，ck表示如下：

ck＝xk+iyk,(k＝0,1,2,...,n-1)；

对离散序列{ck}作傅里叶变换，得到傅里叶系数序列{c(u)}，提取u＝1开始的10个傅里叶系数，对其取模值并归一化，构成傅里叶描述子特征。

其中所述的bp神经网络包括输入层、隐藏层和输出层，输入层有d个神经元，由手势特征向量的维数决定，输出层有s个神经元，由手势种类数决定，隐藏层有q个神经元，输入层第i个神经元与隐藏层第h个神经元之间的连接权值为vih，隐藏层第h个神经元与输出层第j个神经元之间的连接权值为whj，隐藏层第h个神经元的阈值为输出层第j个神经元的阈值为θj。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

技术特征：

技术总结
本发明公开了一种多特征融合的手势识别方法，涉及图像识别技术领域，本发明提供一种多特征融合的手势识别方法，该方法通过选择合理的手势特征，利用多特征融合的特征提取算法，使特征的计算量小，有效性高，通过这种方式能有效解决复杂场景下，手势识别率不高的问题，且满足实时性的要求。

技术研发人员：官巍;马力;卢梦园;马俊峰;张晗
受保护的技术使用者：西安邮电大学
技术研发日：2019.03.11
技术公布日：2019.06.25