一种动态手势识别方法
【技术领域】
[0001] 本发明属于计算机视觉与机器学习的技术领域，具体地涉及一种动态手势识别方 法。
【背景技术】
[0002] 手势识别是计算机视觉领域的一个重要研究方向。手势识别研究涉及计算机视 觉、模式识别、图像处理、机器学习等多学科领域，是一个具有挑战性的课题。基于视觉的 手势识别因其自然性在聋哑人教育教学、机器人操控、虚拟现实、人机交互、智能家居等领 域有重要应用。基于视觉的手势识别的两个关键研究内容是特征表示和分类方法。常用 的特征表示方法有SIFT(Scale_InvariantFeatureTransform，尺度不变特征转换）， SURF(Speed_UpRobustFeature，加速尺度不变特征），H0G(HistogramofGradient，方向 梯度直方图），傅立叶描述子等手形特征描述和基于光流、运动跟踪方法的手势运动信息描 述；常用的分类分类方法包括模板匹配，ANN(ArtificialNeuroNetwork，人工神经网络）， HMM(HiddenMarkovModel，隐马尔科夫模型）等，特别地，由于HMM对动态时序序列的优 越的建模能力，在语音识别和手语手势识别中应用最广。传统的特征表示方法通常是人工 预定义的特征，人工选取特征的方法有很大的局限性，通常需要图像去噪、手势分割等预处 理，并且需要先验知识、经验和大量的手工调整。
【发明内容】
[0003] 本发明的技术解决问题是：克服现有技术的不足，提供一种动态手势识别方法，其 能够提高动态手势识别的准确率。
[0004] 本发明的技术解决方案是：这种动态手势识别方法，该方法包括以下步骤：
[0005] (1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于 canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘 图像；
[0006] (2)基于卷积神经网络模型提取手势特征序列；
[0007] (3)通过步骤（2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM 训练，得到最接近手势样本的HMM。
[0008] 本发明基于卷积神经网络模型提取手势特征序列，然后进行隐马尔科夫模型HMM 训练，得到最接近手势样本的HMM，因此能够提高动态手势识别的准确率。
【附图说明】
[0009] 图1是根据本发明的动态手势识别方法的一个具体实施例的流程图。
【具体实施方式】
[0010] 这种动态手势识别方法，该方法包括以下步骤：
[0011] (1)对动态手势数据进行预处理，基于间隔取样方法扩展动态手势数据，基于 canny边缘检测算子计算扩展后扩展动态手势数据的RGB三个通道的边缘，生成彩色边缘 图像；
[0012] (2)基于卷积神经网络模型提取手势特征序列；
[0013] (3)通过步骤（2)提取的手势特征序列和手部方向特征，进行隐马尔科夫模型HMM 训练，得到最接近手势样本的HMM。
[0014] 本发明基于卷积神经网络模型提取手势特征序列，然后进行隐马尔科夫模型HMM 训练，得到最接近手势样本的HMM，因此能够提高动态手势识别的准确率。
[0015] 优选地，所述步骤（1)中间隔取样方法为：设动态手势数据序列的源帧数为n帧； 表达动态手势数据序列的关键帧的帧数为x帧；这样一个手势视频序列扩展成n/x=k个 视频序列，K为向下取整的整数。
[0016] 优选地，在所述步骤（2)中的卷积神经网络模型由五层卷积层、三层最大池化层、 两层全连接层和最后一层分类层组成，在此基础上对卷积神经网络模型每层的卷积核大小 和步长做优化处理，经过卷积神经网络模型对按手形分类的数据进行反复学习与训练，将 参数调到最优，使手形分类识别率达到最优。
[0017] 优选地，在所述步骤（2)中第一层到第二层是将220*220*3的彩色图像进行卷积 核为11*11，步长4的卷积运算，接着进行池化窗口 3*3,步长为1的最大池化运算；第二层 到第三层进行卷积核为5*5,步长1的卷积运算，接着进行池化窗口 3*3,步长为2的最大池 化运算；第三、第四、第五、第六层之间均为卷积核大小为3*3,滑动步长为1的卷积操作；之 后两层为全连接层，其中，第一层全连接层节点为2048个，第二层全连接层是要提取的特 征层，初始节点设置为2048个，第二层全连接层输出特征维度为64维；第八层到第九层之 间为分类层，此层用softmax分类器。
[0018] 优选地，在所述步骤（2)中，在方向特征上应用简化的H0G特征，将其修改成统计 图像每个像素在九个方向上的个数，从而提取到9维的方向特征，并将其串联融合在从第 二层全连接层提取的64维的特征向量上，生成73维的手势序列单帧特征，并作为隐马尔科 夫模型的观察序列进行训练分类。
[0019] 优选地，在所述步骤（3)中，对每类动态手势训练出一个HMM模型，在实验阶段针 对剑桥的动态手势库中动作的类别，共训练出了九个HMM模型，然后进行测试识别；HMM模 型的训练过程是给定训练样本的观察序列，对模型参数不断重估的过程，通过迭代运算对 HMM模型的参数A(A，B，不断调整，根据公式（1)使得观察序列0出现的概率P(0 |入） 达到最大，训练一个最适合样本集的模型，
[0_
⑴；
[0021]再根据Baulm-Welch算法更新来求P(〇| A)最大时的参数A，其中at(i)表示给 定模型A，并且截止到t时刻产生观察概率〇1cv" 〇t时，t时刻状态为s啲概率，aij表示 为状态&到si的状态转移概率，bj(〇t+1)表示t+1时刻状态为Sl条件下出现观察值〇 1+1的 概率，0 t+1(j)表示在已知模型X且t+1时刻到T时刻产生观察序列〇1+2〇1+3*"〇1的概率。
[0022]优选地，求P(0 |X)最大时的参数A包括以下步骤：
[0023]a)初始化HMM的参数MA，B,JT);
[0024] b)根据观察序列0和模型参数A估算新模型参数1，根据公式⑵
[0025] _⑶分别重新估计巧、^ 4(幻，得到新的模型参数瓦
[0031] yt(i)表示在给定观察序列0和HMM模型参数A的条件下，在t时刻处于状态Sl n 的概率，满足;Mi，?]_)表示在给定观察序列0和HMM模型参数a的条件下，在 M t时刻处于状态Sl并且t+l时刻处于S^的概率。
[0032] c)使用前向-后向算法计算观察序列0在模型A下的概率P(〇|入） 以及在！下的概率P(Q丨為，并计
，若满足
e为设定的收敛门限值，则P(〇丨幻收敛，此时的I为 训练得到的最接近手势样本的HMM;否则令久=1,继续执行步骤b)，直至收敛。
[0033] 现在给出一个本发明的详细实施例。
[0034] 本发明的训练流程如图1，主要步骤如下：
[0035] 1、手势数据预处理
[0036] 动态手势数据的预处理主要包括面向学习方法的数据扩充以及边缘检测两个方 面。由于动态手势数据的相邻帧之间变化比较小，所以基于间隔取样方法扩展动态手势视 频数据量，以更好地学习与训练。间隔取样方法具体为：设手势视频序列的源帧数为n帧； 表达手势视频序列的关键帧，即采样帧数为x帧；这样一个手势视频序列可以扩展成n/x= k(K向下取整）个视频序列。
[0037] 为去除不同光照对图像质量的影响，基于canny边缘检测算子计算原始图像的 RGB三个通道的边缘，生成彩色边缘图像。
[0038] 2、手势序列单帧手势特征表示
[0039] 2. 1卷积神经网络模型
[0040] 本发明采用的卷积神经网络模型结构类似于2012年ImageNet比赛上Hinton团 队所用的卷积神经网络模型，主要由五层卷积层、三层最大池化层、两层全连接层和最后一 层分类层（softmax层）组成。在此基础上对卷积神经网络模型每层的卷积核大小和步长做 一些经验性的优化处理。第一层到第二层是将220*220*3的彩色图像进行卷积核为11*11， 步长4的卷积运算，接着进行池化窗口 3*3,步长为1的最大池化运算。同样，第二层到第 三层进行卷积核为5*5,步长1的卷积运算，接着进行池化窗口 3*3,步长为2的最大池化运 算。第三、第四、第五、第六层之间均为卷积核大小为3*3,滑动步长为1的卷积操作。之后 两层为全连接层，其中，第一层全连接层节点为2048个，第二层全连接层是我们要提取的 特征层，初始节点设置为2048个，这一特征向量具有高度稀疏的特点，因此要降低特征维 度。本发明通过实验验证64维可以有效表达手势特征，提取特征的准确率在95 %左右，