1，2,…，W。
[0031] 使用上述方法同理，可以得到N个双手手势帧数据序列的训练数据集{(Xn，Y n)}，n =1，2, ...，N〇
[0032] (5)根据单手或双手手势训练数据集建立两个相应的隐条件神经场（HCNF)模型；
[0033] 1)隐条件神经场（HCNF)模型的定义：
[0034] 根据双手手势训练集中的观测序列X = {Xl，x2，…，xN}，类别标签序列Y = {yi，y2,…，yJ以及隐变量序列s = {sd s2,…，sN}，可以定义隐条件神经场（hcnf)的条件 概率模型为：
[0036] 其中κ为拉伸系数，Z(X)为分割函数，其公式为：
[0038] Φη(Χ，Y，S)为观测函数，表示原始观察特征，Ψη(Χ，Y，S)为变换函数，表示转换后 的特征，分别为：
[0041] 其中（HX，Y，S，t)表示从第t帧数据中提取的原始特征，i^(X，Y，S，t，t-l) 表示从第t帧和第t-1帧数据中提取的转换特征，h(x)为门函数，即
表示门函数所对应的权重，+表示
函数 所对应的权重，Θ y s g表示y，S，g对应的三维权重向量，κ表示计算Φ n(X，Y，S)时，使用具 有非线性特征的门函数的集合。
[0042] 2)HCNF 模型学习：
[0043] 双手手势动作训练集中包含N个样本（Xd YJ，根据HCNF模型的定义，通过对数似 然概率L( Θ )和模型参数计算公式可学习得到最优参数Θ %对数似然概率L( Θ )为：
[0045] 其中，N表示训练集中共有N帧，δ 2可以由
求得。对于上式所 示最优化问题，可以使用梯度下降法计算模型参数计算公式的最优值，获 得最优参数Θ#后，可以建立双手手势动作的HCNF模型。
[0046] 根据以上两个步骤可以建立双手手势动作的HCNF模型。同理，可以建立单手手势 动作的HCNF模型。
[0047] (6)运用步骤（5)中得到的两个隐条件神经场（HCNF)模型进行手势识别；
[0048] 1)单手手势帧数据的长度为L ;双手手势帧数据的长度为2L，根据手势帧数据的 长度对测试数据集中的观察序列X进行判断，若为单手手势，则输入单手手势动作HCNF模 型；若为双手手势，则输入双手手势动作HCNF模型；
[0049] 2)将测试数据集中的观察序列X作为对应单手或者双手手势动作HCNF模型的输 入，采用置信度扩散算法计算出类别标签y>^/=argmaXP(Y|X，θ，；
[0050] 3)类别标签/为输入观察序列X的预测标签，即完成了 Leap Motion手部动作帧 数据的手势识别。
[0051] 实验结果如下表所示：
[0053] 4)由上表可知，相较其他分类器，隐条件神经场（HCNF)对于识别由Leap Motion 采集的手势数据具有更好的效果。因此在动态手势识别中使用隐条件神经场（HCNF)可以 提高手势动作的识别准确率。
[0054] 相关文献：
[0055] [1].Yasuhisa Fujii ；Kazumasa Yamamoto ；Seiichi Nakagawa. Automatic speech recognition using Hidden Conditional Neural Fields[C]. Proceedings of the 2011 IEEE International Conference on Acoustics, Speech and Signal Processing(I CASSP)，2011:5036-5039.
[0056] [2]. J. Laf f erty, A. Me Cal lum, and F. Pereira, "Conditional random fields:Probabilistic models for segmenting and labeling sequence data， "Proceedings of the 2001 International Conference on Machine Learning(ICML), 2001:282-289.
[0057] [3] · A. Quattoni，M. Collins，and T. Darrell，"Conditional random fields for object recognition，" Proceedings of the 2004Conference on Neural Information Processing Systems(NIPS), 2004.
【主权项】
1. 一种基于手部运动帧数据的手势识别方法，包括以下步骤： (1) 采集LeapMotion体感传感器输出的不同手势的手部运动帧数据序列作为初始手 部运动帧数据序列； (2) 对初始手部运动帧数据序列进行帧数据预处理后构成手势数据集，并将手势数据 集分为训练数据集和测试数据集； (3) 使用步骤（2)中的训练数据集按单手或者双手运动手势分为单手手势训练数据集 和双手手势数据训练集； (4) 分别根据单手手势训练数据集和双手手势训练数据集建立两个相应的隐条件神经 场HCNF模型； (5) 取出测试数据集中手势运动帧数据序列作为观察序列，通过观察序列的长度可将 观察序列判断为单手或是双手运动手势，若为单手手势，则输入单手手势动作HCNF模型； 若为双手手势，则输入双手手势动作HCNF模型，输入各自模型后，采用置信度扩散算法计 算出类别标签/，即为输入观察序列X的预测标签，即完成手部动作帧数据的手势识别； (6) 将判断完成后的观察序列，输入对应的HCNF模型中，即若为单手手势数据序列则 输入到单手手势动作HCNF模型中，否则输入到双手手势动作HCNF模型中，最终得到输入手 部运动帧数据序列的运动手势类型。2. 根据权利要求1所述的基于手部运动帧数据的手势识别方法，其特征在于，所述步 骤⑷的方法为： 1) 建立隐条件神经场（HCNF)的条件概率模型； 2) 根据单手手势运动训练数据集，不断调整窗长度ω和隐状态个数n，并用梯度下降 算法计算得到隐条件神经场（HCNF)模型的最优参数Θ%以建立单手手势的HCRF模型；按 照同样的方法建立双手手势的HCRF模型。
【专利摘要】本发明涉及一种基于手部运动帧数据的手势识别方法，包括：采集不同手势的手部运动帧数据序列作为初始手部运动帧数据序列；将手势数据集分为训练数据集和测试数据集；按单手或者双手运动手势分为单手手势训练数据集和双手手势数据训练集；分别根据单手手势训练数据集和双手手势训练数据集建立两个相应的隐条件神经场HCNF模型；手部动作帧数据的手势识别；将判断完成后的观察序列，输入对应的HCNF模型中，即若为单手手势数据序列则输入到单手手势动作HCNF模型中，否则输入到双手手势动作HCNF模型中，最终得到输入手部运动帧数据序列的运动手势类型。本发明具有较高的手势识别的准确性。
【IPC分类】G06F3/01, G06K9/00
【公开号】CN105354532
【申请号】CN201510621536
【发明人】吕卫, 童政, 褚晶辉, 赵亚洲
【申请人】天津大学
【公开日】2016年2月24日
【申请日】2015年9月25日