一种异常手势的识别与处理方法与流程

本发明涉及虚拟现实技术领域，特别是涉及一种异常手势的识别与处理方法。

背景技术：

随着虚拟现实的飞速发展，手势识别的应用已经渗透到各个行业之中，手势识别率也达到了一种比较精准的水平，但是对于手势识别中的异常捕获以及异常处理仍然是手势识别领域中的一大问题。

用户在使用手势识别相关设备时，往往会出现无法识别或者识别错误等一些异常的问题，极大的影响了用户的体验。

技术实现要素：

本发明的目的是提供一种异常手势的识别与处理方法，旨在解决现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。

为达到上述技术目的，本发明提供了一种异常手势的识别与处理方法，所述方法包括以下步骤：

s1、通过kinect获取人手深度图像；

s2、将[0,n/2]帧内的每一帧手势图像作cnn模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第一特征值；

s3、将[n/2,n]帧内的每一帧手势图像作cnn模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第二特征值；

s4、利用rnn无监督学习深度网络，比较第一特征值与第二特征值的相似性，判断是否出现重复性手势；

s5、对神经网络分类后的手势图像进行正向特征提取，获取第一特征向量；将[0,n/2]帧和[n/2,n]帧进行融合，获取第二特征向量；

s6、对第一特征向量和第二特征向量进行误差逆向传播算法训练；

s7、反复迭代，得到最大相似手势，即为异常手势。

优选地，所述步骤s2具体操作为：

将[0,n/2]帧内的每一帧手势图像做cnn模型的正向传播来提取特征图像；

通过像素点聚类方法应用深度信息，将图像中的每个像素点进行聚类，利用人手形状先验知识提取出包含人手的聚类，实现人手分割；

定义初始分类点，通过最大似然准则对类中的点进行分类，分成许多小类；

将小类聚合并为较大的聚类，使用k最近邻规则来执行，迭代直到聚类数目减少到特定值，得到第一特征值。

优选地，所述通过最大似然准则对类中的点进行分类的公式如下：

p(x)＝p(hand)p(x|hand)+p(forearn)p(x|hand)＝π1n(x；μ1,∑1)+π2n(x；μ2,∑2)

其中，π1，π2分别是手和前臂的先验概率，n(x；μ,∑)是3d高斯分布。

优选地，所述步骤s4具体操作为：

利用rnn无监督学习深度网络，比较第一特征值与第二特征值的相似性，如果相似性小于一个阈值则判断m帧内为重复相似手势变化序列；

若特征值相似，则判断为出现异常；若特征值不相似，则判断为非异常。

优选地，所述步骤s6具体操作为：

将第一特征向量和第二特征向量相乘得到输入样本为xk＝[xk1,xk2,...,xkm]，输入层i与隐藏层j之间的权值为wmj(n)，输入层到隐藏层输入信号和输出信号分别为：

隐藏层到输出层输入信号与输出信号为：

如果输入正向传播的输出没有得到期望的输出，则输出被传递到反向传播，并且通过最速下降法重复修改每一层神经元的权重以使均方误差最小。

优选地，所述步骤s7中，当反复迭代使用网络的实际输出与期望输出逐步逼近，直到结果逼近于利用神经网络veggnet训练结果中的一类手势，最终判断异常手势为该手势。

优选地，所述方法还包括：

对通过kinect采集到的动态手势序列，通过中间帧遍历组合的方法进行处理，以得到动静态手势融合的手势训练，然后将动静态融合数据集输入到深度神经网络veggnet中进行训练，最终得到类别分数图。

优选地，所述类别分数图中，通道数量等于类别数量。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

与现有技术相比，本发明提出一种捕获手势异常和解决手势识别异常的方法，通过对相邻时间段内的手势图像的特征融合与比对，检测出是否出现重复性手势来判断是否发生异常问题，从而实现在虚拟试验环境中手势无法正常识别时，通过不断重复同一个手势动作使手势重新识别，提高试验流畅性。本发明解决了现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。

附图说明

图1为本发明实施例中所提供的一种异常手势的识别与处理方法流程示意图；

图2为本发明实施例中所提供的一种重复手势识别算法流程示意图；

图3为本发明实施例中所提供的一种最大相似手势匹配算法流程示意图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

下面结合附图对本发明实施例所提供的一种异常手势的识别与处理方法进行详细说明。

如图1-3所示，本发明实施例公开了一种异常手势的识别与处理方法，所述方法包括以下步骤：

s1、通过kinect获取人手深度图像；

s2、将[0,n/2]帧内的每一帧手势图像作cnn模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第一特征值；

s3、将[n/2,n]帧内的每一帧手势图像作cnn模型的正向传播，提取特征图像，对特征图像中的像素点进行聚类，获取第二特征值；

s4、利用rnn无监督学习深度网络，比较第一特征值与第二特征值的相似性，判断是否出现重复性手势；

s5、对神经网络分类后的手势图像进行正向特征提取，获取第一特征向量；将[0,n/2]帧和[n/2,n]帧进行融合，获取第二特征向量；

s6、对第一特征向量和第二特征向量进行误差逆向传播算法训练；

s7、反复迭代，得到最大相似手势，即为异常手势。

本发明实施例首先对首饰模板进行处理。由于通过kinect采集到的动态手势序列不能直接输入到cnn网络中进行训练，因此通过中间帧遍历组合的方法进行处理，以得到动静态手势融合的手势训练，然后将动静态融合数据集输入到深度神经网络veggnet中进行训练，最终得到一个类别分数图，区分开不同的手势，再通过函数调用来完成手势识别操作。将得到的人手区域深度图剪切为n个单元，把人手深度图像再次调整大小为n个单元相同的大小，将n+1幅图像放入含veggnet的cnn中提取特征，然后对输入图像各向同性地重缩放到一个预定义的最小图像边的尺寸，经过第一层的分类分成多个手势状态的分组。将全连接层转化为卷积层，然后将转化后的全连接层应用在整张图像上，结果得到一个类别分数图，其通道数量等于类别数量，得到的结果中，分数最大的为分类结果。

通过kinect获取手的三个骨骼节坐标，包括掌心坐标、拇指尖节点坐标、食指尖节点坐标，通过kinect获取人手深度图，将获得的图像进行预处理，调整图像的大小。

将[0,n/2]帧内的每一帧手势图像做cnn模型的正向传播来提取特征图像，将提取后的特征图像通过像素点聚类方法应用深度信息，将图像中的每个像素点进行聚类，最后利用人手形状等先验知识提取出包含人手的聚类，实现人手分割。n为一个时间段，可以根据不同场景进行调整。

定义初始分类点，通过最大似然准则对类中的点进行分类，分成许多小类：

p(x)＝p(hand)p(x|hand)+p(forearn)p(x|hand)＝π1n(x；μ1,∑1)+π2n(x；μ2,∑2)

其中，π1，π2分别是手和前臂的先验概率，n(x；μ,∑)是3d高斯分布。

将小类聚合并为较大的聚类，使用k最近邻规则来执行，迭代直到聚类数目减少到特定值，得到特征值n1。

同样利用上述方法，将[n/2,n]帧内的每一帧手势图像做cnn模型的正向传播，得到特征值n2。

利用rnn无监督学习深度网络，比较两个特征值n1和n2的相似性，如果相似性小于一个阈值则判断m帧内为重复相似手势变化序列。若特征值相似，则返回一个a的值为1，判断为出现异常；若特征值不相似，则返回a的值为0，此时判断为非异常。

根据输入的深度图像和人体骨骼节点获取人手区域的深度图，将之前训练好的veggnet的cnn中的每一个分类中的图像进行正向的特征提取，提取出一个n维的向量，以其中一个为例，a(x1,x2,x3,x4…….xn)，当判断为重复手势时，将得到[0,n/2]和[n/2,n]的向量进行融合，得到一个特征向量b(y1,y2,y3,y4…….yn)。

运用误差逆向传播算法训练多层前馈神经网络，将a、b向量相乘得到输入样本为xk＝[xk1,xk2,...,xkm]，输入层i与隐藏层j之间的权值为wmj(n)，输入层到隐藏层输入信号和输出信号分别为：

隐藏层到输出层输入信号与输出信号为：

如果输入正向传播的输出没有得到期望的输出，则输出被传递到反向传播，并且通过最速下降法重复修改每一层神经元的权重以使均方误差最小。

通过反复迭代使用网络的实际输出与期望输出逐步逼近，直到结果逼近于利用veggnet训练结果中的一类手势，最终判断异常手势为该手势，调用手势编号即可继续进行试验。

本发明实施例提出一种捕获手势异常和解决手势识别异常的方法，通过对相邻时间段内的手势图像的特征融合与比对，检测出是否出现重复性手势来判断是否发生异常问题，从而实现在虚拟试验环境中手势无法正常识别时，通过不断重复同一个手势动作使手势重新识别，提高试验流畅性。本发明解决了现有技术中对于手势的识别容易出现无法识别或者识别错误的异常问题，实现提高对异常手势的识别准确度，提升用户体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。