一种基于红外摄像头的静态手势识别方法与流程

本发明涉及一种基于红外摄像头的静态手势识别技术,属于图像处理手势识别技术领域。

背景技术：

随着人机交互日趋频繁及多样化，人们对人机交互的简单便捷性需求不断提升，传统的人机交互方式依赖鼠标、键盘越来越显出其局限性。而基于非接触式的手势识别，提供了一个更加自然、直接的人机交互接口，操作简单，灵活性高。且近些年随着传感器的发展，精准度与便携程度也大大提高，手势识别已经进入可用性阶段。

基于普通摄像头的手势识别依赖于环境光，一旦光线不足或者无光环境，则手势识别精确度下降甚至无法识别。同时，普通摄像头在复杂背景或近肤色背景下，手势特征提取效果差，影响最终的识别结果。与此相比，基于红外摄像头的手势识别应用场景更广。

基于卷积神经网络的模型与传统机器学习算法相比，省去了人为的特征工程，以集中方式解决问题，实现封闭式的端到端学习方式。同时，相比于传统神经网络通过共享权重减少了参数，体现了图像局部感知的思想。

技术实现要素：

为解决上述问题，本发明公开了一种基于红外摄像头的静态手势识别方法，克服上述现有技术中的无法在光线不足环境或复杂背景实现手势识别、传统学习算法识别速度慢且检测精确度不高的缺点，提供了一种基于红外摄像头的静态手势识别方法，可以使手势识别在各种环境下实现快速、准确和高效的识别。

为了达到上述目的，本发明提供如下技术方案：一种基于红外摄像头的静态手势识别方法，包括如下步骤：

步骤1，卷积神经网络的训练；

步骤2，红外图像获取，读取红外摄像头的红外图像数据；

步骤3，图像预处理，放缩图像尺寸与卷积神经网络的输入相匹配，图像数据归一化；

步骤4，静态手势识别，卷积神经网络提取手势特征，归一化指数函数得出识别结果。

进一步的，所述步骤1中卷积神经网络的训练包括如下步骤：

步骤1-1，搭建卷积神经网络；

步骤1-2，制作训练样本集和测试样本集；

步骤1-3，利用样本集对搭建的卷积神经网络进行训练。

进一步的，所述步骤1-1中搭建卷积神经网络的结构：

基于2012年提出的alexnet模型，该网络结构共有8层，前面5层是卷积层，后面3层是全连接层，最后一个全连接层的输出传递给softmax层，对应不同的分类标签。且在原始模型基础上采用小卷积核和bottleneck操作代替原模型的大卷积核操作，以减少计算量，提升模型效率。

进一步的，所述步骤1-2中制作训练样本集和测试样本集包括如下步骤：

步骤1-2-1，采集10种单一背景下不同角度、不同人的红外手势图像；

步骤1-2-2，使用keras框架内置的imagedatagenerator工具包对原始图像进行数据扩增，以避免小数据集带来的训练过拟合；

步骤1-2-3，将样本集随机打乱，以提升模型在测试集的预测结果；

步骤1-2-4，将扩增后的训练样本集和测试样本集转为idx数据格式，以便于样本集的存储和读取。

进一步的，所述步骤1-3利用样本集对搭建的卷积神经网络进行训练包括如下训练技巧：

采用xavier初始化网络，通过公式

式中，ni表示第i层神经元个数，ni+1表示第i+1层神经元个数

把参数初始化至该范围内；

采用rmsprop模型优化算法，通过公式

sdw＝βsdw+{1-β}dw²(2)

sdb＝βsdb+{1-β}db²(3)

式中，w、b表示待求参数，dw、db表示参数梯度，sdw、sdb表示对微分项进行平方，α表示学习率，∈是一个实际操作时加上的较小数(例如10^-8)，为了防止分母太小而导致的数值不稳定

更新网络，且加快学习速度；

采用随机失活网络正则化算法通过设置随机失活概率，避免训练结果过拟合；采用批规范化操作缓解梯度弥散，使网络中间每一层的数据都归一化，以缓解梯度弥散；

进一步的，所述步骤3中图像预处理包括如下步骤：

通过图像尺寸等比例缩小，并将边界使用0像素填充，以实现图像尺寸与卷积神经网络的输入相匹配；

将待测图像0～255的灰度数据归一化至-1～1之间，以消除奇异样本数据导致的不良影响，提高识别正确率以及加速模型收敛，提升训练速度。

进一步的，所述步骤4中静态手势识别包括如下步骤：

基于步骤1中训练好的模型，通过卷积、池化计算提取待检测的红外手势图像的特征；

通过归一化指数函数公式

式中，表示第j个元素，表示所有元素的和，该函数实现了将一个含任意实数的k维向量压缩到另一个k维实向量中，使得每一个元素的范围都在(0,1)之间计算各个分类标签所占比重，选取最大比重对应的标签作为识别结果输出。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提供的基于红外摄像头的静态手势识别在光线不足环境或复杂背景下可以实现快速、准确和高效的手势识别。且与传统学习算法识别速度慢且检测精确度不高相比，基于卷积神经网络的学习算法省去了人为的特征工程，减少了参数，算法鲁棒性好。

附图说明

图1为本发明实施例提出的10种手势分类图；

图2为本发明提供的基于红外摄像头的静态手势识别方法流程图；

图3为本发明步骤1中卷积神经网络的训练过程；

图4为本发明步骤1中卷积神经网络的结构；

图5为本发明步骤1中卷积神经网络的前两层卷积层权重可视化结果。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本实施例实现了10种手势的分类识别，手势类别如图1所示。以下基于本实施例说明本发明提供的基于热像仪摄像头的静态手势识别方法，其具体步骤如图2所示，包括如下步骤：

步骤1，卷积神经网络的训练，如图3所示

步骤如下：

步骤1-1，搭建卷积神经网络，网络结构如图4所示；

步骤1-2，制作训练样本集和测试样本集

包括如下四步：采集10种单一背景下不同角度、不同人的红外手势图像；使用keras框架内置的imagedatagenerator工具包对原始图像进行数据扩增；将样本集随机打乱；将扩增后的训练样本集和测试样本集转为idx数据格式；

步骤1-3，利用样本集对搭建的卷积神经网络进行训练，卷积层权重可视化结果如图5

包括如下四种训练技巧：

采用xavier初始化网络，通过公式

式中，ni表示第i层神经元个数，ni+1表示第i+1层神经元个数

把参数初始化至该范围内；

采用rmsprop模型优化算法，通过公式

sdw＝βsdw+{1-β}dw²(2)

sdb＝βsdb+{1-β}db²(3)

式中，w、b表示待求参数，dw、db表示参数梯度，sdw、sdb表示对微分项进行平方，α表示学习率，∈是一个实际操作时加上的较小数(例如10^-8)，为了防止分母太小而导致的数值不稳定

更新网络，且加快学习速度；

采用随机失活网络正则化算法通过设置随机失活概率，避免训练结果过拟合；

采用批规范化操作缓解梯度弥散，使网络中间每一层的数据都归一化，以缓解梯度弥散。

步骤2，红外图像获取

读取红外摄像头的红外图像数据。

步骤3，图像预处理

步骤如下：

通过图像尺寸等比例缩小，并将边界使用0像素填充，以实现图像尺寸与卷积神经网络的输入相匹配；

将待测图像0～255的灰度数据归一化至-1～1之间，以消除奇异样本数据导致的不良影响，提高识别正确率以及加速模型收敛，提升训练速度。

步骤4，静态手势识别

步骤如下：

基于训练好的模型，通过卷积、池化计算提取待检测的红外手势图像的特征；

通过归一化指数函数公式

式中，表示第j个元素，表示所有元素的和，该函数实现了将一个含任意实数的k维向量压缩到另一个k维实向量中，使得每一个元素的范围都在(0,1)之间计算各个分类标签所占比重，选取最大比重对应的标签作为识别结果输出。