一种基于局部图像增强的家电手势快速检测识别方法与流程

本发明涉及手势识别领域，具体涉及一种基于局部图像增强的家电手势快速检测识别方法。

背景技术：

手势控制是家电控制中非常方便的一种方法，手势控制具有非接触、快速方便的特点。

目前，手势识别一般是基于图像来实现的，其具有识别距离远、成本低等优点。但是，该识别比较依赖于图像质量，需要应对各种复杂的光线环境，单纯的通过全局isp调整并不能够使手部分区域图像清晰，而不清晰的手势，容易引起误识别和漏识别，从而导致指令误触发和漏响应，从而导致用户体验变差。

技术实现要素：

本发明的目的在于提供一种基于局部图像增强的家电手势快速检测识别方法，其解决了现有手势识别的图像输入质量不高而导致手势误识别和漏识别的问题，从而提高用户体验。

为实现上述目的，本发明采用的技术方案为：

一种基于局部图像增强的家电手势快速检测识别方法，其包括以下步骤：

步骤1、离线下检测识别模型训练

步骤1.1、人举手姿势模型训练

通过采集人举手姿势的各种光照以及距离的图片和视频，人工标定出上半身加手臂的外接矩形框作为正样本，然后选择其他场景以及姿势的图片作为负样本，将正、负样本送入深度卷积神经网络检测器进行学习，得到能够检测人举手姿势的模型；

步骤1.2、特定手势模型训练

通过采集不同的特定手势的清晰图片和视频，人工给定不同特定手势的定义，并送入深度卷积神经网络中进行学习，得到特定手势模型；

步骤2、在线检测识别

步骤2.1、移动侦测

采用移动侦测方法即前后两帧之间的差分图来判断运动区域；然后在此运动区域的基础上，扩大范围并设定为感兴趣区域；

步骤2.2、人举手姿势检测

根据步骤1.1中学习到的人举手姿势模型，对步骤2.1中得到的每一个感兴趣区域进行检测，从而判断是否是人举手姿势，当判断为人举手姿势时，输出特征图；

检测过程是利用深度卷积神经网络进行，将感兴趣区域直接输入到卷积神经网络中，并对感兴趣区域进行卷积以及池化操作，采用步骤1.1中训练得到的人举手姿势模型，得到目标的位置和目标的置信度；将此检测出来的目标放大回原来图像尺度，就能够对应到原图的区域，从而能够检测原图上不同大小的目标；在原图上按照置信度将所有检测出来的相邻目标框加权平均，得到最终的目标区域以及总的置信度，最终置信度大于阈值的区域，认为是人举手姿态的区域；

步骤2.3、人手位置定位与局部增强

采用检测器确定步骤2中的特征图中人举手的大概位置，在该位置上，通过局部图像增强来增加此位置的清晰度，获取高清手势图像；

步骤2.4、手势识别

根据步骤1.2训练得到的手势模型，对步骤2.3中得到的高清手势图像进行识别，得到不同的手势结果。

所述检测识别方法还包括：

步骤2.5、手势跟踪

一旦步骤2.3中的手定位完成，在启动2.4手势识别线程的同时，启动跟踪线程；此线程利用跟踪算法时刻跟踪手的位置，在下一次手势识别判断的时，直接通过跟踪判断手的位置。

所述步骤2.3中，图像增强的方法为：通过变焦镜头，利用所定位到的人手位置，判断人手的大小，来推断人手的位置，将镜头焦距调整到能够清晰拍摄到人手轮廓的距离即可获得高清手势图像。

所述步骤2.3中，图像增强的方法为：通过对图像此区域进行局部isp调整和直方图均衡化来获取高清手势图像。

所述步骤1中还包括：

步骤1.3、手势局部区域高分辨率生成对抗网络模型训练

通过采集大量不同手势的低分辨率模糊图片以及与其对应的高分辨率清晰图片，送入生成对抗网络中进行学习，得到能够将低分辨率的手势图片转换成高分辨率手势图片的生成对抗网络模型；

所述步骤2.3中，图像增强的方法为：采用步骤1.3中训练得到的生成对抗网络模型，来生成一个高分辨率、高清晰度的高清手势图像。

所述步骤1.3中，训练过程中低分辨率图片与高分辨率图片的比例为n:1其中，n为1-5。

所述步骤2.3中，检测器为cascade级联检测器。

采用上述方案后，本发明采用移动侦测算法提取图像序列中的运动区域，在此区域采用检测算法对人举手的姿态进行检测与定位，然后对手的区域进行局部增强，再利用识别算法对特定手势进行识别。该家电手势快速检测识别方法对手的区域进行图像增强，使此区域更清晰，从而能够实现适应多种复杂光线远距离的家电手势控制，有效避免了不清晰手势引起的误识别和漏识别问题，提高了用户体验。

附图说明

图1为本发明流程图；

图2为本发明人具有姿势模型训练的外接矩形框标定示意图；

图3为本发明手势识别图片；

图4为图3的特征图。

具体实施方式

如图1至图4所示，本发明揭示了一种基于局部图像增强的家电手势快速检测识别方法，其包括以下步骤：

步骤1、离线下检测识别模型训练

所述离线，即指在具体的家电手势识别运行之前，提前学习的模型；所述模型，就是一种提前学到的知识库。

步骤1.1、人举手姿势模型训练

通过采集人举手姿势的各种光照以及距离的图片和视频，如图2所示，人工标定出上半身加手臂的外接矩形框作为正样本，然后选择大量其他场景以及姿势的图片作为负样本，将正、负样本送入深度卷积神经网络检测器进行学习，得到能够检测人举手姿势的模型。

步骤1.2、特定手势模型训练

通过采集不同的特定手势的清晰图片和视频，人工给定不同手势的定义，并送入深度卷积神经网络中进行学习，得到能够识别不同的特定手势模型。

步骤1.3、手势局部区域高分辨率生成对抗网络模型训练

通过采集大量不同手势的低分辨率模糊图片以及与其对应的高分辨率清晰图片，送入生成对抗网络中进行学习，得到能够将低分辨率的手势图片转换成高分辨率手势图片的模型。

采集过程中，低分辨率模糊图片和与其对应的高分辨率清晰图片可以用两个不同分辨率的摄像头同时采集获取。训练过程中低分辨率图片与高分辨率图片的比例为n:1，n取值一般为1-5，也就是可以通过单张或者连续的多张低分辨率图片来用本模型生成高分辨率的图片。

步骤2、在线检测识别

所述在线检测识别，指的是具体的家电手势识别。

步骤2.1、移动侦测

采用传统的移动侦测方法，用前后两帧之间的差分图来判断运动区域；然后在此区域的基础上，扩大范围（例如长宽各乘4）并设定为感兴趣区域。因为手势触发的时候必然有运动，通过移动侦测来确定需要检测的区域，将静止背景过滤掉，从而提升检测的速度。

步骤2.2、人举手姿势检测

根据步骤1.1中学习到的人举手姿势模型，对步骤2.1中得到的每一个感兴趣区域进行检测，从而判是否是人举手姿势，当判断为人举手姿势时，输出特征图。

检测过程是利用深度卷积神经网络进行，将感兴趣区域直接输入到卷积神经网络中，经过每一层卷积以及后面的池化操作，图像的尺度越来越小，在最后面5个尺度上分别进行检测，得到每一个尺度对应的结果。

所述的卷积操作就是卷积神经网络中的卷积操作；所述的池化操作，就是将相邻的4个像素变成一个，例如取4个像素的平均值或者取最大值。这样会使图像的尺度越来越小，在每个尺度上，利用步骤1.1中学习到的人举手姿势模型，都能够得到以下信息：目标的位置（包含左上角的坐标、宽、高）和目标的置信度。所谓的置信度，就是此目标区域是人举手的姿态的概率值。将此检测出来的目标放大回原来图像尺度（相应的坐标以及宽、高做同样尺度的缩放），就能够对应到原图的区域，从而能够检测原图上不同大小的目标。通过在原图上按照置信度将所有检测出来的相邻目标框加权平均，得到最终的目标区域以及总的置信度，最终置信度大于某一个阈值的区域，认为是人举手姿态的区域。

步骤2.3、人手位置定位与局部增强

如图3所示，本发明通过步骤2.2中的特征图提供的特征，设计cascade级联检测器，在特征图上滑动窗口，找到一个最像人手的位置。在这个位置上，通过局部图像增强，来增加此位置的清晰度。图像增强有很多种方法，优选的，本发明有三种方法，这三种方法可以单独使用也可以结合使用。

方法一、通过变焦镜头，利用所定位到的人手位置，判断人手的大小，来推断人手的大概位置（距离越远，图像中人手越小），将镜头焦距调整到能够清晰拍摄到人手轮廓的距离即可获得高清手势图像。

方法二、通过对图像此区域进行局部isp（imagesignalprocessing）调整和直方图均衡化来获取高清手势图像。

方法三、采用步骤1.3中训练得到的生成对抗网络模型，来生成一个高分辨率、高清晰度的高清手势图像。

步骤2.4、手势识别

根据步骤1.2训练得到的手势模型，对步骤2.3中得到的高清手势图像进行识别，得到不同的手势结果。

步骤2.5、手势跟踪

一旦步骤2.3中的手定位完成，在启动2.4手势识别线程的同时，启动跟踪线程。此线程利用跟踪算法，时刻跟踪手的位置，在下一次手势识别判断的时候，不需要重复前面的过程，直接通过跟踪判断手的位置。

本发明的关键在于，本发明采用移动侦测算法提取图像序列中的运动区域，在此区域采用检测算法对人举手的姿态进行检测与定位，然后对手的区域进行局部增强，再利用识别算法对特定手势进行识别。该家电手势快速检测识别方法对手的区域进行图像增强，使此区域更清晰，从而能够实现适应多种复杂光线远距离的家电手势控制，有效避免了不清晰手势引起的误识别和漏识别问题，提高了用户体验。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。