一种基于动态人脸最优帧选取方法与流程

本发明涉及图像检测与智能识别技术领域，具体来说，涉及一种基于动态人脸最优帧选取方法。

背景技术：

人脸检测是当今视觉领域里非常重要和实用的研究课题，它应用于现实生活中的各个领域，如公安、金融、网络安全、物业管理以及考勤等。

人脸识别目前主要有静态人脸识别和动态人脸识别两种。静态人脸识别是在特定的区域或者范围之内，进行识别，也就是说识别对角度、距离、位置的要求会比较高。静态人脸识别的特点就在于用户容量小，比较适合一些小型公司的考勤之类的使用。由于是静态的，所以价格相对也比较便宜。图形识别率较高，可达到95%以上。动态人脸识别是不需要停驻等待，你只要出现在范围内，无论你是在行走还是停立，系统都可以自动识别。也就是说，人以自然的形态走过去，摄像头会进行信息的抓拍和采集，发出相应的指令，进行动态人脸识别。相较于静态人脸识别，动态人脸识别的难度会更大一些。

主要表现在以下几个方面：

1.光照问题，可能出现侧光、顶光、背光和高光等现象，而且有可能出现各个时段的光照不同，甚至在监控区域内各个位置的光照都不同。

2.人脸姿态多样和饰物繁。

3.摄像机的图像质量参差不齐。

4.丢帧和丢脸问题。

综合以上几点，如何从视频的连续帧选择出最优帧，解决了此项问题将会极大提高人脸识别的准确率。

针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现要素：

针对相关技术中的问题，本发明提出一种基于动态人脸最优帧选取方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于动态人脸最优帧选取方法，包括以下步骤：

s101、视频样本的采集：预先通过前端摄像头中采集视频样本信息；

s103、提取目标组信息：将步骤s101所得视频样本信息提取每位目标人的连续帧图片作为目标组单元，并存储目标组单元；

s105、提取目标组特征信息：将步骤s103所得目标组单元利用mtcnn进行人脸信息的提取，并将提提取的人脸信息作为目标组特征信息进行存储；

s107、信息分组：将步骤s105所得目标组特征信息进行人工打标签，并按人脸信息的图像质量，由高到底逐次打分；

s109、选取优帧：将步骤s107信息分组中随机挑选两张图片，转化为灰度图像，合并成2-channel的数据输入到2-channel网络中进行训练，其中，网络输出0或1两个值，从判断两张图片的优劣，0代表第一张质量差于第二张，训练好模型后，和人脸检测算法进行结合使用，选择出人脸连续帧的最优帧。

进一步的，所述s103中提取图片为利用目标检测和目标跟踪的算法提取，其中，目标检测和目标跟踪的算法为先利用目标检测算法检测出目标，再结合目标跟踪算法跟踪目标，直到目标从视频中消失。

进一步的，所述s109中2-channel网络结构为：数据输入层2-channeldata，后接卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，全连接层fc1和spp池化层，最后接softmax层进行二分类。

本发明的有益效果：本发明通过构建2-channel网络，实现了比较两张人脸图片质量的优劣，且应用了基于2-channeldata数据的构建，基于卷积神经网络特征提取和基于spp池化层和分类损失训练softmax，其中，2-channeldata数据的构建，2-channeldata主要解决的是如何在一个网络同时实现两张图像的输入。基于卷积神经网络的图像特征提取网络，完成对两张图像的特征获取。基于spp池化层实现，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。基于分类损失训练softmax层可训练模型分类的损失，从而训练出模型参数。另外通过上述各块功能的相互配合，各司其职，相互协作实现了快速有效地完成对动态人脸最优帧的选取，以及在动态人脸识别的实践中节约了人力物力成本、显著提高准确性等良好效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种基于动态人脸最优帧选取方法的方法流程示意图；

图2是根据本发明实施例的一种基于动态人脸最优帧选取方法的2-channel网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种基于动态人脸最优帧选取方法。

如图1-2所示，根据本发明实施例的基于动态人脸最优帧选取方法，包括以下步骤：

s101、视频样本的采集：预先通过前端摄像头中采集视频样本信息；

s103、提取目标组信息：将步骤s101所得视频样本信息提取每位目标人的连续帧图片作为目标组单元，并存储目标组单元；

s105、提取目标组特征信息：将步骤s103所得目标组单元利用mtcnn进行人脸信息的提取，并将提提取的人脸信息作为目标组特征信息进行存储；

s107、信息分组：将步骤s105所得目标组特征信息进行人工打标签，并按人脸信息的图像质量，由高到底逐次打分；

s109、选取优帧：将步骤s107信息分组中随机挑选两张图片，转化为灰度图像，合并成2-channel的数据输入到2-channel网络中进行训练，其中，网络输出0或1两个值，从判断两张图片的优劣，0代表第一张质量差于第二张，训练好模型后，和人脸检测算法进行结合使用，选择出人脸连续帧的最优帧。

借助于上述技术方案，通过构建2-channel网络，实现了比较两张人脸图片质量的优劣，且应用了基于2-channeldata数据的构建，基于卷积神经网络特征提取和基于spp池化层和分类损失训练softmax，其中，2-channeldata数据的构建，2-channeldata主要解决的是如何在一个网络同时实现两张图像的输入。基于卷积神经网络的图像特征提取网络，完成对两张图像的特征获取。基于spp池化层实现，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。基于分类损失训练softmax层可训练模型分类的损失，从而训练出模型参数。另外通过上述各块功能的相互配合，各司其职，相互协作实现了快速有效地完成对动态人脸最优帧的选取，以及在动态人脸识别的实践中节约了人力物力成本、显著提高准确性等良好效果。

另外，在一个实施例中，所述s103中提取图片为利用目标检测和目标跟踪的算法提取，其中，目标检测和目标跟踪的算法为先利用目标检测算法检测出目标，再结合目标跟踪算法跟踪目标，直到目标从视频中消失。

另外，在一个实施例中，所述s109中2-channel网络结构为：数据输入层2-channeldata，后接卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，全连接层fc1和spp池化层，最后接softmax层进行二分类。

另外，在一个实施例中，对于上述步骤s101视频样本的采集来说，视频样本要求角度较正、目标清晰。

另外，在一个实施例中，对于上述2-channeldata来说，2-channeldata是把两张单通道灰度图像合在一起，把这两张图片，看成是一张双通道的图像。也就是把两个（1，64，64）单通道的数据，放在一起，成为了(2，64，64)的双通道矩阵，然后把这个矩阵数据作为网络的输入。

另外，在一个实施例中，对于spp池化层来说，spp池化层，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。

综上所述，借助于本发明的上述技术方案，通过构建2-channel网络，实现了比较两张人脸图片质量的优劣，且应用了基于2-channeldata数据的构建，基于卷积神经网络特征提取和基于spp池化层和分类损失训练softmax，其中，2-channeldata数据的构建，2-channeldata主要解决的是如何在一个网络同时实现两张图像的输入。基于卷积神经网络的图像特征提取网络，完成对两张图像的特征获取。基于spp池化层实现，使得网络可以输入各种大小的图片，提高网络的实用性，鲁棒性等。基于分类损失训练softmax层可训练模型分类的损失，从而训练出模型参数。另外通过上述各块功能的相互配合，各司其职，相互协作实现了快速有效地完成对动态人脸最优帧的选取，以及在动态人脸识别的实践中节约了人力物力成本、显著提高准确性等良好效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。