一种基于图像质量的图像过滤方法和相关装置与流程

本申请涉及图像处理技术领域，尤其涉及一种基于图像质量的图像过滤方法和相关装置。

背景技术：

人脸识别技术在公共安全、智能监控身份认证等领域应用比较广泛，目前，人脸识别技术已相对成熟，一般情况下，人脸识别技术具有较高的识别准确率，但是，当人脸图像本身质量存在问题时，例如，图像模糊、曝光过度或人脸遮挡等，人脸识别的准确率容易受到影响，因此，对低质量的人脸图像进行过滤有助于提高人脸识别准确率。

现有的图像质量过滤方法有二分类法和峰值信噪比，二分类法就是将图像分为质量好和质量差两类，将质量差的图像过滤掉，该方法在实际应用中效果较差；峰值信噪比是基于对应像素点间的误差，存在对比特征信息单一，使得图像质量评价准确性较低的问题。

技术实现要素：

本申请提供了一种基于图像质量的图像过滤方法和相关装置，用于解决现有的图像质量过滤方法存在的对比特征信息单一，使得图像质量评价准确性较低的技术问题。

有鉴于此，本申请第一方面提供了一种基于图像质量的图像过滤方法，包括：

获取若干幅人脸图像；

基于人脸检测算法对所述人脸图像进行人脸检测并对所述人脸图像进行裁剪，输出人脸置信度；

将裁剪后的所述人脸图像输入到预置图像质量分布模型，输出人脸图像评分；

将各所述人脸图像的所述人脸图像评分和所述人脸置信度进行加权融合，得到若干个人脸图像质量分数；

对所有的所述人脸图像质量分数进行降序排序，输出前预置数量位的所述人脸图像。

优选地，所述对所有的所述人脸图像质量分数进行降序排序，输出前预置数量位的所述人脸图像，之后还包括：

对输出的前预置数量位的所述人脸图像进行人脸识别。

优选地，所述将裁剪后的所述人脸图像输入到预置图像质量分布模型，输出人脸图像评分，之前还包括：

获取待训练人脸图像；

基于人脸检测算法对所述待训练人脸图像进行人脸检测并对所述待训练人脸图像进行裁剪；

基于若干个预置标准对裁剪后的所述待训练人脸图像的质量等级进行打分，得到所述待训练人脸图像的质量等级分布数据，将所述质量等级分布数据作为裁剪后的所述待训练人脸图像的标签；

将裁剪后的所述待训练人脸图像和裁剪后的所述待训练人脸图像的标签输入到残差网络，对所述残差网络进行训练；

当所述残差网络达到收敛条件时，得到训练好的所述残差网络，将训练好的所述残差网络作为所述预置图像质量分布模型。

优选地，所述将裁剪后的所述待训练人脸图像和裁剪后的所述待训练人脸图像的标签输入到残差网络，对所述残差网络进行训练，之前还包括：

基于imagenet图像集对所述残差网络进行预训练。

本申请第二方面提供了一种基于图像质量的图像过滤系统，包括：

第一图像获取模块，用于获取若干幅人脸图像；

第一人脸检测模块，用于基于人脸检测算法对所述人脸图像进行人脸检测并对所述人脸图像进行裁剪，输出人脸置信度；

第一输出模块，用于将裁剪后的所述人脸图像输入到预置图像质量分布模型，输出人脸图像评分；

加权融合模块，用于将各所述人脸图像的所述人脸图像评分和所述人脸置信度进行加权融合，得到若干个人脸图像质量分数；

第二输出模块，用于对所有的所述人脸图像质量分数进行降序排序，输出前预置数量位的所述人脸图像。

优选地，还包括：

人脸识别模块，用于对输出的前预置数量位的所述人脸图像进行人脸识别。

优选地，还包括：

第二图像获取模块，用于获取待训练人脸图像；

第二人脸检测模块，用于基于人脸检测算法对所述待训练人脸图像进行人脸检测并对所述待训练人脸图像进行裁剪；

打分模块，用于基于若干个预置标准对裁剪后的所述待训练人脸图像的质量等级进行打分，得到所述待训练人脸图像的质量等级分布数据，将所述质量等级分布数据作为裁剪后的所述待训练人脸图像的标签；

训练模块，用于将裁剪后的所述待训练人脸图像和裁剪后的所述待训练人脸图像的标签输入到残差网络，对所述残差网络进行训练；

收敛模块，用于当所述残差网络达到收敛条件时，得到训练好的所述残差网络，将训练好的所述残差网络作为所述预置图像质量分布模型。

优选地，还包括：

预训练模块，用于基于imagenet图像集对所述残差网络进行预训练。

本申请第三方面提供了一种基于图像质量的图像过滤设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的基于图像质量的图像过滤方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的基于图像质量的图像过滤方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种基于图像质量的图像过滤方法，包括：获取若干幅人脸图像；基于人脸检测算法对人脸图像进行人脸检测并对人脸图像进行裁剪，输出人脸置信度；将裁剪后的人脸图像输入到预置图像质量分布模型，输出人脸图像评分；将各人脸图像的人脸图像评分和人脸置信度进行加权融合，得到若干个人脸图像质量分数，对所有的人脸图像质量分数进行降序排序，输出前预置数量位的人脸图像。

本申请中的基于图像质量的图像过滤方法，通过对获取的人脸图像进行人脸检测，输出结构化信息，根据人脸检测结果对人脸图像进行裁剪，将裁剪后的人脸图像输入到预置图像质量分布模型，得到人脸图像评分，将结构化信息中的人脸置信度和人脸图像评分进行加权融合，得到人脸图像质量分数，避免了采用单一特征进行图像质量评价所导致的评价准确性低的问题，从而解决了现有的图像质量过滤方法存在的对比特征信息单一，使得图像质量评价准确性较低的技术问题。

附图说明

图1为本申请提供的一种基于图像质量的图像过滤方法的一个实施例的流程示意图；

图2为本申请提供的一种基于图像质量的图像过滤方法的另一个实施例的流程示意图；

图3为本申请提供的一种基于图像质量的图像过滤系统的一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种基于图像质量的图像过滤方法的一个实施例，包括：

步骤101、获取若干幅人脸图像。

需要说明的是，可以通过预先部署在门店的摄像头获取视频数据，对视频数据进行分帧，得到人脸图像。

步骤102、基于人脸检测算法对人脸图像进行人脸检测并对人脸图像进行裁剪，输出人脸置信度。

需要说明的是，通过人脸检测算法对人脸图像进行人脸检测，可以得到结构化信息，包括人脸置信度、俯仰角度、水平角度和旋转角，可以根据检测结果对人脸图像进行裁剪。

步骤103、将裁剪后的人脸图像输入到预置图像质量分布模型，输出人脸图像评分。

需要说明的是，预置图像质量分布模型可以是训练好的卷积神经网络。

步骤104、将各人脸图像的人脸图像评分和人脸置信度进行加权融合，得到若干个人脸图像质量分数。

需要说明的是，为了克服现有技术中采用单一特征信息比对所存在的图像质量评价准确性低的问题，本申请实施例将人脸检测的结构化信息与预置图像质量分布模型预测的人脸图像评分进行加权融合，得到最终的人脸图像质量分数。

步骤105、对所有的人脸图像质量分数进行降序排序，输出前预置数量位的人脸图像。

需要说明的是，对所有的人脸图像质量分数进行降序排序，输出前预置数量位的人脸图像，从而将低质量的人脸图像过滤掉。

本申请实施例中的基于图像质量的图像过滤方法，通过对获取的人脸图像进行人脸检测，输出结构化信息，根据人脸检测结果对人脸图像进行裁剪，将裁剪后的人脸图像输入到预置图像质量分布模型，得到人脸图像评分，将结构化信息中的人脸置信度和人脸图像评分进行加权融合，得到人脸图像质量分数，避免了采用单一特征进行图像质量评价所导致的评价准确性低的问题，从而解决了现有的图像质量过滤方法存在的对比特征信息单一，使得图像质量评价准确性较低的技术问题。

为了便于理解，请参阅图2，本申请提供的一种基于图像质量的图像过滤方法的另一个实施例，包括：

步骤201、获取待训练人脸图像。

需要说明的是，可以从公开的人脸图像数据集中获取待训练人脸图像。

步骤202、基于人脸检测算法对待训练人脸图像进行人脸检测并对待训练人脸图像进行裁剪。

步骤203、基于若干个预置标准对裁剪后的待训练人脸图像的质量等级进行打分，得到待训练人脸图像的质量等级分布数据，将质量等级分布数据作为裁剪后的待训练人脸图像的标签。

需要说明的是，可以从裁剪后的待训练人脸图中的人脸的完整度、清晰度、曝光程度等多个方面进行综合打分，可以将图像质量划分为0-10的10个等级，即(0,1]，(1,2]，(2,3]......(9,10]，质量越高，分数越高，将人脸图像划分为10个等级进行质量评价，相比于基于二分类的质量评价的可靠性更高，更细粒度，得到的评价结果准确性也越高；可以通过若干数量的志愿者对裁剪后的待训练人脸图像的质量等级进行打分，每张裁剪后的待训练人脸图像对应的有多个打分，通过多个人对待训练人脸图像进行打分，可以将视觉感官和打分联系起来，打分完成后每张裁剪后的待训练人脸图像都有对应的质量等级分布数据，将质量等级分布数据作为裁剪后的待训练人脸图像的标签，用于训练残差网络。

步骤204、将裁剪后的待训练人脸图像和裁剪后的待训练人脸图像的标签输入到残差网络，对残差网络进行训练。

需要说明的是，可以将裁剪后的待训练人脸图像和裁剪后的待训练人脸图像的标签输入到残差网络，对残差网络进行训练；也可以先采用imagenet图像集对残差网络进行预训练，以对残差网络的网络参数进行初始化，再将裁剪后的待训练人脸图像和裁剪后的待训练人脸图像的标签输入到预训练后的残差网络，对预训练后的残差网络进行训练，有助于提高残差网络的预测性能，可以使用随机梯度下降法进行训练，其中，残差网络可以采用earthmover距离函数作为损失函数。

步骤205、当残差网络达到收敛条件时，得到训练好的残差网络，将训练好的残差网络作为预置图像质量分布模型。

需要说明的是，收敛条件可以是训练时的迭代次数达到预置迭代次数，收敛条件也可以是残差网络的训练误差低于预置误差阈值；当残差网络达到收敛条件时，停止训练，得到训练好的残差网络，将训练好的残差网络作为预置图像质量分布模型。

步骤206、获取若干幅人脸图像。

需要说明的是，可以通过预先部署在门店的摄像头获取视频数据，对视频数据进行分帧，得到人脸图像。

步骤207、基于人脸检测算法对人脸图像进行人脸检测并对人脸图像进行裁剪，输出人脸置信度。

需要说明的是，通过人脸检测算法对人脸图像进行人脸检测，可以得到结构化信息，包括人脸置信度、俯仰角度、水平角度和旋转角，可以根据检测结果对人脸图像进行裁剪。

步骤208、将裁剪后的人脸图像输入到预置图像质量分布模型，输出人脸图像评分。

需要说明的是，预置图像质量分布模型在预测出每幅人脸图像在0-10之间的10个分数区间的概率后，计算这些区间的概率累加值，最终将这些累加值输出，即人脸图像评分。

步骤209、将各人脸图像的人脸图像评分和人脸置信度进行加权融合，得到若干个人脸图像质量分数。

需要说明的是，为了克服现有技术中采用单一特征信息比对所存在的图像质量评价准确性地的问题，本申请实施例将人脸检测的结构化信息与预置图像质量分布模型预测的人脸图像评分进行加权融合，得到最终的人脸图像质量分数，其中，将各人脸图像的人脸图像评分和人脸置信度进行加权融合的公式为：

quality_scorei＝0.2*confidencei+0.8*scorei；

其中，quality_scorei为第i幅人脸图像的人脸图像质量分数，confidencei为第i幅人脸图像的人脸置信度，scorei为第i幅人脸图像的人脸图像评分，scorei＝1*pi1+2*pi2+j*pij+…+10*pi10，pij为预置图像质量分布模型预测人脸图像i在(j-1，j]分数区间的概率。

步骤210、对所有的人脸图像质量分数进行降序排序，输出前预置数量位的人脸图像。

需要说明的是，对所有的人脸图像质量分数进行降序排序，输出前预置数量位的人脸图像，从而将低质量的人脸图像过滤掉。

步骤211、对输出的前预置数量位的人脸图像进行人脸识别。

需要说明的是，输出前预置数量位的人脸图像进行人脸识别，也就是将质量好的人脸图像进行人脸识别，在提高了识别率的同时，提高了系统响应速度，系统服务器不再对每一帧人脸数据进行计算和识别，减轻了服务器的计算压力。

为了便于理解，请参阅图3，本申请提供的一种基于图像质量的图像过滤系统的一个实施例，包括：

第一图像获取模块，用于获取若干幅人脸图像。

第一人脸检测模块，用于基于人脸检测算法对人脸图像进行人脸检测并对人脸图像进行裁剪，输出人脸置信度。

第一输出模块，用于将裁剪后的人脸图像输入到预置图像质量分布模型，输出人脸图像评分。

加权融合模块，用于将各人脸图像的人脸图像评分和人脸置信度进行加权融合，得到若干个人脸图像质量分数。

第二输出模块，用于对所有的人脸图像质量分数进行降序排序，输出前预置数量位的人脸图像。

进一步地，还包括：

人脸识别模块，用于对输出的前预置数量位的人脸图像进行人脸识别。

进一步地，还包括：

第二图像获取模块，用于获取待训练人脸图像。

第二人脸检测模块，用于基于人脸检测算法对待训练人脸图像进行人脸检测并对待训练人脸图像进行裁剪。

打分模块，用于基于若干个预置标准对裁剪后的待训练人脸图像的质量等级进行打分，得到待训练人脸图像的质量等级分布数据，将质量等级分布数据作为裁剪后的待训练人脸图像的标签。

训练模块，用于将裁剪后的待训练人脸图像和裁剪后的待训练人脸图像的标签输入到残差网络，对残差网络进行训练。

收敛模块，用于当残差网络达到收敛条件时，得到训练好的残差网络，将训练好的残差网络作为预置图像质量分布模型。

进一步地，还包括：

预训练模块，用于基于imagenet图像集对残差网络进行预训练。

本申请实施例还提供了一种基于图像质量的图像过滤设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述基于图像质量的图像过滤方法实施例中的基于图像质量的图像过滤方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述基于图像质量的图像过滤方法实施例中的基于图像质量的图像过滤方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：randomaccessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。