基于深层卷积神经网络的人脸质量评估方法和系统与流程

本发明涉及人脸图像识别技术领域，特别是涉及基于深层卷积神经网络的人脸质量评估方法和系统。

背景技术：

在人脸识别系统中，往往对输入图像的质量有着严格的要求。输入图像中人脸的角度、旋转、尺度、光照、分辨率、噪声、遮挡等因素都会对识别结果产生重大影响。因此，在进行识别前先对输入的人脸图像质量进行评估，能够有效地过滤低质量的输入样本，提高识别的准确度。这一质量评估和过滤机制在视频人脸识别中尤其有效。因为在视频中存在着大量属于同一被识别人脸对象的图像样本，但这些样本的质量却不相同，如何从中选出高质量的样本用于识别，对于后续识别工作的精度的提升起到关键作用。因此需要设计一种快速有效的人脸质量评估机制对待识别的人脸图像质量进行评估。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供基于深层卷积神经网络的人脸质量评估方法和系统，解决现有技术的问题。

为实现上述目的及其他相关目的，本发明提供一种基于深层卷积神经网络的人脸质量评估方法，包括：标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，其中，所述第一质量评估分值是根据预设图像质量参数对所述样本人脸图像数据进行初步质量评估得到的；通过所述训练数据集训练深层卷积神经网络，以通过所述训练减小所述深层卷积神经网络对应所输入图像而输出的第二质量评估分值和所述输入图像的第一质量评估分值间的差异。

于本发明的一实施例中，所述标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，包括：从数据源获取图像素材数据，其中，所述图像素材数据包含：具有人脸的多个图片；从每个所述图片中分别截取出人脸所在的预定尺寸大小的图像区域数据；对每个图像区域数据进行所述初步质量评估以得到第一质量评估分值，并与对应的图像区域数据关联存储。

于本发明的一实施例中，所述预设图像质量参数包括：人脸旋转和/侧转角度、人脸尺度、人脸遮挡情况、图像光照度、图像分辨率、及图像噪声情况中任意一种或多种组合。

根据权利要求1所述的人脸质量评估方法，所述深层卷积神经网络的结构包括：相连的输入层、一个或多个串联的卷积池化单元、dropout层、全连接层、及回归层；所述卷积池化单元包括：相连的卷积层、BatchNorm层、激活层及均值池化层。

于本发明的一实施例中，所述回归层所包含的回归损失函数为欧氏距离损失函数，所述第一质量评估分值输入至所述回归层。

为实现上述目的及其他相关目的，本发明提供一种基于深层卷积神经网络的人脸质量评估系统，包括：标注模块，用于标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，其中，所述第一质量评估分值是根据预设图像质量参数对所述样本人脸图像数据进行初步质量评估得到的；训练模块，用于通过所述训练数据集训练深层卷积神经网络，以通过所述训练减小所述深层卷积神经网络对应所输入图像而输出的第二质量评估分值和所述输入图像的第一质量评估分值间的差异。

于本发明的一实施例中，所述标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，包括：从数据源获取图像素材数据，其中，所述图像素材数据包含：具有人脸的多个图片；从每个所述图片中分别截取出人脸所在的预定尺寸大小的图像区域数据；对每个图像区域数据进行所述初步质量评估以得到第一质量评估分值，并与对应的图像区域数据关联存储。

于本发明的一实施例中，所述预设图像质量参数包括：人脸旋转和/侧转角度、人脸尺度、人脸遮挡情况、图像光照度、图像分辨率、及图像噪声情况中任意一种或多种组合。

于本发明的一实施例中，所述深层卷积神经网络的结构包括：相连的输入层、多个卷积池化单元、dropout层、全连接层、及回归层；所述卷积池化单元包括：相连的卷积层、BatchNorm层、激活层及均值池化层。

于本发明的一实施例中，所述回归层所包含的回归损失函数为欧氏距离损失函数，所述第一质量评估分值输入至所述回归层。

综上所述，本发明的基于深层卷积神经网络的人脸质量评估方法和系统，通过标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，其中，所述第一质量评估分值是根据预设图像质量参数对所述样本人脸图像数据进行初步质量评估得到的；通过所述训练数据集训练深层卷积神经网络，以通过所述训练减小所述深层卷积神经网络对应所输入图像而输出的第二质量评估分值和所述输入图像的第一质量评估分值间的差异；优化质量评估及过滤的效果，能大大提升人脸识别的准确度。

附图说明

图1显示为本发明于一实施例中人脸质量评估方法的流程示意图。

图2显示为图1中步骤S101的子流程示意图。

图3显示为本发明于一实施例中的深度卷积神经网络的模块结构示意图。

图4显示为本发明于一实施例中人脸质量评估系统的模块结构示意图。

元件标号说明

401 标注模块

402 训练模块

301 输入层

302 卷积池化单元

3021 卷积层

3022 BatchNorm层

3023 激活层

3024 均值池化层

303 dropout层

304 全连接层

S101～S102 步骤

S201～S203 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的技术方案应用于人脸图像识别技术领域，通过提供用于对待识别的包含人脸的图片进行质量评估的方案，增强评估的准确性，从而可提升人脸识别的准确性。

如图1所示，本发明提供一种基于深层卷积神经网络的人脸质量评估方法，包括：

步骤S101：标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，其中，所述第一质量评估分值是根据预设图像质量参数对所述样本人脸图像数据进行初步质量评估得到的。

于本发明的一实施例中，所述预设图像质量参数包括：人脸旋转和/侧转角度、人脸尺度、人脸遮挡情况、图像光照度、图像分辨率、及图像噪声情况中任意一种或多种组合；该些参数是关联于人脸图像质量的，所述质量评估的标准是是否利于人脸识别，例如人脸旋转或侧转到图像中无法看到整个正脸时，则该图像质量就较低；再例如图像分辨率低，质量亦较低。

所述第一质量评估分值的大小可以是0～1之间；举例来说，可以是由多个个体分别输出个体质量评估分值，然后从中去除最高分或最低分，计算剩余的各个体质量评估分值的平均值作为所述第一质量评估分值。

于本发明的一实施例中，如图2所示，所述步骤S101可具体包含以下步骤：

步骤S201：从数据源获取图像素材数据，其中，所述图像素材数据包含：具有人脸的多个图片。

于本发明的一实施例中，所述数据源可以是本地终端设备，也可以是互联网。

步骤S202：从每个所述图片中分别截取出人脸所在的预定尺寸大小的图像区域数据。

于本发明的一实施例中，可通过图像识别技术对图片中的人脸所在位置及其边缘进行定位，从而从中提取人脸所在位置的预定尺寸大小的图像区域数据。

步骤S203：对每个图像区域数据进行所述初步质量评估以得到第一质量评估分值，并与对应的图像区域数据关联存储。

例如，每张图片与其对应的第一质量评估分值关联地存储。

步骤S102：通过所述训练数据集训练深层卷积神经网络，以通过所述训练减小所述深层卷积神经网络对应所输入图像而输出的第二质量评估分值和所述输入图像的第一质量评估分值间的差异。

具体的，所述训练的目的是让深层卷积神经网络输出的第二质量评估分值与第一质量评估分值的标准统一，即让深层卷积神经网络逐步学会所述初步质量评估的方法；所述个体可以是人，由人根据预设图像质量参数的客观指标进行打分，也可以参考人的主观感受进行打分，则所述训练的目的是让深层卷积神经网络学习人对图像质量评价的感受；当然，所述个体也可以是计算机设备，尤其可以是经过训练而具有人工智能的计算机设备。

举例来讲，对待识别图像可截取其人脸所在的图像区域数据，并获取待识别图像的第一质量评估分值，进而，将图像区域数据及其第一质量评估分值输入深层卷积神经网络中，从而得到第二质量评估分值。

如图3所示，展示所述深层卷积神经网络的结构，所述深层卷积神经网络的结构包括：相连的输入层301、一个或多个串联的卷积池化单元302、dropout层303、全连接层304、及回归层305；所述卷积池化单元302包括：相连的卷积层3021、BatchNorm层3022、激活层3023及均值池化层3024。

所述卷积池化单元302在图中显示为有N个，于一实施例中，所述卷积池化单元302优选可以有4个，但并非以此为限；于本发明的一实施例中，所述回归层所包含的回归损失函数为欧氏距离损失函数，所述第一质量评估分值输入至所述回归层，所述第一质量评估分值与输入图像经过深层卷积神经网络前述各层变换后的输出比对，计算欧氏距离损失函数，如此反复，逐步优化减小第二质量评估分值和第一质量评估分值间的差异，该训练过程即为通过梯度下降法优化最小化欧氏距离损失函数的过程。

如图4所示，本发明提供一种基于深层卷积神经网络的人脸质量评估系统，其原理与上述方法实施例大致相同，两个实施例间的技术特征均可相互通用，因此相同的技术细节不作重复赘述；

所述系统包括：

标注模块401，用于标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，其中，所述第一质量评估分值是根据预设图像质量参数对所述样本人脸图像数据进行初步质量评估得到的；

训练模块402，用于通过所述训练数据集训练深层卷积神经网络，以通过所述训练减小所述深层卷积神经网络对应所输入图像而输出的第二质量评估分值和所述输入图像的第一质量评估分值间的差异。

于本发明的一实施例中，所述标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，包括：从数据源获取图像素材数据，其中，所述图像素材数据包含：具有人脸的多个图片；从每个所述图片中分别截取出人脸所在的预定尺寸大小的图像区域数据；对每个图像区域数据进行所述初步质量评估以得到第一质量评估分值，并与对应的图像区域数据关联存储。

于本发明的一实施例中，所述预设图像质量参数包括：人脸旋转和/侧转角度、人脸尺度、人脸遮挡情况、图像光照度、图像分辨率、及图像噪声情况中任意一种或多种组合。

于本发明的一实施例中，所述深层卷积神经网络的结构包括：相连的输入层、多个卷积池化单元、dropout层、全连接层、及回归层；所述卷积池化单元包括：相连的卷积层、BatchNorm层、激活层及均值池化层。

于本发明的一实施例中，所述回归层所包含的回归损失函数为欧氏距离损失函数，所述第一质量评估分值输入至所述回归层。

综上所述，本发明的基于深层卷积神经网络的人脸质量评估方法和系统，通过标注样本人脸图像数据以建立包含第一质量评估分值的训练数据集，其中，所述第一质量评估分值是根据预设图像质量参数对所述样本人脸图像数据进行初步质量评估得到的；通过所述训练数据集训练深层卷积神经网络，以通过所述训练减小所述深层卷积神经网络对应所输入图像而输出的第二质量评估分值和所述输入图像的第一质量评估分值间的差异；优化质量评估及过滤的效果，能大大提升人脸识别的准确度。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。