人脸优选方法、装置及存储介质与流程

本申请涉及图像处理领域，特别是涉及一种人脸优选方法、装置及存储介质。

背景技术：

目前，图像处理技术取得了巨大的进步和发展。其中，图像处理技术的一个应用场景为监控视频中人脸图像的处理。

然而，在监控场合人脸移动速度过快、监控场景人的动作过于激烈等原因容易造成监控设备所拍摄的画面过于模糊，导致从监控设备拍摄到的视频中获取到的人脸图像质量很低，难以用图像处理技术对人脸图像进行处理。

技术实现要素：

本申请提供一种人脸优选方法、装置及存储介质，能够解决现有技术中从监控视频中获取到的人脸图像质量低的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种人脸图像优选方法，该方法包括：对多张人脸图像进行质量评估得到每张人脸图像的多种人脸得分；分别根据每种人脸得分对多张人脸图像进行排序，以得到多张人脸图像的多种排序结果；根据多种排序结果依次对多张人脸图像进行筛选以选出目标人脸图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种人脸图像优选装置，该装置包括处理器、与处理器耦接的存储器，其中，存储器存储有用于在处理器运行后实现如前所述方法的程序指令。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有程序指令，程序指令被执行时能够实现前述的方法。

本申请的有益效果是：通过上述方式，本申请能够从多个角度对每张人脸图像进行质量评估得到每张人脸图像的多种人脸得分，并根据每张人脸图像的多种人脸得分分别对多张人脸图像进行排序得到多种排序结果，最后根据多种排序结果筛选出质量高的人脸图像。

附图说明

图1是本申请人脸图像优选方法一实施例的流程示意图；

图2是s110的具体流程示意图；

图3是s110的具体流程示意图；

图4是s110的具体流程示意图；

图5是s130的一具体流程示意图；

图6是s130的另一具体流程示意图；

图7是本申请深度学习模型一实施例的结构示意图；

图8是本申请人脸图像优选装置一实施例的结构示意图；

图9是本申请存储介质一实施例的的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请人脸图像优选方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

s110：对多张人脸图像进行质量评估得到每张人脸图像的多种人脸得分。

多张人脸图像为同一人的人脸图像，其可以为监控视频中同一个人的多帧人脸图像，其可以通过对视频中同一个人的人脸进行跟踪得到。获取到多张人脸图像后，可以对多张人脸图像进行质量评估得到每张人脸图像的多种人脸得分。

其中，多种人脸得分可以包括四种人脸得分，分别为第一得分、第二得分、第三得分和第四得分。具体而言，第一得分可以为人脸大小得分，第二得分可以为为人脸清晰度得分，第三得分可以为人脸姿态得分，第四得分可以为人脸正常度得分。

人脸大小得分可通过人脸图像中人脸区域的像素计算得到。比如，人脸区域的宽度为width像素，人脸区域的高度为height像素，则人脸大小分数sizescore＝width*height。

人脸清晰度得分可通过将多张人脸图像输入边缘检测模型得到。获取到多张人脸图像后，可将多张人脸图像输入边缘检测模型，以得到每张人脸图像的人脸清晰度得分。

如图2所示，将多张人脸图像输入边缘检测模型得到每张人脸图像的人脸清晰度得分具体可以包括以下子步骤：

s211：利用拉普拉斯算子计算每张人脸图像中每个像素的边缘梯度。

本步骤之前，可以先对人脸图像进行边缘检测以得到人脸图像中人脸区域的边缘。然后在本步骤中，利用拉普拉斯算子计算每张人脸图像中人脸区域的边缘梯度。

其中，拉普拉斯(laplacian)算子

s212：将每张人脸图像中每个像素的边缘梯度之和作为每张人脸图像的人脸清晰度得分。

计算每张人脸图像中人脸区域的边缘梯度之和的公式如下：

其中，g(x,y)表示拉普拉斯算子，x和y分别表示人脸区域的行列坐标，width表示人脸区域的宽度，height表示人脸区域的高度。

人脸姿态得分和人脸正常度得分可通过将多张人脸图像输入深度学习模型得到。获取到多张人脸图像后，可将多张人脸图像输入深度学习模型，以得到每张人脸图像的人脸姿态得分和人脸正常度。

如图3所示，将多张人脸图像输入深度学习模型得到每张人脸图像的人脸姿态得分具体可以包括以下子步骤：

s311：将多张人脸图像输入深度学习模型，得到每张人脸图像的俯仰角值，偏航角值和翻滚角值。

s312：将每张人脸图像的俯仰角值，偏航角值和翻滚角值之和作为每张人脸图像的人脸姿态得分。

每张人脸图像的人脸姿态得分

posescore＝pitch+yaw+roll，

其中pitch表示俯仰角值，yaw表示偏航角值，roll表示翻滚角值。通过人脸姿态得分可以衡量人脸是否侧脸或者低头等情况。

如图4所示，将多张人脸图像输入深度学习模型得到人脸正常度得分包括以下子步骤：

s411：将多张人脸图像输入深度学习模型，得到深度学习模型输出的每张人脸图像的人脸遮挡性得分、人脸完整性得分和人脸光照均衡性得分。

s412：将每张人脸图像的人脸遮挡性得分、人脸完整性得分和人脸光照均衡性得分之和作为每张人脸图像的人脸正常度得分。

具体而言，每张人脸图像的人脸正常度得分

normalscore＝occlusionscore+completenessscore+illuminationscore，

其中，occlusionscore表示人脸遮挡性得分，completenessscore表示人脸完整性得分，illuminationscore表示人脸光照均衡性得分。

可通过人脸正常度得分衡量人脸图像是否为正常人脸，即是否存在遮挡，缺损和光照不均衡等现象。

s120：分别根据每种人脸得分对多张人脸图像进行排序，以得到多张人脸图像的多种排序结果。

其中，多种排序结果可以包括第一排序结果、第二排序结果、第三排序结果和第四排序结果，每种排序结果可以按照对应的人脸得分从大到小排序。

具体而言，第一排序结果可以为人脸大小排序结果，第二排序结果可以为人脸清晰度排序结果，第三排序结果可以为人脸姿态排序结果，第四排序结果可以为人脸正常度排序结果。

s130：根据多种排序结果对多张人脸图像进行筛选以选出目标人脸图像。

可综合每张人脸图像在多种排序结果中的排序情况筛选出目标人脸图像。

在本申请一具体实施例中，可以依次根据不同的排序结果对多张人脸图像进行多轮筛选，每轮筛选从上一轮的筛选结果中选出本轮所用的排序结果中人脸得分最高的指定数量或指定比例的人脸图像作为本轮的筛选结果，其中第一轮筛选所用的上一轮的筛选结果为多张人脸图像，最后一轮的筛选结果为目标人脸图像。

由于每种排序结果按照对应的人脸得分从大到小排序，因此人脸得分最高的指定数量或指定比例的人脸图像为排序最靠前的指定数量或指定比例的人脸图像。

如图5所示，s130具体可以包括以下子步骤：

s531：从多张人脸图像中选出第一排序结果中最靠前的第一数量或第一比例的人脸图像作为第一轮的筛选结果。

比如，第一比例为50％，则从多张人脸图像中选出第一排序结果中最靠前的50％作为第一轮的筛选结果。

s532：从第一轮的筛选结果中选出第二排序结果中最靠前的第二数量或第二比例的人脸图像作为第二轮的筛选结果。

比如，第一比例为50％，则从第一轮的筛选结果中选出第二排序结果中最靠前的50％的人脸图像作为第二轮的筛选结果。

s533：从第二轮的筛选结果中选出第三排序结果中最靠前的第三数量或第三比例的人脸图像作为第三轮的筛选结果。

比如，第三比例为20％，则从第二轮的筛选结果中选出第三排序结果中最靠前的20％的人脸图像作为第三轮的筛选结果。

s534：从第三轮的筛选结果中选出第四排序结果中最靠前的第四数量或第四比例的人脸图像作为目标人脸图像。

比如，第四数量为1，则从第三轮的筛选结果中选出第四排序结果中最靠前的一张人脸图像作为目标人脸图像。

如图6所示，在本申请另一具体实施例中，s130可以包括以下子步骤：

s631：分别对每张人脸图像在多种排序结果中的排序值求和得到每张人脸图像的综合排序值。

比如，现有5张人脸图像a、b、c、d、e，相比于其他4张人脸图像，人脸图像b中的人脸最大，因此其人脸大小排序结果中的排序值为1。同理，人脸图像b在人脸清晰度排序结果中的排序值为2，在人脸姿态排序值为3，因此其综合排序值为6。

s632：根据每张人脸图像的综合排序值对每张人脸图像进行排序得到综合排序结果。

可选地，综合排序结果按照对应的综合排序值从小到大排序。

s633：根据综合排序结果从多张人脸图像中选出目标人脸图像。

目标人脸图像为综合排序结果中排序最靠前的指定数量或指定比例的人脸图像，也即多张人脸图像中综合排序值最低的指定数量或指定比例的人脸图像。

通过上述实施例的实施，本申请能够从多个角度对每张人脸图像进行质量评估得到每张人脸图像的多种人脸得分，并根据每张人脸图像的多种人脸得分分别对多张人脸图像进行排序得到多种排序结果，最后根据多种排序结果筛选出质量高的人脸图像。

请参阅图7，图7为上述实施例中所使用的深度学习模型一实施例的结构示意图。如图7所示，深度学习模型可以包括三个卷积层(convolution)、三个池化层(downsampling)和全连接层(图未示)。其输入为100*60大小的人脸图像，输出为一个六维特征向量，该六维特征向量中的元素包括人脸图像的人脸遮挡性得分(occlusionscore)，人脸完整性得分(completenessscore)，人脸光照均衡性得分(illuminationscore)、俯仰角值(pitch)，偏航角值(yaw)和翻滚角值(roll)。

上述实施例中所使用的深度学习模型为训练好的深度学习模型，因此在使用深度学习模型之前，还可以对其进行训练。

可使用带有标注的人脸图像对深度学习模型进行训练。其中，用于训练的人脸图像的标注可以包括：人脸遮挡标注，其中人脸上没有遮挡物，标记为1，存在遮挡物，标注为0；人脸完整度标注，完整无缺损人脸标注为1，不完整人脸标注为0；人脸光照均衡标注，人脸上光照均匀标注为1，光照亮暗不均衡标注为0；人脸图像的俯仰角值，偏航角值和翻滚角值。其中，人脸遮挡标注、人脸完整度标注以及人脸光照均衡标注的值可以在0～1之间在变化，俯仰角值，偏航角值和翻滚角值可以在0°～90°之间变化。

具体而言，可将带标注的人脸图像输入深度学习模型，并根据深度学习模型输出的结果(人脸图像的人脸遮挡性得分，人脸完整性得分，人脸光照均衡性得分、俯仰角值，偏航角值和翻滚角值)对深度学习模型的参数进行调整，以优化深度学习模型，使得最终深度学习模型的计算结果更加准确。

请参阅图8，图8为本申请人脸图像优选装置一实施例的结构示意图。如图8所示，该人脸图像优选装置800包括处理器810、与处理器耦接的存储器820。

其中，存储器820存储有用于实现上述任一实施例的方法的程序指令；处理器810用于执行存储器820存储的程序指令以实现上述方法实施例的步骤。其中，处理器810还可以称为cpu(centralprocessingunit，中央处理单元)。处理器810可能是一种集成电路芯片，具有信号的处理能力。处理器810还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

请参阅图9，图9是申请存储介质一实施例的结构示意图。本申请实施例的存储介质900存储有程序指令，该程序指令被执行时实现本申请人脸图像优选方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。