一种人脸图像清晰度评价方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种人脸图像清晰度评价方法及装置。

背景技术：

随着科学技术的发展，图片处理技术广泛应用于人们生活的方方面面，而其中人脸图像清晰度的评价也越来越多的受到研究人员的关注。

在图片相同分辨率的情况下，图片的清晰度是度量图片质量的最主要的标准，人脸识别和人脸三维重建等图像技术中都需要从拍摄的人脸视频或者多张人脸图片中挑选出人脸清晰度高的图片。现有技术中，对于人脸图像清晰度的评价方法一般是采用对人脸图像各像素点的局部梯度值进行归一化处理，并对人脸或背景的各像素点赋予不同的加权值，同时引入梯度密度的概念来进行人脸图像模糊度的计算。

在上述现有技术中，由于人脸图像评价的权重函数为高斯函数，计算复杂，且图像的背景需要参加计算，会导致人脸图像清晰度的评价误差过大。

技术实现要素：

本发明的主要目的在于提供一种人脸图像清晰度评价方法及装置，旨在解决现有技术中人脸图像评价的权重函数为高斯函数，计算复杂，且图像的背景需要参加计算，会导致人脸图像清晰度的评价误差过大的技术问题。

为实现上述目的，本发明实施例第一方面提供一种人脸图像清晰度评价方法，该方法包括：

获取图片序列，并对所述图片序列中所有图片进行预处理；

选取一张预处理后的图片进行人脸检测，得到人脸检测框，在所述人脸检测框内进行人脸特征点检测，标识出预设数量的人脸特征点，通过连接预设标号处的所述人脸特征点得到封闭的人脸区域范围；

累加所述人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将所述累加结果除以所述人脸区域范围内所有像素点数量，得到所述人脸区域范围内所有像素点的梯度值的平均值，取所述平均值作为所述图片的清晰度因子；

执行选取一张预处理后的图片进行人脸检测，直至取完所述图片序列中的所有图片；

排序所述图片序列中所有图片的清晰度因子数值，得到所述图片序列中所有图片的清晰度顺序。

本发明实施例第二方面提供一种人脸图像清晰度评价装置，该装置包括：

预处理模块，用于获取图片序列，并对所述图片序列中所有图片进行预处理；

人脸检测模块，用于选取一张预处理后的图片进行人脸检测，得到人脸检测框，在所述人脸检测框内进行人脸特征点检测，标识出预设数量的人脸特征点，通过连接预设标号处的所述人脸特征点得到封闭的人脸区域范围；

计算模块，用于累加所述人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将所述累加结果除以所述人脸区域范围内所有像素点数量，得到所述人脸区域范围内所有像素点的梯度值的平均值，取所述平均值作为所述图片的清晰度因子；

循环模块，用于执行选取一张预处理后的图片进行人脸检测，直至取完所述图片序列中的所有图片；

排序模块，用于排序所述图片序列中所有图片的清晰度因子数值，得到所述图片序列中所有图片的清晰度顺序。

本发明实施例提供一种人脸图像清晰度评价方法及装置，通过对预处理后的图片进行人脸检测，得到人脸区域范围，再累加人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值，取平均值作为图片的清晰度因子，排序所有图片的清晰度因子数值，得到所有图片的清晰度顺序。由于通过计算人脸区域范围内所有像素的梯度值的平均值的方法来评价人脸清晰度，一方面，可以简化计算，提高运算效率，另一方面，仅将人脸区域范围作为计算范围，使得人脸图像清晰度的评价更加精确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人脸图像清晰度评价方法的流程示意图；

图2为本发明实施例提供的一种人脸图像清晰度评价方法中获取图片序列的流程示意图；

图3为本发明实施例提供的一种人脸图像清晰度评价方法中人脸特征点分布图；

图4为本发明实施例提供的一种人脸图像清晰度评价方法中图片预处理的流程示意图；

图5为本发明实施例提供的一种人脸图像清晰度评价方法中梯度值的平均值计算方法的流程示意图；

图6为本发明实施例提供的一种人脸图像清晰度评价方法中另一种图片预处理的流程示意图；

图7为本发明实施例提供的一种人脸图像清晰度评价方法中另一种梯度值的平均值计算方法的流程示意图；

图8为本发明实施例提供的一种人脸图像清晰度评价装置的装置示意图；

图9为本发明实施例提供的一种人脸图像清晰度评价装置的另一种装置示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例提供的一种人脸图像清晰度评价方法的流程示意图，该方法包括：

s101、获取图片序列，并对图片序列中所有图片进行预处理。

其中，图片序列是指包含若干图片的集合，可以人为指定每个图片序列中包含的图片数量。

进一步的，图片序列的获取需要靠外部信号输入源的输入获得，请参考图2，图2为本发明实施例提供的一种人脸图像清晰度评价方法中获取图片序列的流程示意图，获取图片序列的具体步骤包括：

s201、判断信号输入源为视频还是图片序列。由于在人脸识别和人脸纹理贴图等不同应用场景中，信号输入源的类型不尽相同，所以需要首先判断信号输入源为视频还是图片序列，以便为后续处理提供便利。

s202、若信号输入源为视频，则将视频解码为图片序列后，再获取图片序列。其中解码后的图片序列中包含的图片的数量，可以根据实际情况需要作出调整，以解码后的图片序列中包含视频全部信息为标准。

s203、若信号输入源为图片序列，则直接获取图片序列。

s102、选取一张预处理后的图片进行人脸检测，得到人脸检测框，在人脸检测框内进行人脸特征点检测，标识出预设数量的人脸特征点，通过连接预设标号处的人脸特征点得到封闭的人脸区域范围。

其中，人脸检测是指：检测出图像中存在的人脸，并把它的位置准确地框选出来，形成人脸检测框。实际操作中，在选取一张预处理后的图片进行人脸检测后，可能会得到多个人脸检测框，则选取人脸检测框尺寸最大的该图片的人脸检测框。

进一步的，人脸特征点是表征人脸面部特征的像素点，包括特定部位的特征信息和整体的特征信息，在人脸检测框内进行人脸特征点检测，标识出预设数量的人脸特征点时，人脸特征点的数量可以影响对图片清晰度的评价，本发明实施例采用的是经典的68个人脸特征点，具体68个人脸特征点分布，请参阅图3。

如图3所示，图3为本发明实施例提供的一种人脸图像清晰度评价方法中人脸特征点分布图。依次按顺序连接人脸特征点1到人脸特征点17、人脸特征点17到人脸特征点27、人脸特征点27到人脸特征点18以及人脸特征点18到人脸特征点1，得到一个封闭的的多边形人脸区域范围。对于图片上的每一个像素点，判断每一个像素点与人脸区域范围的关系，如果像素点在多边形人脸区域范围内或者像素点在多边形人脸区域范围的任意一条边上，则该像素点为人脸区域内的点，将属于人脸区域内的所有像素点记录下来，记为集合u，将人脸区域范围内的所有像素点的总数量记为total。

进一步的，s103、累加人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值，取平均值作为图片的清晰度因子。

其中，清晰度因子是对梯度值的平均值的一个抽象表述，图片清晰度的判断有各种方法，并没有统一的标准，本专利所使用的方法就是通过梯度值的平均值所代表的清晰度因子，来判断图片的清晰度。

s104、执行选取一张预处理后的图片进行人脸检测，直至取完图片序列中的所有图片。

由于图片序列中具有若干张图片，为了人脸清晰度评价时更为准确，需要重复选取预处理后的图片，直至取完图片序列中所有的图片，方可进行下一步骤。

s105、排序图片序列中所有图片的清晰度因子数值，得到图片序列中所有图片的清晰度顺序。

由于清晰度因子代表图片人脸区域范围内所有像素点的梯度值的平均值，而清晰度因子的数值越大，则代表图片越清晰，排序图片序列中所有图片的清晰度因子数值，即可得到图片序列中所有图片的清晰度顺序，也就可以得到最清晰的图片。

在本发明实施例中，通过对预处理后的图片进行人脸检测，得到人脸区域范围，再累加人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值，取平均值作为图片的清晰度因子，排序所有图片的清晰度因子数值，得到所有图片的清晰度顺序。由于通过计算人脸区域范围内所有像素的梯度值的平均值的方法来评价人脸清晰度，一方面，可以简化计算，提高运算效率，另一方面，仅将人脸区域范围作为计算范围，使得人脸图像清晰度的评价更加精确。

请参阅图4，图4为本发明实施例提供的一种人脸图像清晰度评价方法中图片预处理的流程示意图。该方法包括：

s301、依次选取图片序列中的每张图片，去除每张图片中的噪声。

其中，图片中的噪声是指存在于图像数据中的不必要的或多余的干扰信息，由于噪声的存在严重影响了图片的质量，因此在预处理阶段将图片中的噪声去除。

s302、将去除噪声的图片转化为灰度图。

其中，白色与黑色之间按对数关系分为若干等级，称为灰度，用灰度表示的图像称作灰度图。将图片序列中的图片转化为灰度图有利于计算像素点的梯度值。

请参阅图5、图5为本发明实施例提供的一种人脸图像清晰度评价方法中梯度值的平均值计算方法的流程示意图，该方法包括：

s401、分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的灰度值的梯度值的绝对值。

s402、分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的灰度值的梯度值的绝对值和。

s403、累加人脸区域范围内所有像素点的水平方向和垂直方向的灰度值的梯度值的绝对值和，得到累加结果。

s404、将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值。

其具体计算结果如下：

设p(i,j)为图片中人脸区域范围内第i行第j列的像素点的灰度值，p(i+1,j)是第i+1行第j列像素点的灰度值，p(i,j+1)为人脸区域范围内第i行第j+1列像素点的灰度值，如果上述三个像素点都属于人脸区域范围集合u，则计算第i行第j列的像素点水平和竖直方向的梯度值的绝对值的和sum＝|p(i+1,j)-p(i,j)|+|p(i,j+1)-p(i,j)|，对于每一个属于集合u的像素点均计算该像素点水平和竖直方向的梯度值的绝对值的和sum(i,j)，则累加人脸区域范围内所有像素点的水平方向和垂直方向的灰度值的梯度值的绝对值和，得到总的梯度绝对值的和为sumall＝∑u(sum(i，j))，最后将累加结果除以人脸区域范围内所有像素点数量total，得到人脸区域范围内所有像素点的梯度值的平均值，也即该图片的清晰度因子为：sumall/total。

进一步的，梯度值可以通过图片的灰度值进行计算，即按照上述方案中将图片序列中的图片转化为灰度图后取灰度值进行计算，也可以将图片序列中的图片转化到ycbcr空间进行计算，此时每个像素的梯度值为该像素水平和垂直方向cb和cr梯度值的和。具体的，参见如下的方法：

请参阅图6，图6为本发明实施例提供的一种人脸图像清晰度评价方法中另一种图片预处理的流程示意图。该方法包括：

s501、依次选取图片序列中的每张图片，去除每张图片中的噪声。

其中，图像中的噪声是指存在于图像数据中的不必要的或多余的干扰信息，由于噪声的存在严重影响了图像的质量，因此在预处理阶段将图片中的噪声去除。

s502、将去除噪声的图片转化为ycbcr空间图。

其中，ycbcr空间图是色彩空间的一种，y值为光的浓度且为非线性，cb值和cr值则为蓝色和红色的浓度偏移量成份。

进一步的，请参阅图7，图7为本发明实施例提供的一种人脸图像清晰度评价方法中另一种梯度值的平均值计算方法的流程示意图，该方法包括：

s601、分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的cb值和cr值的梯度值的绝对值。

s602、分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的cb值和cr值的梯度值的绝对值和。

s603、累加人脸区域范围内所有像素点的水平方向和垂直方向的cb值和cr值的梯度值的绝对值和，得到累加结果。

s604、将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值。

其具体计算结果如下：

设cb(i,j)为图片中人脸区域范围内第i行第j列的像素点的cb值，cb(i+1,j)是第i+1行第j列像素的cb值，cb(i,j+1)为人脸区域范围内第i行第j+1列像素点的cb值；设cr(i,j)为图片中人脸区域范围内第i行第j列的像素点的cr值，cr(i+1,j)是第i+1行第j列像素的cr值，cr(i,j+1)为人脸区域范围内第i行第j+1列像素点的cr值，如果上述三个像素都属于人脸区域范围集合u，则计算第i行第j列的像素点水平和竖直方向的梯度值的绝对值的和对于每一个属于集合u的像素点均计算该像素点水平和竖直方向的梯度值的绝对值的和sumcbcr(i,j)，则累加人脸区域范围内所有像素点的水平方向和垂直方向的灰度值的梯度值的绝对值和，得到总的梯度绝对值的和为sumall＝∑u(sumcbcr(i，j))，最后将累加结果除以人脸区域范围内所有像素点数量total，得到人脸区域范围内所有像素点的梯度值的平均值，也即该图片的清晰度因子为：sumall/total。

在本发明实施例中，介绍了两种梯度值的平均值计算方法，第一，可以通过图片的灰度值进行计算，即将图片序列中的图片转化为灰度图后取灰度值进行计算；第二，也可以将图片序列中的图片转化到ycbcr空间进行计算，此时每个像素的梯度值为该像素水平和垂直方向cb和cr梯度值的和。通过上述两种计算方法，一方面，可以简化计算，提高运算效率，另一方面，仅将人脸区域范围作为计算范围，使得人脸图像清晰度的评价更加精确。

请参阅图8，图8为本发明实施例提供的一种人脸图像清晰度评价装置的装置示意图。该装置包括：

预处理模块10，用于获取图片序列，并对图片序列中所有图片进行预处理。

人脸检测模块20，用于选取一张预处理后的图片进行人脸检测，得到人脸检测框，在人脸检测框内进行人脸特征点检测，标识出预设数量的人脸特征点，通过连接预设标号处的人脸特征点得到封闭的人脸区域范围。

计算模块30，用于累加人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值，取平均值作为图片的清晰度因子。

循环模块40，用于执行选取一张预处理后的图片进行人脸检测，直至取完图片序列中的所有图片。

排序模块50，用于排序图片序列中所有图片的清晰度因子数值，得到图片序列中所有图片的清晰度顺序。

进一步的，预处理模块10包括：

判断模块101，用于判断信号输入源为视频还是图片序列。

解码模块102，用于若信号输入源为视频，则将视频解码为图片序列后，再获取图片序列。

获取模块103，用于若信号输入源为图片序列，则直接获取图片序列。

去噪声模块104，用于依次选取图片序列中的每张图片，去除每张图片中的噪声。

灰度图模块105，用于将去除噪声的图片转化为灰度图。

进一步的，计算模块30包括：

第一绝对值计算模块301，用于分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的灰度值的梯度值的绝对值。

第一绝对值和模块302，用于分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的灰度值的梯度值的绝对值和。

第一累加模块303，用于累加人脸区域范围内所有像素点的水平方向和垂直方向的灰度值的梯度值的绝对值和，得到累加结果。

第一平均值计算模块304，用于将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值。

进一步的，由于梯度值可以通过图片的灰度值进行计算，即按照上述装置中将图片序列中的图片转化为灰度图后取灰度值进行计算，也可以将图片序列中的图片转化到ycbcr空间进行计算，此时每个像素的梯度值为该像素水平和垂直方向cb和cr梯度值的和，请参阅图9，图9为本发明实施例提供的一种人脸图像清晰度评价装置的另一种装置示意图，所以预处理模块10的结构还可以为包括：

判断模块101，用于判断信号输入源为视频还是图片序列。

解码模块102，用于若信号输入源为视频，则将视频解码为图片序列后，再获取图片序列。

获取模块103，用于若信号输入源为图片序列，则直接获取图片序列。

去噪声模块104，用于依次选取图片序列中的每张图片，去除每张图片中的噪声。

ycbcr空间图模块106，用于将去除噪声的图片转化为ycbcr空间图。

进一步的，计算装置30结构还可以为包括：

第二绝对值计算模块305，用于分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的cb值和cr值的梯度值的绝对值。

第二绝对值和模块306，用于分别计算人脸区域范围内每一个像素点的水平方向和竖直方向的cb值和cr值的梯度值的绝对值和。

第二累加模块307，用于累加人脸区域范围内所有像素点的水平方向和垂直方向的cb值和cr值的梯度值的绝对值和，得到累加结果。

第二平均值计算模块308，用于将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值.

本发明实施例提供一种人脸图像清晰度评价装置，通过对预处理后的图片进行人脸检测，得到人脸区域范围，再累加人脸区域范围内所有像素点的水平方向和垂直方向的梯度值的绝对值和，得到累加结果，将累加结果除以人脸区域范围内所有像素点数量，得到人脸区域范围内所有像素点的梯度值的平均值，取平均值作为图片的清晰度因子，排序所有图片的清晰度因子数值，得到所有图片的清晰度顺序。由于通过计算人脸区域范围内所有像素的梯度值的平均值的方法来评价人脸清晰度，一方面，可以简化计算，提高运算效率，另一方面，仅将人脸区域范围作为计算范围，使得人脸图像清晰度的评价更加精确。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种人脸图像清晰度评价方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。