以关键点局部邻域的高频分析为核心的模糊人脸判别方法与流程

本发明属于模式识别、计算机视觉、图像处理领域，涉及一种以面部关键点局部特征为核心的模糊人脸判别方法，可用于对一般性二维人脸图像是否模糊进行智能判别。

背景技术：

随着计算机软硬件技术的飞速发展以及图像和视频采集设备的不断普及，以人脸识别为代表的智能图像数据分析识别技术得到了越来越广泛的认可和应用。然而，再优秀的智能分析算法也必须以高质量的输入信息为基本前提，低质量的输入信息必然直接影响算法的整体分析效果。因此，对所获取的人脸图像进行自动质量评价，避免过低质量的图像被输入后续处理环节造成判断失误，是具有直观实际意义的应用研究技术。

由聚焦问题、设备分辨率问题、采光问题、数据压缩等造成的图像模糊是目前直接影响人脸图像质量的重要因素之一。由于直接影响图像内容的描述和表达，图像模糊能够对算法精度产生直接影响，且难以通过后续处理算法进行修复(基于信息守恒原理)。因此，有效滤除低质量模糊人脸图像无疑能够直接提升自动分析算法的处理效果，降低发生误判的可能性。注：在当今大数据时代，信息资源极大丰富，相比于判断失误和识别误差，在绝大多数情况下，拒绝低质量图像所带来的损失已经非常微小，例如，随着数字图像拍摄设备的普及，当人们发现拍摄到一幅模糊图像时，通常可以直接再补拍一张，不用付出任何费用。

在相关技术方面，以往的相关研究中，有一些针对一般性图像的模糊判别工作，如：首先进行图像边缘提取，而后进行基于边缘均值的模糊程度度量方法；利用图像的奇异值分析判别图像模糊等。但专门针对人脸图像自身的具体特点进行模糊判别的相关方法目前并不多见。

技术实现要素：

本发明的目的是克服现有技术中存在的不足，提出一种能够专门针对人脸图像特点的模糊图像自动判别方法。为实现该功能，本发明设计了由“方法训练阶段”和“在线使用阶段”两部分构成的综合性方法策略，具体技术实现方案如下。

以关键点局部邻域的高频分析为核心的模糊人脸判别方法，基本步骤包括：

方法训练阶段：

(1)搭建由清晰人脸和模糊人脸图像组成的训练样本集合；

(2)人工标定各训练人脸图像上处在核心位置的关键点(共49个)的坐标，并进行关键点自动提取模型的训练；

(3)依据位于眼部的关键点的坐标，计算眼部区域的重心：

其中，x^lec和x^rec分别表示左眼和右眼的重心；为左眼部区域所有关键点的坐标，n^le表示此区域关键点数目；为右眼部区域所有关键点的坐标，n^re表示此区域关键点数目。

(4)根据连接两眼重心的向量对各人脸图像进行标准化，标准化过程依据仿射变换进行；

(5)提取每个关键点周围邻接的方形局部区域，以其为特征提取的对象区域；

(6)基于离散余弦变换方法，提取各关键点周围局部邻接区域的高频图像特征；

(7)根据训练样本数据，为每一人脸关键点对应的局部邻接区域分别训练一个基于高频图像特征的随机森林分类器，用于判断区分模糊区域和清晰区域；

(8)基于adaboost算法进行分类器集成，将所有关键点局部邻域的模糊判别分类器集成为一个统一模糊人脸判别分类器；

在线使用阶段：

(9)对于待判定的实际图像，首先基于受限局部模型(clm)方法自动分析提取其上人脸关键点的坐标，并采用与对训练样本同样的方法进行人脸图像标准化处理；

(10)提取待判定人脸图像上每一关键点对应的局部邻接区域的高频图像特征；

(11)将关键点局部邻域的高频图像特征输入已学习构建的集成分类器，判定整幅人脸图像是否模糊。

本发明是一种专门针对普通二维人脸图像的模糊判别方法，跟现有技术相比，本发明的主要优势在于：

(1)本发明以关键点的局部邻接区域为特征提取对象。由于仅考虑关键点周围邻接的小局部区域，该特征与人脸样貌的相关性较低，使得本发明方法可以不受输入人脸与训练人脸之间相似程度的限制，从而使方法可以摆脱对训练样本的依赖，更具泛化能力，一般性更强。此外，由于特征提取区域的范围较小，该特征对于人脸的姿态改变也具有一定适应能力，从而进一步拓宽了方法的适用范围，增强了鲁棒性。

(2)由于与具体人脸样貌的相关度较小，本发明的训练学习仅基于少量训练样本即可完成，因此本发明训练阶段的耗时较短。

(3)本发明采用的局部细节特征结合集成分类器的综合模糊判定策略，既能够通过特征局部化有效提升判别特征的可靠性和一般性，同时又能够充分利用面部所有核心特征进行整体综合判决，从而有效降低局部判断误差对全局精度的影响，做到二者兼顾。

(4)本发明的自动化程度高，实际使用阶段基本不需要人工干预，也不需要根据具体输入数据的差异进行人工参数调整，鲁棒性好。

(5)本发明专门针对人脸图像设计，依据人脸图像独有的专门化特征，在整体策略方面更具针对性，属于针对具体问题设计的定制化解决思路，专门性更强，因此对比一般性方法更容易达到较高的判别精度。

附图说明

图1-1为本发明方法的训练阶段；图1-2为本发明方法的在线使用阶段。

图2本发明方法所采用的49个面部关键点位置。

图3本发明设计的关键点局部邻接区域的范围示例。

具体实施方式

人脸图像是一类较为特殊的图像，其在整体拓扑结构和细节内容方面均与一般性图像有一定差别，具有一定独特特质。因此，对该类图像进行模糊判别，不应拘泥于传统一般性方法(尤其在所采用的判定特征方面)，而应将工作重点放在对人脸图像专属特征的挖掘和利用上。同时，由于该问题上特征的专门化定制程度较高，采用经过针对性训练学习构建的分类器完成模糊人脸区分工作更具优势，所以本发明也设计采用了以分类器为主要工具的判定区分机制。下文将对本发明实施方法进行更为具体的介绍和描述：

方法训练阶段：

本发明中的关键点自动定位模型构建和模糊判别分类器的学习模块均需要依据一定训练样本进行，因此，本发明方法的实施首先面临训练数据的选择问题。为保证正负训练样本均衡，本发明以同样数目的清晰和模糊人脸图像作为训练样本。由于采用与具体人脸样貌相关性较小的关键点局部特征，本发明不需要依赖大量标注训练样本进行学习构建，具体操作过程中，仅取100幅清晰人脸和100幅模糊人脸即可达到理想效果。

对原始训练图像数据进行预处理和统一标准化，去除个体样本之间由非核心因素造成的图像内容差异，是进行关键点自动提取模型构建和分类器学习搭建的基本前提和必要阶段。本发明设计的具体预处理措施包括：1、由于以图像纹理为主要区分特征，色彩信息对本发明方法几乎没有帮助，为降低处理数据规模，本发明首先将所有图像统一转化为256色灰度图。2、进行图像的灰度统一化工作，每幅图像上的每个像素的灰度值均减去该图像的灰度均值并除以其灰度标准差。3、由于本发明方法的分析判断主要基于局部特征，而面积较小的局部区域内容对图像的方向和尺度改变均较为敏感，本发明选择在提取特征前首先对图像进行方向和尺度的标准化工作。其中，方向标准化基于两眼重心连接向量与水平线的夹角进行，尺度标准化基于两眼重心连接向量的长度统一化进行。二者的实现均基于图像的仿射变换i(w(x，θ))，其中，i表示图像，x表示其中的像素坐标，w代表仿射变换，θ为其参数。θ的具体取值可基于上述两方面的内容直接求解获得。人脸图像上两眼重心的位置则基于位于眼部区域的面部关键点位置进行计算。

图像的模糊程度主要体现在细节纹理信息的清晰程度方面，针对人脸图像的具体特点，本发明选择面部49个分布于眼睛、眉毛、嘴巴等核心部位的关键点(参见图2)，在其局部邻域(参加图3)进行内容提取，并分析其中纹理细节的清晰程度，从而判定整幅图像的模糊与否。在训练图像上，这些关键点的位置将由人工进行直接标定(在标定过程中需确保在每一图像上均在对应部位准确标定出图2所示的所有关键点)，并由不同的人进行检查校验，确保标定位置准确无误。而在实际方法应用过程中，显然一个自动算法不可能由人工进行这一工作，本发明选择采用已被广泛证实在人脸图像上具有可靠且稳定效果的受限局部模型算法进行关键点自动获取定位。由于人脸关键点具有较刚性的整体拓扑结构和代表性特征，本发明选择在训练过程中基于标定训练样本对受限局部模型进行预先学习训练。每幅训练图像及其上所有标定关键点将被作为一个训练样本输入模型进行训练，使该模型在学习每个关键点的细节特征的同时也着重掌握拟定位人脸关键点的整体拓扑结构，从而实现更高精度的关键点提取。

在判断和决策策略方面，考虑到本发明的特征提取区域较小，采用adaboost等具有一定特征自主选择能力的分类器无法完全展开，本发明选择直接指定特征，并训练专属分类器进行模糊决策。由于直接反映图像清晰程度的细节纹理信息的精细程度主要体现在图像高频信息部分，本发明选择关键点局部邻接图像区域的高频信息作为判断模糊的主要特征。在高频信息的获取方面，本发明采用运算高效且仅有实值部分的离散余弦变换进行图像信息向频域的转换，并经大量实验验证分析，明确保留90％的高频信息作为模糊判别特征。

鉴于人脸上每一关键点的局部邻域特征各不相同(如眼部与嘴部关键点的局部邻域特征就偏差较大)，且专门化分类器更有利于达到较高的识别精度，本发明选择为每一关键点的局部邻域均单独学习训练一个模糊判别分类器。在分类器形式方面，基于大量实验对比分析，随机森林分类器的判定精度显著优于支持向量机等经典分类器，因此被本发明采用。

由于本发明方法以对整幅人脸图像的模糊判别为核心输出，而本发明已构建有49个关键点特征区域的模糊判别分类器，因此对各分类器的集成是必须解决的问题。显而易见，人脸上各不同位置的关键点对全局模糊判别的影响能力和侧重评价方面各不相同，采用直接投票的方式无疑等价于忽视这些差异，必然影响最终的判定精度。基于此，本发明选择能够依据标定训练样本自动分析确定各子分类器权重的基于adaboost的分类器智能集成策略，并在训练阶段基于训练样本实现对该集成策略的具体学习构建。

在线使用阶段：

当通过离线过程完成对本发明方法的学习构建之后，本发明方法即可在线全自动使用，不需要任何人工干预，即可实现对面部人脸是否模糊的自动区分判别。

对待任意一幅输入的待判别图像，本发明方法将依次采用下列处理分析步骤进行智能模糊判别：

首先，对图像进行灰度化和灰度统一化(具体方法与处理训练样本的相同)。随后基于受限局部模型算法自动分析提取当前图像上的所有人脸关键点，并基于关键点坐标进行图像尺度和方向的标准化处理。而后再基于离散余弦变换提取每个关键点对应局部邻域的高频图像特征。最后将这些特征输入已学习构建的综合集成分类器，判定整幅人脸图像是否模糊。