基于多尺度联合特征编码器的单样本人脸识别方法与流程

文档序号:15400048发布日期:2018-09-11 17:16阅读:219来源:国知局

本发明涉及人脸识别技术领域,具体涉及一种基于多尺度联合特征编码器的单样本人脸识别方法。



背景技术:

人脸由于其唯一性和不可复制性,是身份识别中一项重要的生物特征。人脸识别技术更是由于其非接触性和易采集性被广泛应用于各种安全领域。但是实际应用中存在各种复杂场景和单样本集限制,因此高效且普适的人脸识别算法日益成为当前研究的热点。

实际识别应用场景中人脸识别技术往往面临着遮挡,光照和姿态等因素的影响,传统人脸识别方法往往简单低效,已无法应对复杂场景下的人脸识别。并且实际识别应用场景大部分待识别目标只有唯一或者有限的人脸样本图像,而现阶段流行的深度学习方法又需要大量的训练图像。因此急需新方法解决此类问题。



技术实现要素:

本发明的发明目的在于:为了解决现有技术的不足,针对复杂场景和单样本人脸数据情况提供一种更精确、更便捷的人脸识别方法,本发明提供了一种

本发明的技术方案是:一种基于多尺度联合特征编码器的单样本人脸识别方法,该方法包括如下步骤:

训练多尺度联合特征编码器:

对人脸图像进行图像预处理,包括尺寸归一化,灰度图转换,以及图像增强等;

将预处理后的人脸图像划分为多个大小相同且不重叠的人脸区域;

对各人脸区域进行不同尺度模板的遍历采样,得到每个人脸区域在不同尺度下的训练数据集;基于预设的图像特征编码方式(图像特征编码方式可采用任一惯用方式),对各尺度下各人脸区域的训练数据集进行特征编码训练,得到不同尺度下不同人脸区域的独立特征编码矩阵,完成多尺度区域独立特征学习;

基于相同的分解数,将各独立特征编码矩阵分解为多个特征编码向量,即各独立特征编码矩阵分解得到的特征编码向量数相同;由同一人脸区域同一尺度下的特征编码向量构成不同尺度下不同人脸区域的特征编码向量集合,简称不同尺度下各人脸区域的特征,再将同一尺度下的所有人脸区域的特征融合为当前尺度下的联合特征编码矩阵,得到不同尺度的联合特征编码矩阵,基于预设的图像特征编码方式和不同尺度的联合特征编码矩阵得到多尺度联合特征编码器;

对待识别人脸图像、待匹配人脸图像进行特征提取:

对待识别人脸图像、待匹配人脸图像进行图像预处理(与训练多尺度联合特征编码器时的图像预处理方式相同)后,将其划分为多个大小相同且不重叠的待识别人脸区域、待匹配人脸区域,其中人脸区域数均与训练多尺度联合特征编码器时划分的人脸区域数相同;

对各人脸区域进行不同尺度模板的遍历采样,得到每个人脸区域在不同尺度下的待识别数据集,待匹配数据集;

基于多尺度联合特征编码器对待识别数据集进行特征提取,得到取待识别人脸图像在不同尺度下的特征矩阵;

基于多尺度联合特征编码器对待匹配数据集进行特征提取,得到取待匹配人脸图像在不同尺度下的特征矩阵;

计算待识别人脸图像与待匹配人脸图像的匹配度:

基于各尺度下的特征矩阵,基于向量距离计算待识别图像与待匹配图像在同一人脸区域的相似度,其中优选的相似度计算公式为:其中,st(i,j)表示待识别人脸图像i和待匹配人脸图像j在人脸区域t的相似度,表示待识别人脸图像i和待匹配人脸图像j在人脸区域t提取到的特征距离,即其中d()表示距离函数,分别表示待识别人脸图像i、待匹配人脸图像j在人脸区域t的特征,m表示待匹配人脸图像的数量,k表示待匹配人脸图像标识符,ε表示平滑参数,通常取值为大于0的数,优选值为0.1;

根据不同人脸区域的预置权重计算待识别人脸图像与待匹配人脸图像的整体相似度,即待识别人脸图像与待匹配人脸图像的匹配度为所有人脸区域的相似度加权和。

优选的,各人脸区域的权重设置方式为:

为了进一步提升识别准确度,对待识别人脸图像进行人脸区域筛选后,再计算整体相似度:基于训练用于识别是否为正常人脸区域的人脸区域分类器,将待识别人脸图像的各人脸区域输入到训练好的人脸区域分类器,将异常人脸区域(如遮挡、光照和表情影响下的人脸区域)舍弃,仅对正常人脸区域进行人脸区域的相似度加权求和得到整体相似度。

此外,还可以设置相似度阈值,将低于相似度阈值的待匹配人脸图像作为异常匹配结果,仅输出不低于相似度阈值的匹配结果。

综上所述,由于采用了上述技术方案,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

通过区域独立特征编码技术对不同尺度下的人脸区域特征进行学习,得到了不同尺度下的人脸信息,再对所有独立编码矩阵分解,聚类重构得到全局的联合特征,对单样本人脸信息表示能力更强。通过对各区域相似度的计算,对各区域进行加权,增强有益区域抑制干扰区域,以提高复杂场景下的人脸识别率。

附图说明

图1:本发明的多尺度联合特征编码器的训练原理示意图。

图2:本发明实施例中的测试原理示意图。

图3:本发明中实施例中的人脸区域划分示意图。

图4:本发明中实施例中的采样尺度示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。

实施例

一、参考附图1,本发明中训练多尺度联合特征编码器的具体实施步骤如下:

s1:训练集人脸图像预处理的具体步骤为:

s11:将图像从彩色空间转换到灰度空间;

s12:进行图像增强操作。

s2:训练集人脸图像区域划分,将人脸划分成不重叠区域的具体步骤为:

s21:训练集人脸数据都为无标签数据,训练集人脸可以与测试集人脸数据的类别相关或者不相关;

s22:将预处理过的人脸图像划分为t个相同大小的不重叠的区域,参考附图三;

s23:以m×m像素大小为模板在每个区域中遍历采样,得到训练数据集,其中第t个区域的数据集为其中t表示采样区域,i表示在t区域采样数,x表示采样数据,采样模板参考附图四;

s24:以m×2m像素大小为模板在每个区域中遍历采样,得到训练数据集,其中第t个区域的数据集为其中t表示采样区域,i表示在t区域采样数,x表示采样数据,采样模板参考附图四;

s25:以2m×m像素大小为模板在每个区域中遍历采样,得到训练数据集,其中第t个区域的数据集为其中t表示采样区域,i表示在t区域采样数,x表示采样数据,采样模板参考附图四;

s3:独立区域特征学习,对每块人脸区域基于预设的特征编码方式(如稀疏自动编码)分别训练,得到独立特征编码矩阵;

s31:对m×m尺度下各区域的数据分别训练得到独立特征编码矩阵

s32:对m×2m尺度下各区域的数据集分别训练得到独立特征编码矩阵

s33:对2m×m尺度下各区域的数据集分别训练得到独立特征编码矩阵

s4:联合特征学习,对各区域相互独立的特征编码矩阵进行分解和聚类学习,得到联合特征编码矩阵;

s41:将所有独立特征编码矩阵分解为若干特征编码向量,为简化描述,用wt表示当前待分解的独立特征编码矩阵,其分解步骤为:

其中,wt表示当前尺度下第t个人脸区域的独立特征编码矩阵,表示第t个人脸区域的特征编码向量集合,i表示分解的特征编码向量标识符,k表示分解的特征编码向量数,ω表示特征编码向量;

s42:通过聚类算法将所有特征编码向量融合为一个联合特征编码矩阵,如:

其中,表示第t个人脸区域的特征编码向量集合,wu表示当前尺度下的联合特征编码矩阵,本实施例中,用分别表示m×m、2m×m和m×2m尺度下的联合特征编码矩阵。

和预设的特征编码方式得到多尺度联合特征编码器。

二、参考附图2,基于多尺度联合特征编码器的单样本人脸识别处理的具体实施步骤如下:

s1:样本集和测试人脸图像预处理的具体步骤为:

s11:将图像从彩色空间转换到灰度空间;

s12:进行图像增强操作。

s2:样本集和测试人脸图像区域划分,将人脸划分成不重叠区域的具体步骤为:

s21:将预处理过的人脸图像划分为t个相同大小的不重叠的区域,参考附图3;

s22:以m×m像素大小为模板在每个区域中遍历采样,得到训练数据集,其中第t个区域的数据集为其中t表示采样区域,i表示在t区域采样数,x表示采样数据,采样模板参考附图4;

s23:以m×2m像素大小为模板在每个区域中遍历采样,得到训练数据集,其中第t个区域的数据集为其中t表示采样区域,i表示在t区域采样数,x表示采样数据,采样模板参考附图4;

s24:以2m×m像素大小为模板在每个区域中遍历采样,得到训练数据集,其中第t个区域的数据集为其中t表示采样区域,i表示在t区域采样数,x表示采样数据,采样模板参考附图4;

s3:用多尺度联合特征编码矩阵提取样本集人脸特征,用训练好的各个尺度下的联合特征编码矩阵对对应尺度下的各区域采样数据进行提取特征操作。

s4:计算测试人脸和所有样本人脸之间对应区域的特征距离

s41:计算样本人脸i和测试人脸j的对应人脸区域提取到的特征距离其中表示人脸i在t区域的特征;

s5:计算测试人脸和所有样本人脸之间对应区域的相似度,相似度的计算公式为:

其中,st(i,j)表示人脸i和j在t区域的相似度,表示t区域提取到的特征距离,m待比较的样本数,例如在进行图像类别的识别处理时,则表示样本包含的总类数,ε表示平滑参数,通常取0.1。

s6:通过分类器判断各区域示范为正常人脸区域,参见图2,将异常人脸区域舍弃,如遮挡,光照和表情影响下的人脸区域,剩下的各区域加权计算整体人脸相似度,相似度的计算公式为:

其中,wt为t区域相似度在识别中所占的权重,st(i,j)表示人脸i和j在t区域的相似度,n表示正常人脸区域数。

本实施例中,针对图像类别进行识别处理,为了进一步提升识别准确度,训练相似度阈值,若低于该阈值则判定样本集不存在该测试图片分类,否则与测试人脸相似度最大的样本类为识别结果。

本发明的人脸识别算法在单一样本的前提下,对ar人脸库包含的局部遮挡人脸序列,光照变化人脸序列和表情变化人脸序列进行测试,平均识别率达到95.85%,而当前同类方法平均识别率为94.38%;在单一样本的前提下,对yale_b人脸库包含的光照变化人脸序列进行测试,平均识别率达到93.66%,而当前同类方法平均识别率为82.22%。可见本发明的人脸识别方法提高了复杂场景下单样本人脸识别的准确率,具有较好的推广应用前景。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1