一种基于结构化词典域转移的交叉视角人脸识别方法
【专利摘要】本发明是一种基于结构化词典域转移的交叉视角人脸识别方法，其包括步骤：S1：将训练出每个对样本类别有区分性的子词典串接构成结构化的源域词典；S2：学习目标域和多个中间域词典；S3：对源域及目标域的图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到并分别将源域及目标域人脸图像的源域重构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征和目标域人脸图像的域共享特征；S4：根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一个支持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取得分数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。
【专利说明】一种基于结构化词典域转移的交叉视角人脸识别方法
【技术领域】
[0001] 本发明属于交叉视角人脸识别【技术领域】，具体涉及一种基于结构化词典域转移的 交叉视角人脸识别方法。
【背景技术】
[0002] 目前大多数的自动人脸识别系统在正脸视角下可以达到较高的识别性能。但是， 在实际应用场景中获取的人脸图片一般处于各种各样的视角，这种情况会使得人脸识别系 统的性能大幅度退化。交叉视角人脸识别的困难主要在于人脸视角的变化处于3D空间中， 而人脸图像仅捕获2D的外观特征。随着视角的变化，不同的人脸部件呈现在图像中。这导 致一个特殊的现象：不同身份相似视角的人脸图像比相同身份不同视角的人脸图像更为相 似。由视角变化导致的差异比身份变化导致的差异更大，使得交叉视角人脸识别非常困难。
[0003]目前常用的交叉视角人脸识别方法大致可以分为两类：一类研究主要致力于对侧 面视角的人脸生成虚拟的正脸图像，这样就可以在一个统一的视角下面进行人脸识别。典 型地，Blanz提出为给定的2D人脸图像构造对应的3D形变模型，并在3D形状纹理空间中 进行人脸匹配。但是，这类方法计算量较大且依赖人工标定人脸关键点。Chai提出了局部 线性回归模型（LLR)直接在2D域中合成虚拟的正面人脸。另外一类方法主要致力于学习 针对特定视角的变换，然后用这些变换将样本投影到一个公共的子空间中进行识别。Lin提 出了公共区分性特征提取方法（CDEF)来将不同模态的样本投影到一个公共的特征空间； Sharma和Li引入了偏最小二乘法（PLS)和典型相关分析（CCA)来最大化投影空间中变化 视角人脸的类内相关性。最近，基于域自适应的交叉视角人脸识别方法被很多学者提出。其 中主流的思想是学习源域到目标域之间的一系列的中间域表示，并利用这些中间域构造一 条虚拟路径来建模两个域之间统计上的联系。其中，基于子空间的中间域表示为一类常用 的虚拟路径构造方法。
【发明内容】
[0004] 本发明的目的是要解决交叉视角人脸识别中，相同身份不同视角的人脸图像分布 差异大的问题，为此，本发明的目的是提供一种基于结构化词典域转移的交叉视角人脸识 别方法。
[0005] 为了实现所述目的，本发明基于结构化词典域转移的交叉视角人脸识别方法，该 方法包括以下步骤：
[0006] 步骤Sl:根据源域人脸集的人脸图像特征，对源域人脸集中的每一类样本训练 出每个对样本类别有区分性的子词典；所有类的子词典串接在一起，构成结构化的源域词 血.
[0007] 步骤S2 :通过递增地减少源域词典在目标域人脸集上的重构误差，逐渐地将源域 词典转移到目标域，同时学习目标域词典和多个中间域词典；
[0008] 步骤S3 :计算源域人脸集的人脸图像在源域词典上的源域图像人脸编码，对源域 图像人脸编码、源域词典、目标域词典和多个中间域词典分别计算，得到源域人脸图像的源 域重构图像、目标域重构图像和中间域重构图像；将源域重构图像、目标域重构图像和中间 域重构图像串接组成源域人脸图像的域共享特征；
[0009] 计算目标域人脸集的人脸图像在目标域词典上的目标域图像人脸编码，分别对目 标域图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到目标域人脸图像的 源域重构图像、目标域重构图像和中间域重构图像，将源域重构图像、目标域重构图像和中 间域重构图像串接组成目标域人脸图像的域共享特征；
[0010] 步骤S4 :根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一 个支持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取 得分数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。
[0011] 本发明的有益效果：本发明首先对源域数据集区分性的学习结构化的源域词典， 有效地建模源域数据集的特征；根据域自适应的思想学习一条基于中间域词典的虚拟路 径，基于该路径的特征表示能有效地减小不同域人脸图像之间的差异。
【专利附图】
【附图说明】
[0012] 图1是本发明的基于结构化词典域转移的交叉视角人脸识别方法的流程图。
【具体实施方式】
[0013] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0014] 请参照图1示出本发明基于结构化词典域转移的交叉视角人脸识别方法，具体实 施例步骤如下：
[0015] 步骤Sl:根据源域人脸集的人脸图像特征，对源域人脸集中的每一类样本训练出 每个对样本类别有区分性的子词典；所有类的子词典D1，D2,…，Dc串接在一起，构成结构 化的源域词典；所述训练出源域词典中每个对样本类别有区分性的子词典的步骤如下 ：
[0016] 步骤Sll:为了使源域词典Dtl能有效的构建源域人脸集模型，将源域词典在源域 人脸集上的重构误差进行最小化，并构建出最小化目标函数如下表示：
【权利要求】
1. 一种基于结构化词典域转移的交叉视角人脸识别方法，特征在于，该方法包括以下 步骤： 步骤Sl:根据源域人脸集的人脸图像特征，对源域人脸集中的每一类样本训练出每个 对样本类别有区分性的子词典；所有类的子词典串接在一起，构成结构化的源域词典； 步骤S2 :通过递增地减少源域词典在目标域人脸集上的重构误差，逐渐地将源域词典 转移到目标域，同时学习目标域词典和多个中间域词典； 步骤S3 :计算源域人脸集的人脸图像在源域词典上的源域图像人脸编码，对源域图像 人脸编码、源域词典、目标域词典和多个中间域词典分别计算，得到源域人脸图像的源域重 构图像、目标域重构图像和中间域重构图像；将源域重构图像、目标域重构图像和中间域重 构图像串接组成源域人脸图像的域共享特征； 计算目标域人脸集的人脸图像在目标域词典上的目标域图像人脸编码，分别对目标域 图像人脸编码、源域词典、目标域词典和多个中间域词典计算，得到目标域人脸图像的源域 重构图像、目标域重构图像和中间域重构图像，将源域重构图像、目标域重构图像和中间域 重构图像串接组成目标域人脸图像的域共享特征； 步骤S4 :根据源域人脸图像的域共享特征，对源域人脸集中的每一类样本训练一个支 持向量机模型；将目标域人脸图像的域共享特征输入所有类别的支持向量机模型，取得分 数最高的支持向量机模型对应的类别定义为目标域人脸图像的类别。
2. 根据权利要求1所述的交叉视角人脸识别方法，其特征在于，训练出源域词典中每 个对样本类别有区分性的子词典的步骤如下： 步骤Sll:为了使源域词典能有效的构建源域人脸集模型，将源域词典在源域人脸集 上的重构误差进行最小化并构建出最小化目标函数： 步骤S12:为了使结构化的源域词典能够区分源域人脸集中的每一类样本，构建源域 词典中的每个子词典与源域人脸集中对应的第i类样本的重构能力约束项和区分性约束 项模型； 步骤S13 :结合最小化目标函数、重构能力约束项和区分性约束项，构建新目标函数； 步骤S14 :通过对源域词典及其稀疏编码系数矩阵迭代更新来求解新目标函数，训练 出源域词典中每个子词典。
3. 根据权利要求2所述的交叉视角人脸识别方法，其特征在于，所述最小化目标函数 &表示为：
其中，Es为源域词典在源域人脸集上的重构误差，Xs为源域人脸集Ys在所有类的子词 典串接构成的结构化的源域词典D上的稀疏编码系数矩阵，s.t表示优化条件；X/为稀疏编 码系数矩阵Xs的第1列，1为稀疏编码系数矩阵Xs的列的序号；Il.IlC1表示1°范数为统计 向量中的非零元素个数；Ttl是稀疏编码的稀疏水平参数；?= =LDuD2s…SDC] _i为源 域人脸集中样本类别序号，c为源域人脸集中样本类别数目A为源域词典中第i类样本的 子词典。
4. 根据权利要求2所述的交叉视角人脸识别方法，其特征在于，构建所述约束项模型 的步骤包括如下： 步骤S121 :每个子词典对源域人脸集中的第i类样本集}f具有良好的重构能力的约束 项表示为：C ，所述良好的重构能力是重构误差纪越小重构能力越好； 步骤S122 :第i类样本的子词典对源域人脸集中每类样本集具有良 好的区分性约柬项Γ(Α)表小为：r(A)=I1m^j丨.，所述良好的区分_ + 性M约束项f(/)j越小R分性越好·，其1丨为源域人脸集屮第#类样本^词典,,为第i类样本集if对应子词典Di的稀疏编码系数矩阵,￡f是重构误差，i为源域 人脸集中样本类别序号，C为源域人脸集中样本类别数目；为第j类样本集Ff对应子词 典稀疏编码系数矩阵。
5. 根据权利要求2所述的交叉视角人脸识别方法，其特征在于，所述构建新的目标函 数J表示为：
其中，Xs为源域人脸集Ys在所有类的子词典串接构成的结构化的源域词典D上的稀疏 编码系数矩阵，Y/为第i类样本集，Di为源域人脸集中第i类样本的子词典，为第i类 样本集Y/对应子词典Di的稀疏编码系数矩阵，r(Di)表示为子词典Di对源域人脸集中每类 样本集的区分性约束项，α为正的惩罚参数，||,|表示F2范数；β= [A?,=[AsiΛ_/冬]t i为源域人脸集中样本类别序号，C为源域人脸集中样本类别数目。
6. 根据权利要求2所述的交叉视角人脸识别方法，其特征在于，求解所述源域词典及 其稀疏编码系数矩阵的步骤包括： 步骤S141 :设定源域词典的取值，将新目标函数简化为标准的稀疏编码问题；利用追 踪算法对标准的稀疏编码进行求解，得到最优解的稀疏编码系数矩阵；所述追踪算法为匹 配追踪或正交匹配追踪算法； 步骤S142 :设定稀疏编码系数矩阵Xs的取值，将第i类样本的子词典依据以下的子问 题依次审新：
通过令新目标函数Jtl对于源域词典中第i类样本的子词典Di的一阶导数为零，得到源 域词典中第i类样本的子词典Di的闭集解；迭代更新源域词典和稀疏编码系数矩阵；当迭 代次数达到预设迭代次数Ttl时，迭代终止；其中为第i类样本集Yis对应子词典Di的稀 疏编码系数矩阵；r(Di)表示子词典Di对源域人脸集中每类样本集的区分性约束项，a为 正的惩罚参数。
7. 根据权利要求1所述的交叉视角人脸识别方法，其特征在于，所述学习目标域词典 和多个中间域词典的具体步骤为： 步骤S21 :依据稀疏表示的原则，通过最小化第k个中间域词典在目标域人脸集Yt上的 重构误差来求解第k个稀疏编码系数矩阵Xt(k)，对稀疏编码系数矩阵Xt(k)进行优化的目标 函数表示为： Zfct) = miI11 _DmXt ||2； ￥/；| Λ.;||〇 <T〇. A1 其中，D(k)为给定的第k个中间域词典，k为中间域词典的序号；Xt为待求解的稀疏编 码系数矩阵；s.t表示优化条件；1为稀疏编码系数矩阵Xt的列的序号；X丨为稀疏编码系数 矩阵Xt的第1列；Il.Il〇表示1°范数，统计向量中的非零元素个数；Ttl是稀疏编码的稀疏 水平参数；以上优化目标通过追踪算法求解； 步骤S22 :将稀疏编码系数矩阵Xt(k)写做Xt(k) = {Χ/ω，X2t(k)，. . .，Xet(k)}，其中Xit(k) 为目标域人脸集Yt对第i类样本的子词典Di(k)的稀疏编码系数矩阵，那么重构误差 K二μ;-/严Jr,⑷PT以分解为：
其中，Ei表示去除子词典Di(k)后，目标域人脸集Yt在中间域词典D(k)上的重构误差；X/(k)为目标域人脸集Yt对第j类样本的子词典Dj(k)的稀疏编码系数矩阵；j关i;为了最 小化重构误差Et，优化子词典Di(k)使得它能拟合当前的残余重构误差Ei,同时，为了惩罚相 邻的中间域词典间的突变，限制相邻词典的增量ADi00 =Di0^-Di00要小，Di(k+1)为子词典 Di(k)的更新值；最终，优化目标函数表示为： 卿 ||Λ; - 广+ 則/.f·" -/f "i 步骤S23 :假设ωi为目标域人脸集Yt中使用子词典Di(k)作为重构元素的样本的序号 索引集埤二⑷:^/^^^/:^"丨淇中以为目标域人脸集的样本总数^^为目标 域人脸集Yt对子词典Df的稀疏编码系数矩阵，1为Xit(k)的列的序号，设Ωi为NtXIωi 大小的收缩矩阵，且收缩矩阵Qi中坐标为（Coi(I), 1)的元素的值Qi(G)i(I), 1) = 1，收 缩矩阵Ω i中其余值为0 ;定义稀疏编码系数矩阵Xit(k)的收缩矩阵为爲_ =Ι,?ΜΩ^目标域 人脸集Yt的收缩矩阵为$ =F1O,，重构误差Ei的收缩矩阵为g=/(Ω,，则步骤S22中的优化 目标函数J1等价于：
步骤S24:通过对Di (k+1)和尤，迭代更新来求解目标函数J1;给定尤"' 通过令 目标函数^对于参数Di(k+1)的一阶导数为零来求解Di(k+1);给定Di(k+1)，通过令目标 函数^对于参数的一阶导数为零求来求解的更新值、迭代更新参数 {尤气丨⑷广 1++'-^1%^当相邻词典的增量AD严小于某一预设阈值Tl时，迭代操作终 止，学习得到多个中间域词典i/ftf/，迭代更新算法得到的最后一个词典定义为目标域词 典Dk ;其中K为学习目标域词典和多个中间域词典的总数，K-I为中间域词典的个数，k为 中间域词典的序号。
8.根据权利要求1所述的交叉视角人脸识别方法，其特征在于，对源域人脸图 像、在源域词典上的稀疏编码系数矩阵为Xs、源域词典Dtl、目标域词典Dk和多个 中间域词典{Ο1，=分别进行计算，得到源域人脸图像的源域重构图像（DtlXs)τ、目 标域重构图像（DKxs)τ和中间域重构图像序列{(D(1)xs)τ，...，（D(IH)xs)τ};将源域重 构图像、目标域重构图像和中间域重构图像串接组成源域人脸图像的域共享特征 又=[(/Uvf，...，(，"Ag 上的稀疏编码系数矩阵为Xt ;稀疏编码系数矩阵Xt与源域词典Dtl、目标域词典Dk和 多个中间域词典分别计算，得到目标域人脸图像的源域重构图像（DtlXt)'目 标域重构图像（DKxt)1和中间域重构图像序列{(D(1)xt)T，. . .，（D(IH)xt)τ};将源域重 构图像、目标域重构图像和中间域重构图像串接组成目标域人脸图像的域共享特征 典和多个中间域词典的总数，K-I为中间域词典的个数，k为中间域词典的序号。
9. 根据权利要求8所述的交叉视角人脸识别方法，其特征在于，由于域共享特征的维 数较高，利用主成分分析算法对域共享特征进行降维；主成分分析中主成分的维数通过保 留域共享特征的98%的数据能量来确定。
10. 根据权利要求1所述的交叉视角人脸识别方法，其特征在于，获得目标域人脸图像 的类别的具体步骤如下： 步骤S41 :源域人脸集中人脸图像的域共享特征表示为Fs =丨JfXl，以源域人脸集中第i类样本的域共享特征集Y/作为正样本，以源域人脸集中除第i类样本以外的所有其他类 别的样本集Y/(j尹i)作为负样本，训练出代表第i类样本的支持向量机模型Yi ; 步骤S42 :将目标域人脸图像的域共享特征，输入源域人脸集的所有类别的支持向量 机模型Yi中计算，得到目标域人脸图像与源域人脸集的所有类别的支持向量机模型的匹 配分数Scorei ;取得分数最高的支持向量机模型对应的子类类别？定义为目标域人脸图像 的类别identity(yD:
其中，Y/表示源域人脸集中第i类样本的域共享特征集，i为源域人脸集中样本类别 的序号，C表示源域人脸集中的样本类别数；j为源域人脸集中除第i类以外的其他类别的 序号；表示所有的模型匹配分数Scorei中的最大值。
【文档编号】G06K9/62GK104318214SQ201410583963
【公开日】2015年1月28日 申请日期:2014年10月27日 优先权日:2014年10月27日
【发明者】陈雪, 王春恒, 肖柏华 申请人:中国科学院自动化研究所