一种基于鉴别典型相关的超分辨率稀疏重构方法
【专利摘要】本发明提出一种基于监督典型相关的稀疏人脸超分辨率重建方法，利用监督典型相关分析将提取出的高低分辨率的图像特征投影至相关子空间中，并在相关子空间中采用稀疏选择近邻进行邻域重构。本发明充分考虑样本类内与类间的相关性，加入监督信息，从而使得提取出的特征更具有鉴别性，能够更好地重构出测试样本对应的高分辨率图像。同时，在重构选择近邻时，采用稀疏选择的方法，根据不同的训练样本与测试样本相关性，自适应地选择出适合的近邻进行重构，得到恢复出的全局脸图像。利用上述的方法以及两步法邻域重建的思想补偿细节信息，重建高分辨率残差图像,将全局脸图像与残差图像相加得到最终的高分辨率人脸图像。
【专利说明】
一种基于鉴别典型相关的超分辨率稀疏重构方法
技术领域
[0001]本发明涉及一种图像超分辨率的重构方法。具体为一种基于鉴别典型相关分析的 人脸图像超分辨率稀疏重构方法，可应用于模式识别、数据挖掘及图像处理等领域。
【背景技术】
[0002]超分辨率(Super-resolution，SR)是一种采用硬件或软件的方法来提高图像分辨 率的新兴技术，通过输入一组或多组低分辨率(Low Res〇luti〇n，LR)图像，经由相关算法处 理后得到一组高分辨率(High Resolution，!?)的图像。采用超分辨率技术，可以在不改变 成像系统的前提下，实现提高图像空间分辨率的目的，不但可以改进图像的视觉效果，而且 对图像处理、计算机视觉等领域中的基本问题如图像特征提取、图像配准、图像质量评价等 的研究进展起到了推动的作用。超分辨率技术有着较为宽广的应用前景，例如:视频监控、 视频压缩、医学诊断、遥感应用、天文观测等。
[0003] 1984年，Tsai和Huang首次提出了超分辨率重建问题，他们提出用傅里叶变换作为 基础框架，给出了一个利用多幅欠采样图像重建一副高分辨率图像的频率域方法。随着人 们对于超分辨率技术的深入研究，产生了多种经典的超分辨率重建模型框架，如非均匀内 插值法(Ur and Gross ,1992)、迭代反投影法（Irani and Peleg, 1991)、最大似然法(Tom and Katsaggelos, 1994;Matins et al ,2009)等。Baker提出了一种针对人脸图像的虚幻脸 (Face Hallucination)超分辨率方法。2001年，Liu等针对人脸图像的超分辨率重建问题根 据贝叶斯方法提出了两步法，即在第一步恢复出高分辨率图像后，第二步采用局部非参数 马尔科夫网络模型对第一步求得的图像进行残差修补。2007年，Ayan Chakrabarti将核主 成分分析（Kernel Principal Component Analysis，KPCA)应用至超分辨率领域中。2010 年，黄华等将典型相关分析(Canonical Correlation Analysis,CCA)应用至超分辨率图像 处理中，给出了改进的两步法。CCA作为一种流行的多元数据处理方法，主要着眼于识别和 量化两组随机变量之间的相关关系，近年在模式识别领域逐渐被人们使用。黄的方法将人 脸图像通过主成分分析(Principal Component Analysis，PCA)方法降维处理并利用CCA投 影至相关子空间，使得高分辨率图像与其对应的低分辨率图像之间得到最大相关，同时，利 用残差图像(原高分辨率头像与采用超分辨率方法得出的图像之间的差值)重复前述思想， 对得到的图像进行细节上的进一步修饰。该方法在第二步即残差图像预处理时需要对所有 训练样本进行第一步的调用操作，而在残差图像训练集预处理时的近邻值为人为设置的固 定值。一般情况下，随着近邻样本数的增大，超分辨率的重构效果越好，但近邻值到达一定 值后，重构效果的上升趋势逐渐平缓。一般情况下，近邻值取值越大，重构效果越好，但过大 的近邻值会使得该算法模型的空间、时间复杂度增加。因此，如何合理的选择近邻值成为该 算法需要解决的问题之一。另一方面，黄的方法采用的CCA是无监督的，没有充分地利用训 练样本的类标签信息，缺乏一定的鉴别力。
【发明内容】
[0004] 为了解决上述【背景技术】中采用两步法的超分辨率重构方法存在的问题，本发明提 出一种基于鉴别型典型相关分析的超分辨率稀疏重构方法，即将人脸的高分辨率图像及其 对应的低分辨率图像通过鉴别型典型相关分析将其映射至相关子空间中，并利用稀疏表示 选择重构样本数，并进行重构。该方法充分考虑了样本集的类别信息，引入了监督的特征融 合方法，同时采用稀疏选择在保证重构效果的同时降低的算法的时间复杂度。在残差重构 步骤中，稀疏选择能够根据"测试样本"动态地调试近邻值，使得重构步骤能更好的考虑测 试样本与训练样本的相关性选择其最适合的近邻值。
[0005] 方法具体描述包括如下：
[0006] ( 1 )首先，对人脸图像提取全局特征，将特征集合利用典型相关分析 (Discriminant Canonical Correlation Analysis，DCCA)映射至DCCA的相关子空间中，使 得高分辨率与低分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨 率图像对应的高分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。 重构得到该全局脸图像的具体步骤如下所示：
[0007] 对高分辨率图像训练样本= {7f )=和对应的低分辨率图像样本Γ1 = {?；1匕利用 主成分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可以得到在PCA 子空间中的投影向量ph、p1，其对应的主成分t ，尤￡ 可表 示为：
[0008] = {Ρη γ f'1 = (ΡΙ!)! (Τ/1 -μ11)
[0009] X1- =(Ρι )'Γ ={Ρ!)'(Τ； -μ!)
[0010] 其中，if表示对TiH中心化处理，μΗ、μ1分别表示高、低分辨率训练图像样本集的均 值。
[0011] 对于提取出来的PCA得分向量ΧΗ、Χ1，将其映射至DCCA的相关子空间，通过最大化如 下准则公式，求出对应的投影向量C H、C1:
[0013] 其中A是分块对角矩阵，3 =夂?·?(1,,ι>φ| r·· An ) e ，sw为类内相关矩阵，Sb为类 间相关矩阵。
[0014] 因此在DCCA投影子空间中的得分向量VH和/可表示为：
[0015] VH ={CH)T{XH)
[0016] V!- = (CL)' (X1)
[0017] 接下来，输入低分辨率的测试样本T1，将其投影至训练样本的PCA子空间中得到 X1: (PWD，并继续将X1投影至其对应的DCCA子空间中，即f =0-'')'' 。由于高 分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样 本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在V1中选取 出让个样本即产=与V1建立邻域关系。νκ则可按如下公示得出：
[0019] 其中(6^=((^,(12,-?}为稀疏权值，可用如下公式求解，即
[0024]因此，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：
[0026] 其中丨if丨丨=1 SDCCA子空间下与VK所对应的高分辨率样本得分向量集。利用逆映射 将DCCA子空间中的向量逆映射至PCA空间中：X A = ((rff f )+ FA +
[0027] 其中，（·）+表示广义逆矩阵，gp ,((0)7) + =(0(07)4(^
[0028] 测试样本的高分辨率全局脸图像Th可由Th= ((ΡΗ)Τ)+ΧΗ+μΗ得到；
[0029] (2)其次，进行残差处理：
[0030] 残差图像训练集的高分辨率样本集为RH = TH_Te，低分辨率样本集为RL = TL_D(Te) = D(RH)，其中D( ·)表示下采样操作，Te为将（1)中的低分辨率训练样本集T1作测试样本得 出的高分辨率图像集;残差图像测试样本集为# = 得到对应的高分辨率样本记作 Rh。对于RH、Rl以及R1，分别看做训练集的高分辨率样本、训练集的低分辨率样本以及测试集 的低分辨率样本，进行后续处理。采用（1)中的重构操作，利用稀疏选择出k'个近邻后，对测 试样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本R h;
[0031] (3)最终的输出图像为原始恢复的图像与残差恢复的图像之和，即:G = Th+Rh。
[0032] 本发明具有以下优点：
[0033] (1)在映射至相关子空间时，充分考虑了训练样本的类间与类内信息，加入的类标 签信息，即监督信息，因而能够提取出更有鉴别性的典型相关特征，恢复出更好的效果。
[0034] (2)在近邻选择时，利用稀疏算法根据不同的训练与测试样本对近邻值进行自适 应调节，使得整个重构模型更加灵活，在保证恢复效果的同时节约了方法的运行时间。
【附图说明】
[0035]图1是本发明的框架模型图；
[0036]图2是本发明在YaleB库上的超分辨率重建效果；
[0037] 图3是本发明算法及一些其他相关的超分辨率方法恢复效果对比图；
[0038] 图4是本发明算法不采用稀疏选择时的效果(PSNR)对比图；
[0039] 图5是本发明算法不采用稀疏选择时的效果(SSBO对比图；
[0040] 图6是本发明算法样本数对超分辨率效果的影响图；
【具体实施方式】
[0041 ]为了阐明本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明 做进一步详细说明。
[0042]参照图1，本发明的具体实施过程包括以下步骤：
[0043 ] ( 1 )首先，对高分辨率图像训练样本7'f/ = {if )·=和对应的低分辨率图像样本 用主成分分析PCA提取高低分辨率人脸图像的全局特征，求得在PCA子空间中 的投影向量PH、P1，与其对应的主成分XH、X1。对于提取出来的PCA得分向量X H、X1，将其映射至 DCCA的相关子空间，通过最大化DCCA的准则公式，可求出对应的投影向量CH、C1及得分向量 V H和/。
[0044] 接下来，输入低分辨率的测试样本T1，将其投影至训练样本T1的PCA子空间中得到 X 1: (ΡΥΜ-μ1)，并继续将X1投影至其对应的DCCA子空间中，即K = (C' )·' (.V - .?''）。由于高 分辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样 本与测试样本之间存在着一个可以线性表示的邻域结构关系，结合稀疏思想，在V 1中选取 出k个样本即产=与V1建立邻域关系。求得一组权值，=恤^ (Σ?=ι % =乃，使得
，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向
其中llSDCCA子空间下与VK所对应的高分辨率样本得分向量集。
[0045] 紧接着，利用逆映射将DCCA子空间中的向量逆映射至PCA空间中，得到测试样本的 高分辨率全局脸图像Th。
[0046] (2)其次，进行残差处理：
[0047] 残差图像训练集的高分辨率样本集为RH = TH_Te，低分辨率样本集为妒= TL_D(Te) = D(RH)，其中D( ·)表示下采样操作，Te为将（1)中的低分辨率训练样本集T1作测试样本得 出的高分辨率图像集;残差图像测试样本集为# = 得到对应的高分辨率样本记作 Rh。对于RH、Rl以及R1，分别看做训练集的高分辨率样本、训练集的低分辨率样本以及测试集 的低分辨率样本，进行后续处理。采用（1)中的重构操作，利用稀疏选择出k'个近邻后，对测 试样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本R h;
[0048] (3)最终的输出图像为原始恢复的图像与残差恢复的图像之和，即:G = Th+Rh。
[0049] 本发明的效果可通过以下实验进一步说明。
[0050] 实验1本发明方法在YaleB人脸数据库上的重建效果
[0051]为了验证本发明算法的性能，本发明在YaleB人脸数据库上进行实验，共有39个 人，每个人在不同的光照条件下有64张不同的正脸图像，共2496张人脸图像，每张图片像素 为168 X 192，随机选取30个人，每人选取20张图像作为训练样本中的高分辨率图像集，下采 样4倍得到相应的42X48的低分辨率训练集。本实验从数据库中选取39张不同人不同光照 条件下的人脸进行测试，均能恢复出较好的效果。任选其中一测试样本，实验效果如图2所 示。结合实验能够看出，采用本发明所给出的方法在YaleB人脸数据集上都能很好的实现低 分辨率图像向高分辨率恢复的过程，且由于YaleB库存在64种不同的光照条件，说明本发明 所提出的算法能很好的克服光照的干扰，能够从视觉上得到良好的实验效果。
[0052]实验2本发明方法与一些常见方法在YaleB人脸数据库上的对比实验 [0053]为进一步验证本发明方法的性能，采用YaleB数据库，选取300个样本，其中选择15 类，每类选择20个样本进行实验，近邻数k = 80，其中Liu' s的方法是Liu提出的全局参数模 型和局部非参数模型的方法;CLLR_SR为黄华提出的利用CCA重构的超分辨率方法;DC_SR为 将黄方法中的CCA替换为DCCA重构的方法;SDC_SR为本发明方法所提出的在DCCA的子空间 中利用稀疏选择近邻的重构方法。表1为在同一条件下，同一设备中不同超分辨率方法对同 一测试样本处理得到的效果数值，其中RMSE(Root Mean Square Error)表示得到图像与高 分辨率原始图像的均方根误差。表1中参数为运行10次求平均所得结果。图3为采用不同测 试图像时利用不同算法恢复出的图像效果。
[0054] 表1不同超分辨率方法的效果测评参数对比表
[0056]从表1中的各测评值可以看出，在同一约束条件下，本发明提出的超分辨率重建方 法能够更高效的恢复出更接近原始高分辨率的图像。结合图3中效果图可以看出，本发明所 提出的方法较其他方法相比能够在恢复原始图像的大致模样的同时保证人脸的细节(如瞳 孔、嘴唇、眉角、鼻头和脸颊的高光等），恢复出的图像更生动逼真，更贴近原始图像。
[0057]实验3本发明方法参数分析实验(近邻值）
[0058]本发明采用稀疏的方法自适应地选择近邻值，省去了人工测试参数并定值的过 程。本节实验采用YaleB数据库进行实验，随机选取15个人，每人选取20张图像作为训练样 本，采用黄华提出的近邻重构法时近邻值从10开始取值，每隔1取一次，取到150,共运行50 次取平均值绘出恢复出的图像与原始图像的PSNR值（图4)或SSIM值（图5)。同一条件下采用 本发明方法运行50次，采用稀疏方法得到的近邻值在12-51之间浮动，PSNR平均值为 25.7652，SS頂平均值为0.9643。从图4、图5中可以看出，采用近邻法对相关子空间中的图像 进行重构时，近邻值越大，重构效果越好，但近邻达到一定值后，重构效果的上升趋势逐渐 平缓。同一环境下，稀疏所选出来的近邻样本浮动范围较小，对模型的空间与时间要求低， 且恢复出的图像的PSNR与SSM值均较高，由此可知本发明算法效率高，且有良好的恢复效 果。
[0059 ]实验4本发明方法参数分析实验(样本数）
[0060]除了近邻值对图像超分辨率的重构效果有影响外，样本数的多少包括类别数与每 类的样本数都对重构效果有着或多或少的影响。由于在选择训练类别时采用的是随机算 法，因此选择的类别不同得到的效果也会有所差异。本节实验采用YaleB人脸数据库，其中 横坐标每类的样本数P，类别数C选取3类、5类、10类，采用本发明提出的方法进行超分辨率 重构，10次循环取平均值，计算得到图像与高分辨率原始图像的均方根误差，如图6所示。从 图中可以看出随着训练样本集数量的增多，均方根误差逐渐减小，即重构恢复出的图像效 果越来越贴近原始高分辨率图像。
【主权项】
1. 一种基于鉴别典型相关的超分辨率稀疏重构方法，包括W下步骤： (1)首先，对人脸图像提取全局特征，将特征集合利用典型相关分析（Discriminant 化nonical Correlation Analysis，DCCA)映射至DCCA的相关子空间中，使得高分辨率与低 分辨率图像在相关子空间中达到最大相关，并进行邻域重构，得到低分辨率图像对应的高 分辨率图像的全局特征，逆推得到测试样本对应的高分辨率全局脸图像。重构得到该全局 脸图像的具体步骤如下所示： 对高分辨率图像训练样本严=护巳和对应的低分辨率图像样本户=护巳利用主成 分分析PCA提取高低分辨率人脸图像的全局特征，通过一般的PCA模型可W得到在PCA子空 间中的投影向量pH、PS其对应的主成分T表示 为：其中，if表示对TiH中屯、化处理，yH、yL分别表示高、低分辨率训练图像样本集的均值 对于提取出来的PCA得分向量χΗ心，将其映射至DCCA的相关子空间，求出对应的投影向 量CH、CL。因此在DCCA投影子空间中的得分向量yH和yL可表示为：接下来，输入低分辨率的测试样本Τ?，将其投影至训练样本勺PCA子空间中得到χ? = (pL)T(Ti-yL)，并继续将χ?投影至其对应的DCCA子空间中，即F/=(CY识-文^)。由于高分 辨率图像和低分辨率图像通过DCCA投影后能够达到最大相关，因此同等分辨率的训练样本 与测试样本之间存在着一个可W线性表示的邻域结构关系，结合稀疏思想，在/中选取k个 样本即= 与yi建立邻域关系。给出一组权值吏得i小，权值可用如下公式求出：其中M,.* =沪-巧)(F'-巧），为Gram矩阵。 因此，可得出所求的测试样本的高分辨率图像在DCCA子空间中的得分向量：其中取f也为DCCA子空间下与yK所对应的高分辨率样本得分向量集。利用逆映射将 DCCA子空间中的向量逆映射至PCA空间中：χΑ = ((C" )τ)+ F& +玄Η 其中，（· Γ表示广义逆矩阵，即，（(CH)T) + =(CH(CH)T)-1CH。 巧聯样本的高分辨率全局脸图像Th可由Th=((pH)T)+xh+yH得到； (2) 其次，进行残差处理： 残差图像训练集的高分辨率样本集为rh=tH-tM氏分辨率样本集为rl=tL-d(t<^)=d (RH)，其中D( ·)表示下采样操作，^^将（1)中的低分辨率训练样本集Τ4軒则试样本得出的 高分辨率图像集;残差图像测试样本集为Ri = Ti-D(Th)，得到对应的高分辨率样本记作Rh。 对于护、3^^及1?1，分别看做训练集的高分辨率样本、训练集的低分辨率样本^及测试集的 低分辨率样本，进行后续处理。采用（1)中的重构操作，利用稀疏选择出k'个近邻后，对测试 样本的高分辨率图像进行重构，最后得出测试集的高分辨率样本Rh; (3) 最终的输出图像为原始恢复的图像与残差恢复的图像之和，即:G = Th+Rh。2. 根据权利要求1所述的基于鉴别典型相关的超分辨率稀疏重构方法，其特征在于充 分的考虑样本的类标签信息，投影至相关子空间时加入监督信息，使得在投影空间中，类间 相关最小化的同时，类内相关最大化，高分辨率与低分辨率图像特征的投影向量(^(：^可通 过最大化如下准则公式求得：其中A是分块对角矩阵，.4 = ，·'·，1）e ，Sw为类内相关矩阵，Sb为类间相关 矩阵。3. 根据权利要求1所述的基于鉴别典型相关的超分辨率稀疏重构方法，其特征在于采 用稀疏的方法根据不同的训练样本与测试样本自适应的选取近邻样本： 在yL中选取出k个样本即FK = 1^1与yi建立邻域关系，yK则可按如下公示得出：其中as={ai，a2,…am}为稀疏权值，可用如下公式求解，即
【文档编号】G06T3/40GK106097250SQ201610455106
【公开日】2016年11月9日
【申请日】2016年6月22日
【发明人】葛洪伟, 周梦璇, 李莉, 朱嘉钢
【申请人】江南大学