本发明涉及图像超分辨率领域，具体涉及一种基于图像位置块近邻嵌入的人脸幻构方法。
背景技术：
：犯罪嫌疑人的人脸图像是刑侦人员最关注的目标。但是在实际监控应用中，由于摄像头和感兴趣目标距离通常较远、监控系统的带宽和存储资源有限以及环境噪声和器件噪声等因素的影响，监控视频模糊不清，难以提供感兴趣对象辨识所需要的细节信息。人脸图像超分辨率是一种根据观测到的低分辨率人脸图像重建清晰高分辨率人脸图像的技术，它可以有效增强低质量人脸图像的分辨率，恢复人脸特征细节信息，这对于提高人脸图像清晰度，增加人脸辨识准确性，进而提高公安机关破案率具有重要意义。根据流形学习理论，2004年Chang等人在文献[1]中基于高低分辨率样本库具有相似局部几何特征这一假设，提出一种邻域嵌入的图像超分辨率重建方法，获得很好的重建效果。2010年Ma等人在文献[2]和文献[3]中提出一种基于位置图像块的人脸图像超分辨率方法，使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像，避免流形学习或者特征提取等步骤，提高了效率，同时也提升了合成图像的质量。然而，由于该方法采用最小二乘法进行求解，当训练样本中图像的个数比图像块的维数大时，图像块的表示系数并不唯一。因此，2011年Jung等人在文献[4]中提出一种基于凸优化的位置图像块人脸图像超分辨率方法，将稀疏约束加入到图像块求解表示中，可以解决方程的解不唯一的问题，为了使输入图像块的表示尽量稀疏，该方法在合成输入的图像块时可能选取一些与输入的图像块差异很大的图像块进行线性重建，没有考虑到局部性这一特征，因此重建效果并不理想。2010年Wang等人在文献[5]中指出在表现人脸图像块空间的非线性流形结构时，局部约束性比稀疏性更为重要。但是，本领域目前尚未有出现效果理想的人脸幻构方法。现有技术中相关的参考文献如下：文献1：H.Chang,D.Y.Yeung,andY.M.Xiong.Super-resolutionthroughneighborembedding.InCVPR,pp.275–282,2004.文献2：X.Ma,J.Zhang,andC.Qi,“Position-basedfacehallucinationmethod,”inProc.IEEEConf.onMultimediaandExpo(ICME),2009,pp.290–293.文献3：X.Ma,J.PZhang,andC.Qi.Hallucinatingfacebyposition-patch.Pattern Recognition,43(6):3178–3194,2010.文献4：C.Jung,L.Jiao,B.Liu,andM.Gong,“Position-PatchBasedFaceHallucinationUsingConvexOptimization,”IEEESignalProcess.Lett.,vol.18,no.6,pp.367–370,2011.文献5：WangJ,YangJ,YuK,etal.Locality-constrainedlinearcodingforimageclassification[C]//ComputerVisionandPatternRecognition(CVPR),2010IEEEConferenceon.IEEE,2010:3360-3367.文献6：J.Jiang,R.Hu,Z.Han,T.Lu,andK.Huang,“Position-patchbasedfacehallucinationvialocality-constrainedrepresentation,”inICME,2012,pp.212–217.文献7：W.Gao,B.Cao,S.Shan,X.Chen,etal.TheCAS-PEALLarge-ScaleChineseFaceDatabaseandBaselineEvaluations[J].IEEETrans.SMC(PartA),2008,38(1):149-161.技术实现要素：本发明目的在于克服现有技术缺陷，提供一种基于图像位置块近邻嵌入的人脸幻构方法。为达到上述目的，本发明采用的技术方案是一种基于图像位置块近邻嵌入的人脸幻构方法，包括如下步骤：步骤1，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；步骤2，对于输入的低分辨率人脸图像中每个图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，得到低分辨率图像块字典，建立低分辨率人脸样本块空间，得到取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，得到高分辨率图像块字典，建立高分辨率人脸样本块空间；实现如下，设对输入的低分辨率人脸图像Xt划分为M个相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块，然后分别得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块字典和低分辨率图像块字典其中，标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识j表示图像上的块位置序号，为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；步骤3，对输入低分辨率人脸图像中每一个图像块，分别采用以下步骤计算对应的目标高 分辨率人脸图像块，步骤3.1，对于输入低分辨率人脸图像中某一个图像块计算与对应位置的低分辨率图像块字典中各低分辨率图像块的距离，并寻找其中距离最小的K个低分辨率图像块，K是选定的近邻个数，计算如下，disti=||xi‾-xjt||2,i=1,···,N‾.,]]>NK(xjt)=support(dist|K),]]>其中，disti表示与低分辨率图像块字典中图像块的距离，dist|K表示dist中最小的K个值，||·||2表示二范数，是与低分辨率图像块字典中各图像块的距离最小的K个图像块索引的集合；步骤3.2，利用K个低分辨率图像块对输入低分辨率图像块进行线性重构，求取线性重构的权重系数，得到最佳重建权重求取方式如下：w^=argminw{||xjt-Σk∈NK(xjt)wkx‾k||22+τΣk∈NK(xjt)||wk||22}]]>s.t.Σk∈NK(xjt)wk=1,]]>其中，为低分辨率图像块字典中第k个图像块，k为索引集合中的元素，wk为图像块的权重系数，返回关于变量w的函数在得到最小值时w的取值，表示对二范数||·||2的结果求平方，τ是正则化参数；步骤3.3，在得到最佳重建权重后，通过下式来重建新的高分辨率图像块yjt=Σk∈NK(xjt)w^ky‾k]]>其中，为高分辨率图像块字典中第k个图像块，k为索引集合中的元素，代表括号内元素求和；步骤4，将所有加权重构出的高分辨率人脸图像块按照在人脸上的位置叠加，然后除以每个像素位置交叠的次数，得到一张高分辨率人脸图像。本发明提出的一种基于图像位置块近邻嵌入的人脸幻构方法，不同于以前的稀疏表达方法和岭回归方法，本方法在同一位置的图像块上加入的局部约束，使得该方法能获得近邻图 像块的本质相似性，提升了重建效果。此外，本方法选择K个近邻块进行线性重建，而不是使用所有训练样本的同一位置的块，因此，本方法既避免了因为使用和输入块相似性相距较远的块参与重建而带来的坏作用，最终获得更高质量的高分辨率人脸图像；使用较少的K个近邻块进行线性重建，也提升了算法的运算效率。附图说明图1为本发明实施例的流程图。具体实施方式现有技术所提供基于稀疏表示的图像块表达的方法通过引入稀疏先验这一约束，可以得到唯一稳定的解，但是它并没有对稀疏表示进行任何约束，导致被选中的样本图像块可能与输入图像块差异很大，进而使得重建得到的高分辨率人脸图像存在很大的噪声，尤其是在边缘丰富的眼睛和嘴巴等部位。根据人脸图像具有较强的结构性以及同一位置图像块表示具有局部相似性这一约束，我们利用观测图像块与样本图像块之间的距离来作为局部性约束，选择与观测图像块距离较近的样本图像块，用于重建观测图像块。由于使用了较少数量的近邻块表示观测图像块，可以解决表示系数不唯一的问题，并且选择是同位置相似的图像块，避免了引入噪声(与输入的图像块差异很大的图像块)的影响，使重建效果进一步接近原始高分辨率图像。本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1，本发明实施例具体步骤为：步骤1，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；低分辨率训练集和高分辨率训练集提供预先设定的训练样本对，低分辨率训练集中包含低分辨率人脸样本图像，高分辨率训练集中包含高分辨率人脸样本图像。实施例中，所有高分辨率图像为经过手工对齐配准的人脸图像，像素大小为112×100。低分辨率训练集中每个低分辨率人脸样本图像由高分辨率训练集中的一个高分辨率人脸样本图像以4×4平滑滤波并4倍下采样得到，低分辨率图像像素大小为28×25，高分辨率图像块大小定为12×12，重叠像素值设为4，低分辨率图像块大小为3×3，重叠像素值为1。实施例中，对输入的低分辨率人脸图像Xt划分相互重叠的图像块后所构成的图像块集为对高、低分辨率人脸图像训练集分别划分相互重叠的图像块，分别可得到M个与输入的低分辨率人脸图像M个图像块对应位置的高分辨率图像块构成的字典M个与输入的低分辨率人脸图像M个图像块对应位置的低分辨率图像块构成的字典其中，标识i表示高分辨率训练集中高分辨率人脸样本图像的序号和低分辨率训练集中低分辨率人脸样本图像的序号，标识j表示图像上的块位置序号，为低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数，M为每幅图像划分图像块的块数；步骤2，对于输入的低分辨率人脸图像中每个人脸图像块，取低分辨率训练集中每个低分辨率人脸样本图像相应位置的图像块作为样本点，建立低分辨率人脸样本块空间，取高分辨率训练集中每个高分辨率人脸样本图像相应位置的图像块作为样本点，建立高分辨率人脸样本块空间；实施例中，对输入的低分辨率人脸图像中的某个位置图像块可得到相应低分辨率图像块字典和高分辨率图像块字典，从而建立低分辨率人脸样本块空间和高分辨率人脸样本块空间步骤3，对输入低分辨率人脸图像中每一个图像块，分别采用以下步骤计算对应的目标高分辨率人脸图像块，包括以下步骤：步骤3.1，对于输入低分辨率人脸图像中某一个图像块计算其与对应位置的低分辨率图像块字典中各低分辨率图像块的距离，并寻找其中距离最小的K个图像块，K是选定的近邻个数，方法如下，disti=||xi‾-xjt||2,i=1,···,N‾.,]]>NK(xjt)=support(dist|K),]]>其中，disti表示与低分辨率图像块字典中图像块的距离，dist|K表示dist中最小的K个值，||·||2表示二范数，是与低分辨率图像块字典中各图像块的距离最小的K个图像块索引的集合，具体实施时本领域技术人员可自行预设K的取值，本实施例中，K设为110。步骤3.2，利用这K个低分辨率图像块对输入低分辨率图像块进行线性重构，求取线性重构的权重系数，得到最佳重建权重求取方式如下：w^=argminw{||xjt-Σk∈NK(xjt)wkx‾k||22+τΣk∈NK(xjt)||wk||22}]]>s.t.Σk∈NK(xjt)wk=1,]]>其中，为低分辨率图像块字典中第k个图像块，k为索引集合中的元素，wk为图像块的权重系数，返回关于变量w(权重系数)的函数在得到最小值时w的取值，表示对二范数||·||2的结果求平方，τ是平衡重建误差和重建结果稳定性的正则化参数，τ建议取值2e-4。步骤3.3，在得到最佳重建权重后，可以通过下式来重建新的高分辨率图像块yjt=Σk∈NK(xjt)w^ky‾k]]>其中，为高分辨率图像块字典中第k个图像块，k为索引集合中的元素，代表括号内元素求和。步骤4，将所有加权重构出的高分辨率图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像。本发明实施例中主要涉及两个参数，即近邻个数K、正则化参数τ。实验表明，当K取110时，可以获得较好的重构效果；当正则化参数τ位于1e-5～2e-4之间时，我们的方法可以获得稳定的性能，同时，为了保证重建误差尽可能小，我们将参数τ定为2e-4来获得最好的效果。为了验证本发明的有效性，采用CAS-PEAL-R1大规模中国人脸数据库[7]进行实验，选用所有1040个个体的中性表情、正常光照下的正面人脸图像。抠取人脸区域并将其裁剪成112×100像素，再手工标定人脸上的五个特征点(两眼中心、鼻尖和两个嘴角)并进行仿射变换对齐，得到原始的高分辨率人脸图像。低分辨率人脸图像由高分辨率人脸图像4倍Bicubic下采样后得到。随机选择1000张作为训练样本，将剩余40张作为测试图像。我们将本发明得到的重构效果和一些基于块位置的方法进行对比，例如最小二乘方法(LSR，文献3)、稀疏表示法(SR，文献4)和局部约束表示法(LcR，文献6)等。实验采用峰值信噪比(PeakSignaltoNoiseRatio，PSNR)来衡量对比算法的优劣，SSIM则是衡量两幅图相似度的指标，其值越接近于1，说明图像重建的效果越好。比较以上方法对全部40张测试图像处理获得的平均PSNR和SSIM值，详见表1。从表1中可以看出，对比方法和本发明方法的PSNR值分别为28.157、28.254、28.283和28.942，SSIM值分别为0.897、0.896、0.898和0.911，即，本发明方法比对比方法中最好的算法的PSNR值和SSIM值分别提高0.659dB和0.013。表1本发明方法和现有方法的PSNR值和SSIM值对比方法和本发明方法重建图像的平均重建时间对比见表2，文献5和本发明方法的平均重建时间分别为14.609秒、15.837秒、16.669秒和3.906秒，对比方法中重建效果最好的算法的重建时间是本发明方法的4倍多。表2本发明方法和现有方法的重建时间本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属
技术领域：
的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。当前第1页1 2 3