专利名称：基于自相似性和结构信息约束的图像超分辨重建方法
技术领域：
本发明属于数字图像处理技术领域，涉及图像的超分辨率重构方法，可用于各种自然图像的超分辨重构。
背景技术：
图像在获取和传输的过程中，经常会受成像系统物理分辨率限制，以及场景变化与天气条件等诸多因素的影响，以至降低了原图像的分辨率，不仅影响人的主观视觉效果，而且严重阻碍了后续的目标分类与识别工作。因此，图像超分辨重建已成为必不可少的一个关键步骤，该技术能够恢复图像原貌、改善图像质量、突出图像本身的特征，从而为后续的图像处理、分析和理解打下良好基础。目前图像超分辨技术主要分为三种类型:基于插值的方法、基于重构的方法和基于实例学习的方法；其中基于重构的方法主要是利用一些图像的先验知识来进行高分辨图像细节的估计的，由于该类方法未考虑大量样本信息，只是利用低分辨图像自身进行高分辨细节估计，故而重建的高分辨图像质量提高有限，且其放大倍数也受到限制，一般放大到3倍图像质量已经严重失真；最近有学者提出基于实例学习的方法，有效的解决了该问题，本质上，基于实例学习的超分辨方法是一种非参数化的方法，不需依赖于任何假设的模型，通过字典从外界人为的给低分辨图像加入一些细节信息，所以它可以有效的克服以前的方法在放大倍数较大的情况下，恢复结果较差的问题，因而受到研究者的广泛关注。到目前为止，人们提出了很多基于实例学习的超分辨重建方法。2000年，Freeman等人首次提出了基于实例学习的图像超分辨方法。该方法利用马尔可夫网络建立低分辨与高分辨图像之间的映射关系，开创了利用统计机器学习方法实现图像超分辨恢复的研究领域。Sun等人在Freeman方法的基础上，提出利用图像的初始图先验增强图像边缘。Yang等人提出了基于稀疏表示先验的实例学习超分辨重建方法，通过学习输入低分辨图像块与实例样本集的稀疏表示关系，实现超分辨在高分辨样本空间的重建，能有效克服邻域嵌入方法使用固定个数的k近邻而导致的过拟合或欠拟合现象。但是由于基于稀疏表示的方法，在求解图像块稀疏表示系数时，都没有考虑图像的结构信息，故而重建的图像会出现一些人工痕迹和一些假的纹理信息；同时，由于图像超分辨过程中往往存在有一定的重构误差，这就导致了各个重建结果之间的相似度与它们之间的结构信息并不一致，有时则相差较大，这样就会影响到图像的重建效果。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于自相似性和结构信息约束的图像超分辨重建方法，以降低图像超分辨过程中重构误差的影响，有效地解决了重建图像中细节丢失，以及图像边缘振铃的问题，更好的恢复出图像的结构信息，提高图像的重构效果。实现本发明的技术思路是:通过利用图像的自相似性来约束求解各个图像块的稀疏表示系数；结合低分辨率下的相似块，利用低秩表示来修正高分辨率下各图像块的相似度权值，更好的修复图像的结构信息，得到重建效果更好的高分辨率图像。其具体步骤包括如下:(I)从自然彩色图像库中取z幅常见的自然彩色图像，60≤z≤70，对取出的每幅彩色图像进行模拟降质，生成对应的低分辨彩色图像；然后构造低分辨插值图像梯度特征
块训练集L和高分辨图像高频细节训练集H，构成字典训练样本集
权利要求
1.种基于自相似性和结构信息约束的图像超分辨重建方法，包括如下步骤: (1)从自然彩色图像库中取Z幅常见的自然彩色图像，60( Z ( 70，对取出的每幅彩色图像进行模拟降质，生成对应的低分辨彩色图像；然后构造低分辨插值图像梯度特征块训 练集L和高分辨图像高频细节训练集H，构成字典训练样本集
2.据权利要求1所述的基于自相似性和结构信息约束的图像超分辨重建方法，其中步骤(4)所述的对低分辨图像Xt使用SIFT特征进行图像块的相似块查找，按如下步骤进行: 2a)将输入的待处理低分辨图像Xt使用bicubic插值放大2倍，得到插值图像，对插值图像进行滤波得到低分辨特征图像X。； 2b)在低分辨特征图像Xtl上按照阵列扫描的方法重叠2个像素点进行图像分块，图像块的大小为6*6，得到图像块Xi，并在该图像块Xi的周围取大小为25*25搜索窗口 Ti，然后对该搜索窗口 Ti进行尺度不变特征变换SIFT，找出搜索窗口 Ti中每个像素点j的主方向·9 u，其中，i表示第i个图像块，j表示搜索窗口中第j个像素点； 2c)对搜索窗口 Ti进行分块，得到一组大小为11*11的查找块(G1, G2, - ,GJ，M表示总的分块个数； 2d)对查找块Gv按照其中心像素点j的主方向θ ij进行角度旋转调整，得到调整块GνΦ，使得调整块GνΦ与图像块Xi的主方向一致，接着将调整块GνΦ下采样为6*6大小的搜索块pv，V表示搜索窗口中第V个搜索块，V ∈{1，2，…，M}； 2e)依次对搜索窗口中每个查找块Gv重复步骤2d)，得到各个角度调整后的搜索块{P1, P2,…，Pm}； 2f)对得到的角度调整后的各个图像搜索块pv，使用公式:
3.据权利要求1所述的基于自相似性和结构信息约束的图像超分辨重建方法，其中步骤(5)所述的利用k个相似块{pi，p2，…，pk}约束求解图像块Xi在低分辨字典下的稀疏表示系数A，按如下步骤进行: 3a)将图像块Xi与其k个相似块(P1, p2，…，pk}分别拉成列向量，并将它们结合起来组成矩阵X= (Xi, P1, p2，…，pk},使用稀疏约束模型:min││A││1,2 s.t.││X-DL·A││22< ε，求解各个图像块的稀疏表示系数矩阵A={a1, a2,…，ak+1}, 其中，││││1 ,2表示矩阵的l1,2范数，││ ││22表示矩阵的l2范数，DL表示低分辨字典，a1为图像块Xi的稀疏表示系数,ai+1为Pi的稀疏表示系数，i ∈ {1，2，…，k}, ε表示重建误差，s.t.表示该公式的约束条件； 3b)利用SPGLl工具包求解步骤3a)中的稀疏约束模型，得到各个图像块的稀疏表示系数矩阵A。
4.据权利要求1所述的基于自相似性和结构信息约束的图像超分辨重建方法，其中步骤⑵所述利用低分辨率下图像块Xi和其k个相似块{PpPfJk}组成的矩阵X={xi, P1, p2，…，pk}修正k+1个重建结果Xh之间的相似度,按如下步骤进行:4a)利用低分辨率下的图像块矩阵X结合k+1个重建结果XH，使用低秩表示求解相似度模型
全文摘要
本发明公开一种基于自相似性和结构信息约束的图像超分辨重建方法。实现步骤为(1)从图像库中取z幅图像，对每幅图像进行模拟降质，生成低分辨图像，构造字典训练样本集；(2)对字典训练样本集，用K-SVD方法学习一对高低分辨率字典；(3)对待处理的低分辨图像Xt使用尺度旋转变换查找与图像块xi最相似的k个相似块{p1,p2,…,pk}；(4)对图像块xi用得到的k个相似块{p1,p2,…,pk}来约束求解其稀疏表示系数A；(5)用稀疏表示系数A结合高分辨字典DH得到k个重建结果；(6)利用低秩表示模型，用低分辨率下的相似块{p1,p2,…,pk}来修正重建结果相似度；(7)用修正后的相似度结合重建结果得到最终的结果；依次重复上述步骤得到最终高分辨图像YH。本发明具有重建结果结构信息保持好的优点，可用于图像识别以及目标分类。
文档编号G06T3/40GK103093444SQ201310017638
公开日2013年5月8日 申请日期2013年1月17日 优先权日2013年1月17日
发明者张小华, 代坤鹏, 焦李成, 侯彪, 田小林, 马文萍, 马晶晶, 郝阳阳, 马兆峰 申请人:西安电子科技大学