基于结构自相似性与稀疏表示的超分辨率图像重构方法
【专利摘要】本发明公开了一种基于结构自相似性与稀疏表示的超分辨率图像重构方法，其主要步骤为：首先对一组训练样例图像滤波提取特征，再抽取小块构造一对高分辨图像块与低分辨图像块字典；对输入的低分辨率图像插值放大，滤波提取特征；求解重构权值矩阵W；迭代更新稀疏系数{αi}和待重构的高分辨率图像X；直到迭代收敛，最终恢复出满意的高分辨率图像。本发明利用图像的结构自相似性主要解决了现有方法重构质量不高的问题。运行时间短，重构图像的效率和质量高，能够对各种自然图像，包括动植物和人等非纹理类图像以及建筑物等纹理性比较强的图像进行重构。
【专利说明】基于结构自相似性与稀疏表示的超分辨率图像重构方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，涉及图像的超分辨率重构方法，具体是一种基于结构自相似性与稀疏表示的图像超分辨率重构方法，该方法可以用于各类自然图像的超分辨率重构。
【背景技术】
[0002]图像超分辨率重构旨在突破图像传感器的分辨率限制，从一幅或几幅低分辨率图像中，重构出更高分辨率的图像。在安全监控视频中的人脸识别、遥感卫星图像中的物体分辨、医学成像系统中的目标检测、以及图像与视频压缩等领域中，人们渴望获得高分辨率图像。而实际情况中，往往受到图像拍摄条件差、噪声干扰严重、成像设备自身分辨率低的限制，人们所能获得的图像视觉质量较低、分辨率不高，图像超分辨率重构能从低分辨率图像重构得到分辨率较高的清晰图像，能较好的满足现实中人们对清晰的、分辨率高的图像的需求，更重要的是能重清晰的高分辨率图像中获得更多有用的信息。
[0003]为了实现图像超分辨率重构这一目的，一些方法已经被提出，如:极大似然估计法，最大后验概率方法(MAP)，凸集投影方法(POCS)等。这些方法会产生过平滑以及锯齿效应，重构图像质量不高。因此，Freeman等人提出了一种基于学习的图像超分辨率重构方法，其主要思路是:先构造一组低分辨率图像块与高分辨率图像块的训练样例的集合，再通过马尔科夫随机模型和先验知识来学习低分辨率图像块和高分辨率图像块之间的对应关系，最后利用这种对应关系指导图像的超分辨率重构。Sun等人则对Freeman等人的方法进行了扩展，主要是在重构过程中用原始的轮廓先验知识来减少边界和细节的过平滑。但是这些方法仍需要大量的训练样例以保证重构的效果，对于一张256*256的图像，至少需要10分钟以上的时间完成整个超分辨率重构过程，因此计算量巨大、耗时长，而且重构结果图像的质量一般。
【发明内容】
[0004]本发明的目的在于克服上述已有技术的缺点，提出一种运行时间短的基于图像结构自相似与稀疏表示的图像超分辨率重构方法，通过利用图像的结构自相似性提高重构图像的效率和质量。
[0005]为实现上述目的，本发明的技术方案首先引入训练样例图像，用这些图像学习出一对闻分辨率字典和低分辨率字典；然后输入低分辨率图像，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像和特征图像块；再构造本发明的目标函数；最后通过优化目标函数，得到高分辨率图像输出，完成图像超分辨率重构。具体步骤包括:
[0006](I)输入训练样例图像对，用训练样例图像对学习构造一对规模均为K的低分辨率字典D1和所对应的高分辨率字典Dh ；
[0007](2)输入待超分辨率重构的低分辨率图像y，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像\和特征图像块。插值放大获得初始高分辨率图像X。和特征图像块的过程包括:
[0008](2.1)输入一幅低分辨率图像y，对该图像进行滤波提取特征，得到低分辨率特征图像Q ；
[0009](2.2)从低分辨率特征图像Q中，按重叠的方式，提取低分辨率特征图像Q的特征图像块，本发明从低分辨率特征图像Q中提取到相关特征图像块。
[0010](2.3)对低分辨率图像y进行Bicubic插值放大，得到初始高分辨率图像X。,本发明从低分辨率图像I中得到初始高分辨率图像X。。
[0011](3)引入稀疏表示约束项、图像结构自相似性约束项和保真约束项，构造出目标函数 F (X，{aj):
【权利要求】
1.一种基于结构自相似性与稀疏表示的超分辨率图像重构方法，包括如下步骤: 步骤1.输入训练样例图像对，用训练样例图像对学习构造一对规模均为K的低分辨率字典D1和所对应的高分辨率字典Dh ； 步骤2.输入待重构的低分辨率图像y，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像Xtl和特征图像块，插值放大获得初始高分辨率图像Xtl和特征图像块的过程包括: (2.1)输入一幅低分辨率图像y，对该图像进行滤波提取特征，得到低分辨率特征图像Q ； (2.2)从低分辨率特征图像Q中，按重叠的方式，提取低分辨率特征图像Q的特征图像块； (2.3)对低分辨率图像I进行Bicubic插值放大，得到初始高分辨率图像X。； 步骤3.引入稀疏表示约束项、图像结构自相似性约束项和保真约束项，构造出目标函数 F (X，{a f}):
2.根据权利要求1所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤I所述的对初始字典进行训练，包括有如下步骤: 1a)输入训练图像对，对低分辨率图像进行滤波提取特征，所采用的滤波器是=[-1，O, 1], 12=At, f3= [1, O, -2’ O, 1]，f4 =f t/3，所采用的训练图像为图像处理领域中常用的标准自然图像； lb)从提取特征的低分辨率训练图像中随机抽取特征低分辨率图像块，相应地，从高分辨率训练图像对应的位置抽取高分辨率图像块，通过K-SVD字典学习方法，用这些特征低分辨率图像块和高分辨率图像块，联合学习出规模均为K的低分辨率字典D1和高分辨率字典Dh。
3.根据权利要求2所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤4中的步骤(4.2)所述的求出目标函数中的权值矩阵W，包括有如下步骤: .4.2a)在待修正的图像X中第j个图像块\的近邻区域中，找到图像块\的第k个近邻小块xk，图像块\的所有的近邻小块的索引组成近邻索引集N(j)； .4.2b)根据下式计算图像块Xj与其近邻小块Xk的相似度权值w(j，k):
4.根据权利要求3所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤4中的步骤(4.3)所述的对稀疏系数变量{aj的更新，包括有如下步骤: .4.3a)目标函数F (X, { a J )中与变量{a J有关的项,组成变量{a J的目标函数F1({ a J ):
5.根据权利要求4所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤4中的步骤(4.4)所述的对变量X值的更新，包括有如下步骤: .4.4a)目标函数F (X, { a J )中与变量X有关的项,组成变量X的目标函数:
【文档编号】G06T5/00GK103455988SQ201310426295
【公开日】2013年12月18日 申请日期:2013年9月17日 优先权日:2013年9月17日
【发明者】杨淑媛, 焦李成, 汪智易, 马文萍, 刘芳, 侯彪, 吕远, 赵玲芳, 靳红红 申请人:西安电子科技大学