一种基于稀疏表示的图像超分辨率重建方法
【专利摘要】本发明涉及一种基于稀疏表示的图像超分辨率重建方法，其步骤包括：1）从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；2）根据显著区域训练一对显著字典D'l，D'h，并将该显著区域通过上下文稀疏分解在低分辨率显著字典D'l上得到显著稀疏系数；3）根据非显著区域训练一对通用字典Dl，Dh，并通过低分辨率通用字典Dl进行稀疏分解得到非显著稀疏系数；4）将稀疏系数与高分辨率显著字典D'h或高分辨率通用字典Dh相乘进行率重建，获得高分辨率图像序列。本发明在传统稀疏表示超分辨率框架基础上，重点关注图像内在结构信息，并将此作为先验模型约束L0-范数问题求解，在保持与传统稀疏表示方法复杂度相当同时，在主观和客观效果上性能都优于其他方法。
【专利说明】一种基于稀疏表示的图像超分辨率重建方法
【技术领域】
[0001] 本发明涉及一种图像超分辨率方法，具体涉及一种基于视觉显著的上下文稀疏分 解图像超分辨率方法。本发明可以灵活应用于高端多媒体系统的视频信号格式转换、视频 监控感兴趣区域放大以及卫星、遥感等领域，属于图像超分辨率重建领域。
【背景技术】
[0002] 图像的超分辨率重建就是克服成像设备或技术的限制，从单帧低分辨率图像或低 分辨率图像序列重建一个高分辨率图像。其中最常见的方法就是插值。传统的插值算法如 最近邻插值、双线性插值、双三次插值、Lanczos插值都是假设图像具有连续性，从而预测高 分辨率点的像素值，导致相邻像素过于相似而产生锯齿或者模糊，并不能解决超分辨率重 建中高频细节的问题。
[0003] 过完备字典上的信号的稀疏表示是近来比较热门的领域，它的基本模型是认为自 然信号（包括图像）可以用一组事先定义的基信号（即字典）的线性组合紧致表达，其中 线性系数是稀疏的，即系数中大多数元素为0。稀疏系数在满约束条件的同时还需要非零元 素的个数尽可能少，也就是需要尽可能稀疏，这是对图像信号的先验约束。
[0004] 利用稀疏表示的理论来求解图像超分辨率问题，Yang等人提出可以事先分别训练 对应的高低分辨率的字典，将输入的低分辨率图像用低分辨率字典稀疏表示，然后将该稀 疏系数与对应的高分辨率字典相乘即可得到高分辨率的图像。这样通过外部的字典库可以 弥补图像超分辨率高频细节不够的缺陷，突破了传统的基于插值或正则项约束类方法放大 倍数有限细节信息有限的限制。然而该方法利用通用训练集学习字典，无法对图像局部特 征进行自适应重建。此外，这类方法的先验模型中事先假定相邻图像块之间是独立的，忽视 了图像局部区域的相互依赖关系。
【发明内容】
[0005] 通过分析基于稀疏表示的图像超分辨率方法中存在的字典学习和先验模型的问 题，本发明对于低分辨率的图像，提出了一个全新的基于视觉显著的上下文稀疏分解图像 超分辨率方法。在字典学习部分，除了学习通用字典外，视觉显著区域提取出的图像样本用 来训练显著字典。在先验模型的部分，由于视觉显著区域通常趋于高度结构化，基于上下文 的稀疏分解被用来进一步探索相邻图像块之间的联系。
[0006] 为了到达上述目的，本发明的技术方案如下：
[0007] 首先，对输入低分辨率的图像训练字典，分别训练显著区域的字典和通用字典。训 练显著区域的字典前先要检测和划分出图像的显著区域，人眼观测时认为图像上较为显著 的区域，因为从生理学角度，人眼认为显著的地方一般是边缘等结构化的信息，所以考虑视 觉显著区域的高度结构化特性，认为从显著区域提取的图像样本应该也是高度相关的。因 此学习出的字典应该也是高度适应与图像的显著区域的。对于其他的非显著区域，通用字 典即可满足需求。然后我们利用最大后验概率理论，通过考虑当前局部图像块和当前块与 邻域块的联系来约束公式求解最优稀疏系数，同时，考虑上下文感知的在显著区域的稀疏 分解，我们可以用总能量表示先验概率，而与传统稀疏性约束相比，本发明提出的先验模型 对空域上下文之间的联系给予了更多的权重。
[0008] 本发明具体技术方案如下，一种基于稀疏表示的图像超分辨率重建方法，其步骤 包括：
[0009] 1)从输入图像序列选出一部分为显著区域，剩余部分为非显著区域；
[0010] 2)根据所述显著区域训练一对显著字典D'pD'h，并将该显著区域通过上下文稀疏 分解在低分辨率显著字典D' 1上得到显著稀疏系数；
[0011] 3)根据所述非显著区域训练一对通用字典Dp Dh，并通过低分辨率通用字典h进 行稀疏分解得到非显著稀疏系数；
[0012] 4)将所述非显著稀疏系数与高分辨率通用字典Dh相乘进行重建，将所述显著稀疏 系数与高分辨率显著字典D' h相乘进行重建，重建后获得高分辨率图像序列。
[0013] 审讲一步，所沭非显著或显著豨疏系数
[0014]
【权利要求】
1. 一种基于稀疏表示的图像超分辨率重建方法，其步骤包括： 1) 从输入图像序列选出一部分为显著区域，剩余部分为非显著区域； 2) 根据所述显著区域训练一对显著字典D'p D'h，并将该显著区域通过上下文稀疏分解 在低分辨率显著字典D' 1上得到显著稀疏系数； 3) 根据所述非显著区域训练一对通用字典仏，Dh，并通过低分辨率通用字典h进行稀 疏分解得到非显著稀疏系数； 4) 将所述非显著稀疏系数与高分辨率通用字典Dh相乘进行重建，将所述显著稀疏系数 与高分辨率显著字典D' h相乘进行重建，重建后获得高分辨率图像序列。
2. 如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述非 显著或显著稀疏系数r = argmiilDr||X-Dr|<1，其中，L0-范数项是稀疏 性约束，||Λ-/)「g是数据保真项，X为训练样本，为训练得到的字典，λ为 拉格朗日乘子，Di为字典的第i列。
3. 如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，训练所 述显著字典D' 1或D' h需要满足目标函数： DJ =argminn，f (D?)，
其中，范数项λ 11 Γ I L是稀疏性约束，|pr-/)rg是数据保真项，X为训练样本，D' 为训练得到的显著字典，λ为拉格朗日乘子，d/为显著字典的第i列。
4. 如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，训练显 著和通用字典时，先初始化稀疏系数Γ，然后更新字典，再迭代更新稀疏系数Γ。
5. 如权利要求3所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，按照如 下方法训练显著字典D' ： 1) 采用对比度滤波器在不同的尺度进行滤波操作产生显著性分布图，得到图像各个像 素位置的显著度，检测出显著区域； 2) 将显著度超过一定阈值的图像像素划分到同一个区域，设定该区域为图像的显著区 域，划分出图像的显著区域； 3) 从图像的显著区域选取图像块作为显著字典的训练集，从训练集中提取图像块样 本，建立显著字典D'。
6. 如权利要求5所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述显 著字典D'需要满足目标函数： D，=argmi%f(D，），
其中，ΧΩ为在显著区域提取的图像块样本，X为训练样本，入为拉格朗日乘子，Di'为 显著字典的第i列。
7. 如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述显 著区域通过上下文稀疏分解的总能量： Ε_ 二 Ec (S) + Es (S): -ST(lUSw + b) 其中，(5') = -Σ『=1*Τ，￡s (5') = - A，11矩阵表示当前块和方向t上邻域块用 到的字典基的联系，ST表示S的转置矩阵，EC(S)表示上下文依赖关系的能量，S0t为当前 块在t方向的邻域块的稀疏模式，b=[bi，b2,...，bjT是模型参数。
8. 如权利要求7所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述稀 疏丰吴式S满足最大后验概率：
其中，γ是低分辨率图像块X的稀疏系数，ys是一个均值为〇方差为?5的多变量高 斯分布，是对角矩阵，稀疏性模式S作为正则项约束重建出高分辨率的图像块。
9. 如权利要求8所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述低 分辨率图像块X的稀疏系数Y的稀疏性模式为S e {-1，l}m，Si=l表示γ s尹0, Se-l表 示Ys=〇, Si是第i个图像块的稀疏性模式。
10. 如权利要求1所述的基于稀疏表示的图像超分辨率重建方法，其特征在于，所述输 入图像序列为X={Xl，x 2,...，xt}的低分辨率图像序列，所述通用字典A *Dh训练过程满足 如下目标函数： D=argminDf (D) /(巧=|ur| + 赛 IIW.IlA. 1。
【文档编号】G06T5/50GK104103052SQ201310125234
【公开日】2014年10月15日 申请日期:2013年4月11日 优先权日:2013年4月11日
【发明者】杨撒博雅, 白蔚, 刘家瑛, 郭宗明 申请人:北京大学