一种基于亚像素偏移模型的图像超分辨率重建方法
【技术领域】
[0001] 本发明涉及一种基于亚像素偏移模型的图像超分辨率重建方法，属于计算机图像 与视频处理领域。
【背景技术】
[0002] 近年来，高分辨率显示设备，特别是高清液晶显示器已普及。而很多情况下，展现 在高清显示器上的图像或视频却并不清晰。这主要是由于在图像或视频获取环节，所用设 备大多考虑成本要素（主要有技术、资金等），其成像传感器固有分辨率受限，只能获取低 分辨率图像。如何不增加成像设备成本，又能最大限度发挥高分辨率显示设备的性能（高 清地呈现低分辨率图像），为相关应用（例如，医学成像诊断、卫星遥感分析、远程监控研判 或移动互联娱乐等）提供准确的信息或丰富的消费体验，是科技人员所面临的挑战。为克 服低成本成像传感器分辨率的固有局限性，超分辨率（SR)图像重建技术被应用并成为一 个非常活跃的研宄领域。它将同一场景的单或多帧低分辨率退化图像作为输入，通过亚像 素精度的配准和融合，重建出一帧高分辨率图像，是一种有效的分辨率增强技术。
[0003] 现有的超分辨率重建技术大致可分为以下几类：1).基于函数插值的方法：根据 其基函数的不同，主要有零阶保持、双线性、双三次和离散傅里叶变换插值等。但以上方法 均基于原始高分辨率图像信号是带限的假设，这并不能真实反映图像信号的天然特征。因 此，此类方法难以重建出保真图像。2).基于实例的方法：首先从已有的实例图像样本库中 抽取出一系列高频模式，用以与待重建图像进行匹配。如果实例图像足够多，那么众多高频 模式就足以恢复低分辨率图像中丢失的高频信息。然而很多情况下，实例图像的数量并不 能保证，这就影响了基于实例重建的效果。3).基于重构的方法：通过建立图象退化模型， 沿插值-复原路径对低分辨率图像进行重建。该类方法使用严谨的数学模型，且抑制噪声 时能保持边缘，因而广受关注，新算法层出不穷。尤其是近来出现的基于核回归的超分辨率 重建算法，利用各向异性核回归对单帧低分辨率图像完成插值放大，而后再进行复原，使方 向性纹理得到更好地重建。
[0004] 上述传统的核回归超分辨率重建算法中，插值过后还要进行复原的原因在于：用 于插值的核回归仅解决了退化图像的欠采样和噪声问题，其结果与原始图像之间还有一定 差别（主要是原始高频细节无法恢复，导致结果模糊）。通过下面数学方式来解释更加直 观：
[0005] 假设高分辨率图像f为原始图像，实际的观测图像y是f的低分辨率退化版本。退 化因素主要有模糊、欠采样和噪声，退化模型如下所示：
[0006] y = D(h*f)+n = Dg+n = zg+n
[0007] 其中*表示卷积运算，h表示模糊核，D表示欠采样算子，η表示噪声，g表示f的 模糊版本，Z g表示f的欠采样模糊版本。核回归就是利用y估计出回归函数z g(x)，这里X =[X1, x2]T表示图像中的坐标。显然，Z g就是z g(x)的离散形式，而g可通过对Zg(X)重新 高频采样而获得。但是，要进一步得到f就必须对g进行解卷积运算，这实际也是复原（去 模糊）过程。
[0008] 事实上，解卷积大多都会存在不适定问题，复原结果很容易出现振铃、过冲等形式 的伪影，难以消除。而且，模糊、欠采样和噪声问题在图像的退化过程中是相互影响的，上述 传统的核回归超分辨率重建将这些问题割裂加以解决，难免造成顾此失彼（已解决问题有 可能在其它步骤中再次引发）。从数学建模角度来讲，这种分步建模增加了推理步骤的复 杂性，也无法做到整体建模的简洁直观。另外，上述核回归重建仅针对单帧低分辨率观测图 像，并未给出多帧观测图像重建的解决方案。
【发明内容】
[0009] 发明目的：为了解决核回归超分辨率重建中独立的复原环节解卷积效果不佳的问 题，本发明提供一种基于亚像素偏移模型的核回归超分辨率重建方法，该方法将核回归超 分辨率重建中的插值重采样和复原两个独立环节整合，避免了分步建模的复杂性和解卷积 的不适定性。同时，所提供的方法对于观测图像的数量没有限定，既可用于单帧重建也可用 于多帧重建，适用性增强。
[0010] 技术方案：为实现上述目的，本发明的基于亚像素偏移模型的图像超分辨率重建 方法，包括以下步骤：
[0011] 步骤1，将待重建的低分辨率图像进行初始化，得到初始化后的图像y ;
[0012] 步骤2,建立亚像素偏移模型模拟图像的模糊过程，对所述亚像素偏移模型进行欠 采样并加入噪声得到新的图像退化模型；
[0013] 步骤3,利用基于梯度的偏移估计算法估计亚像素偏移量，并根据所述亚像素偏移 量构造并计算偏移核函数；
[0014] 步骤4,根据所述新的图像退化模型，利用所述偏移核函数和泰勒级数扩展法则， 构造核回归估计式；
[0015] 步骤5,基于所述核回归估计式，利用共轭梯度法逐点估计图像像素值，最终得到 高分辨率图像。
[0016] 其中，步骤1中获取所述初始化后的图像y包括以下步骤：
[0017] 步骤1. 1，判断同一场景的低分辨率图像的帧数，若帧数为1则设其为所述初始化 后的图像y，若帧数大于1则进行步骤1. 2 ;
[0018] 步骤1. 2,利用Keren配准算法对多帧低分辨率图像yk(k = 1，2. .. N)进行配准， 其中N为大于1的自然数，表示图像的帧数；根据配准结果将图像yk置于一个图像网格中， 形成图像#，其像素为非均匀分布；利用核回归对图像? :进行初始化，得到像素均匀分布的 图像作为初始化后的图像y。
[0019] 其中，步骤2中所述亚像素偏移模型的表达式为：g(Xi) = f(Xi+Si)，其中f为原始 高分辨率图像，g是将f模糊后的图像，Xi= [Xli，X2i]T表示图像中的坐标，Si= [Sli，S2i]T 表示坐标的亚像素偏移量。
[0020] 所述新的图像退化模型的表达式为：
[0021 ] y (Xi) = zg (Xi) +Iii = g (X D +Iii = f (X ^si) +叫
[0022] 式中，Iii表示噪声，z g是对g进行欠采样后的图像。
[0023] 其中，步骤3中所述利用基于梯度的偏移估计算法估计亚像素偏移量中，亚像素 偏移量Si= [s n，s2i]T用如下公式估计：
[0024]
【主权项】
1. 一种基于亚像素偏移模型的图像超分辨率重建方法，其特征在于，该方法包括以下 步骤： 步骤1，将待重建的低分辨率图像进行初始化，得到初始化后的图像y ; 步骤2,建立亚像素偏移模型模拟图像的模糊过程，对所述亚像素偏移模型进行欠采样 并加入噪声得到新的图像退化模型； 步骤3,利用基于梯度的偏移估计算法估计亚像素偏移量，并根据所述亚像素偏移量构 造并计算偏移核函数； 步骤4,根据所述新的图像退化模型，利用所述偏移核函数和泰勒级数扩展法则，构造 核回归估计式； 步骤5,基于所述核回归估计式，利用共轭梯度法逐点估计图像像素值，最终得到高分 辨率图像。
2. 根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征 在于，步骤1中获取所述初始化后的图像y包括以下步骤： 步骤1. 1，判断同一场景的低分辨率图像的帧数，若帧数为1则设其为所述初始化后的 图像y，若帧数大于1则进行步骤1. 2 ; 步骤1. 2,利用Keren配准算法对多帧低分辨率图像yk(k = 1，2…N)进行配准，其中N 为大于1的自然数，表示图像的帧数；根据配准结果将图像yk置于一个图像网格中，形成图 像^其像素为非均匀分布；利用核回归对图像·?进行初始化，得到像素均匀分布的图像作 为初始化后的图像y。
3. 根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征 在于，步骤2中所述亚像素偏移模型的表达式为：g( Xi) = f (Xi+Si)，其中f为原始高分辨率 图像，g是将f模糊后的图像，Xi= [Xli，x2i]T表示图像中的坐标，Si= [Sli，s2i]^示坐标 的亚像素偏移量； 所述新的图像退化模型的表达式为： y (Xi) = zg (Xi) +Iii = g (X D +Iii = f (X ^si) +Iii 其中，Iii表示噪声，z g是对g进行欠采样后的图像。
4. 根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征 在于，步骤3中所述利用基于梯度的偏移估计算法估计亚像素偏移量中，亚像素偏移量S i =[sn，s2i]T用如下公式估计：
其中，▽和V2分别表示一阶和二阶导数算子，Sgn(·)表示正负号函数，α表示全局 尺度参数，Ku表示以X 中心的2维高斯函数位于h处的函数值，ω表示以X 中心的 局部窗口； 所述偏移核函数X)的表达式为：
其中，(^为X i+Si处的协方差矩阵，h为平滑参数。
5.根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征 在于，步骤4中所述核回归估计式的表达式如下：
其中，Ω表示以Xi为中心的局部窗口。
【专利摘要】本发明公开了一种基于亚像素偏移模型的图像超分辨率重建方法，首先将输入图像配置于一个网格中，并形成像素均匀分布的图像；然后提出一种亚像素偏移模型，并由此构造新的图像退化模型；接着设计基于梯度的偏移估计算法估计出亚像素偏移量，并据此构造和计算偏移核函数；最后根据新的图像退化模型，利用所述偏移核函数和泰勒级数扩展法则构造核回归估计式，并由此重建出高分辨率图像。本发明所提方法将核回归超分辨率重建中的插值重采样和复原两个独立环节整合，避免了分步建模的复杂性和解卷积的不适定性。同时，所提供的方法对于观测图像的数量没有限定，既可用于单帧重建也可用于多帧重建，适用性增强。
【IPC分类】G06T3-40
【公开号】CN104766272
【申请号】CN201510185343
【发明人】徐枫, 沈洁, 张振, 王鑫, 黄凤辰, 蒋德富
【申请人】河海大学
【公开日】2015年7月8日
【申请日】2015年4月17日