一种非局部联合稀疏表示的超分辨率重建方法
【技术领域】
[0001] 本发明涉及图像处理的超分辨率重建领域，更具体的是一种能够同时重建高分辨 率的彩图和同场景高分辨率深度图的重建方法。 技术背景
[0002] 单幅图像的超分辨率重建是利用单幅低分辨率图像中的有效信息，恢复出质量较 好的高分辨率图像的过程。在实际应用中，我们能够得到的往往是进过模糊、下采样和加了 噪声后退化的低分辨率图像。如何从退化的低分辨率图像中最大可能地恢复出原始的高分 辨率图像，成为如今图像研究领域的热点。
[0003] 目前，彩图的超分辨率重建方法分为三类:基于插值的方法，基于重构的方法和基 于学习的方法。基于插值的方法有最近邻插值法，双线性插值法，样条插值法，自适应图像 插值法等。基于插值的方法实现简单，速度快，适合实时应用。但是插值的方法不能恢复在 图像下采样过程中丢失的高频分量和纹理细节，容易在图像的边缘产生环或锯齿效应，出 现振铃现象，使重建的图像不真实可信。基于重构的方法是按照特定的图像退化模型和先 验知识，对输入的低分辨率图像序列重建出质量较好的高分辨率图像，包括迭代反向投影 法，凸集投影法和基于概率论的方法等。此类方法由于多帧序列中亚像素运动的偏移和先 验知识的局限性，不能有效恢复图像的纹理和结构等细节信息，重建质量不够好。基于字典 学习方法的思想是通过训练数据集寻找高低分辨率图像块之间的映射关系，通过这种关系 指导高分辨率图像块的重建。包括外部字典学习法和内部字典学习法。基于学习的方法较 其它两类方法能引入更多的高频信息，对噪声的鲁棒性更强，成为近年来的研究热点。
[0004] 深度图像表示场景中各点相对于相机的距离。在现实生活中，由于硬件等条件的 限制，我们采集到的深度图像的分辨率低，无法满足实际应用的需要。快速且准确的获取和 分析真实场景的深度图像，提高深度图像的分辨率，对我们有重大的研究意义。
[0005] 基于深度图的超分辨率重建方法大致有两种，一种是只利用深度图像的方法，该 类方法将对自然图像的超分辨率重建方法应用到深度图像的重建问题中，构造目标函数优 化求解。但此类方法忽略了深度图像自身的特点及与同场景彩色图像的关系，对深度图像 的分辨率提高不多，重建效果不好。第二种是结合同场景彩色图像的方法，寻找同场景彩图 和深度图之间的约束关系，利用同场景高分辨率的彩图指导深度图的重建，但在实际应用 中，高分辨率的彩图往往难以获取，故此类方法也存在一定的局限性。
[0006] 既然在彩图超分辨率重建方法没有考虑深度信息，在高分辨率彩图指导深度图超 分辨率重建方法中，不容易得到同场景的高分辨率彩图，本发明提出一种低分辨率彩图和 低分辨率深度图的联合稀疏表示模型，利用两者的互补关系，同时重建高质量高分辨率的 彩图和深度图。
【发明内容】
[0007] 本发明的目的是克服现有技术的上述不足，建立一种较低运算复杂度的，能同时 重建任意低分辨率的彩色图像和同场景低分辨率深度图像的联合稀疏表示的超分辨率重 建方法。本发明的技术方案如下
[0008] -种非局部联合稀疏表示的超分辨率重建方法，包括下列步骤：
[0009] 1)通过双三次插值对彩色图像的亮度图像和相应的深度图像进行初始估计。
[0010] 2)将得到初始估计的亮度图再通过双线性插值放大1.6，3.2，4.8倍，并把这些插 值放大的彩色图像分别分割成重叠的6X6彩色图像小块，这些彩色图像小块构成集合Y;同 样地，将初始估计的深度图像也经过双线性插值放大1.6，3.2，4.8倍，将这些插值放大的深 度图像分割成重叠的6 X 6的深度图像小块，这些深度图像小块构成集。
[0011] 3)用Xd表示第i个彩色图像块，xdi为其对应的深度图像块，乂1 = |^。：13(^]表示第1 个联合图像块。
[0012] 4)将所有的联合图像块Xl通过K-Means算法聚成K类，对每一类用PCA法学习该类 的联合子字典Dj，K个联合子字典构成联合过完备字典Φ。每一个待重建的立体图像块都可 以用其对应的联合子字典编码表示。
[0013] 5)对任意彩色图像块xcl，在8X8的训练窗内，计算xcl到集合Y内各彩色图像小块 的距离distl;同理，计算Xl相应的深度图像块Xl_gray到集合Y_gray内各深度图像块的距离 d i s 12，通过公式?//Λγ = yjdisi\2 +dist22寻找到k = 12个距离最小的彩色图像块和它们相应的深 度图像块，通过4)构成联合图像块，这些联合图像块构成集合Ω1(3
[0014] 6)令c〇1>q表示集合0,中第q个联合图像块的权重，a1>q表示第q个联合图像块的稀 疏编码向量，利用集合内联合图像块的稀疏编码向量的权重平均求 〇1的估计β1;
[0015] 7)利用上述建立的JSR模型重建高分辨率彩色图像。
[0016]其中，设表示第1次迭代后的低分辨率图像的稀疏编码向量，皮>表示的估 计，表示第1次迭代后重建的高分辨率彩色图像，步骤7的过程如下：
[0017] 1)先令私的初始值舞然后利用标准稀疏编码算法得低分辨率彩色图像稀疏 编码向量的初始值％ (());
[0018] 2)由联合过完备字典Φ和ay(())得到高分辨率彩色图像的初始估计
[0019] 3)基于x(Q)，寻找x(Q)的位置i处的联合图像块的集合〇,，利用公式⑴，计算β，；
[0020] 4)以上三步迭代进行，每一次迭代都会重建出分辨率提高了的彩色图像，每一次 迭代 的，> 和值都提高，彼此影响，到达指定迭代次数后结束，得到期望的高分辨率的彩 色图像。
[0021] 本发明在彩图稀疏表示超分辨率重建方法的基础上，充分利用图像的局部和非局 部相似性，引入彩图和同场景深度图的联合稀疏编码噪声作为正则项，提出联合稀疏表示 (JSR)的立体图像的超分辨率重建方法，通过构造立体图像特征矩阵进行联合字典学习，同 时恢复高质量高分辨率的彩图和深度图。
【附图说明】
[0022] 图1各算法彩色图像超分辨率重建结果
[0023] (a)原始图像（b)Bicubic算法（c)Sparsity算法
[0024] (d)ASDS-Reg算法（e)NCSR算法⑴本发明
[0025] 图2各算法深度图像的超分辨率重建结果
[0026] (a)原始图像（b)bicubic算法
[0027] (c)Sparsity算法（d)本发明
【具体实施方式】
[0028] 本发明在彩色图像非局部中心稀疏表示(NCSR)超分辨率重建方法的基础上，利用 低分辨率彩色图像和同场景低分辨率深度图像之间的互补关系，构造联合彩色图像块和深 度图像块的特征矩阵，利用K-Means和PCA法学习联合稀疏子字典，将这些子字典构成一个 大的联合过完备字典。利用图像的局部和非局部相似性，在原始图像的不同采样率图像中 寻找给定图像块的相似图像块，利用这些相似图像块稀疏表示向量的权重平均估计未知稀 疏编码向量。在彩色图像稀疏表示超分辨率重建问题中，正则参数项是一个人为固定的常 数，令正则参数项的值随图像块的不同发生改变，可以提高图像的质量。经过上述处理，在 彩色图像的稀疏表示的超分辨率重建模型中，加入同场景深度图像的信息，本发明提出了 联合稀疏表示(JSR)超分辨率重建方法，同时重建高质量高分辨率的彩图和深度图。
[0029] NCSR超分辨率重建模型为：
[0030]
⑴
[0031] 其中，y是低分辨率彩色图像，Η是高斯模糊核，D是下采样操作，Φ是彩色图像的过 完备字典，φ0α = χ，表示待重建的原始高分辨率图像，ay是低分辨率图像的稀疏表示向量， Μ是第i个图像块的自适应正则参数项，cu是第i个低分辨率图像块的稀疏表示向量，仏是^ 的估计。
[0032] 本发明提出的非局部联合稀疏表示(JSR)的立体图像的超分辨率重建模型为：
[0033]
C2)
[0034] 模型的参数意义发生了变化。其中，Φ是包含了彩色图像和深度图像信息的过完 备字典，即联合稀疏字典Wjj)是第i个立体图像块的第j列，队(」)是〇1(」）的估计;〇^是 〇1 (j )-?(j)的标准差；σ"2是高斯分布的方差。则重建的高分辨率图像为& = 技术方案如 下：
[0035] 首先将待重建的低分辨率(LR)彩色图像的灰度图和同场景低分辨率的深度图分 成大小相等的图像块，每一个图像块都对应一个稀疏表示向量。为充分利用图像的局部和 非局部相似性，将LR的彩图和深度图以不同采样率生成上采样图像，并把这些图像分为大 小相等的图像块，那么灰度图和深度图就划分为了具有相同大小和数目的图像块，构造联 合特征矩阵为学习联合稀疏字典提供条件。在重建过程中，为使低分辨率图像的稀疏表示 向量尽可能接近重建高分辨率图像的稀疏表示向量，引入联合稀疏编码增量代替NCSR模型 中彩图的稀疏编码噪声。因重建高分辨率图像块的稀疏表示向量是未知的，需要对它做出 估计。最后利用最小均方解法重建高分辨率的彩图和深度图。具体过程如下：
[0036] 1.将彩色图像由RGB模型转化为YCbCr模型，Cb，Cr两个通道只进行简单的双三次 插值放大，对Y通道进行JSR模型指定倍数的超分辨率重建，重建完成后再将YCbCr模型转化 为RGB模型。
[0037] 2.用Xd表示第i个彩色图像块，xdi为其对应的深度图像块，11 = |^。：1^(^]表示第1 个图像块的联合特征矩阵。
[0038] 3.将LR的亮度图像和LR的深度图像经过3倍的双三次插值放大得到HR彩图的初始 估计hr_im和HR深度图的初始估计hr_im_gray。
[0039] 4.将得到的HR彩图的初始估计图像hr_im分割成大小6 X 6，重叠 4个像素的图像 块。将hr_im经过双线性插值放大1.6，3.2，4.8倍，并把它们分别分割成重叠的6 X 6小块。这 些所有的