一种快速高质的图像超分辨率重建方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其是一种快速高质的图像超分辨率重建方法。
【背景技术】
[0002] 图像超分辨率重建技术是图像处理领域内一个重要且基础的课题，它指的是通过 软件计算的方式处理输入的一幅或多幅同一场景的低分辨率图像来估算其对应的高分辨 率图像。这种技术在数字电视高清显示、视频监控、遥感图像通讯等领域有着广泛的应用。 其实现方法主要可分为基于插值的方法、基于重建的方法和基于学习的方法。近年来，随着 机器学习、数据挖掘等技术的兴起，基于学习的方法逐渐为人们所重视，并成为图像超分辨 率重建技术的主流。
[0003]图像本身信息丰富，数据量巨大，因此简单的超分辨率重建算法虽然速度快但往 往达不到最优的重建效果，如采用双三次插值算法，该算法速度快，处理平滑区域能取得很 好的效果，但是对于边缘和纹理区域，该算法容易引入模糊和噪声，造成重建质量下降；复 杂的方法为了追求最优的效果通常都需要占用大量的内存空间和漫长的等待时间，如He 等人发表在 2011 年CVPR会议上的论文《SingleImageSuper-ResolutionUsingGaussian processRegression》中所提到的方法。He等人的方法将图像中的每一个像素点和其对应 的八邻域构造成训练样本对，在每一个小区域内（文中为30X30大小的区域）训练高斯过 程回归模型参数，把该区域用双三次放大到目标尺寸后构造样本集合作为高斯过程回归模 型的输入，得到这个小区域的对应的高分辨率估计。这种方法模型训练阶段的时间复杂度 为0(Μ*Ν3)，其中，Μ为抽取的图像小区域的数量，N为小区域内构造的样本对数量；预测阶 段的时间复杂度为〇(Ν' 2)，Ν'为输入的样本数量，可以看出该方法时间复杂度较大。由于 时间复杂度的限制，该算法很难在实际情况中应用。
[0004] 综上所述，目前业内亟需一种速度快且效果好的图像分辨率重建方法。
【发明内容】
[0005] 为了解决上述技术问题，本发明的目的是：提供一种速度快且效果好的，快速高质 的图像超分辨率重建方法。
[0006] 本发明解决其技术问题所采用的技术方案是：
[0007] -种快速高质的图像超分辨率重建方法，包括：
[0008]S1、对输入图像八分别进行高斯低通滤波和双三次上采样，得到高斯低通滤波图 像\和双三次上采样图像XΗ;
[0009]S2、根据输入图像\和高斯低通滤波图像h构建图像对训练集
，然后根据图像对训练集D采用最近邻域查找法得到图像XH的训练样本 对集合，其中，P表示图像片的位置；
[0010]S3、采用多任务高斯过程回归模型对图像XH的训练样本对集合进行描述，然后采 用梯度下降法进行参数训练，求出图像χΗ样本所对应的多任务高斯模型参数以及多任务高 斯模型输出YH，所述图像xH样本所对应的多任务高斯模型参数为图像xH不同位置的样本赋 予了不同的噪声级别；
[0011]S4、对求出的多任务高斯模型输出YH采用反向投影法得到最终的超分辨率图像。
[0012] 进一步，所述步骤S2,其包括：
[0013] S21、从输入图像八和高斯低通滤波图像X冲抽取图像片集合{(打),扣)},进而 构建相应的图像对训练集d=Μ;
[0014]S22、对双三次上采样图像ΧΗ所抽取的第i个图像片通过最近邻域查找法查 找到其在图像对训练集D中的k个最近样本对，进而构建图像XH的训练样本对集合
是图像对训练集D中图像八第i个图像片）^的 像素点的列向量形式，叫为Γ/中元素的个数；=[^,1，'2，...，1广]，1/是由图像片^^中 与像素点欠丨位置相对应像素点的8邻域所组成的列向量，i= 1，2,…，k;j= 1，2,…，η;。
[0015] 进一步，所述步骤S3,其包括：
[0016] S31、采用多任务高斯过程回归模型对图像ΧΗ的训练样本对集合进行 描述，得到图像χΗ训练样本对集合的描述方程，所述得到的描述方程为：
[0018] 其中，￡l为图像XH训练样本对集合对应的噪声，εi服从均值是0且协方差矩阵 为的高斯分布，erf代表噪声的等级，^^是nixni大小的单位矩阵；
[0019]S32、根据图像ΧΗ训练样本对集合对应的描述方程得到所有训练样本的描述方程， 所述所有训练样本的描述方程为：
[0021] 其中，X= [Χ^Χ2, · · ·，XJ，Y= [Υ^Υ2, · · ·，YJ，ε为所有训练样本对应的噪声， ε服从均值是0且协方差矩阵为D的高斯分布，D是对角矩阵且满足：
[0022]
[0023] S33、根据图像ΧΗ训练样本对集合以及所有训练样本的描述方程采用梯度下降法 进行参数训练，求出图像ΧΗ样本所对应的多任务高斯模型参数。
[0024] 进一步，所述步骤S33,其包括：
[0025]S331、为图像XH第i个图像片中每一个像素点的八邻域构造测试矩阵 ，从而得到所有训练样本的训练输出Y和图像XH样本的测试输出Y*的联合分布，所述得到的联合分布为：
[0027]其中，K(X，XJ、K久，X)和K(X，X)分别为（X，XJ、久，X)和（X，X)的协方差矩阵， 矩阵K(X，XJ、K久，X)和K(X，X)第m行第η列元素的表达式为：
[0028]
，参数σf、1和均为待求的多任务高斯模型 参数；
[0029]S332、根据图像ΧΗ训练样本对集合以及所有训练样本的描述方程确定似然函数 R(x)，所述似然函数R(x)的表达式为：
[0031] 其中，服从对数正态分布，μ为对数正态分布的均值，P为对数正态分布 的标准差；
[0032]S333、采用梯度下降法求出使似然函数R(x)取得最小值时对应的多任务高斯模
[0033]S334、根据多任务高斯模型参数〇f、l和计算图像XH样本测试矩阵的输出 Y*，所述测试矩阵的输出Y*的表达式为：
[0034]Y* =f(X*) =K(X*，X)[K(X，X) +D]TY。
[0035] 进一步，所述步骤S22在通过最近邻域查找法查找时在以图像ΧΗ所抽取的第i个 图像片对应的位置为中心，30X30大小的区域内进行查找。
[0036] 进一步，所述步骤S22在对双三次上采样图像XH所抽取的第i个图像片通过最近 邻域查找法查找之前还包括根据图像XH所抽取的图像片的方差大小和设定阈值进行初步 分类的步骤。
[0037] 本发明的有益效果是：采用最近邻域查找法来得到双三次上采样图像XH的训练 样本对集合，然后采用多任务高斯过程回归模型对训练样本对集合进行描述以及采用梯度 下降法进行参数训练，得到多任务高斯模型参数以及多任务高斯模型输出YH，最后根据多 任务高斯模型输出YH得到最终的超分辨率图像，与采用简单的双三次插值算法相比，效果 更好且重建后得到的图像质量更高；从图像本身的特性出发，图像XH样本所对应的多任务 高斯模型参数为图像XH不同位置的样本赋予了不同的噪声级别，使得本发明的重建方法可 以在不同图像片间独立运行，易改造为并行算法或采用GPU图像处理器来实现，与传统的 高斯模型回归算法相比，运行时间更更短，速度更快。进一步，在通过最近邻域查找法查找 最近邻域的过程中只在以所抽取的图像片对应的位置为中心，30X30大小的区域内进行查 找，大大降低了查找所需消耗的时间，速度更快。
【附图说明】
[0038] 下面结合附图和实施例对本发明作进一步说明。
[0039]图1为本发明一种快速高质的图像超分辨率重建方法的整体流程图；
[0040] 图2为本发明实施例一的算法框架图。
【具体实施方式】
[0041] 参照图1，一种快速高质的图像超分辨率重建方法，包括：
[0042]S1、对输入图像八分别进行高斯低通滤波和双三次上采样，得到高斯低通滤波图 像\和双三次上采样图像XH;
[0043]S2、根据输入图像\和高斯低通滤波图像构建图像对训练集 ￡>二{(Xf ，然后根据图像对训练集〇采用最近邻域查找法得到图像心的训练样本 对集合，其中，Ρ表示图像片的位置；
[0044]S3、采用多任务高斯过程回归模型对图像ΧΗ的训练样本对集合进行描述，然后采 用梯度下降法进行参数训练，求出图像ΧΗ样本所对应的多任务高斯模型参数以及多任务高 斯模型输出ΥΗ，所述图像ΧΗ样本所对应的多任务高斯模型参数为图像ΧΗ不同位置的样本赋 予了不同的噪声级别；
[0045]S4、对求出的多任务高斯模型输出ΥΗ采用反向投影法得到最终的超分辨率图像。
[0046] 进一步作为优选的实施方式，所述步骤S2,其包括：
[0047]S21、从输入图像八和高斯低通滤波图像L中抽取图像片集合，进而 构建相应的图像对训练集={(If),.(5^)}
[0048]S22、对双三次上采样图像XH所抽取的第i个图像片通过最近邻域查找法查 找到其在图像对训练集D中的k个最近样本对，进而构建图像XH的训练样本对集合
是图像对训练集D中图像1第i个图像片}^的 像素点的列向量形式，~为G中元素的个数；X,. x/是由图像片中 与像素点，f位置相对应像素点的8邻域所组成的列向量，i= 1，2,…，k;j= 1，2,…，叫。
[0049] 进一步作为优选的实施方式，所述步骤S3,其包括：
[0050]S31、采用多任务高斯过程回归模型对图像XH的训练样本对集合进 行描述，得到图像XH训练样本对集合的描述方程，所述得到的描述方程为：
[0052] 其中，￡l为图像XH训练样本对集合对应的噪声，εi服从均值是0且协方差矩阵 为的高斯分布，代表噪声的等级，、是ηιχηι大小的单位矩阵；
[0053]S32、根据图像ΧΗ训练样本对集合对应的描述方程得到所有训练样本的描述方程， 所述所有训练样本的描述方程为：
[0055] 其中，X= [Χ^Χ2, · · ·，XJ，Y= [Υ^Υ2, · · ·，YJ，ε为所有训练样本对应的噪声， ε服从均值是0且协方差矩阵为D的高斯分布，D是对角矩阵且满足：
[0056]
[0057]S33、根据图像ΧΗ训练样本对集合以及所有训练样本的描述方程采用梯度下降法 进行参数训练，求出图像ΧΗ样本所对应的多任务高斯模型参数。
[0058] 进一步作为优选的实施方式，所述步骤S33,其包括：
[0059]S331、为图像ΧΗ第i个图像片中每一个像素点的八邻域构造测试矩阵 1二[^1,^2^，&,>]，从而得到所有训练样本的训练输出￥和图像\样本的测试输出 Y*的联合分布，所述得到的联合分布为：
[0061] 其中，K(X，XJ、κιX)和K(X，X)分别为（X，XJ、久，X)和（X，X)的协方差矩阵， 矩阵Κ(X，XJ、Κ久，X)和Κ(X，X)第m行第η列元素的表达式为：
[0062]
，参数。