一种基于最大化自相似性质的图像超分辨率重建方法
【技术领域】
[0001] 本发明涉及图像处理领域，尤其是一种基于最大化自相似性质的图像超分辨率重 建方法。
【背景技术】
[0002] 图像超分辨率重建技术是图像处理领域里一个重要且基础的课题，它指的是通过 软件计算的方式处理输入的一幅或多幅同一场景的低分辨率图像来估算其对应的高分辨 率图像。这种重建技术在数字电视高清显示、视频监控等领域有着广泛的应用，其实现方法 主要可分为基于插值的方法、基于重建的方法和基于学习的方法这三种。近年来，随着机器 学习、数据挖掘等技术的崛起，基于学习的方法逐渐为人们所重视，并成为图像超分辨率重 建技术的主流。
[0003] D. Glasner等人通过统计实验表明：在自然图像中，绝大多数的小图像片（如5X5 大小的图像片，7X7大小的图像片，…）在该幅图像本身或其不同尺度的图像中存在大量 的重复，这一性质被称作自相似性。D. Glasner等人利用这一性质，将输入图像构造成高斯 金字塔序列，对输入图像中的每一个小图像片，利用不同尺度间所能找到的相似图像片来 构造学习样本，把在同一尺度内能找到的图像片看成是该小图像片的不同观察值，最终通 过学习样本和观察值这两种方式的结合来构造图像的超分辨率结果。Maria Zontak通过统 计实验进一步指出：在自然图像中，在距离某图像片位置越近的区域内重现该图像片的可 能性越大，同时，平滑区域内的图像片比边缘或纹理位置的图像片更易在整幅图像中重现。 量化上述先验知识作为约束条件加入到前述的自相似性框架中，其结果较D. Glasner等人 提出的方法有所改善。但这两种方法存在着以下共同的缺点：其估计出的高分辨率图像中 会产生一些新的"奇异"的图像片，这些"奇异"的图像片在其自身或其低尺度图像内不会 重复，使得图像失真较大。这些"奇异"的图像片是因为采用上述框架的算法只使得所抽 取的图像片具有自相似性质，并不能保证在所估计的超分辨率重建结果中任意抽取的每个 图像片都在自身或较低尺度内存在自相似性质（图像片与图像片的重叠部分因加权求和 而改变了所求结果的值，或者抽取的图像片为两个相邻估计结果片内各自独立的一部分）； 同时，在图像细节丰富的位置附近（如边缘、纹理等位置）会产生一些噪声来影响图像的视 觉质量。
【发明内容】
[0004] 为了解决上述技术问题，本发明的目的是：提供一种失真度小和噪声小的，基于最 大化自相似性质的图像超分辨率重建方法。
[0005] 本发明解决其技术问题所采用的技术方案是：
[0006] -种基于最大化自相似性质的图像超分辨率重建方法，包括：
[0007] S1、对输入图像Y进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y。 和双三次上采样图像X。；
[0008] S2、从输入图像Y和高斯低通滤波图像Y。中抽取图像片集合{y'y。15}，进而构建相 应的训练样本数据集合
，其中，7"为Y中抽取的图像片，7。"为Y。中 抽取图像片，P表示图像片位置，T为转置；
[0009] S3、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，然后采用期 望最大化算法进行参数训练，得到概率密度函数的参数；
[0010] S4、从双三次上采样图像X。中抽取图像片X Λ然后根据概率密度函数的参数对图 像片Χ(]ρ所需满足的最大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重 现的图像片I;
[0011] S5、根据图像片Zl以及超分辨率图像X需满足的退化处理约束方程求出最终的超 分辨率图像X。
[0012] 进一步，所述步骤S3,其包括：
[0013] S31、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，所述训练样 本数据集合D的概率密度函数p(d)的表达式为：
[0015] 其中，d为D对应的多元随机变量，K为设定的高斯函数个数，a k、μ $ Σ及别 为第k个高斯函数的权值、均值向量和协方差矩阵，Ν为正态分布函数；
[0016] S32、采用期望最大化算法进行参数训练，得到概率密度函数p(d)的参数ak、μ k和Sk。
[0017] 进一步，所述步骤S4,其包括：
[0018] S41、从双三次上采样图像X。中抽取图像片xQp;
[0019] S42、对图像片X。15所需满足的最大值方程进行求解，得到图像片z i，所述所需满足 的最大值方程为：
[0021] 进一步，所述步骤S42,其具体为：
然后代入xDp 所需满足的最大值方程中，从而得到图像片Zl，所述图像片Zl的表达式为：
[0024] 其中，i = l，2，*"，N;xi为双三次上采样图像X。中的第i个图像片。
[0025] 进一步，所述步骤S5,其具体为：
[0026]固定图像片Zl的集合{Zl}不变，对最终的超分辨率图像X所需满足的退化处理约 束方程进行求解，得到最终的超分辨率图像X，所述X所需满足的退化处理约束方程为：
[0028] 其中，D。为设定的下采样矩阵，Η为设定的低通滤波矩阵，β为设定的权重系数， Ρ,为抽取X中第j个图像片的概率，ζ ,为集合{z J中的第j个图像片；
[0029] 所述最终的超分辨率图像X的表达式为：
[0031] 进一步，所述输入图像Y为Ycbcr空间的图像。
[0032] 本发明的有益效果是：包括根据概率密度函数的参数对图像片X。15所需满足的最 大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重现的图像片Zl的步 骤，根据图像的最大化自相似性质进行图像超分辨率重建，使得最终所求取的超分辨率图 像X中的任一图像片Zi在输入图像Y中以最大的概率存在，减少了不存在重复的"奇异" 图像片的数量，失真度小；增设了退化处理约束，使得最终得到的超分辨率图像X经退化处 理后的图像与输入图像Y尽可能接近，在图像细节丰富的位置附近对噪声有很强的抑制作 用，使得重建后的图像在视觉上更加清晰自然。
【附图说明】
[0033] 下面结合附图和实施例对本发明作进一步说明。
[0034]图1为本发明一种基于最大化自相似性质的图像超分辨率重建方法的整体流程 图；
[0035] 图2为本发明实施例一基于最大化自相似性质的图像超分辨率重建方法的框架 图；
[0036] 图3为采用双三次插值算法得到小孩的超分辨率重建图像；
[0037] 图4为采用本发明的方法得到小孩的超分辨率重建图像。
【具体实施方式】
[0038] 参照图1，一种基于最大化自相似性质的图像超分辨率重建方法，包括：
[0039] S1、对输入图像Y进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y。 和双三次上采样图像X。；
[0040] S2、从输入图像Y和高斯低通滤波图像Y。中抽取图像片集合{y'y。15}，进而构建相 应的训练样本数据集合
，其中，7"为Y中抽取的图像片，y。"为Y。中 抽取图像片，P表示图像片位置，T为转置；
[0041] S3、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，然后采用期 望最大化算法进行参数训练，得到概率密度函数的参数；
[0042] S4、从双三次上采样图像X。中抽取图像片χ Λ然后根据概率密度函数的参数对图 像片X·/所需满足的最大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重 现的图像片I;
[0043] S5、根据图像片Zl以及超分辨率图像X需满足的退化处理约束方程求出最终的超 分辨率图像X。
[0044] 进一步作为优选的实施方式，所述步骤S3,其包括：
[0045] S31、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，所述训练样 本数据集合D的概率密度函数p(d)的表达式为：
[0047] 其中，d为D对应的多元随机变量，K为设定的高斯函数个数，a k、μ $ Σ及别 为第k个高斯函数的权值、均值向量和协方差矩阵，Ν为正态分布函数；
[0048] S32、采用期望最大化算法进行参数训练，得到概率密度函数p(d)的参数ak、μ k和Sk。
[0049] 进一步作为优选的实施方式，所述步骤S4,其包括：
[0050] S41、从双三次上采样图像X。中抽取图像片X Qp;
[0051] S42、对图像片xQp所需满足的最大值方程进行求解，得到图像片z i，所述所需满足 的最大值方程为：
[0053] 进一步作为优选的实施方式，所述步骤S42,其具体为：
[0054] 将以14改写为
改写为
，然后代入X。13 所需满足的最大值方程中，从而得到图像片Zl，所述图像片Zl的表达式为：
[0056] 其中，i = 1