基于最大期望算法的自然图像超分辨方法
【技术领域】
[0001] 本发明属于图像处理技术领域，更进一步涉及自然图像处理技术领域中的基于最 大期望算法的自然图像超分辨方法。本发明是将低分辨的自然图像进行超分辨，以得到一 幅清晰的高分辨自然图像，以便为图、像后续的解译、目标识别、目标检测提供更准确、全面 的信息。
【背景技术】
[0002] 图像超分辨技术是指从单幅或多幅低分辨率的图像中重建出一幅清晰的高分辨 率的图像的过程。低分辨图像空间分辨率较低，影响了对景物更全面、清晰的描述。图像超 分辨的目的是为了得到高分辨图像，增强和丰富了景物的细节内容，以便为后续的图像处 理与解译提供更准确、全面的信息。要获得高分辨的图像，可通过以下两个途径实现：一是 采用更新的传感器，这样能获取更高质量的图像，但新型传感器的成本较高；二是通过算法 对低分辨图像进行超分辨，这样能在现有传感器技术的基础上获取更高质量的图像，且技 术成本低。图像超分辨技术主要可以分为基于插值、基于重建和基于学习三大类。目前，单 幅图像主要基于重构误差和先验信息约束的方法来实现图像超分辨。
[0003] Yang, Wright 等人发表的论文 " Image Super-Resolution Via Sparse Representation''(IEEE Trans, on Image Processing vol. 19no. 11pp. 2861-2873. 2010) ψ 提出一种基于稀疏表示的图像超分辨方法。该方法将压缩感知的思想引入超分辨重构中， 通过稀疏表示的方法来获得低分辨和高分辨的字典对。当低分辨图像的稀疏表示通过压缩 感知的方法得到时，则高分辨图像的稀疏表示也相应的得到，从而可以有效地对低分辨图 像进行重建。但是该方法存在的不足之处是，该方法在字典对的构造中，需要采集大量的外 部训练数据，而这是不现实的，同时这种假设高低分辨图像之间表示是存在误差的，这样使 得恢复得到的整体效果不是很好。
[0004] He 和 Siu 二人发表的论文 "Single Image Super-Resolution using Gaussian Process Regression'， （IEEE Conference on Computer Vision and Pattern Recognition, pp. 449 - 456. 2011)中公开了一种使用高斯过程先验来解决图像超分辨问题 的方法。该方法使用高斯过程来学习得到低分辨图像和高分辨图像之间的映射关系。高斯 过程能自适应地通过高斯分布模型来寻找得到低分辨图像块和高分辨图像块之间的内在 联系。该方法的优势在于在学习映射关系的时候，并不需要高分辨图像进行训练。但是，该 方法仍然存在的不足之处是，该方法仅仅利用了图像自身的局部信息作为训练数据，同时 该方法没有充分挖掘局部图像块的先验信息，这样使得当高斯过程能提供的信息不足的情 况下，造成了重构得到的图像结果不稳定，细节和边缘恢复的不是很好，局部区域重建质量 下降。
【发明内容】
[0005] 本发明的目的在于针对上述已有技术的不足，提出一种基于最大期望算法的自然 图像超分辨方法，充分地结合图像的先验信息，以在图像超分辨重建中，能够更好地去除振 铃，极大地提高了图像超分辨的恢复效果。
[0006] 为实现上述目的，本发明在基于最大期望算法的基础上实现自然图像超分辨，其 技术方案是通过最大期望算法将图像超分辨过程拆成两个子过程，即隐图像期望最大过程 和估计图像后验概率最大过程。在估计图像后验概率最大过程中，我们使用高斯过程方法 学习得到估计图像块的均值和方差，然后训练得到隐图像块的字典，最后通过均方误差最 小化的方法得到估计图像的最大后验值。通过对隐图像期望最大化过程和估计图像后验概 率最大过程这两个过程进行循环迭代，当迭代满足终止条件，则跳出循环，最终得到最优的 高分辨图像。
[0007] 本发明的具体步骤如下：
[0008] (1)输入一幅待恢复的低分辨图像；
[0009] (2)插值图像：
[0010] 使用matlab软件中的imresize函数，将待恢复的低分辨图像插值到待恢复的低 分辨图像的3倍，得到插值后的低分辨图像；
[0011] ⑶按照下式，获得隐图像：
[0012] Z = L+λ Ht (Y-HL)
[0013] 其中，Z表示隐图像，L表示插值后的低分辨图像，λ表示迭代步长，λ = 〇. 8, H 表示观测矩阵，T表示转置操作，Y表示待恢复的低分辨图像；
[0014] (4)将隐图像切成W个隐图像块：
[0015] 将隐图像进行滑窗处理，其中隐图像块的大小设为6X6像素，滑窗步长设为1个 像素，得到W个隐图像块集；
[0016] (5)获得每一个隐图像块的相似矩阵：
[0017] (5a)从隐图像块集中任意提取一个隐图像块，从隐图像块集中寻找与所提取的 隐图像块欧式距离最小的前30个图像块，将30个图像块进行拉列竖叠在一起，得到一个 36X30的相似矩阵；
[0018] (5b)重复执行步骤（5a)所述过程，直至得到每一个隐图像块的相似矩阵；
[0019] (6)获得每一个隐图像块的字典：
[0020] (6a)输入任意一个隐图像块的相似矩阵，利用这个相似矩阵构造相应隐图像块的 字典；
[0021] (6b)重复执行步骤（6a)所述过程，直至得到每一个隐图像块的字典；
[0022] (7)获得每一个估计图像块的均值和协方差：
[0023] (7a)将待恢复的低分辨图像进行切块，其中切块大小设为2X2像素，得到待恢复 的低分辨图像块集；
[0024] (7b)对隐图像左乘观测矩阵，得到隐低分辨图像，将隐图像和隐低分辨图像分别 切成块，切块大小分别为6X6像素和2X 2像素，将其拉成列，分别得到隐图像块集和隐低 分辨图像块集，构成图像块对集合；
[0025] (7c)将隐低分辨图像块集作为高斯过程方法的输入，将隐图像块集作为高斯过程 方法输出，计算高斯过程方法的协方差计算函数；
[0026] (7d)按照下式，获得每一个估计图像块的均值和协方差：
[0027] μ j= K(v j, y)K(y, y) Jf
[0028] Σ j = K (v j, vj) -K (vj, yj) K (y, y) 1K (y, Vj)
[0029] 其中，μ j表示第j个估计图像块的均值，K( ·)表示协方差计算函数，-I表示求 逆操作，V]表示第j个待恢复的低分辨图像块，y表示隐图像块集，f表示隐低分辨图像块 集，Σ ,表示第j个估计图像块的协方差，j = 1，2,…，W，W表示隐图像块的个数；
[0030] (8)获得每一个估计图像块的最大后验估计值：
[0031] (8a)输入任意一个隐图像块，按照下式，获得与该输入隐图像块所对应的估计图 像块的系数矩阵：
[0032] Λ = (diag(DV μτ?+?ΤΣ?)) Miag (DT μ μτ?+?ΤΣ?)
[0033] 其中，Λ表示估计图像块的系数矩阵，diag(·)表示对角化操作，D表示隐图像块 的字典，T表示转置操作，μ表示估计图像块的均值，Σ表示估计图像块的协方差，-1表示 求逆操作；
[0034] (8b)按照下式，获得隐图像块对应的估计图像块的最大后验估计值：
[0035] x = DA DTz
[0036] 其中，X表示估计图像块的最大后验估计值，D表示隐图像块的字典，Λ表示估计 图像块的系数矩阵，T表示转置操作，ζ表示隐图像块；
[0037] (8c)重复执行步骤（8a)，（8b)所述过程，直至得到每一个估计图像块的最大后验 估计值；
[0038] (9)将所有估计图像块的最大后验估计值拼接成一幅高分辨图像；
[0039] (10)利用下式，计算隐图像与高分辨图像的相对误差： Ilz-Tl! _。] y=~HT
[0041] 其中，γ表示隐图像与高分辨图像的相对误差，Z表示隐图像，T表示高分辨图像， I · 112表示2范数操作；
[0042] (11)判断隐图像与高分辨图像的相对误差是否满足终止条件，如果是，执行步骤 (13);否则，执行步骤（12);
[0043] (12)更新数据：
[0044] 将高分辨图像的像素值赋值给插值后的低分辨图像的像素，执行步骤（3);
[0045] (13)输出一张最优的高分辨图像。
[0046] 本发明与现有的技