图像视频超分辨率方法和装置与流程

本发明属于视频图像处理技术领域，特别是涉及一种图像视频超分辨率方法和装置。

背景技术：

图像超分辨率是指利用计算机把一幅低分辨率的图像放大为一幅高分辨率的图像，并且估计出在放大过程中需要增补的图像信息的一类方法。

视频超分辨率分为两类，一类是指从一个视频中，利用多帧的信息，重建出一个关键帧，在监控中有较多的应用。另一类是指对视频的每一帧进行放大，生成一个高分辨率的视频，主要在视频广播领域内应用。

数字图像生成设备(数码相机、数码摄像机等)的使用已经越来越普及，也使得数字图像得到了越来越广泛的应用。随着电子设备的快速更新换代，CMOS和CCD图像传感器的发展，视频采集和显示设备的分辨率越来越高，不同设备采集的视频的大小也是参差不齐。把高分辨率的视频降采样到低分辨率显示设备上显示相对比较容易，但是把低分辨率视频放大到高分辨率大小显示就相对比较复杂，需要通过低分辨率视频猜测出未知的信息填补到高分辨率视频中，以使重建的高分辨率视频保证足够的清晰度，并且让人眼的感官比较自然。

随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。

视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。

针对视频广播领域的超分辨率通常的单帧图像超分辨率。单帧视频图像的超分辨率通常采用两类方法，一类是基于样例学习的超分辨率算法，一类是基于正则化模型的超分辨率算法。

有研究者在2002年提出了基于样例学习的超分辨方法。在自然图像中，如果把大量的自然图像建立一个数据库。然后把它们切割成很小的图像块，可以发现，这些小图像块会在其他自然图像中或者自身存在的图像中重复出现。甚至，这些图像从宏观上看，并不表示同样的物体。该研究者利用这个思想构建了一个数据库，数据库中存储这些高分辨率的图像小块和它们的降采样版本。当需要进行图像超分辨的时候，待超分辨的低分辨率图像也被切成与数据库中的低分辨率小块同样大小的块，然后，这些小块去数据库中寻找自己的相似版本，把它对应的高分辨率小块作为超分辨率结果贴回图像中，当为所有低分辨率小块都找到它们的高分辨率对应之后，超分辨率的结果也就完成了。

另有研究者在2009年提出了基于图像自相似性的样例学习方式，不需要建立额外的数据库，而是直接从当前图像自身出发，进行降采样，然后这种高分辨率和低分辨率的对应结果作为数据库，进行超分辨率，也取得了不错的效果。

由于数据库的构建过于庞大和冗余，另有研究者在2010年使用了稀疏表示的方法对数据库进行一定的训练，从庞大的数据库中筛选中重要的特征，使图像块的表示尽量的稀疏化，以达到更好的超分辨率效果，并加快后期超分辨率的速度，也取得了不错的效果。

这类基于样例学习的超分辨率方法的虽然能够得到很好的主观效果，但是缺点也是比较明显的：首先，数据库的存储必须占据大量的空间，数据库的精确查找也比较慢，使得算法在空间和时间上的效率不高；另外，超分辨率的数据库的构建中需要确定放大倍数，也使得这类方法的放大倍数比较固定，并不能做到灵活的放大。

另一类方法则是正则化模型。由于从低分辨率图像还原回高分辨率图像的过程是一个不适定的反问题，即反向推导模型不稳定，很容易被噪声干扰得到非常差的结果。正则化模型根据自然图像的统计特性，建立图像先验，构建图像的降质模型，然后，通过求解优化方程的方法得到最终的满足约束的最优估计解，得到最终的还原结果。正则化模型相比于样例超分辨的优势在于:不用构建数据库，即不用大量额外的存储空间和搜索时间；通过构建相应的模型，可以对图像进行任意倍数的放大。

有研究者于2008年提出了根据自然图像的一阶差分的统计特性的分段的先验模型，该模型采用一个分段的函数去逼近自然图像一阶差分的概率统计，使先验模型更加准确，基于这个模型，作者采用特定的优化方法进行求解，得到了比较好的效果。

有研究者于2008年通过分析图像在增大过程中边缘的粗细变化规律建立先验模型，也使得最终生成的图像更加的锐利。

有研究者于2015年提出距离敏感的先验模型，为不同距离大小的物体分配不同的去模糊权重，改进现有的模型，也得到了比较好的图像主客观效果。

技术实现要素：

为了解决上述问题，本发明提供一种基于稀疏性的快速图像视频超分辨率方法，包括如下步骤：输入步骤，输入低分辨率图像；超分辨率步骤，包括插值和去模糊，对所述低分辨率图像进行插值，并通过加权全变差正则化约束的超分辨率模型对所述插值后图像进行去模糊；以及，输出步骤，输出高分辨率图像。

优选为，还包括过量去模糊控制步骤，

对所述插值后的图像进行划分，区分为稀疏边缘、纹理区域和平滑区域，其中，在所述稀疏的边缘和所述纹理区域执行所述去模糊步骤，在所述平滑区域直接使用插值。

优选为，所述超分辨率步骤包括如下步骤：

建模步骤，建立加权全变差正则化约束的超分辨率模型，表示为，

$\hat{x}=\underset{\hat{x}}{\arg \min }\frac{1}{2}\left|\right|DBx-y|{|}_2^2+\mathrm{\μ}W|\left|Vx\right|{|}_1$

其中，表示还原的高分辨率图像，D表示相应倍数的降采样，B表示模糊核，x表示原始高分辨率图像，y表示生产的低分辨率图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；以及，求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。

优选为，所述过量去模糊的控制步骤具体包括如下步骤：

计算所述插值后的图像的梯度值；

利用一个阈值生成一个掩膜，对梯度值进行选择，其中，梯度值大于阈值的部分，代入所述加权全变差正则化约束的超分辨率模型，梯度值小于阈值的部分，使用插值的结果。

优选为，所述建模步骤，具体包括如下步骤：

建立图像降质模型，包括模糊和降采样两个部分，表示为：

$y=D(B\⊗x)$

其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像；

建立超分辨率模型，包括图像插值和去模糊两个部分,表示为：

$\hat{x}=B{\⊗}^{-1}\left(D^{-1}y\right)$

其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^-1表示相应倍数的插值过程，y表示低分辨率图像；以及，

加权全变差正则化约束，采用的加权的全变差约束方式对所述超分辨率模型的还原结果进行约束，使所述还原结果不被噪声干扰，且符合真实图像的结果。

优选地，所述加权全变差正则化约束步骤具体包括：

在观察到低分辨率图像y的情况下，求一个高分辨率的图像使其条件概率最大，表示为下式，

根据贝叶斯公式将所述改写为

$\hat{x}=\underset{x}{\arg \max }-\ln p\left(y\right|x)-\ln p\left(x\right),$

假设低分辨率图像存在的噪声为高斯噪声，后验概率部分表示为

$-\ln p\left(y\right|x)=C\left|\right|DBx-y|{|}_2^2$

其中C为一常系数。

引入真实图像的先验p(x)重建最终的结果；以及采用加权的全变差约束方式，对较大的一阶差分项进行弱约束，对于较小的一阶差分项进行强约束。

优选为，所述加权的全变差约束方式，其约束权重表示为：

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}$

其中，α和β为可以调节的参数，可以选择不同的参数，为上一次迭代求得的最优解x的一阶差分的绝对值，i和j表示像素的坐标。

优选地，所述求解步骤包括以下步骤：

将所述加权TV正则化约束的超分辨率模型改写为下式，并将W初始化

$\hat{x}=\underset{x,z}{\mathrm{argmin}}\frac{1}{2}\left|\right|Bx-y\↑|{|}_2^2+\mathrm{\μ}W|\left|z\right|{|}_1+\frac{\mathrm{\ρ}}{2}\left|\right|Vx-z-y|{|}_2^2$

为全1的对角矩阵，其中y↑为所述低分辨率图像插值得到的结果。求解用权重公式更新权重矩阵W，代入再次求解反复迭代直到收敛。

根据发明的另一发明，提供一种图像视频超分辨率装置，包括：图像输入部、插值部、过量去模糊控制部、去模糊部和图像输出部，其中，所述图像输入部，对低分辨率图像进行输入；所述插值部，对所述低分辨率图像进行插值；所述过量去模糊控制部，计算所述插值后的图像的梯度值，利用一个阈值生成掩膜，对所述梯度值进行选择，将梯度值大于阈值的部分输出到所述去模糊部，将梯度值小于阈值的部分，直接使用插值结果输出到所述图像输出部；去模糊部，通过加权的全变差正则化约束的超分辨率模型，进行去模糊；以及图像输出部，对形成的高分辨率图像进行输出。

根据本发明，采用正则化约束的超分辨率模型，使该模型的曲线更加贴近自然图像真实的一阶差分统计结果，改进了原来的一些逼近先验导致优化方程非凸的现象，使方程的求解更加稳定快速。另外，还为模型设计了快速求解方法，使模型更加实用。同时，通过过量去模糊控制使该方法运行效果更加鲁棒。

附图说明

图1是图像视频超分辨率方法的流程图。

图2是超分辨率步骤的流程图。

图3是建模步骤的流程图。

图4是从数据库中统计的自然图像的一阶差分统计特性曲线；

图5是不同的正则项曲线对比；

图6是一幅低分辨率输入图像的例子；

图7是图像视频超分辨率方法中生成的掩膜的例子；

图8是图像视频超分辨率装置的功能框图。

图9(a)是一般的插值结果的图片，(b)是最终超分辨率的结果的图片。

图10(a)是一般的插值结果的视频帧，(b)是最终超分辨率的结果的视频帧。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是图像视频超分辨率方法的流程图。如图1所示，图像视频超分辨率方法包括如下步骤：输入步骤(S1)，输入低分辨率图像；超分辨率步骤，包括插值步骤(S2)，对所述低分辨率图像进行插值，和去模糊步骤(S3)，通过加权全变差正则化约束的超分辨率模型，进行去模糊；输出步骤(S4)，输出高分辨率图像。

图2是超分辨率步骤的流程图。其中，超分辨率步骤具体地包括建立加权全变差(TV)正则化约束的超分辨率模型步骤(S31)和求解步骤(S32)，更具体地说，如图3所示，包括：

步骤S311，建立图像降质模型。首先建立图像降质模型，描述已知高分辨率图像生成低分辨率图像的过程，一般的图像降质过程包括模糊和降采样两个部分，用公式可以表示为：

$y=D(B\⊗x)---\left(1\right)$

其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像。

步骤S312，建立超分辨率模型。图像超分辨率模型是图像降质模型的逆过程，包括图像插值和去模糊两个部分。用公式可以表示为：

$\hat{x}=B{\⊗}^{-1}\left(D^{-1}y\right)---\left(2\right)$

其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^-1表示相应倍数的插值过程，y表示低分辨率图像。

步骤S313，建立加权TV正则化约束的超分辨率模型。超分辨率模型是一种非常不稳定的模型，即稍微有噪声干扰的情况下，会对还原的结果造成非常大的影响，这种模型在数学上被称为不适定的模型。为了有效的解决这个现象，需要对超分辨率模型的还原结果做一定的约束，使还原的结果不会被噪声干扰，且符合真实图像的结果。

可以从概率的角度去分析这个问题，则将目标描述为在观察到低分辨率图像y的情况下，求一个高分辨率的图像，使其条件概率最大。

$\hat{x}=\underset{x}{\mathrm{argmax}}\ln p\left(x\right|y)---\left(3\right)$

通过，贝叶斯公式，将上述模型改写为

$\hat{x}=\underset{x}{\mathrm{argmin}}-\ln p\left(y\right|x)-\ln p\left(x\right)---\left(4\right)$

假设低分辨率图像存在的噪声为高斯噪声，那么，后验概率部分可以写成

$-\ln p\left(y\right|x)=C\left|\right|DBx-y|{|}_2^2---\left(5\right)$

其中C为一常系数。

如果需要得到符合真实图像的结果，减少噪声的干扰，需要引入真实图像的先验去帮助重建最终的结果。通过对建立的数据库中的测试图片的一阶差分进行统计，得到了统计的概率分布，对统计的曲线取对数，得到的曲线如图4所示。

为了逼近该曲线，传统的方法中采用L_x(x<1)的范数去约束一阶差分项。通常x取0.8，但是，由于L_x(x<1)的范数是非凸的函数，这样对最终的求解造成了比较大的困难，对于模型的实际应用造成一定的难度。本发明提出一种加权的TV模型，TV是指对一阶差分进行L₁约束。TV是凸的函数，采用TV可以快速的求得唯一解。但是TV和一阶差分的自然统计结果并不相似，因此，本发明对TV进行改进，对大的差分结果(强边缘)进行弱约束，对于小的差分结果(平滑区域)进行强约束，通过一种加权策略，使TV使最后的先验约束更加接近自然统计的结果。

采用的加权全变差约束，约束的权重为：

$w_{ij}^{k+1}=\frac{\mathrm{\&alpha;}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\&beta;}}---\left(6\right)$

其中，α和β为可以调节的参数，可以选择不同的参数，为上一次迭代求得的最优解x的一阶差分的绝对值。i和j表示像素的坐标。图5给出了一个特例，在例子中，将α设为2，将β设为1。可以发现，相比于TV和L_0.8，本发明的加权TV正则化约束的超分辨率的曲线更加的向内部凹，代表着所对应的求解结果中，图像的一阶差分会更加的稀疏，也即是说最终的图像结果会更加的锐利。

最终加权TV正则化约束的超分辨率模型可以写成，

$\hat{x}=\underset{\hat{x}}{\mathrm{argmin}}\frac{1}{2}\left|\right|DBx-y|{|}_2^2+\mathrm{\&mu;}W|\left|Vx\right|{|}_1---\left(7\right)$

其中，Vx包括横向、纵向还有斜向的一阶差分，μ是一个可以调节的参数，W是对角的权重矩阵。

接下来，进行对加权TV正则化约束的超分辨率模型的快速求解的步骤(S32)。优化模型需要配合快速的求解算法才能在实际应用中发挥作用。由于(7)不能直接求解，为了快速求解加权TV正则化约束的超分辨率模型，首先将模型改写为(8)，并将W初始化为全1的对角矩阵，其中y↑为低分辨率图像首先插值得到的结果。

$\hat{x}=\underset{x,z}{\mathrm{argmin}}\frac{1}{2}\left|\right|Bx-y\&UpArrow;|{|}_2^2+\mathrm{\&mu;}W|\left|z\right|{|}_1+\frac{\mathrm{\&rho;}}{2}\left|\right|Vx-z-y|{|}_2^2---\left(8\right)$

然后，通过交替迭代法求解得到。

当求解完毕，将代入公式(6)更新每个像素的权重，然后将权重代入公式(8)再次求解，迭代多次，直到收敛。

进一步地，在去模糊步骤(S3)前还包括过量去模糊的控制步骤(S5)，如图1所示。具体地来说，在实验中，我们发现，不需要对图像的所有区域都进行超分辨处理，在图像中大量的平滑区域，直接的插值就可以得出理想的结果。反而，代入上述模型，进行去模糊增强可能产生一些不好的人造现象。而在稀疏的边缘和纹理区域，采用超分辨率算法能够得到很好的结果。所以，在进行去模糊步骤(S3)前，先计算插值后的图像的梯度值。然后，利用一个阈值生成一个掩膜，对梯度值进行选择，其中，梯度值大于阈值的部分，代入加权TV正则化约束的超分辨率模型，梯度值小于阈值的部分，使用插值的结果。图6是一幅低分辨率输入图像的例子。图7是图像视频超分辨率方法中生成的掩膜的例子。

另外，本发明还提供一种图像视频超分辨率装置，如图8所示，包括：图像输入部10、插值部11、过量去模糊控制部12、去模糊部13和图像输出部14，其中，图像输入部10对低分辨率图像进行输入；插值部11对低分辨率图像进行插值；过量去模糊控制部12计算插值后的图像的梯度值，利用一个阈值生成掩膜，对梯度值进行选择，将梯度值大于阈值的部分输出到去模糊部13，将梯度值小于阈值的部分，直接使用插值结果输出到图像输出部14；去模糊部13通过加权的全变差正则化约束的超分辨率算法，进行去模糊；图像输出部14对形成的高分辨率图像进行输出。

本发明的图像视频超分辨率方法提出了一个加权TV正则化先验模型，使该先验模型的曲线更加贴近自然图像真实的一阶差分统计结果，并且改进了原来的一些逼近先验导致优化方程非凸的现象，使方程的求解更加稳定快速。另外，还为模型设计了快速求解算法，相比于其他需要长时间迭代的算法，该模型更加实用。另一方面，经分析发现，只需要在稀疏的边缘和纹理区域运行超分辨率算法就可以得到很好的结果，并且可以减少人造的瑕疵。因此，在进行超分辨率之前，首先计算图像的梯度值，利用一个阈值去生成一个掩膜，选择不同的算法运行不同的部分。梯度大于阈值的部分，代入超分辨模型，小于阈值的部分，使用插值的结果，使算法的运行效果更加鲁棒。图9示出了图像视频超分辨率方法的结果和一般的插值结果的图片对比,其中(a)是一般的插值结果的图片，(b)是最终超分辨率的结果的图片。图10示出了基于稀疏性的快速图像和一般的插值结果的视频帧对比,其中，(a)是一般的插值结果的视频帧，(b)是最终超分辨率的结果的视频帧。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。