图像视频超分辨率方法和装置与流程

技术特征：

1.一种图像视频超分辨率方法，其特征在于，

包括如下步骤：

输入步骤，输入低分辨率图像；

超分辨率步骤，包括插值和去模糊，对所述低分辨率图像进行插值，并通过加权全变差正则化约束的超分辨率模型对所述插值后图像进行去模糊；以及

输出步骤，输出高分辨率图像。

2.根据权利要求1所述的图像视频超分辨率方法，其特征在于，

还包括过量去模糊控制步骤，对所述插值后的图像进行划分，区分为稀疏边缘、纹理区域和平滑区域，其中，在所述稀疏的边缘和所述纹理区域执行所述去模糊步骤，在所述平滑区域直接使用插值。

3.根据权利要求1或2所述的图像视频超分辨率方法，其特征在于，

所述超分辨率步骤包括如下步骤：

建模步骤，建立加权全变差正则化约束的超分辨率模型，表示为，

$\hat{x}=\underset{\hat{x}}{\arg \min }\frac{1}{2}\left|\right|DBx-y|{|}_2^2+\mathrm{\μ}W|\left|Vx\right|{|}_1$

其中，表示还原的高分辨率图像，D表示相应倍数的降采样，B表示模糊核，x表示原始高分辨率图像，y表示生产的低分辨率图像，μ是一个可以调节的参数，W是对角的权重矩阵，Vx包括横向、纵向还有斜向的一阶差分；以及

求解步骤，通过交替迭代法求解得到更新像素权重，迭代多次，直到收敛。

4.根据权利要求2所述的图像视频超分辨率方法，其特征在于，

所述过量去模糊的控制步骤具体包括如下步骤：

计算所述插值后的图像的梯度值；

利用一个阈值生成一个掩膜，对梯度值进行选择，其中，梯度值大于阈值的部分，代入所述加权全变差正则化约束的超分辨率模型，梯度值小于阈值的部分，使用插值的结果。

5.根据权利要求3所述的图像视频超分辨率方法，其特征在于，

所述建模步骤，具体包括如下步骤：

建立图像降质模型，包括模糊和降采样两个部分，表示为：

$y=D(B\⊗x)$

其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像；

建立超分辨率模型，包括图像插值和去模糊两个部分,表示为：

$\hat{x}=B{\⊗}^{-1}\left(D^{-1}y\right)$

其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^-1表示相应倍数的插值过程，y表示低分辨率图像；以及

加权全变差正则化约束，采用的加权的全变差约束方式对所述超分辨率模型的还原结果进行约束，使所述还原结果不被噪声干扰，且符合真实图像的结果。

6.根据权利要求5所述的图像视频超分辨率方法，其特征在于，

所述加权全变差正则化约束步骤具体包括：

在观察到低分辨率图像y的情况下，求一个高分辨率的图像使其条件概率最大，表示为下式，

$\hat{x}=\underset{x}{\arg \max }\ln p\left(x\right|y);$

引入真实图像的先验重建最终的结果；以及

采用加权的全变差正则化约束方式，对较大的一阶差分项进行弱约束，对于较小的一阶差分项进行强约束。

7.根据权利要求5或6所述的图像视频超分辨率方法，其特征在于，

所述加权的全变差正则化约束的权重表示为：

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}$

其中，α和β为可以调节的参数，可以选择不同的参数，为上一次迭代求得的最优解x的一阶差分的绝对值，i和j表示像素的坐标。

8.根据权利要求6所述的图像视频超分辨率方法，其特征在于，

根据贝叶斯公式将所述改写为

$\hat{x}=\underset{x}{\mathrm{argmin}}-\ln p\left(y\right|x)-\ln p\left(x\right),$

假设低分辨率图像存在的噪声为高斯噪声，后验概率部分表示为

$-\ln p\left(y\right|x)=C\left|\right|DBx-y|{|}_2^2,$

其中C为一常系数。

9.根据权利要求3所述的基于稀疏性的快速图像视频超分辨率方法，其特征在于，

所述求解步骤包括以下步骤：

将所述加权全变差正则化约束的超分辨率模型改写为下式，并将W初始化为全1的对角矩阵，其中y↑为所述原始低分辨率图像插值得到的结果，

$\hat{x}=\underset{x,z}{\arg \min }\frac{1}{2}\left|\right|Bx-y\↑|{|}_2^2+\mathrm{\μ}W|\left|z\right|{|}_1+\frac{\mathrm{\ρ}}{2}\left|\right|Vx-z-y|{|}_2^2$

当求解完毕，将代入公式

$w_{ij}^{k+1}=\frac{\mathrm{\α}}{\left|{\mathrm{Vx}}_{ij}^k\right|+\mathrm{\β}}$

更新每个像素的权重，然后把权重代入所述改写后的加权全变差正则化约束的超分辨率模型，再次求解迭代多次，直到收敛。

10.一种图像视频超分辨率装置，其特征在于，

包括：图像输入部、插值部、过量去模糊控制部、去模糊部和图像输出部，其中，

所述图像输入部，对低分辨率图像进行输入；

所述插值部，对所述低分辨率图像进行插值；

所述过量去模糊控制部，计算所述插值后的图像的梯度值，利用一个阈值生成掩膜，对所述梯度值进行选择，将梯度值大于阈值的部分输出到所述去模糊部，将梯度值小于阈值的部分，直接使用插值结果输出到所述图像输出部；

去模糊部，通过加权的全变差正则化约束的超分辨率模型，进行去模糊；以及，

图像输出部，对形成的高分辨率图像进行输出。