一种图像、视频超分辨率放大的系统与方法
【技术领域】
[0001] 本发明涉及一种图像、视频超分辨率放大的系统与方法，应用于数字图像处理、视 频处理、广播电视制作、上变换、非线性编辑等领域。
【背景技术】
[0002] 随着数字图像处理技术与显示设备技术的发展，提高图像的分辨率以用于进一步 处理成为常见的图像编辑操作；不管是从理论还是实践，如何在保证更少失真的情况下复 现出图像分辨率提高后的中间缺少像素的颜色值，都是一项极具挑战性的工作。
[0003] 最简单并且效率最高的提高图像分辨率的算法是直接拷贝相邻位置像素的颜色 值作为中间缺少像素的颜色值，其缺陷主要是会造成输出图像边缘的锯齿。
[0004] 更进一步的算法是使用双线性插值处理，利用相邻位置的两个方向共四个像素的 颜色值进行线性插值，这能在一定程度上减少输出图像边缘的锯齿效应，但是对于细节丰 富的图像，其分辨率提高后的图像会造成明显的细节失真。
[0005] 更能保留细节的算法是使用双三次线性插值，在水平和垂直方向上，均使用相邻 的四个像素的颜色值进行线性插值，由于系统包含有负值的成份，因此一定程度上能减轻 细节丢失的程度，能更好的保留细节信息。
[0006] 通常使用的线性插值算法均属于有限窗口大小的有限脉冲低通滤波器，当对输入 图像进行高分辨率放大时，会明显的造成输出图像的振铃、锯齿、模糊等现象，因此如何在 放大更多倍的分辨率时保持更少的图像失真，成为多年以来的主要研宄课题。
[0007] 有人提出了 一种新的基于边缘方向的内插方法，首先估计低分辨率图像的局部区 域协方差系数，同时为了降低计算的复杂度，采用双线性插值与基于协方差的自适应插值 相切换的结合方法，生成高分辨率的输出图像。
[0008] 有人提出了一种基于实例的超分辨率方法，使用从任意自然图像中获取的小图像 块建立通用实例数据库，并且作用于低分辨率图像放大到高分辨率图像后的分块匹配相似 性补偿，虽然这能提供一些相似性的补偿作用，但是放大后的图像与原始图像应该具有更 高的相似性。
【发明内容】
[0009] 本发明的目的在于克服现有技术的不足，提供一种图像、视频超分辨率放大的系 统与方法，能在减弱振铃噪声、图像模糊、边缘锯齿等方面得到可接受的主观画面质量，并 且不仅能用于常用的相机和DV等分辨率较大的图像，也能用于分辨率非常小的互联网照 片的放大显示。
[0010] 本发明的目的是通过以下技术方案来实现的：一种图像、视频超分辨率放大的系 统，它包括第一存储器、第一缓冲器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减 法模块、第四缓冲器、Patch匹配模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三 次插值下采样模块和第二存储器；
[0011] 所述的第一存储器接收输入原始图像，输出端与第一缓冲器的原始图像输入端连 接，第一缓冲器的输出端1与内插滤波器连接，内插滤波器的输出端与第二缓冲器连接，第 二缓冲器的输出端1与抽取滤波器连接，抽取滤波器的输出端与第三缓冲器连接，第三缓 冲器的输出端和第一缓冲器的输出端2分别与减法模块连接，减法模块的输出端与第四 缓冲器连接，第四缓冲器的输出端和第二缓冲器的输出端2分别与Patch匹配模块连接， Patch匹配模块的输出端与第五缓冲器连接，第五缓冲器的输出端与校正模块连接、校正模 块的输出端和第二缓冲器的输出端3分别与加法模块连接，加法模块的输出端与第一缓冲 器的合成图像输入端连接，第一缓冲器的输出端3与第六缓冲器连接，第六缓冲器的输出 端与双三次插值下采样模块连接，双三次插值下采样模块的输出端与第二存储器连接，第 二存储器输出图像；
[0012] 所述的减法模块用储存在第一缓冲器中的图像减去储存在第三缓冲器中的图 像；
[0013] 所述的第五缓冲器中存储有和第二缓冲器中图像大小相同并且已经清零的图 像；
[0014] 所述的第一缓冲器的原始图像输入端接收的原始图像，并输出给内插滤波器和减 法模块，第一缓冲器的合成图像输入端接收的合成图像在分辨率小于输出图像时，将合成 图像输出给内插滤波器和减法模块，在分辨率不小于输出图像时，将和成图像输出给第六 缓冲器。
[0015] -种图像、视频超分辨率放大的方法，它包括以下步骤：
[0016] SI.将需要处理的原始图像Al输入并存储在第一存储器和第一缓冲器中；
[0017] S2.用内插滤波器处理存储在第一缓冲器中的图像A1，得到放大后的低频带平滑 图像A2并存储在第二缓冲器中；
[0018] S3.用抽取滤波器处理存储在第二缓冲器中的图像A2,得到与Al分辨率相同的低 频带平滑图像A3并存储在第三缓冲器中；
[0019] S4.用减法模块处理存储在第一缓冲器中的图像Al和存储在第三缓冲器中的图 像A3，得到高频细节图像A4并存储在第四缓冲器中；
[0020] S5.准备与存储在第二缓冲器中的图像A2大小相同的图像，并将其清零后存储在 第五缓冲器中；
[0021] S6.使用Patch模块对图像A2进行Patch分块后，图像A4里的相应映射位置进 行匹配运算，找到误差最小的Patch，并将储存在第四缓冲器中的图像A4中对应的块的值 累加到储存在第五缓冲器中的图像的相应位置块中，并使用校正模块校正调节高频补偿系 数，得到高频带补偿图像A5;
[0022] S7.使用加法模块对存储在第二缓冲器中的图像A2和高频带补偿图像A5进行加 法运算，得到合成图像A6,并输入第一缓冲器中更新第一缓存器存储的图像；
[0023] S8.系统比较合成图像A6的分辨率和输出图像A7所要求的分辨率：
[0024] (1)当合成图像A6的分辨率小于输出图像A7所要求的分辨率时，转跳到步骤S2 ;
[0025] (2)当合成图像A6的分辨率不小于输出图像A7所要求的分辨率时，将合成图像 A6传输给第六缓冲器；
[0026] S9.将第六缓冲器中的合成图像A6经过双三次插值下采样模块处理后得到输出 图像A7,将输出图像A7存储到第二存储器中并输出。
[0027] 所述的步骤S6包括以下子步骤：
[0028] S61.使用Patch模块对存储在第二缓冲器中的图像A2进行Patch分块；
[0029] S62.在存储在第四缓冲器中的图像A4里的相应映射位置进行固定窗口大小的局 部区域内的块匹配运算，找到误差最小的Patch ;
[0030] S63.将图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块 中；
[0031] S64.通过校正模块调节高频补偿系数，对第五缓冲器中得到的图像进行处理，获 得到高频带补偿图像A5。
[0032] 所述的步骤S9包括以下子步骤：
[0033] S91.系统比较合成图像A6和输出图像A7要求的分辨率：
[0034] (1)当合成图像A6的分辨率与输出图像A7要求的分辨率相同时，双三次插值下采 样模块不经过处理直接将合成图像A6传输给第二存储器得到输出图像A7 ;
[0035] (2)当合成图像A6的分辨率与输出图像A7要求的分辨率不相同时，使用双三次插 值下采样模块处理合成图像A6并传输给第二存