储器得到输出图像A7 ;
[0036] S92.将存储在第二存储器中的输出图像A7输出。
[0037] 所述的内插滤波器的处理包括以下子步骤：先对初始像素进行分组，并拷贝至指 定位置中，同时中间的缝隙像素填〇,然后对所有像素进行平滑滤波，公式如下：
[0038]
【主权项】
1. 一种图像、视频超分辨率放大的系统，其特征在于：它包括第一存储器、第一缓冲 器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减法模块、第四缓冲器、Patch匹配 模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三次插值下采样模块和第二存储 器； 所述的第一存储器接收输入原始图像，输出端与第一缓冲器的原始图像输入端连接， 第一缓冲器的输出端1与内插滤波器连接，内插滤波器的输出端与第二缓冲器连接，第二 缓冲器的输出端1与抽取滤波器连接，抽取滤波器的输出端与第三缓冲器连接，第三缓冲 器的输出端和第一缓冲器的输出端2分别与减法模块连接，减法模块的输出端与第四缓冲 器连接，第四缓冲器的输出端和第二缓冲器的输出端2分别与Patch匹配模块连接，Patch 匹配模块的输出端与第五缓冲器连接，第五缓冲器的输出端与校正模块连接、校正模块的 输出端和第二缓冲器的输出端3分别与加法模块连接，加法模块的输出端与第一缓冲器的 合成图像输入端连接，第一缓冲器的输出端3与第六缓冲器连接，第六缓冲器的输出端与 双三次插值下采样模块连接，双三次插值下采样模块的输出端与第二存储器连接，第二存 储器输出图像； 所述的减法模块用储存在第一缓冲器中的图像减去储存在第三缓冲器中的图像； 所述的第五缓冲器中存储有和第二缓冲器中图像大小相同并且已经清零的图像； 所述的第一缓冲器的原始图像输入端接收的原始图像，并输出给内插滤波器和减法模 块，第一缓冲器的合成图像输入端接收的合成图像在分辨率小于输出图像时，将合成图像 输出给内插滤波器和减法模块，在分辨率不小于输出图像时，将和成图像输出给第六缓冲 器。
2. -种图像、视频超分辨率放大的方法，其特征在于：它包括以下步骤：
51. 将需要处理的原始图像A1输入并存储在第一存储器和第一缓冲器中；
52. 用内插滤波器处理存储在第一缓冲器中的图像A1，得到放大后的低频带平滑图像 A2并存储在第二缓冲器中；
53. 用抽取滤波器处理存储在第二缓冲器中的图像A2，得到与A1分辨率相同的低频带 平滑图像A3并存储在第三缓冲器中；
54. 用减法模块处理存储在第一缓冲器中的图像A1和存储在第三缓冲器中的图像A3， 得到高频细节图像A4并存储在第四缓冲器中；
55. 准备与存储在第二缓冲器中的图像A2大小相同的图像，并将其清零后存储在第五 缓冲器中；
56. 使用Patch模块对图像A2进行Patch分块后，图像A4里的相应映射位置进行匹配 运算，找到误差最小的Patch，并将储存在第四缓冲器中的图像A4中对应的块的值累加到 储存在第五缓冲器中的图像的相应位置块中，并使用校正模块校正调节高频补偿系数，得 到高频带补偿图像A5 ;
57. 使用加法模块对存储在第二缓冲器中的图像A2和高频带补偿图像A5进行加法运 算，得到合成图像A6,并输入第一缓冲器中更新第一缓存器存储的图像；
58. 系统比较合成图像A6的分辨率和输出图像A7所要求的分辨率： (1) 当合成图像A6的分辨率小于输出图像A7所要求的分辨率时，转跳到步骤S2 ; (2) 当合成图像A6的分辨率不小于输出图像A7所要求的分辨率时，将合成图像A6传 输给第六缓冲器； S9.将第六缓冲器中的合成图像A6经过双三次插值下采样模块处理后得到输出图像A7,将输出图像A7存储到第二存储器中并输出。
3. 根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的步 骤S6包括以下子步骤：
561. 使用Patch模块对存储在第二缓冲器中的图像A2进行Patch分块；
562. 在存储在第四缓冲器中的图像A4里的相应映射位置进行固定窗口大小的局部区 域内的块匹配运算，找到误差最小的Patch;
563. 将图像A4中对应的块的值累加到储存在第五缓冲器中的图像的相应位置块中；
564. 通过校正模块调节高频补偿系数，对第五缓冲器中得到的图像进行处理，获得到 高频带补偿图像A5。
4. 根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的步 骤S9包括以下子步骤：
591. 系统比较合成图像A6和输出图像A7要求的分辨率： (1) 当合成图像A6的分辨率与输出图像A7要求的分辨率相同时，双三次插值下采样模 块不经过处理直接将合成图像A6传输给第二存储器得到输出图像A7 ; (2) 当合成图像A6的分辨率与输出图像A7要求的分辨率不相同时，使用双三次插值下 采样模块处理合成图像A6并传输给第二存储器得到输出图像A7 ;
592. 将存储在第二存储器中的输出图像A7输出。
5. 根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的内 插滤波器的处理包括以下子步骤：先对初始像素进行分组，并拷贝至指定位置中，同时中间 的缝隙像素填〇,然后对所有像素进行平滑滤波，公式如下：
上式中，n表示滤波器组个数，I表示拷贝后的原始像素和缝隙像素组成的新的图像序 列，f?表示滤波器组，*代表卷积运算，经过这个过程，便得到上采样图像U，即所述的图像 A2〇
6. 根据权利要求5所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的抽 取滤波器直接使用低通滤波器组对所述的上采样图像U进行卷积，并抽取部分像素而组成 一幅新的图像，公式如下： D(k) =U*fk， 上式中，D(k)表示卷积后抽取的第k个下采样图像，U所述的上采样图像，f?表示滤波 器组，*代表卷积运算，组合n幅D(k)图像得到所需的下采样图像D，即所述的图像A3。
7. 根据权利要求2所述的一种图像、视频超分辨率放大的方法，其特征在于：所述的校 正模块通过调节高频补偿系数，人为的调节需要补偿的高频信息的程度，如线性补偿，公式 如下：
上式中，h和W分别表示处理图像的高度和宽度，％和bu分别表示两幅图像位于第i行第j列的像素值，k表示高频补偿系数，其中kG[〇, 1]。
【专利摘要】本发明公开了一种图像、视频超分辨率放大的系统与方法，它的系统包括第一存储器、第一缓冲器、内插滤波器、第二缓冲器、抽取滤波器、第三缓冲器、减法模块、第四缓冲器、Patch匹配模块、第五缓冲器、校正模块、加法模块、第六缓冲器、双三次插值下采样模块和第二存储器。发明提供了一种图像、视频超分辨率放大的系统与方法，能在减弱振铃噪声、图像模糊、边缘锯齿等方面得到可接受的主观画面质量，并且不仅能用于常用的相机和DV等分辨率较大的图像，也能用于分辨率非常小的互联网照片的放大显示。
【IPC分类】H04N5-262
【公开号】CN104580931
【申请号】CN201510033127
【发明人】赖守波, 韩志宏, 余刚, 李景颉, 李广群, 王高飞
【申请人】成都索贝数码科技股份有限公司
【公开日】2015年4月29日
【申请日】2015年1月22日