一种视频超分辨率处理方法
【专利摘要】本发明公开了一种视频超分辨率处理方法，包括以下步骤：对接收的待处理的视频中的各帧图像进行如下处理操作：1）将当前帧图像划分为多个图像块；2）对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块：1.检测获取当前块的相似块；2.对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块；3.将各相似块的上采样图像块融合成一个超分辨率图像块；3）按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。本发明的视频超分辨率处理方法，利用空间域上相近似的图像块和/或时间域上相近似的图像块，可提高处理效果。
【专利说明】一种视频超分辨率处理方法
【【技术领域】】
[0001]本发明涉及计算机视频处理领域，特别是涉及一种基于自相似块匹配的视频超分
辨率处理方法。
【【背景技术】】
[0002]超分辨率处理技术是一种提高视频或者图像的分辨率的技术，通俗的理解即是通过硬件或软件的方法提高原有图像的分辨率。图像视频在其获取收集、传输储存等过程中由于某些因素的制约，可能导致其质量水平下降或者过低。随着计算机多媒体技术的发展，人们对数字图像清晰度的要 求越来越高，因此经常需要通过超分辨率处理提高视频或者图像的分辨率，同时希望处理后的视频清晰度较高。现有的视频超分辨率处理方法，通常通过上采样处理后获得高分辨率图像。改进时一般对上采样过程不断改进，从而提高处理效果。然而，现有的处理方法得到的高分辨率图像仍然存在清晰度较差，超分辨率处理效果不好的问题。
【
【发明内容】
】
[0003]本发明所要解决的技术问题是:弥补上述现有技术的不足，提出一种视频超分辨率处理方法，在提高图像分辨率的同时确保图像清晰度，提高了超分辨率处理效果。
[0004]本发明的技术问题通过以下的技术方案予以解决:
[0005]一种视频超分辨率处理方法，包括以下步骤:对接收的待处理的视频中的各帧图像进行如下处理操作:1)将当前帧图像划分为多个图像块；2)对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块:21)在当前帧图像中检测获取当前图像块的相似块和/或在当前帧图像的前L帧、后K帧图像中检测获取当前图像块对应的图像块的相似块，得到当前图像块的多个相似块；其中，L和K均为大于等于O的整数，且L和K不同时为0，具体取值由用户根据处理精度和处理速度的要求进行设定；22)对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块；23)将各相似块的上采样图像块融合成一个超分辨率图像块；3)按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。
[0006]本发明与现有技术对比的有益效果是:
[0007]本发明的视频超分辨率处理方法，对划分的多个图像块，分别检测获取各图像块在当前帧图像中相匹配的块和/或在前后领域帧图像中相匹配的块，即获取了空间域上相近似的图像块和/或时间域上相近似的图像块，后续再进行上采样、图像块融合等步骤。这样，在超分辨率处理过程中充分地利用了视频序列时域上以及空域上的信息，即充分利用相似图像块中的亚像素信息，确保融合重建依据的信息量充足，从而在提高图像分辨率的同时确保图像清晰度，提高了超分辨率处理效果。【【专利附图】
【附图说明】】
[0008]图1是本发明【具体实施方式】的视频超分辨率处理方法中对各帧图像处理的流程图；
[0009]图2是本发明【具体实施方式】的视频超分辨率处理方法中检测获取相似块的方法流程图；
[0010]图3是本发明【具体实施方式】的视频超分辨率处理方法中重叠划分块时的示意图。【【具体实施方式】】
[0011]下面结合【具体实施方式】并对照附图对本发明做进一步详细说明。[0012]本发明的构思是:通过研究自相似图像块与提高视频清晰度之间的相关性，在超分辨率处理的上采样算法的基础上，利用相似图像块集合中的亚像素信息来实现超分辨率，从而在提高视频分辨率的同时确保重建后图像的清晰度。超分辨率处理时，首先将当前帧图像划分为多个图像块，对于划分出来的每一个图像块，在当前帧空域上以及时间域上前后帧寻找与之相似的匹配图像块，并将所有相似的匹配图像块组合在一起构成相似块集合。然后将相似块集合中图像块分别采用上采样算法进行上采样，得到上采样后尺寸较大的相似图像块数组，最后将这些图像块数组融合为一个图像块便得到了超分辨率后的一个图像块。类似地，将当前帧内划分出来的所有图像块按照上述方法处理便可以得到一帧超分辨率后的图像。将视频中各帧图像均进行上述超分辨率处理，即得到分辨率提高且清晰度较好的视频。
[0013]本【具体实施方式】中视频超分辨率处理方法，处理针对的视频序列为通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限。处理时，对视频中的各帧图像均进行如图1所示的超分辨率处理操作，具体包括以下步骤:
[0014]Ul)将当前帧图像划分为多个图像块。
[0015]该步骤中，划分图像块有多种实现方式，一种方式是，将当前帧图像按照固定形状(如统一的正方形窗口)大小划分成多个图像块，例如将包含256个像素点的图像划分为4个8X8的图像块，或者16个4X4的图像块。再例如采用类似BM3D算法中的平方窗图像块，将图像划分为多个块。还有一种方式是，采用8方向LPA-1CI (Local PolynomialApproximation-1nter section of Confidence Intervals,简称 LPA-1CI)法求图像的自适应图像块形状，从而将当前帧图像划分为多个自适应的图像块。划分图像块的方式有多种，上述仅为示例性，其它可用于划分图像的方法均可以应用于此。
[0016]U2)对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块:
[0017]U21)检测获取当前图像块的多个相似块，具体为:在当前帧图像中检测获取当前图像块的相似块和/或在当前帧图像的领域帧图像中检测获取当前图像块对应的图像块的相似块，得到当前图像块的多个相似块。其中，领域帧图像为前L帧、后K帧图像，其中L和K均为大于等于O的整数，且L和K不同时为0，具体取值由用户根据处理精度和处理速度的要求进行设定。
[0018]该步骤中，检测获取相似块时，包括获取当前帧空域相似块和/或前后帧时域相似块。如果既获取空域相似块，又获取时域相似块，则精度较高，但相应运算量较大。因此用户可根据处理精度和速度的要求设定是获取其中一类相似块较为合适还是同时获取两类相似块较为合适。再者，结合后续超分辨率处理的步骤，可知处理过程的运算复杂度主要体现在检测获取相似块的过程中，但由于寻找相似块有较多实现方法，因此可以在保证视频超分辨率效果的情况下，尽量选择计算复杂度较低的检测方法。
[0019]本【具体实施方式】中在空间域或者时间域检测获取相似块时如图2所示，包括以下步骤:
[0020]100)检测获取多个候选块。
[0021]该步骤中，获取候选块时有多种方式。图2中仅示例性地列举一种计算复杂度较低的获取候选块的具体方法，包括如下步骤:
[0022]P)设定窗口:以当前待寻找相似块的图像块为中心，设定WXW大小的窗口，其中，W为用户设定的经验值。如果在当前帧中寻求获取空间域相似块，则以当前图像块为中心，设定窗口。如果在邻域帧中寻求获取时间域相似块，则以当前帧图像中当前图像块在相应邻域中对应的图像块为中心，设定窗口。
[0023]根据后续检测获取候选块直至确定为相似块的过程，可知后续的运算量与此处设定的搜索范围有关联。如果W设定较大，例如WXW的窗口为全局图像范围，那么后续得到的相似块就多，相应超分辨处理的运算量就大，当然好处就是处理精度会较好；如果W设定较小，例如WX W的窗口仅仅为当前图像块周围一个较小的局部图像范围，那么后续得到的相似块就少，相应超分辨处理的运算量就小，当然缺点就是处理精度会稍差一些。因此，用户可根据超分辨率处理的速度和精度的要求综合设定:如果对超分辨率处理速度要求较高，则使用局部化的块匹配，即缩小寻找相似块的局部区域范围(减小W的值)以及减少搜索时间域上前后邻域帧的数量(减小L和K的值)。
[0024]q)设定左上角块:在所述窗口中，取左上角块，所述左上角块的形状、大小与当前待寻找相似块的图像块的形状、大小相同。
[0025]该步骤中，如果前述步骤Ul)中将当前帧图像划分为多个正方形块，那么针对当前帧图像中当前块寻找相似块时，此处左上角块即取相同大小的正方形块。如果前述步骤U1)中将当前帧图像划分为多个不规则形状块，那么寻找相似块时，此处左上角块即取与当前块相同大小和形状的不规则形状块。
[0026]r)滑动所述左上角块，得到多个候选块:将所述左上角块沿着水平向右和竖直向下的方向按设定的步进尺度滑动，得到多个候选块。该步骤中，步进尺度可为一个像素点或者多个像素点。
[0027]通过如上步骤P)至步骤r)，即实现了步骤100)中确定候选块的过程。确定出多个候选块后，即进入步骤200)至步骤300)。
[0028]200)计算各个候选块与当前待寻找相似块的图像块的颜色距离。
[0029]该步骤中，两个图像块之间的颜色距离d可根据如下公式计算:
[0030]
【权利要求】
1. 一种视频超分辨率处理方法，其特征在于:包括以下步骤:对接收的待处理的视频中的各帧图像进行如下处理操作: 1)将当前帧图像划分为多个图像块； 2)对当前帧图像中的各个图像块，分别进行如下处理，得到各个图像块的超分辨率图像块: 21)在当前帧图像中检测获取当前图像块的相似块和/或在当前帧图像的前L帧、后K帧图像中检测获取当前图像块对应的图像块的相似块，得到当前图像块的多个相似块；其中，L和K均为大于等于O的整数，且L和K不同时为O，具体取值由用户根据处理精度和处理速度的要求进行设定； 22)对当前图像块的多个相似块分别进行上采样处理，得到各相似块的上采样图像块； 23)将各相似块的上采样图像块融合成一个超分辨率图像块； 3)按照各个图像块在当前帧图像中的位置，将各个图像块的超分辨率图像块整合成一幅图像，得到当前帧图像的超分辨率处理图像。
2.根据权利要求1所述的视频超分辨率处理方法，其特征在于:所述步骤21)检测获取当前图像块或者当前图像块对应的图像块的相似块时包括如下步骤:100)检测获取多个候选块；200)计算各个候选块与当前待寻找相似块的图像块的颜色距离；300)比较各个候选块对应的颜色距离与设定的阈值之间的大小，将颜色距离小于所述阈值的候选块保留作为当前待寻找相似块的图像块的相似块。
3.根据权利要求2所述的视频超分辨率处理方法，其特征在于:所述步骤100)中还包括扩充候选块的步骤:将得到的所述候选块对称翻转或者左右旋转多个角度得到多个转动块，也作为当前图像块的候选块；其中多个角度为遍布0°~90°范围内等间隔分布的多个角度。
4.根据权利要求2或3所述的视频超分辨率处理方法，其特征在于:所述步骤100)和步骤200)之间还包括筛选多个所述候选块的步骤100’ ):a)计算当前图像块中像素点的像素值的均值或者方差；b)计算各个候选块中像素点的像素值的均值或者方差；c)计算步骤b)中均值或者方差与步骤a)中均值或者方差的差值；d)比较所述均值或者方差的差值与设定的均值或者方差的阈值的大小，保留所述差值小于所述阈值的候选块，去除所述差值大于等于所述阈值的候选块。
5.根据权利要求2所述的视频超分辨率处理方法，其特征在于:所述步骤100)包括以下步骤:P)以当前待寻找相似块的图像块为中心，设定WXW大小的窗口，其中，W为用户设定的经验值；q)在所述窗口中，取左上角块，所述左上角块的形状、大小与当前待寻找相似块的图像块的形状、大小相同；r)将所述左上角块沿着水平向右和竖直向下的方向按设定的步进尺度滑动，得到多个候选块。
6.根据权利要求1所述的视频超分辨率处理方法，其特征在于:所述步骤22)中，上采样处理时采用bicubic/nnedi3插值算法或者SmartEdge上采样算法。
7.根据权利要求1所述的视频超分辨率处理方法，其特征在于:所述步骤23)中融合时，对于当前图像块中的当前像素点，取各上采样图像块中的相应像素点，计算相应像素点的像素值的中值、平均值或者加权平均值，作为当前像素点在超分辨率图像块中的像素值；其中，加权系数根据当前图像块与上采样图像块对应的相似块之间的颜色距离确定，与颜色距离成反比，具体取值为用户设定的经验值。
8.根据权利要求1所述的视频超分辨率处理方法，其特征在于:所述步骤I)中划分图像时，将相邻图像块之间重叠2~5个像素点宽度的范围划分图像；所述步骤3)整合时，未重叠的位置处的图像，直接取相应超分辨率图像块中相应像素点的像素值；重叠的位置处的图像，取重叠处涉及的超分辨率图像块中相应像素点的像素值的平均值。
9.根据权利要求1所述的视频超分辨率处理方法，其特征在于:所述步骤I)中划分图像时，按照设定的固定形状划分图像或者根据当前帧图像中像素点的像素值计算出自适应的图像块形状后按照自适应的图像块形状划分图像。
10.根据权利要求1所述的视频分辨率处理方法，其特征在于:还包括输出视频的步骤:将处理后得到的各帧超 分辨率处理图像按照时间顺序进行整合，输出超分辨率处理后的视频。
【文档编号】G06T5/50GK103632359SQ201310689367
【公开日】2014年3月12日 申请日期:2013年12月13日 优先权日:2013年12月13日
【发明者】张磊, 肖煜东, 索津莉, 张永兵, 戴琼海 申请人:清华大学深圳研究生院