视频分辨率提升方法及装置与流程

本发明涉及视频处理技术领域，特别是涉及视频分辨率提升方法及装置。

背景技术：

网络视频是近年来一个发展非常迅速的行业，在人们的生活中扮演着越来越重要的角色。随着相关信息技术的发展和各种终端设备的不断升级，用户对网络视频的分辨率要求越来越高。虽然视频分辨率越高，清晰度越好，但相应的也需要更高的带宽来进行网络传输，增加网络视频运营商及终端用户的开销。

为了满足用户对高清网络视频的需求，同时缩减网络视频的传输开销，相关技术通常采用分辨率提升技术(超分辨率技术)在视频播放环节提升网络视频的分辨率，即在播放视频的同时，将从下载或缓冲的网络视频从低分辨率视频实时放大成高分辨率视频。目前，普遍采用的提升视频分辨率的方法包括基于双线性插值的处理方法、基于双三次插值的处理方法等，通过在网络视频播放器中内置相应的处理模块，来对播放器所下载的网络视频中每一帧图像的分辨率进行实时提升。

上述基于插值的分辨率提升技术处理速度快、便于视频播放过程中的实时处理，但是无论基于双线性插值的处理方法，还是基于双三次插值的处理方法，其插值信号中缺少与原始信号的高频部分相对应的信息，即插值信号中缺少高频信息，从而会导致处理后的视频图像边缘和细节缺失，使得图像变得模糊，严重影响视频的清晰度。

技术实现要素：

为了解决上述技术问题，本申请公开了一种视频分辨率提升方法及装置。

第一方面，本申请提供了一种视频分辨率提升方法，所述方法包括：

对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；

对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号；其中，所述第一信号与所述原始信号等体积；

对所述第一信号进行增强；

对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。

结合第一方面，在第一方面第一种可行的实施方式中，对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号，包括：

将所述初始放大信号s[n]分割为互相关联的第一分割信号s_e[n/2]和第二分割信号s_o[n/2]；

根据公式d[n/2]＝s_o[n/2]-P(s_e[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；

根据公式c[n/2]＝s_e[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。

结合第一方面第一种可行的实施方式，在第一方面第二种可行的实施方式中，对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号，包括：

根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；

根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；

将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。

结合第一方面，或者第一方面第一种可行的实施方式，或者第一方面第二种可行的实施方式，在第一方面第三种可行的实施方式中，所述对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，包括：

对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作或者基于双三次插值法的上采样操作。

结合第一方面，或者第一方面第一种可行的实施方式，或者第一方面第二种可行的实施方式，在第一方面第四种可行的实施方式中，所述方法还包括：

根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数；

所述对所述初始放大信号进行小波正变换，包括：对所述初始放大信号进行n次小波正变换；

所述对所述第二信号和增强后的第一信号进行小波逆变换，包括：对所述第二信号和增强后的第一信号进行n次小波逆变换。

第二方面，本申请提供了一种视频分辨率提升装置，所述装置包括：

上采样单元，用于对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号；

正变换单元，用于对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号；其中，所述第一信号与所述原始信号等体积；

增强单元，用于对所述第一信号进行增强；

逆变换单元，用于对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。

结合第二方面，在第二方面第一种可行的实施方式中，所述正变换单元，包括：

分割单元，用于将所述初始放大信号s[n]分割为互相关联的第一分割信号s_e[n/2]和第二分割信号s_o[n/2]；

预测单元，用于根据公式d[n/2]＝s_o[n/2]-P(s_e[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；

更新单元，用于根据公式c[n/2]＝s_e[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。

结合第二方面第一种可行的实施方式，在第二方面第二种可行的实施方式中，所述逆变换单元包括：

逆更新单元，用于根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；

逆预测单元，用于根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；

合并单元，用于将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。

结合第二方面，或者第二方面第一种可行的实施方式，或者第二方面第二种可行的实施方式，在第二方面第三种可行的实施方式中，所述上采样单元包括以下至少一种：

第一上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作；

第二上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双三次插值法的上采样操作。

结合第二方面，或者第二方面第一种可行的实施方式，或者第二方面第二种可行的实施方式，在第二方面第四种可行的实施方式中，所述装置还包括：

变换次数确定单元，用于根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数；

相应的，所述正变换单元具体被配置为，对所述初始放大信号进行n次小波正变换；

所述逆变换单元具体被配置为，对所述第二信号和增强后的第一信号进行n次小波逆变换。

由以上技术方案可知，本申请实施例通过小波正变换将对原始信号上采样得到的初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息；然后对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换，将对第一信号的增强传递到第二信号中，从而补偿第二信号中的高频损失；即相对于初始放大信号，经过小波逆变换得到的整个最终放大信号的高频信息均得以补偿，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实施例提供的视频分辨率提升方法的流程图；

图2为对视频信号进行上采样的原理示意图；

图3为本申请一个实施例提供的对相关信号进行小波变换的原理示意图；

图4为本申请一个实施例提供的对相关信号进行两次小波正变换的原理示意图；

图5为本申请一个实施例提供的视频分辨率提升装置的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附 图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

首先对本申请提供的视频分辨率提升方法的实施例进行说明。图1为本申请一个实施例提供的视频分辨率提升方法流程图；该视频分辨率提升方法以帧为单位对网络视频播放器下载的目标视频进行实时处理，即针对目标视频的每帧图像分别执行本申请实施例所述的步骤，从而得到各帧图像放大后的图像。参照图1，该视频分辨率提升方法包括如下步骤。

S11、对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号。

如图2所示，对于任一帧图像对其原始信号进行基于插值法的上采样操作，可以得到相应的初始放大信号s[n]。该初始放大信号s[n]由两部分构成：第一部分为s[m](n＞m)，直接由原始信号上采样(Upsample)得到，与原始信号等体积；第二部分为s[n-m]，由原始信号中的相邻像素插值(Interpolate)得到。

例如，像素p(s_p∈s[n-m])的信号量插值计算式为其中N_p表示像素p的邻域。设C_p里信号量最大值与最小值(即邻域N_p中信号量的上下界)分别记作s^M和s^m，那么通过上述插值计算式可知s^m＜s_p＜s^M，即s_p始终无法取到邻域N_p中信号量的上下界，而这里的上下界极大可能为局部邻域内高频的边缘和细节，导致在s[n-m]中无法重构出如原始信号中的高频信息。

因此，上述初始放大信号对应的图像会产生模糊现象，这也是相关技术中通过基于差值法的上采样操作来提升视频的分辨率会得到的结果。本实施例目的在于使得插值得到的像素信号量s_p可以取到其最大值和最小值，即使得s^m≤s_p≤s^M，从而可以保留边缘及细节对应的高频信息，消除边缘及细节缺失导致的图像模糊现象。

S12、对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号；其中，所述第一信号与所述原始信号等体积。

S13、对所述第一信号进行增强。

S14、对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的 最终放大信号。

由以上步骤可知，本实施例通过小波正变换将初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息，对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换的过程，将对第一信号的增强传递到第二信号中，从而可以补偿第二信号中的高频损失，也即补偿整个最终放大信号的高频损失，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。

具体的，上述步骤S11中所述对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，具体可以采用基于双线性插值法的上采样操作，也可以采用基于双三次插值法的上采样操作。

本申请一个可行的实施例中，优选采用基于提升法(lifting scheme)的小波构造方法对相关信号进行小波正变换(步骤S12)及小波逆变换(步骤S14)。

具体的，上述步骤S12所述的对所述初始放大信号进行小波正变换，得到相应的第一信号和第二信号，包括如下步骤：

S121、将所述初始放大信号s[n]分割为互相关联的第一分割信号s_e[n/2]和第二分割信号s_o[n/2]；

上述第一分割信号s_e[n/2]和第二分割信号s_o[n/2]的相关性越好，分割效果越好；具体的，可以采用惰性(lazy)的分割方法，即按像素编号的奇偶性进行分割：假设任一像素的坐标为(x,y)，则初始放大信号可以分割为如下两部分：x+y为奇数的像素对应的信号，和x+y为偶数的像素对应的信号。

S122、根据公式d[n/2]＝s_o[n/2]-P(s_e[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；

S123、根据公式c[n/2]＝s_e[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。

对于一次小波正变换，上述与原始信号等体积的第一信号实际为原始放大信号中的高频信号，第二信号实际为除高频信号之外的亚采样信号。

如图3所示的小波变换原理示意图，小波正变换过程中的预测运算(prediction)， 即用s_e[n/2]来预测s_o[n/2]，d[n/2]为预测误差；所述预测运算是可逆的，只要预测算子P(·)确定，既可以通过d[n/2]和s_e[n/2]来恢复出s_o[n/2]，进而恢复出初始放大信号s[n]。

相应的，小波正变换过程中的更新运算(update)，即通过预测误差d[n/2]对s_e[n/2]进行修正，使得修正后的信号c[n/2]只包含初始放大信号s[n]中的低频部分；所述更新运算也是可逆的，只要更新算子U(·)确定，就可以通过c[n/2]和d[n/2]恢复出s_e[n/2]。

在本申请一个可行的实施例中，对任一像素p，执行上述步骤S122所采用的预测算子P(·)可以为：执行步骤S123所采用的更新算子U(·)可以为：其中，N_p表示像素p的邻域；w(p,q)为像素p和q之间的权重。为更好的保留图像边缘，本实施例采用如下权重计算公式：I_p、I_q分别为像素p和q的亮度值，σ_c为常数(该常数可利用图像亮度方差来确定)。

本实施例中，上述步骤S122所述的预测运算和步骤S123所述的更新运算都是对所述初始放大信号对应的放大图像中的每个像素及其周围像素(即邻域)进行加权计算。例如，对坐标为(x,y)的任一像素p，其邻域N_p可以简单的包括像素p的上下左右四个相邻像素，即N_p＝{(x,y-1),(x-1,y),(x+1,y),(x,y+1)}，则对像素p的预测运算和更新运算即利用其四个相邻像素对像素p根据上述公式进行加权计算。

相应的，上述步骤S14所述的对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号，包括如下步骤：

S141、根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；

S142、根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；

S143、将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。

本实施例所述的预测运算和更新运算都是可逆运算，即步骤S141相当于步骤S123的逆运算，步骤S142相当于步骤S122的逆运算。假设步骤S122得到的第一信号d[n/2]，经过步骤S13的增强，得到增强后的第一信号则根据步骤S123中的更新运算公式c[n/2]＝s_e[n/2]+U(d[n/2])可以推导出步骤S141所采用的更新逆运算公式，得到增强后的第一分割信号即进一步的，根据步骤S122中的预测运算公式d[n/2]＝s_o[n/2]-P(s_e[n/2])可以推导出步骤S142所采用的预测逆运算公式，得到增强后的第二分割信号即最终在步骤S143中将和合并，即得到最终放大信号

由以上步骤可知，本申请实施例将目标视频中的每一帧图像的原始信号通过基于插值法的上采样操作采样得到对应的放大信号s[n]，再对s[n]执行基于提升法的小波正变换(包括分割运算、预测运算和更新运算三个步骤)，使得s[n]分解为第一信号d[n/2]和第二信号c[n/2]两部分，然后对第一信号d[n/2]进行增强，得到增强后的第一信号最后对增强后的第一信号和第二信号c[n/2]进行小波逆变换(包括更新逆运算、预测逆运算和合并运算三个步骤)，将对第一信号d[n/2]的增强扩散到第二信号c[n/2]中，使得相对于s[n]，最终放大信号s～[n]中的第二信号也得到增强，即相对于s[n]，s～[n]整体得以增强，从而使得s～[n]对应的最终放大图像在分辨率得到提升的同时，也能保留边缘和细节等的高频信息，减少甚至消除模糊现象；另外，由于基于提升法的小波变换的计算复杂度较低，故相对于相关技术，本申请实施例所增加的计算量很小，处理速度可以达到甚至超过目标视频的播放速度。

本申请实施例中，目标视频分辨率的预设放大倍数N不同，所需要执行的小波变换次数n也不同，预设放大倍数N与小波变换次数n存在如下关系：N＝n/(n-1)，且n为不小于2的整数；即N＝2时，n＝2；N＝3/2时，n＝3；N＝4/3时，n＝4，依此类推。

以将目标视频的分辨率放大2倍为例，通过步骤S11，原始信号s[m]变为初始放大信号s[4m]，在步骤S12中执行2次小波正变换：如图4所示，首先，对s[4m]执行第一次小波正变换，将s[4m]分解成了高频信号d₀[2m]和亚采样信号c₀[2m]；然后，对亚采样 信号c₀[2m]执行第二次小波正变换，得到高频信号d₁[m]和亚采样信号c₁[m]。其中，亚采样信号c₁[m]为与原始信号s[m]等体积的信号，作为第一信号在步骤S13中对c₁[m]进行增强，得到增强后的亚采样信号

进而在步骤S14中执行两次小波逆变换：首先，对d₁[m]和增强后的亚采样信号执行第一次小波逆变换，使得对c₁[m]的增强扩散至d₁[m]中，从而得到增强后的亚采样信号然后，对d₀[2m]和增强后的亚采样信号执行第二次小波逆变换，使得对c₀[2m]的增强扩散至d₀[2m]中，从而得到增强后的初始放大信号，也即最终放大信号

预设放大倍数为其他可取值时的小波正变换及小波逆变换过程可以根据以上N＝2的情况类推得到，此处不再赘述。

实际验证得知，对于分辨率为600*400的目标视频进行分辨率提升，采用本实施例所述方法处理一帧图像(CUP:I5520M，RAM:4GB)需要约22ms，基本能与视频播放同步。另外，在本申请其他实施例中还可以通过以下两种方式中的任一种对本实施例所述步骤进行优化，提高处理速度：

1)采用sse或者neon指令优化；此优化方式可以将处理速度提高3倍以上。

2)利用图形处理器(Graphics Processing Unit，GPU)辅助CPU执行本实施例所述步骤；由于GPU的并行粒度更高，故无论是采用GLSL、OpenCL或者CUDA等任一种GPU并行计算架构，理论上都可以将处理速度提高10倍。

与上述网络请求处理方法的实施例相对应，本申请实施例还提供了一种视频分辨率提升装置，应用于播放器的内核，实现对播放器所播放视频的分辨率进行实时提升。图5为该装置的一种结构示意图。参照图5，该装置包括：上采样单元101、正变换单元102、增强单元103和逆变换单元104。

其中，该上采样单元101用于，对目标视频中每帧图像的原始信号，执行基于插值法的上采样操作，得到相应放大图像的初始放大信号。

该正变换单元102用于，对所述初始放大信号进行小波正变换，使得所述初始放大信号分解为第一信号和第二信号；其中，所述第一信号与所述原始信号等体积。

该增强单元103用于，对所述第一信号进行增强。

该逆变换单元104用于，对所述第二信号和增强后的第一信号进行小波逆变换，得到所述放大图像的最终放大信号。

由以上技术方案可知，本申请实施例通过小波正变换将上采样得到的初始放大信号分解为第一信号和第二信号两部分，其中，第一信号与原始信号等体积，保留了原始信号中的高频信息，对所述第一信号进行增强，进而通过对所述第二信号和增强后的第一信号进行小波逆变换的过程，将对第一信号的增强传递到第二信号中，从而可以补偿第二信号中的高频损失，也即补偿整个最终放大信号的高频损失，使得最终放大信号对应的放大图像可以更好的保留原始图像的高频信息，降低甚至消除放大图像模糊程度，提高整个视频的清晰度。

在本申请一个可行的实施方式中，上述正变换单元103具体可以包括：分割单元、预测单元和更新单元。

其中，所述分割单元用于，将所述初始放大信号s[n]分割为互相关联的第一分割信号s_e[n/2]和第二分割信号s_o[n/2]；

所述预测单元用于，根据公式d[n/2]＝s_o[n/2]-P(s_e[n/2])进行预测运算，得到第一信号d[n/2]，其中，P(·)为预设的预测算子；

所述更新单元用于，根据公式c[n/2]＝s_e[n/2]+U(d[n/2])进行更新运算，得到第二信号c[n/2]，其中，U(·)为预设的更新算子。

相应的，上述逆变换单元104具体可以包括：逆更新单元、逆预测单元和合并单元。

其中，所述逆更新单元用于，根据所述更新算子、第二信号和增强后的第一信号进行更新逆运算，得到增强后的第一分割信号；

所述逆预测单元用于，根据所述预测算子、增强后的第一信号和增强后的第一分割信号进行预测逆运算，得到增强后的第二分割信号；

所述合并单元用于，将所述增强后的第一分割信号和增强后的第二分割信号进行合并，得到所述放大图像的最终放大信号。

由以上结构可知，本实施例通过基于提升法的小波变换进行分辨率提升，计算复杂度低，故相对于相关技术，本申请实施例所增加的计算量很小，在分辨率得到提升的同时，既能保留边缘和细节等的高频信息，减少甚至消除模糊现象，又能保证处理速度达到甚至超过目标视频的播放速度。

在本申请另一个可行的实施方式中，上述上采样单元101具体可以采用以下任一种：

第一上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双线性插值法的上采样操作；

第二上采样单元，用于对目标视频中每帧图像的原始信号，执行基于双三次插值法的上采样操作。

在本申请另一个可行的实施方式中，上述视频分辨率提升装置还可以包括：变换次数确定单元，用于根据所述目标视频的预设放大倍数N确定小波变换次数n，其中，N＝n/(n-1),n为不小于2的整数。

相应的，所述正变换单元102具体被配置为，对所述初始放大信号进行n次小波正变换；所述逆变换单元104具体被配置为，对所述第二信号和增强后的第一信号进行n次小波逆变换。

另外，本申请实施例还提供了一种计算机存储介质，例如可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等；该计算机存储介质中存储有程序，当所述存储介质中的程序由视频播放装置的处理器执行时，使得该视频播放装置能够执行上述方法实施例中记载的任一种视频分辨率提升方法所述的部分或全部步骤。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。