一种基于两阶段处理的HEVC压缩视频超分辨率重建方法

本发明涉及视频编码领域中的压缩视频超分辨率重建技术问题，尤其是涉及一种基于两阶段处理的高效视频编码标准(high efficiency video coding,hevc)压缩视频超分辨率重建的方法。

背景技术：

1、在实际应用中，考虑到不同视频的拍摄条件和显示条件的需求，同时为了节省带宽，视频往往需要先下采样为低分辨率视频再进行进一步压缩，这将严重损害视频质量。高效视频编码标准(high efficiency video coding,hevc)针对视频数据中存在的大量冗余成分进行压缩，能够显著减少视频的数据量，但同时也会使视频产生压缩效应，例如方块效应，从而降低视频质量，而针对经过下采样的视频进行压缩，在降低视频分辨率的同时，也会进一步降低视频的质量。因此，需要更有效的压缩视频超分辨率重建方法。

2、针对压缩视频质量增强和视频超分辨率重建任务，目前已有很多学者运用深度学习技术在这两面开展了研究。在压缩视频质量增强方面，dai等人将卷积神经网络引入hevc的环路滤波器中，提出了一种可变滤波器尺寸的残差学习卷积神经网络(variable-filter-size residue learning convolutional neural networks，vrcnn)，能够有效提升压缩视频的质量。yang等人将多帧输入的思想引入压缩视频质量增强任务中，提出了一种多帧质量增强网络(multi-frame quality enhancement，mfqe)，通过在网络中设计一个运动补偿模块来利用峰值质量帧增强相邻帧。为了更好地利用相邻帧的信息，deng等人提出了一种时空可变形融合模块，进一步提升了压缩视频的重建质量。在视频超分辨率重建方面，caballero等人以光流估计和运动补偿作为子模块，提出了第一个端到端的视频超分辨率重建框架。之后，tian等人提出了一种时域可变形对齐网络(temporally-deformablealignment network，tdan)，通过引入可变形卷积来代替光流估计进行运动补偿。chan等人提出了一些视频超分辨率的基本模块，在网络的速度和性能上均实现了一定的提升，这些模块作为视频超分辨率的基础在后续的研究中也得到了广泛应用。然而，大多数压缩视频质量增强和视频超分辨率重建方法仅面向单一任务，对于压缩视频的超分辨率重建任务，其方法还有进一步探索的空间。

技术实现思路

1、针对压缩视频的超分辨率重建任务，本发明旨在提出一种基于两阶段处理的hevc压缩视频超分辨率重建方法。

2、本发明的基本思想是分为两阶段依次对经过压缩的下采样视频进行质量增强和超分辨率重建，分别针对视频压缩和下采样两种不同的降质类型进行处理，在提高视频分辨率的同时减少压缩伪影，提升重建视频的质量。该方法主要包括三个步骤，分别为：

3、步骤一：将经过压缩和未经压缩的下采样视频作为训练集训练压缩视频质量增强网络模型，随后将经过压缩的下采样视频作为质量增强网络的输入，得到质量增强后的低分辨率视频；

4、步骤二：将质量增强的低分辨率视频与原始高分辨率视频作为训练集训练超分辨率重建网络模型；

5、步骤三：将经过压缩的低分辨率视频作为输入，依次经过训练得到的质量增强网络模型和超分辨率重建网络模型，最终得到质量增强的高分辨率重建视频；

6、其具体过程如下：

7、(1)本发明的整体框架如附图1所示，首先通过一个质量增强网络来减少编码过程中产生的压缩效应，得到质量增强的低分辨率视频，随后通过超分辨率重建网络将质量增强的低分辨率视频恢复至原始分辨率，恢复下采样过程的信息损失；

8、(2)本发明设计的压缩视频超分辨率重建框架由质量增强网络和超分辨率重建网络构成。如附图2所示，本发明的超分辨率重建网络结构在每个时间步长上包括1个残差块，4条特征传播分支和1个上采样模块，其中每条分支包括1个特征对齐模块，1个连接层和5个残差块，特征对齐模块由1个光流估计模块和1个特征变换模块组成，上采样模块包括1个卷积层和1个pixel shuffle层，最终将pixel shuffle层的输出与双线性上采样模块的重建结果相加得到重建后的高分辨率视频帧，以保证训练的稳定性。质量增强网络的网络结构与超分辨率重建网络的网络结相似，可以通过关闭上述超分辨率重建网络中的上采样模块来获得，通过打开和关闭上采样模块选择不同的网络处理不同任务，从而可以实现基于同一个网络结构完成两阶段处理的过程；

9、(3)本发明在训练阶段首先用经过压缩的低分辨率视频和未经压缩的低分辨率视频对质量增强网络进行训练，随后将经过压缩的低分辨率视频作为质量增强网络的输入，得到质量增强后的低分辨率视频，再将质量增强的低分辨率视频和原始高分辨率视频作为超分辨率重建网络的训练样本对训练超分辨率重建网络。

10、在过程(1)中，压缩视频质量增强过程和视频超分辨率重建过程如公式(1)和公式(2)所示，

11、yp＝hp(xt)                     (1)

12、ys＝hs(yp)                     (2)

13、其中，xt表示经过压缩的低分辨率视频，yp表示质量增强的低分辨率视频，hp表示质量增强过程，hs表示超分辨率重建过程，ys表示最终获得的质量增强的高分辨率视频。

14、在过程(2)中，输入视频帧首先通过一个残差块来进行特征提取，这些特征以交替的方式独立地向两个方向进行双向传播，并且在网络中采用基于光流的特征对齐以获得更好的性能。对齐后的特征通过多个残差块进行进一步的细化，随后通过一个卷积层和pixel-shuffling层生成输出视频帧。双向传播中的正向传播过程如公式(3)所示，

15、

16、其中，f(·)表示特征传播分支的表达式，一个特征传播分支包含四部分输入，其中xi和xi-1分别表示当前低分辨率视频帧和相邻低分辨率视频帧，表示前一个时间步长的第j个分支传播来的特征，表示同一个时间步长里前一个传播分支的特征，表示第i个时间步长的第j个传播分支的特征。在正向传播过程中，同一时间步长前一个传播分支的特征将传入当前正向传播分支，同时当前时间步长的中间特征作为下一个时间步长的传播分支的输入，正向特征传播分支输出的中间特征在各个时间步长间由前向后进行正向传播，使网络能够充分利用传输过程中的时域信息。反向传播过程与正向传播过程类似，反向传播分支和正向传播分支相邻，在网络中交替出现。在反向传播分支中特征进行逆向传播，在整个网络中特征以交替的方式向两个方向进行传播；

17、基于光流的特征对齐模块包括一个光流估计模块和一个特征变换模块，再通过一个连接层将特征传递到后续残差块中，基于光流的特征对齐过程如公式(4)、公式(5)和公式(6)所示，

18、

19、

20、

21、其中，s(·)表示光流估计过程，表示获得的光流，w(·)表示特征变换过程，r(·)表示残差块，c(·)表示通道维度的特征连接。首先将当前视频帧xi和相邻视频帧xi-1输入光流估计模块以获得估计的光流，随后基于光流对前一个时间步长的第j个分支传播来的特征进行特征变换，之后将特征变换的输出结果和同一个时间步长里前一个传播分支的特征共同作为连接层的输入进行特征融合，以充分利用不同层级的特征，随后输出结果通过多个残差块来获得该传播分支的输出特征最终输出的中间特征作为输入分别传递到下一个传播分支和相邻的时间步长中。

22、在过程(3)中训练质量增强网络与超分辨率重建网络所用的训练样本对分别为和其中xi表示原始高分辨率视频帧，li表示经过下采样的低分辨率视频帧，vi表示对li进行压缩后的视频帧，表示vi经过质量增强网络处理后的视频帧。首先对训练集中320×180分辨率的视频序列每个序列取前20帧，在hevc标准的ra配置下当量化参数qp为27，32，37，42时分别进行编码，随后将得到的经过压缩的低分辨率视频帧与未压缩的低分辨率视频帧共同组成质量增强网络的训练样本对。网络采用adam(adaptive momentestimation)优化器，主网络与光流网络的初始学习率分别设置为1×10-4和2.5×10-5，总迭代次数设置为2×105。训练采用charbonnier损失函数，质量增强网络的损失函数如公式(7)所示，

23、

24、其中，θ1表示质量增强网络的参数，f(·)表示质量增强网络的输出函数，ε表示为保证数值稳定设置的常数，这里设置为0.001。

25、训练超分辨率重建网络时，首先将经过压缩的320×180分辨率的视频序列作为质量增强网络的输入，得到质量增强的低分辨率视频，再将质量增强的低分辨率视频与训练集中1280×720分辨率的视频共同组成超分辨率重建网络的训练样本对。重建网络的网络设置均与质量增强网络相同。超分辨率重建网络的损失函数如公式(8)所示，

26、

27、其中，θ2表示超分辨率重建网络的参数，g(·)表示超分辨率重建网络的输出函数。

28、本发明与现有技术相比所具有的优点及有益技术效果：

29、(1)本发明提出的基于两阶段处理的hevc压缩视频超分辨率重建方法在网络中结合了特征的双向传播，中间特征在整个网络中以交替的方式独立地向两个方向进行双向传播，使网络能够充分利用传输过程中的时域信息，并且网络中采用了基于光流的特征对齐方式以提高对齐的准确性，使网络性能得到了进一步的提升；

30、(2)本发明提出的基于两阶段处理的hevc压缩视频超分辨率重建方法在网络中将基于光流的特征对齐和特征双向传播过程相结合，同时结合所提网络结构，充分利用了各传播分支和各时间步长的中间特征信息；

31、(3)本发明提出的基于两阶段处理的hevc压缩视频超分辨率重建方法可以在质量增强网络的基础上，通过打开和关闭上采样模块选择不同的网络处理不同任务，实现基于同一个网络结构完成两阶段处理的过程。