一种面向HEVC编码框架的视频恢复方法

本发明涉及基于hevc的视频处理，尤其涉及一种面向hevc编码框架的视频恢复方法。

背景技术：

1、由于编码单元划分、量化等相关编码技术的引入，hevc标准视频编解码框架在本质上都是基于像素块的有损编码，在解码过程中，将不可避免地导致由解码器缓冲区中重建图像组成的重建视频中含有大量的块效应、振铃效应等压缩失真。尽管hevc标准的编码框架中已设计了相应的环路滤波器来减轻由于编码单元划分、量化等相关编码技术带来的压缩失真影响，并且为了进一步提升重建视频的质量，国内外研究人员在环路滤波器的优化问题上进行着不懈的努力。但是由于编码框架的限制，现有的环路滤波方法对重建视频的画质提升十分有限。

2、现行的环路滤波方法在本质上是利用帧内信息进行像素级别的平衡和补偿，并没有挖掘帧内信息间的深层关系，更没有充分利用珍贵的帧间信息进行重建视频恢复，重建视频的恢复质量难以满足终端显示的现实需求，重建视频的主客观质量仍然有很大的提升空间。尤其是在有限带宽传输的条件下，由现有编解码框架和快速编码带来的压缩失真将降低终端重建视频的画面质量。与此同时，随着终端芯片计算性能日益提高，如何将视频编码技术由单向负载转向均衡负载也成为了业内研究的焦点。因此，对解码端重建视频的画质进行有效恢复是目前亟待解决的问题。

3、已有研究表明，卷积神经网络拥有学习重建视频到原始视频之间非线性映射关系的强大能力。卷积神经网络可以依据重建视频中未丢失的、不完全的像素信息恢复出原始视频。所以，研究人员逐渐将目光投入到利用卷积神经网络对重建视频进行画质恢复的研究中。它能在不增加码率消耗的前提下利用终端强大的计算能力对重建视频的画质进行有效恢复，这对于帧内、帧间信息的充分利用和编码、解码端压力的平衡大有裨益。其中重建视频的画质恢复方法根据其输入帧数的不同可分为基于单帧输入的方法和基于多帧输入的方法。单帧输入的方法本质上是图像级别的画质恢复技术，忽略了视频内容具有内在的强时序相关性，这使得基于单帧输入的重建视频的画质恢复方法性能陷入瓶颈。多帧输入的方法考虑到相邻帧可能包含当前帧所缺失的有用信息，这使得利用多帧输入的重建视频画质恢复方法被研究者所重视。尽管如此，现有的重建视频画质恢复方法仅把自身定位为普通视频复原任务，并未对重建视频中因编码导致的压缩失真及视频编码框架进行深入挖掘，这也将影响重建视频的画质恢复效果。

4、因此，在剖析出重建视频独有特征的基础上，如何在最大程度上利用输入的时空信息，并设计更适配于hevc编码框架的重建视频画质恢复方法势在必行，也为突破当前重建视频画质恢复的瓶颈提供了新的思想。

技术实现思路

1、本发明的目的在于提供一种面向hevc编码框架的视频恢复方法，解决了hevc低延迟配置下的视频帧级质量波动问题，最终实现解码端视频观看质量的提升，并在标准测试序列上证明了本发明方法的有效性。

2、本发明的发明思想为：本发明提供了一种面向hevc编码框架的视频恢复方法，首先，设计去除批归一化层的前向特征粗提取模块，保留原始图像的细节信息，然后，利用双向长短时记忆网络设计时序信息提取模块，强化特征的时空信息表达，最后，设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。

3、为了实现上述发明目的，本发明采用的技术方案具体为：一种面向hevc编码框架的视频恢复方法，包括以下步骤：

4、1.1、设计前向特征粗提取模块，去除批归一化层，保留原始图像的细节信息；

5、1.2、设计时序信息提取模块，利用双向长短时记忆网络，强化特征的时空信息表达；

6、1.3、设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。

7、进一步地，所述步骤1.1具体包括以下步骤：

8、2.1、构建三组有相同通道数和卷积核尺寸的卷积层；

9、2.2、读取前向高质量帧，通过第一组卷积层对前向高质量帧进行前向特征的粗提取；

10、2.3、读取待增强低质量帧，通过第二组卷积层对待增强低质量帧进行前向特征的粗提取；

11、2.4、读取后向高质量帧，通过第三组卷积层对后向高质量帧进行前向特征的粗提取。

12、进一步地，步骤1.2具体包括以下步骤：

13、3.1、按照视频播放顺序的正序将前向高质量帧、待增强低质量帧和后向高质量帧依次送入“lstm+”单元中；

14、3.2、按照视频播放顺序的逆序将前向高质量帧、待增强低质量帧和后向高质量帧依次送入“lstm-”单元中；

15、3.3、拼接“lstm+”和“lstm-”的输出特征；

16、3.4、将拼接后的输出特征送入全局卷积组成的通道注意力机制中，从时间和空间两个维度上强化特征的表达能力，为后续增强模块提供更好的特征。

17、进一步地，所述步骤1.3具体包括以下步骤：

18、4.1、构建由卷积层，relu激活函数层以及跳连结构组合成的残差单元；

19、4.2、将多组残差单元进行拼接，以此作为质量增强模块的基础构成部分；

20、4.3、对经过拼接后残差单元的输出特征进行结构降维；

21、4.4、把降维后的特征送入1组卷积层，进行进一步的特征提取，之后再与待增强的低质量帧相叠加，促使网络学习低质量帧与输出目标帧的残差信息，强化网络的学习能力和收敛速度。

22、与现有技术相比，本发明的有益效果为：

23、1、本发明从hevc标准的编码结构及统计实验两个角度证明了视频的帧级质量波动确实存在。

24、2、本发明将多帧信息引入网络设计过程中，在前向特征粗提取模块中去除了传统算法中的bn层，保留了强化视频的细节信息。

25、3、本发明在时序信息提取模块中利用双向长短时记忆结构从双向捕捉视频的时序信息，提升了特征的表达能力，同时采用改进的通道注意力机制，提高了网络对于双向时序特征的判别能力，强化了时序特征的表达。

26、4、本发明在质量增强模块中，利用残差学习思想，提升了网络恢复视频的能力，从本发明的实验结果来看，在标准测试序列上，视频质量相较于hm-16.5直接解码显示，psnr提升了0.4419db；此外，通过与其他方法比较，表明了本发明提出的方法是一种有效的质量恢复算法，可有效缓解hevc低延迟配置下的视频帧级质量波动现象，提升视频的观看质量。

技术特征：

1.一种面向hevc编码框架的视频恢复方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的面向hevc编码框架的视频恢复方法，其特征在于，所述步骤一具体包括以下步骤：

3.根据权利要求1所述的面向hevc编码框架的视频恢复方法，其特征在于，所述步骤二具体包括以下步骤：

4.根据权利要求1所述的面向hevc编码框架的视频恢复方法，其特征在于，所述步骤三具体包括以下步骤：

技术总结
本发明提供了一种面向HEVC编码框架的视频恢复方法，属于基于HEVC的视频处理技术领域。解决了HEVC低延迟编码配置下的视频帧级波动剧烈所引发的视频质量不佳的技术问题。其技术方案为：包括以下步骤：S1、设计前向特征粗提取模块，去除批归一化层，保留原始图像的细节信息；S2、设计时序信息提取模块，利用双向长短时记忆网络，强化特征的时空信息表达；S3、设计质量增强模块，引入残差学习机制，提升网络收敛速度和性能。本发明的有益效果为：实现解码端视频观看质量的提升，在标准测试序列上，相较于利用HM‑16.5直接解码显示，PSNR提升了0.4419dB。

技术研发人员：刘畅,白鹤鸣,姜芮芮,张佳琳,王振国
受保护的技术使用者：南通大学
技术研发日：
技术公布日：2024/1/16