用于视频编解码的基于小波变换域卷积神经网络的环路滤波的制作方法

本申请涉及视频编解码和压缩。更具体地，本申请涉及用于小波域(wavelet-domain)中的卷积神经网络(cnn)滤波的视频处理装置和方法。

背景技术：

1、如数字电视、膝上型计算机或台式计算机、平板计算机、数字相机、数字记录设备、数字媒体播放器、视频游戏机、智能电话、视频电话会议设备、视频流式传输设备等各种电子设备都支持数字视频。电子设备通过通信网络发射和接收或以其他方式传送数字视频数据和/或将数字视频数据存储在存储设备上。由于通信网络的带宽容量有限并且存储设备的存储器资源有限，在将视频数据传送或存储之前，可以使用视频编解码以根据一种或多种视频编解码标准来压缩视频数据。例如，视频编解码标准包括通用视频编解码(vvc)、联合探索测试模型(jem)、高效视频编解码(hevc/h.265)、高级视频编解码(avc/h.264)、运动图片专家组(mpeg)编解码等。视频编解码通常使用预测方法(例如，帧间预测、帧内预测等)进行，所述预测方法利用视频数据中固有的冗余。视频编解码旨在将视频数据压缩成在避免或最小化视频质量降级的同时使用较低比特率的形式。

2、另一方面，近几年来，深度学习在人工智能领域取得了令人鼓舞的进展。作为典型的神经网络架构之一，cnn已经在计算机视觉领域得到了广泛的应用，并且在如图像分类、分割和图像处理等各种任务中实现了十分先进的性能。

技术实现思路

1、本公开的实施方式提供了一种采用卷积神经网络(cnn)滤波的视频处理方法。所述视频处理方法由视频处理器接收视频的视频块以用于环路滤波。然后，所述方法通过以下操作来对所述视频块的至少一部分的视频数据执行小波域cnn滤波：由所述视频处理器对所述视频数据执行小波变换(wavelet transform)以获得包括多个小波子带的小波域中的数据；由所述视频处理器通过在所述多个小波子带上应用相应的cnn模型来对所述小波域中的数据进行滤波，其中，用于所述多个小波子带的cnn模型是在所述小波域中训练的；以及由所述视频处理器对经滤波的数据执行逆小波变换以获得重建的视频数据。

2、本公开的实施方式还提供了一种用于卷积神经网络(cnn)滤波的视频处理装置。视频处理系统可以包括存储器和视频处理器。所述存储器可以被配置为存储视频。所述视频处理器可以被配置为接收所述视频的视频块以用于环路滤波，并且对所述视频块的至少一部分的视频数据执行小波域cnn滤波。所述小波域cnn滤波是通过以下操作来执行的：由所述视频处理器对所述视频数据执行小波变换以获得包括多个小波子带的小波域中的数据；由所述视频处理器通过在所述多个小波子带上应用相应的cnn模型来对所述小波域中的数据进行滤波，其中，用于所述多个小波子带的cnn模型是在所述小波域中训练的；以及由所述视频处理器对经滤波的数据执行逆小波变换以获得重建的视频数据。

3、本公开的实施方式还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其中的指令，所述指令在由视频处理器执行时使所述视频处理器执行采用卷积神经网络(cnn)滤波的视频处理方法。所述视频处理方法由视频处理器接收视频的视频块以用于环路滤波。然后，所述方法通过以下操作来对所述视频块的至少一部分的视频数据执行小波域cnn滤波：由所述视频处理器对所述视频数据执行小波变换以获得包括多个小波子带的小波域中的数据；由所述视频处理器通过在所述多个小波子带上应用相应的cnn模型来对所述小波域中的数据进行滤波，其中，用于所述多个小波子带的cnn模型是在所述小波域中训练的；以及由所述视频处理器对经滤波的数据执行逆小波变换以获得重建的视频数据。

4、本公开的实施方式进一步提供了一种用于在包括多个小波子带的小波域中训练要应用于视频块的卷积神经网络(cnn)模型的计算机实施的方法。所述方法包括由视频处理器渐进地训练(progressively training)用于所述多个小波子带的cnn模型，其中，所述cnn模型是以所述多个小波子带的预定顺序依次训练的。所述方法进一步包括由所述视频处理器使用经渐进地训练的cnn模型作为初始化来联合训练所述cnn模型。所述方法还包括提供用于在所述小波域中对所述视频块进行环路滤波的所述cnn模型。

5、本公开的实施方式还提供了一种用于在包括多个小波子带的小波域中训练要应用于视频块的卷积神经网络(cnn)模型的视频处理装置。视频处理系统可以包括存储器和视频处理器。所述存储器可以被配置为存储训练样本。所述视频处理器可以被配置为利用所述训练样本渐进地训练用于所述多个小波子带的cnn模型，其中，所述cnn模型是以所述多个小波子带的预定顺序依次训练的。所述视频处理器可以被进一步配置为利用所述训练样本、使用经渐进地训练的cnn模型作为初始化来联合训练所述cnn模型。然后，所述视频处理器可以提供用于在所述小波域中对所述视频块进行环路滤波的所述cnn模型。

6、本公开的实施方式还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其中的指令，所述指令在由视频处理器执行时使所述视频处理器执行用于在包括多个小波子带的小波域中训练要应用于视频块的卷积神经网络(cnn)模型的方法。所述方法包括由视频处理器渐进地训练用于所述多个小波子带的cnn模型，其中，所述cnn模型是以所述多个小波子带的预定顺序依次训练的。所述方法进一步包括由所述视频处理器使用经渐进地训练的cnn模型作为初始化来联合训练所述cnn模型。所述方法还包括提供用于在所述小波域中对所述视频块进行环路滤波的所述cnn模型。

7、应当理解的是，前述概括描述和以下详细描述均仅是示例而不是对本公开的限制。

技术特征：

1.一种采用卷积神经网络(cnn)滤波的视频处理方法，包括：

2.根据权利要求1所述的视频处理方法，其中，用于所述多个小波子带的所述cnn模型是量化参数(qp)相关的，其中，所述cnn模型是使用单个qp的训练样本训练的。

3.根据权利要求1所述的计算机实施的视频处理方法，其中，用于所述多个小波子带的所述cnn模型是qp无关的，其中，所述cnn模型是使用不同qp的混合训练样本训练的。

4.根据权利要求1所述的视频处理方法，进一步包括：

5.根据权利要求4所述的视频处理方法，进一步包括：

6.根据权利要求5所述的视频处理方法，其中，将所述视频块分区为所述多个区域包括：

7.根据权利要求6所述的视频处理方法，进一步包括：

8.根据权利要求1所述的视频处理方法，进一步包括：

9.根据权利要求8所述的视频处理方法，进一步包括：

10.根据权利要求8所述的视频处理方法，其中，所述相邻视频块位于所述新视频块左侧，其中，没有针对所述新视频块用信号传输cnn模型合并索引。

11.一种用于卷积神经网络(cnn)滤波的视频处理装置，包括：

12.根据权利要求11所述的视频处理装置，其中，所述视频处理器被进一步配置为：

13.根据权利要求12所述的视频处理装置，其中，所述视频处理器被进一步配置为：

14.根据权利要求12所述的视频处理装置，其中，所述视频处理器被进一步配置为：

15.根据权利要求11所述的视频处理装置，其中，所述视频处理器被进一步配置为：

16.根据权利要求15所述的视频处理装置，其中，所述视频处理器被进一步配置为：

17.根据权利要求15所述的视频处理装置，其中，所述相邻视频块位于所述新视频块左侧，其中，没有针对所述新视频块用信号传输cnn模型合并索引。

18.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其中的指令，所述指令在由视频处理器执行时使所述视频处理器执行采用卷积神经网络(cnn)滤波的视频处理方法，所述视频处理方法包括：

19.根据权利要求18所述的非暂态计算机可读存储介质，其中，所述视频处理方法进一步包括：

20.根据权利要求18所述的非暂态计算机可读存储介质，其中，所述视频处理方法进一步包括：

21.一种用于在包括多个小波子带的小波域中训练要应用于视频块的卷积神经网络(cnn)模型的方法，包括：

22.根据权利要求21所述的方法，其中，渐进地训练用于所述多个小波子带的所述cnn模型包括：

23.根据权利要求22所述的方法，其中，调整用于所述第k个子带的所述cnn模型的模型参数包括：

24.根据权利要求23所述的方法，其中，对所述前k个子带的经滤波的数据执行逆小波变换以获得重建的图像包括：

25.根据权利要求21所述的方法，其中，联合训练所述cnn模型包括：

26.根据权利要求21所述的方法，其中，用于所述多个小波子带的所述cnn模型是量化参数(qp)相关的，其中，所述cnn模型是使用单个qp的训练样本训练的。

27.根据权利要求21所述的方法，其中，用于所述多个小波子带的所述cnn模型是qp无关的，其中，所述cnn模型是使用不同qp的混合训练样本训练的。

28.根据权利要求27所述的方法，进一步包括：

29.根据权利要求27所述的方法，进一步包括：

30.一种用于在包括多个小波子带的小波域中训练要应用于视频块的卷积神经网络(cnn)模型的装置，包括：

31.根据权利要求30所述的装置，其中，为了渐进地训练用于所述多个小波子带的所述cnn模型，所述视频处理器被配置为：

32.根据权利要求31所述的装置，其中，为了调整用于所述第k个子带的所述cnn模型的模型参数，所述视频处理器被配置为：

33.根据权利要求30所述的装置，其中，为了联合训练所述cnn模型，所述视频处理器被进一步配置为：

34.根据权利要求30所述的装置，其中，用于所述多个小波子带的所述cnn模型是量化参数(qp)相关的，其中，所述训练样本对应于单个qp。

35.根据权利要求30所述的装置，其中，用于所述多个小波子带的所述cnn模型是qp无关的，其中，所述训练样本包括不同qp的混合训练样本。

36.根据权利要求35所述的装置，其中，所述视频处理器被进一步配置为：

37.根据权利要求35所述的装置，其中，所述视频处理器被进一步配置为：

38.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质具有存储在其中的指令，所述指令在由视频处理器执行时使所述视频处理器执行用于在包括多个小波子带的小波域中训练要应用于视频块的卷积神经网络(cnn)模型的方法，所述方法包括：

39.根据权利要求38所述的非暂态计算机可读存储介质，其中，渐进地训练用于所述多个小波子带的所述cnn模型进一步包括：

40.根据权利要求38所述的非暂态计算机可读存储介质，其中，联合训练所述cnn模型进一步包括：

技术总结
本公开的实施方式提供了视频处理装置和方法。所述视频处理方法由视频处理器接收视频的视频块以用于环路滤波。然后，所述方法通过以下操作来对所述视频块的至少一部分的视频数据执行小波域CNN滤波：由所述视频处理器对所述视频数据执行小波变换以获得包括多个小波子带的小波域中的数据；由所述视频处理器通过在所述多个小波子带上应用相应的CNN模型来对所述小波域中的数据进行滤波，其中，用于所述多个小波子带的CNN模型是在所述小波域中训练的；以及由所述视频处理器对经滤波的数据执行逆小波变换以获得重建的视频数据。

技术研发人员：王祥林,闫宁,陈伟,修晓宇,郭哲玮,陈漪纹,朱弘正,于冰
受保护的技术使用者：北京达佳互联信息技术有限公司
技术研发日：
技术公布日：2024/3/17