用于视频处理的方法、设备和介质与流程

本公开的实施例一般涉及视频编解码技术，并且更具体地，涉及图像和/或视频的超分辨率技术。

背景技术：

1、当今，数字视频功能正被应用于人们生活的各个方面。已经针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如运动图片专家组(mpeg)-2、mpeg-4、itu-th.263、国际电信联盟-电信标准化部门(itu-t)h.264/mpeg-4第10部分高级视频编解码(avc)、itu-t h.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准。对于视频会议、网页浏览、车辆导航等消费者应用，图像和/或视频的超分辨率技术尤其受到期待。

技术实现思路

1、本公开的实施例提供用于视频处理的解决方案。

2、在第一方面，一种用于视频处理的方法被提出。该方法包括：在视频的当前视频部分和视频的比特流之间的转换期间，至少基于当前视频部分的编解码信息，确定被应用于当前视频部分的过程，所确定的过程包括上采样过程或增强过程中的至少一个过程；以及基于所确定的过程执行所述转换。根据本公开的第一方面的方法改进了当前视频单元的编解码过程。与常规解决方案相比，所提出的方法可以有利地提高编解码效率，并且具有更多像素和更好视觉质量的更大尺寸的图像/视频被实现。

3、在第二方面，一种用于处理视频数据的装置被提出。该装置包括处理器和耦合到处理器并在其上存储有指令的非瞬态存储器，其中在处理器执行指令时，使处理器：在视频的当前视频部分和视频的比特流之间的转换期间，至少基于当前视频部分的编解码信息，确定被应用于当前视频部分的过程，所确定的过程包括上采样过程或增强过程中的至少一个过程；以及基于所确定的过程执行所述转换。

4、在第三方面，一种非瞬态计算机可读存储介质被提出，该非瞬态计算机可读存储介质存储使处理器执行根据本公开的第一方面的方法的指令。

5、在第四方面，一种非瞬态计算机可读记录介质被提出。该非瞬态计算机可读记录介质存储视频的由视频处理装置执行的方法生成的比特流，其中该方法包括：至少基于视频的当前视频部分的编解码信息，确定被应用于当前视频部分的过程，所确定的过程包括上采样过程或增强过程中的至少一个过程；以及基于所确定的过程生成比特流。

6、在第五方面，一种用于存储视频的比特流的方法被提出。该方法包括：至少基于视频的当前视频部分的编解码信息确定被应用于当前视频部分的过程，所确定的过程包括上采样过程或增强过程中的至少一个过程；基于所确定的过程生成比特流；以及将比特流存储在非瞬态计算机可读记录介质中。

7、提供本
技术实现要素：
是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。

技术特征：

1.一种用于视频处理的方法，包括：

2.根据权利要求1所述的方法，其中所述编解码信息包括编码信息或解码信息中的至少一种信息。

3.根据权利要求2所述的方法，其中所述解码信息被用于确定以下至少一项：

4.根据权利要求3所述的方法，其中所述滤波器信息包括用于高频内容生成的参数中的至少一个或用于所述滤波过程的至少一个目标权重。

5.根据权利要求3所述的方法，其中所述控制信息指示所述滤波器是开还是关。

6.根据权利要求2所述的方法，其中所述解码信息包括以下至少一项：

7.根据权利要求1所述的方法，其中所述当前视频部分是所述视频的当前帧，并且所确定的所述过程被跳过，所确定的所述过程是整帧级过程。

8.根据权利要求7所述的方法，其中与所述当前帧相关联的先前处理的帧被重用，并且所确定的所述过程被跳过。

9.根据权利要求7所述的方法，其中用于所述当前帧的复制所述先前处理的帧的重用标志等于1。

10.根据权利要求8所述的方法，其中所述先前处理的帧根据所述当前帧的相应参考帧信息而被选择。

11.根据权利要求1所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且所述上采样过程和所述增强过程中的至少一个过程是否被应用于所述当前视频单元是基于所述当前视频单元的从解码的比特流获得的分割信息而被确定。

12.根据权利要求11所述的方法，其中如果确定针对所述当前视频单元跳过所述上采样过程和所述增强过程中的至少一个过程，则所述当前视频单元的输出版本从先前处理的视频单元被导出。

13.根据权利要求11所述的方法，其中如果所述当前视频单元的跳过模式标志等于1，则所述先前处理的视频单元被重用，并且所述上采样过程和所述增强过程中的至少一个过程被跳过。

14.根据权利要求11所述的方法，其中如果所述当前视频单元的编解码块标志(cbf)等于0，则所述先前处理的视频单元被重用并且所述上采样过程和所述增强过程中的至少一个过程被跳过。

15.根据权利要求13或14所述的方法，其中重用的放大块根据相应的运动矢量(mv)或二进制矢量(bv)信息和参考帧信息而被选择。

16.根据权利要求1所述的方法，其中所述增强过程包括细化过程或清晰度过程中的至少一个过程。

17.根据权利要求1所述的方法，其中是否应用所述增强过程是即时确定的。

18.根据权利要求1所述的方法，其中是否应用所述增强过程基于所述编解码信息而被确定。

19.根据权利要求1所述的方法，其中是否应用所述增强过程是基于在所述上采样过程之前或之后与所述当前视频部分相关联的样本值而被确定。

20.根据权利要求19所述的方法，其中所述样本值是位于所述当前视频部分中的预先确定的窗口内的当前样本的值。

21.根据权利要求1所述的方法，其中所述当前视频部分是从通过初始插值过程生成的高分辨率图像或高分辨率图像视频获得的。

22.根据权利要求21所述的方法，其中所述初始插值过程包括以下至少一项：

23.根据权利要求1所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且掩码生成过程是针对所述增强过程通过利用所述当前视频单元的梯度而被执行。

24.根据权利要求23所述的方法，其中相同的掩码值针对所述掩码生成过程中的处理单元的当前样本被共享。

25.根据权利要求23所述的方法，其中掩码值针对所述掩码生成过程中的处理单元被计算一次。

26.根据权利要求25所述的方法，其中

27.根据权利要求26所述的方法，其中所述第一掩码值为1且所述第二掩码值为0。

28.根据权利要求23所述的方法，其中在所述掩码生成过程中的处理单元与所述当前视频单元相同。

29.根据权利要求23所述的方法，其中在所述掩码生成过程中的处理单元大于所述当前视频单元。

30.根据权利要求29所述的方法，其中掩码值针对所述掩码生成过程中的处理单元被计算一次。

31.根据权利要求29所述的方法，其中掩码值基于一个或多个当前视频单元的梯度而被计算。

32.根据权利要求23所述的方法，其中在所述掩码生成过程中生成的掩码基于所述编解码信息而被导出。

33.根据权利要求32所述的方法，其中所述增强过程是否应用于所述掩码信息从所述掩码生成过程被获得。

34.根据权利要求23所述的方法，其中所述当前视频单元的所述梯度在梯度初始化过程中被计算，并且其中所述当前视频单元的所述梯度包括以下至少一项：

35.根据权利要求34所述的方法，其中所述对角线梯度包括45度梯度或135度梯度中的至少一个，其中所述45度梯度指示所述当前视频单元与所述当前视频单元的相应的右上视频单元之间的第一差异和所述当前视频单元与所述当前视频单元的相应的左下视频单元之间的第二差异的总和。

36.根据权利要求34所述的方法，其中所述当前视频单元包括m*n个样本或m*n个像素，其中m和n是整数。

37.根据权利要求36所述的方法，其中m和n都等于1。

38.根据权利要求36所述的方法，其中m或n中的任意一个大于1。

39.根据权利要求36所述的方法，其中m*n个样本或m*n个像素中的每一个被用于所述梯度初始化过程中的所述计算。

40.根据权利要求36所述的方法，其中m*n个样本或m*n个像素的一部分被用于所述梯度初始化过程中的所述计算。

41.根据权利要求40所述的方法，其中所述当前视频单元的所述梯度从由m*n个样本或m*n个像素的所述一部分计算的初始梯度信息被获得。

42.根据权利要求34所述的方法，其中位于所述当前视频单元的边界之外的一个或多个当前样本的梯度是通过填充所述一个或多个当前样本而被计算。

43.根据权利要求42所述的方法，其中所述一个或多个当前样本通过镜像函数或扩展函数而被填充，所述当前视频单元内的一个或多个参考样本在所述镜像函数或所述扩展函数中被使用。

44.根据权利要求42所述的方法，其中所述填充在所述增强过程之前或在所述增强过程之后而被执行。

45.根据权利要求42所述的方法，其中如果与所述当前视频单元相关联的一个或多个邻近样本或像素初始已被放大，则所述一个或多个邻近样本或像素被允许用于所述填充。

46.根据权利要求42所述的方法，其中如果与所述当前视频单元相关联的一个或多个邻近样本或像素初始没有被放大，则预先定义的值被允许用于所述填充。

47.根据权利要求34所述的方法，其中所述当前视频单元的所述梯度是通过使用梯度的平均值而被进一步细化。

48.根据权利要求47所述的方法，其中在预先定义的区域内的所述当前视频单元中的针对每个方向的梯度的平均值被用作具有所述预先定义的区域的所有当前样本的细化梯度。

49.根据权利要求1所述的方法，其中非锐化掩码(usm)架构在所述增强过程中被使用。

50.根据权利要求1所述的方法，其中执行所述转换包括：

51.根据权利要求50所述的方法，其中所述增强过程基于以下项被执行：

52.根据权利要求50所述的方法，其中所述高频内容由高通滤波器直接生成。

53.根据权利要求52所述的方法，其中所述高通滤波器包括拉普拉斯算子、索贝尔算子、各向同性算子或普里威特算子中的至少一个算子。

54.根据权利要求50所述的方法，其中所述高频内容由低通滤波器生成。

55.根据权利要求54所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中所述当前视频单元的所述高频内容是基于输入内容和相应的低频内容之间的差异而被计算的。

56.根据权利要求55所述的方法，其中所述高频内容基于以下项被计算：

57.根据权利要求54所述的方法，其中所述低通滤波器包括高斯算子、双边滤波器或导向滤波器中的至少一项。

58.根据权利要求50所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中对于通过被选择的高通滤波器或低通滤波器生成所述当前视频单元的所述高频内容，用于与所述当前视频单元中的当前样本相关联的每个类别的相应参数是单独的。

59.根据权利要求58所述的方法，其中在所述高通滤波器或低通滤波器中使用的所述相应参数是预先训练的、预先定义的或即时确定的。

60.根据权利要求50所述的方法，其中所述至少一个目标权重指示用于增强高频内容的一组权重值。

61.根据权利要求50所述的方法，其中所述至少一个目标权重指示用于增强针对不同样本类别的高频内容的固定权重值。

62.根据权利要求50所述的方法，其中用于增强高频内容的所述至少一个权重是预先训练的、预先定义的或即时确定的。

63.根据权利要求50所述的方法，其中确定针对所述高频内容的至少一个目标权重包括：

64.根据权利要求63所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中所述当前视频单元中的所述当前样本基于边缘强度测量而被分类为第一数目的类别。

65.根据权利要求64所述的方法，其中所述边缘强度测量包括高斯拉普拉斯(log)算子、高斯差(dog)算子、基于梯度的算子或边缘检测方法中的至少一项。

66.根据权利要求64所述的方法，其中针对所述边缘强度测量的固定阈值被用于基于log值或dog值或其他边缘强度测量方法来计算当前样本的类别索引。

67.根据权利要求66所述的方法，其中所述类别索引基于以下项被计算：

68.根据权利要求64所述的方法，其中一组阈值被用于基于log值、dog值或其他边缘强度测量方法来对所述当前样本进行分类。

69.根据权利要求68所述的方法，其中所述当前样本基于以下项被分类：

70.根据权利要求50所述的方法，其中所述当前视频部分内的部分像素/样本不基于掩码信息或编解码信息被滤波。

71.根据权利要求50所述的方法，其中一个或多个填充的样本用于所述滤波。

72.根据权利要求50所述的方法，其中所述一个或多个填充样本与所述增强过程一起被应用。

73.根据权利要求50所述的方法，其中用于对所述至少一个当前样本滤波的形状是正方形、菱形或十字形。

74.根据权利要求50所述的方法，其中用于对所述至少一个当前样本滤波的形状是对称的或不对称的。

75.根据权利要求50所述的方法，其中所述当前视频部分包括m*n个样本或m*n个像素，并且其中相同的滤波器系数被应用于在所述m*n个样本或所述m*n个像素中执行的所述m*n个样本。

76.根据权利要求50所述的方法，其中在所述增强过程中使用的一组参数或权重由多个放大比率共享。

77.根据权利要求76所述的方法，其中第二数目的缩放模型被训练或维护以覆盖几乎所有常用的缩放比率。

78.根据权利要求76所述的方法，其中针对1/k的放大比率训练的所述至少一个目标权重在放大比率在中的情况下被使用，所述1/k的放大比率是多个放大比率中的最大比率。

79.根据权利要求76所述的方法，其中针对1/p训练的所述至少一个目标权重在放大比率在中的情况下被使用，所述1/p是所述多个放大比率中的最小比率。

80.根据权利要求76所述的方法，其中针对1/q训练的所述至少一个目标权重在放大比率在中的情况下被使用。

81.根据权利要求76所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中如果水平缩放因子或竖直缩放因子不同，则所述当前视频单元被独立地水平缩放和竖直缩放。

82.根据权利要求76所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中当水平缩放因子或竖直缩放因子不同时，所述当前视频部分被独立地水平增强和竖直增强。

83.根据权利要求1所述的方法，其中所确定的所述过程在所述当前视频部分的解码过程中被使用，并且其中所述当前视频部分的放大版本被用于预测要解码的其他图片。

84.根据权利要求83所述的方法，其中所述当前视频部分是所述视频的当前帧，并且其中解码的当前帧首先被放大，并且然后被利用。

85.根据权利要求1所述的方法，其中所确定的所述过程在所述当前视频部分的解码过程中被使用，并且其中与所述当前视频部分相关联的当前帧内的子区域的放大版本被用于预测要解码的其他区域。

86.根据权利要求85所述的方法，其中所述子区域的指示符被获得。

87.根据权利要求85所述的方法，其中所述子区域被定义为编解码树块(ctb)、编解码树单元(ctu)或预先定义的尺寸。

88.根据权利要求1所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中如果所述增强过程被应用于所述当前视频单元，则增强参考视频单元被允许与所述当前视频单元混合。

89.根据权利要求1所述的方法，其中所述当前视频部分是所述视频的当前视频单元，并且其中所述当前视频单元被划分为多个非重叠的条带，并且所述多个非重叠的条带中的每个条带被单独处理，而不参考其他条带中的样本或参考其他区域中的样本。

90.根据权利要求1-89中任一项所述的方法，其中所述转换包括从所述视频的所述比特流解码所述当前视频部分。

91.根据权利要求1-89中任一项所述的方法，其中所述转换包括将所述当前视频部分编码到所述视频的所述比特流中。

92.一种用于处理视频数据的装置，包括处理器和其上具有指令的非瞬态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-91中任一项所述的方法。

93.一种非瞬态计算机可读存储介质，存储使处理器执行根据权利要求1-91中任一项所述的方法的指令。

94.一种非瞬态计算机可读记录介质，存储视频的由视频处理装置执行的方法生成的比特流，其中所述方法包括：

95.一种用于存储视频的比特流的方法，包括：

技术总结
本公开的实施例提供了一种用于视频处理的解决方案。提出了一种用于视频处理的方法。该方法包括：在视频的当前视频部分和视频的比特流之间的转换期间，至少基于当前视频部分的编解码信息，确定被应用于当前视频部分的过程，所确定的过程包括上采样过程或增强过程中的至少一个过程；以及基于所确定的过程执行转换。根据本公开的方法改进了当前视频单元的编解码过程。与常规的解决方案相比，所提出的方法可以有利地提高编解码效率，并且具有更多像素和更好视觉质量的更大尺寸的图像/视频被实现。

技术研发人员：尹文斌,张莉,尹海斌,施华德
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/1/25