用于视频处理的方法、装置和介质与流程

本公开的实施例一般地涉及视频编解码技术，更具体地，涉及图像/视频编解码中的多重假设预测的信令。

背景技术：

1、如今，数字视频功能正被应用于人们生活的各个方面。已经针对视频编码/解码，已经提出了多种类型的视频压缩技术，诸如mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4第10部分高级视频编解码(avc)、itu-t h.265高效视频编解码(hevc)标准、通用视频编解码(vvc)标准。然而，常规视频编解码技术的编解码效率通常较低，这是不希望的。

技术实现思路

1、本公开的实施例提供用于视频处理的解决方案。

2、在第一方面，提出了一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(gpm)被编解码；以及基于存储信息执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

3、在第二方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，基于多个帧内预测生成目标块的多重假设预测块；以及基于多重假设预测块执行转换。与现有解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

4、在第三方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(cu)的几何划分模式(gpm)模板匹配语法元素是否被指示，该目标块是gpm块；以及基于该确定来执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

5、在第四方面，提出了另一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状；以及基于该确定执行转换。与传统解决方案相比，所提出的方法可以有利地提高编解码效率和性能。

6、在第五方面，提出了一种用于处理视频数据的装置。该处理视频数据的装置包括处理器和其上带有指令的非暂态存储器，其中指令在由处理器执行时，使处理器执行根据第一方面、第二方面、第三方面或第四方面中的任一个的方法。

7、在第六方面，提出了一种用于处理视频数据的装置。该非暂态计算机可读存储介质存储使处理器执行根据第一方面、第二方面、第三方面或第四方面中的任一个的方法的指令。

8、在第七方面，提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(gpm)被编解码；以及基于存储信息生成目标块的码流。

9、在第八方面，提出了另一种用于存储视频的码流的方法。该方法包括：确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(gpm)被编解码；基于存储信息生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

10、在第九方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：基于多个帧内预测生成目标块的多重假设预测块；以及基于多重假设预测块生成目标块的码流。

11、第十方面，提出了另一种用于存储视频的码流的方法。该方法包括基于多个帧内预测生成目标块的多重假设预测块；基于多重假设预测块生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

12、在第十一方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(cu)的几何划分模式(gpm)模板匹配语法元素是否被指示，目标块是gpm块；以及基于该确定生成目标块的码流。

13、在第十二方面，提出了另一种用于存储视频的码流的方法。该方法包括：基于帧内-帧间编解码是否被应用于目标块，确定基于编解码单元(cu)的几何划分模式(gpm)模板匹配语法元素是否被指示，目标块是gpm块；基于该确定生成目标块的码流；以及将该码流存储在非暂态计算机可读记录介质中。

14、在第十三方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法生成的码流，其中该方法包括：针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状；以及基于确定生成目标块的码流。

15、在第十四方面，提出了另一种用于存储视频的码流的方法。该方法包括：针对编解码方法，基于与目标块相关联的邻近样本的可用性，确定被用于目标块的模板的形状；基于确定生成目标块的码流；以及将码流存储在非暂态计算机可读记录介质中。

16、提供本
技术实现要素：
是为了以简化的形式介绍以下在详细描述中进一步描述的概念的选择。本发明内容不旨在识别所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护主题的范围。

技术特征：

1.一种用于视频处理的方法，包括：

2.根据权利要求1所述的方法，其中所述目标块是gpm帧内-帧内预测块，或者

3.根据权利要求1所述的方法，其中所述编解码信息以mxn为基础被存储，并且

4.根据权利要求3所述的方法，其中m等于以下之一：

5.根据权利要求3所述的方法，其中m和n相同。

6.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于零运动矢量被存储。

7.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于等于-1的参考索引被存储。

8.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于参考索引被存储，所述参考索引等于与所述目标块相关联的当前条带或当前图片的参考索引。

9.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于以下至少一项被存储：

10.根据权利要求9所述的方法，其中以下至少一项不属于常规帧内模式索引之一：

11.根据权利要求9所述的方法，其中以下至少一项被映射到用于存储编解码信息的常规帧内模式索引之一：

12.根据权利要求9所述的方法，其中以下至少一项未被存储：

13.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于默认帧间运动被存储。

14.根据权利要求1所述的方法，其中所述目标块的所述第一部分的所述编解码信息基于默认帧内模式被存储。

15.根据权利要求14所述的方法，其中所述默认帧内模式是平面模式。

16.根据权利要求1所述的方法，其中在所述目标块的混合区域处，是存储所述目标块的经帧内编解码的信息还是存储所述目标块的经帧间编解码的信息是预定义的。

17.根据权利要求16所述的方法，其中所述混合区域包括沿gpm划分线的帧内-帧间融合区域。

18.根据权利要求16所述的方法，其中如果样本属于所述混合区域，则被用于所述样本的gpm的多个加权值不等于0。

19.根据权利要求16所述的方法，其中所述目标块的所述经帧内编解码的信息被默认存储。

20.根据权利要求16所述的方法，其中所述目标块的所述经帧间编解码的信息被默认存储。

21.根据权利要求1所述的方法，其中是存储所述目标块的经帧内编解码的信息还是存储所述目标块的经帧间编解码的信息基于所述目标块的划分信息被确定。

22.根据权利要求1所述的方法，其中在所述目标块的混合区域处，哪个划分被存储的经编解码的信息是预定义的。

23.根据权利要求22所述的方法，其中如果样本属于所述混合区域，则被用于所述样本的gpm的多个加权值不等于0。

24.根据权利要求22的方法，其中是存储所述第一部分的所述经编解码的信息还是存储第二部分的经编解码的信息基于所述目标块的划分信息被确定的。

25.根据权利要求21或24所述的方法，其中所述划分信息包括以下至少一项：

26.根据权利要求22所述的方法，其中是存储所述第一部分的所述经编解码的信息还是存储第二部分的经编解码的信息基于两个帧内预测模式被确定。

27.根据权利要求1所述的方法，其中所述编解码信息通过后续经编码的块或后续经解码的块被使用，或者

28.根据权利要求1所述的方法，其中所述存储信息指示以下至少一项：

29.根据权利要求1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示在以下之一处被指示：

30.根据权利要求1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示在以下之一中被指示：

31.根据权利要求1-28中任一项所述的方法，其中是否和/或如何确定如何存储所述编解码信息的指示被包括在以下之一中：

32.根据权利要求1-28中任一项所述的方法，还包括：

33.一种用于视频处理的方法，包括：

34.根据权利要求33所述的方法，其中所述多重假设预测块的多个假设被帧内预测。

35.根据权利要求33所述的方法，其中所述多重假设预测块是多假设预测(mhp)块，并且所述mhp块包括多个经帧内编解码的假设。

36.根据权利要求33所述的方法，其中所述多重假设预测块是组合的帧间和帧内预测(ciip)块，并且所述ciip块包括至少两个帧内预测。

37.根据权利要求33所述的方法，其中所述多重假设预测块是几何划分模式(gpm)块，并且所述gpm块的两个划分都是经帧内模式编解码的。

38.根据权利要求33所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块的两个划分的帧内模式不允许相同。

39.根据权利要求33的方法，所述多重假设预测块是gpm块，并且所述gpm块的第一划分的第一帧内模式在所述码流中被指示。

40.根据权利要求39所述的方法，其中所述gpm块的第二划分的第二帧内模式被隐式地导出。

41.根据权利要求39所述的方法，其中所述第一划分的所述第一帧内模式从所述第二划分的经编解码的表示中被排除。

42.根据权利要求33所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块的两个划分的帧内模式在所述码流中被指示。

43.根据权利要求33所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块的两个划分的帧内模式被隐式地导出。

44.根据权利要求33所述的方法，其中两个划分的两个帧内预测被加权混合。

45.根据权利要求44所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块的两个帧内预测被加权混合。

46.根据权利要求44所述的方法，其中在所述两个划分的划分内的所有样本具有相同的加权因子。

47.根据权利要求44所述的方法，其中不同的样本具有不同的加权因子。

48.根据权利要求44所述的方法，其中加权因子取决于所述gpm块的分割方法。

49.根据权利要求44所述的方法，其中加权因子取决于所述多重假设预测块的至少一个帧内预测模式。

50.根据权利要求33所述的方法，其中所述多重假设预测块通过至少一条倾斜的划分线被分割，或者

51.根据权利要求50所述的方法，其中所述目标块的分割模式在所述码流中被指示。

52.根据权利要求50所述的方法，其中所述目标块的分割模式以与gpm划分模式索引相同的方式被指示。

53.根据权利要求50所述的方法，其中所述目标块的分割模式基于所述目标块的编解码信息被隐式地导出。

54.根据权利要求33所述的方法，其中指示gpm划分的帧内预测是否在所述解码器侧被导出的至少一个语法元素被指示。

55.根据权利要求54所述的方法，其中基于编解码单元(cu)的标志针对所述目标块被指示。

56.根据权利要求54的方法，其中基于划分的标志针对所述目标块的划分被指示。

57.根据权利要求54所述的方法，其中解码器导出的帧内预测包括解码器侧帧内模式导出或基于模板的帧内模式导出。

58.根据权利要求33所述的方法，其中如果仅l0参考列表可用，则所述多重假设预测块针对p条带或图片被允许，并且

59.根据权利要求58所述的方法，其中所述多重假设预测块是gpm块，所述gpm块针对p条带或图片被允许。

60.根据权利要求58所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块的两个划分包括帧内预测和帧间预测。

61.根据权利要求60所述的方法，其中所述帧间预测包括l0预测或l1预测。

62.根据权利要求60所述的方法，其中所述帧内预测是预定义的或被指示的。

63.根据权利要求58所述的方法，其中所述多重假设预测块是gpm块，所述gpm块的两个划分包括第一帧内预测和第二帧内预测。

64.根据权利要求63所述的方法，其中所述两个划分的帧内模式不允许相同。

65.根据权利要求58所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块的两个划分包括第一帧间预测和第二帧间预测。

66.根据权利要求65所述的方法，其中所述gpm块包括两个l0预测，或者

67.根据权利要求65所述的方法，其中所述第一帧间预测的运动信息和所述第二帧间预测的运动信息不允许相同。

68.根据权利要求65所述的方法，其中所述两个划分从相同的预测方向被预测，并且所述两个划分的运动矢量针对混合区域运动存储被相加或被平均。

69.根据权利要求68所述的方法，其中如果所述两个划分的预测方向和参考索引相同，则将所述两个划分的运动矢量针对所述混合区域的运动存储被相加或被平均。

70.根据权利要求68所述的方法，其中如果所述两个划分的预测方向相同且所述两个划分的参考索引不同，则所述混合区域的运动存储是基于运动矢量缩放过程。

71.根据权利要求58所述的方法，其中如果所述多重假设预测块的两个划分从相同的预测方向被预测，则所述两个划分索引中具有较小参考的目标划分的运动矢量被存储。

72.根据权利要求58所述的方法，其中如果所述多重假设预测块的两个划分从相同的预测方向被预测，则具有较小的|mvx|+|mvy|的目标划分的运动矢量被存储，并且mvx和mvy分别表示两个方向上的运动矢量。

73.根据权利要求33所述的方法，其中gpm候选列表基于具有特定预测方向的常规合并候选被构建。

74.根据权利要求33所述的方法，其中针对p条带的第一gpm候选列表以与针对b条带的第二gpm候选列表不同的方式被构建。

75.根据权利要求74所述的方法，其中针对p条带的所述第一gpm候选列表是针对b条带的所述第二gpm候选列表的子集。

76.根据权利要求33所述的方法，其中所述多重假设预测块针对i条带或图片被允许。

77.根据权利要求76所述的方法，其中所述多重假设预测块是gpm块，并且所述gpm块针对i条带或图片被允许。

78.根据权利要求77所述的方法，其中所述gpm块包括两个非帧间预测。

79.根据权利要求78所述的方法，其中所述两个非帧间预测之一包括：

80.根据权利要求77所述的方法，其中不同的帧内模式被用于所述gpm块的两个划分。

81.根据权利要求77所述的方法，其中基于样本的加权因子被用于混合所述gpm块的两个划分。

82.根据权利要求76所述的方法，其中所述多重假设预测块是ciip块，并且所述ciip块针对i条带或图片被允许。

83.根据权利要求82所述的方法，其中所述ciip块包括帧内预测和非帧间预测。

84.根据权利要求83所述的方法，其中所述非帧间预测包括以下之一：

85.根据权利要求82所述的方法，其中不同的帧内模式被用于所述ciip块的两个预测。

86.根据权利要求82所述的方法，其中基于块的加权因子被用于混合所述ciip块的两个预测。

87.根据权利要求76所述的方法，其中所述多重假设预测块是mhp块，并且所述mhp块针对i条带或图片被允许。

88.根据权利要求87所述的方法，其中所述mhp块包括多个非帧间预测。

89.根据权利要求87所述的方法，其中所述多个非帧间预测包括以下之一：

90.根据权利要求87所述的方法，其中不同的帧内模式被用于所述mhp块的多重假设。

91.根据权利要求87所述的方法，其中基于块的加权因子被用于混合所述mhp块的多重假设。

92.根据权利要求33所述的方法，其中如果ibc涉及gpm、ciip或mhp中的一个，则针对所述ibc的信息被指示。

93.根据权利要求33所述的方法，其中如果调色板涉及gpm、ciip或mhp中的一个，则针对所述调色板的信息被指示。

94.根据权利要求33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示在以下之一处被指示：

95.根据权利要求33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示在以下之一中被指示：

96.根据权利要求33-93中任一项所述的方法，其中是否和/或如何生成所述多重假设预测块的指示被包括在以下之一中：

97.根据权利要求33-93中任一项所述的方法，还包括：

98.一种用于视频处理的方法，包括：

99.根据权利要求98所述的方法，其中如果所述目标块通过帧内-帧间预测被编解码，则所述基于cu的gpm模板匹配不允许被进一步应用。

100.根据权利要求99所述的方法，其中如果所述基于cu的gpm模板匹配针对gpm帧内-帧间块不被允许，则基于cu级模板匹配的标志不通过推断到某个值而被指示。

101.根据权利要求98所述的方法，其中基于所述基于cu的gpm模板匹配是否被用于所述目标块，所述帧内-帧间编解码是否针对所述目标块被允许被确定。

102.根据权利要求101所述的方法，其中如果所述基于cu的gpm模板匹配被使用，则所述帧内-帧间预测不允许被进一步应用。

103.根据权利要求101所述的方法，其中所述帧内-帧间预测针对所述目标块不被允许，经帧内编解码的信息不在所述码流中被指示。

104.根据权利要求98所述的方法，其中gpm帧内-帧间预测块被允许使用基于划分的gpm模板匹配。

105.根据权利要求104所述的方法，其中如果所述基于划分的gpm模板匹配针对所述gpm帧内-帧间块被允许，则针对经帧间编解码的划分的标志被指示以指定所述经帧间编解码的划分的运动是否通过模板匹配被进一步细化。

106.根据权利要求98-105中任一项所述的方法，其中是否和/或如何确定所述基于cu的gpm模板匹配语法元素是否被指示的指示在以下之一处被指示：

107.根据权利要求98-105中任一项所述的方法，其中是否和/或如何确定所述基于cu的gpm模板匹配语法元素是否被指示的指示在以下之一中被指示：

108.根据权利要求98-105中任一项所述的方法，其中是否和/或如何确定所述基于cu的gpm模板匹配语法元素是否被指示的指示被包括在以下之一中：

109.根据权利要求98-105中任一项所述的方法，还包括：

110.一种用于视频处理的方法，包括：

111.根据权利要求110所述的方法，其中如果上方样本可用但左侧样本不可用，则所述模板仅包括所述上方样本，或

112.根据权利要求110所述的方法，其中虚拟模板被使用，在所述虚拟模板中所述模板的至少一个样本通过特定平均值被生成。

113.根据权利要求112所述的方法，其中填充被利用以填入不可用的样本。

114.根据权利要求110所述的方法，其中所述模板被用于以下之一：

115.根据权利要求110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示在以下之一处被指示：

116.根据权利要求110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示在以下之一中被指示：

117.根据权利要求110-114中任一项所述的方法，其中是否和/或如何确定被用于所述目标块的模板的所述形状的指示被包括在以下之一中：

118.根据权利要求110-114中任一项所述的方法，还包括：

119.根据权利要求1-118中任一项所述的方法，其中滤波器系数或裁剪值中的至少一个被允许是不等于2的幂的值。

120.根据权利要求119所述的方法，其中跨分量自适应环路滤波器(ccalf)的所述滤波器系数是基于不等于2的幂的值。

121.根据权利要求119所述的方法，其中所述裁剪值不是2的幂。

122.根据权利要求1-118中任一项所述的方法，其中色度分量和亮度分量共享滤波器形状。

123.根据权利要求122所述的方法，其中针对色度的第一滤波器形状和针对亮度的第二滤波器形状相同，针对色度的第一滤波器长度和针对亮度的第二滤波器长度不同。

124.根据权利要求122所述的方法，其中mxn菱形/十字形滤波器被用于环路滤波器的所述亮度分量，与所述亮度分量相关联的所述色度分量被允许使用大小为mxn的菱形/十字形滤波器，其中m大于subwidthc，n大于subheightc，并且所述subwidthc和所述subheightc取决于色度格式采样结构。

125.根据权利要求124所述的方法，其中针对4:2:0色度格式，所述subwidthc和所述subheightc等于2。

126.根据权利要求124所述的方法，其中针对4:4:4色度格式，所述subwidthc和所述subheightc等于1。

127.根据权利要求124所述的方法，其中针对4:2:2色度格式，所述subwidthc等于2并且所述subheightc等于1。

128.根据权利要求122所述的方法，其中如果色度格式是4:4:4，则所述色度分量和所述亮度分量共享滤波器形状。

129.根据权利要求1-128中任一项所述的方法，其中所述转换包括将所述目标块编码到所述码流中。

130.根据权利要求1-128中任一项所述的方法，其中所述转换包括从所述码流中解码所述目标块。

131.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时，使所述处理器执行根据权利要求1-32中的任一项、或权利要求33-97中的任一项、或权利要求98-109中的任一项、或权利要求110-118中的任一项、或权利要求119-130中的任一项所述的方法。

132.一种非暂态计算机可读存储介质，存储使处理器执行根据权利要求1-32中的任一项、或权利要求33-97中的任一项、或权利要求98-109中的任一项、或权利要求110-118中的任一项、或权利要求119-130中的任一项所述的方法的指令。

133.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

134.一种用于存储视频的码流的方法，包括：

135.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

136.一种用于存储视频的码流的方法，包括：

137.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

138.一种用于存储视频的码流的方法，包括：

139.一种非暂态计算机可读记录介质，存储视频的通过由视频处理装置执行的方法生成的码流，其中所述方法包括：

140.一种用于存储视频的码流的方法，包括：

技术总结
提出了一种用于视频处理的方法。该方法包括：在视频的目标块和目标块的码流之间的转换期间，确定与目标块的第一部分的编解码信息相关的存储信息，该目标块利用几何划分模式(GPM)被编解码；以及基于存储信息执行转换。

技术研发人员：邓智玭,张凯,张莉
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/5/12