采用几何分割进行帧间预测的高级语法的制作方法

文档序号:31054083发布日期:2022-08-06 10:34阅读:来源:国知局

技术特征:
1.一种视频处理的方法,包括:对于视频的当前视频块和视频的比特流表示之间的转换,基于规则确定几何分割模式的适用性;以及基于所述确定执行所述转换,其中,所述规则取决于所述当前视频块的块宽度、块高度和/或长宽比。2.根据权利要求1所述的方法,其中所述几何分割模式包括以下中的至少一者:三角形预测模式(tpm)、几何merge模式(geo)和/或楔形预测模式。3.根据权利要求1或2所述的方法,其中所述几何分割模式包括将视频块划分成两个或更多个子区域,其中至少一个子区域不包括qt、bt和/或分区。4.根据权利要求1-3中任一项或多项所述的方法,其中规则规定在w≥t1且h≥t2且w≤t3且h≤t4且w/h≤t5且h/w≤t6的情况下,对于具有宽度(w)和高度(h)的当前视频块允许所述几何分割模式。5.根据权利要求1-3中任一项或多项所述的方法,其中规则规定在w≥t1且h≥t2且w≤t3且h≤t4的情况下,对于具有宽度(w)和高度(h)的当前视频块允许所述几何分割模式。6.根据权利要求1-3中任一项或多项所述的方法,其中规则规定在w<t1或h<t2或w>t3或h>t4或w/h>t5或h/w>t6的情况下,对于具有宽度(w)和高度(h)的当前视频块不允许所述几何分割模式。7.根据权利要求4-6中任一项所述的方法,其中t1=t2=8,t3=t4=32或64,t5=2或4,或t6=4。8.一种视频处理的方法,包括:执行视频的视频单元和所述视频的比特流表示之间的转换,其中所述比特流表示符合格式规则,其中所述格式规则规定是否包含一个或多个语法元素,所述语法元素指示允许在比特流表示中表示视频单元的几何分割模式的数量。9.根据权利要求8所述的方法,其中,所述视频单元对应于序列、图片组、图片、子图片、条带、片、虚拟流水线数据单元(vpdu)、编解码树单元(ctu)、ctu行、编解码单元、预测单元或变换单元。10.根据权利要求8或9所述的方法,其中,所述一个或多个语法元素在序列参数集(sps)、视频参数集(vps)、自适应参数集(aps)、图片参数集(pps)、图片标头、条带标头、图片、子图片、条带或片中信令通知。11.根据权利要求8到10中任一权利要求所述的方法,其中,所述格式规则规定基于是否对所述视频单元启用几何分割模式、当前图片类型是否是非帧内图片或者b图片,和/或当前条带类型是否是b条带来有条件地信令通知所述一个或多个语法元素。12.根据权利要求8到10中任一权利要求所述的方法,其中,所述一个或多个语法元素中的语法元素指示所述视频单元的几何分割模式的数量是否等于x,其中x为正整数。13.根据权利要求8到10中任一权利要求所述的方法,其中,所述一个或多个语法元素中的语法元素指示对于所述视频单元中的所有块,是否允许x个几何分割模式,其中x为正整数。14.根据权利要求8到10中任一权利要求所述的方法,其中,所述一个或多个语法元素
中的语法元素指示对于所述视频单元中的特定块是否允许x个几何分割模式,其中x为正整数,并且所述特定块满足与所述特定块的长宽比相关的条件。15.根据权利要求8到10中任一权利要求所述的方法,其中,所述一个或多个语法元素的多个语法元素指示对所述视频单元中的每一类别的块所允许的几何分割模式,并且其中,基于所述块的维度将所述块分类到类别。16.根据权利要求15所述的方法,其中,所述多个语法元素包括指示对于一些块是否允许x个几何分割模式的第一语法元素,以及指示对于其他块是否允许y个几何分割模式的第二语法元素。17.根据权利要求16所述的方法,其中,一些块满足h/w≤t的条件,并且其他块满足h/w>t的另一条件,其中w和h分别指示块的宽度和高度,并且t是正整数。18.根据权利要求12-14或16中任一项所述的方法,其中,x或y为16、30或32。19.根据权利要求8-10中任一项所述的方法,其中,如何信令通知块的几何分割模式索引取决于一个或多个语法元素和/或块维度。20.根据权利要求19所述的方法,其中,所述块的几何分割模式索引的二进制化和/或熵编解码取决于一个或多个语法元素和/或块维度。21.根据权利要求20所述的方法,其中,在由一个或多个语法元素导出的块的几何分割模式的数量等于x的情况下,几何分割模式索引的输入参数的值等于x。22.根据权利要求20所述的方法,其中,在由一个或多个语法元素导出的块的几何分割模式的数量等于x并且块维度满足特定条件的情况下,几何分割模式索引的输入参数的值等于x。23.根据权利要求8-10中任一项所述的方法,其中,几何分割模式索引的最大值取决于一个或多个语法元素和/或块维度。24.根据权利要求23所述的方法,其中,添加比特流约束,以约束所述最大值小于所述几何分割模式的数量。25.根据权利要求23所述的方法,其中,添加比特流约束,以约束最大值小于具有满足特定条件的块维度的块所允许的几何分割模式的数量。26.根据权利要求8到10中任一权利要求所述的方法,其中,在视频处理单元级中信令通知一个或多个约束标志,以规定是否约束视频单元的x个几何分割模式的使用,其中x为正整数。27.根据权利要求26所述的方法,其中,信令通知约束标志来约束x个几何分割模式是否用于序列中的所有块。28.根据权利要求26所述的方法,其中,如何约束x个几何分割模式取决于块维度。29.根据权利要求8到10中任一权利要求所述的方法,其中,对于视频单元中的块允许哪种几何分割模式取决于一个或多个语法元素。30.根据权利要求29所述的方法,其中,对于块是否允许几何分割模式的子集或全集,对于块是否允许几何分割角度的子集或全集,和/或对于块是否允许几何分割位移的子集或全集取决于一个或多个语法元素。31.一种视频处理的方法,包括:根据规则在视频的包括一个或多个视频块的视频单元和所述视频的比特流表示之间
执行转换,其中,使用一个或多个几何分割模式对所述一个或多个视频块进行编解码,并且其中,所述规则规定所述一个或多个几何分割模式来自对于处理所述一个或多个视频块允许的几何分割模式的两个集合。32.根据权利要求31所述的方法,其中,所述几何分割模式的两个集合包括第一集合和第二集合,并且所述第一集合中的至少一个几何分割模式不包括在所述第二集合中。33.根据权利要求31所述的方法,其中,所述几何分割模式的两个集合包括相同数量的几何分割模式。34.根据权利要求31所述的方法,其中,所述几何分割模式的两个集合分别包括不同数量的几何分割模式。35.根据权利要求1所述的方法,其中,视频块使用来自哪个集合的几何分割模式、角度和/或距离取决于所述视频块的维度。36.根据权利要求31所述的方法,其中,如何信令通知视频块的几何分割模式索引取决于所述视频块的维度。37.一种视频处理的方法,包括:根据规则在视频的包括一个或多个视频块的视频单元和所述视频的比特流表示之间执行转换,其中,一个或多个视频块根据解码的信息被分类为多个块类别,并且其中,所述规则规定对于处理一个或多个视频块允许几何分割模式的多个集合。38.根据权利要求37所述的方法,其中,所述规则进一步规定对于视频块使用哪个集合取决于块类别和/或与几何分割模式相关的一个或多个语法元素。39.根据权利要求37所述的方法,其中,所述规则进一步规定对于视频块允许的几何分割模式的数量取决于块类别和/或与几何分割模式相关的一个或多个语法元素。40.根据权利要求37所述的方法,其中,对于视频块允许的几何分割模式的数量小于或等于表示所述视频块的几何分割模式对应集合的set
i
的长度(l
i
)。41.根据权利要求37所述的方法,其中,对于视频块允许的所有或部分几何分割模式来自表示所述视频块的几何分割模式对应集合的set
i
。42.根据权利要求37所述的方法,其中,对于视频块所允许的几何分割模式包括表示所述视频块的几何分割模式对应集合的set
i
中的至少n种模式,其中,n是小于set
i
的长度的整数。43.根据权利要求37所述的方法,其中,对于视频块允许的几何分割模式包括表示所述视频块的几何分割模式对应集合的set
i
中的一些模式和一些其他预定义的几何分割模式。44.一种视频处理的方法,包括:根据规则执行视频的当前视频块和所述视频的比特流表示之间的转换,其中,所述规则规定所述当前视频块的几何分割模式索引和为确定所述当前视频块的分区的角索引和/或距离索引之间的映射取决于所述当前视频块的解码的信息。45.根据权利要求44所述的方法,其中,所述解码的信息包括所述当前视频块的维度和/或所述当前视频块的类别。46.根据权利要求44或45所述的方法,其中,所述规则规定所述映射取决于块维度是否
满足特定条件。47.根据权利要求44或45所述的方法,其中,所述规则规定对应于多个连续几何分割模式索引(m
j
)的角索引(a
j
)是无序的,使得角索引不是连续的、不是降序和/或不是升序的。48.根据权利要求44或45所述的方法,其中,所述规则规定对应于多个连续几何分割模式索引(m
j
)的角索引(a
j
)是有序的,使得角索引是连续的、是降序和/或升序的。49.根据权利要求44或45所述的方法,其中,所述规则规定对应于多个连续几何分割模式索引(m
j
)的距离索引(d
k
)是无序的,使得距离索引(d
k
)不是连续的、不是降序、和/或不是升序的。50.根据权利要求44或45所述的方法,其中,所述规则规定对应于多个连续几何分割模式索引(m
j
)的距离索引(d
k
)是有序的,使得距离索引(d
k
)是连续的、是降序和/或升序的。51.根据权利要求44或45所述的方法,其中,所述规则规定对应于多个连续编解码或信令通知的几何分割模式索引的几何分割模式索引是无序的,使得几何分割模式索引不连续、不是降序和/或不是升序的。52.根据权利要求44或45所述的方法,其中,所述规则规定对应于多个连续编解码或信令通知的几何分割模式索引的几何分割模式索引是有序的,使得几何分割模式索引是连续的、是降序和/或升序的。53.一种视频处理的方法,包括:根据规则执行视频的视频单元的当前视频块和所述视频的比特流表示之间的转换,其中,所述规则规定指示对于所述当前视频块允许的几何分割模式、几何分割角度和/或几何分割距离的数量的第一数量不同于指示对于所述视频单元可用的几何分割模式、几何分割角度和/或几何分割距离的数量的第二数量。54.根据权利要求53所述的方法,其中,所述规则进一步规定对所述当前视频块信令通知的最大几何分割模式索引小于与所述视频的序列允许的几何分割模式总数相对应的第二数量。55.根据权利要求53所述的方法,其中,所述规则进一步规定指示对于所述当前视频块允许的几何分割角度的数量的第一数量小于与所述视频的序列允许的几何分割角度的总数相对应的第二数量。56.根据权利要求53所述的方法,其中,所述第一数量取决于所述当前视频块的维度。57.一种视频处理的方法,包括:执行视频的当前视频块和所述视频的比特流表示之间的转换,其中,所述当前视频块的几何分割模式索引被编解码在所述比特流表示中,使得根据规则执行几何分割模式索引的二进制化,其中,所述规则规定在所述当前视频块的维度满足特定条件的情况下,几何分割模式索引的二进制化期间的最大值的值等于x,其中x是正整数。58.根据权利要求57的方法,其中,x是16、30或32。59.根据权利要求57所述的方法,其中,所述特定条件是h/w≤t或h/w>t,其中,h和w分别表示所述当前视频块的高度和宽度,t是正整数。60.根据权利要求59的方法,其中,t是1、2、4或8。61.根据权利要求1至60中任一项所述的方法,其中,几何分割模式的索引用截断莱斯、
或截断二元化、或截断一元化、或固定长度、或k阶指数哥伦布、或有限k阶指数哥伦布二进制化来编解码。62.一种视频处理的方法,包括:对于视频的当前视频块和所述视频的比特流表示之间的转换,基于包括与几何分割索引相对于的几何分割距离值的表来确定几何分割距离;以及基于所述确定执行所述转换。63.根据权利要求62所述的方法,其中,所述几何分割距离是基于所述表的子集来确定。64.根据权利要求62所述的方法,其中,所述表将值4指示为与等于3或21的几何分割角索引相对应的几何分割距离。65.根据权利要求62所述的方法,其中表将值-4指示为于等于9和/或15的几何分割角索引相对应的几何分割距离。66.一种视频处理的方法,包括:根据规则执行视频的当前视频块和所述视频的比特流表示之间的转换,其中,所述规则规定为使用几何分割模式编解码的所述当前视频块,所述转换允许使用编解码工具,并且其中,所述比特流表示包括所述编解码工具和所述几何分割模式的指示和信息。67.根据权利要求66所述的方法,其中,所述编解码工具是子块变换(sbt)工具,所述sbt工具包括对预测残差块的子部分应用变换过程或逆变换过程。68.根据权利要求66所述的方法,其中,所述编解码工具是组合的帧间和帧内预测(ciip)工具,所述ciip工具包括使用加权系数来组合帧内预测信号和帧间预测信号。69.根据权利要求66所述的方法,其中,所述编解码工具是带有运动向量差的merge模式(mmvd)工具,所述mmvd工具包括运动向量表达,所述运动向量表达包括指定两个运动候选之间的距离的距离表。70.根据权利要求66所述的方法,其中,所述几何分割模式的参数基于所述编解码工具的使用。71.一种视频处理的方法,包括:根据规则执行视频的当前视频块和所述视频的比特流表示之间的转换,其中,所述规则规定是否或如何对所述当前视频块应用滤波过程取决于在编解码所述当前视频块时几何分割模式的使用。72.根据权利要求71所述的方法,其中,所述规则进一步规定在去块过程期间的边界滤波强度的值取决于所述当前视频块是否使用所述几何分割模式编解码。73.根据权利要求71所述的方法,其中,所述规则还规定在所述当前视频块的边缘是变换块边缘并且样点在具有与几何分割模式相关的标志并且所述标志设置为1的当前视频块内的情况下,去块过程期间的边界滤波强度的值等于t。74.根据权利要求71所述的方法,其中,所述规则进一步规定使用几何分割模式编解码的当前视频块内的去块边缘的值不同于2。75.根据权利要求71所述的方法,其中,所述规则进一步规定使用几何分割模式编解码的当前视频块内的去块边缘的值是2。
76.根据权利要求1至75中任一项所述的方法,其中,几何分割模式选自几何分割模式的集合,并且其中,几何分割模式的集合包括一个或多个几何分割模式,以将块分成两个或多个分区,两个或多个分区中的至少一个是非正方形和非矩形的。77.根据权利要求1至76中任一项所述的方法,其中,所述转换包括将视频编码成比特流表示。78.根据权利要求1至76中任一项所述的方法,其中,所述转换包括从比特流表示中解码视频。79.一种视频处理装置,包括被配置为实现权利要求1至78中任一项或多项所述的方法的处理器。80.一种存储程序指令的计算机可读介质,当执行程序指令时,使处理器实现权利要求1至78中任一项或多项所述的方法。81.一种存储根据权利要求1至78中中任一项或多项所述的方法生成的编解码表示或比特流表示的计算机可读介质。82.一种存储比特流表示的视频处理装置,其中,所述视频处理装置被配置为实现权利要求1至78中任一项或多项所述的方法。

技术总结
描述了一种视频处理的方法。该方法包括:对于视频的当前视频块和视频的比特流表示之间的转换,基于规则确定几何分割模式的适用性;以及基于该确定执行转换,并且其中该规则取决于当前视频块的块宽度、块高度和/或长宽比。比。比。


技术研发人员:邓智玭 张莉 刘鸿彬 张凯 许继征 王洋 王悦
受保护的技术使用者:字节跳动有限公司
技术研发日:2020.12.24
技术公布日:2022/8/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1