使用参数集的视频编解码的制作方法

使用参数集的视频编解码
1.相关申请的交叉引用
2.根据适用的专利法和/或依据巴黎公约的规则，本技术适时要求于2020年4月6日提交的美国申请no.63/006,054的优先权和权益。出于根据法律的所有目的，前述申请的全部公开通过引用而并入作为本技术的公开的一部分。
技术领域
3.本专利文档涉及图像和视频编解码和解码。


背景技术：

4.在互联网和其他数字通信网络中，数字视频占用了最大的带宽。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。


技术实现要素：

5.本文公开了可以由视频编码器和解码器用于使用对编解码表示的解码有用的控制信息来处理视频的编解码表示的技术。
6.在一个示例方面，公开了一种视频处理方法。该方法包括根据格式规则来执行包括包含一个或多个视频区域的一个或多个层的视频和视频的编解码表示之间的转换，其中格式规则指定一个或多个语法元素在与对应视频区域的被允许的条带类型相对应的一个或多个视频区域级别被包括在编解码表示中。
7.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个层的视频和视频的编解码表示之间的转换，其中该一个或多个层包括包含一个或多个视频条带的一个或多个视频图片，其中格式规则指定根据第二规则在图片标头或条带标头之间至多一次包括与条带级别的编解码模式的启用或使用有关的语法元素。
8.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括包含一个或多个视频条带的一个或多个视频图片的视频和视频的编解码表示之间的转换，其中格式规则指定视频图片中被允许的条带类型控制参考图片列表是在编解码表示中被信令通知还是从编解码表示生成。
9.在另一个示例方面，公开了另一种视频处理方法。该方法包括执行包括包含一个或多个子图片的一个或多个视频图片的视频之间的转换，其中编解码表示符合格式规则，其中格式规则指定对视频图片的非编解码子图片的处理。
10.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，其中格式规则指定，响应于满足一个或多个条件，指示提供档次、层和级别信息的第一语法结构和提供解码图片缓冲区信息的第二语法结构是否存在于序列参数集中的语法元素被设置为等于1，以指示第一语法结构和第二语法结构存在于序列参数集中。
11.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执
行包括一个或多个编解码层的视频和视频的比特流之间的转换，并且其中格式规则指定一个或多个参数集和/或通用约束信息语法结构包括指示编解码层视频序列的图片中被允许的条带类型的一个或多个语法元素。
12.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个层的视频和视频的比特流之间的转换，其中该一个或多个层包括包含一个或多个条带的一个或多个图片，并且格式规则指定语法元素被包括在图片标头或条带标头中，以指示是否对视频的对应图片或条带允许双向预测b条带或者该双向预测b条带是否用于视频的对应图片或条带。
13.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个层的视频和视频的比特流之间的转换，其中该一个或多个层包括包含一个或多个条带的一个或多个图片，并且格式规则指定根据第二规则在图片标头或条带标头之间至多一次包括与条带级别的编解码模式的启用或使用有关的一个或多个语法元素。
14.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，其中格式规则指定，基于当前图片的图片顺序计数值来设置指示比特流中按照解码顺序在当前图片之前的解码图片缓冲区中的图片是否在从解码图片缓冲区中移除图片之前被输出的变量的值。
15.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，其中格式规则指定图片类型和层独立性的启用控制i)是否将指示允许帧间条带或b条带或p条带的语法元素包括在图片和/或预测信息中，和/或ii)预测信息的存在的指示。
16.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，其中格式规则指定参考图片列表在编解码层视频序列的转换期间的使用依赖于视频对应于编解码层视频序列的图片中被允许的条带类型。
17.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个视频序列的视频和视频的比特流之间的转换，其中格式规则指定视频序列或比特流中的两个自适应参数集是否或在哪个条件下被允许具有相同的自适应参数集标识符。
18.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行视频和视频的比特流之间的转换，其中格式规则指定第一参数集和第二参数集彼此依赖，使得是否或如何将语法元素包括在第二参数集中是基于第一参数集。
19.在另一个示例方面，公开了另一种视频处理方法。该方法包括根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，每个图片包括一个或多个子图片，其中格式规则指定对图片的非编解码子图片的处理。
20.在又一个示例方面，公开了一种视频编码器装置。视频编码器包括被配置为实施上述方法的处理器。
21.在又一个示例方面，公开了一种视频解码器装置。视频解码器包括被配置为实施上述方法的处理器。
22.在又一个示例方面，公开了一种存储有代码的计算机可读介质。该代码以处理器
可执行代码的形式体现本文描述的方法之一。
23.这些以及其他特征将在本文档中描述。
附图说明
24.图1是一种示例视频处理系统的框图；
25.图2是一种视频处理装置的框图；
26.图3是一种视频处理的示例方法的流程图；
27.图4是示出根据本公开的一些实施例的视频编解码系统的框图；
28.图5是示出根据本公开的一些实施例的编码器的框图；
29.图6是示出根据本公开的一些实施例的解码器的框图；以及
30.图7a至图7j是基于所公开的技术的一些实施方式的视频处理的示例方法的流程图。
具体实施方式
31.在本文中使用章节标题是为了易于理解，而不是将每个章节中公开的技术和实施例的适用性仅限制于该章节。此外，在一些描述中使用h.266术语仅仅是为了易于理解，而不是为了限制所公开技术的范围。因此，本文描述的技术也适用于其他视频编解码器协议和设计。在本文中，某些实施例被示出作为对当前vvc规范的改变，其中新的文本被添加，示出为粗体斜体，并且删除的文本用双括号标记(例如，[[a]]指示删除字符“a”)。
[0032]
1.引言
[0033]
本文涉及视频编解码技术。具体地，它关于对允许的条带类型的信令和仅适用于双向预测条带的相关编解码工具的改进、以及对非编解码子图片的支持。这些思想可以单独或以各种组合被应用于支持多层视频编解码的任何视频编解码标准或非标准视频编解码器，例如正在开发的多功能视频编解码(vvc)。
[0034]
2.缩写
[0035]
alf
ꢀꢀꢀꢀ
自适应环路滤波器
[0036]
aps
ꢀꢀꢀꢀ
自适应参数集
[0037]
au
ꢀꢀꢀꢀꢀ
接入单元
[0038]
aud
ꢀꢀꢀꢀ
接入单元分隔符
[0039]
avc
ꢀꢀꢀꢀ
高级视频编解码
[0040]
clvs
ꢀꢀꢀ
编解码层视频序列
[0041]
cpb
ꢀꢀꢀꢀ
编解码图片缓冲区
[0042]
cra
ꢀꢀꢀꢀ
完全随机接入
[0043]
ctu
ꢀꢀꢀꢀ
编解码树单元
[0044]
cvs
ꢀꢀꢀꢀ
编解码视频序列
[0045]
dci
ꢀꢀꢀꢀ
解码能力信息
[0046]
dpb
ꢀꢀꢀꢀ
解码图片缓冲区
[0047]
du
ꢀꢀꢀꢀꢀ
解码单元
[0048]
eob
ꢀꢀꢀꢀ
比特流结尾
[0049]
eos
ꢀꢀꢀꢀ
序列结尾
[0050]
gdr
ꢀꢀꢀꢀ
逐渐解码刷新
[0051]
hevc
ꢀꢀꢀ
高效视频编解码
[0052]
hrd
ꢀꢀꢀꢀ
假设参考解码器
[0053]
idr
ꢀꢀꢀꢀ
即时解码刷新
[0054]
jem
ꢀꢀꢀꢀ
联合探索模型
[0055]
lmcs
ꢀꢀꢀ
亮度映射与色度缩放
[0056]
mcts
ꢀꢀꢀ
运动约束片集
[0057]
nal
ꢀꢀꢀꢀ
网络抽象层
[0058]
ols
ꢀꢀꢀꢀ
输出层集
[0059]
ph
ꢀꢀꢀꢀꢀ
图片标头
[0060]
pps
ꢀꢀꢀꢀ
图片参数集
[0061]
ptl
ꢀꢀꢀꢀ
档次、层和级别
[0062]
pu
ꢀꢀꢀꢀꢀ
图片单元
[0063]
radl
ꢀꢀꢀ
随机接入可解码前置(图片)
[0064]
rap
ꢀꢀꢀꢀ
随机接入点
[0065]
rasl
ꢀꢀꢀ
随机接入跳过前置(图片)
[0066]
rbsp
ꢀꢀꢀ
原始字节序列有效载荷
[0067]
rpl
ꢀꢀꢀꢀ
参考图片列表
[0068]
sao
ꢀꢀꢀꢀ
样点自适应偏移
[0069]
sei
ꢀꢀꢀꢀ
辅助增强信息
[0070]
sps
ꢀꢀꢀꢀ
序列参数集
[0071]
stsa
ꢀꢀꢀ
逐步时域子层接入
[0072]
svc
ꢀꢀꢀꢀ
可缩放视频编解码
[0073]
vcl
ꢀꢀꢀꢀ
视频编解码层
[0074]
vps
ꢀꢀꢀꢀ
视频参数集
[0075]
vtm
ꢀꢀꢀꢀ
vvc测试模型
[0076]
vui
ꢀꢀꢀꢀ
视频可用性信息
[0077]
vvc
ꢀꢀꢀꢀ
多功能视频编解码
[0078]
3.初步讨论
[0079]
视频编解码标准主要是通过众所周知的itu-t和iso/iec标准发展而来的。itu-t制定了h.261和h.263，iso/iec制定了mpeg-1和mpeg-4视频，并且这两个组织共同制定了h.262/mpeg-2视频标准和h.264/mpeg-4高级视频编解码(advanced video coding，avc)和h.265/hevc标准。自h.262开始，视频编解码标准是基于混合视频编解码结构，其中使用了时域预测加变换编解码。为探索hevc之外的未来视频编解码技术，vceg和mpeg于2015年共同成立了联合视频探索团队(joint video exploration team，jvet)。从那时起，jvet采用了许多新的方法，并将其放入名为联合探索模型(joint exploration model，jem)的参考软件中。jvet会议每季度举行一次，新编解码标准的目标是与hevc相比降低50％的比特率。新视频编解码标准在2018年4月的jvet会议上被正式命名为多功能视频编解码(vvc)，第一
版vvc测试模型(vtm)也在当时发布。由于对vvc标准化的持续努力，新的编解码技术在每次jvet会议上都被采用到vvc标准中。vvc的工作草案和测试模型vtm在每次会议后都会被更新。最新的vvc工作草案jvet-q2001_ve可以从以下地址下载：
[0080]
http://phenix.it-[0081]
sudparis.eu/jvet/doc_end_user/documents/17_brussels/wg11/jvet-q2001-[0082]
v15.zip
[0083]
vvc项目现在的目标是在2020年7月的会议上技术上完成(fdis)。
[0084]
3.1.参数集
[0085]
avc、hevc和vvc指定了参数集。参数集的类型包括sps、pps、aps和vps。在avc、hevc和vvc中的全部中都支持sps和pps。vps从hevc开始引入，并且被包括在hevc和vvc中。aps没有被包括在avc或hevc中，但是被包括在最新的vvc草案文本中。
[0086]
sps被设计为携带序列级别标头信息，并且pps被设计为携带不频繁改变的图片级别标头信息。利用sps和pps，不频繁改变的信息不需要针对每个序列或图片重复，因此可以避免该信息的冗余信令。此外，sps和pps的使用实现了重要标头信息的带外传输，因此不仅避免了对冗余传输的需要，还提高了容错性。
[0087]
引入vps用于携带对多层比特流中的所有层共同的序列级别标头信息。
[0088]
引入aps用于携带这样的图片级别或条带级别信息，该信息需要相当多的比特来编解码，可以由多个图片共享，并且在序列中可以有相当多的不同变化。
[0089]
3.1.1.视频参数集(vps)
[0090]
最新的vvc草案文本(jvet-q2001-ve/v15)中的多个语法元素的语法表和语义被定义如下所示：
[0091]
7.3.2.2视频参数集rbsp语法
[0092][0093]
3.1.2.序列参数集(sps)
[0094]
最新的vvc草案文本(jvet-q2001-ve/v15)中的多个语法元素的语法表和语义被定义如下所示：
[0095]
7.3.2.3序列参数集rbsp语法
[0096]
[0097][0098]
3.1.3.通用约束标志
[0099]
7.3.3.2通用约束信息语法
[0100]
[0101][0102]
no_bdof_constraint_flag等于1指定sps_bdof_enabled_flag应当等于0。no_bdof_constraint_flag等于0不施加这样的约束。
[0103]
no_dmvr_constraint_flag等于1指定sps_dmvr_enabled_flag应当等于0。no_dmvr_constraint_flag等于0不施加这样的约束。
[0104]
no_bcw_constraint_flag等于1指定sps_bcw_enabled_flag应当等于0。no_bcw_constraint_flag等于0不施加这样的约束。
[0105]
no_ciip_constraint_flag等于1指定sps_ciip_enabled_flag应当等于0。no_cipp_constraint_flag等于0不施加这样的约束。
[0106]
no_gpm_constraint_flag等于1指定sps_gpm_enabled_flag应当等于0。no_gpm_constraint_flag等于0不施加这样的约束。
[0107]
3.1.4.图片参数集(pps)
[0108]
最新的vvc草案文本(jvet-q2001-ve/v15)中的多个语法元素的语法表和语义被定义如下所示：
[0109]
7.3.2.4图片参数集rbsp语法
[0110]
[0111][0112]
num_ref_idx_default_active_minus1[i]加1在i等于0时指定num_ref_idx_active_override_flag等于0的p条带或b条带的变量numrefidxactive[0]的推断值，并且在i等于1时指定num_ref_idx_active_override_flag等于0的b条带的numrefidxactive[1]的推断值。num_ref_idx_default_active_minus1[i]的值应当在0到14的范围(包括0和14)内。
[0113]
pps_weighted_bipred_flag等于0指定显式加权预测不应用于参考pps的b条带。pps_weighted_bipred_flag等于1指定显式加权预测被应用于参考pps的b条带。当sps_weighted_bipred_flag等于0时，pps_weighted_bipred_flag的值应当等于0。
[0114]
3.1.5.dpb参数语法
[0115]
最新的vvc草案文本(jvet-q2001-ve/v15)中的多个语法元素的语法表和语义被定义如下所示：
[0116]
7.3.4dpb参数语法
[0117][0118]
7.4.5 dpb参数语义
[0119]
dpb_parameters()语法结构提供一个或多个ols的dpb大小、最大图片重新排序数量和最大延迟的信息。
[0120]
当dpb_parameters()语法结构被包括在vps中时，dpb_parameters()语法结构适用的ols由vps指定。当dpb_parameters()语法结构被包括在sps中时，其适用于仅包括作为参考sps的层当中的最低层的层的ols，并且该最低层是独立层。
[0121]
max_dec_pic_buffering_minus1[i]加1指定，当htid等于i时以图片存储缓冲区为单位的dpb的最大要求尺寸。max_dec_pic_buffering_minus1[i]的值应当在0到maxdpbsize-1的范围(包括0和maxdpbsize-1)内，其中maxdpbsize如条款a.4.2所指定的。
当i大于0时，max_dec_pic_buffering_minus1[i]应当大于或等于max_dec_pic_buffering_minus1[i-1]。当对于在0到maxsublayersminus1-1的范围(包括0和maxsublayersminus1-1)内的i，不存在max_dec_pic_buffering_minus1[i]时，由于sublayerinfoflag等于0，因此其被推断为等于max_dec_pic_buffering_minus1[maxsublayersminus1]。
[0122]
max_num_reorder_pics[i]指定当htid等于i时，ols按照解码顺序可以在ols中的任何图片之前并且按照输出顺序可以在该图片之后的图片的最大允许数量。max_num_reorder_pics[i]的值应当在0到max_dec_pic_buffering_minus1[i]的范围(包括0和max_dec_pic_buffering_minus1[i])内。当i大于0时，max_num_reorder_pics[i]应当大于或等于max_num_reorder_pics[i-1]。当对于在0到maxsublayersminus1-1的范围(包括0和maxsublayersminus1-1)内的i，不存在max_num_reorder_pics[i]时，由于sublayerinfoflag等于0，因此其被推断为等于max_num_reorder_pics[maxsublayersminus1]。
[0123]
max_latency_increase_plus1[i]不等于0用于计算maxlatencypictures[i]的值，其指定当htid等于i时，ols中按照输出顺序可以在ols中的任何图片之前并且按照解码顺序在该图片之后的图片的最大数量。
[0124]
当max_latency_increase_plus1[i]不等于0时，maxlatencypictures[i]的值被指定如下：
[0125]
maxlatencypictures[i]＝max_num_reorder_pics[i]+max_latency_increase_plus1[i]-1
ꢀꢀ
(7-110)
[0126]
当max_latency_increase_plus1[i]等于0时，不表达对应的限制。
[0127]
max_latency_increase_plus1[i]的值应当在0到2
32-2的范围(包括0和2
32-2)内。当对于在0到maxsublayersminus1-1的范围(包括0和maxsublayersminus1-1)内的i，不存在max_latency_increase_plus1[i]时，由于sublayerinfoflag等于0，因此其被推断为等于max_latency_increase_plus1[maxsublayersminus1]。
[0128]
3.2.vvc中的图片标头(ph)和条带标头(sh)
[0129]
与hevc中类似，vvc中的条带标头传递特定条带的信息。这包括条带地址、条带类型、条带qp、图片顺序计数(poc)最低有效位(lsb)、rps和rpl信息、加权预测参数、环路滤波参数、片和wpp的条目偏移等。
[0130]
vvc引入了图片标头(ph)，其包含特定图片的标头参数。每个图片必须具有一个或仅一个ph。ph基本上携带如果没有引入ph就在条带标头中的那些参数，但是每个参数对于图片的所有条带具有相同的值。这些包括irap/gdr图片指示、帧间/帧内条带允许标志、poc lsb以及可选地poc msb、关于rpl、去方块、sao、alf、qp增量和加权预测的信息、编解码块分割信息、虚拟边界、并置图片信息等。经常出现的情况是，整个图片序列中的每个图片仅包含一个条带。为了在这种情况下允许对于每个图片不具有至少两个nal单元，允许ph语法结构被包括在ph nal单元或条带标头中。
[0131]
在vvc中，在图片标头或条带标头中信令通知用于时域运动矢量预测的关于并置图片的信息。
[0132]
3.2.1.图片标头(ph)
[0133]
最新的vvc工作草案()中的多个语法元素的语法表和语义被定义如下所示：
[0134]
7.3.2.7图片标头结构语法
[0135][0136][0137]
3.2.2.条带标头(sh)
[0138]
最新的vvc工作草案()中的多个语法元素的语法表和语义被定义如下所示：
[0139]
7.3.7.1通用条带标头语法
[0140][0141]
[0142][0143]
slice_type根据表9指定条带的编解码类型。
[0144]
表9
–
与slice_type的名称关联
[0145]
slice_typeslice_type的名称0b(b条带)1p(p条带)2i(i条带)
[0146]
当不存在时，slice_type的值被推断为等于2。
[0147]
当ph_intra_slice_allowed_flag等于0时，slice_type的值应当等于0或1。当nal_unit_type在idr_w_radl到cra_nut的范围(包括idr_w_radl和cra_nut)内，并且vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于1时，slice_type应当等于2。
[0148]
3.3.jvet-r0052中的最新进展
[0149]
在jvet-r0052方法#2中，提出了添加一个被允许的类型索引(即，ph_allowed_slice_types_idc)，并且是否在图片中使用b条带可以从新添加的语法元素推导。
[0150][0151]
此外，另一个新的语法元素ph_multiple_slice_types_in_pic_flag被添加到ph结构，用于指定多于一个条带类型是否可以存在于当前图片中。ph_multiple_slice_types_in_pic_flag等于1指定图片的编解码条带可以具有slice_type的不同值。ph_multiple_slice_types_in_pic_flag等于0指定图片的所有编解码条带具有slice_type的相同值。当ph_multiple_slice_types_in_pic_flag等于0时，进一步信令通知ph_slice_type，以指定图片的所有条带的slice_type的值，并且条带标头中的slice_type不被编解码，并被推断为等于ph_slice_type的值。
[0152]
7.3.2.7图片标头结构语法
[0153]
[0154]
[0155][0156]
7.3.7.1通用条带标头语法
[0157]
[0158]
[0159][0160]
7.4.3.7图片标头结构语义
[0161][0162][0163][0164]
[[ph_inter_slice_allowed_flag等于0指定图片的所有编解码条带具有等于2的slice_type。ph_inter_slice_allowed_flag等于1指定图片中可以有或者可以没有具有等于0或1的slice_type的一个或多个编解码条带。[编辑(yk)：仔细检查以标志等于0为条件的那些语法元素的推断规则的需要/正确性。]
[0165]
ph_intra_slice_allowed_flag等于0指定图片的所有编解码条带具有等于0或1的slice_type。ph_intra_slice_allowed_flag等于1指定图片中可以有或者可以没有具有等于2的slice_type的一个或多个编解码条带。当不存在时，ph_intra_slice_allowed_flag的值被推断为等于1。[编辑(yk)：仔细检查以标志等于1为条件的那些语法元素的推断规则的需要/正确性。]]]
[0166]
注2
–
对于应该进行基于子图片的比特流合并而无需改变ph nal单元的比特流，预期编码器将[[ph_inter_slice_allowed_flag和ph_intra_slice_allowed_flag]]的值设置为等于1。
[0167]
7.4.8.1通用条带标头语义
[0168]
slice_type根据表9指定条带的编解码类型。
[0169]
表9
–
与slice_type的名称关联
[0170]
slice_typeslice_type的名称0b(b条带)1p(p条带)2i(i条带)
[0171]
当不存在时，slice_types的值被[[推断为等于2]]推导如下：
[0172]
–
如果ph_multiple_slice_types_in_pic_flag等于1，则slice_type的值被设置为等于(slice_type_modified》＝ph_allowed_slice_types_idc？slice_type_modified+1:slice_type_modified)。
[0173]
–
否则，slice_type的值被设置为等于ph_slice_type的值。
[0174][0175]
[[当ph_intra_slice_allowed_flag等于0时，slice_type的值应当等于0或1。]]当nal_unit_type在idr_w_radl到cra_nut的范围(包括idr_w_radl和cra_nut)内并且vps_independent_layer_flag[generallayeridx[nuh_layer_id]]等于1时，slice_type应当等于2。
[0176]
7.4.8.2加权预测参数语义
[0177]
num_l1_weights指定当pps_weighted_bipred_flag和wp_info_in_ph_flag都等于1时针对参考图片列表1中的条目信令通知的权重的数量。num_l1_weights的值应当在0到min(15,num_ref_entries[1][rplsidx[1]])的范围(包括0和min(15,num_ref_entries[1][rplsidx[1]]))内。
[0178]
变量numweightsl1被推导如下：
[0179][0180]
numweightsl1＝numrefidxactive[1]
[0181]
可以在pps中进一步信令通知新的语法元素pps_multiple_slice_types_in_pic_flag。当pps_multiple_slice_types_in_pic_flag等于0时，对于参考pps的所有ph，ph_multiple_slice_types_in_pic_flag被推断为等于0。
[0182]
对vvc草案8的相关修改用红色书写并用黄色突出显示，并且被提供如下：
[0183]
7.3.2.4图片参数集rbsp语法
[0184][0185]
方法1的ph
[0186]
7.3.2.7图片标头结构语法
[0187][0188]
方法2的ph
[0189][0190]
7.4.3.4图片参数集rbsp语义
[0191][0192][0193]
3.4.jvet-r0151中的未编解码子图片和潜在应用
[0194]
在本文中，示出了可以如何利用启用未编解码子图片的机制来扩展vvc。当子图片没有完全填满图片时，通过提供完全未使用的区域，未编解码子图片可以用于高效编解码。示出了omaf用例以及4x3立方体贴图的360
°
视频编解码的示例。此外，未编解码子图片可以用于保留空间，其没有用编解码数据充填，而是用从已经编解码的内容生成的内容充填。这里，示出了360
°
视频的高级别高效几何填充的示例。
[0195]
4.通过所公开的技术方案解决的技术问题
[0196]
jvet中的当前vvc文本和最新进展有以下问题：
[0197]
1.在最新的vvc草案文本中(在jvet-q2001-ve/v15中)，包括与被允许的条带类型有关的两个ph语法元素，例如，ph_inter_slice_allowed_flag和ph_intra_slice_allowed_flag，如图片标头结构语法所列的。利用这两个标志，仅当ph_intra_slice_allowed_flag为真时，才信令通知与i条带编解码有关的语法元素，并且仅当ph_inter_slice_allowed_flag为真时，才信令通知与帧间条带编解码有关的语法元素。然而，当ph_inter_slice_allowed_flag等于1时，解码器不知道图片是否包含b条带。一些应用(例如，在线游戏、视频会议、视频监控)通常仅使用p条带和i条带。因此，如果有是否允许b条带的指示，这样的应用的解码器将能够选择仅请求/使用不包括b条带的比特流，此外，该指示可以用于避免传送多个不必要的参数。
[0198]
2.在jvet-r0052中，建议的改变仅被应用于ph和sh。没有更高级别控制它是否只
能在图片内具有相同的条带类型和/或在图片中启用哪种允许的条带类型。此外，当不存在仅与双向预测有关的某些语法元素时，没有描述如何推断值。
[0199]
3.在jvet-r0191的第1项中，提出了将sps_ptl_dpb_hrd_params_present_flag的值应当等于vps_independent_layer_flag[generallayeridx[nuh_layer_id]]的约束替换为以下内容：
[0200]
当有仅包含一个层的ols并且层id等于sps的nuh_layer_id时，sps_ptl_dpb_hrd_params_present_flag的值应当等于1。
[0201]
然而，通过“当有仅包含一个层的ols时”的条件，该改变引入了vps依赖性。另一个问题是，对于单层比特流，sps_ptl_dpb_hrd_params_present_flag的值应当等于1，并且这没有被改变的约束记录。
[0202]
5.示例技术方案和实施例的列表
[0203]
为了解决以上问题，公开了如下总结的方法。以下项应该被视为解释一般概念的示例，并且不应该以狭隘的方式解释。此外，这些项可以被单独应用或者以任何方式被组合。
[0204]
可以在参数集(例如，sps、vps、pps、aps、dci)和/或通用约束信息语法中添加一个或多个语法元素，以指示在图片内是否仅允许x(例如，i或b或p)条带；和/或指示图片中的允许的条带类型集合。
[0205]
在参数集和通用约束信息语法中
[0206]
1.在诸如sps或pps的视频单元中，添加一个或多个语法元素(例如，sps_allowed_slice_idc)以指定被允许的条带类型是否在clvs的图片中。
[0207]
1)在一个示例中，添加第一语法元素(例如，sps_allowed_slice_idc)，并且其语义可以被定义为：sps_allowed_slice_idc等于x指定图片仅允许以下被允许的条带类型或它们的任何组合：
[0208]
i.{全i}、{全p}、{全b}、{i,p}、{i,b}、{p,b}、{i,b,p}
[0209]
ii.在一个实例中，第一语法元素可以用固定长度(例如，u(1)、u(2)或u(3))、一元编解码、截断一元编解码、eg编解码进行编解码。
[0210]
iii.此外，可替代地，可以修改在sps或pps中信令通知的一个或多个语法元素的信令和/或语义和/或推断，使得它们仅在第一语法元素满足某些条件时被信令通知。
[0211]
a.在一个示例中，一个或多个语法元素是用于启用需要多于一个预测信号的编解码工具的语法元素，诸如双向预测或混合帧内和帧间编解码、或者从多个预测块利用线性/非线性加权的预测。
[0212]
b.在一个示例中，一个或多个语法元素可以包括但不限于:
[0213]
a)sps_weighted_bipred_flag
[0214]
b)sps_bdof_enabled_flag
[0215]
c)sps_smvd_enabled_flag
[0216]
d)sps_dmvr_enabled_flag
[0217]
e)sps_bcw_enabled_flag
[0218]
f)sps_ciip_enabled_flag
[0219]
g)sps_gpm_enabled_flag
[0220]
c.在一个示例中，仅当第一语法元素指定与视频单元相关联的clvs可以包含一个或多个b条带时，才可以信令通知一个或多个语法元素。否则，跳过该信令，并且推断语法元素的值。
[0221]
d.在一个示例中，当sps_b_slice_allowed_flag等于0时，不信令通知语法元素sps_weighted_bipred_flag、sps_bdof_enabled_flag、sps_smvd_enabled_flag、sps_dmvr_enabled_flag、sps_bcw_enabled_flag、sps_ciip_enabled_flag和sps_gpm_enabled_flag，并且推断它们的值。
[0222]
a)在一个示例中，当不存在时，它们都被推断为0。
[0223]
iv.此外，可替代地，可以在通用约束信息语法中信令通知第二语法元素，诸如no_b_slice_contraint_flag，以指示第一语法元素是否应当等于0。
[0224]
a.在一个示例中，no_b_slice_contraint_flag的语义被定义如下所示：
[0225]
等于1指定sps_allowed_slice_idc应当等于x(例如，将被允许的条带类型表示为{i,b,p}或{b,p}、{全b})。no_b_slice_constraint_flag等于0不施加这样的约束。
[0226]
v.此外，可替代地，如果第一语法元素指定clvs不包含b条带(例如，仅等于表示{i,p}、{全i}、{全p}的x的sps_allowed_slice_idc)，则要求在通用约束信息语法中信令通知的一个或多个语法元素应当等于1。
[0227]
a.在一个示例中，一个或多个语法元素可以包括但不限于：
[0228]
a)no_bcw_constraint_flag
[0229]
b)no_ciip_constraint_flag
[0230]
c)no_gpm_constraint_flag
[0231]
d)no_bdof_constraint_flag
[0232]
e)no_dmvr_constraint_flag
[0233]
vi.此外，可替代地，可以修改在dpb_parameters()中信令通知的一个或多个语法元素的信令和语义，使得它们仅在第一语法元素满足某些条件时被信令通知。
[0234]
a.在一个示例中，一个或多个语法元素可以包括但不限于：
[0235]
a)max_num_reorder_pics
[0236]
b.在一个示例中，当第一语法元素告知不允许b条带时，max_num_reorder_pics不被信令通知并且被推断为0。
[0237]
在ph/sh中
[0238]
2.在ph/sh中，变量x用于指示是否在图片/条带中允许/使用b条带，并且该变量可以从sps语法元素和/或指定被允许的条带类型的新的ph语法元素(例如，ph_allowed_slice_idc)和/或其他语法元素(例如，在jvet-r0052中使用的bsliceallowed)推导。
[0239]
1)在一个示例中，添加新的ph语法元素，并且如何信令通知该语法元素可以依赖于sps中被允许的条带类型。
[0240]
2)此外，可替代地，可以根据变量来修改在ph中信令通知的一个或多个语法元素的信令和/或语义和/或推断。
[0241]
i.在一个示例中，一个或多个语法元素是用于启用需要多于一个预测信号的编解码工具的语法元素，诸如双向预测或混合帧内和帧间编解码、或者从多个预测块利用线性/
非线性加权的预测。
[0242]
ii.在一个示例中，一个或多个语法元素可以包括但不限于：
[0243]
a)ph_collocated_from_l0_flag
[0244]
b)mvd_l1_zero_flag
[0245]
c)ph_disable_bdof_flag
[0246]
d)ph_disable_dmvr_flag
[0247]
e)num_l1_weights
[0248]
iii.在一个示例中，仅当第一语法元素指定图片可以包含一个或多个b条带时，才可以信令通知一个或多个语法元素。否则，跳过该信令，并且推断语法元素的值。
[0249]
a)此外，可替代地，是否信令通知一个或多个语法元素可以依赖于项目符号1.1和2.1中的第一语法元素，诸如(x为真或1)。
[0250]
b)仅当(sps_bdof_pic_present_flag)为真时，才可以信令通知ph_disable_bdof_flag。
[0251]
c)仅当(sps_dmvr_pic_present_flag)为真时，才可以信令通知ph_disable_dmvr_flag。
[0252]
iv.在一个示例中，当x等于0(或假)时，不信令通知mvd_l1_zero_flag，并且其值被推断为1。
[0253]
v.在一个示例中，一个或多个语法元素的推断依赖于第一语法元素的值。
[0254]
a)在一个示例中，对于ph_disable_bdof_flag，适用以下内容：
[0255]
–
如果sps_bdof_enabled_flag等于1如果sps_bdof_enabled_flag等于1则ph_disable_bdof_flag的值被推断为等于0。
[0256]
–
否则(sps_bdof_enabled_flag等于否则(sps_bdof_enabled_flag等于)，ph_disable_bdof_flag的值被推断为等于1。
[0257]
b)在一个示例中，对于ph_disable_dmvr_flag，适用以下内容:
[0258]
–
如果sps_dmvr_enabled_flag等于ag等于则ph_disable_dmvr_flag的值被推断为等于0。
[0259]
–
否则(sps_dmvr_enabled_flag等于否则(sps_dmvr_enabled_flag等于)，ph_disable_dmvr_flag的值被推断为等于1。
[0260]
c)在一个示例中，当ph_temporal_mvp_enabled_flag和rpl_info_in_ph_flag都等于1并且x等于0(或假)时，ph_collocated_from_l0_flag的值被推断为等于1。
[0261]
d)在一个示例中，当x等于0(或假)时，不信令通知num_l1_weights，并且其值被推断为0，因此，不在图片的ph或sh中信令通知参考图片列表1的加权预测参数。
[0262]
语法元素的推断
[0263]
3.对于与编解码工具x有关的语法元素和/或可能存在于a(例如，ph)或b(例如，sh)中但不都存在于两者中的一组语法元素，如果a被包括在b中，则那些语法元素的存在的指示中的至少一个可以不被信令通知，并且可以被推断为0，即，存在于b中。
[0264]
1)在一个示例中，编解码工具x可以包括以下之一：
[0265]
i.环路滤波技术，例如去方块滤波器、alf、sao
[0266]
ii.加权预测
[0267]
iii.qp增量信息
[0268]
iv.rpl信息
[0269]
2)在一个示例中，条件“a被包括在b中”可以被定义为“参考pps的条带标头包含ph语法结构”，或者“当前图片仅由一个条带组成”。
[0270]
3)在一个示例中,“那些语法元素的存在的指示”可以被定义为以下语法元素中的一个或多个：
[0271]
i.qp_delta_info_in_ph_flag、rpl_info_in_ph_flag、dbf_info_in_ph_flag、sao_info_in_ph_flag、wp_info_in_ph_flag、alf_info_in_ph_flag
[0272]
4)在一个示例中，提出了以下改变中的一个或多个。
[0273]
rpl_info_in_ph_flag等于1指定参考图片列表信息存在于ph语法结构中，并且不存在于不包含ph语法结构的参考pps的条带标头中。rpl_info_in_ph_flag等于0指定参考图片列表信息不存在于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。带标头中。
[0274]
dbf_info_in_ph_flag等于1指定去方块滤波器信息存在于ph语法结构中，并且不存在于不包含ph语法结构的参考pps的条带标头中。dbf_info_in_ph_flag等于0指定去方块滤波器信息不存在于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。当不存在时，dbf_info_in_ph_flag的值被推断为等于0。带标头中。当不存在时，dbf_info_in_ph_flag的值被推断为等于0。
[0275]
sao_info_in_ph_flag等于1指定sao滤波器信息存在于ph语法结构中，并且不存在于不包含ph语法结构的参考pps的条带标头中。sao_info_in_ph_flag等于0指定sao滤波器信息不存在于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。中。
[0276]
alf_info_in_ph_flag等于1指定alf信息存在于ph语法结构中，并且不存在于参考不包含ph语法结构的pp的条带标头中。alf_info_in_ph_flag等于0指定alf信息不存在于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。
[0277]
wp_info_in_ph_flag等于1指定加权预测信息可以存在于ph语法结构中，并且不存在于不包含ph语法结构的参考pps的条带标头中。wp_info_in_ph_flag等于0指定加权预测信息不存在于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。当不存在时，wp_info_in_ph_flag的值被推断为等于0。
[0278]
qp_delta_info_in_ph_flag等于1指定qp增量信息存在于ph语法结构中，并且不存在于不包含ph语法结构的参考pps的条带标头中。qp_delta_info_in_ph_flag等于0指定qp增量信息不存在于ph语法结构中，并且可以存在于不包含ph语法结构的参考pps的条带标头中。
[0279][0280]
4.一致性比特流应当遵循这样的规则，即要求当作为拼接比特流中的clvs au的拼接点图片的poc值大于前一个图片的poc值时，针对拼接点图片将nooutputofpriorpicsflag设置为等于1。
[0281]
5.是否信令通知指示在图片和/或rpl/wp信息中允许帧间条带/b条带/p条带的语法元素，和/或rpl/wp信息的存在的指示可以依赖于图片类型和是否启用层独立性。
[0282]
1)在一个示例中，不针对irap图片信令通知语法元素，并且启用层独立性。
[0283]
i.在一个示例中，不针对irap图片信令通知vvc中的ph_inter_slice_allowed_flag，并且启用层独立性。
[0284]
ii.在一个示例中，不针对irap图片信令通知vvc中的slice_type，并且启用层独立性。
[0285]
iii.在一个示例中，不针对irap图片信令通知jvet-r0052中的ph_slice_type，并且启用层独立性。
[0286]
2)在一个示例中，不针对irap图片信令通知语法元素，并且启用层独立性，即使这样的信息的存在告知它们在ph中。
[0287]
i.当gdr_or_irap_pic_flag等于1并且gdr_pic_flag等于0时，提出了称为idr_pic_flag的新标志来指定与图片标头相关联的图片是否是idr图片。并且可以应用以下内容：
[0288]
a.当sps_idr_rpl_present_flag等于0，启用层独立性，并且idr_pic_flag等于1时，即使当rpl_info_in_ph_flag的值等于1时，rpl信令也不存在于ph中。
[0289]
b.当sps_idr_rpl_present_flag等于0，启用层独立性，并且idr_pic_flag等于1时，即使当wp_info_in_ph_flag的值等于1时，wp信令也不存在于ph中。
[0290]
6.提出了当sps_video_parameter_set_id大于0并且有仅包含nuh_layer_id等于sps的nuh_layer_id的一个层的ols，或者
[0291]
sps_video_parameter_set_id等于0时，
[0292]
sps_ptl_dpb_hrd_params_present_flag的值应当等于1。
[0293]
参考列表相关
[0294]
7.参考图片列表的信令通知和/或生成可以依赖于clvs的图片中被允许的条带类型。
[0295]
1)例如，如果在clvs中不允许b条带，则可以不信令通知构建参考列表1的一个或多个语法元素。
[0296]
2)例如，如果在clvs中不允许b条带，则可以不进行构建参考列表1的一个或多个
过程。
[0297]
aps相关
[0298]
8.要求两个aps在序列、clvs或比特流中不应当具有相同的aps_id。
[0299]
1)可替代地，要求具有相同aps类型的两个aps(诸如alf aps或lmcs aps)在序列、clvs或比特流中不应当具有相同的aps_id。
[0300]
2)可替代地，允许具有相同aps类型的两个aps(诸如alf aps或lmcs aps)具有相同的aps_id，但是它们在序列、clvs或比特流中必须具有相同的内容。
[0301]
3)可替代地，允许具有相同aps类型的两个aps(诸如alf aps或lmcs aps)具有相同的aps_id。并且更早信令通知的aps被替换为更晚信令通知的aps。
[0302]
4)可替代地，允许具有相同aps类型的两个aps(诸如alf aps或lmcs aps)具有相同的aps_id。并且忽略更晚信令通知的aps。
[0303]
9.两个不同的参数集(例如，aps和sps)可以彼此依赖，并且根据第一参数集中的语法元素推导的语法元素或变量可以用于有条件地信令通知第二参数集中的另一语法元素。
[0304]
1)可替代地，根据第一参数集中的语法元素推导的语法元素或变量可以用于推导第二参数集中的另一语法元素的值。
[0305]
非编解码子图片相关
[0306]
10.提出了非编解码子图片的边界必须被视为图片边界。
[0307]
11.提出了环路滤波(诸如alf/去方块/sao)不能跨非编解码子图片的边界。
[0308]
12.要求如果仅有一个子图，则它不能是非编解码子图片。
[0309]
13.要求不能提取非编解码子图片。
[0310]
14.提出了可以在sei消息中信令通知与(多个)非编解码子图片有关的信息。
[0311]
15.要求非编解码子图片只能具有一个条带。
[0312]
16.要求左上方子图片不能是非编解码子图片。
[0313]
17.要求子图片中的至少一个不是非编解码子图片。
[0314]
18.是否和/或如何对边信息相关的子图片进行编解码可以依赖于子图片是否是非编解码子图片。
[0315]
1)在一个示例中，如果它是非编解码子图片，则不需要信令通知边信息。
[0316]
19.此外，可替代地，对于以上要求，它们可以根据以上情况被修改为有条件地信令通知。
[0317]
接下来提供一些实施例优选的示例列表。
[0318]
第一条款集合示出了在前一节中讨论的技术的示例实施例。以下条款示出了在前一节(例如，第1项)中讨论的技术的示例实施例。
[0319]
1.一种视频处理方法(例如，图3中示出的方法3000)，包括根据格式规则来执行包括包含一个或多个视频区域的一个或多个层的视频和视频的编解码表示之间的转换(3002)，其中格式规则指定一个或多个语法元素在与对应视频区域的被允许的条带类型相对应的一个或多个视频区域级别被包括在编解码表示中。
[0320]
2.根据条款1所述的方法，其中，格式规则指定一个或多个语法元素包括第一语法元素，该第一语法元素的值指示在对应视频区域中被允许的条带类型组合。
[0321]
以下条款示出了在前一节(例如，第2项)中讨论的技术的示例实施例。
[0322]
3.根据条款1-2中任一项所述的方法，其中，格式规则指定语法元素被包括在图片标头或条带标头中，以指示是否对对应图片或条带允许双向预测(b)条带或者该b条带是否用于对应图片或条带。
[0323]
4.根据条款3所述的方法，其中，序列参数集中的语法元素控制图片标头或条带标头中包括的语法元素的存在。
[0324]
以下条款示出了在前一节(例如，第3项)中讨论的技术的示例实施例。
[0325]
5.一种视频处理方法，包括：根据格式规则来执行包括一个或多个层的视频和视频的编解码表示之间的转换，其中该一个或多个层包括包含一个或多个视频条带的一个或多个视频图片，其中格式规则指定根据第二规则在图片标头或条带标头之间至多一次包括与条带级别的编解码模式的启用或使用有关的语法元素。
[0326]
6.根据条款5所述的方法，其中，编解码模式包括环路滤波器或加权预测模式，或量化参数增量模式。
[0327]
以下条款示出了在前一节(例如，第7项)中讨论的技术的示例实施例。
[0328]
7.一种视频处理方法，包括：根据格式规则来执行包括包含一个或多个视频条带的一个或多个视频图片的视频和视频的编解码表示之间的转换，其中格式规则指定视频图片中被允许的条带类型控制参考图片列表是在编解码表示中被信令通知还是从编解码表示生成。
[0329]
8.根据条款7所述的方法，其中，格式规则指定，由于被允许的条带类型排除双向条带(b条带)，对应于参考图片列表1的语法元素从编解码表示中省略。
[0330]
9.根据条款7所述的方法，其中，格式规则指定，由于被允许的条带类型排除双向条带(b条带)，对视频图片禁用用于生成参考图片列表1的过程。
[0331]
以下条款示出了在前一节(例如，第10-15项)中讨论的技术的示例实施例。
[0332]
10.一种视频处理方法，包括：执行包括包含一个或多个子图片的一个或多个视频图片的视频之间的转换，其中编解码表示符合格式规则，其中格式规则指定对视频图片的非编解码子图片的处理。
[0333]
11.根据条款10所述的方法，其中，格式规则指定，在转换期间，非编解码子图片的边界被处理作为图片边界。
[0334]
12.根据条款10所述的方法，其中，格式规则指定禁用跨非编解码图片的边界的环路滤波。
[0335]
13.根据条款10所述的方法，其中，格式规则不允许非编解码子图片仅仅是视频图片的子图片。
[0336]
14.根据条款10-13中任一项所述的方法，其中，格式规则指定用于非编解码子图片的解码协助的信息被包括在编解码表示的辅助增强信息语法元素中。
[0337]
15.根据条款10所述的方法，其中，格式规则指定非编解码子图片被允许具有至多一个条带。
[0338]
16.根据以上条款中任一项所述的方法，其中，视频区域包括视频图片或视频条带。
[0339]
17.根据条款1至16中任一项所述的方法，其中，该转换包括将视频编码为编解码
表示。
[0340]
18.根据条款1至16中任一项所述的方法，其中，该转换包括对编解码表示进行解码以生成视频的像素值。
[0341]
19.一种视频解码装置，包括被配置为实施根据条款1至18中的一项或多项所述的方法的处理器。
[0342]
20.一种视频编码装置，包括被配置为实施根据条款1至18中的一项或多项所述的方法的处理器。
[0343]
21.一种存储有计算机代码的计算机程序产品，该代码在由处理器执行时使得处理器实施根据条款1至18中任一项所述的方法。
[0344]
22.一种本文档中描述的方法、装置或系统。
[0345]
第二条款集合示出了在前一节(例如，第1-19项)中讨论的技术的示例实施例。
[0346]
1.一种视频处理的方法(例如，如图7a所示的方法700)，包括：根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，其中格式规则指定，响应于满足一个或多个条件，指示提供档次、层和级别信息的第一语法结构和提供解码图片缓冲区信息的第二语法结构是否存在于序列参数集中的语法元素被设置为等于1，以指示第一语法结构和第二语法结构存在于序列参数集中。
[0347]
2.根据条款1所述的方法，其中，一个或多个条件包括1)序列参数集所参考的视频参数集标识符大于0，并且存在仅包含具有等于特定值的网络抽象层nal单元标头层标识符的一个层的输出层集，或者2)视频参数集标识符等于0。
[0348]
3.根据条款1或2所述的方法，其中，语法元素等于1还指定提供通用定时和假设参考解码器参数信息的第三语法结构和提供输出层集定时和假设参考解码器参数信息的第四语法结构被允许存在于序列参数集中。
[0349]
4.根据条款3所述的方法，其中，第三语法结构对应于general_timing_hrd_parameters()语法结构，并且第四语法结构对应于ols_timing_hrd_parameters()语法结构。
[0350]
5.根据条款1至4中任一项所述的方法，其中，语法元素对应于sps_ptl_dpb_hrd_params_present_flag，第一语法结构对应于profile_tier_level()语法结构，并且第二语法结构对应于dpb_parameters()语法结构。
[0351]
6.一种视频处理的方法(例如，如图7b所示的方法710)，包括：根据格式规则来执行包括一个或多个编解码层的视频和视频的比特流之间的转换，其中格式规则指定一个或多个参数集和/或通用约束信息语法结构包括指示编解码层视频序列的图片中被允许的条带类型的一个或多个语法元素。
[0352]
7.根据条款6所述的方法，其中，格式规则指定还包括第一语法元素，第一语法元素的值指示被允许的条带类型或在视频区域中被允许的条带类型组合。
[0353]
8.根据条款7所述的方法，其中，格式规则指定，仅当第一语法元素满足某些条件时，才信令通知一个或多个语法元素。
[0354]
9.根据条款7所述的方法，其中，格式规则指定通用约束信息语法结构包括第二语法元素，以指示第一语法元素是否等于0。
[0355]
10.根据条款7所述的方法，其中，格式规则指定，在第一语法元素指定没有双向预
测b条带被包括在编解码层视频序列中的情况下，一个或多个语法元素等于1。
[0356]
11.一种视频处理的方法(例如，如图7c所示的方法720)，包括：根据格式规则来执行包括一个或多个层的视频和视频的比特流之间的转换，其中该一个或多个层包括包含一个或多个条带的一个或多个图片722，其中格式规则指定语法元素被包括在图片标头或条带标头中，以指示是否对视频的对应图片或条带允许双向预测b条带或者该双向预测b条带是否用于视频的对应图片或条带。
[0357]
12.根据条款11所述的方法，其中，格式规则指定序列参数集中的语法元素控制图片标头或条带标头中包括的语法元素的存在。
[0358]
13.根据条款11所述的方法，其中，格式规则指定如何信令通知图片标头中的语法元素依赖于序列参数集中被允许的条带类型。
[0359]
14.根据条款11所述的方法，其中，格式规则指定语法元素控制图片标头中包括的一个或多个语法元素的信令和/或语义和/或推断。
[0360]
15.一种视频处理的方法(例如，如图7d所示的方法730)，包括：根据格式规则来执行包括一个或多个层的视频和视频的比特流之间的转换，其中该一个或多个层包括包含一个或多个条带的一个或多个图片732，其中格式规则指定根据第二规则在图片标头或条带标头之间至多一次包括与条带级别的编解码模式的启用或使用有关的一个或多个语法元素。
[0361]
16.根据条款15所述的方法，其中，编解码模式包括环路滤波或加权预测模式，或量化参数增量模式，或参考图片列表信息。
[0362]
17.根据条款15所述的方法，其中，格式规则指定参考图片参数集的条带标头包含图片标头语法结构，比特流一致性的要求是一个或多个语法元素的值等于0。
[0363]
18.一种视频处理的方法(例如，如图7e所示的方法740)，包括：根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换742，其中格式规则指定，基于当前图片的图片顺序计数值来设置指示比特流中按照解码顺序在当前图片之前的解码图片缓冲区中的图片是否在从解码图片缓冲区中移除图片之前被输出的变量的值。
[0364]
19.根据条款18所述的方法，其中，格式规则指定，在作为比特流中的拼接点图片和编解码层视频序列接入单元的当前图片的图片顺序计数值大于前一个图片的图片顺序计数值的情况下，针对当前图片将变量的值设置为等于1。
[0365]
20.一种视频处理的方法(例如，如图7f所示的方法750)，包括：根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，其中格式规则指定图片类型和层独立性的启用控制i)是否将指示允许帧间条带或b条带或p条带的语法元素包括在图片和/或预测信息中，和/或ii)预测信息的存在的指示。
[0366]
21.根据条款20所述的方法，其中，格式规则指定，在i)图片类型是帧内随机接入点图片，并且ii)启用层独立性的情况下，不包括语法元素。
[0367]
22.根据条款21所述的方法，其中，格式规则指定，在满足i)和ii)的情况下不包括语法元素，而不管图片标头中指示预测信息的存在的另一语法元素如何。
[0368]
23.根据条款21或22所述的方法，其中，格式规则指定，在图片是帧内随机接入点图片的情况下，还包括指定与图片标头相关联的图片是否是即时解码刷新idr图片的变量。
[0369]
24.根据条款21至23中任一项所述的方法，其中，格式规则指定预测信息的存在的
指示不存在于图片标头中。
[0370]
25.一种视频处理的方法(例如，如图7g所示的方法760)，包括：根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换762，其中格式规则指定参考图片列表在编解码层视频序列的转换期间的使用依赖于视频对应于编解码层视频序列的图片中被允许的条带类型。
[0371]
26.根据条款25所述的方法，其中，格式规则指定，由于被允许的条带类型排除双向条带(b条带)，对应于参考图片列表1的语法元素从比特流中省略。
[0372]
27.根据条款25所述的方法，其中，格式规则指定，由于被允许的条带类型排除双向条带(b条带)，对视频图片禁用用于生成参考图片列表1的过程。
[0373]
28.一种视频处理的方法(例如，如图7h所示的方法770)，包括：根据格式规则来执行包括一个或多个视频序列的视频和视频的比特流之间的转换772，其中格式规则指定视频序列或比特流中的两个自适应参数集是否或在哪个条件下被允许具有相同的自适应参数集标识符。
[0374]
29.根据条款28所述的方法，其中，格式规则指定两个自适应参数集不具有相同的自适应参数集标识符。
[0375]
30.根据条款28所述的方法，其中，在两个自适应参数集具有相同的自适应参数集类型的情况下，两个自适应参数集不具有相同的自适应参数集标识符。
[0376]
31.根据条款28所述的方法，其中，在1)两个自适应参数集具有相同的自适应参数集类型并且具有相同的内容，或者2)两个自适应参数集具有相同的自适应参数集类型的情况下，两个自适应参数集具有相同的自适应参数集标识符。
[0377]
32.一种视频处理的方法(例如，如图7i所示的方法780)，包括：根据格式规则来执行视频和视频的比特流之间的转换782，其中格式规则指定第一参数集和第二参数集彼此依赖，使得是否或如何将语法元素包括在第二参数集中是基于第一参数集。
[0378]
33.根据条款32所述的方法，其中，格式规则指定第二参数集中的语法元素是基于根据第一参数集中的另一语法元素推导的语法元素或变量来有条件地包括或推导的。
[0379]
34.一种视频处理的方法(例如，如图7j所示的方法790)，包括：根据格式规则来执行包括一个或多个图片的视频和视频的比特流之间的转换，每个图片包括一个或多个子图片792，其中格式规则指定对图片的非编解码子图片的处理。
[0380]
35.根据条款34所述的方法，其中，格式规则指定，在转换期间，非编解码子图片的边界被处理作为图片边界。
[0381]
36.根据条款34所述的方法，其中，格式规则指定禁用跨非编解码子图片的边界的环路滤波。
[0382]
37.根据条款34所述的方法，其中，格式规则不允许非编解码子图片仅仅是视频图片的子图片。
[0383]
38.根据条款34所述的方法，其中，格式规则指定，在转换期间不提取非编解码子图片。
[0384]
39.根据条款34所述的方法，其中，格式规则指定比特流的辅助增强信息语法元素包括用于非编解码子图片的解码协助的信息。
[0385]
40.根据条款34所述的方法，其中，格式规则指定非编解码子图片被允许具有至多
一个条带。
[0386]
41.根据条款34所述的方法，其中，格式规则指定非编解码子图片不是图片的左上方子图片。
[0387]
42.根据条款34所述的方法，其中，格式规则指定一个或多个子图片中的至少一个是编解码子图片。
[0388]
43.根据条款34所述的方法，其中，格式规则指定是否和/或如何对与一个或多个子图片有关的边信息进行编解码依赖于子图片是编解码的还是非编解码的。
[0389]
44.根据条款1至43中任一项所述的方法，其中，该转换包括将视频编码为比特流。
[0390]
45.根据条款1至43中任一项所述的方法，其中，该转换包括从比特流解码视频。
[0391]
46.根据条款1至43所述的方法，其中，该转换包括从视频生成比特流，并且该方法还包括：将比特流存储在非暂时性计算机可读记录介质中。
[0392]
47.一种视频处理装置，包括被配置为实施根据条款1至46中任一项或多项所述的方法的处理器。
[0393]
48.一种存储视频的比特流的方法，包括根据条款1至46中任一项所述的方法，并且还包括将比特流存储到非暂时性计算机可读记录介质。
[0394]
49.一种存储程序代码的计算机可读介质，该程序代码在被执行时使得处理器实施根据条款1至46中任一项或多项所述的方法。
[0395]
50.一种计算机可读介质，存储根据上述方法中任一项而生成的比特流。
[0396]
51.一种用于存储比特流表示的视频处理装置，其中该视频处理装置被配置为实施根据条款1至46中任一项或多项所述的方法。
[0397]
在本文中，术语“视频处理”可以指视频编码、视频解码、视频压缩或视频解压缩。例如，可以在从视频的像素表示到对应的比特流表示的转换期间应用视频压缩算法，反之亦然。例如，当前视频块的比特流表示可以对应于由语法定义的比特流中的并置位置或在不同位置传播的比特。例如，可以根据经过变换和编码的误差残差值、并且也可以使用比特流中的标头和其他字段中的比特对宏块进行编码。此外，在转换期间，解码器可以基于该确定，在知道一些字段可能存在或不存在的情况下解析比特流，如以上技术方案所描述的。类似地，编码器可以确定包括或不包括特定语法字段，并通过包括语法字段或从编解码表示中排除语法字段来相应地生成编解码表示。
[0398]
本文中描述的所公开的和其他技术方案、示例、实施例、模块和功能操作可以在数字电子电路或计算机软件、固件或硬件中实现，包括本文中公开的结构及其结构等效物，或者其中一个或多个的组合。所公开的实施例和其他实施例可以实现为一个或多个计算机程序产品，即在计算机可读介质上编码以供数据处理装置执行或控制其操作的计算机程序指令的一个或多个模块。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储设备、影响机器可读传播信号的物质的组合，或者一个或多个它们的组合。术语“数据处理装置”包括用于处理数据的所有装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除硬件外，装置还可以包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或其中一个或多个的组合的代码。传播的信号是人为生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以传输到合适的接收器装置。
[0399]
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译语言或解释语言)编写，并且可以以任何形式部署，包括作为独立程序或作为模块、分量、子程序或其他适合在计算环境中使用的单元。计算机程序不一定与文件系统中的文件对应。程序可以存储在保存其他程序或数据的文件的部分中(例如，存储在标志语言文件中的一个或多个脚本)、专用于该程序的单个文件中、或多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以部署在一台或多台计算机上来执行，这些计算机位于一个站点上或分布在多个站点上，并通过通信网络互连。
[0400]
本文件中描述的处理和逻辑流可以通过一个或多个可编程处理器执行，该处理器执行一个或多个计算机程序，通过在输入数据上操作并生成输出来执行功能。处理和逻辑流也可以通过特殊用途的逻辑电路来执行，并且装置也可以实现为特殊用途的逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。
[0401]
例如，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型数字计算机的任何一个或多个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或通过操作耦合到一个或多个大容量存储设备来从其接收数据或将数据传输到一个或多个大容量存储设备，或两者兼有。然而，计算机不一定具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如，帧内硬盘或可移动硬盘；磁光盘；以及cd rom和dvd rom盘。处理器和存储器可以由专用逻辑电路来补充，或并入专用逻辑电路中。
[0402]
虽然本专利文件包含许多细节，但不应将其解释为对任何主题或权利要求范围的限制，而应解释为对特定技术的特定实施例的特征的描述。本专利文件在单独实施例的上下文描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种功能也可以在多个实施例中单独实施，或在任何合适的子组合中实施。此外，尽管上述特征可以描述为在某些组合中起作用，甚至最初要求是这样，但在某些情况下，可以从组合中移除权利要求组合中的一个或多个特征，并且权利要求的组合可以指向子组合或子组合的变体。
[0403]
类似地，尽管附图中以特定顺序描述了操作，但这不应理解为要获得想要的结果必须按照所示的特定顺序或顺序执行此类操作，或执行所有说明的操作。此外，本专利文档实施例中各种系统组件的分离不应理解为在所有实施例中都需要这样的分离。
[0404]
仅描述了一些实现和示例，其他实施、增强和变体可以基于本专利文件中描述和说明的内容做出。