专利名称：针对可缩放视频编码的假定参考解码器的制作方法
技术领域：
本申请涉及针对在压縮视频系统中的可縮放视频编码的假定参 考角军石马器(hypothetical reference decoder)。
背景技术：
假定参考解码器在压縮视频系统中是有价值的，这是由于假定参 考解码器用于验证编码比特流是否遵循标准。在诸如H.264/AVC等的 编码标准中，由于该标准的可縮放视频编码特性，因此存在很多互操 作性点(interoperablity point)。 H.264/AVC标准具有定义了 HRD的规 则(也被称作要求，限制，或者操作规范)。HRD行为是规范化的。 任何AVC比特流都必须遵循根据该规则而建立的HRD。 SVC (可縮 放视频编码)是AVC标准的扩展(附录G)。 SVC比特流典型地具有 多个互操作性点(也被称为操作点)，这至少一部分是由于比特流是可 縮放的。这种比特流可以是例如在空间、时间以及SNR上是可縮放的。 对应于可缩放方面，可以从比特流中提取子比特流。之前的HRD具 有的规则不足以允许它们验证类似于AVC中SVC的那些比特流。
发明内容
.本发明公开描述了提供针对SVC的假定参考解码器(HRD)的 至少一种实施方式。 一种此类实施方式提出了修改H.264/AVCHRD， 以和SVC —起使用。该实施方式定义了针对SVC的每个互操作性点 的HRD限制。具体描述了一种实施方式，但是其它实施方式是可能的并且是通过本发明公开能够设想的。本发明公开的第一部分分别讨
论了针对空间、时间以及SNR可縮放性的改变。本发明公开的第二部 分讨论了对相关HRD参数的改变，随后是说明书文本。
H.264/AVC标准具有定义了 HRD的规则(也被称作要求，限制， 或者操作规范)。HRD行为是规范化的。任何AVC比特流都必须遵循 根据该规则而建立的HRD。 SVC (可縮放视频编码)是AVC标准的 扩展(附录G)。本发明内容描述了提供针对SVC的HRD的规则的一 个或者更多实施方式。至少一种实施方式提出SVC-HRD规则，作为 对AVC-HRD规则的修改。用户可以使用提出的SVC-HRD规则来建 立SVC-HRD，并且测试比特流对SVC的遵循。
图1示出了 AVC序列的序列参数集合。 图2示出了 AVC的缓冲周期SEI消息。 图3示出了提出的HRD参数。 图4示出了提出的VUI参数。 图5示出了提出的buffer_period SEI消息。 图6示出了提出的图像定时SEI消息。
具体实施例方式
svc比特流典型地具有多个互操作性点(也被称作操作点)，这
至少部分是由于比特流是可縮放的。这种比特流可以是例如在空间、
时间以及SNR上可缩放的。对应于可缩放方面，可以从比特流中提取 子比特流。在一种实施方式中，HRD检査每个互操作性点以确保对 SVC的遵循。HRD可以分别定义针对每个检查点的HRD限制。或者几 个检查点可以遵守一个HRD限制。在本发明公开中描述的至少一种实 施方式中，提出了针对每个检査点使用分离的HRD限制。对分离的 HRD限制的使用可以使操作简单，并且还可以提供与H.263+的方案的 一些相似性。
在本部分，在一种具体实施方式
的上下文中，分析是否并且如何从H.264/AVC中的HRD进行修改，以分别从空间、SNR以及时间可縮放性方面满足SVC中HRD。在此从检查多种可能的不同类型的可縮放性的一个构思观点来提供了描述，其它构思观点也是可能的。
1、 空间SVC
1.1、 VUI消息中的HRD: VUI消息包括在SPS中(参见表l中的vui_parameters ())。对于每个空间SVC层，由于图像尺寸不同于其它层，所以相应的SPS也不同于其它层。因此，AVC中的VUI的HRD可以直接应用至针对空间SVC的VUI的HRD，而不需要任何修改。针对每个检查点，可以通过针对AVC的HRD规则来获得正确的VUI消息，如表1所示。
1.2、 缓冲周期SEI消息seq_parameter—set—id在缓冲周期SEI消息中。通过给与每个空间SVC层对应的SPS中的seq^parameter—set—id编索引，可以获得针对每个空间SVC层的缓冲周期。因此，对于空间SVC来说，AVC中HRD的缓冲周期SEI消息可以针对空间SVC而直接应用。针对每个检查点，可以获得正确的缓冲周期SEI消息，而不需要修改当前的HRD，如表2所示。
1.3、 图像定时SEI消息针对在相同的接入单元中的不同层，cpb—removal_delay以及dpb—output—delay可以是相同的(参见表6 )。所以不需要针对空间可縮放性的任何改变。
2、 SNRSVC
2.1、 VUI消息对于SNR SVC，可以由dependency—id或者quality—levd来指示质量层。不同的质量层/级别可以共享相同的SPS，所以应当对AVC中的VUI消息进行修改(参见表3)，以包括针对所有质量层/级别的HRD信息。
2.2、 缓冲周期SEI消息对于SNRSVC，不同的质量层/级别可以共享相同的SPS ，所以其与缓冲周期SEI消息中存在的
5seq_parameter—set—id不具有一对一映射。应当对该缓冲周期SEI消息进行修改(参见表5)，以包括针对所有质量层/级别的HRD信息。
2.3、图像定时SEI消息针对相同的接入单元中的不同质量层/级别，.cpb—removal—delay以及dpb—output—delay可以是相同的。所以不需要针对空间可縮放性的任何改变。
3、时间SVC
3.1、 VUI消息对于时间SVC，不同的时间层可以共享相同的SPS，所以应当对AVC中的VUI消息进行修改(参见表3)，以包括针对所有时间层的HRD信息。
3.2、 缓冲周期SEI消息对于时间SVC，不同的时间层可以共享相同的SPS ，所以其与缓冲周期SEI消息中存在的seq_parameter—set—id不具有一对一映射。应当对该缓冲周期SEI消息进行修改(参见表5)，以包括针对所有时间层的HRD信息。
3.3、 图像定时SEI消息对于时间SVC，帧速率针对每个时间层是不同的。由于较低时间层可以作为针对较高时间层的依赖层，这意味着一个具有给定tempora1—level的NAL单元可以针对多个帧速率而工作。应当对该图像定时SEI消息进行修改(参见表6)，以包括针对所有时间层的HRD信息。
3.4、 在VUI消息中，当timing—info_present—flag为真时，应当考虑修改num一units—in一tick ， time—scale以及fixed—frame—rate—flag ， 以反映正确的帧速率信息(参见表4)。
在对AVC-HRD规则的下列修改中，将全部三种可縮放性的概念级别(空间，时间，以及SNR)结合起来。表3至6取自AVC标准，并且涉及AVC-HRD。对AVC标准表的添加是使用斜体来表示的。不存在对AVC标准表的删除，尽管其它实施方式可以具有删除。黑体字术语是在比特流中实际发送的语法。如所见，表3至6的每个表示出了通过引入对变量"profile—idc"进行测试的"if-then"循环，来修改了AVC标准。如果"profile一idc"等于"SVC"，则执行if循环一次或者更多次，以测试一个或者更多点。如果"profilejdc"不等于"SVC"，则假定"AVC"为相关标准，并且执行"else"循环，以针对AVC遵循来测试 一 个点(使用现有的AVC-HRD规则)。在表3中，变量"dependency—id[i]"， "temporal—level以及"quality—leve[i]，，提供了不同的可縮放选项。由于这些变量具有八个比特的结合长度，所以针对SVC比特流存在高达2^8个检査点。这是与针对AVC比特流的单一检查点而相比较的。
1、在VUI消息中，针对共享相同SPS的每个依赖层、时间层以及质量层，通知(signal)HRD参数，如表3所示。当timing—info_present—flag为真时，针对每个时间层通知num—units—in」ick 、 time—scale以及fixed—frame—rate—flag ， 如表4所示。
2 、在缓冲周期SEI消息中，针对共享相同sequence_parameter—set—id的每个依赖层、时间层以及质量层，通知HRD相关参数，如表5所示。
3、在图像定时SEI消息中，针对每个时间层，通知HRD相关参数，如表6所示。
可以总结表3至6的操作。表3定义了针对每个检查点/层的比特率和cpb (编码图像缓冲)大小。表4定义了针对每个时间层的帧速率。表5定义了针对每个检查点/层的初始cpb延迟和初始dpb延迟。表6定义了针对每个检査点/层的cpb移除延迟和dpb(解码图像缓冲)输出延迟。针对每个检查点/层，与针对AVC的相同方式，在HRD规则中使用上述参数，以测试比特流是否遵循规则。
num—layer一minusl力卩l指示了, 参照包含该hrdjammeters ()的SPS中的相同seqjarameter—set—id，比特流所支持的可縮放层或者呈现点(presentation point)的数量。
dependencyjd[i]指示了可縮放层i的依赖(CGS)层，其等于可縮放层i中的NAL单元的dependency—id。
7temporaljevel[i]指示了可缩放层i的时间层，其等于可縮放层i中的NAL单元的tempora1—level 。
quality—level[i]指示了可缩放层i的质量层，其等于可缩放层i中的NAL单元的quality—level 。
cpb_cnt_minusl[i]， bite_rate_scale[i]， cpb—size_scale[i]， bit_rate_value_minusl[i] [SchedSelldx] ， cpb—size_value_minusl[i][SchedSelldx], cbr一flag[i][SchedSelldx] ， initiaI_cpb—removal_delay_length—minusl [i] ， cpb_removal_delay_length_minusl[i] ， dpb—output—delay—lenghtjminusl[i]， time—offsetJength[i]分别等于它们的针对可縮放层i的相应值1。
num—temporal—layer—minusl力口l指示了比特流所支持的时间层的数量，其等于在比特流中的NAL单元的最大temporalJevel。
timing_info_present_flag[i] ， num_units_in—tick[i] ， time—scale[i]，fixed—frame—rate—flag[i]分别等于它们的针对时间层i的相应值。
numjayer一minusl力[]l指示了，参照缓冲周期SEI消息中的相同的seq^ammeter—set一id，比特流所支持的可縮放层或者呈现点的数量。
dependency—id[i]指示了可縮放层i的依赖(CGS)层，其等于在可縮放层i中的NAL单元的dependency—id。
temporal—level[i]指示了可縮放层i的时间层，其等于可縮放层i中的NAL单元的tempora1—level 。
quality—level[i]指示了可缩放层i的质量层，其等于可縮放层i中的NAL单元的qualityjevel 。
initial—cpb—removal—delay[i] [SchedSelldx] ， initial—cpb—removal—delay—offset[i][SchedSelldx]分别等于它们的针对可縮放层i的相应值。
num_temporal_layer_minusl力卩l指示了时间层的数量，该数量依赖于其接入单元与该图像定时SEI消息相关联的NAL单元。temporalJayer[i]指示了时间层i的时间级别。
在该定义中，比特率包括针对可縮放层i及其依赖层的比特。cpb_removal_delay[i]， dpb—outpuLdelay[i]分别等于它们的针对
时间层i的相应值。
通过本发明公开能够设想多种实施方式，并且这些实施方式可以包括本发明公开中描述的一个或者更多特征。这些实施方式可以是例如方法、装置、或者指令程序等形式，并且可以使用例如硬件，软件，或者组合来实施。还有多种可能的实施方式。
权利要求
1、一种用于假定参考解码器的实施的方法，其中该假定参考解码器针对在视频压缩环境中的可缩放视频编码扩展。
2、 根据权利要求l所述的方法，其中，假定参考解码器针对可縮 放视频编码遵循来测试比特流的每个互操作性点。
3、 根据权利要求2所述的方法，其中，比特流的多个不同互操作 性点由一个或者更多变量来指示。
4、 根据权利要求2所述的方法，其中，在比特流中存在多个互操 作性点，并且该多个点相对于彼此展示出可縮放性。
5、 根据权利要求4所述的方法，其中，展示出的可縮放性包括空 间可縮放性、时间可縮放性、以及SNR可縮放性中的一个或多个。
6、 根据权利要求2所述的方法，其中，所述测试包括对指示了 将要针对AVC遵循还是针对SVC遵循来测试比特流的变量进行检查。
7、 根据权利要求6所述的方法，其中，该变量被称作"profile—idc"。
8、 根据权利要求6所述的方法，其中 如果该变量指示AVC，则实施AVC-HRD规则，以及 如果该变量指示SVC，则实施SVC-HRD规则。
9、 根据权利要求8所述的方法，其中.如果该变量指示SVC，则实施的SVC-HRD包括可以执行多次的循 环，以及该循环的每一次执行测试一个互操作性点。
10、 根据权利要求l所述的方法，该方法由用于创建该假定参考 解码器的规则的集合来定义。
11、 根据权利要求10所述的方法，其中该规则的集合是基于 AVC-HRD规则的。
全文摘要
本发明原理涉及针对可缩放视频编码扩展的假定参考解码器(HRD)，其中该可缩放视频编码扩展是针对压缩算法的。一个这种实施方式提出了修改H.264/AVC HRD，以和AVC的SVC一起使用。该实施方式定义了针对SVC的每个互操作性点的HRD限制。具体描述了一个实施方式，但是其它实施方式是可能的并且通过本发明原理能够设想。示出了针对空间、时间以及SNR可缩放性的改变。还存在对下面示出的相关HRD参数的改变。几个上述实施方式提供了针对SVC的HRD的规则。至少一个实施方式提出SVC-HRD规则，作为对AVC-HRD规则的修改。用户可以使用提出的SVC-HRD规则建立SVC-HRD并且针对SVC遵循来测试比特流。
文档编号H04N7/26GK101578867SQ200780048697
公开日2009年11月11日 申请日期2007年12月21日 优先权日2007年1月5日
发明者克里斯蒂娜·戈米拉, 鹏 尹, 朱立华, 罗建聪 申请人:汤姆森许可贸易公司