时间可缩放性的高层句法的制作方法与工艺

时间可缩放性的高层句法说明相关申请的交叉引用本申请要求2011年1月14日提交的题为“HighLayerSyntaxforTemporalScalability(时间可缩放性的高层句法)”美国S/N61/432,860的优先权，其公开内容全篇地援引包含于此。技术领域本申请涉及使用时间可缩放性的视频压缩，更具体地涉及允许视频解码器或媒体感知网络单元标识对预测必需的非基层图象或非基层图象的一部分的技术，由此实现高效的比特流修剪。

背景技术：
商业视频压缩技术可使用众多视频编码标准来实现跨销售者的互通性。本公开可与这种视频编码标准共同使用，具体地说是从瑞士CH-1211Geneva20联合国广场的因特网电信联盟(ITU)或http://www.itu.int/recT-REC-H.264获得的ITU-TRec.H.264“Advancedvideocodingforgenericaudiovisualservices(一般视听服务的先进视频编码)”2010年3月，并被全篇地援引包含于此。H.264通过已知为参考图象选择的技术来实现时间可缩放性。参考图象选择可通过少许限制(例如：不参考(按解码顺序)在最新的IDR图象之前解码的图象)，在重建给定图象时实现解码器的存储中的任何参考图象的图象间预测。存储在解码器中的参考图象的数据可受H.264的概况和等级的限制。此外，在比特流发生期间编码器可对每个图象明确地信令是否应当将其作为参考图象存储。在没有显式信令时，也隐式地存储一些图象。显式信令和隐式存储的组合可在低比特率净空下实现参考图象管理的灵活性。然而在实践中，某些H.264编码器创建比特流，其中经编码的图象的参考关系遵循某些“模式”。来自这些模式中的一种原型已知为图象组或GOP，例如从http/www.itu.int/recT-REC-H.262中获得的ITU-TRec.H.262“Informationtechnology-Genericcodingofmovingpicturesandassociatedaudioinformation:Video(信息技术——运动图象及相关音频信息：视频的一般编码)”2000年2月(也称MPEG-2视频)中获知，该文献全篇地援引包含于此。图2a-b示出可通过H.264实现的模式的两个例子；稍后提供其更详细的描述。在一种模式中，某些图象的解码可比其它图象的解码更为相关，从比特流顺应性角度和用户体验角度来说都是如此。例如，对于IDR图象——它在一些情形下是第一模式图象——解码的不可用性可能对其余模式的解码具有消极的结果。另一方面，不被用于参考的图象的不可用性仅导致缺乏就那个图象的呈现，这可以被用户观察为帧速率的暂时下降，并在某些情形下可被隐藏。对除IDR图象和非参考图象以外的图象不予以解码的结果就结果的严重性而言可能是温和的，如后面描述的。参见图1，其示出一示例性视频会议系统的简化框图。编码器(101)可产生第一链路(102)上的比特流，该第一链路(102)上的比特流包括具有例如允许时间可缩放性的模式。第一链路(102)上的比特流图示为实线以指示它具有某一比特率。第一链路(102)上的比特流可在网络链路上前进至媒体感知网络单元(MANE)103。MANE(103)的功能可以是将比特流向下“修剪”至由第二网络链路提供的某一比特率，例如通过选择性地去除对用户感知的视觉质量具有最小影响的那些图象。这由从MANE(103)送至解码器(105)的第二链路(104)上的比特流的发丝线(hairlineline)表示。解码器(105)可从MANE(103)接收经修剪的第二链路(104)上的比特流，并对其解码和渲染。通过仅修剪要么完全不用于参考要么仅用于该模式的其余图象(它们也较为有利地被去除)的子集的那些图象，即便考虑到比特率的下降，图像质量也能保持为高。前面意义的比特流修剪是可在经压缩域内被处理的操作。相比代码转换(其涉及至少部分比特流重建和编码)，比特流修剪可能在计算上轻载并且是视觉延迟中性的操作。比特流修剪可发生在编码器(101)、MANE(103)和解码器(105)的全部中。已描述对基于MANE(103)的修剪的关键使用情形。在解码器(105)中，当计算资源不可用于对第二链路(104)上的比特流中接收的所有层的解码时，修剪是可感觉到的——这例如可以是当没有调用控制协议时的情形，其中解码器(105)可对MANE(103)或编码器(101)通知其能力。多个层的广播传输是一种实践场景。编码器(101)中的比特流修剪可发生在例如编码器(101)的信号处理实体无法适应一网络比特率时——也就是说：如规定的那样，例如通过不灵活的硬件架构始终对具有若干层的高比特率编码，但第一链路(102)上的比特流可用的网络比特率改变至低于传输所有比特所需的一个值，并且编码器(101)的传输部分变得知晓这种情况。即使假设编码器使用某一模式，高数量的潜在模式(仅受诸如参考图象的最大数之类的约束条件约束)可对编码器、解码器或MANE形成困难，当需要标识这些图象时，它需要跳过解码、转发或以其他方式来处理。当设计H.264及其可伸缩的扩展附件G时，这个问题将牵涉到由下面描述的某些机制致力于的一些措施。在遵循H.264的比特流中，解码器或MANE可使用NAL单元报头中的句法要素(已知为nal_ref_idc)来指示一图象不被用作参考图象。类似地，nal_unit_type可指示EDR图象。这两种信令技术涵盖了两种最边远的情形：EDR图象，在多数情形下是解码所有其它模式的图象所必需的(最高重要性)；以及非参考图象，它不是任何其它模式图象的解码所必需的(最低重要性)。不管使用还是不使用附件G，两种机制都可用。在附件G中规定的至H.264的可缩放视频编码(SVC)扩展为标识可被修剪模式的图象提供进一步的帮助。具体地说，附件G尤其地引入了时间层的概念。参见图2a和图2b，其示出实现时间可缩放性的两个不同模式。图2a示出包括三个图象(202-204)的模式201。图象(202)属于基层(206)，并是仅从前一基层图象(205)中预测出的。预测关系如箭头所示。两个时间增进层(207)图象(203、204)是分别从基层图象(202)和从层1图象(203)中预测出的。没有基层图象从增进层图象中被预测出。此外，没有预测发生在模式(201)和其它模式的图象之间，其例外是基层预测。图2b示出使用三个时间层的模式：基层(210)以及第一(211)和第二(212)时间增进层。模式(213)包括四个图象，其中图象(214)是基层图象，图象(215)属于第一增进层(211)，而图象(216)、(217)属于第二增进层(212)。图2a和图2b所示的预测关系是正常地关联于所预测(P-)图象的那些，相比帧内(I-)图象或双预测(B-)图象而言。此外，没有多预测(图象的不同块可具有不同的时间预测关系的意思)示出于附图中。所有前述选项存在在H.264的至少一些概况中。对于下面的描述，为了不使本公开的更相关方面变得晦涩，有时将那些特征省去。本领域内技术人员能将本说明书推广到不同的图象类型和多预测。根据H.264附件G，在NAL单元报头扩展中具有temporal_id字段，它仅对顺应附件G的增进层NAL单元出现。Temporal_id字段的目的是指示NAL单元所属的时间层。该信息的出现是比特流顺应所必需的，但它不应当对解码过程具有任何直接影响。换句话说，至少属于增进层的NAL单元包括有向解码器发信号通知图象所属的时间层的信息。SVC扩展进一步包括可缩放性信息SEI消息。可缩放性信息SEI消息包括关于比特流的可缩放性结构的信息，它也可被视为模式的描述。可使用可缩放性信息SEI消息来尤其指示时间层之间的依存性，它通过前述时间id句法要素定义，换句话说，通过接收和解释可缩放性信息SEI消息，解码器可了解在可缩放比特流中可望出现多少个时间层。对于解码过程，这提供了有用但不是严格必需的信息(但可能对于H.264中未定义的其它机制来说可能是关键的，例如渲染、比特流修剪、选择性解码等等)。可缩放性信息SEI消息进一步包括temporal_id_nesting_flag。简单地说，temporal_id_nesting_flag当被置位时指示“横跨”较低时间层的图象的较高不同层的图象之间没有预测关系。对于完全定义参见H.264附件G。图2a和图2b的模式达到这种条件，对于图3a-3d所有四个图案(也称编码结构)都是那样。图3a示出传统的IPPP编码结构，它仅具有单个时间层。由于不存在时间层，temporal_id_nesting_flag的值是无关的。图3b示出通常用在基于MPEG-2的广播环境中的IBBP结构。时间增进层1的图象(B图象)仅将基层的I图象和P图象用作参考。图3c示出使用增进层的B图象的三层编码结构。这一编码结构是使用H.264实现的。图3d示出如一些视频会议系统中使用的基于分层的三层P图象的编码结构。编码器、解码器和MANE可使用可缩放性信息SEI消息中的信息来确定比特流中的时间层的存在，并确定那些层正确地“嵌套”在彼此之中到什么程度，其中没有较高层的图象被用作较低层图象的参考。该信息可用于比特流修剪而不需要对该比特流的深入分析。例如，如果temporal_id_nesting_flag被置位并且可缩放性信息SEI指示temporal_id＝2是最高时间层，MANE或解码器可安全地从模式中去除temporal_id等于2的所有NAL单元而不会破坏层0、层1中的任何预测，或可去除具有temporal_id2或1的所有NAL单元而不会破坏层0中的任何预测。SVC扩展进一步为tl_switching_pointSEI消息提供delt_frame_num句法要素，以当切换点出现时提供关于帧中相对位置的信息。如果使用SEI消息，比特流受限制以使特定时间层不使用任何之前经编码的较高时间层以解码。该SEI消息中的消息存在使解码器能切换多少时间层以解码，尤其是在切换点开始对附加的时间层进行解码。前面提到的机制允许对较高时间层的有效比特流修剪，并且当且仅当可缩放性信息和tl_switching_pointSEI消息可供在比特流的发送和/或修剪中牵涉到的所有MANE中和解码器处可用时，允许时间层之间的层切换。然而，SEI消息NAL单元将nal_ref_idc句法要素置为0，这表示MANE或解码器可忽略该信息而不会违背标准顺应性。因此，MANE不具体地牵涉到可伸缩的比特流(例如由于它是在对H.264的可伸缩扩展制定标准之前就已设计完成的旧有设备)，但对修剪“比特流”的需要(例如由于在其外出链路上不充分的带宽)可能从中去除SEI消息并使其它NAL单元具有被置为0的nal_ref_idc，例如非参考图象。结果，更下游的其它MANE或解码器(没有深比特流检查的话)可能不容易去除时间层。MANE也可能需要维持状态，尤其是对可缩放性信息和tl_switching_pointSEI消息的内容，由此对修剪作出消息灵通的决策。建立这种状态可能需要拦截和翻译所有或几乎所有这样的SEI消息。尽管多数MANE需要拦截和翻译参数集信息以作出有意义的决策，但众多SEI消息中很少几个对MANE具有任何意义。只为了提取和解释那些对MANE具有意义的少数几个而拦截所有SEI消息是繁重的和计算昂贵的过程。此外，时间可缩放性(对照其它形式的可缩放性)可使用H.264的预附件G版本(例如基线、主测线或高姿态的概况)来实现。然而，这些概况可能缺乏前述SEI消息的功能性。因此，H.264的附件G的一个缺点可能是所提到的信息应当在比SEI消息更不容易丢弃、更不会由其它信息混淆的句法要素中可用。目前，高效视频编码(HEVC)正在标准化过程中。HEVC的工作草案可在(B.Brass等人的、可从http://wftp3.itu.intav-arch/jctvc-site2011_07_F_Torino/获得的“WD4:WorkingDraft4ofHigh-EfficiencyVideoCoding(WD4：高效视频编码的工作草案4)”)中找到，此后将其称为“WD4”，其内容援引包含于此。HEVC继承了H.264的许多高级句法特征。如果在标准被批准前解决H.264的前述缺点，对HEVC的成功是有利的。需要一些技术以使信息的信令以下列方式与时间可缩放性关联：通过旧有MANE、基线H.264解码器使可缩放性信息(例如SEI消息)蓄意去除，并且HEVC能使MANE和解码器难以或不可能不丧失与视频编码标准的顺应性，同时仍然保持总设计的完整性。

技术实现要素：
所公开的主题事项对比特流操控提供优于H.264或WD4的改进，以及具有时间可缩放性的序列解码。比特流提取器可通过修剪一个或多个层从第一比特流提取较低或相等比特率的第二可伸缩比特流，所述一个或多个层可以是时间层。比特流提取器可例如驻于编码器、MANE和解码器中。比特流提取器可标识时间可伸缩视频比特流中的哪些部分应当被提前或修剪，以使解码器能正确地对所提取的比特流进行解码。并行解码器——其中各存取单元的解码可被赋予单独的处理器或内核——可从哪些图象依赖于哪些参考图象的了解中获益。在一些实施例中，temporal_id值出现在所有NAL单元中，这些NAL单元带有属于一时间增进层的信息，与其使用是可缩放性的还是例如通过外形、等级或相似的比特流关联属性发信令的无关。对于不可伸缩环境中的优化，temporal_id的引入可通过NAL单元报头中的适当字段(例如NAL单元类型)发信令。时间id字段可帮助比特流提取器标识其需要修剪以去除时间层的NAL单元。在一些实施例中，temproral_id_nesting_flag在比特流的规范部分中的高级句法结构中传递，例如序列参数集。比特流提取器可依赖于temporal_id_nesting_flag在比特流的规范部分中的出现，这简化了其应用。在一些实施例中，temporal_switching_point_flag在比特流的规范部分中的高级句法结构中传递，例如片段报头。比特流提取器可依赖于temporal_switching_point_flag在比特流的规范部分中的出现，这简化了其应用。在一些实施例中，编码器或解码器可包括参考图象列表定序和索引分派，它考虑当前图象和被存储在参考图象存储器中的之前编码图象的temporal_id值。使用这种信息，编码器或解码器可排斥具有比来自参考图象列表的当前图象更高的temporal_id值的那些图象。在一些实施例中，编码器或解码器可包括参考图象注释过程，该过程考虑temporal_switching_point_flag。使用temporal_switching_point_flag能实现灵活的多图象预测技术，同时仍然允许在比特流的某些点添加较高时间层的图象，这由temporal_switching_point_flag指示。在一些实施例中，MANE使用temporal_id_nesting_flag和/或temporal_switching_point_flag进行时间层切换。在一些实施例中，解码器使用temporal_id_nesting_flag和/或temporal_switching_point_flag来支持并行解码。附图说明通过下面的详细描述与相应的附图，所披露的主题事项的进一步的特征、本质、以及各种优点更加明显，在附图中：图1是视频会议系统的示意图；图2a是具有两个层的模式的示意图；图2b是具有三个层的模式的示意图；图3a是具有IPPP图象编码结构的模式的示意图；图3b是具有IBBP图象编码结构的模式的示意图；图3c是具有基于分层的B图象编码结构的模式的示意图；图3d是具有基于分层的P图象编码结构的模式的示意图；图4是根据本发明一实施例的编码结构的示意图；图5a是时间非嵌套编码结构的示意图；图5b是时间嵌套编码结构的示意图；图5c是受损的时间嵌套编码结构的示意图；图6是根据本发明一实施例被格式化以包含在视频编码标准中的temporal_id的规范语言；图7是根据本发明一实施例被格式化以包含在视频编码标准中的temporal_switching_point_flag的规范语言；图8是根据本发明一实施例被格式化以包含在视频编码标准中的ternporal_nesting_flag的规范语言；以及图9是根据本发明实施例的计算机系统的示意图。这些附图被结合且组成本公开的一部分。除非另外指明，否则全部附图中的相同附图标记和字符用来表示所示实施例的相同特征、元素、组件、或部分。此外，当现在将参考附图详细地描述所公开的主题时，结合说明性实施例来完成该描述。具体实施方式本申请涉及使用时间缩放性的视频压缩，其中较高的时间层提供较高帧速率视频，以及来自之前编码的参考图象的预测。通过将temporal_nesting_flag和temporal_switching_point_flag新颖地纳入到比特流的规范部分，实现了与时间可缩放性关联的数种新颖技术。在一个实施例中，temporal_nesting_flag句法要素被设置在高级句法结构中，例如诸如序列参数集之类的参数集。本专利申请中使用的术语“高级句法结构”指解码过程所需的结构。例如，在H.264中，图象参数集和序列参数集以及片段报头全都是高级句法结构。然而，补充增进信息(SEI)消息不构成高级句法结构，因为它们不是解码过程所必需的。类似地，视觉可用性信息结构不构成高级句法结构，即便它是作为高级句法结构的序列参数集选择性地携带的。VUI和位于序列参数集中的其它结构之间的区别是VUI信息非解码过程所必需，而SPS中的所有其它信息是解码过程必需的。因此，其中已从序列参数集去除VUI信息的比特流可顺应于H.264标准。序列参数集中的标志确保编码器、解码器和/或保持参数集状态的那些MANE对其值具有访问权。基于参数集的temporal_nesting_flag的语义可如下：如果temporal_nesting_flag被置为1，当具有较低temporal_id的图象被解码时，具有较高temporal_id值的参考图象不再被用于预测。在同一或另一实施例中，temporal_nesting_flag应用于比特流中的所有时间层。根据所公开的主题事项，可利用如图8所示的句法和解码过程描述(800)使用H.264中常用的惯例来定义temporal_nesting_flag，即前述行为。当temporal_nesting_flag被置为1时，根据前面的描述，如果较低时间层图象存在于比特流中，则在较高临时层的图象不从该较低时间层图象之前的任何图象作出预测，这可能潜在地降低编码效率。一种机制是有帮助的，它允许放松temporal_nesting_flag的严格约束而不需要标识时间切换点所必需的深比特流检查。时间切换点可以是这样的图象：自该图像向前同一或较高时间层中的图象的时间预测中没有依存性。为了至少部分地缓解这种缺点，在同一或另一实施例中，可使用temporal_switching_point_flag来对一图象指示在该图象之后存在时间切换点。这允许编码器通过仅在编码器选择的频率下插入时间切换点(即不运用它参照同一层或较高层的之前图象以作参考的自由)来控制编码效率和时间切换点的频率之间的折衷。为了支持前面的机制，temporal_switching_point_flag应当驻留于可逐图象改变的比特流的规范部分中，例如在片段报头中。根据所公开的主题事项，可利用如图7所示的句法和解码过程描述(700)使用H.264中常用的惯例来定义temporal_switching_point_flag，即前述行为。将前述标识置于比特流的规范部分(例如参数集或片段报头)中，实现了时间可缩放编码的数种简化和优化，现在描述其中的一些。在一个实施例中，在H.264的参考图象管理机制的上下文中，当temporal_id_nesting_flag被置为1时，解码器可在用给定temporal_id值解码图象之后将参考图象列表中具有较高temporal_id值的所有图象注释为“不用于参考”。在同一或另一实施例中，这可能导致这些图象从参考图象存储器中被去除，由此为附加参考图象留出空间并允许编码器使用这些附加参考图象，这些附加参考图象尤其有助于编码效率。另一优势是对具有嵌套的阶层图象结构进行编码时，在比特流中可能不需要存储器管理控制操作(MMCO)句法要素。MMCO句法要素不仅需要诸比特在比特流中的表示(并且其去除因此对编码效率是有利的)，还被报告为在一些编码器和解码器架构中难以理解和实现。又一优势是，在仅时间可缩放性的情形下，可缩放性信息SEI消息可能是多余的，并因此不由良好的编码器实现发送，这对编码效率也是好的。根据所公开的主题事项，可利用如图6所示的句法和解码过程描述使用H.264中常用的惯例(600)来定义前述行为。图4示出根据所公开的主题事项的实施例具有三个时间层的示例性阶层P图象编码结构，其中temporal_nesting_flag被置为1。属于基层的图象——由temporal_id0(401)表示——被示出在具有temporal_id1(402)的图象下面。具有temporal_id2(403)的图象，该例子的最高增进时间层图示为高于另外两个层。在该例中，在最高时间层(层2(403))的图象，P1、P3、P5和P7被编码为“不用于参考”，这由属于该图象的每个片段的nal_ref_idc字段中的值0表示。时间层0、1的图象被编码为“用于参考”，这由属于该图象的每个NAL单元的nal_ref_idc字段中的值3表示。通过前述的参考图象列表过程，层0中的图象无法将来自层1的图象用作参考。当不使用所公开的主题事项对图象P4编码时，在H.264/AVC中，默认参考图象列表排序过程首先将图象P2置于参考图象列表中，之后跟I0，并且编码器需要使用ref_pic_list_modification()或dec_ref_pic_marking()句法以将I0首先置于参考图象预测列表中，根据所公开的主题事项，当形成对于图象P4的参考图象列表时，图象P2将不被包含在列表中，因为图象P2的temporal_id值1高于图象P4的temporalid值0。图5a、5b、5c示出使用temporal_nesting_flag以及temporal_switching_point_flag的例子。对于一些图象，预测列表中的第一预测项用实线箭头表示，而仅对图象P3和P6的附加预测项(为多参考图象预测所允许)用虚线箭头表示。对图象P3、P6的约束仅为示例性的；它用来表示增进层1、2中的多预测图象，但不应当通过所公开的主题事项约束其它图象不能使用多预测。图5a示出对所有图象具有temporal_nesting_flag和temporal_switching_point_flag置位为0的参考图象的完全灵活性的例子。图5b示出temporal_nesting_flag＝1的例子，其中数个预测选项被去除。图5c示出temporal_nesting_flag＝0的一个例子，其中切换点(由置位为1的temporal_switching_flag表示)在图象P2中。图5a示出具有多个参考图象的示例性阶层P图象编码结构，假设当temporal_nesting_flag被置为0时给予完全的灵活性。图象P3可从图象P2、P1或I0中被预测出，并且图象P6可从P4、P2或I0中被预测出。注意虚线箭头(501、502、503)表示来自同一或较高层的参考图象的预测，即已在任何较低层的最后一个图象之前被解码。例如，P6是从P2预测出的(502)，但P4(它是较低层的)在P2后但在P6前被解码。这违反了时间嵌套，并且只有在temporal_nesting_flag被置为0才被允许。如图5(b)所示，如果temporal_id_nesting_flag等于1，则可从P2或I0但不从P1预测图象P3，并且可从P4或I0但不从P2预测图象P6。换句话说，如图5a所示，虚线箭头(501、502、503)作为预测选项不可用，这潜在地导致较低的编码效率(解码器较少的选项)，但允许独立的图象编码模式(一旦图象P4已被解码，可从参考图象列表去除图象P2)。使用temporal_switching_point标志允许在每个图象基础上调节可用的时间参考图象。图5(c)示出一个例子，其中图象P2具有被置为1的temporal_switching_point_flag，这由黑色标记表示。由于在相等或较低层的解码顺序中的下一图象P4不具有标志置位，因此指示从层1至层2的时间切换点，但不指示从层0至层1的切换点。因此，已对层0、1解码的解码器可添加层2，这开始于在P2之后的层2编码的图象，即P3。图象P3可从P2或I0但不从P1预测出。换句话说，预测箭头(503)不可用。P6的预测项列表由图5(a)中可用的所有选项占据，包括预测箭头(502)。允许通过多参考图象从P2预测P6潜在地提高了编码效率。上面描述了当参考图象管理近似地遵循H.264中定义的机制时有两种选项可用。在面向HEVC改善的参考图象管理作出的WD4和建议中，其它选项也是可用的。例如，标志可由与解码器图象缓冲器中的每个之前编码的图象关联的解码器接收，该标志指示是否之前编码的图象被包含在参考图象列表中并被赋予一参考图象索引。现在描述的是使用前述技术的一些实践例子。如图1所示系统中的MANE(103)可使用所公开的主题事项来改善时间层切换。假定MANE(103)正在接收具有N时间层的比特流，并进一步仅发送那些层的最低M，其中M＜N，可能是因为从MANE(103)至解码器(105)的第二链路(104)上的比特率限制。假定第二链路(104)上的可用比特率，这允许发送附加的M+1层。如果MANE(103)单纯开始发送其在第一链路(102)上从编码器(101)接收的来自层M+1的第一图象，则不能保证该解码器能成功地解码该图象，因为它可能从不可用的参考图象进行预测。MANE可容易地分析高级信息以确定temporal_id_nesting_flag和temporal_switchingjpoint_flag的值，从而允许时间层切换。根据所公开的主题事项，如果temporal_id_nesting_flag等于1，则MANE开始发送由M+1的temporal_id值指示的任何层M+1访问单元，其跟随具有指示层M或更低层的temporal_id值的任何访问单元。由于所公开主题事项的参考图象注释过程，对于之后的层M+1编码的图象将没有参考图象来自参考图象存储器中的不可用图象。如果temporal_id_nesting_flag等于0，则MANE可访问temporal_switching_point_flag以及所有接收的图象的所有NAL单元的nal_unit_type。MANE可开始发送跟随在任何层M或更低层图象中出现的temporal_switching_point_flag之后的任何层M+1图象。由于所公开主题事项的参考图象注释过程，对于之后的层M+1编码的图象将没有参考图象来自参考图象存储器中的不可用图象。可在解码器处执行类似的操作以确定何时解码器操作开始。这种操作也可用于具有多处理器或多核的解码器的并行解码，该解码器能在各个核上并行地解码图象。解码器可确定特定时间层中的图象能通过仅来自有限组的之前编码图象的参考图象预测被解码，由此允许开始对图象的并行解码。计算机系统上述用于视频编码的方法可被实现为使用计算机可读指令并且物理存储在计算机可读介质中的计算机软件。计算机软件可使用任何合适的计算机语言来编码。软件指令可在多种类型的计算机上执行。例如，图9示出了适合于实现本发明的实施例的计算机系统900.图9中所示的计算机系统900的组件本质上是示例性的并且不旨在暗示关于实现本发明的实施例的计算机软件的使用范围或功能范围的任何限制。不应当将组件的配置解释为具有与在计算机系统的示例性实施例中示出的组件的任何一个或组合有关的任何依赖或要求。计算机系统900可具有包括集成电路、印刷电路板、小手持设备(例如，移动电话或PDA)、个人计算机或超级计算机的多种物理形式。计算机系统900包括显示器932、一个或多个输入设备933(例如，小键盘、键盘、鼠标、输入笔等等)、一个或多个输出设备934(例如，扬声器)、一个或多个存储设备935、多种类型的存储介质936。系统总线940连接各种各样的子系统。如本领域技术人员所理解的，“总线”是指服务于共同功能的多个数字信号线。系统总线940可以是包括存储器总线、外围总线和利用任何多种总线体系结构的本地总线的若干类型中任何一种的总线结构。作为示例而非限制，这种体系结构包括工业标准体系结构(ISA)总线、增强ISA(EISA)总线、微通道体系结构(MCA)总线、视频电子标准协会本地(VLB)总线、外围组件互连(PCI)总线、PCI-Express总线(PCI-X)和加速图形端口(AGP)总线。处理器901(也称为中央处理单元或CPU)任选地包含用于临时本地存储指令、数据或计算机地址的高速缓存存储器单元902。处理器901耦合至包括存储器903的存储设备。存储器903包括随机存取存储器(RAM)904和只读存储器(ROM)905。如本领域已知，ROM905用作单向地向处理器901传输数据和指令，以及RAM904通常用于以双向的方式传递数据和指令。这些类型存储器都可包括以下所述的任何合适的计算机可读媒体。固定的存储908还任选地经由存储控制单元907双向耦合至处理器901。它提供附加的数据存储能力并且还可包括以下所述的任何计算机可读媒体。存储908可被用于存储操作系统909、EXEC910、应用程序912、数据911等等，并且通常为比主存储慢的次级存储介质(例如，硬盘)。应当理解，在适当的情况下，保存在存储908中的信息可按照标准方式被纳入作为存储器903中的虚拟存储器。处理器901还耦合到诸如诸如图形控制921、视频接口922、输入接口923、输出接口924、存储接口925之类的各种接口，并且这些接口进而耦合到适当的设备。一般而言，输入/输出设备可为以下项中的任一种：视频显示器、轨迹球、鼠标、键盘、话筒、触敏显示器、换能器读卡器、磁或纸带读取器、平板、输入笔、语音或手写识别器、生物识别读取器或其他计算机。处理器901可利用网络接口920耦合至另一计算机或电信网络930。采用这种网络接口920，可预期CPU901可从网络930接收信息，或可在执行上述方法的过程中将信息输出至网络。此外，本公开的方法实施例可单独地在CPU901上执行或可在诸如互联网之类的网络930上协同远程CPU901来执行，该远程CPU901共享该处理的一部分。根据各个实施例，当在网络环境中时，即，当计算机系统900连接至网络930时，计算机系统900可与也连接至网络930的其他设备通信。通信可经由网络接口920向和从计算机系统900发送。例如，传入的通信，例如，来自另一设备的以一个或多个分组形式的请求或响应，可在网络接口920处从网络930接收并且可存储在存储器903的被选择的部分中用于处理。传出的通信，例如，对另一设备的仍以一个或多个分组形式的请求或响应，也可以存储在存储器903的被选择的部分中并且在网络接口920处送往网络930。处理器901可访问存储在存储器903中的这些通信分组以用于处理。此外，本公开的实施例还涉及具有计算机可读介质的计算机存储产品，其上具有用于执行多种计算机实现的操作的计算机代码。介质和计算机代码可以那些针对本发明的目的而专门设计和构造，或它们可以是计算机软件领域的普通技术人员已知并且可获得的类型。计算机可读介质的示例包括，但不限于：诸如硬盘、软盘和磁带之类的磁介质；诸如CD-ROM和全息设备之类的光介质；诸如光盘之类的磁光介质；以及诸如专用集成电路(ASIC)、可编程逻辑器件(PLD)以及ROM和RAM设备之类的专门配置成存储和执行程序代码的硬件设备。计算机代码的示例包括例如由编译器产生的机器码，和包含由计算机利用解释器执行的更高等级代码的文件。本领域普通技术人员也应当理解，与本公开的主题有关的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。作为示例而非限制，具有体系结构的计算机系统可提供作为处理器901执行具体化为诸如存储器903之类的一个或多个有形的计算机可读介质的结果的功能。实现本公开的各个实施例的软件可存储在存储器903中并且可由处理器901执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备。存储器903可从诸如大容量存储器935之类的一个或多个其他计算机可读介质或经由通信接口从一个或多个其他源读取软件。软件可使得处理器901执行本文所描述的特定进程或特定进程的特定部分，包括定义存储在存储器903中的数据结构和根据软件定义的进程修改这样的数据结构。作为附加或者作为替代，计算机系统可提供作为硬连接的或以其他方式具体化在电路中的逻辑的结果的功能，该逻辑可代替软件或与软件一起操作以执行本文所述的特定进程或特定进程的特定部分。在适当的情况下，对软件的提及可涵盖逻辑，反之亦然。在适当的情况下，对计算机可读介质的提及可涵盖存储用于执行的软件的电路(例如，集成电路(IC))、具体化用于执行的逻辑的电路，或以上两种电路。本公开包括硬件和软件的任何合适组合。尽管本公开内容描述了若干示例性实施例，但是存在落在所公开主题的范围内的变化、置换、和各种等价替换。由此，应当理解，本领域技术人员将能够设计多种系统和方法，虽然这些系统和方法在本文中未明确地示出或描述，但是体现本公开的原理并且由此在其精神和范围内。