可伸缩视频编码技术的制作方法
【专利摘要】所公开的主题提供了用于使用差别模式或像素模式的层间预测的技术。在差别模式中，层间预测用来根据重构基本层图片的至少一个（上取样的）样本预测增强层的至少一个样本。在像素模式中，没有重构基本层样本用于增强层样本的重构。可以使用可以是增强层中的编码单元头的一部分的标志来区分像素模式和差别模式。
【专利说明】可伸缩视频编码技术
[0001]相关申请的交叉引用
[0002]本申请要求2011 年 6 月 30 日提交的题为 “Scalable Video Coding Technique(可伸缩视频编码技术)”的美国序列号第61/503，111的优先权，该申请的公开内容通过整体引用合并于此。
【技术领域】
[0003]所公开的主题涉及用于使用基本层和一个或多个增强层对视频编码和解码的技术，其中对待重构的块的预测使用来自增强层数据的信息。
【背景技术】
[0004]使用可伸缩技术的视频压缩在此处使用的意义上允许数字视频信号以多个层的形式表示。可伸缩视频编码技术被提议和/或标准化已有多年。
[0005]例如，题为“Information techno1gy-Generic coding of moving pictures and
associated audio information: Video (信息技术-移动图片和相关联的音频信息:视频
的通用编码)”、版本02/2000 (可从瑞士日内瓦20Place des Nationsl211国际电信联盟(ITU)获得并通过整体引用结合于此处)的ITU-TRec.H.262，也称为MPEG-2，在某些方面包括了允许对一个基本层和一个或多个增强层的编码的可伸缩编码技术。增强层可就诸如增加的帧速之类的时间分辨率(时间可伸缩性)、空间分辨率(空间可伸缩性)或在给定帧速和分辨率的质量(质量可伸缩性，也称为SNR可伸缩性)而言可以增强基本层。在H.262中，增强层宏块可以包含对两个输入信号加权的加权值。第一输入信号可以是(在空间增强的情况中经提升的)基本层的像素域中的重构宏块数据。第二信号可以是来自使用与未分层的编码中所使用的重构算法基本相同的重构算法而创建的增强层比特流的重构信息。编码器可以选择加权值并可以改变花费在增强层上的比特的数量(由此改变增强层信号加权前的保真度)以便优化编码效率。MPEG-2的可伸缩性方案的一个潜在缺点是，以宏块级别的精细粒度表示的加权因子可以使用太多的比特来允许增强层的良好编码效率。另一潜在缺点是，解码器可以需要使用所提到的两个信号来重构单个增强层宏块，从而导致与单层解码相比更多的周期和/或存储器带宽。
[0006]ITU Rec.H.263版本2 (1998)及之后版本(可从瑞士日内瓦20Place desNationsl211国际电信联盟(ITU)获得并通过整体引用结合于此处)也包括了允许时间、空间和SNR可伸缩性的可伸缩性机制。具体地，根据H.263附录O的SNR增强层是H.263称为“编码错误”的表示，是在基本层的重构图像与源图像之间计算的。H.263空间增强层是根据类似信息使用内插过滤器解码的，除了基本层重构图像在计算编码错误之前已经进行了上取样之外。H.263的SNR和空间可伸缩性工具的一个潜在缺点是，用于对基本层和增强层二者的编码、运动补偿和残留的变换编码的基本算法可能不适于解决编码错误的编码；相反它涉及对输入图片编码。
[0007]ITU-T Rec.H.264版本2 (2005)及之后版本(可从瑞士日内瓦20Place desNationsl211国际电信联盟(ITU)获得并通过整体引用结合于此处)和它们相应的ISO-1EC对应物IS0/IEC14496第10部分在其附录G中包括了称为可伸缩视频编码或SVC的可伸缩性机制。同样，尽管H.264和附录G的可伸缩性机制包括时间、空间和SNR可伸缩性(及其它，诸如介质粒度可伸缩性)，但用来完成可伸缩编码的机制的细节与H.262或H.263中使用的那些不同。具体地，SVC不对那些编码错误编码。它也不添加加权因子g。
[0008]SVC的空间可伸缩性机制包含以下用于预测的机制，及其它。第一，空间增强层有基本上所有可用于那些非可伸缩预测技术足够或有利于对给定宏块编码的情况的非可伸缩编码工具。第二，当在增强层中表示时，1-BL宏块类型使用上取样的基本层样本值作为当前正在解码的增强层宏块的预测器。存在与使用1-BL宏块相关联的某些限制，大部分涉及单循环解码和关于节省解码器周期，这可以伤害基本层和增强层的编码性能。第三，当对增强层宏块表示了残留层间预测时，基本层残留信息(编码错误)被上取样并和增强层编码错误一起添加到增强层的经运动补偿的预测中，以便重新产生增强层样本。
[0009]空间和SNR可伸缩性可以在如下意义上紧密相关，即至少在一些实现中和对一些视频压缩方案和标准而言，SNR可伸缩性可以看作在X和Y维度中都有为I的空间伸缩因子的空间可伸缩性，而空间可伸缩性可以通过例如每个维度中1.5到2.0的因子将基本层的图片大小增强到更大的格式。由于此密切相关性，此后仅描述空间可伸缩性。
[0010]由于非可伸缩规范基础的不同术语和/或不同编码工具以及用于实现可伸缩性的不同工具，全部三个前述标准中的空间可伸缩性的规范自然地不同。然而，配置为对基本层和一个增强层编码的可伸缩编码器的一个示例性实施策略是，包括两个编码循环，一个用于基本层，另一个用于增强层。可以通过添加更多编码循环来添加附加的增强层。相反地，可伸缩解码器可以通过基本解码器和一个或多个增强解码器实现。这已经在例如 Dugad, R 和 Ahuja, N 的 “A Scheme for Spatial Scalability Using NonscalableEncoders (使用非可伸缩编码器的空间可伸缩性的方案)” (IEEE CSVT卷13N0.10，2003年10月)中讨论过了，该方案通过整体引用结合于此。
[0011]参考图1，示出了这样的示例性现有技术的可伸缩编码器的框图。它包括视频信号输入(101)、下取样单元(102)、基本层编码循环(103)、可以是基本层编码循环的一部分但也可以充当对参考图片上取样单元(105)的输入的基本层参考图片缓冲区(104)、增强层编码循环(106 )和比特流生成器(107 )。
[0012]视频信号输入(101)可以接收任何适合的数字格式的待编码的视频，例如根据ITU-R Rec.BT.601 (1982 年 3 月)(可从瑞士 日内瓦 20Place des Nationsl211 国际电信联盟(ITU)获得并通过整体引用结合于此处)的格式。术语“接收”可以涉及预处理步骤，诸如过滤、重取样成例如预期的增强层空间分辨率和其它操作。此处假定输入信号的空间图片大小与增强层的空间图片大小相同。输入信号可以以耦合到视频信号输入的增强层编码循环(106)中的未修改格式(108)使用。
[0013]耦合到视频信号输入的还可以是下取样单元(102)。下取样单元(102)的目的是将增强层分辨率的由视频信号输入(101)接收的图片下取样成基本层分辨率。视频编码标准和应用限制可以对基本层分辨率设置限制。例如，H.264/SVC的可伸缩基线框架允许X和Y两维度中1.5或2.0的下取样率。2.0的下取样率意味着下取样的图片仅包括未下取样的图片样本的四分之一。在前述的视频编码标准中，可以独立于上取样机制而自由地选择下取样机制的细节。作为对比，前述视频编码标准规定了用于上取样的过滤器，以便避免增强层编码循环(105)中的漂移。
[0014]下取样单元(102)的输出是由视频信号输入所产生的图片的下取样版本(109)。
[0015]基本层编码循环(103)收取由下取样单元(102)产生的下取样图片并将它编码进基本层比特流(I 10)。
[0016]许多视频压缩技术在其它因素之外依赖于图片间预测技术以达到高压缩效率。图片间预测允许在对当前图片的解码中使用涉及一个和多个先前解码(或另外地处理)的图片(称为参考图片)的信息。图片间预测机制的示例包括运动补偿，其中在重构期间将来自先前解码的图片的像素块在根据运动向量移动之后复制或另外地采用；或残留编码，其中代之以对像素值解码，参考图片的(在一些情况中包括运动补偿)的像素和重构的像素值之间的潜在量化差别包含在比特流中并用于重构。图片间预测是可以启用现代视频编码中的良好编码效率的关键技术。
[0017]相反地，编码器还可以在它的编码循环中创建参考图片。
[0018]当在非可伸缩编码中使用参考图片与图片间预测有特定相关性时，在可伸缩编码的情况中参考图片还可以对跨层预测相关。跨层预测可以涉及使用基本层的重构图片和其它基本层参考图片来作为增强层图片的预测中的参考图片。此重构图片或参考图片可以与用于图片间预测的参考图片相同。然而，即使基本层是以诸如仅图片内编码之类的不使用可伸缩编码、不要求参考图片的方式编码的，也可以要求生成这样的基本层参考图片。
[0019]尽管基本层参考图片可以在增强层编码循环中使用，这里为简明起见仅示出使用重构图片(最新的参考图片)(111)供增强层编码循环使用。基本层编码循环(103)可以生成前述意义的参考图片，并将它存储在参考图片缓冲区(104)中。
[0020]存储在重构图片缓冲区(111)中的图片可以由上取样单元(105)上取样成由增强层编码循环(106)使用的分辨率。增强层编码循环(106)可以使用如由上取样单元(105)结合来自视频输入(101)的输入图片所产生的上取样的基本层参考图片，和在其编码过程中作为增强层编码循环的一部分而创建的参考图片(112)。这些使用的本质取决于视频编码标准，并在以上已经就一些视频压缩标准简要介绍了。增强层编码循环(106)可以创建增强层比特流(113)，这可以和基本层比特流(110)和控制信息(未示出)一起处理以便创建可伸缩比特流(114)。
[0021]在较新的视频编码标准(诸如H.264和HEVC)中，帧内编码已经担任了增长的角色。
[0022]在本写作的时间，HEVC在由视频编码联合协作团队(JCT-VC)开发，并且当前草案可以在通过整体引用合并于此的“Bross等，高效率视频编码(HEVC)文本规范草案6，JCTVC-H1003_dK, 2012 年 2 月”(此后称为 “WD6” 或“HEVC”)找到。
【发明内容】
[0023]所公开的主题提供了用于根据增强层数据预测待重构的块的技术。
[0024]在一个实施例中提供了用于根据基本层数据结合增强层数据来预测待重构的块的技术。
[0025]在一个实施例中，视频编码器包括可以选择两种编码模式:像素编码模式和差别编码模式的增强层编码循环。
[0026]在同一或另一实施例中，编码器可以包括供在编码模式的选择中使用的判断模块。
[0027]在同一或另一实施例中，编码器可以包括指示所选择的编码模式的比特流中的标
O
[0028]在一个实施例中，解码器可以包括用于在像素编码模式和差别编码模式中解码的子解码器。
[0029]在同一或另一实施例中，解码器还可以从比特流提取标志用于在差别编码模式和像素编码模式之间切换。
[0030]附图简述
[0031]所公开的主题的更多特征、本质和各种优点从以下【具体实施方式】和附图中将更显而易见，附图中: [0032]图1是根据现有技术的示例性可伸缩视频编码器的示意图；
[0033]图2是根据本公开的实施例的示例性编码器的示意图；
[0034]图3是根据本公开的实施例的像素模式的示例性子编码器的示意图；
[0035]图4是根据本公开的实施例的差别模式的示例性子编码器的示意图；
[0036]图5是根据本公开的实施例的示例性解码器的示意图；
[0037]图6是根据本公开的实施例的示例性编码器操作的过程；
[0038]图7是根据本公开的实施例的示例性解码器操作的过程；
[0039]图8示出了根据本公开的实施例的示例性计算系统。
[0040]附图被结合并构成本公开的一部分。除非另外说明，贯穿附图相同的附图标号和标记用来指示所示实施例的相似的特征、元素、组件或部分。而且，尽管现在将参考附图详细地描述所公开的主题，这是结合说明性实施例而进行的。
【具体实施方式】
[0041]贯穿所公开的主题的描述，术语“基本层”指层分层结构中增强层基于其上的层。在有多于两个增强层的环境中，按此描述中所使用的基本层不必是最低可能层。
[0042]图2示出了根据所公开的主题的两层编码器的框图。编码器可以通过添加附加增强层编码循环而扩展为支持多于两个层。
[0043]编码器可以接收未压缩的输入视频(201)，这可以在下取样模块(202)中下取样成基本层空间分辨率，并可以以下取样的形式充当对基本层编码循环(203)的输入。下取样因子可以是1.0，在该情况下基本层图片的空间维度与增强层图片的空间维度相同，从而导致质量可伸缩性，也称为SNR可伸缩性。大于1.0的下取样因子导致基本层空间分辨率低于增强层分辨率。视频编码标准可以在下取样因子的允许范围上施加限制。因子还可以依赖于应用。
[0044]基本层编码循环可以生成以下在编码器的其它模块中使用的输出信号:
[0045]A)基本层编码的比特流比特(204)，其可以形成它们自己的、可能自我包含的、可以由其自身变得对例如基本层兼容的解码器(未示出)可用的基本层比特流，或可以用增强层比特和控制信息聚集到可伸缩比特流生成器(205)，该可伸缩比特流生成器可以进而生成可以由可伸缩解码器(未示出)解码的可伸缩比特流(206 )。
[0046]B)可以用于跨层预测的基本层编码循环的像素域中的基本层编码循环的重构图片(或其部分)(207)(此后的基本层图片)。基本层图片可以处于基本层分辨率，该基本层分辨率在SNR可伸缩性的情况中可以与增强层分辨率相同。在空间可伸缩性的情况中，基本层分辨率可以不同于例如低于增强层分辨率。
[0047]C)参考图片辅助信息(208)。此辅助信息可以包括，例如涉及与参考图片的编码、宏块或编码单元(CU)编码模式、帧内预测模式等相关联的运动向量的信息。“当前”参考图片(重构的当前图片或其部分)可以有比较老的参考图片更多的与其相关联的这种辅助信
肩、O
[0048]基本层图片和辅助信息可以分别由上取样单元(209)和提升单元(210)处理，在基本层图片和空间可伸缩性的情况中这些单元可以使用例如可以在视频压缩标准中规定的内插过滤器将样本上取样成增强层的空间分辨率。在参考图片辅助信息的情况中，可以使用等价的例如伸缩的转换。例如，运动向量可以通过在X和Y两维度中乘以基本层编码循环(203)中生成的向量来伸缩。
[0049]增强层编码循环(211)可以包含它自己的参考图片缓冲区(212)，参考图片缓冲区可以包含通过重构之前生成的编码的增强层图片而生成的参考图片样本数据及相关联的辅助信息。
[0050]在所公开的主题的实施例中，增强层编码循环还包括bDiff判断模块(213)，其操作稍后描述。例如，它为给定⑶、宏块、片、或其它适当的语法结构创建bDiff标志。bDiff标志一旦生成之后可以以适当的语法结构(诸如CU头、宏块头、片头或任何其它适当的语法结构)包括在增强层比特流(214)中。此后为了简化描述，假定bDiff标志与CU相关联。标志可以通过例如直接以二进制形式编码进头中、与其它头信息成组并对成组的符号应用熵编码(诸如例如上下文自适应二进制算术编码，CABAC)而包括在比特流中，或可以通过其它熵编码机制而推断。换言之，该比特可以不以容易标识的形式存在于比特流中，但可以仅通过从其它比特流数据导出而获得。bDiff (如上所述以二进制形式或可导出的)可以由可以用于多个CU、宏块/片等的启用信号来表示其存在或不存在。如果该比特不存在，则编码模式可以固定。启用信号可以有adaptive_diff_coding_flag标志的形式,该标志可以直接地或以导出的形式包括于高级语法结构诸如例如片头或参数组中。
[0051]在实施例中，依据bDiff标志的设置，增强层编码循环(211)可以为该标志所关联的⑶在例如两种不同的编码模式之间选择。这两种模式此后称为“像素编码模式”和“差别编码模式”。
[0052]“像素编码模式”指增强层编码循环在对所讨论的CU编码时可以在由未压缩的视频输入(201)提供的输入像素上操作，而不依赖于来自基本层的信息(诸如例如在输入视频和经提升的基本层数据之间计算的差别信息)的模式。
[0053]“差别编码模式”指增强层编码循环可以在输入像素和当前⑶的上取样的基本层像素之间计算的差别上操作的模式。上取样的基本层像素可以进行运动补偿并如下讨论的服从帧内预测和其它技术。为了执行这些操作，增强层编码循环可以要求上取样的辅助信息。差别编码模式的图片层间预测可以粗略地等于如Dugad和Ahuja文本(见以上)中描述的增强层编码中使用的层间预测。[0054]下面为了清晰起见，根据模式分别描述了像素编码模式和差别编码模式中的增强层编码循环(211)。编码循环操作于其中的模式可以由bDiff判断模块(213)在例如CU粒度进行选择。相应地，对给定图片，循环可以在⑶边界变更模式。
[0055]参考图3，示出了遵循例如有相关于例如参考图片存储的轻微修改的HEVC的操作的像素编码模式中的增强层编码循环的示例性实现。应强调，增强层编码循环还可以使用其它标准化或非标准化的非可伸缩编码方案(例如H.263或H.264的那些)来操作。基本层和增强层编码循环不需要符合同一标准或甚至操作原则。
[0056]增强层编码循环可以包括可以对输入视频样本(305)编码的循环内编码器(301)。循环内编码器可以使用诸如带运动补偿和对残留的变换编码的图片间预测之类的技术。由循环内编码器(301)创建的比特流(302)可以由循环内解码器(303)重构，循环内解码器可以创建重构图片(304)。循环内解码器还可以在比特流构造过程中的中间状态上操作，这里作为一种替换性实施策略用虚线示出(307)。例如，一种公共策略是，省略熵编码步骤并在由循环内编码器(301)创建的符号上(在熵编码之前)操作循环内解码器(303)。重构图片(304)可以存储在参考图片存储(306)中作为参考图片供循环内编码器(301)将来引用。参考图片存储(306)中由循环内解码器(303)创建的参考图片可以处于像素编码模式，因为这是循环内编码器操作于其上的内容。
[0057]参考图4，示出了遵循例如有如所示的添加和修改的HEVC的操作的差别编码模式中的增强层编码循环的示例性实现。可以应用与对像素模式中的编码器编码循环做出的相同的评论。
[0058]编码循环可以接收未压缩的输入样本数据(401)。它还可以分别从上取样单元(209)和提升单元(210)接收上取样的基本层重构图片(或其部分)和相关联的辅助信息。在一些基本层视频压缩标准中，没有需要传达的辅助信息，因此提升单元(210)可以不存在。
[0059]在差别编码模式中，编码循环可以创建表示输入的未压缩样本数据(401)和如从上取样单元(209)接收的上取样的基本层重构图片(或其部分)(402)之间的差别的比特流。此差别是不在上取样的基本层样本中表示的残留信息。相应地，此差别可以由残留计算器模块(403)计算并可以存储在待编码的图片缓冲区(404)中。待编码的图片缓冲区(404)的图片可以由增强层编码循环根据与像素编码模式的编码循环中相同或不同的压缩机制，例如由HEVC编码循环进行编码。具体地，循环内编码器(405)可以创建比特流(406)，该比特流可以由循环内解码器(407)重构以便生成重构图片(408)。此重构图片可以充当将来图片解码中的参考图片，并可以存储在参考图片缓冲区(409)中。由于对循环内编码器的输入是由残留计算器模块创建的差别图片(或其部分)(409)，所创建的参考图片也是差别编码模式的，即表示编码的编码错误。
[0060]当处于差别编码模式时，编码循环在经提升的重构基本层图片样本和输入图片样本之间计算的差别信息上操作。当处于像素编码模式时它在输入图片样本上操作。相应地，参考图片数据还可以在或者差别域或者源(即像素)域中计算。由于编码循环可以基于bDiff标志在CU粒度在模式之间变更，如果参考图片存储将单纯地存储参考图片样本，那么参考图片可以包含两个域的样本。结果参考图片可以对未修改的编码循环不可用，因为bDiff判断可以随时间容易地对相同空间定位的CU选择不同的模式。
[0061]有数个选项来解决参考图片存储问题。这些选项是基于通过对样本值的简单加/减操作可能将给定参考图片样本从差别模式转换成像素模式和反之亦然的事实的。具体地，对增强层中的参考图片，为了将在差别模式中生成的样本转换成像素模式，可以将上取样的基本层重构图片的空间相对应样本添加到编码的差别值中。相反地，当从像素模式转换成差别模式时，可以将上取样的基本层重构图片的空间相对应样本从增强层中的编码的样本中减去。
[0062]以下列出并描述了增强层编码循环中的参考图片存储的许多可能选项中的三个。本领域的技术人员可以容易地在针对他/她将他/她的编码器设计所基于的硬件/软件架构优化的那些选项中选择，或者设计一些不同的。
[0063]一个选项是使用前述的加/减操作在两种变体——像素模式和差别模式——中都生成增强层参考图片。此机制可以加倍存储器需求但当两种模式之间的决定过程涉及编码即穷举式搜索运动估计以及当有多个处理器可用时可以具有优势。例如，一个处理器可以安排为在所存储的像素模式中的参考图片中执行运动搜索，而另一个处理器可以在差别模式中所存储的参考图片中执行运动搜索。
[0064]另一个选项是仅在例如像素模式中存储参考图片，并使用非上取样的基本层图片作为存储，在那些例如选择了差别模式的情况中在进行中(on-the-fly)转换成差别模式。此模式可以在存储器限制的或存储器带宽限制的实现中有意义，其中上取样和加/减样本比存储/检索那些样本更有效率。
[0065]一个不同的选项涉及在由编码器生成的模式中每CU地存储参考图片数据，但添加关于给定CU的参考图片数据存储在什么模式中的指示。此选项在参考图片用于稍后图片的编码中时可以要求在进行中的转换，但在存储信息比检索和/或计算在计算上昂贵得多的架构中可以有优势。
[0066]现在描述的是bDiff判断模块的某些特征(图2，213)。
[0067]基于
【发明者】的实验，看上去如果增强层编码器中的模式决定已决定了使用帧内编码模式时使用差别模式相当有效率。相应地，在一个实施例中，对所有增强层的帧内CU选择了差别编码模式。
[0068]对帧间CU，没有通过实验确定这样的简单优选规则。相应地，编码器可以使用做出了解情况的、内容自适应的决定的技术来确定使用差别编码模式或像素编码模式。在同一或另一实施例中，此了解情况的技术可以对所讨论的CU以两种模式编码，并使用速率-失真优化技术来选择两个结果比特流之一。
[0069]由以上所述的编码器生成的可伸缩比特流可以由下一步将参考图5描述的解码器来解码。
[0070]根据所公开的主题的解码器可以包含两个或更多的子解码器:用于基本层解码的基本层解码器(501)和一个或多个用于增强层解码的增强层解码器。为了简明起见，仅描述了单个基本层和单个增强层的解码，并因此仅描绘了 一个增强层解码器(502 )。
[0071 ] 可伸缩比特流可以由多路分解器(503)接收并拆分成基本层和增强层比特。基本层比特是由基本层解码器(501)使用可以是用来生成基本层比特流的编码过程的逆转的解码过程来解码。本领域的技术人员可以容易地理解编码器、比特流和解码器之间的关系。
[0072]基本层解码器的输出可以是重构图片或其部分(504)。除了其结合增强层解码的使用外，如简短描述地，重构的基本层图片(504 )还可以是输出(505 )并由叠加系统使用。根据所公开的主题的差别编码模式中的增强层数据的解码可以在一旦由给定增强层CU引用的重构的基本层的所有样本在(可能仅部分地)重构的基本层图片中可用之后开始。相应地，基本层和增强层编码可以并行地发生是可能的。此后为了简化描述，假定基本层图片已经整体重构了。
[0073]基本层编码器的输出还可以包括辅助信息(506)，例如可能在提升之后可以由增强层解码器利用的运动向量，如通过整体引用结合于此的2012年6月20日提交的共同待批的题为“Motion Prediction in Scalable Video Coding (可伸缩视频编码中的运动预测)”的美国专利申请序列号第13/528，169中所公开的。
[0074]基本层重构图片或其部分可以在上取样单元中上取样成例如增强层中使用的分辨率。上取样可以在单个“批量”中或按需“在进行中”发生。类似地，如果可用的话辅助信息可以由提升单元(508 )进行提升。
[0075]增强层比特流(509)可以是对增强层解码器(502)的输入。增强层解码器可以例如每⑶、宏块或片地解码bDiff标志(510)，该标志可以指示例如对给定⑶、宏块或片使用差别编码模式或像素编码模式。用于表示增强层比特流中的标志的选项已经做过描述了。
[0076]标志可以通过在两种操作模式:差别编码模式和像素编码模式之间切换来控制增强层解码器。例如，如果bDiff是O则可以选择像素编码模式(511)并且比特流的该部分是以像素模式解码的。
[0077]在像素编码模式中，子解码器(512)可以根据可以与在基本层解码中所使用的相同的解码器规范重构像素域中的CU/宏块/片。解码可以是例如根据HEVC的。如果解码涉及图片间预测，则可以要求一个或多个可以存储在参考图片缓冲区(513)中的参考图片。存储在参考图片缓冲区中的样本可以在像素域中，或可以由转换器(514)在进行中从不同的存储形式转换成像素域。用虚线描绘了转换器(514)，因为当参考图片存储包含像素域格式的参考图片时它可以是不必要的。
[0078]在差别编码模式(515)中，子解码器(516)可以使用增强层比特流来重构差别图片域中的CU/宏块/片。如果解码涉及图片间预测，则可以要求一个或多个可以存储在参考图片缓冲区(513)中的参考图片。存储在参考图片缓冲区中的样本可以在差别域中，或可以由转换器(517)在进行中从不同的存储形式转换成差别域。用虚线描绘了转换器(517)，因为当参考图片存储包含像素域格式的参考图片时它可以是不必要的。用于参考图片存储和域之间的转换的选项已在编码器上下文中描述了。
[0079]子解码器(516)的输出是差别域中的图片。为了对例如渲染有用，它需要转换成像素域。这可以使用转换器(518)来完成。
[0080]所有三个转换器(514) (517) (518)都遵循已在解码器上下文中描述的原则。为了工作，它们可以需要访问上取样的基本层重构图片样本(519)。为了清晰起见，仅示出了上取样的基本层重构图片样本的输入进入转换器(518)。经提升的辅助信息(520)可以为像素域子解码器(例如，当类似于SVC中所使用的那个的层间预测在子解码器(512)中实现时)和差别域子解码器二者中的解码所需求。未示出输入。
[0081]增强层解码器可以根据以下过程操作。描述了两个参考图片缓冲区的使用，一个在差别模式中以及另一个在像素模式中。
[0082]参考图6，并假定可以为给定⑶的差别模式编码所需求的样本已经在基本层解码器中可用:
[0083]在一个实施例中，所有可以为在差别模式中对给定⑶/宏块/片(此后是⑶)编码所需求的样本和相关联的辅助信息被上取样/提升(601)成增强层分辨率。
[0084]在同一或另一实施例中，标志bDiff的值是例如如已经描述过的确定的(602)。
[0085]在同一或另一实施例中，可以基于bDiff的值选择(603)不同的控制路径(604)
(605)。具体地，当bDiff指示了使用差别编码模式时选择控制路径(604)，而当bDiff指示了使用像素编码模式时选择控制路径(605 )。
[0086]在同一或另一实施例中，当在差别模式中(604)时，可以计算在步骤(601)中生成的上取样的样本与属于输入图片的CU/宏块/片的样本之间的差别。可以存储差别样本
(606)。
[0087]在同一或另一实施例中，对步骤(606)的存储的差别样本进行编码(607)，且可以如已经讨论的直接或间接地包括bDiff标志的编码比特流可以放置进可伸缩比特流中(608)。
[0088]在同一或另一实施例中，通过编码(607)生成的重构图片样本可以存储在差别参考图片存储中(609)。
[0089]在同一或另一实施例中，通过编码(607)生成的重构图片样本可以转换成像素编码域，如已经描述的(610)。
[0090]在同一或另一实施例中，步骤(610)的经转换的样本可以存储在像素参考图片存储中(611)。
[0091]在同一或另一实施例中，如果选择了路径(605)(以及由此像素编码模式)，则可以对输入图片的样本编码(612)，且所创建的可以如已经讨论的直接或间接地包括bDiff标志的比特流可以放置进可伸缩比特流中(613)。
[0092]在同一或另一实施例中，通过编码(612)生成的重构图片样本可以存储在像素域参考图片存储中(614)。
[0093]在同一或另一实施例中，通过编码(612)生成的重构图片样本可以转换成差别编码域，如已经描述的(615)。
[0094]在同一或另一实施例中，步骤(615)的经转换的样本可以存储在差别参考图片存储中(616)。
[0095]增强层解码器可以根据以下过程操作。描述了两个参考图片缓冲区的使用，一个在差别模式中以及另一个在像素模式中。
[0096]参考图7，并假定可以为给定⑶的差别模式解码所需求的样本已经在基本层解码器中可用:
[0097]在一个实施例中，可以为在差别模式中对给定⑶/宏块/片(此后是⑶)解码所需求的所有样本和相关联的辅助信息被上取样/提升(701)成增强层分辨率。
[0098]在同一或另一实施例中，通过例如解析来自可以直接地或间接地包括bDiff的比特流的值确定(702) bDiff标志的值，如已描述的。
[0099]在同一或另一实施例中，可以基于bDiff的值选择(703)不同的控制路径(704)(705)。具体地，当bDiff指示了使用差别编码模式时选择控制路径(704)，而当bDiff指示了使用像素编码模式时选择控制路径(705 )。[0100]在同一或另一实施例中，当在差别模式中(704)时，可以使用差别域(705)中的参考图片信息(当需求时)对比特流解码和生成重构CU。例如当所讨论的CU用帧内模式编码时可以不需求参考图片?目息。
[0101]在同一或另一实施例中，重构样本可以存储在差别域参考图片缓冲区中(706 )。
[0102]在同一或另一实施例中，通过解码(705)生成的重构图片样本可以转换成像素编码域，如已经描述的(707)。
[0103]在同一或另一实施例中，步骤(707)的经转换的样本可以存储在像素参考图片存储中(708)。
[0104]在同一或另一实施例中，如果使用了路径(705)(以及由此像素编码模式)，则可以使用像素域(709)中的参考图片信息(当需求时)对比特流解码和生成重构⑶。
[0105]在同一或另一实施例中，通过解码(709)生成的重构图片样本可以存储在像素参考图片存储中(710)。
[0106]在同一或另一实施例中，通过编码(709)生成的重构图片样本可以转换成差别编码域，如已经描述的(711)。
[0107]在同一或另一实施例中，步骤(711)的经转换的样本可以存储在差别参考图片存储中(712)。
[0108]以上所描述的用于使用差别和像素模式的可伸缩编码/解码的方法可以实现为使用计算机可读指令并物理地存储在计算机可读介质中的计算机软件。计算机软件可以使用任何合适的计算机语言编码。软件指令可以在各种类型的计算机上执行。例如，图8示出了适用于实现本公开的实施例的计算机系统800。
[0109]图8中示出的计算机系统800的组件在本质上是示例性的，并且不旨在对实现本公开的实施例的计算机软件的使用或功能的范围提出任何限制。也不应将该组件的配置解释为对计算机系统的示例性实施例中示出的任一组件或其组合有任何依赖性或要求。计算机系统800可以具有许多物理形式，包括集成电路、印刷电路板、小型手持式设备(诸如移动电话或PDA)、个人计算机或超级计算机。
[0110]计算机系统800包括显示832、一个或多个输入设备833(例如小键盘、键盘、鼠标、指示笔等)、一个或多个输出设备834 (例如扬声器)、一个和多个存储设备835、各种类型的存储介质836。
[0111]系统总线840链接各种子系统。如本领域技术人员所理解的，“总线”指提供公共功能的多种数字信号线。系统总线840可以是几种类型的总线结构中的任一种，包括存储器总线、外围总线、以及使用各种总线架构中的任一种的局部总线。作为示例而非限制，这样的架构包括工业标准架构(ISA)总线、增强型ISA (EISA)总线、微通道架构(MCA)总线、视频电子标准协会局部总线(VLB)、外围组件互连(PCI)总线、快速PCI总线(PC1-X)和加速图形端口(AGP)总线。
[0112]处理器801 (也称为中央处理单元或CPU)可选地包含用于临时本地存储指令、数据或计算机地址的高速缓存存储器单元802。处理器801耦合到包括存储器803的存储设备。存储器803包括随机访问存储器(RAM)804和只读存储器(R0M)805。如本领域内周知的，R0M805用于将数据和指令单向地传输给处理器801，且RAM804通常用来以双向方式传输数据和指令。这些类型的存储器都可以包括任何合适的以下所描述的计算机可读介质。[0113]固定存储808也双向耦合到处理器801，可选地经由存储控制单元807。它提供附加数据存储能力并还可以包括任何以下所描述的计算机可读介质。存储808可以用来存储操作系统809、可执行文件(EXEC) 810、应用程序812、数据811等等，并通常是比主存储慢的次存储介质(诸如硬盘)。应理解，在合适的情况下存储808中保留的信息可以如存储器803中的虚拟存储器合并进标准方式。
[0114]处理器801还耦合到各种接口，诸如图形控制821、视频接口 822、输入接口 823、输出接口 824、存储接口 825，并且这些接口进而耦合到合适的设备。一般地，输入/输出设备可以是任一种:视频显示、跟踪球、鼠标、键盘、话筒、触敏显示、传感器读卡器、磁或纸带读取器、平板机、指示笔、语音或手写识别器、生物测定读取器或其它计算机。处理器801可以耦合到另一计算机或使用网络接口 820耦合到电信网络830。有了这样的网络接口 820，可以构想CPU801在执行以上描述的方法的过程中可以从网络830接收信息，或可以输出信息到网络。而且，本公开的方法实施例可以单在CPU801上执行，或可以结合共享该处理的一部分的远程CPU801在诸如因特网之类的网络830上执行。
[0115]根据各种实施例，当在网络环境中时，即当计算机系统800连接到网络830时，计算机系统800可以与也连接到网络830的其它设备通信。通信可以经由网络接口 820从计算机系统800发送或发送到计算机系统800。例如，一个或多个分组形式的传入通信，诸如来自另一设备的请求或响应，可以在网络接口 820从网络830接收并存储在存储器803的所选的区中用于处理。也是一个或多个分组形式的传出通信，诸如给另一设备的请求或响应，也可以存储在存储器803的所选的区中并在网络接口 820发送出去给网络830。处理器801可以访问这些存储在存储器803中用于处理的通信分组。
[0116]而且，本公开的实施例还涉及有计算机可读介质的计算机存储产品，计算机可读介质其上有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是那些为了本公开的目的特别设计和构造的，或可以是在计算机软件领域中的技术人员周知和可用的类型。计算机可读介质的示例包括但不限于:磁介质诸如硬盘、软盘和磁带；光学介质诸如⑶-ROM和全息设备；磁光介质诸如光盘；和特别配置为存储和执行程序代码的硬件设备，诸如专用集成电路(ASIC)、可编程逻辑设备(PLD)及ROM和RAM设备。计算机代码的示例包括机器代码诸如由编译器生成的，和包含由计算机使用解释器执行的更高级代码的文件。本领域技术人员还应理解，如结合本公开主题所使用的术语“计算机可读介质”不涵盖传输介质、载波或其它瞬态信号。
[0117]作为示例而非限制的方式，具有架构800的计算机系统可以提供功能作为处理器801执行体现在一个或多个有形的计算机可读介质(诸如存储器803)中的软件的结果。实现本公开的各种实施例的软件可以存储在存储器803中并由处理器801执行。根据特定需求计算机可读介质可以包括一个或多个存储器设备。存储器803可以从一个或多个其它计算机可读介质(诸如大容量存储设备835)或经由通信接口从一个或多个其它源读取软件。软件可以导致处理器801执行此处所描述的特定过程或特定过程的特定部分，包括定义存储在存储器803中的数据结构和根据由软件定义的过程修改这些数据结构。作为补充或替换，计算机系统可以提供功能作为硬连线或另外体现在电路中的逻辑的结果，逻辑可以在软件的位置中或与软件一起执行此处所描述的特定过程或特定过程的特定部分。当合适的时候，对软件的引用可以涵盖逻辑，并且反之亦然。当合适的时候，对计算机可读介质的引用可以涵盖存储用于执行的软件的电路(诸如集成电路(1C))、体现用于执行的逻辑的电路、或二者。本公开涵盖任何合适的硬件和软件的组合。
[0118]尽管本公开描述了数个示例性实施例，但落入本公开的范围的更改、排列和各种替换性等价方案是存在的。因此应理解，本领域技术人员将能够设想许多尽管此处没有显式地示出或描述但体现本公开的原则并因此在其精神和范围之内的系统和方法。
【权利要求】
1.一种方法，用于对在基本层和至少一个增强层中编码并至少具有差别模式和像素模式的视频解码，所述方法包括: 对指示所述差别模式和所述像素模式之间的选择的至少一个标志bDiff解码，以及 按照所述至少一个标志bDiff指示的，在差别模式或像素模式中重构至少一个样本。
2.如权利要求1所述的方法，其特征在于，bDiff是在编码单元头中编码的。
3.如权利要求2所述的方法，其特征在于，bDiff是在上下文自适应二进制算术编码中编码的。
4.如权利要求1所述的方法，其特征在于，bDiff是在片头中编码的。
5.如权利要求1所述的方法，其特征在于，在差别模式中重构所述至少一个样本包括计算所述基本层的重构的、上取样的样本和所述增强层的重构样本之间的差别。
6.如权利要求1所述的方法，其特征在于，在像素模式中重构所述至少一个样本包括重构所述增强层的至少一个样本。
7.一种方法，用于对包括基本层和至少一个增强层的可伸缩比特流的视频编码，所述方法包括: 对增强层分辨率的至少一个样本，在差别模式和像素模式之间选择； 在所选择的差别模式或像素模式中对所述至少一个样本编码；以及 将对所选择的模式的指示编码为所述增强层中的标志bDiff。
8.如权利要求7所述的方法，其特征在于，在差别模式和像素模式之间的所述选择包括速率_失真优化。
9.如权利要求7所述的方法，其特征在于，在差别模式和像素模式之间的所述选择是对编码单元做出的。
10.如权利要求9所述的方法，其特征在于，当增强层编码循环的模式决定过程对所述编码单元选择了帧内编码时选择差别模式。
11.如权利要求7所述的方法，其特征在于，所述标志bDiff是在CU头中编码的。
12.如权利要求11所述的方法，其特征在于，在所述CU头中编码的所述标志bDiff是以上下文自适应二进制算术编码格式编码的。
13.—种系统，用于对在基本层和至少一个增强层中编码并至少具有差别模式和像素模式的视频解码，所述系统包括: 基本层解码器，用于创建重构图片的至少一个样本； 耦合到所述基本层解码器的上取样模块，用于将重构图片的所述至少一个样本上取样成增强层分辨率；以及 耦合到所述上取样模块的增强层解码器，所述增强层解码器被配置为对来自增强层比特流的至少一个标志bDiff解码， 对由所述标志bDiff选择的所述差别模式或所述像素模式中的至少一个增强层样本解码， 当按照所述标志bDiff指示的在差别模式中操作时接收至少一个上取样的重构基本层样本用于重构所述增强层样本。
14.一种系统，用于至少使用差别模式和像素模式对基本层和至少一个增强层的视频编码，所述系统包括:基本层编码器，具有输出； 至少一个增强层编码器，耦合到所述基本层编码器； 上取样单元，耦合到所述基本层编码器的输出并被配置为将至少一个重构基本层样本上取样成增强层分辨率， 所述至少一个增强层编码器中的bDiff选择模块，所述bDiff选择模块被配置为对标志bDiff选择指示所述像素模式或所述差别模式的值， 其中所述至少一个增强层编码器被配置为 对增强层比特流中的至少一个标志bDiff编码，以及 使用上取样的重构基本层样本对差别模式中的至少一个样本编码。
15.一种非瞬态计算机可读介质，所述介质包括用于指导处理器执行权利要求1-12之一的方法的一组指令。
【文档编号】H04B1/66GK103636137SQ201280031914
【公开日】2014年3月12日 申请日期:2012年6月21日 优先权日:2011年6月30日
【发明者】W·张, J·博伊斯, D·洪 申请人:维德约股份有限公司