用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001 ]本发明涉及视频译码及压缩的领域，确切地说，涉及可缩放视频译码(SVC)或多视图视频译码(MVC，3DV)。
【背景技术】
[0002]数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准和此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些视频译码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0003]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频帧、视频帧的一部分等)可分割成视频块，视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
[0004]空间或时间预测产生待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，接着可以对残差变换系数进行量化。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。
【发明内容】
[0005]可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RL))和一或多个可缩放增强层(EL)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数据。所述一或多个增强层可携载额外的视频数据以支持(举例来说)较高的空间、时间和/或信噪比(SNR)水平。可相对于先前编码的层定义增强层。举例来说，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。举例来说，在中间的层可为在其下方的层(例如，基础层或任何插入增强层)的EL，且同时充当在其上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息对另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)进行译码(例如，编码或解码)。
[0006]在SVC中，可使用从参考层导出的信息对增强层中的当前块进行译码(例如，编码或解码)。举例来说，可使用参考层中的协同定位块的信息(例如，纹理信息或运动信息)对增强层中的当前块进行译码(所使用的术语“协同定位”在本发明中可指另一层中对应于与当前块相同的图像的块，例如，当前被译码的块)。但是，对于例如空间可缩放性的某些可缩放性方案，可需要在将参考层信息用于译码增强层之前对其进行修改。举例来说，可需要在将参考层信息用于译码增强层之前对其进行重新取样(例如，根据参考层与增强层之间的分辨率)。举例来说，在一些实施方案中，参考层图片可经重新取样并插入到增强层图片的参考图片列表中并且用于对增强层图片进行译码。
[0007]但是，参考层图片的重新取样可引起所得重新取样图片违反一或多个位流一致性约束。举例来说，参考层图片可划分成多个切片，并且一些实施方案可指示切片边界符合最大译码单元(LCU)边界。但是，在重新取样参考层图片之后，参考层图片的切片边界可不再符合LCU边界。在此情况下，可需要以额外处理和计算能力为代价对重新取样参考层图片中的切片边界进行修改。
[0008]因此，通过使用将产生符合位流一致性约束的图片的用于上取样参考层图片的更简单方法，可降低计算复杂度。
[0009]本发明的系统、方法和装置各自具有若干创新方面，其中无单一方面单独负责本文所揭示的合乎需要的属性。
[0010]—方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以:通过上取样所述RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片;将所述ILRP的所述单一切片的切片信息设定成等于第一切片的切片信息；并使用ILRP对EL图片的至少一部分进行译码。所述处理器可对所述视频信息进行编码或解码。
[0011]一方面，对视频信息进行译码(例如，编码或解码)的一种方法包括:通过在上取样参考层中具有第一切片和第二切片的参考层(RL)图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片;将ILRP的单一切片的切片信息设定成等于第一切片的切片信息;和使用ILRP来对增强层中的增强层(EL)图片的至少一部分进行译码。
[0012]一方面，一种非暂时性计算机可读媒体包括在执行时使得设备执行过程的代码。所述过程包含:存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于RL图片的增强层(EL)图片；通过上取样所述RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；将ILRP的单一切片的切片信息设定成等于第一切片的切片信息；和使用ILRP来对EL图片的至少一部分进行译码。
[0013]—方面，一种经配置以对视频信息进行译码的视频译码装置包括:用于存储与参考层和增强层相关联的视频信息的装置，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于RL图片的增强层(EL)图片；用于通过上取样RL图片来产生层间参考图片(ILRP)的装置，所述ILRP具有与其相关联的单一切片；用于将ILRP的单一切片的切片信息设定成等于第一切片的切片信息的装置;和用于使用ILRP来对EL图片的至少一部分进行译码的装置。
[0014]—方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以:确定第一切片的第一切片信息与第二切片的第二切片信息是否相同；并响应于确定第一切片信息与第二切片信息相同，启用用于对EL图片的至少一部分进行译码的层间运动预测。
[0015]一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括:确定参考层(RL)图片的第一切片的第一切片信息与RL图片的第二切片的第二切片信息是否相同；和响应于确定第一切片信息与第二切片信息相同，启用用于对增强层(EL)图片的至少一部分进行译码的层间运动预测。
[0016]—方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以:确定第一切片的第一切片信息与第二切片的第二切片信息是否相同；并响应于确定第一切片信息与第二切片信息不相同，禁用用于对EL图片进行译码的层间运动预测。
[0017]一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括:确定参考层(RL)图片的第一切片的第一切片信息与RL图片的第二切片的第二切片信息是否相同；和响应于确定第一切片信息与第二切片信息不相同，禁用用于对对应于RL图片的增强层(EL)图片进行译码的层间运动预测。
[0018]—方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。所述处理器经配置以:通过上取样所述RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片;并确定第一切片的切片类型与第二切片的切片类型是否不同。响应于确定第一切片的切片类型与第二切片的切片类型不同，所述处理器可经进一步配置以:如果第一和第二切片中的至少一者为B切片，那么将ILRP的单一切片的切片类型设定成等于B切片；如果，那么第一和第二切片中的至少一者为P切片并且第一和第二切片均不为B切片，那么将ILRP的单一切片的切片类型设定成等于P切片；并且如果第一和第二切片均为I切片，那么将ILRP的单一切片的切片类型设定成等于I切片。
[0019]—方面，一种对视频信息进行译码(例如，编码或解码)的方法包括:通过上取样参考层中具有第一切片和第二切片的参考层(RL)图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片；和确定第一切片的切片类型与第二切片的切片类型是否不同。此外，响应于确定第一切片的切片类型与第二切片的切片类型不同，所述方法可进一步包括:如果第一和第二切片中的至少一者为B切片，那么将ILRP的单一切片的切片类型设定成等于B切片；如果第一和第二切片中的至少一者为P切片并且第一和第二切片均不为B切片，那么将ILRP的单一切片的切片类型设定成等于P切片；和如果第一和第二切片均为I切片，那么将ILRP的单一切片的切片类型设定成等于I切片。
[0020]—方面，一种经配置以对视频信息进行译码的设备包含存储器和与存储器通信的处理器。所述存储器经配置以存储与参考层和增强层相关联的视频信息，所述参考层包括具有第一切片和第二切片的参考层(RL)图片，并且所述增强层包括对应于所述RL图片的增强层(EL)图片。处理器经配置以:通过上取样RL图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片;将ILRP的单一切片的切片信息设定成等于第一切片的切片信息;修改与对应于RL图片的第二切片的ILRP的一部分相关联的运动信息来校正其中的不准确性;并且使用ILRP来对EL图片的至少一部分进行译码。
[0021 ] 一方面，一种对视频信息进行译码(例如，编码或解码)的方法包括:通过上取样参考层中具有第一切片和第二切片的参考层(RL)图片来产生层间参考图片(ILRP)，所述ILRP具有与其相关联的单一切片;将ILRP的单一切片的切片信息设定成等于第一切片的切片信息;修改与对应于RL图片的第二切片的ILRP的一部分相关联的运动信息来校正其中的不准确性;和使用ILRP来对EL图片的至少一部分进行译码。
【附图说明】
[0022]图1A是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。
[0023]图1B是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码系统的框图。
[0024]图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0025]图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0026]图3A是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0027]图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0028]图4A和4B说明根据本发明的一个实施例的产生层间参考图片的实例方法。
[0029]图5说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。
[0030]图6说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。[0031 ]图7说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。
[0032]图8说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。
【具体实施方式】
[0033]本文中描述的某些实施例涉及针对在先进视频编码解码器的上下文中的例如HEVC(高效率视频译码)等的可缩放视频译码的层间预测。更确切地说，本发明涉及用于改善HEVC的可缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。
[0034]在以下描述中，描述与某些实施例有关的H.264/AVC技术;还论述HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文中揭示的实施例可适用于以下标准中的一或多者= ITU-T H.261、IS0/IEC MPEG-1VisuaUITU-T H.262SIS0/IEC MPEG_2Visual、ITU-T Η.263、IS0/IEC MPEG_4Visual和ITU-T
H.264 (也被称作I SO/ IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0035]在许多方面，HEVC通常遵循先前视频译码标准的框架。HEVC中的预测单元不同于在某些先前视频译码标准中的预测单元(例如，宏块)。事实上，在HEVC中不存在如在某些先前视频译码标准中所理解的宏块的概念。宏块由基于四分树方案的阶层式结构替换，阶层式结构可提供高灵活性以及其它可能益处。举例来说，在HEVC方案内，定义三个类型的块，例如译码单元(CU)、预测单元(PU)和变换单元(TU) XU可指区分裂的基本单元。可认为CU类似于宏块的概念，但其不限定最大大小，且可允许递归分裂成四个相等大小CU以改善内容适应性。可将HJ视为帧间/帧内预测的基本单元，且其可在单一 PU中含有多个任意形状的分区以有效地对不规则图像模式进行译码。TU可认为是变换的基本单元。可独立于PU来对其定义;但是，其大小可能限于TU所属的CU。块结构如此分离成三个不同概念可允许每一者根据其作用被优化，这可导致改善译码效率。
[0036]仅出于说明的目的，用仅包含两个层(例如，比如基础层等较低层，和比如增强层等较高层)的实例来描述本文中揭示的某些实施例。应理解，这些实例可适用于包含多个基础层和/或增强层的配置。另外，为了易于解释，参考某些实施例，以下揭示内容包含术语“帧”或“±夬”。但是，这些术语不意味着限制。举例来说，下文描述的技术可供任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、切片、帧等)使用。
[0037]视频译码标准
[0038]例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一像素通常含有亮度和色度信息。在未压缩的情况下，待从图像编码器传达到图像解码器的信息的数量太过巨大以致不可能实现实时图像发射为了减少待发射的信息的量，已开发出例如JPEG、MPEG和H.263标准等数个不同压缩方法。
[0039]视频译码标准包含ITU-TH.26UIS0/IEC MPEG-lVisual、ITU-T H.262或IS0/IECMPEG-2Visual、ITU-T H.263、IS0/IEC MPEG_4Visual和ITU-T H.264(也被称为IS0/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0040]另外，存在一种新的视频译码标准，即高效视频译码(HEVC)，其正由ITU-T视频译码专家组(VCEG)和IS0/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。对HEVC草案10的完全引用为Bross等人的文件JCTVC-L1003，“高效率视频译码(HEVC)文本说明书草案10”，ITU-T SG16WP3与IS0/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组(JCT-VC)，第12次会议:瑞士日内瓦，2013年I月14日至2013年I月23日。对HEVC的多视图扩展(即，MV-HEVC)和对HEVC的可缩放扩展(名为SHVC)也正分别由JCT-3V (3D视频译码扩展开发ITU-T/IS0/IEC联合合作小组)和JCT-VC开发。
[0041]下文参考附图更充分地描述新颖系统、设备和方法的各个方面。但是，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。相反，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围旨在涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本发明的范围旨在涵盖使用除本文中所阐述的本发明的各种方面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所揭示的任何方面。
[0042]尽管本文描述了特定方面，但这些方面的许多变化和排列落在本发明的范围内。尽管提及了优选方面之一些益处和优点，但本发明的范围不旨在限于特定益处、用途或目标。而是，本发明的方面旨在广泛地适用于不同无线技术、系统配置、网络和发射协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中进行说明。【具体实施方式】和图式仅说明本发明，而不是限制由所附权利要求书和其等效物定义的本发明的范围。
[0043]【附图说明】若干实例。由附图中的参考标号指示的元件对应于在以下描述中由相同参考标号指示的元件。在本发明中，名称以序数词(例如，“第一”、“第二”、“第三”等)开始的元件未必暗示所述元件具有特定次序。而是，这些序数词仅用于指代相同或类似类型的不同元件。
[0044]视频译码系统
[0045]图1A是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文中所描述地使用，术语“视频译码器” 一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码和视频解码。
[0046]如图1A中所展示，视频译码系统10包含源模块12，其产生稍后待由目的地模块14解码的经编码视频数据。在图1A的实例中，源模块12与目的地模块14在分开的装置上，具体来说，源模块12为源装置的部分，并且目的地模块14为目的地模块的部分。但是，注意，源模块12与目的地模块14可在同一装置上或为同一装置的部分，如在图1B的实例中所展示。
[0047]再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等的电话手持机、所谓的“智能”平板、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，源模块12和目的地模块14可经装备以用于无线通信。
[0048]目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图1A的实例中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通信媒体。经编码视频数据可根据例如无线通信协议等通信标准加以调制，且发射到目的地模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站或任何其它可以用于促进从源模块12到目的地模块14的通信的设备。
[0049]替代地，经编码数据可从输出接口22输出到任选的存储装置31。类似地，可通过输入接口 28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存储媒体中的任一者，例如硬盘驱动器、快闪存储器、易失性或非易失性存储器，或用于存