针对基于高效率视频译码的可缩放译码的运动场升频采样的制作方法
【技术领域】
[0001]本发明涉及视频译码和压缩、基于高效率视频译码(HEVC)的可缩放译码和基于HEVC的多视图与3DV译码的领域。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置，数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263,ITU-TH.264/MPEG-4、先进式视频译码(AVC)第10部分、目前在开发中的高效率视频译码(HEVC)标准定义的标准和此类标准的扩展中描述的技术。所述视频装置可通过实施这些视频译码技术，更有效率地传输、接收、编码、解码和/或存储数字视频信息。
[0003]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频图块(例如，视频帧、视频帧的一部分等)分割成视频块(其也可被称作树型块)、译码单元(CU)和/或译码节点。可使用相关于图片中的相邻块中的参考样本的空间预测来编码同一图片的经帧内译码(I)图块中的视频块。图片的经帧间编码(P或B)图块中的视频块可使用相关于同一图片中的相邻块中的参考样本的空间预测或相关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
[0004]空间预测或时间预测导致用于块的预测性块经译码。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据编码帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，可接着量化残余变换系数。可扫描最初按二维阵列排列的经量化变换系数以便产生变换系数的一维向量，且可应用熵编码以达成甚至更多压缩。
【发明内容】
[0005]可缩放视频译码(SVC)指使用有时被称作参考层(RL)的基层(BL)和一或多个可缩放增强层(EL)的视频译码。对于SVC，基层可载运具有基本质量等级的视频数据。所述一或多个增强层可载运额外视频数据以支持较高空间、时间和/或信号对噪声SNR等级。可相对于先前编码的层定义增强层。
[0006]例如，底层可充当BL，而顶层可充当EL。中间层可充当EL或RL，或两者。例如，在中间的层可为针对在其下的层(例如，基层或任何介入增强层)的EL，且同时充当针对在其上的一或多个增强层的RL。
[0007]在HEVC扩展中，增强层中的当前块可使用基层中的对应的块来预测。例如，当前块的语法元素、运动信息(例如，运动向量)或模式信息(例如，帧内模式)可基于基层中的对应的块。例如，基层中的图片的运动向量可用以预测所述当前块的运动向量。
[0008]然而，基层与增强层可具有不同分辨率。当所述两个层具有不同空间分辨率时，可不易于由HEVC译码单元级设计存取一些信息(例如，基层的运动场)。通过在两个层具有不同空间分辨率时促进可缩放视频译码中的层间运动预测，本发明中描述的技术可在不显著修改HEVC的块级模块的情况下改善译码效率。
[0009]本发明的系统、方法和装置各自具有若干创新方面，所述方面中无任何单一方面单独地负责本文中所揭示的合乎需要的属性。
[0010]在一个实施例中，一种经配置以译码视频信息的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元经配置以存储与具有第一空间分辨率的第一层和具有第二空间分辨率的对应的第二层相关联的视频信息，其中所述第一空间分辨率小于所述第二空间分辨率。所述视频信息包含与所述第一层相关联的至少运动场信息。所述处理器经配置以升频采样与所述第一层相关联的所述运动场信息。所述处理器进一步将包含与所述第一层的经升频采样的纹理图片相关联的所述经升频采样的运动场信息的层间参考图片添加到参考图片列表。所述处理器可进一步经配置以基于所述层间参考图片的所述经升频采样的运动场信息预测所述第二层的至少一部分。在一个实施例中，视频编码器或解码器可将所述层间参考图片的一部分用作待用于时间运动向量预测(TMVP)的同置型图片。在一个实施例中，所述运动场信息的所述升频采样可包括将译码树、译码单元、预测单元、模式、帧内模式、帧间模式和帧内预测模式中的至少一者与所述经升频采样的纹理图片相关联。
[0011]在一个实施例中，分开来针对所述第一层的所述层间参考图片中的每一 4X4块执行所述运动场升频采样，且导出多达两个向量，每一向量与参考索引相关联。在另一实施例中，分开来针对所述第一层的所述层间参考图片中的每一 16 X 16块执行所述运动场升频采样，且结合升频采样所述运动场信息而导出多达两个运动向量，每一向量与参考索引相关联。
[0012]在一个实施例中，对于所述第二层中的每一 NX N ±夬，将所述NX N块的中心位置映射到对应于所述第一层中的NXN块的唯一位置，且从与所述第一层中的所述NXN块相关联的所述经升频采样的运动场信息导出所述第二层中的所述NXN块的运动场信息。在一个实施例中，N可为至少16。在一个实施例中，所述第二层中的每一 NXN块具有在所述层间参考图片中的特定同置型NXN块，且所述特定NXN块具有在所述第一层中的同置型块，从其针对所述特定NXN块升频采样所述运动场信息。在一个实施例中，已基于HEVC运动压缩而压缩所述第一层的所述运动场信息。在一个实施例中，首先在所述第二层中决定具有中心位置的像素样本(例如，针对所述增强层中的所述当前块)，且接着将其映射到所述第一层中的对应的位置(例如，层间、视图间或参考图片)。在另一实施例中，首先针对所述第一层中的对应的块决定具有中心位置的像素样本，且接着将其映射到所述第二层。
[0013]在一个实施例中，用等于所述第二空间分辨率与所述第一空间分辨率的比率的比率对所述第一层的所有NXN块升频采样。在所述运动场信息经升频采样且与含有所述经升频采样块的虚拟图片相关联之后，所述第二层(例如，增强层)中的每一 NXN块的中心位置直接用以将所述块映射到所述虚拟图片中的对应的块。含有所述中心位置的所述对应的经升频采样块的运动信息的全集合再用于所述第二层中的所述NXN块。在另一实施例中，所述第二层中的所述NXN块的任何位置(例如，角落)用以将所述块映射到所述基层图片或所述经升频采样图片。在一个实施例中，当NXN块与所述第一层中的多个经升频采样块对准时，可进一步应用参考索引选择和运动向量选择。
[0014]在一个实施例中，如果第一层块的初始预测模式为帧内，那么在所述第一层的升频采样之后，针对所述第一层块保持所述帧内模式，且并不针对帧内块升频采样运动场。在另一实施例中，不管所述初始第一层预测模式，在升频采样之后，将帧间预测模式连同所述升频采样运动场信息指派到每一块。在另一实施例中，在将运动场信息和预测模式信息指派到经升频采样块过程中考虑相邻块的预测模式。例如，在一个实施例中，即使所述第一层中的特定块为帧内块，如果所述特定块的大部分相邻块具有帧间预测模式，那么也针对所述特定块指派帧间预测模式。
[0015]在另一实施例中，一种编码视频信息的方法包含:接收与具有第一空间分辨率的第一层和具有第二空间分辨率的对应的第二层相关联的视频信息，其中所述第一空间分辨率小于所述第二空间分辨率，所述视频信息包含与所述第一层相关联的至少运动场信息；升频采样与所述第一层相关联的所述运动场信息；和在位流中发信与所述第二层相联的至少一个语法元素。所述方法可进一步包含:将包含与所述第一层的经升频采样的纹理图片相关联的所述经升频采样的运动场信息的层间参考图片添加到参考图片列表。所述方法也可包含基于所述层间参考图片的所述经升频采样的运动场信息预测所述第二层的至少一部分。
[0016]在另一实施例中，一种解码视频信息的方法包含:接收从经编码视频位流提取的语法元素，其中所述语法元素包括与具有第一空间分辨率的第一层和具有第二空间分辨率的对应的第二层相关联的视频信息，其中所述第一空间分辨率小于所述第二空间分辨率，所述视频信息包含与所述第一层相关联的至少运动场信息；和升频采样与所述第一层相关联的所述运动场信息。所述方法可进一步包含:添加包含与所述第一层的经升频采样的纹理图片相关联的所述经升频采样的运动场信息的层间参考图片。所述方法也可包含基于所述层间参考图片的所述经升频采样的运动场信息预测所述第二层的至少一部分。
[0017]在另一实施例中，一种非暂时性计算机可读媒体包含代码，其当执行时，使设备:存储与具有第一空间分辨率的第一层和具有第二空间分辨率的对应的第二层相关联的视频信息，其中所述第一空间分辨率小于所述第二空间分辨率，所述视频信息包含与所述第一层相关联的至少运动场信息；和升频采样与所述第一层相关联的所述运动场信息。可进一步使所述设备将包含与所述第一层的经升频采样的纹理图片相关联的所述经升频采样的运动场信息的层间参考图片添加到参考图片列表。可进一步使所述设备基于所述层间参考图片的所述经升频采样的运动场信息预测所述第二层的至少一部分。
[0018]在另一实施例中，一种经配置以译码视频信息的视频译码装置包含:用于存储与具有第一空间分辨率的第一层和具有第二空间分辨率的对应的第二层相关联的视频信息的装置，其中所述第一空间分辨率小于所述第二空间分辨率，所述视频信息包含与所述第一层相关联的至少运动场信息；和用于升频采样与所述第一层相联的所述运动场信息的装置。所述装置可进一步包括用于将包含与所述第一层的经升频采样的纹理图片相关联的所述经升频采样的运动场信息的层间参考图片添加到参考图片列表的装置。所述装置可进一步包括用于基于所述层间参考图片的所述经升频采样的运动场信息预测所述第二层的至少一部分的装置。
【附图说明】
[0019]图1为说明可利用根据本发明中描述的方面的技术的视频编码和解码系统的实例的框图。
[0020]图2为说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0021]图3为说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0022]图4为说明时间优先译码的样本图。
[0023]图5为说明多视图视频译码(MVC)时间和视图间预测结构的样本图。
[0024]图6为说明清洁随机存取(CRA)图片和前置图片的样本图。
[0025]图7为使用HEVC设计的视图/层间运动预测的实例。
[0026]图8为说明运动场升频采样的实例。
[0027]图9为说明用于译码视频信息的方法的流程图。
【具体实施方式】
[0028]本文中所描述的某些实施例涉及先进视频编解码器的情况下的用于可缩放视频译码的层间预测，例如，HEVC(高效率视频译码)。更明确地说，本发明涉及用于HEVC的可缩放视频译码(SVC)扩展中的层间预测的改善的性能的系统和方法。在以下描述中，描述与某些实施例有关的H.264/AVC技术；也论述HEVC标准和有关技术。虽然本文中在HEVC和/或H.264标准的上下文中描述某些实施例，但所属领域的技术人员可了解，本文中所揭示的系统和方法可适用于任一合适的视频译码标准。例如，本文中所揭示的实施例可适用于下列标准中的一者或多者:ITU-T H.26UISO/IEC MPEG-1 VisuaKITU-T H.262 或 ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual，和 ITU-T H.264(也被称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0029]仅出于说明的目的，用包含仅仅两个层(例如，例如基层的较低级层，和例如增强层的较高级层)的实例描述本文中所揭示的某些实施例。应理解，这些实例可适用于包含多个基层和/或增强层的配置。另外，为易于解释，以下揭示内容参照某些实施例包含术语“帧”或“块”。然而，这些术语并不意谓为限制性的。例如，下文描述的技术可供任何合适的视频单元使用，例如，块(例如，CU、PU、TU、宏块等)、图块、帧等。
[0030]HEVC在许多方面中大体遵循先前视频译码标准的构架。HEVC中的预测的单元与某些先前视频译码标准中的预测的单元不同(例如，宏块)。实际上，宏块的概念并非如某些先前视频译码标准中所理解的存在于HEVC中。宏块由阶层式结构基于四分树方案替换，此可除其它可能益处之外提供高灵活性。例如，在HEVC方案内，定义了三种类型块，即，译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区域分裂的基本单元。CU可视为类似于宏块的概念，但其并不限制最大大小，且可允许递归分裂成四个相等大小的CU，以改善内容自适应性。PU可视为帧间/帧内预测的基本单元，且其可在单一 PU中含有多个任意形状分割区，以有效地译码不规则图像图案。TU可视为变换的基本单元。其可独立于进行定义；然而，其大小可限于TU所属的CU。块结构到三个不同概念的此分离可允许每一者根据其角色而优化，此可导致改善的译码效率。
[0031]视频译码标准
[0032]例如视频图像、TV图像、静态图像或由视频记录器或计算机产生的图像的数字图像可由排列成水平线和垂直线的像素构成。单一图像中的像素的数目通常上万个。每一像素通常含有亮度和色度信息。在无压缩的情况下，待从图像编码器传达到图像解码器的信息的数量如此巨大，使得其致使实时图像传输不可能。为减少待传输的信息的量，已开发许多不同压缩方法，例如，JPEG, MPEG和H.263标准。
[0033]视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262 或 ISO/IEC MPEG-2 Visual.1TU-T H.263、ISO/IEC MPEG-4 Visual 和 ITU-T H.264 (也被称为 ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展，其皆被以引用的方式全部并入。
[0034]另外，新视频译码标准，(即，高效率视频译码(HEVC))正由ITU-T视频译码专业团体(VCEG)与IS0/IEC动画专业团体(MPEG)的关于视频译码的联合协作小组(JCT-VC)开发。HEVC 的最近草案可从 2013 年 8 月 9 日起从 http://phenix.1t-sudparis.eu/ict/doc end user/documents/12 Geneva/wgll/.TCTVC-L1003-v34.zip获得,所述草案被以弓I用的方式全部并入。HEVC草案10的完全引用为ITU-T SG16 WP3与ISO/IEC JTC1/SC29/WGll的关于视频译码的联合协作小组(JCT-VC)于2013年I月14日到2013年I月23日在瑞士日内瓦召开的第12次会议上布罗斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案 10(High Efficiency Video Coding(HEVC)Text Specificat1n Draft 10)，，的文件 JCTVC-L1003。
[0035]在下文中参考随附图式更全面地描述新颖系统、设备和方法的各种方面。然而，本发明可以各种不同形式体现，且不应解释为限于本发明通篇呈现的任一特定结构或功能。相反地，这些方面经提供使得本发明将透彻且完整，并将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围希望涵盖本文中所揭示的新颖系统、设备和方法的任何方面，不管是独立于本发明的任何其它方面实施或是结合本发明的任何其它方面实施。例如，可使用本文中阐明的任何数目个方面实施设备或实践方法。另外，本发明的范围希望涵盖使用其它结构、功能性或除本文中阐明的本发明的各种方面外或不同于本文中阐明的本发明的各种方面的结构和功能性实践的此设备或方法。应理解，本文中所揭示的任何方面可由权利要求书的一或多个要素实施。
[0036]尽管本文中描述了特定方面，但这些方面的许多变化和置换属于本发明的范围内。尽管提及优选方面的一些益处和优点，但本发明的范围并不希望限于特