用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001]本公开涉及视频译码和压缩领域，明确地说，涉及可缩放视频译码(SVC)或多视图视频译码(MVC、3DV)。
【背景技术】
[0002]数字视频能力可并入到较宽范围的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。数字的视频装置实施视频压缩技术，例如MPEG-2 ；MPEG-4 ；ITU-T H.263 ；ITU-TH.264/MPEG-4，第10部分；高级视频译码(AVC);目前尚在开发的高效视频译码(HEVC)标准所界定的标准以及此类标准的扩展中所描述的那些技术。通过实施此类视频译码技术，视频装置可更高效地发射、接收、编码、解码和/或存储数字视频信息。
[0003]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测，来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧、视频帧的一部分等)分为若干视频块，其也可称为树块、译码单元(CU)和/或译码节点。相对于同一图片中的相邻块中的参考样本，使用空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可相对于同一图片中的相邻块中的参考样本使用空间预测，且相对于其它参考图片中的参考样本使用时间预测。图片可称为帧，且参考图片可称为参考帧。
[0004]空间或时间预测针对待译码的块产生预测块。残余数据表示待译码的原始块与预测块之间的像素差。根据指向形成预测块的参考样本块的运动向量，以及指示经译码块与预测块之间的差异的残余数据来编码经帧间译码块。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而得出残余变换系数，其接着可量化。可扫描最初布置成二维阵列的经量化的变换系数，以便产生变换系数的一维向量，且可应用熵编码来实现更多的压缩。
【发明内容】
[0005]可缩放视频译码(SVC)指代视频译码，其中使用基础层(BL)(有时称为参考层(RU)和一个或一个以上可缩放增强层(EL)。在SVC中，基础层可运载具有基础品质等级的视频数据。所述一个或一个以上增强层可运载额外视频数据，以支持例如较高的空间、时间和/或信噪(SNR)等级。可相对于先前编码的层来界定增强层。举例来说，底部层可充当BL，而顶部层可充当EL。中间层可充当EL或RL，或两者。举例来说，中间的层可为其下面的层(例如基础层或任何增强层)的EL，且同时充当其上面的一个或一个以上增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，存在多个视图，且可利用一个视图的信息来译码(例如，编码或解码)另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)。
[0006]在SVC中，可使用基础层的像素信息来预测增强层中的当前块。举例来说，在用于增强层的称为帧内BL模式的译码模式中，可使用基础层中的位于同一位置的块的纹理来预测增强层中的当前块的纹理(例如，像素或样本值)(如本发明中所使用的术语“位于同一位置”可指代另一层中对应于与当前块相同的图片的块，例如，当前正被预测的块)。因此，代替于发射当前块的纹理，视频编码器可仅发射当前块的纹理与位于同一位置的基础层块之间的差异(例如，残差)。
[0007]然而，对于例如空间可缩放性和位深度可缩放性等某些可缩放性方案，在将基础层像素信息用于预测增强层像素信息之前，可能需要修改基础层像素信息。举例来说，在空间可缩放性中，在将基础层像素信息用来预测增强层像素信息之前，可需要对基础层像素信息进行上取样(例如，根据分辨率)，且在位深度可缩放性中，在将基础层像素信息用于预测增强层像素信息之前，基础层像素信息可需要经历位深度转换(例如，位移了位深度差)。当空间可缩放性和位深度可缩放性两者均存在时，在将基础层像素信息用于预测增强层像素信息之前，可需要上取样基础层像素信息，并将其转换到不同的位深度。然而，在两个单独的过程中执行上取样和位深度转换可导致译码效率和/或预测准确度降低(例如，舍入误差)。因此，通过将上取样过程和位深度转换过程组合成单级过程，可改进译码效率，且可降低计算复杂性。
[0008]本公开的系统、方法和装置各自具有若干创新方面，无单个方面单独负责本文所揭示的合意属性。
[0009]在一个实施例中，经配置以译码(例如，编码或解码)视频信息的设备包括存储器单元和与所述存储器单元通信的处理器。存储器单元经配置以存储与参考层(RL)和增强层(EL)相关联的视频信息，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元。处理器经配置以在单级过程对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息，且使用所预测的像素信息来确定EL视频单元。
[0010]在一个实施例中，一种译码(例如，编码或解码)视频信息的方法包括:存储与参考层(RL)和增强层(EL)相关联的视频信息，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元；在单个组合过程中对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息；以及使用所预测的像素信息来确定EL视频单元。
[0011 ] 在一个实施例中，一种非暂时性计算机可读媒介包括代码，其在被执行时，致使设备执行过程。所述过程包括:存储与参考层和增强层(EL)相关联的视频信息，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元；在单个组合过程中对RL视频单元的像素信息执行上取样和位深度转换，以确定EL视频单元的所预测的像素信息；以及使用所预测的像素信息来确定EL视频单元。
[0012]在一个实施例中，一种经配置以译码视频信息的视频译码装置包括:用于存储与参考层(RL)和增强层(EL)相关联的视频信息的装置，EL包括EL视频单元，且RL包括对应于EL视频单元的RL视频单元；用于在单个组合过程中对RL视频单元的像素信息执行上取样和位深度转换以确定视频单元的所预测的像素信息的装置；以及用于使用所预测的像素信息来确定EL视频单元的装置。
【附图说明】
[0013]图1是说明可利用根据本发明中所描述的方面的技术的视频编码和解码系统的实例的框图
[0014]图2A是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。
[0015]图2B是可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。
[0016]图3A是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。
[0017]图3B是说明可实施根据本发明中所描述的方面的技术的视频解码器的实例的框图。
[0018]图4是说明不同维度的SVC可缩放性的概念图。
[0019]图5是说明SVC位流的实例结构的概念图。
[0020]图6是说明SVC位流中的存取单元的概念图。
[0021]图7是说明根据本发明一个实施例的层间预测的实例的概念图。
[0022]图8是说明根据本发明一个实施例译码视频信息的方法的流程图。
[0023]图9是说明根据本发明另一实施例的译码视频信息的方法的流程图。
【具体实施方式】
[0024]本文所描述的某些实施例涉及用于高级视频编解码器(例如HEVC(高效视频译码))的情境中的可缩放视频译码的层间预测。更具体地说，本发明涉及用于HEVC的可缩放视频译码(SVC)扩展中的层间预测的改进性能的系统和方法。
[0025]在下文的描述中，描述与某些实施例有关的H.264/AVC技术；还论述HEVC标准和相关技术。虽然本文在HEVC和/或H.264标准的上下文中描述了某些实施例，但所属领域的一般技术人员可了解，本文所揭示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文所揭示的实施例可适用于以下标准中的一个或一个以上:ITU-TH.261、ISO/IEC MPEG-1 视觉、ITU-TH.262 或 IS0/IEC MPEG-2 视觉、ITU-TH.263、IS0/IEC MPEG-4 视觉和ITU-TH.264(也称为IS0/IEC MPEG-4AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0026]HEVC通常在许多方面遵循先前视频译码标准的框架。HEVC中的预测单元不同于某些先前视频译码标准中的预测单元(例如，宏块)。事实上，如某些先前视频译码标准中所理解，HEVC中不存在宏块的概念。宏块被基于四叉树方案的分层结构代替，其可提供较高的灵活性，以及其它可能益处。举例来说，在HEVC方案内，界定三种类型的块，译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指代区分割的基本单元。CU可被视为类似于宏块的概念，但其并不限制最大大小，且可允许递归分割成四个相等大小的CU，以改进内容适应性。PU可被视为帧间/帧内预测的基本单元，且其可在单个PU内含有多个任意形状的分区，以有效地译码不规则图像图案。TU可被视为变换的基本单元。TU可独立于PU来界定；然而，其大小可限于TU所属的CU。此将块结构分为三个不同概念的举动可允许其各自根据其角色来优化，这可产生改进的译码效率。
[0027]仅出于说明的目的，用仅包括两个层(例如，低等级层，例如基础层，和高等级层，例如增强层)的实例来描述本文所揭示的某些实施例。应理解，此类实例可适用于包括多个基础和/或增强层的配置。另外，为了便于阐释，以下揭示内容参考某些实施例，包括术语“帧”或“块”。然而，这些术语无意为限制性的。举例来说，下文所描述的技术可结合任何合适的视频单元使用，例如块(例如，CU、PU、TU、宏块等)、切片、帧等。
[0028]视频译码标准
[0029]数字图像，例如视频图像、TV图像、静止图像或由录像机或计算机产生的图像，可由布置成水平和垂直线的像素或样本组成。单个图像中的像素的数目通常为数万个。每一像素通常含有亮度和色度信息。在未经压缩的情况下，将从图像编码器传送到图像解码器的信息的量如此巨大以致其渲染实时图像传输是不可能的。为了减少待发射的信息的量，已开发了若干不同的压缩方法，例如JPEG、MPEG和H.263标准。
[0030]视频译码标准包括ITU-T H.261、IS0/IEC MPEG-1 视觉、ITU-TH.262 或 ISO/IEC MPEG-2 视觉、ITU-TH.263、IS0/IEC MPEG-4 视觉，以及 ITU-TH.264 (也称为 IS0/IECMPEG-4AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0031]另外，ITU-T视频译码专家组(VCEG)和IS0/IEC运动图片专家组(MPEG)的视频译码联合协作团队(JCT-VC)正在开发一种新的视频译码标准，即高效视频译码(HEVC)。HEVC草案10的完整引用为文献JCTVC-L1003，布罗斯(Bross)等人的“High EfficiencyVideo Coding(HEVC)Text Specificat1n Draft 10(高效视频译码(HEVC)文本说明书草案 10) ”，ITU-T SG16WP3 和 IS0/IECJTC1/SC29/WG11 的视频译码联合工作团队(JCT-VC)，第12次会议:日内瓦，瑞士，2013年I月14日到2013年I月23日。
[0032]下文参考附图更完整地描述新颖系统、设备和方法的各个方面。然而，本发明可以许多不同形式来体现，且不应被解释为限于贯穿本发明而呈现的任何特定结构或功能。相反，提供这些方面是为了使本发明将全面且完整，且将向所属领域的技术人员完整传达本发明的范围。基于本文的教示，所属领域的技术人员将了解，本发明的范围意在涵盖本文所揭示的新颖系统、设备和方法的任何方面，不管是独立于本发明的任何其它方面实施，还是与本发明的任何其它方面组合实施。举例来说，可使用本文所陈述的任何数目的方面来实施设备或实践方法。另外，本发明的范围意在涵盖使用除本文所陈述的本发明的各个方面之外或不同于所述方面的其它结构、功能性或结构和功能性来实践的此设备或方法。应理解，本文所揭示的任何方面可由权利要求的一个或一个以上元素来体现。
[0033]尽管本文描述特定方面，但这些方面的许多变化和排列属于本发明的范围内。尽管提到优选方面的一些益处和优点，但本发明的范围无意限于特定益处、使用或目标。相反，本发明的方面意在广泛适用于不同无线技术、系统配置、网络和传输协议，其中的一些在图中且在优选方面的以下描述中借助于实例来说明。详细描述和图式仅说明本发明而不是限制本发明，本发明的范围由所附权利要求书及其均等物界定。
[0034]【附图说明】实例。附图中的参考编号所指示的元件对应于以下描述中的相同参考编号所指示的元件。在本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开始的名称的元件并不一定暗示所述元件具有特定次序。相反，此类序数词仅用来指代相同或相似类型的不同元件。
[0035]视频译码系统
[0036]图1是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的框图。如本文所使用并描述，术语“视频译码器”在属类上指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”在属类上可指代视频编码和视频解码。
[0037]如图1中所示，视频译码系统10包括源装置12和目的地装置14。源装置12产生经编码的视频数据。目的地装置14可对源装置12所产生的经编码的视频数据进行解码。源装置12和目的地装置14可包括较宽范围的装置，包括桌上型计算机、笔记本型(例如，膝上型等)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话、所谓的“智能“平板电脑”)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等。在一些实例中，源装置12和目的地装置14可经配备来用于无线通信。
[0038]目的地装置14可经由信道16从源装置12接收经编码的视频数据。信道16可包括能够将经编码的视频数据从源装置12移到目的地装置14的任何类型的媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制的视频数据发射到目的地装置14。所述通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱，或一个或一个以上物理传输线。所述通信媒体可形成例如局域网、广域网或全局网络(例如因特网)等基于包的网络的一部分。通信媒体可包含路由器、交换器、基站或其它促进从源装置12到目的地装置14的通信的设备。
[0039]在另一实例中，信道16可对应于存储源装置12所产生的经编码的视频数据的存储媒介。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒介。所述存储媒介可包含多种局部存取数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码的视频数据的其它合适的数字存储媒体。在另一实例中，信道16可包含文件服务器或另一中间存储装置，其存储源装置12所产生的经编码视频。在此实例中，目的地装置14可经由流式传输或下载来存取存储在文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为一种类型的能够存储经编码的视频数据并将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站等)、FTP服务器、网络附加存储(NAS)装置和本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。数据连接的实例类型可包含无线信道(例如，W1-Fi连接等)、有线连接(例如，DSL、电缆调制解调器等)、或两者的适合存取存储在文件服务器上的经编码视频数据的组合。经编码的视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
[0040]本发明的技术不限于无线应用或设定。所述技术可在多种多媒体应用的支持下应用于视频译码，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射，例如，经由因特网(例如，经由HTTP的动态自适应流式传输(DASH)等)、用于存储在数据存储媒体上的数字视频的编码、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0041]在图1的实例中，源装置12包括视频源18、视频编码器20和输出接口 22。在一些情况下，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含来源，例如视频捕获装置(例如，摄像机)、含有先前所捕获的视频数据的视频存档、用来接收来自视频内容提供者的视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形系统，或此类来源的组合。
[0042]视频编码器20可经配置以编码所捕获的、预捕获的或计算机产生的视频数据。可经由源装置12的输出接口 22，将经编码的视频数据直接发射到目的地装置14。经编码的视频数据也可存储在存储媒介或文件服务器上，以供之后由目的地装置存取来进行解码和
/或重放。
[0043]在图1的实例中，目的地装置14包括输入接口 28、视频解码器30和显示装置32。在一些情况下，输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码的视频数据。经编码的视频数据可包含由视频编码器20产生的表示视频数据的多种语法元素。所述语法元素可描述块或其它经译码单元(例如，图片群组(GOP))的特征和/或处理。此类语法元素可与在通信媒体发射、存储在存储媒介上或存储在文件服务器上的经编码的视频数据包含在一起。
[0044]显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32向用户显示经解码的视频数据。显示装置32可包括多种显示装置中的任何一种，例如液晶显示器(IXD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
[0045]视频编码器20和视频解码器30可根据视频压缩标准来操作，例如目前尚在开发的高效视频译码(HEVC)标准，且可遵从HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它所有权或产业标准(例如I