用于视频信息的可缩放译码的装置和方法
【技术领域】
[0001 ]本发明设及视频译码及压缩领域，确切地说，设及可缩放视频译码(SVC)、多视图 视频译码(MVC)或3D视频译码(3DV)。
【背景技术】
[0002] 数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广 播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和 类似者。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码 化EVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此些视频译 码技术而更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0003] 视频压缩技术执行空间（图片内）预测及/或时间（图片间)预测来减少或去除视频 序列中固有的冗余。对于基于块的视频译码，视频切片（例如，视频帖、视频帖的一部分等） 可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图 片中的相邻块中的参考样本的空间预测编码图片的经帖内译码（I)切片中的视频块。图片 的经帖间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的 空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帖，且参考图片 可被称作参考帖。
[0004] 空间或时间预测导致待译码块的预测性块。残余数据表示待译码原始块与预测性 块的间的像素差。经帖间译码块是根据指向形成预测块的参考样本块的运动向量和指示经 译码块与预测块之间的差的残余数据编码的。根据帖内译码模式和残余数据来编码经帖内 译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数， 可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，W便产生 变换系数的一维向量，且可应用赌编码W实现更多压缩。
【发明内容】
[0005] 可缩放视频译码(SVC)是指其中使用基础层(BL)(有时被称作参考层(RU)及一或 多个可缩放增强层化L)的视频译码。在SVC中，基础层可携载具有基础质量水平的视频数 据。所述一或多个增强层可携载额外的视频数据W支持(举例来说)较高的空间、时间及/或 信噪比（SNR)水平。可相对于先前编码的层来定义增强层。举例来说，底层可充当化，而顶层 可充当化。中间层可充当化或化，或两者。举例来说，中间层(例如，既不是最低层也不是最 高层的层)可为中间层下方的层的化，例如基础层或任何介入的增强层，且同时充当中间层 上方的一或多个增强层的化。类似地，在皿VC标准的多视图或3D扩展中，可存在多个视图， 且可利用一个视图的信息对另一视图的信息（例如，运动估计、运动向量预测和/或其它冗 余)进行译码(例如，编码或解码）。
[0006] 在SVC中，由编码器或解码器使用的参数基于可利用它们的译码层级（例如，视频 层级、序列层级、图片层级、切片层级等)而分组为参数集。举例来说，可由位流中的一或多 个经译码视频序列利用的参数可包含在视频参数集(VPS)中，且由经译码视频序列中的一 或多个图片利用的参数可包含在序列参数集(SPS)中。类似地，由图片中的一或多个切片利 用的参数可包含在图片参数集(PPS)中，且对单个切片特定的其它参数可包含在切片标头 中。类似地，可在各种译码层级提供特定层在给定时间正在使用哪一参数集的指示。举例来 说，如果特定层中的切片的切片标头参考PPS，那么针对所述切片或含有所述切片的图片激 活PPS。类似地，如果PPS参考SPS，那么针对所述图片或含有所述图片的经译码视频序列激 活SPS，且如果SI^参考VPS，那么针对经译码视频序列或含有所述经译码视频序列的视频层 激活。
[0007] 通常，参数集针对利用所述参数集的整个译码层级保持有效(例如，当前正用于解 码位流的特定片段）。举例来说，经激活SPS可针对初始激活所述SPS的整个序列保持有效， 且经激活PI^可针对初始激活所述PI^的整个图片保持有效。然而，在一些现存译码方案中， 可在另一参数集当前有效的译码层级当中激活参数集。在此情况下，应在特定译码层级(例 如，序列、图片、切片等)的译码过程的持续时间中保持恒定的一些参数(例如，图片分辨率） 可通过新参数集的激活而更改且可导致不合需要的结果。
[0008] 因此，更高效地管理参数集的激活且进而改善译码准确性和错误恢复的译码方案 是需要的。
[0009] 本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责 本文所掲示的合乎需要的属性。
[0010] 在一个方面中，一种经配置W对视频信息进行译码(例如，编码或解码）的设备包 含存储器单元及与所述存储器单元通信的处理器。所述存储器单元经配置W存储与参考层 (RL)和增强层化L)相关联的视频信息，所述化具有第一存取单元中的化图片，且所述化具 有所述第一存取单元中的第一化图片，其中所述第一化图片与第一参数集合相关联。所述 处理器经配置W :确定所述第一化图片是否为帖内随机存取点（IRAP)图片;确定所述第一 存取单元是否紧跟在第一视频信息与包含所述第一化图片的第二视频信息接合处的拼接 点之后；W及基于所述第一EL图片是否为帖内随机存取点（IRAP)图片W及所述第一存取单 元是否紧跟在拼接点之后的所述确定而执行W下各项中的一者：（1)避免使所述第一化图 片与不同于所述第一参数集合的第二参数集合关联，或(2)使所述第一 EL图片与不同于所 述第一参数集合的第二参数集合关联。
[0011] 在另一方面中，一种对视频信息进行编码的方法包括:确定增强层化L)的第一存 取单元中的第一增强层图片是否为帖内随机存取点（IRAP)图片，所述第一化图片与第一参 数集合相关联;确定所述第一存取单元是否紧跟在第一视频信息与包含所述第一 图片的 第二视频信息接合处的拼接点之后；W及基于所述第一化图片是否为帖内随机存取点 (IRAP)图片W及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行W下各项中 的一者：（1)避免使所述第一 EL图片与不同于所述第一参数集合的第二参数集合关联，或 (2)使所述第一 EL图片与不同于所述第一参数集合的第二参数集合关联。
[0012] 在另一方面中，一种非暂时性计算机可读媒体包括当执行时致使设备执行过程的 代码。所述过程包含:存储与参考层(RU和增强层巧L)相关联的视频信息，所述化具有第一 存取单元中的化图片，且所述化具有所述第一存取单元中的第一化图片，其中所述第一化 图片与第一参数集合相关联;确定所述第一化图片是否为帖内随机存取点（IRAP)图片；确 定所述第一存取单元是否紧跟在第一视频信息与包含所述第一化图片的第二视频信息接 合处的拼接点之后；W及基于所述第一EL图片是否为帖内随机存取点（IRAP)图片W及所述 第一存取单元是否紧跟在拼接点之后的所述确定而执行W下各项中的一者：（1)避免使所 述第一 EL图片与不同于所述第一参数集合的第二参数集合关联，或（2)使所述第一 EL图片 与不同于所述第一参数集合的第二参数集合关联。
[0013] 在另一方面中，一种经配置W对视频信息进行译码的视频译码装置包括：用于存 储与参考层(RU和增强层巧L)相关联的视频信息的装置，所述RL具有第一存取单元中的RL 图片，且所述化具有所述第一存取单元中的第一化图片，其中所述第一化图片与第一参数 集合相关联；用于确定所述第一EL图片是否为帖内随机存取点（IRAP)图片的装置；用于确 定所述第一存取单元是否紧跟在第一视频信息与包含所述第一化图片的第二视频信息接 合处的拼接点之后的装置;W及用于基于所述第一EL图片是否为帖内随机存取点（IRAP)图 片W及所述第一存取单元是否紧跟在拼接点之后的所述确定而执行W下各项中的一者的 装置：（1)避免使所述第一 EL图片与不同于所述第一参数集合的第二参数集合关联，或(2) 使所述第一 EL图片与不同于所述第一参数集合的第二参数集合关联。
【附图说明】
[0014] 图IA是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统 的框图。
[0015] 图IB是说明可执行根据本发明中描述的方面的技术的另一实例视频编码和解码 系统的框图。
[0016] 图2A是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0017] 图2B是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。
[0018] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。
[0019] 图3B是说明可实施根据本发明中描述的方面的技术的视频解码器的实例的框图。
[0020] 图4是说明根据本发明的一个实施例的不同层中的图片的实例配置的框图。
[0021 ]图5说明根据本发明的一个实施例的说明对视频信息进行译码的方法的流程图。
【具体实施方式】
[0022] 本文中描述的某些实施例设及在高级视频编解码器的情况下的针对例如肥VC(高 效率视频译码)等可缩放视频译码的层间预测。更确切地说，本发明设及用于改善皿VC的可 缩放视频译码(SVC)扩展中的层间预测的性能的系统及方法。
[0023] 在W下描述中，描述与某些实施例有关的H.264/AVC技术;还论述肥VC标准和相关 技术。虽然本文中在肥VC和/或H. 264标准的上下文中描述某些实施例，但所属领域的技术 人员可了解，本文中掲示的系统和方法可适用于任何合适的视频译码标准。举例来说，本文 中所掲示的实施例可适用于W下标准中的一或多者：ITU-T H.261、IS0/IEC MPEG-I视觉、 mj-T H.262或IS0/IEC MPEG-2视觉、ITU-T H.263、IS0/IEC MPEG-4视觉和mJ-T H.264 (也称作IS0/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0024] 在许多方面，皿VC通常遵循先前视频译码标准的框架。皿VC中的预测单元不同于 在某些先前视频译码标准中的预测单元(例如，宏块）。事实上，在皿VC中不存在如在某些先 前视频译码标准中所理解的宏块的概念。宏块由基于四叉树方案的阶层式结构替换，阶层 式结构可提供高灵活性W及其它可能益处。举例来说，在皿VC方案内，定义S个类型的块， 例如译码单元(CU)、预测单元(PU)和变换单元(TU)XU可指区分裂的基本单元。可认为CU类 似于宏块的概念，但HEVC不约束CU的最大大小，且可允许递归分裂成四个相等大小的CUW 改善内容适应性。PU可认为是帖间/帖内预测的基本单元，且单个PU可含有多个任意形状分 区W有效地译码不规则图像图案。TU可认为是变换的基本单元。可独立于PU界定TU;然而， TU的大小可受限于所述TU属于的CU的大小。此块结构分离为S个不同概念可允许根据单元 的相应作用来优化每一单元，运可得到改善的译码效率。
[0025] 仅出于说明的目的，用仅包含两个层（例如，比如基础层等较低层，和比如增强层 等较高层)的实例来描述本文中掲示的某些实施例。应理解，运些实例可适用于包含多个基 础层及/或增强层的配置。此外，为了易于解释，参照某些实施例，W下掲示内容包含术语 "帖"或"块"。然而，运些术语不打算具有限制性。例如，下文描述的技术可供任何合适的视 频单元(例如，块(例如，〇]、？11、1'1]、宏块等）、切片、帖等)使用。
[002引视频译码标准
[0027] 例如视频图像、TV图像、静态图像或由录像机或计算机产生的图像等数字图像可 由布置成水平和垂直线的像素或样本构成。单个图像中的像素的数目通常有数万个。每一 像素通常含有明度及色度信息。在无压缩的情况下，将从图像编码器传达到图像解码器的 信息的绝对量将使实时图象传输不可能。为了减少待发射的信息的量，已开发出例如肝EG、 MPEG及H. 263标准等数个不同压缩方法。
[0028] 视频译码标准包含ITU-T H. 261、IS0/IEC MPEG-I视觉、ITU-T H. 262或IS0/IEC MPEG-2视觉、ITU-T H.263JS0/IEC MPEG-4视觉和ITU-T H.264(也被称为IS0/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。
[0029] 此外，存在一种新的视频译码标准，即高效视频译码化EVC)，其正由口 U-T视频译 码专家组(VCEG)和IS0/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行 开发。对肥VC草案10的完全引用为布罗斯(Bross)等人的文件JCTVC-L1003/'高效率视频译 码化EVC)文本说明书草案ICKHigh Efficiency Video Coding(肥VC)Text Specification Draft l〇r，mJ-T SG16WP3与ISO/IEC JTC1/SC29/WG11的关于视频译码的联合合作小组 (JCT-VC)，第12次会议:瑞±日内瓦，2013年1月14日到2013年1月23日。对皿VC的多视图扩 展（即，MV-HEVC)及对肥VC的可扩展扩展（名为甜VC)也正分别由JCT-3V( 3D视频译码扩展开 发口 U-T/IS0/IEC联合合作小组)及JCT-VC开发。
[0030] 下文参考附图更充分地描述新颖系统、设备及方法的各个方面。然而，本发明可W 许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。 相反，提供运些方面W使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分 传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵 盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所掲示的新 颖系统、设备及方法的任何方面。举例来说，可W使用本文中所阐述的任何数目个方面来实 施设备或实践方法。另外，本发明的范围既定涵盖使用除本文中所阐述的本发明的各种方 面之外的或不同于本文中所阐述的本发明的各种方面的其它结构、功能性或结构与功能性 来实践的此设备或方法。应理解，可通过权利要求的一或多个要素来体现本文中所掲示的 任何方面。
[0031] 尽管本文描述了特定方面，但运些方面的许多变化及排列落在本发明的范围内。 尽管提到了优选方面的一些益处及优点，但本发明的范围不希望限于特定益处、用途或目 标。而是，本发明的方面既定广泛地适用于不同无线技术、系统配置、网络及发射协议，其中 的一些是借助于实例而在图中W及在优选方面的W下描述中说明。【具体实施方式】和图式仅 说明本发明，而不是限制由所附权利要求书和其等效物界定的本发明的范围。
【附图说明】 [0032] 若干实例。由附图中的参考标号指示的元件对应于在W下描述中由相同 参考标号指示的元件。在本发明中，名称W序数词(例如，"第一"、"第二"、"第立"等)开始的 元件未必暗示所述元件具有特定次序。而是，此些序数词仅用于指代相同或类似类型的不 同元件。
[00削视频译码系统
[0034] 图IA是说明可利用根据本发明中所描述的方面的技术的实例视频译码系统10的 框图。如本文中所描述地使用，术语"视频译码器"一般指代视频编码器和视频解码器两者。 在本发明中，术语"视频译码"或"译码"可一般地指代视频编码和视频解码。除了视频编码 器和视频解码器外，本申请案中描述的方面可扩展到其它相关装置，例如，转码器(例如，可 解码位流且重新编码另一位流的装置)及中间框(例如，可修改、变换及/或另外操纵位流的 装置）。
[0035] 如图IA中所示，视频译码系统10包含源模块12,其产生在稍后时间由目的地模块 14解码的经编码视频数据。在图IA的实例中，源模块12和目的地模块14在单独的装置上，具 体来说，源模块12是源装置的部分，且目的地模块14是目的地装置的部分。然而，注意，源模 块12与目的地模块14可在同一装置上或为同一装置的部分，如在图IB的实施中所展示。
[0036] 再次参考图1A，源模块12和目的地模块14可包括广泛范围的装置中的任一者，包 含桌上型计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的"智能"电 话的电话手持机、所谓的"智能"平板、电视机、相机、显示装置、数字媒体播放器、视频游戏 控制台、视频流式传输装置或类似物。在一些情况下，源模块12和目的地模块14可经装备W 用于无线通信。
[0037] 目的地模块14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将 经编码视频数据从源模块12移动到目的地模块14的任何类型媒体或装置。在图IA的实例 中，链路16可包括使得源模块12能够实时将经编码视频数据直接发射到目的地模块14的通 信媒体。经编码视频数据可根据例如无线通信协议等通信标准加 W调制，且发射到目的地 模块14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传 输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网）的部分。通 信媒体可包含路由器、交换器、基站或任何其它可W用于促进从源模块12到目的地模块14 的通信的设备。
[0038] 替代地，经编码数据可从输出接口 22输出到任选的存储装置31。类似地，可通过输 入接口 28从存储装置31存取经编码数据。存储装置31可包含多种分布式或本地存取数据存 储媒体中的任一者，例如硬盘驱动器、快闪