随机接入点画面的制作方法
【技术领域】
[0001] 本发明涉及视频编码和解码。
【背景技术】
[0002] 电子设备变得越来越小并且越来越强大，以便满足消费者需要并改善便携性和便 利性。消费者已经变得依赖于电子设备，并期望增加的功能性。电子设备的一些示例包括 台式计算机、膝上型计算机、蜂窝电话、智能电话、媒体播放器、集成电路等。
[0003] -些电子设备用于处理并显示数字媒体。例如，便携式电子设备现在允许在消费 者可能处于的几乎任何位置处使用和/或产生数字媒体。此外，一些电子设备可以提供对 数字媒体内容的下载或流传输，以便消费者使用和欣赏。
[0004] 数字视频通常被表示为一系列图像或帧，每一图像或帧包含像素阵列。每一像素 包括诸如强度和/或颜色信息的信息。在一些情况下，将每一像素表示为三种颜色的集合。 一些视频编码技术以增加复杂性为代价提供较高编码效率。针对视频编码技术的增加图像 质量的要求以及增加图像分辨率的要求还增加了编码的复杂度。
【发明内容】
[0005] 技术问题
[0006] 数字媒体的越来越流行呈现出若干问题。例如，高效地呈现高质量数字媒体以便 进行存储、传送和重放存在若干挑战。更高效地表示数字媒体的技术是有利的。
[0007] 问题的解决方案
[0008] 根据本发明，提供了一种用于对视频比特流进行解码的方法，包括：
[0009] 根据本发明，提供了一种用于对视频比特流进行解码的方法，包括：
[0010] (a)接收代表视频序列的基本层比特流；
[0011] (b)接收代表视频序列的多个增强比特流，其中所述增强比特流中的每一个包括 递增的层赋值，其中所述基本层比特流和/或增强比特流中的每一个包括直接依赖性数 据，直接依赖性数据指示所述基本层比特流和/或增强比特流中的每一个是否依赖于具有 较小层赋值的其它所述多个增强层和基本层；
[0012] (C)对所述基本层比特流和所述多个增强比特流中的每一个进行解码，其中编码 为帧内编码的IDR或帧内编码的BLA的所述基本层比特流的画面应在所述基本层比特流的 对应画面处，具有针对每一所述增强层的对应帧内编码IDR或帧内编码BLA画面，但排除以 下情况：所述增强层之一不所述依赖于具有较小层赋值的其他所述多个增强层和所述基本 层，所述增强层之一称作独立比特流，其中所述增强层的每一个的层赋值比所述独立比特 流大，且并不依赖于层赋值比所述独立层小的所述多个其他增强层。
[0013] 本发明的有利效果
[0014] 根据以下结合附图对本发明的详细描述，将更容易理解本发明的上述和其他目 标、特征和优点。
【附图说明】
[0015] 图IA是示出了包括HEVC编码器的电子设备的一个配置的框图。
[0016] 图IB是示出了包括具有增强层的HEVC编码器的电子设备的一个配置的框图。
[0017] 图2A是示出了包括HEVC解码器的电子设备的一个配置的框图。
[0018] 图2B是示出了包括具有增强层的HEVC解码器的电子设备的一个配置的框图。
[0019] 图3A是示出了编码器和解码器的一个示例的框图。
[0020] 图3B是示出了具有增强层的编码器和解码器的一个示例的框图。
[0021] 图4示出了可以在电子设备中使用的多种组件。
[0022] 图5示出了示例性的分片结构（slice structure)。
[0023] 图6示出了另一示例行的分片结构。
[0024] 图7示出了具有1个分片和9瓦片（tiles)的帧。
[0025] 图8示出了具有3个分片和3瓦片（tiles)的帧。
[0026] 图9示出了 POC、解码顺序和RPS。
[0027] 图10示出了示例性的分片首部。
[0028] 图11示出了示例性的分片首部。
[0029] 图12示出了示例性的分片首部。
[0030] 图13示出了示例性的分片首部。
[0031] 图14示出了示例性的视频参数集合。
[0032] 图15A示出了示例性的VPS扩展。
[0033] 图15B示出了示例性的VPS扩展。
[0034] 图15C是示出了当第二增强层（EL2)的画面速率比基本层（BL)和第一增强层 (ELl)低时，针对多层的已编码画面的网络抽象层（NAL)单元和接入单元（AU)的结构和时 序的框图。
[0035] 图lf5D是示出了当基本层（BL)的画面速率比第一增强层（ELl)和第二增强层 (EL2)低时，针对多层的已编码画面的网络抽象层（NAL)单元和接入单元（AU)的结构和时 序的框图。
[0036] 图16示出了 IDR/BLA画面的限制。
[0037] 图17示出了同时联播的（simulcast) IDR/BLA画面。
【具体实施方式】
[0038] 国际电信联盟电信标准化部（ITU-T)第16研究组（SG 16)第3工作组（WP 3)和 国际标准化组织/国际电工技术委员会（IS0/IEC)第一联合技术委员会/第29分会/第 11工作组（JTC 1/SC 29/WG11)的视频编码联合协作组（JCT-VC)针对被称作高效视频编码 标准（HEVC)的视频编码标准进行了标准化工作。HEVC使用基于块的编码。
[0039] 在HEVC中，将上下文自适应二进制算术编码（CABAC)的熵编码技术用于无损地 压缩经过变换和量化的系数（TQC)。根据变换尺寸，TQC可以具有来自不同块尺寸（例如， 4x4、8x8、16xl6、32x32)。
[0040] 在进行熵编码之前，可以将二维（2D)TQC转换为一维的（ID)阵列。在一个实例中， 4x4块中的2D排列的TQC可以布置为表⑴所示。
[0041]
[0042] 表（1)
[0043] 当将2D TQC转换为ID阵列时，可以以对角z字形的方式扫描所述块。继续该示 例，可以通过扫描第一行第一列、第一行第二列、第二行第一列、第三行第一列、第二行第二 列、第一行第三列、第一行第四列、第二行第三列、第三行第二列、第四行第一列等，将表1 所示的 2D 排列的 TQC 转换为 ID 排列的 TQC[4,0, 3, -3, 2,1，0, -1，0,0，···]。
[0044] 例如可以如下执行HEVC中的编码过程。可以根据扫描顺序对ID阵列中的TQC进 行排序。可以确定末位有效系数（last significant coefficient)的扫描位置和末位系 数级别（last coefficient level)。可以对末位有效系数进行编码。应注意，通常以逆扫 描顺序对系数进行编码。可以执行运行级别（run-level)编码，其中在进行末位系数编码 之后直接激活运行级别编码，在运行级别编码中，对关于对相同数字和/或比特的运行的 信息进行编码，而不对数字本身进行编码。然后，可以执行级别编码。术语重要系数是指系 数级别值大于零的系数。系数级别值表示经过变换和量化的系数（TQC)值的幅度（或绝对 值）的唯一指示符。
[0045] 可以在表（2)中示出该过程，作为上述示例（1D排列的TQC[4,0,3，-3,2，1，0，-1， 0,...])的延续。
[0046]
[0047] 表⑵
[0048] 在表⑵中，例如，扫描位置7处的系数级别-1可以是末位非零系数。因此，末位 位置是扫描位置7,末位系数级别是-1。可以针对在扫描位置6、5和4处的系数0、1和2 执行运行级别编码（其中以逆扫描顺序对系数进行编码）。然后，可以针对系数级别_3、3、 0和4执行级别编码。
[0049] 图IA是示出了可以对视频进行编码的电子设备102的一个配置的框图。应注意， 所示在电子设备102中包括的一个或更多个组件可以实现为硬件、软件或其二者的组合。 例如，电子设备102包括可以实现为硬件、软件或其二者组合的编码器108。例如，编码器 108可以实现为电路、集成电路、专用集成电路（ASIC)、与具有可执行指令的存储器电子通 信的处理器、固件、现场可编程门阵列（FPGA)等或其组合。在一些配置中，解码器604可以 是高效视频编码（HEVC)编码器。
[0050] 电子设备102可以包括供应器104。供应器104可以向编码器108提供画面或图 像数据（例如视频），作为源106。供应器104的示例可以包括图像传感器、存储器、通信接 口、网络接口、无线接收机、端口等。
[0051] 可以将源106提供给帧内预测模块和重构缓冲器110。还可以将源106提供给运 动估计和运动补偿模块136以及减法模块116。
[0052] 帧内预测模块和重构缓冲器110可以基于源106和重构数据150,产生帧内模式信 息128和帧内信号112。运动估计和运动补偿模块136可以基于源106和参考画面缓冲器 166信号168,产生帧间模式信息138和帧间信号114。参考画面缓冲器166信号168可以 包括来自在参考画面缓冲器166中存储的一个或更多个参考画面的数据。
[0053] 编码器108可以根据模式在帧内信号112和帧间信号114之间进行选择。在帧内 编码模式下可以使用帧内信号112以便利用画面内的空间特性。在帧间编码模式下可以使 用帧间信号114以便利用画面间的时间特性。当在帧内编码模式下时，可以将帧内信号112 提供给减法模块128,并可以将帧内模式信息128提供给熵编码模块130。当在帧间编码模 式下时，可以将帧间信号114提供给减法模块128,并且可以将帧间模式信息138提供给熵 编码模块130。
[0054] 在减法模块116处，从源106减去帧内信号112或帧间信号114(取决于模式），以 便产生预测残差118。将预测残差118提供给变换模块120。变换模块120可以压缩预测 残差118以产生变换后的信号122,将所述信号122提供给量化模块124。量化模块124量 化变换后的信号122,以产生经变换和量化的系数（TOC) 126。
[0055] 将TQC 126提供给熵编码模块130以及逆量化模块140。逆量化模块140对TQC 126执行逆量化以产生逆量化的信号142,将所述信号142提供给逆变换模块144。逆变换 模块144对逆量化的信号142进行解压缩，以产生解压缩后的信号146,将所述信号146提 供给重构模块148。
[0056] 重构模块148可以基于解压缩后的信号146产生重构后的数据150。例如，重构 模块148可以重构（修改）画面。可以将重构数据150提供给去块滤波器152以及帧内预 测模块和重构缓冲器110。去块滤波器152可以基于重构后的数据150产生经滤波的信号 154〇
[0057] 可以将经滤波的信号154提供给采样自适应偏移（SAO)模块156。SAO模块156 可以产生提供给熵编码模块130的SAO信息158以及提供给自适应环路滤波器（ALF) 162 的SAO信号160。ALF 162产生提供给参考画面缓冲器166的ALF信号164。ALF信号164 可以包括来自可以用作参考画面的一个或更多个画面的数据。在一些情况下，可以省略ALF 162〇
[0058] 熵编码模块130可以对TQC 126进行编码，以产生比特流134。如上所述，在进行熵 编码之前，可以将TQC 126转换为ID阵列。此外，熵编码模块130可以使用CAVLC或CABAC 来对TQC 126进行编码。具体地，熵编码模块130可以基于帧内模式信息128、帧间模式信 息138和SAO信息158中的一个或更多个，来对TQC 126进行编码。比特流134可以包括 已编码画面数据。
[0059] 在视频压缩（例如，HEVC)中涉及的量化是通过将值的范围压缩为单个量化值实 现的有损压缩技术。量化参数（QP)是用于基于重构视频的质量和压缩比二者来执行量化 的预定义缩放参数。在HEVC中定义块类型以基于块尺寸及其颜色信息表示给定块的特性。 可以在熵编码之前确定QP、分辨率信息和块类型。例如，电子设备102 (例如，编码器108) 可以确定QP、分辨率信息和块类型，所述QP、分辨率信息和块类型可以被提供给熵编码模 块 130。
[0060] 熵编码模块130可以基于TQC 126的块来确定块大小。例如，块大小可以是TQC 126沿TQC块的一个维度的数目。换言之，TQC 126在TQC块中的数目可以等于块大小的平 方。此外，所述块可以是非平方的，其中TQC 126的数目是块的高度乘以宽度。例如，可以 将块大小确定为TQC 126在TQC块中的数目的平方根。可以将分辨率定义为像素宽度乘以 像素高度。分辨率信息可以包括画面宽度的像素数目、画面高度的像素数目或二者。可以 将块大小定义为TQC沿2D TQC块的一个维度的数目。
[0061] 在一些配置中，可以将比特流134发送到另一电子设备。例如，可以将比特流134 提供给通信接口、网络接口、无线发射机、端口等。例如，比特流134可以经由局域网（LAN)、 互联网、蜂窝电话基站等发送到另一电子设备。附加地或备选地，比特流134可以存储在电 子设备102的存储器中。
[0062] 图2B是示出了包括可以是高效视频编码（HEVC)解码器的解码器272的电子设备 270的一个配置的框图。解码器712以及所示的包括在解码器272中的一个或更多个组件 可以实现为硬件、软件或其二者的组合。解码器272可以接收比特流234(例如，包括在比特 流234中的一个或更多个编码画面），以便进行解码。在一些配置中，接收到的比特流234 可以包括接收到的开销信息，例如，接收到的分片首部、接收到的画面参数集合（PPS)、接收 到的缓冲器描述信息、分类指示符等。
[0063] 可以通过熵解码模块274对从比特流134接收到的符号（例如，编码TQC)进行熵 解码。这样可能产生运动信息信号298以及已解码、变换和量化的系数278。
[0064] 在运动补偿模块294处，运动信息信号298可以与来自帧存储器290的已解码画 面292的一部分组合，从而可以产生帧间预测信号296。可以通过逆变换模块280对已解 码、变换和量化的系数（TQC) 278进行逆量化和逆变换，从而产生已解码残差信号282。可以 通过加法模块207将解码残差信号282与预测信号205相加以产生组合信号284。预测信 号205可以是从由运动补偿模块294产生的帧间预测信号296或由帧内预测模块201产生 的帧内预测信号203中选择的信号。在一些配置中，所述信号选择可以基于比特流134(例 如，由比特流134控制）。
[0065] 可以根据来自组合信号284(例如，在当前帧中）的先前解码信息来预测帧内预 测信号203。还可以通过去块滤波器286来对组合信号284进行滤波。可以将得到的滤波 信号288提供给采样自适应偏移（SAO)模块。基于经滤波的信号288以及来自熵解码模 块274的信息239, SAO模块231可以产生提供给自适应环路滤波器（ALF) 233的SAO信号 235。ALF 233产生提供给帧存储器290的ALF信号237。ALF信号237可以包括来自可以 被用作参考画面的一个或更多个画面的数据。ALF信号237可以被写入帧存储器290。得 到的ALF信号237可以包括解码画面。在一些情况下，可以省略ALF 233。
[0066] 帧存储器290可以包括经解码的画面缓冲器（DPB)。帧存储器290还可以包括与 已解码画面相对应的开销信息。例如，帧存储器290可以包括分片首部、画面参数集（PPS) 信息、循环参数、缓冲器描述信息等。可以从编码器（例如，编码器108)发信号通知这些信 息中的一个或更多个。
[0067] 帧存储器290可以向运动补偿模块294提供一个或更多个已解码画面292。此外， 帧存储器290可以提供一个或更多个已解码画面292,所述已解码画面可以是从解码器272 输出的。例如，可以将所述一个或更多个已解码画面292呈现在显示器上，存储在存储器中 或发送给其他设备。
[0068] 图IB是示出了电子设备702的视频编码器782的一个配置的框图。图IB的视频 编码器782可以是图IA的视频编码器108的一个配置。视频编码器782可以包括增强层 编码器706、基本层编码器709、分辨率上升（upscale)方框770和输出接口 780。例如，图 IB的视频编码器适用于可缩放的视频编码和多视图视频编码，如本文所述。
[0069] 增强层编码器706可以包括接收输入画面704的视频输入781。可以将视频输入 781的输出提供给接收预测选择750的输出的加法器/减法器783。可以将加法器/减法 器783的输出提供给变换和量化方框752。可以将变换和量化组方框752的输出提供给熵 编码方框748以及缩放和逆变换方框772。在执行熵编码748之后，熵编码方框748的输出 可以提供给输出接口 780。输出接口 780可以输出已编码基本层视频比特流707和已编码 增强层视频比特流710。
[0070] 可以将缩放和逆变换方框772的输出提供给加法器779。加法器779还可以接收 预测选择750的输出。可以将加法器779的输出提供给去块方框751。可以将去块方框751 的输出提供给参考缓冲器794。可以将参考缓冲器794的输出提供给运动补偿方框754。可 以将运动补偿方框754的输出提供给预测选择750。还可以将参考缓冲器794的输出提供 给帧内预测器756。可以将帧内预测期756的输出提供给预测选择750。预测选择750还 可以接收分辨率上升方框770的输出。
[0071] 基本层编码器709可以包括视频输入762,视频输入762接收下采样输入画面、或 适用于与另一图像组合的其他图像内容、或备选的视图输入画面或相同输入画面703(即， 与由增强层编码器706接收的输入画面704相同）。可以将视频输入762的输出提供给编 码预测回路764。可以对编码预测回路764的输出进行熵编码766。还可以将编码预测回 路764的输出提供给参考缓冲器768。参考缓冲器768可以向编码预测回路764提供反馈。 还可以将参考缓冲器768的输出提供给分辨率上升方框770。一旦执行熵编码766,可以将 输出提供给输出接口 780。
[0072] 图2B是示出了电子设备802的视频解码器812的一个配置的框图。图2B的视频 解码器812可以是图2A的视频解码器272的一个配置。视频解码器812可以包括增强层 解码器815和基本层解码器813。视频解码器812还可以包括接口 889和分辨率上升870。 例如，图2B的视频解码器适用于可缩放的视频解码和多视图视频解码，如本文所述。
[0073] 接口 889可以接收已编码视频流885。经编码的视频流885可以包括基本层已编 码视频流以及增强层已编码视频流。可以单独发送或一同发送这两个流。接口 889可以向 基本层解码器813中的熵解码