用于视频编码和解码的方法和技术设备的制造方法_3

在比特流中。在HEVC中的CRA图片允许在解码顺序中在CRA图片后面但是在输出顺序中在 其前面的所谓的引导图片。引导图片中的一些引导图片、所谓的RASL图片可以使用在CRA 图片之前解码的图片作为参考。如果随机接入被执行在CRA图片处则在解码顺序和输出顺 序两者中都在CRA图片后面的图片是可解码的，并且因此空白随机接入与IDR图片的空白 随机接入功能类似地被实现。
[0092] CRA图片可以具有相关联的RADL或RASL图片。当CRA图片在解码顺序中是比特 流中的第一个图片时，CRA图片在解码顺序中是编码视频序列中的第一个图片，并且任何相 关联的RASL图片不是由解码器输出并且可能不是可解码的，因为它们可能含有对比特流 中不存在的图片的参考。
[0093] 引导图片是在输出顺序中在相关联的RAP图片前面的图片。相关联的RAP图片是 在解码顺序中的前面的RAP图片（如果存在的话）。引导图片是RADL图片或RASL图片。
[0094] 所有RASL图片是相关联的BLA或CLA图片的引导图片。当相关联的RAP图片是 BLA图片或者是比特流中的第一个经编码的图片时，RASL不被输出并且可能不是可正确 解码的，因为RASL图片可能含有对比特流中不存在的图片的参考。然而，在解码已经从在 RASL图片的相关联的RAP图片前面的RAP图片开始时RASL图片能够被正确解码。RASL图 片不被用作用于非RASL图片的解码过程的参考图片。当存在时，在解码顺序中所有RASL图 片在相同的相关联的RAP图片的所有追随图片以前。在一些较早的HEVC标准草案中，RASL 图片被称为标记为丢弃（TFD)的图片。
[0095] 所有RADL图片是引导图片。RADL图片不被用作用于相同的相关联的RAP图片的 追随图片的解码过程的参考图片。当存在时，在解码顺序中所有RASL图片在相同的相关联 的RAP图片的所有追随图片以前。RADL图片不是指在解码顺序中在相关联的RAP图片前面 的任何图片，并且因此在解码从相关联的RAP图片开始时能够被正确解码。在一些较早的 HEVC标准草案中，RADL图片被称为可解码引导图片（DLP)。
[0096] 当比特流的从CRA图片开始的部分被包括在另一比特流中时，与CRA图片相关联 的RASL图片可能不是可正确解码的，因为其参考图片中的一些参考图片可能在组合的比 特流中不存在。为了使这样的拼接操作简单，CRA图片的NAL_UNIT_TYPE可以被改变以指 示其是BLA图片。与BLA图片相关联的RASL图片可能不是可正确解码的，因此不被输出/ 显示。另外，与BLA图片相关联的RASL图片可能从解码被省略。
[0097] BLA图片在解码顺序中可以是比特流中的第一个图片，或者可以稍后出现在比特 流中。每个BLA图片开始新编码的视频序列，并且具有对解码过程的与IDR图片类似的效 果。然而，BLA图片含有指定非空参考图片集的语法元素。当BLA图片具有等于BLA_W_LP 的nal_unit_type时，其可以具有相关联的RASL图片，RASL图片不由解码器输出并且可以 不是可解码的，因为它们可能含有对比特流中不存在的图片的参考。当BLA图片具有等于 BLA_W_LP的nal_unit_type时，其还可以具有相关联的RADL图片，RADL图片被指定为被解 码。当BLA图片具有等于BLA_W_DLP的nal_unit_type时，其不具有相关联的RASL图片但 是可以具有相关联的RADL图片，RADL图片被指定为被解码。当BLA图片具有等于BLA_N_ LP的nal_unit_type时，其不具有任何相关联的引导图片。
[0098] 具有等于IDR_N_LP的nal_unit_type的IDR图片不具有存在于比特流中的相关 联的引导图片。具有等于DR_W_LP的nal_unit_type的IDR图片不具有存在于比特流中的 相关联的RASL图片，但可以具有比特流中的相关联的RADL图片。
[0099] 当 nal_unit_type 的值等于 TRAIL_N、TSA_N、STSA_N、RADL_N、RASL_N、RSV_ VCL_N10、RSV_VCL_N12或RSV_VCL_N14时，经解码的图片不被用作针对相同的时间子层 的任何其他图片的参考。即，在HEVC标准草案中，当nal_unit_type的值等于TRAIL_N、 TSA_N、STSA_N、RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12 或 RSV_VCL_N14 时，经解码 的图片不被包括在具有相同的TemporalId的值的任何图片的RefPicSetStCurrBefore、 RefPicSetStCurrAfter和RefPicSetLtCurr中的任一个中。在不影响具有相同的 TemporalId的值的其他图片的可解码性的情况下，具有等于TRAIL_N、TSA_N、STSA_N、 RADL_N、RASL_N、RSV_VCL_N10、RSV_VCL_N12 或 RSV_VCL_N14 的 nal_unit_type 的经编码的 图片可以被丢弃。
[0100] 追随图片可以被定义为在输出顺序中在相关联的RAP图片后面的图片。作为追随 图片的任何图片不具有等于RADL_N、RADL_R、RASL_N或RASL_R的nal_unit_type。作为引 导图片的任何图片可以被约束为在解码顺序中在与相同的RAP图片相关联的所有追随图 片前面。在比特流中不存在与具有等于BLA_W_DLP或BLA_N_LP的nal_unit_type的BLA图 片相关联的RASL图片。在比特流中不存在与具有等于BLA_N_LP的nal_unit_type的BLA 图片相关联的或者与具有等于IDR_N_LP的nal_unit_type的IDR图片相关联的RADL图片。 与CRA或BLA图片相关联的任何RASL图片可以被约束为在输出顺序中在与CRA或BLA图 片相关联的任何RADL图片前面。与CRA图片相关联的任何RASL图片可以被约束为在输出 顺序中在任何其他RAP图片后面，所述任何其他RAP图片在解码顺序中在CRA图片前面。
[0101] 在HEVC中存在两种图片类型，TSA和STSA图片类型，其能够用于指示时间子层切 换点。如果具有直到N的TemporalId的时间子层已经被解码直到TSA或STSA图片（排他 性的）以及TSA或STSA图片已经具有等于N+1的Temporal Id，则TSA或STSA图片使得能 够对具有等于N+1的TemporalId的（在解码顺序中的）所有后续图片进行解码。TSA图片 类型可以对TSA图片本身和在相同子层中的在解码顺序中在TSA图片后面的所有图片施加 限制。这些图片中没有一个图片被允许使用来自在相同子层中的在解码顺序中在TSA图片 前面的任何图片的帧间预测。TSA定义还可以对在更高的子层中的在解码顺序中在TSA图 片后面的图片施加限制。这些图片中没有一个图片被允许指代在该图片属于与TSA图片相 同的或比TSA图片更高的子层时在解码顺序中在TSA图片前面的图片。TSA图片具有大于 0的Temporal Id。STSA类似于TSA图片，但是不对在更高的子层中的在解码顺序中在STSA 图片后面的图片施加限制并且因此实现仅仅到STSA图片所在的子层上的上切换。
[0102] 非VCL NAL单元可以是例如以下类型之一：序列参数集、图片参数集、辅助增强信 息（SEI) NAL单元、接入单元分界符、序列NAL单元的结尾、流NAL单元的结尾或填充器数据 NAL单元。对解码的图片的重建可能需要参数集，然而其他非VCL NAL单元中的许多非VCL NAL单元对于对解码的样本值的重建不是必要的。
[0103] 通过编码的视频序列保持未改变的参数可以被包括在序列参数集中。除了可能由 解码过程需要的参数，序列参数集可以可选地包含视频可用性信息（VUI)，其包括可能对于 缓冲、图片输出定时、渲染和资源预留重要的参数。存在H. 264/AVC中指定的用于承载序列 参数集的三个NAL单元：包含用于序列中的H. 264/AVC VCL NAL单元的所有数据的序列参 数集NAL单元、包含用于辅助编码的图片的数据的序列参数集扩展NAL单元以及用于MVC 和SVC VCL NAL单元的子集序列参数集。在HEVC标准草案中，序列参数集RBSP包括能够 被称为一个或多个图片参数集RBSP或包含缓存期间SEI消息的一个或多个SEI NAL单元 的参数。图片参数集包含这样的参数，其有可能在若干经编码的图片中未被改变。图片参 数集RBSP可以包括能够被称为一个或多个经编码的图片的编码的切片NAL单元的参数。
[0104] 在HEVC草案中，还存在第三类型的参数集，这里被称为适应参数集（APS)，其包括 有可能在若干编码切片中未被改变但是可能例如针对每个图片或每几个图片改变的参数。 在HEVC草案中，APS语法结构包括与量化矩阵（QM)、自适应样本偏移（SAO)、自适应环路滤 波（ALF)以及去块效应滤波有关的参数或语法元素。在HEVC草案中，APS是NAL单元并且 在没有来自任何其他NAL单元的参考或预测的情况下被编码。被称为aps_id语法元素的标 识符被包括在APS NAL单元中，并且在切片头中被包括和使用以指代特定APS。在另一 HEVC 标准草案中，APS语法结构仅仅包含ALF参数。在HEVC标准草案中，在sample_adaptive_ offset_enabled_flag 或 adaptive_loop_filter_enabled_flag 中的至少一个等于 1 时适 应参数集RBSP包括能够被称为一个或多个经编码的图片的编码的切片NAL单元的参数。在 一些后来的HEVC草案中，APS语法结构从规范文本被去除。
[0105] 在HEVC中，视频参数集（VPS)可以被定义为包含应用到如由在SPS中找到的语法 元素的内容确定的零个或多个整个编码的视频序列的语法元素的语法结构，SPS被称为在 PPS中找到的语法元素，PPS被称为在每个切片分段头中找到的语法元素。
[0106] 视频参数集RBSP可以包括能够被称为一个或多个序列参数集RBSP的参数。
[0107] 视频参数集（VPS)、序列参数集（SPS)以及图片参数集（PPS)之间的关系和层次可 以被描述如下。VPS在参数集层次中并且在可分级性和/或3D视频的上下文中驻存在SPS 以上的一个层级。VPS可以包括跨整个编码的视频序列中的所有（可分级性或视图）层的 所有切片共同的参数。SPS包括跨整个编码的视频序列中的特定（可分级性或视图）层中 的所有切片共同的参数，并且可以由多个（可分级性或视图）层共享。PPS包括特定层表 示（一个接入单元中的一个可分级性或视图层的表示）中的所有切片共同的参数，并且有 可能由多个层表示中的所有切片共享。
[0108] VPS可以提供关于比特流中的层的依赖关系的信息，以及适用于跨整个编码的视 频序列中的所有（可分级性或视图）层的所有切片的许多其他信息。在HEVC的可分级的 扩展中，例如，VPS可以包括从NAL单元头导出到LayerId值到一个或多个可分级性尺寸值 的映射，例如对应于dependency_id、quality_id、view_id以及针对与SVC和MVC类似地定 义的层的depth_flag。VPS可以包括针对一个或多个层的简档和层级信息以及针对层表示 的（包括在特定temporal_id值处和以下的VCLNAL单元的）一个或多个时间子层的简档 和/或层级。
[0109] H. 264/AVC和HEVC语法允许参数集的许多实例，并且每个实例利用唯一的标识符 来标识。为了限制参数集需要的存储器使用，参数集标识符的值范围已经被限制。在H. 264/ AVC和HEVC标准草案中，每个切片头包括针对包含切片的图片的解码活动的图片参数集的 标识符，并且每个图片参数集包含活动的序列参数集的标识符。在HEVC标准草案中，切片 头附加地包含APS标识符，尽管在一些后来的HEVC标准草案中从切片头去除了 APS标识 符。因此，对图片和序列参数集的传输不一定必须与切片的传输准确地同步。相反，在它们 被参考之前的任何时刻接收活动序列和图片参数集是足够的，这允许使用与用于切片数据 的协议相比更可靠的传输机制对"带外"参数集的传输。例如，参数集能够被包括作为用于 实时传输协议（RTP)会话的会话描述中的参数。如果在带内传输参数集，则它们能够被重 复以改进误差鲁棒性。
[0110] 参数集可以通过来自切片或来自另一活动的参数集或在一些情况下来自诸如缓 存期间SEI消息的另一语法结构的参考来激活。
[0111] SEI NAL单元可以包含一个或多个SEI消息，其不是输出图片的解码所要求的但 是可以辅助相关的过程，例如图片输出定时、渲染、误差检测、误差掩盖以及资源预留。若干 SEI消息在H. 264/AVC和HEVC中被指定，并且用户数据SEI消息使得组织和公司能够指定 用于其自己使用的SEI消息。H. 264/AVC和HEVC包含针对指定的SEI消息的语法和语义 但是没有定义用于在接收方中处理消息的过程。因此，编码器需要在它们创建SEI消息时 遵循H. 264/AVC标准或HEVC标准，并且分别符合H. 264/AVC标准或HEVC标准的解码器不 需要处理SEI消息以获得输出顺序一致性。将SEI消息的语法和语义包括在H. 264/AVC和 HEVC中的原因之一在于允许不同系统规范相同地解释辅助信息并且因此交互操作。意图在 于系统规范能够要求在编码端中和在解码端中两者使用特定SEI消息，并且附加地，能够 指定用于在接收方中处理特定SEI消息的过程。
[0112] 经编码的图片是图片的经编码的表示。在H. 264/AVC中的经编码的图片包括图片 的编码所需要的VCL NAL单元。在H. 264/AVC中，经编码的图片可以是基本编码图片或冗 余编码图片。基本编码图片被使用在对有效比特流的解码过程中，然而，冗余编码图片是应 当仅仅在基本编码图片不能够被成功地解码时被解码的冗余表示。在HEVC草案中，尚未指 定冗余编码图片。
[0113] 在H. 264/AVC中，接入单元包括基本编码图片和与其相关联的那些NAL单元。在 H. 264/AVC中，NAL单元在接入单元内的出现顺序被约束如下。可选的接入单元分界符NAL 单元可以指示接入单元的开始。其跟随有零个或多个SEI NAL单元。接下来，基本编码图 片的经编码的切片出现。在H. 264/AVC中，基本编码图片的经编码的切片可以跟随有针对 零个或多个冗余编码图片的经编码的切片。冗余编码图片是图片或图片的一部分的经编码 的表示。在基本编码图片例如由于传输中的丢失或物理存储介质中的损坏而没有由解码器 接收到时，冗余编码图片可以被解码。
[0114] 在H. 264/AVC中，接入单元还可以包括辅助编码图片，其是辅助基本编码图片的 图片并且可以例如在显示过程中使用。辅助编码图片可以例如被用作指定经解码的图片 中的样本的透明度水平的alpha通道或alpha平面。alpha通道或alpha平面可以被用在 分层的合成或渲染系统中，其中输出图片通过叠加在彼此顶部上至少部分透明的图片来形 成。辅助编码图片具有与单色冗余编码图片相同的语法和语义限制。在H. 264/AVC中，辅 助编码图片包含与基本编码图片相同数量的宏块。
[0115] 在HEVC中，接入单元可以被定义为NAL单元的集合，NAL单元根据指定的分类规 则彼此相关联、在解码顺序中是连续的并且精确地包含一个经编码的图片。除了包含经编 码的图片的VCL NAL单元，接入单元还可以包含非VCL NAL单元。对接入单元的解码总是 产生经解码的图片。
[0116] 在H. 264/AVC中，经编码的视频序列被定义为在解码顺序中从IDR接入单元（包 括IDR接入单元）到下一 IDR接入单元（不包括下一 IDR接入单元）或到比特流的结尾 (无论之前是否出现）的连续的接入单元的序列。在HEVC标准草案中，经编码的视频序列 被定义为接入单元的序列，其包括在解码顺序中作为比特流中的第一个接入单元的CRA接 入单元、IDR接入单元或BLA接入单元，所述IDR接入单元或BLA接入单元跟随有零个或多 个非IDR和非BLA接入单元，其包括所有随后的接入单元、直到但不包括任何随后的IDR或 BLA接入单元。
[0117] 图片组（GOP)和其特性可以被定义如下。无论任何前面的图片是否被解码，GOP能 够被解码。开放的GOP这样的图片组，其中在解码从开放GOP的初始内部图片开始时在输出 顺序中在初始内部图片前面的图片可能不是可正确解码的。换言之，开放GOP的图片可以 (在帧间预测中）指代属于前面的GOP的图片。H. 264/AVC解码器能够从H. 264/AVC比特 流中的恢复点SEI消息识别开始开放GOP的内部图片。HEVC解码器能够识别开始开放GOP 的内部图片，因为特定的NAL单元类型、CRA NAL单元类型能够被用于其经编码的切片。封 闭GOP是这样的图片组，其中在解码从封闭GOP的初始内部图片开始时所有图片能够被正 确解码。换言之，封闭GOP中的图片不指代之前GOP中的任何图片。在H. 264/AVC和HEVC 中，封闭GOP可以被认为从IDR接入单元开始。因此，封闭GOP结构具有与开放GOP结构相 比更多误差恢复潜力，然而以压缩效率的可能降低为代价。开放GOP编码结构可能在压缩 中是更有效的，由于在参考图片的选择中的更大灵活性。