（AVC)。已 经有H. 264/AVC标准的多个版本，每个版本向该规范集成新扩展或者特征。这些扩展包括 可伸缩视频编码（SVC)和多视图视频编码（MVC)。
[0087] 与许多更早的视频编码标准相似，在H. 264/AVC中指定比特流语法和语义以及用 于无错比特流的解码过程。未指定编码过程，但是编码器必须生成相符比特流。可以用在 H. 264/AVC的附录C中指定的假设参考解码器（HRD)验证比特流和解码器相符。该标准包 含有助于应对传输错误和丢失的编码工具，但是在编码中使用工具是可选的，并且对于错 误比特流尚未指定解码过程。
[0088]用于向H. 264/AVC编码器的输入和H. 264/AVC解码器的输出的基本单元是图片。 图片可以是帧或者场。帧通常包括亮度采样和对应色度采样的矩阵。场在源信号被交织时 是帧的交替采样行的集，并且可以用作编码器输入。宏块（MB)是16x16亮度采样块和对应 色度采样块。块具有由在最高和最低采样行以及在最左和最右采样列处的采样构成的边界 采样。可以例如在帧内预测中使用与正在编码或者解码的另一个块相邻的边界采样。色 度图片在与亮度图片比较时可以被子采样。例如在4 :2 :0采样模式中，色度图片的空间分 辨率是亮度图片沿着两个坐标轴的空间分辨率的一半，因而宏块包含每个色度分量的一个 8x8色度采样块。图片被分割成一个或者多个分片组，并且分片组包含一个或者多个分片。 分片由在特定分片组内的光栅扫描中连续地排序的整数数目的宏块构成。
[0089] 用于H. 264/AVC编码器的输出和H. 264/AVC解码器的输入的基本单元是网络抽象 层（NAL)单元。对部分地丢失或者破坏的NAL单元的解码通常是困难的。为了通过面向分 组的网络传送或者存储成结构化的文件，NAL单元通常被封装成分组或者相似结构。已经在 H. 264/AVC中为未提供成帧结构的传输或者存储环境指定字节流格式。字节流格式通过在 每个NAL单元前面附着开始码来将NAL单元相互分离。为了避免错误检测NAL单元边界， 编码器运行面向字节的开始码仿真预防算法，如果开始码原本会出现，则该算法向NAL单 元有效载荷添加仿真预防字节。为了实现在面向分组与面向流的系统之间的简单直接网关 操作，无论是否使用字节流格式，总是执行开始码仿真预防。
[0090] H. 264/AVC如同许多其它视频编码标准允许将编码的图片拆分成分片。跨分片边 界禁用图片内预测。因此，分片可以视为一种用于将编码的图片拆分成独立地可解码件的 方式，并且分片因此是用于传输的基本单元。
[0091] H. 264/AVC的一些配置文件实现每编码的图片使用多达八个分片组。在使用多于 一个分片组时，图片被分割成在使用宏块自适应帧场（MBAFF)编码时等于两个坚直地连续 宏块而否则等于宏块的分片组映射单元。图片参数集包含数据，基于该数据，图片的每个分 片组映射单元与特定分片组关联。分片组可以包含任何分片组映射单元，从而包括非相邻 映射单元。在为图片指定多于一个分片组时，使用该标准的灵活宏块排序（FM0)特征。
[0092] 在H. 264/AVC中，分片由按照光栅扫描顺序的在特定分片组内的一个或者多个连 续宏块（或者在使用MBAFF时的宏块对）构成。如果使用仅一个分片组，则H. 264/AVC分 片包含按照光栅扫描顺序的连续宏块并且因此与在许多先前编码标准中的分片相似。在 H. 264/AVC的一些配置文件中，编码的图片的分片可以在比特流中相对于彼此按照任何顺 序出现，这称为任意分片排序（AS0)特征。否则，分片必须在比特流中按照光栅扫描顺序。
[0093] NAL单元由报头和有效载荷构成。NAL单元报头指示NAL单元的类型和在NAL单 元中包含的编码的分片是参考图片还是非参考图片的部分。用于SVC和MVCNAL单元的报 头另外包含与可伸缩性和多视图分级有关的各种指示。
[0094] H. 264/AVC的NAL单元可以被分类为视频编码层（VCL) NAL单元和非VCL NAL单 元。VCL NAL单元是编码的分片NAL单元、编码的分片数据分割NAL单元或者VCL前缀NAL 单元。编码的分片NAL单元包含表示一个或者多个编码的宏块的语法元素，每个编码的宏 块对应于在未压缩的图片中的采样块。有四种类型的编码的分片NAL单元：在瞬时解码刷 新（IDR)图片中的编码的分片、在非IDR图片中的编码的分片、辅助编码的图片（比如阿尔 法平面）的编码的分片和编码的分片扩展（对于未在基础层中的SVC分片或者未在基础视 图中的MVC分片）。三个编码的分片数据分割NAL单元集包含与编码的分片相同的语法元 素。编码的分片数据分割A包括分片的宏块报头和运动矢量，而编码的分片数据分割B和 C包括分别用于帧内宏块和帧间宏块的编码的残值数据。注意仅在H. 264/AVC的一些配置 文件中包括对于分片数据分割的支持。VCL前缀NAL单元先于SVC和MVC比特流中的基础 层的编码的分片并且包含关联编码的分片的可伸缩性分级的指示。
[0095]H. 264/AVC的非VCL NAL单元可以是以下类型之一：序列参数集、图片参数集、补 充增强信息（SEI) NAL单元、访问单元定界符、序列结束NAL单元、流结束NAL单元或者填充 符数据NAL单元。参数集对于重构解码的图片是必不可少的，而其它非VCL NAL单元对于 重构解码的采样值不是必需的并且服务于以下呈现的其它目的。
[0096] 在序列参数集中包括遍及编码的视频序列保持不变的许多参数。除了解码过程必 不可少的参数之外，序列参数集还可以可选地包含视频可用性信息（VUI)，该WI包括对于 缓冲、图片输出定时、渲染和资源保留而言重要的参数。图片参数集包含可能在若干编码的 图片中不变的这样的参数。无图片报头存在于H. 264/AVC比特流中，但是频繁地改变的图 片级数据在每个分片报头中被重复，并且图片参数集携带其余图片级参数。H.264/AVC语法 允许序列和图片参数集的许多实例，并且每个实例用唯一标识符来标识。每个分片报头包 括对于对包含分片的图片的解码而言活跃的图片参数集的标识符，并且每个图片参数集包 含活跃序列参数集的标识符。因而，图片和序列参数集的传输无需与分片的传输准确地同 步。取而代之，活跃序列和图片参数集在它们被引用之前的任何时刻被接收就足够了，这允 许使用与用于分片数据的协议比较的更可靠传输机制来传输参数集。例如可以包括参数集 作为在用于H. 264/AVC实时传送协议（RTP)会话的会话描述中的参数。如果带内传输参数 集，则可以重复它们以提高错误健壮性。
[0097] H. 264/AVC的SEI NAL单元包含一个或者多个SEI消息，该一个或者多个SEI消 息不是对输出图片的解码所必需的、但是辅助有关过程（比如图片输出定时、渲染、错误检 测、错误隐藏和资源保留）。在H. 264/AVC中指定若干SEI消息，并且用户数据SEI消息使 组织和公司能够指定用于它们自己使用的SEI消息。H. 264/AVC包含用于指定的SEI消息 的语法和语义，但是未定义用于在接收者中处置消息的过程。因而，要求编码器在它们创建 SEI消息时遵循H. 264/AVC标准，并且未要求与H. 264/AVC标准相符的解码器为了输出顺序 相符而处理SEI消息。在H. 264/AVC中包括SEI消息的语法和语义的原因之一是允许不同 系统规范等同地解释补充信息并且因此互操作。旨在于系统规范可以要求在编码端中和在 解码端中均使用特定SEI消息，并且另外可以指定用于在接收者中处置特定SEI消息的过 程。
[0098] 在H. 264/AVC中的编码的图片由对图片的解码所需要的VCLNAL单元构成。编码 的图片可以是主要编码图片或者冗余编码图片。在有效比特流的解码过程中使用主要编码 图片，而冗余编码图片是应当仅在主要编码图片不能被成功地解码时被解码的冗余表示。
[0099] 在H. 264/AVC中，访问单元由主要编码图片和与它关联的那些NAL单元构成。约 束NAL单元在访问单元内的出现顺序如下。可选访问单元定界符NAL单元可以指示访问单 元的开始。随后是零个或者更多SEI NAL单元。主要编码图片的编码分片或者分片数据分 割接着出现，随后是用于零个或者更多冗余编码图片的编码分片。
[0100] 定义在MVC中的访问单元为按照解码顺序连续的NAL单元集，并且确切包含由一 个或者多个视图分量构成的一个主要编码图片。除了主要编码图片之外，访问单元还可以 包含一个或者多个冗余编码图片、一个辅助编码图片或者不含编码的图片的分片或者分片 数据分割的其它NAL单元。对访问单元的解码总是产生由一个或者多个解码的视图分量构 成的一个解码的图片。换而言之，在MVC中的访问单元包含用于一个输出时间实例的视图 的视图分量。
[0101] 在MVC中的视图分量称为在单个访问单元中的视图的编码表示。
[0102] 视图间预测可以在MVC中被使用并且是指从相同访问单元的不同视图分量的解 码采样预测视图分量。在MVC中，与帧间预测相似地实现视图间预测。例如视图间参考图 片被置于与用于帧间预测的参考图片相同的参考图片列表中，并且参考索引以及运动矢量 对于视图间和帧间参考图片被相似地编码或者推断。
[0103] 在MVC中的锚图片是编码的图片，在该编码的图片中，所有分片可以仅参考在相 同访问单元内的分片，即可以使用视图间预测，但是未使用帧间预测，并且按照输出顺序的 所有后继编码的图片未使用从按照解码顺序在编码的图片之前的任何图片的帧间预测。视 图间预测可以用于IDR视图分量，这些IDR视图分量是非基础视图的部分。在MVC中的基 础视图是在编码的视频序列中具有最小视图顺序索引值的视图。基础视图可以独立于其它 视图而解码并且未使用视图间预测。基础视图可以由仅支持单视图配置文件（比如H. 264/ AVC的基线配置文件或者高配置文件）的H. 264/AVC解码器解码。
[0104] 在MVC标准中，MVC解码过程的子过程中的许多子过程通过分别用"视图分量"、 "帧视图分量"和"场视图分量"替换在H. 264/AVC标准的子过程规范中的术语"图片"、"帧" 和"场"来使用H. 264/AVC标准的相应子过程。同样地，术语"图片"、"帧"和"场"经常在下 文中用来分别意指"视图分量"、"帧视图分量"和"场视图分量"。
[0105] 定义编码的视频序列为按照从IDR访问单元（包括IDR访问单元）到无论哪个更 早出现的下一 IDR访问单元（不含下一 IDR访问单元）或者到比特流的结束这一解码顺序 的连续访问单元的序列。
[0106] 可以定义图片组（G0P)及其特性如下。G0P无论任何先前图片是否被解码都可以 被解码。开放G0P是这样的图片组，在该图片组中，按照输出顺序在初始帧内图片之前的图 片可能在解码从开放G0P的初始帧内图片开始时不可正确地解码。换而言之，开放G0P的 图片可以引用（在帧间预测时）属于先前G0P的图片。H. 264/AVC解码器可以从在H. 264/ AVC比特流中的恢复点SEI消息识别开始开放G0P的帧内图片。封闭G0P是这样的图片组， 在该图片组中，所有图片可以在解码从封闭G0P的初始帧内图片开始时被正确地解码。换 而言之，在封闭G0P中的图片未引用在先前G0P中的任何图片。