用于解码增强型视频流的方法和装置的制造方法
【专利说明】用于解码增强型视频流的方法和装置
[0001]本申请是分案申请，原案的国家申请号为200980107819.5，申请日为2009年3月4日，发明名称为“用于解码增强型视频流的方法和装置”。
[0002]相关申请的交叉引用
[0003]本申请基于35 USC 120要求2008年3月6日提交的美国临时申请N0.61/034，370的权益，其全部公开内容通过引用并入这里用于所有的目的。
技术领域
[0004]本发明涉及用于解码增强型视频流的方法和装置。
【背景技术】
[0005]参考附图中的图1，视频编码器10从诸如照相机的源接收通常为SMPTE 292M中定义的HD-SDI格式的原始视频数据。视频编码器利用HD-SDI数据来生成视频基础流，并且将该视频基础流提供给视频分组器(packetize1H，该视频分组器14产生由可变长度的分组组成的视频分组化基础流(PES)。通常，视频PES的每个分组包含一个或多个视频帧。类似地，音频编码器(未示出)从例如麦克风接收原始音频数据，并且将音频基础流提供给音频分组器，该音频分组器产生由可变长度的分组组成的音频PES。
[0006]视频分组器和音频分组器将视频PES和音频PES提供到传输流复用器18，该传输流复用器18将不同的相应节目标识符(PID)指配给视频PES和音频PES，并且将视频PES和音频PES的可变长度的分组组织为固定长度的MPEG-2传输流(TS)分组，每个分组都具有包括PES的PID的报头以及包含PES视频(或音频)数据的有效负载。
[0007]可以将由传输流复用器输出的单节目传输流(SPTS)提供到节目复用器22，该节目复用器22将SPTS与传送其它节目的其它传输流进行组合，以产生多节目传输流(MPTS)。通过信道将该MPTS发射到接收机，在接收机处，节目解复用器26从MPTS中分离选定的SPTS，并且将该选定的SPTS提供给传输流解复用器30。本领域技术人员将意识到，可以将由传输流复用器输出的SPTS直接发射到传输流解复用器，而无需首先与其它传输流进行组合来创建MPTS，但是在任何一种情况下，传输流解复用器接收选定的SPTS的传输流分组，并且基于PID对它们进行分离，对传输流分组进行解分组以重建PES分组，并且将视频PES指向所谓的视频系统目标解码器(T-STD) 34，并且将音频PES指向音频T-STD 38。本申请的主题涉及解码视频比特流，并且因此我们将不进一步讨论音频解码器。
[0008]视频T-STD 34包括系统目标解码器缓冲器40和视频解码器42。STD缓冲器40在功能上等同于传输缓冲器Tb、复用缓冲器Mb和基础流缓冲器Eb。传输缓冲器Tb以可变比特速率接收视频PES，并且以恒定比特速率向复用缓冲器Mb输出数据，该复用缓冲器Mb对视频PES进行解分组，并且以恒定比特速率向基础流缓冲器Eb提供编码比特流。有时被称作解码器缓冲器或被称作编码图像缓冲器(CPB)的基础流缓冲器接收CBR比特流，并且保存用于解码图像的比特，直至它们在图像解码时立即由视频解码器全部移除。
[0009]对于解码器的适当操作重要的是，解码器缓冲器不应当溢出而使得丢失比特并且无法解码图像，也不应当下溢而使得解码器缺少比特并且无法在适当时解码图像。将比特提供到解码器缓冲器由压缩数据缓冲器(⑶B)46来控制，该压缩数据缓冲器(CBD)46从视频编码器10接收比特流。视频编码器以取决于⑶B充满程度(fullness)的速率来向⑶B提供比特。⑶B以恒定速率向视频分组器14提供比特，并且复用缓冲器以相同的速率向解码器缓冲器提供比特，并且因此CDB的充满程度反映了解码器缓冲器的充满程度。通过调整对⑶B的比特的提供来防止⑶B的溢出/下溢，避免了解码器缓冲器的下溢/溢出。
[0010]管理编码器的操作的视频压缩标准可以指定CDB应当不大于假定基准解码器(hypothetical reference decoder)的解码器缓冲器。
[0011]MPEG-2传输流被广泛用于通过差错信道进行的编码视频的递送。MPEG-2系统层还支持在无差错环境中的节目流(PS)中的编码视频的传输。图1图示了将视频PES作为节目流发射到视频P-STD 50，作为对作为传输流递送到视频T-STD 34的替代。
[0012]视频编码器10所产生的比特流可以遵循在通常被称作H.264/AVC的IS0/IEC14496-10 (MPEG-4部分10)高级视频编码(AVC)中所指定的视频压缩标准。H.264/AVC使用图像作为帧或场的统称。H.264/AVC将访问单元定义为网络抽象层(NAL)单元的集合，并且指定访问单元的解码通常产生解码图像。AVC编码器所产生的访问单元的NAL单元可以是包含图像信息的视频编码层(VCL)单元，或者是包含诸如隐蔽字幕(closed capt1ning)和定时的其它信息的非VCL单元。
[0013]H.264/AVC的附录G规定了被称作可分级视频编码或SVC的H.264/AVC的扩展。SVC将可分级的增强提供给AVC基本层，并且可分级性包括空间可分级性、时间可分级性、SNR可分级性以及比特深度可分级性。期望SVC编码器产生符合H.264/AVC的基本层，并且在一个或多个增强层中对该基本层增加增强。在SVC的特定实施方式中所采用的每个类型的可分级性可以利用其自己的增强层。例如，如果原始视频数据是由1920X1088像素的帧组成的称为1080 HD的格式，则可以通过由能够被解码为704X480像素的图像的访问单元组成的子比特流来传送基本层，而可以通过由使得适当的解码器能够通过将基本层访问单元与增强层访问单元进行组合来呈现1920X 1088像素的图像的访问单元组成的子比特流来传送增强层。
[0014]能够对基本层以及一个或多个增强层进行解码的解码器在这里被称为SVC解码器，而无法识别增强层并且仅能够对基本层访问单元进行解码并且因此不具有SVC能力的解码器在这里被称作AVC解码器。
[0015]由SVC编码器产生的访问单元不仅包括以上提到的通常称为AVC NAL单元的基本层NAL单元，而且还包括SVC VCL NAL单元和SVC非VCL NAL单元。图2示出了如SVC标准所规定的SVC访问单元中的AVC NAL单元和SVC NAL单元的序列。例如，在编码器产生两个增强层的情况下，两个增强层的非VCL NAL单元处于图2中所示的序列的相邻块中，在包含AVC非VCL NAL单元和AVC VCL NAL单元的块之间，并且两个增强层的SVC VCL NAL单元处于在包含AVC VCL NAL单元的块之后的序列的相邻块中。
[0016]从访问单元提取基本层NAL单元的SVC解码器仅选择AVC非VCL NAL单元和AVCVCL NAL 单元。
[0017]H.264/AVC 指定了 5 比特的参数 nal_unit_type 或 NUT。基于 H.264/AVC，AVC NAL单元都具有1-13范围内的NUT值。SVC添加了 NUT值14、20和15。然而，紧接在具有等于5或I的NUT的NAL单元之前的具有等于14的NUT的NAL单元用信号发送基本层条带，使得作为非VCL NAL单元的这些NAL单元与AVC相兼容，并且能够由AVC解码器来进行解码。
[0018]参考图3，SVC解码器10’生成传送基本层以及例如两个增强层ENHl和ENH2的单一比特流。根据其功能，解码器可能期望仅接收和解码基本层，或者接收和解码基本层和增强层ENHl，或者接收和解码基本层以及两个增强层ENHl和增强层ENH2。基于MPEG-2系统标准和SVC的使用情况，编码器可能不提供分别传送仅基本层、基本层和增强层ENH1、以及基本层以及两个增强层ENHl和增强层ENH2的三个比特流，而允许解码器选择它能够解码的任何一个比特流。编码器必须在分离的比特流中提供基本层访问单元以及每个增强层的一部分。原则上将能够通过使用NAL分离器48基于NAL单元的NUT值来将单一比特流分成三个子比特流以符合MPEG-2系统标准。一个子比特流可以传送基本层NAL单元，而其它两个子比特流可以分别传送两个增强层的NAL单元。三个子比特流可以传递到相应的视频分组器(通常由14来指示)，该视频分组器14创建相应的视频PES。将三个视频PES提供到包括与包括在SVC T-STD中的缓冲器等同的T-STD缓冲器的传输流复用器18，用于将三个分组器的输出复用在一起。复用器18将向三个PES指配不同的PID，并且输出传送三个层的传输流。
[0019]因为没有提供重组基本层单元和增强层访问