专利名称：视频编码方法以及相应的设备和信号的制作方法
技术领域：
本发明涉及视频压缩领域，例如，涉及MPEG族(MPEG-1，MPEG-2，MPEG-4)和ITU-H.26X族(H.261，H.263及扩展，H.26L)的视频编码标准。更具体地，本发明涉及一种被应用到与被再划分成接连的视频对象面(VOP)的接连的情景相对应的视频序列的编码方法，该方法为编码所述情景的所有的视频对象而生成由编码的视频数据构成的编码的比特流，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有的元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述。
本发明还涉及相应的编码设备、由这样的编码设备生成的编码的比特流组成的可发送的视频信号、以及用于接收和译码包含这样的编码的比特流的视频信号的设备。
在第一视频编码标准(直到MPEG-2和H.263)中，视频被假设为矩形，以及要藉助于一个亮度信道和两个色度信道进行描述。对于MPEG-4，引入了其他的信道α信道(在MPEG-4技术中也称为“任意形状信道”)，用于描述视频对象的轮廓，以及在后来的MPEG-4的版本中，引入附加信道，它能够传输像深度、差异度或透明度那样的内容。例如，深度信道可被使用于其中能够进行三维导航的应用。差异度信道被使用于其中需要内容的两个视图的应用，这样，所述内容可被显示在能够进行立体观看的设备上。对于由可能重叠的、不同的对象组成的内容，需要透明度信道(用于对象的透明度信道可以是不透光的，对象纹理结构则重写其他对象的纹理结构；或是半透明的，显示器上的纹理结构则是由于对象的纹理结构的交融造成的)。
正如在MPEG-4文件w3056，”Information Technology-Codingof audio-visual objects-Part 2Visual(信息技术-视听对象的编码-部分2视觉)”，ISO/IEC/JTC1/SC29/WG11，Maui，USA，1999年12月，part 6.2.3 Video Object Layer中规定的，描述像序列的透明度或差异度或深度那样的的附加信道的唯一方式(在MPEG-4中)是使用句法元素“Video_object_layer_shape_extension”。为了经由所述元素支持附加信道的编码，通过MPEG-4提供的句法和语义在文件w3056的第35-36和110-112页中给出(a)“Video_object_layer_verid”在表6-11中规定的这个4比特码标识视频对象层的版本号；(b)“Video_object_layer_shape”在表6-14中规定的这个2比特码标识视频对象层的形状类型；(c)“Video_object_layer_shape_extension”在表V2-1中规定的这个4比特码标识可被使用的辅助部件的数目(多到3)和类型(在所述表中仅仅规定有限数目的类型和组合，以及通过选择USERDEFINED(用户规定的)类型，可能有更多的应用)。
这些句法和语义表明，只对具有一个形状的对象提供对于附加信道的传输的支持。在想要发送矩形对象的亮度和色度信道以及像差异度那样的一个附加信道的情形下，确实可以根据编码效率解释为何MPEG-4是亚最佳的。在MPEG-4中，对矩形对象的说明(由于代码“Video_object_layer_shape”等于00，知道它实际上是矩形)需要按宽度和高度发送矩形的尺寸。在视频对象层句法中给出的这个说明(见该文件的第36页的六行25到30)，需要31比特。当想要用MPEG-4句法发送矩形对象的像深度信道或差异度信道那样的附加信道时，只有通过设置代码“Video_object_layer_shape”为11(灰度)来声称这个对象为非矩形的，而没有其他方法。
一旦对象被声称为灰度(虽然它是矩形)，句法就迫使发送描述对象形状的比特，这是按照在文件第52页§6.2.6宏块，表的第1到6行，和第56页§6.2.6.1MB二进制形状编码，表的第1到5行中给出的句法在宏块的级别上完成的。正如在文件第128-129页中表示的，bab_type是可变的长度代码包括在1与7比特之间，以及被提供来表示用于16×16像素的二进制α块的编码模式，以及7个bab_type被显示于表6-26。这样的描述，例如对于CIF图像，导致每帧浪费至少396比特(每个宏块至少一比特)。对于25Hz的CIF序列，估计开销为9.9Kbit/s。
因此，本发明的目的是提出一种视频编码方法，允许避免这种比特浪费，从而提高编码效率。
为此，本发明涉及诸如在说明书的引言部分规定的方法以及其特征在于，所述句法包括特定的信息，该特定的信息以高的描述级别表示在比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
优选地，所述特定的信息包含以下附加句法元素video_object_layer_shape 1比特number_of_video_object_layer_additional_channel_descriptions n比特video_object_layer_additional_channels[i] 1比特第一元素表示是否存在应当被译码的轮廓或形状信道，第二元素代表在编码的比特流中存在的附加信道句法元素的数目，以便描述所述比特流的内容，以及第三元素表示是否存在由数值[i]寻址的信道，i取0与2n-1之间的数值。
在本发明的另一个实施例中，所述特定的信息包含以下的附加的句法元素video_object_layer_shape 1比特number_of_video_object_layer_additional_channel_presence n比特video_object_layer_additional_channels[i]1比特第一元素表示是否存在应当被译码的轮廓或形状信道，第二元素代表在编码的比特流中存在的附加信道的数目，以及第三元素表示是否存在由数值[i]寻址的信道，i取0与2n-1之间的数值。
在第三实施例中，所述特定的信息包含以下的附加的句法元素video_object_layer_shape 1比特video_object_layer_additional_channels[i]1比特，0≤i≤2n-1第一元素表示是否存在然后应当被译码的轮廓或形状信道，以及第二元素表示是否存在由数值[i]寻址的信道，i取0与2n-1之间的数值。
对于这三个解决方案的任一项，在比特流中可能不再提供video_object_layer_shape句法元素。
本发明也涉及用于编码与接连的情景相对应的视频序列的设备，该接连的情景被再划分成接连的视频对象面(VOP)，所述设备包括用于将所述序列的每个情景构建为视频对象(VO)的合成的装置，用于编码每个所述VO的形状、运动和纹理结构的装置，以及用于把这样得到的编码基本流复接成由编码的视频数据组成的单个编码比特流的装置，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道描述，所述设备的特征还在于，它还包括用于把特定的信息引入到所述编码的比特流的装置，该特定的信息以高的描述级别表示在该编码的比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
本发明也涉及可传输的视频信号，包含通过被应用到与接连的情景相对应的序列的编码方法而生成的编码的比特流，该接连的情景被再划分成接连的视频对象面(VOP)，为编码所述情景的所有的视频对象而生成的所述编码的比特流由编码的视频数据组成，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述，所述信号的特征还在于，所述编码的比特流还包括特定的信息，该特定的信息以高的描述级别表示在这个编码的比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
本发明最后涉及用于接收和译码视频信号的设备，该视频信号包含通过被应用到与接连的情景相对应的序列的编码方法而生成的编码的比特流，该接连的情景被再划分成接连的视频对象面(VOP)，为编码所述情景的所有的视频对象而生成的所述编码的比特流由编码的视频数据组成，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述，所述编码的比特流还包括特定的信息，该特定的信息以高的描述级别表示在这个编码的比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
现在参照附图更详细地描述本发明，其中
图1显示其中可以实施按照本发明的编码方法的MPEG编码设备的例子。
为了解决以上解释的比特浪费的问题，按照本发明建议把有关附加信道可能存在的指示引入到编码的比特流中。这个指示包含按照本发明以至少等价于视频对象层(VOL)MPEG-4级别的高的描述级别被引入的特定的信息。
举例来说，这个附加描述步骤按现在描述的被实施。规定以下的句法元素(a)”video_object_layer_shape” 1比特(b)”number_of_video_object_layer_additional_channel_descriptions” n比特(c)”video_object_layer_additional_channel[i]” 1比特以及这些元素的语义为(a)video_object_layer_shape这个1比特标志表示形状(或轮廓)信道的存在(如果被设置为1，则轮廓信道存在和应当被译码，而如果未设置为1，则预期没有形状或轮廓的描述)；(b)number_of_video_object_layer_additional_channel_descriptions这个n比特无符号的整数代表在编码的比特流中存在的附加信道句法元素的数目；(c)additional_channel_number这个整数取0与number_of_video_object_layer_additional_channel_descriptions之间的数值；(d)video_object_layer_additional_channel[additional_channel_number]这个1比特标志表示由additional_channel_number的数值[i]寻址的信道存在与否。
在video_object_layer_additional_channel[additional_channel_number]与相关的信道的句法之间的对应关系在以下的表中给出，对于number_of_video_object_layer_additional_channel_descriptions的数值1到2n，在表中称为NAC(在给定的例子中n＝4)
因此，按照本发明的建议产生了用于Video_object_layer的句法的修正版本。在文件w3056的第36页，加上以下的句法元素(行15和以下)
可以给出对于各种类型的对象的实施方案(信道存在描述+相应的句法)的例子，只在比特流中表示亮度信道存在时才译码表示色度信道存在的句法元素(a)彩色的4:2:2矩形序列video_object_layer_shape 0number_of_video_object_layer_additional_channel_descriptions 1video_object_layer_lum 1video_object_layer_chrom 1(b)具有不透光的对象的黑白情景，该对象具有轮廓但没有纹理结构video_object_layer_shape 1number_of_video_object_layer_additional_channel_descriptions 0(c)具有不透光的形状(或轮廓)的4:2:2的黑白对象video_object_layer_shape 1number_of_video_object_layer_additional_channel_descriptions 1video_object_layer_lum 1video_object_layer_chrom 1(d)具有透明的α面的彩色的4:2:2矩形对象video_object_layer_shape 0number_of_video_object_layer_additional_channel_descriptions 2video_object_layer_lum 1video_object_layer_chrom 1video_object_layer_transparency1(e)具有其深度的4:2:2矩形对象video_object_layer_shape 0number_of_video_object_layer_additional_channel_descriptions 5video_object_layer_lum 1video_object_layer_chrom 1video_object_layer_transparency 0
video_object_layer_disparity 0video_object_layer_texture 0video_object_layer_depth 1还可建议以下的两个替换的句法
上述的视频编码方法例如可以在诸如例如图1所示的编码设备中实施，图1显示具有运动补偿的帧间预测的MPEG编码器的例子。这个编码器包括编码和预测级。编码级本身包括串联的模式判决电路11(用于确定选择如MPEG中规定的编码模式I、P或B)、DCT电路12、量化电路13、可变长度编码电路14和缓存器15、以反馈连接提供的速率控制电路16，该速率控制电路16允许控制量化电路13的量化步长尺寸。预测级包括运动估值电路21、后面跟随运动补偿电路22、以及还有串联的逆量化电路23、逆DCT电路24和加法器25、减法器26，该减法器26允许向编码级发送在编码设备的输入信号IS与在预测级的输出端(即，在运动补偿电路22的输出端)处可获得的预测信号之间的差值。这个差值或残差是被编码的比特流。由运动估值电路21确定的运动矢量连同缓存器15的输出信号一起被发送到复接器31，以便在复接器的输出端处被复接成输出的编码比特流CB。所述比特流CB是编码的比特流，按照本发明，它包括特定的信息，表示在所述编码比特流中可遇到的描述比特流的内容的各种附加信道存在与否。
本发明也涉及可传输的视频信号，包含通过这样的视频编码设备生成的编码的比特流。
互易地，按照相应的译码方法，在编码比特流内被发送到译码侧的附加句法元素被接收它们与实行所述译码方法的视频译码器中的适当的装置读出。能够识别和译码该编码比特流的内容的所有的分段的译码器读取所述附加句法元素以及然后知道一个或几个附加信道存在与否。这样的译码器可以是如编码设备一样的任何MPEG型，以及它的基本元件例如是串联的接收编码的比特流的输入缓存器、VLC译码器、逆量化电路和逆DCT电路。在编码和译码设备中，提供控制器用来管理编码和译码操作的步骤。
本发明的优选实施例的上述说明是为了说明和描述而给出的。不打算是唯一的或把本发明限于所公开的精确的形式，以及显然根据以上的教导作出修正和变化对本领域技术人员是显而易见的，并打算把它们包括在本发明的范围内。
例如，可以理解，这里描述的编码和译码设备可以以硬件、软件、或硬件与软件的组合实施，而不排除能够实现几个功能的单个硬件项或软件项，或实现单一功能的硬件项和软件项或二者的组件。上述的方法和设备可以以任何类型的计算机系统或其他适当的设备实施。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统，当该计算机程序被装载和执行时控制计算机系统，以使得它实现这里描述的方法。替换地，可以利用包含专用硬件的专用计算机，用于实现本发明的一个或多个功能性任务。
本发明可以嵌入在计算机程序产品中，它包括使能实施这里描述的方法和功能的所有的特征，以及当被装载在计算机系统时，能够实现这些方法和功能。计算机程序、软件程序、程序、程序产品或软件，在本上下文中意思是打算使得具有信息处理能力的系统直接地或在以下任一项或二者之后执行特定的功能的以任何语言、代码或表示法表示的指令组的任何表达式(a)变换到另一种语言、代码或表示法；和/或(b)以不同的材料形式重现。
权利要求
1.一种被应用到与接连的情景相对应的视频序列的编码方法，该接连的情景被再划分成接连的视频对象面(VOP)，该方法为编码所述情景的所有的视频对象而生成由编码的视频数据构成的编码的比特流，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述，所述方法的特征还在于，所述句法包括特定的信息，该特定的信息以高的描述级别表示在所述编码比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
2.按照权利要求1的方法，其中所述特定的信息包含以下附加句法元素video_object_layer_shape 1比特number_of_video_object_layer_additional_channel_descriptions n比特video_object_layer_additional_channels[i] 1比特第一元素表示是否存在然后应当被译码的轮廓或形状信道，第二元素代表在编码的比特流中存在的附加信道句法元素的数目，以便描述所述比特流的内容，以及第三元素表示是否存在由数值[i]寻址的信道，i取0与2n-1之间的数值。
3.按照权利要求1的方法，其中所述特定的信息包含以下附加句法元素video_object_layer_shape 1比特number_of_video_object_layer_additional_channel_presence n比特video_object_layer_additional_channels[i] 1比特第一元素表示是否存在应当被译码的轮廓或形状信道，第二元素代表在编码的比特流中存在的附加信道的数目，以及第三元素表示是否存在由数值[i]寻址的信道，i取0与2n-1之间的数值。
4.按照权利要求1的方法，其中所述特定的信息包含以下附加句法元素video_object_layer_shape 1比特video_object_layer_additional_channels[i]1比特，0≤i≤2n-1第一元素表示是否存在然后应当被译码的轮廓或形状信道，以及第二元素表示是否存在由数值[i]寻址的信道，i取0与2n-1之间的数值。
5.按照权利要求2到4的任一项的方法，其特征在于，在比特流中不提供video_object_layer_shape句法元素。
6.一种用于编码与接连的情景相对应的视频序列的设备，该接连的情景被再划分成接连的视频对象面(VOP)，所述设备包括用于将所述序列的每个情景构建为视频对象(VO)的合成的装置，用于编码每个所述VO的形状、运动和纹理结构的装置，以及用于把这样得到的编码基本流复接成由编码的视频数据组成的单个编码比特流的装置，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述，所述设备的特征还在于，它还包括用于把特定的信息引入到所述编码的比特流的装置，该特定的信息以高的描述级别表示在所述编码比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
7.一种可传输的视频信号，包含通过被应用到与接连的情景相对应的视频序列的编码方法而生成的编码的比特流，该接连的情景被再划分成接连的视频对象面(VOP)，为编码所述情景的所有的视频对象而生成的所述编码的比特流由编码的视频数据组成，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述，所述信号的特征还在于，所述编码的比特流还包括特定的信息，该特定的信息以高的描述级别表示在所述编码的比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
8.一种用于接收和译码视频信号的设备，该视频信号包含通过被应用到与接连的情景相对应的视频序列的编码方法而生成的编码的比特流，该接连的情景被再划分成接连的视频对象面(VOP)，为编码所述情景的所有的视频对象而生成的所述编码的比特流由编码的视频数据组成，其中每个数据项通过一种允许识别和译码所述比特流的内容的所有元素的比特流句法来进行描述，所述内容藉助于分开的信道进行描述，所述编码的比特流还包括特定的信息，该特定的信息以高的描述级别表示在所述编码的比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。
全文摘要
本发明涉及被应用到相应于接连的情景的视频序列的编码方法，该方法生成编码的比特流，其中每个数据项藉助于允许在译码侧识别和译码所述编码比特流的内容的所有元素的比特流句法进行描述。按照本发明，所述句法包括特定的信息，它以高的描述级别表示在所述比特流中是否存在可遇到的描述所述比特流的内容的各种附加信道。给出了特定的信息的几个例子。
文档编号H03M7/30GK1647538SQ03807322
公开日2005年7月27日 申请日期2003年3月19日 优先权日2002年3月29日
发明者C·迪福尔, G·马昆特, S·瓦伦特 申请人:皇家飞利浦电子股份有限公司