专利名称：用于改善的包损失弹性的h.26l的灵活数据分割和打包的制作方法
技术领域：
本发明总体涉及数据打包，更具体地涉及一种分割和打包方案，用于编码视频的传输、数据分割语法的改进、和相应的网络适配层(NAL)打包处理，使得能够在H.26L协议环境中灵活地进行数据分割。
具有每秒几兆比特至每秒几十兆比特的高带宽能力的WLAN技术的出现，允许通过这种网络的高质量视频流。最近，802.11b成为流行的同时用于商务和家庭的基于标准的无线以太网组网技术。6Mbps的有效载荷吞吐量，对于多数网络应用(包括编码视频广播)已足够快。
但是，对于传输高质量无线视频信号存在许多挑战，主要归因于与带宽约束和高错误率有关的限制。因为无线网络极易受在相同频带工作的其它设备的干扰，因此经常发生包错误或丢失。在802.11b无线LAN环境中尤其如此，其中利用了被微波、无绳电话和/或其他802.11b网络共享的2.4GHz ISM频带。对于经802.11b网络传输视频的另一个挑战是802.11b媒体访问(MAC)层要求丢弃所接收的带有比特错误的包，因而限制了在接收机处校正错误的可能性。
但是MAC层和应用层能够向某些包提供不相等的错误保护(UEP)来保证它们准时到达。例如，即使在降低信道吞吐量50％的共信道干扰下，至少50％的包能够几乎不丢失地被传送。可扩展或分层编码和具有UEP的传输的组合能够保证即使在信道干扰下也能通过视频的主要部分，而仅在信道具有足够吞吐量时通过次要部分。为了获得由数据分割和UEP提供的最大利益，如果丢失增强层包，则对于最佳视频质量来说，约50％基本比50％增强的分割比可能是所希望的。过低的分割比会导致底层网络的UEP能力利用不足。
最近，H.26L标准被用来实现增强的压缩性能，同时提供用于“对话”(视频电话)和“非对话”(存储、广播或流动)应用的“网络友好”的视频表示。H.26L标准包括视频编码层(VCL)(提供视频图像内容的核心高压缩表示)和网络适配层(NAL)(为经特定类型网络的传送打包该表示)。
不幸地是，目前的H.26L视频编码层(VCL)中的数据分割语法对分割比的选择提供极小的灵活性。固定的分割不适于由不同网络(例如802.11a和802.11b)提供的不同的不相等的错误保护能力。固定的分割也不允许基本层视频质量的速率失真最优化。
目前的H.26L(或联合视频组或JVT或MPEG-4视频部分10)规定了字节流(视频基本流)中的数据分割语义，允许三个固定的分段类型分段A，包含编码宏块的报头符号；分段B，包含帧内编码块的编码块模式和DCT数据；和分段C，包含帧间编码块的编码块模式和DCT数据。H.26L还规定了网络适配层(NAL)中的打包处理，即将三个分段打包到三个包中。三个包具有不同的传输(例如RTP或实时传输协议)有效载荷类型，它们将通知应用层或底层网络传输层以提供有区别的业务或不相等的错误保护。在接收机侧，包含不同分段的包被解包和并入单个比特流(具有多个分段)来解码。虽然该系统提供防止包丢失的某种级别的弹性(resilience)，但是它具有几个缺点。
第一，固定分割和NAL打包处理不允许分割操作的任何速率失真最优化。与其中分割点和相应的基本对增强层包边界能够根据画面特性被适配地改变的灵活数据分割相比，这会造成较低的视频质量(在增强层数据丢失时)。
第二，固定分割和打包将基本和增强层的比限制在由报头和运动矢量信息对DCT数据的量所确定的小范围中。因为H.26L标准是为多种应用设计的(例如家庭影院和视频流动)，应用或底层网络将具有不同的不相等的错误保护的能力。基本和增强层分割的固定比将不允许其中不相等的错误保护可用的整个系统性能的最优化。
因此，需要进行改善，以便在H.26L环境中提供更大的数据分割灵活性，这对于支持经不同包丢失网络的视频通信应用是不可或缺的。
本发明致力于解决上述及其它问题，这是通过提供对VCL数据分割语义和相应的NAL打包处理的更改，使得能够进行灵活的数据分割。在第一方面，本发明提供一种H.26L编码系统，包括视频编码层(VCL)，具有分割视频数据的第一分割模式和第二分割模式，其中第二分割模式分开地分割低频和高频DCT系数；和网络适配层(NAL)，将数据打包到第一和第二包中，其中在由VCL实施第二分割模式时，第一包被配置为包含低频DCT系数，第二包被配置为包含高频DCT系数。
在第二方面，本发明提供一种在H.26L环境中分割和打包视频数据的方法，包括提供视频编码层(VCL)，它具有分割视频数据的第一分割模式和第二分割模式；在选择第一分割模式时，将视频数据分割为三个分段(A，B和C)；在选择第二分割模式时，将视频数据分割为第一分段(包含报头信息和低频DCT数据)和第二分段(高频DCT数据)。
在第三方面，本发明提供一种存储在可记录介质上的、用于在H.26L环境中打包和分割视频数据的程序产品，包括视频编码层(VCL)，它具有分割视频数据的第一分割模式和第二分割模式；用于在选择第一分割模式时将视频数据分割为三个分段(A，B和C)的装置；和用于在选择第二分割模式时将视频数据分割为第一分段(包含报头信息和低频DCT数据)和第二分段(高频DCT数据)的装置。
在第四方面，发明提供一种在H.26L环境中解码视频数据的解码系统，其中视频数据以两种方案之一被打包，包括第一方案，其中报头数据被打包为第一包类型，帧内编码块的编码块模式和DCT数据被打包为第二包类型，而帧间编码块的编码块模式和DCT数据被打包为第三包类型；第二方案，其中报头数据和低频DCT系数被打包为第一包类型，而高频DCT系数被打包为第二包类型；并且其中解码系统包括解包系统，用于确定所使用的是第一和第二方案中的哪一个并从包中解包视频数据；和解码器，用于解码视频数据。
本发明的这些和其它特征从以下结合附图的对本发明各方面的详细说明将更易于理解，其中
图1示出了按照本发明一个实施例的H.26L视频传输系统。
图2示出了按照本发明一个实施例的打包边界指示(PBI)字段。
参见图1，其中示出了用于在H.26L编码系统10和H.26L解码系统18之间传输字节流的视频传输网络。H.26L编码系统10包括视频编码层(VCL)12和网络适配层(NAL)16。如本领域公知的，VCL12包括有效表示视频数据内容的唯一语义，而NAL16被定义成格式化该数据并以适于由高层系统传送的方式提供报头信息。所述数据被组织为数据包，其中每个包含整数个字节。这些数据包然后以由NAL16定义的方式被传输。
数据分割以这样一种方式重新安排符号属于单个片段的一个数据类型(例如DC系数、宏块报头、运动矢量)的所有符号被收集在一个开始时字节对齐的VLC编码比特流中。通过从正确的分段取回符号，解码系统18能够处理这样被分割的数据流。
按照本发明，VCL12包括数据分割系统14，它能够根据两个模式(即模式一(M1)和模式二(M2))之一进行分割。包括报头对DCT数据的模式一，由现有的H.26L规范在语义上定义，其中VCL中有如下八个语义单元类型0- TYPE_HEADER1- TYPE_MBHEADER2- TYPE_MVD3- TYPE_CBP4- TYPE_2x2DC5- TYPE_COEFF_Y6- TYPE_COEFF_C7- TYPE_EOS因为分割模式一对现有H.26L规范保持不变，所以保持向后兼容。加入提供DCT分割的模式二来提供增强的分割灵活性。如以下讨论的，NAL打包方案按照在字节流中所使用的分割模式变化。
在分割模式二(即DCT分割)中，TYPE_COEFF_Y和TYPE_COEFF_C的每个进一步被划分为表示高频和低频DCT系数的两个新的分段。即，TYPE_COEFF_Y已被分为TYPE_COEFF_Y_L和TYPE_COEFF_Y_H；而TYPE_COEFF_C已被分为TYPE_COEFF_C_L和TYPE_COEFF_C_H。应当理解，对于这些新类型的命名习惯的选择可以在不偏离本发明范围的情况下进行改变。因此，对于模式二，数据分割系统提供如下10个语义单元类型0- TYPE_HEADER1- TYPE_MBHEADER2- TYPE_MVD3- TYPE_CBP4- TYPE_2x2DC5- TYPE_COEFF_Y_L
6- TYPE_COEFF_C_L7- TYPE_COEFF_Y_H8- TYPE_COEFF_C_H9- TYPE_EOS此外，新字段打包边界指示(PBI)已被添加入TYPE_HEADER的末尾。示例性的PBI字段结构在图2中示出。如所示，PBI字段进一步被划分为三个子字段。第一子字段是打包断点(PBP)(2比特)，指示哪个分段打包应当断开。即通过改变PBI，用户能够选择哪个包应当包括TYPE_CBP和TYPE_2x2DC。第二子字段是分段类型(PT)(1比特)，被设置为0，1被保留。第三子字段是DCT断点(DBP)(5比特)，指示TYPE_COEFF_X_H(X是Y或C)中的第一DCT游程VCL对的索引的开始。因此，预先选定的PBI标识高频和低频DCT系数TYPE_COEFF_X_L和TYPE_COEFF_X_H之间的边界。显然，也能够实施图2所示以外的PBI结构来实现同样的功能，这样的其它结构落在该如上所指出的，NAL打包处理产生两个包，其中每个包包括几个不同类型的分割数据。按照本发明，根据VCL12实施的是哪个模式来选择打包方案。因此，例如分割模式一导致打包方案一被实施，而分割模式二导致打包方案二被实施。NAL16能够根据TYPE_HEADER分段是否以PBI字段结束来确定使用哪个方案。
如果不包括PBI字段，则使用打包方案一(P1)，它反映在当前H.26L规范中使用的方案。如所预期的，所有报头和运动矢量信息被包含在包一中，所有帧内编码块模式和DCT数据信息被包含在包二中，而所有帧间编码块模式(CBP)和DCT信息被包含在包三中。
但是如果TYPE_HEADER分段以PBI字段结束，则打包在方案二(P2)下操作。此时，最终所得包的内容将取决于PBI字段中的值。以下是PBP值为2和PT值为0的例子。
包一TYPE_HEADER(带有PBI字段)TYPE_MBHEADERTYPE_MVDTYPE_CBP
TYPE_2x2DCTYPE_COEFF_Y_LTYPE_COEFF_C_L包二TYPE_COEFF_Y_HTYPE_COEFF_C_HTYPE_EOS在该方案二示例中，低频DCT系数被打包在包一中，而高频DCT系数被打包在包二中。因此，实现了灵活的打包。显然，改变PBI字段中的PBP值将改变方案二下的包的内容。因此，应当认识到，在方案二下能够实现不同的变型。
在图1中还示出了H.26L解码系统18，包括解包系统20和解码器22。在解码之前，包被解包为8(打包方案一)或10(打包方案二)个分段来解码。解码器22从取决于实施哪个方案(方案一(S1)或方案二(S2))的正确的分段取回数据。
可以理解，在此所述的系统、功能、机制、方法、算法和模块能够在硬件、软件或硬件和软件的组合中实现。它们可以由任何类型的计算机系统或其它适于执行在此所述的方法的设备实施。硬件和软件的典型组合可以是带有计算机程序的通用计算机系统，在装载和执行时，所述计算机程序控制计算机系统从而执行在此所述的方法。替换地，可以使用专用计算机，它包含执行本发明的一个或更多功能任务的专用硬件。本发明还能够被嵌入计算机程序产品中，它包括所有允许实施在此所述的方法和功能的特征，并且在装载到计算机系统时，所述计算机程序产品能够执行这些方法和功能。计算机程序、软件程序、程序、程序产品或软件在本文中是指用于使具有信息处理能力的系统直接或在以下任一或两者之后执行特定功能的一组指令的以任何语言、代码或符号的任何表达(a)转换为另一种语言、代码或符号；和/或(b)以不同实体形式再现。
已经为了示例和说明的目的提出了前面的对本发明优选实施例的描述。它们不是用于穷举或将发明限制为所公开的精确形式，显然，能够根据以上教导进行许多更改和变化。这种对本领域技术人员显而易见的更改和变化包括在如所附权利要求书所限定的本发明的范围内。
权利要求
1.一种H.26L编码系统[10]，包括视频编码层(VCL)[12]，具有用于分割视频数据的第一分割模式和第二分割模式，其中第二分割模式分开地分割低频和高频DCT系数；和网络适配层(NAL)[16]，用于将数据打包到第一和第二包中，其中在由VCL[12]实施第二分割模式时，第一包被配置为包含低频DCT系数，第二包被配置为包含高频DCT系数。
2.按照权利要求1的H.26L编码系统[10]，其中第一分割模式包括第一分段，包含编码宏块的报头符号；第二分段，包含帧内编码块的编码块模式和DCT数据；和第三分段，包含帧间编码块的编码块模式和DCT数据。
3.按照权利要求2的H.26L编码系统[10]，其中第二分割模式包括TYPE_HEADER、TYPE_MBHEADER、TYPE_MVD、TYPE_CBP、TYPE_2x2DC、TYPE_EOS，并将TYPE_COEFF_Y和TYPE_COEFF_C的每一个划分为高频类型和低频类型。
4.按照权利要求2的H.26L编码系统[10]，其中第二分割模式包括TYPE_HEADER、TYPE_MBHEADER、TYPE_MVD、TYPE_CBP、TYPE_2x2DC、TYPE_EOS、TYPE_COEFF_Y_L、TYPE_COEFF_C_L、TYPE_COEFF_Y_H和TYPE_COEFF_C_H。
5.按照权利要求4的H.26L编码系统[10]，其中在使用第一分割模式时，NAL[16]将TYPE_HEADER、TYPE_MBHEADER和TYPE_MVD打包为第一包，将TYPE_CBP、TYPE_2x2DC、TYPE_COEFF_Y、TYPE_COEFF_C和TYPE_EOS打包为第二包。
6.按照权利要求4的H.26L编码系统[10]，其中在使用第二分割模式时，NAL[16]将TYPE_COEFF_Y_L和TYPE_COEFF_C_L打包为第一包，将TYPE_COEFF_Y_H和TYPE_COEFF_C_H打包为第二包。
7.按照权利要求4的H.26L编码系统[10]，其中TYPE_HEADER包括一个具有决定高频和低频DCT系数之间断点的打包边界指示的字段，并通知NAL[16]分割高频和低频DCT系数。
8.按照权利要求7的H.26L编码系统[10]，其中打包边界指示进一步确定哪个包应当包括TYPE_CBP、TYPE_2x2DC。
9.一种在H.26L环境中分割和打包视频数据的方法，包括在选择第一分割模式时，将报头数据打包为第一包，将帧内编码块的编码块模式和DCT数据打包为第二包，并将帧间编码块的编码块模式和DCT数据打包为第三包；和在选择第二分割模式时，将报头数据和低频DCT系数打包为第一包并将高频DCT系数打包为第二包。
10.按照权利要求9的方法，进一步包括提供用于分割视频数据的视频编码层(VCL)[12]；在使用第一模式时，将TYPE_HEADER、TYPE_MBHEADER和TYPE_MVD打包为第一包，将TYPE_CBP、TYPE_2x2DC、TYPE_COEFF_Y、TYPE_COEFF_C和TYPE_EOS打包为第二包；和在使用第二模式时，将TYPE_COEFF_Y_L和TYPE_COEFF_C_L打包为第一包，将TYPE_CORFF_Y_H和TYPE_COEFF_C_H打包为第二包。
11.按照权利要求10的方法，进一步包括步骤在高频和低频DCT系数之间设置断点；和将断点存储在TYPE_HEADER中的边界指示字段中。
12.按照权利要求11的方法，其中在边界指示字段被包括在TYPE_HEADER中时，TYPE_COEFF_Y_L和TYPE_COEFF_C_L被打包为第一包，TYPE_COEFF_Y_H和TYPE_COEFF_C_H被打包为第二包。
13.按照权利要求11的方法，其中边界指示字段进一步确定哪个包应当包括TYPE_CBP和TYPE_2x2DC。
14.一种存储在可记录介质上的、用于在H.26L环境中打包和分割视频数据的程序产品，包括一种装置，用于在选择第一分割模式时，将报头数据打包为第一包，将帧内编码块的编码块模式和DCT数据打包为第二包，以及将帧间编码块的编码块模式和DCT数据打包为第三包；和一种装置，用于在选择第二分割模式时，将报头数据和低频DCT系数打包为第一包，而将高频DCT系数打包为第二包。
15.一种在H.26L环境中解码视频数据的解码系统[18]，其中视频数据以两种方案之一被打包，包括第一方案，其中报头数据被打包为第一包类型，帧内编码块的编码块模式和DCT数据被打包为第二包类型，并且帧间编码块的编码块模式和DCT数据被打包为第三包类型；第二方案，其中报头数据和低频DCT系数被打包为第一包类型，并且高频DCT系数被打包为第二包类型；和其中解码系统包括解包系统[20]，用于确定所使用的是第一和第二方案中的哪一个并从包中解包视频数据；和解码器[22]，用于解码视频数据。
全文摘要
一种在H.26L环境中分割和打包视频数据的方法和系统。公开了一种H.26L编码系统10，包括视频编码层12(VCL)，具有分割视频数据的第一分割模式和第二分割模式，其中第二分割模式分开地分割低频和高频DCT系数；和网络适配层16(NAL)，用于将数据打包到第一和第二包中，其中在由VCL实施第二分割模式时，第一包被配置为包含所有低频DCT系数，第二包被配置为包含所有高频DCT系数。
文档编号H04N7/30GK1650637SQ03809722
公开日2005年8月3日 申请日期2003年4月23日 优先权日2002年5月1日
发明者Y·陈, J·C·叶 申请人:皇家飞利浦电子股份有限公司