控制和传递异类通信网中数字压缩可视数据的方法和设备的制作方法

专利名称：控制和传递异类通信网中数字压缩可视数据的方法和设备的制作方法
技术领域：
本发明涉及自动管理数字压缩可视数据的传递，特别涉及用于控制在异类通信网络中的数字压缩可视数据的比特率和容错性(error robustness)的设备和方法。
随着新的通信系统的出现，除了高效的声音服务之外，还可以传送数字可视信息和数据。这种新通信系统既包括有线网络，也包括无线网络。在有线网络的环境中，在个人和公共领域中都开发了分组和电路交换通信系统，用于广域和局域覆盖。作为基于分组的通信的一部分，在诸如作为公司基础结构的一部分的局域网和诸如公共因特网的广域网之间交换相当多的数据。在这个领域中已经出现了对服务质量(QoS)担保的服务，以支持可视和多媒体通信。
也已经开发出新的无线系统来支持比以前具有更高比特率的信息传输。这些无线系统与国际蜂窝式通信标准相一致，包括使用了时分多路访问(TDMA)和码分多路访问(CDMA)的数字通信空中接口标准。广泛使用的TDMA通信的一个例子是全球移动通信系统(GSM)。CDMA形成了第三代蜂窝式通信标准IMT-2000的基础。
这些通信系统(有线和无线的)的大多数都已经被设计为允许在每个系统的基础结构内相连的用户和那些使用基础结构之外的设备的用户之间进行最大量信息的交换。例如，IMT-2000协议可以支持从无线终端到位于分组交换有线系统上的终端的数据通信。此外，在这些通信系统内，终端或客户可以作为服务器根据它们在每个系统中的位置以不同的比特率连接到其他终端。这产生了异类通信网络的概念，异类通信网络是包括不同的或不相似的连接但常常传送相似信息的网络。
当考虑异类通信网络中的可视信息的通信时，则出现了问题。出现的第一个问题是可视信息、特别是数字压缩可视信号比在相同时间间隔上压缩的同等语音信号需要大得多的带宽。在具有不同标称传输比特率的系统之间传输可视信息会出现很多困难，因为从这些不兼容的比特率中会产生时延。另外，异类网络中的不同通信系统的各种误差特性也产生可视信息传输的问题，因为很难在视觉空间中遮盖这些误差。
并不仅仅是这些问题组成了在不同系统上传送可视信息的困难。被设计为在异类网络中开发可视信息的通信的服务必须并且必然依赖于数字压缩视频的存在。因此，不仅产生新内容还要利用现有内容则是这些服务的进一步开发和成功的主要焦点。对于单行的视觉应用，已经存在相当多的用于培训和娱乐的数字编码内容，这些内容可以被传递给无线网络上的移动用户或以不同速率连在有线网络上的客户。现有的或“传统”的视频资料主要用ISO MPEG-1和MPEG-2标准编码，但传统内容也以ITU-T H.261、少量以H.263标准的形式存在。这种资料对于新多媒体服务具有较高的价值，同时导致新视觉编码标准、例如ISO MPEG-4的接受和使用。
在低带宽有线和无线网络上传递传统数据的一个问题是原来编码的带宽一般超过该网络的容量，其中假设在该数据的传递上有一个最大延迟限制。例如，一些无线移动系统可以具有支持MPEG-1译码的多媒体终端，但到允许多媒体的移动终端的信道速率可能仅为64Kbps。在这种情况下，在开始重放之前，以1.5Mbps编码的MPEG-1资料将需要相当长的缓冲延迟时间。除非大多数序列被事先下载，否则将出现停转，因此译码器的缓冲器腾空的速度将比填充要快得多。并且，移动终端不太可能能够提供足够的存储器来缓冲长序列。因此，需要能够成功地将这种类型的高比特率数据处理到低速率，以使得其与网络上的低带宽连接相兼容。
由于具有发送和交换可视信息的能力的新的有线和无线通信系统的出现，对于管理在这些网络上传递的可视内容的方法和设备的需求相当大。特别地，需要自动管理预先存在的数字视频比特流的比特率和容错性、以使得其能够在异类网络中的任何节点以可兼容形式传递给用户的技术。
因此，简要地说，本发明提供一种用于以自动方式改变在网络中一源点的数字压缩视频比特流、以使得产生的比特流与在异类通信网络中的接收点的不同带宽和差错复原能力要求相兼容的方法和装置。该新颖的方法包括分析原始比特流的标题信息，以确定其编码参数。然后采用从网络上的接收点的反馈来确定网络的误差特性。带宽和差错复原能力要求建立了对原始比特流的相关和非相关比特的优先化和选择，其中，相关比特由一个坚韧性调整器来控制，以实现网络中的差错防护。该方法的主要发明部分包括识别非相关和低优先权视频比特、故意引入分组损耗以减少比特率、对于比特流的非相关和低优先权部分使用替换标记、以及为提高差错复原能力而插入再同步标记。


图1是依据本发明的一个实施例的用于处理一个输入比特流并输出一个与接收终端兼容的比特流的比特流调整系统的方框图。
图2是依据本发明的用于以可量测(scalable)信息调整编码的比特流以产生一个与接收终端兼容的比特流的方法的一个最佳实施例的概括流程图。
图3A、3B和3C例示性地提供了将再同步标记插入一个比特流以及变换一个视频分组中的不同编码分量以支持坚韧译码的例子。
图4A和4B例示性地提供了在比特率调整之后将替换标记插入一个比特流、以保持在兼容接收终端的译码质量的例子。
图5显示了依据本发明的用于处理一个编码视频数据比特流中的比特、以产生一个与接收终端兼容的比特流的设备的一个最佳实施例的方框图。
下面参考图1-5更全面地说明本发明。图1显示了一个可视比特流调整方法的方框图100，该方法定义了一个以这里所述方式操作的控制系统。输入比特流101通过标题分析级103，标题分析级103提取出关于用于产生该比特流的标准类型的信息。该信息通过标准类型识别级105，在主比特流控制107中产生控制参数的分配(assignment)，主比特流控制107接收描述接收终端性能的输入参数109。将这些步骤设计为设置系统，以用于对比特流适当的调整以及将其从发送者可兼容地发送到接收端。特别地，对比特流编码所用原始可视编码标准的识别与关于接收端性能的信息一起确定出在能进行可兼容通信之前必须对比特流进行处理的程度。
主比特流控制步骤的输出连到坚韧性调整级111。在这一级中，对调整了比特率的比特流进行修改，以提供出与连接源端和接收端的信道的差错特性兼容的比特流。这个坚韧性调整依赖于在105识别出的原始比特流的标准类型。调整是通过对可视信息的编码帧中的比特进行分组而完成的，其中分组是以一种使得差错可以由坚韧译码器检测、定位和隐蔽的方式进行的。使用再同步标记113来使得可视比特流与支持子帧再同步的标准一致。坚韧性调整步骤处理该比特流，使得对于由插入的再同步标记界定的每段比特的独立译码是可能的。在预测编码信息的情况下，用只使用相同段内的预测的同等信息来替换该信息。这一级被称为视频分组转换115。例如，这适用于用从相同段中的信息计算出的运动矢量差对通过再同步段计算出的运动矢量差的码字替换。
视频分组转换步骤的输出连到比特率调整级119，该比特率调整级119接收故意分组损耗信息117，并另外舍弃非相关比特121，以减少比特流的比特率。比特率调整级的目的是调节输入比特流的比特率，以使得传递的比特流与接收端及其传送信道的性能相兼容。这是通过处理和去除输入比特流中的比特实现的。本发明并未提供对比特流明确译码和再编码(也称为转换代码)的机构，但却支持对比特流的在压缩域内的码字转换。比特率调整器从输入的比特流有选择地去除信息，以使得输出比特流与可兼容的传递比特率相一致。故意分组损耗117提供了一个机构来减少低于原始输入比特流的最低基层比特率的比特率。术语“基层”用于描述可定标比特流的最低优先权的可独立译码层。当丢弃选定分组的比特时，在接收端被截短的比特流仍然能够被坚韧译码器有效译码，而质量不会明显下降。
将替换标记123插入比特流的应用使得译码器不需要在标称相关标准译码器上的附加性能就能够无缝隙地对一个调整了比特率的比特流进行译码。这种情况的一个例子是一个诸如MPEG-2的标准需要一个预先指定的编码帧速率、例如每秒30帧，而这些帧被比特率调整器丢弃了。在这个例子中，替换标记是预先确定的二进制码字，代表空帧，并保留比特流中的编码帧的时间关系。
最后，将经过处理的输入比特流传递给异类网络，随后传递给接收端。上述方法100提供了对从各种源端向具有不同带宽和容错能力的接收端传递标准化数字压缩可视信息的问题的一个解决办法。该整个方法支持所有类别的现有可视编码标准，这是通过适应每个标准的特定语法元素、并只将本发明的每一级利用到仍然产生与该标准相一致的比特流的程度上来实现的。
图2显示了用于对以诸如INTRA(I)、PREDICTED(P)和BI DIRECTIONALLY PREDICTED(B)帧的优先化帧类型和/或包括时间、空间和SNR可量测帧的可定标帧类型编码的比特流进行调整的方法的一个最佳实施例的概括流程图200。具有I、P和B帧的比特流的自发国际标准的例子包括MPEG-1、MPEG-2、MPEG-4和H.263 v2。具有可量测帧的比特流的标准的例子包括MPEG-2、H.263 v2和MPEG-4。在所有情况中，最佳实施例200定义了一种用于处理具有多个帧类型的标准适应比特流以便在在一个异类网络上传递之前调整该比特流的比特率和容错性的方法。
本发明的最佳实施例如流程图200所示，其中，输入MPEG-4比特流201具有两层基层209和时间可量测增强层211。时间可量测增强层是由MPEG-4标准支持的语法元素，包括在时间上交织有基层视频帧的多个视频帧。译码器可以对该时间可量测层的所有帧或一些帧译码或不对任何帧译码，而不影响被译码的基层的标称质量。这是因为在MPEG-4的语法中该可量测层并不用于预测在可量测的同一层或较低层的任何信息。
如203所示，以输入的预定列表的标准标题代码204分析输入比特流201。该分析彻底地将标准标题代码列表与输入比特流中的相关前导比特进行比较，以确定用于压缩该比特流的标准和语法。然后将该比特流进行多路分离207，以提供两个独立比特流，一个基层209和一个时间可量测层211。从输入比特流提取出定义基层和增强层的关系和类型的参数205，并传送到这个最佳实施例的主比特流控制级213。由主比特流控制级共同处理独立比特流209和211。主比特流控制级也接收来自网络的控制信号215，该控制信号描述接收端的性能，在215中为“Recv.Caps”。特别地，这些控制信号表明所希望的在网络上的传送带宽以及网络上的接收端位置。这个位置信息说明接收端的信道状态，并表明它是通过网络的有线还是无线支路连接的。
主比特流控制213将比特流送给坚韧性调整级217。调节输入数据的差错复原能力，以减轻在接收端的译码器中的差错影响。在由图2的流程图200所述的最佳实施例中，这是通过将再同步标记插入219基层比特流209、即允许对坚韧译码器中的差错定位的MPEG-4的语法元素来实现的。插入这些标志是调节比特流中的码字所必须的，以使得预测编码的信息不需要来自独立视频分组的值，其中这些独立视频分组是由在由再同步标志的不同集合所界定的段中包含的比特表示的空间区域。这是通过对不同编码的代码的转换221来实现的，这将在后面进一步详细说明。
图3A、3B和3C例示性地提供了将再同步标记插入比特流以及转换一个视频分组内的不同编码分量以支持坚韧译码的例子。在图3A中，301表示一个没有子帧再同步的视频帧的语法元素的最高级的原始视频帧比特流。这样一个比特流在存在信道差错的情况下的差错复原能力很差，因为所有信息都是在该比特流的编码宏块(macroblock)数据部分内被预测编码的。当出现差错时，只有当遇到下一个唯一的视频帧标题时，才有可能继续进行译码。本发明解决了这种对差错定位能力差的问题，如图3B所示，在总体上由303表示。在图示303中，显示了一个具有视频分组再同步的比特流。在这个比特流中，插入的再同步标记使得译码器能够将差错定位到该比特流的较小部分，并因此在易出差错的异类通信网络的一个接收端产生更高级别的质量。在图3C的305显示了关于最常用的预测编码语法元素-运动矢量的用于转换在新形成的视频分组内的预测编码码字的方法。如图3C中的放大的细节所示，在宏块X的运动矢量码字被计算为在X的运动矢量与在相邻宏块位置A、B和C的运动矢量的一个函数的差。当如参考图3B所述地插入一个再同步标记时，产生预测码的新的视频分组边界。这个边界防止在任一个相邻视频分组由于差错而被破坏的情况下的当前视频分组的讹误。于是，只相对于位于同一视频分组内的最近的宏块来计算运动矢量码字，即运动矢量差(MVD)。这在图3C中显示为MVX-f(MVC)，来代替MVX-f(MVA，MVB，MVC)，其中f(a)是由相关视频标准的语法定义的函数，通常被定义为中值算子。定位预测码的方法包括只分析和识别使用相关标准中的预测编码的当前码字，并将这些码字转换成适当的码元，用于定位的预测码字。在MPEG-4的环境中，这适用于对运动矢量差码字的简单转换，如图3C的305所示，并以相同的方式适用于任何预测编码纹理数据，包括量化参数和DCT系数值。
在坚韧性调整级217之后，将修改的比特流数据以及未由步骤219和221修改的比特流的那些部分传递到比特率调整级223。采用了两种技术来达到所需的比特率，所需的比特率低于输入比特流的比特率。第一个降低比特率的方法是舍弃该比特流中与低优先权帧相联系的比特。与时间可量测帧相联系的比特代表最低优先权比特，被首先从输入比特流中舍弃，如227所示。基层比特流代表不会直接影响一个典型译码器的性能的可达到的最低比特率比特流。然后通过与比特率调整级223相连的分组损耗指示标志225引入故意分组损耗。这些分组损耗指示标志225用于从基层比特流中舍弃比特229，从而产生具有降低的比特率的输出比特流。
故意分组损耗的引入代表这个最佳实施例的一个关键的新颖要素。故意将分组损耗引入基层比特流的特定方式采用了一个预定的丢弃方案。故意丢弃分组的一个预定方案是以均匀的间隔去除与每个视频帧的非邻接逻辑再同步段-在MPEG-4中为视频分组-相联系的比特，直到达到所需的比特率降低量。当从一帧中丢弃一个分组时，丢弃在下一个帧中的一个不覆盖同一空间区域的分组。这防止场景的任何单个区域的严重降级。这是通过保存关于每个丢弃分组中的宏块号的历史信息而实现的。以覆盖上一个丢弃的分组的宏块范围的宏块号开始的分组不被丢弃。依据该方法，在下一帧中第一个顺序未覆盖分组是进行丢弃的第一个候选。在引入分组损耗中这种对统计信息的使用在降低比特率而不显著降低视频质量方面是必要的。
当在输入比特流的视频分组内已经使用了“数据分割”时，在这个最佳实施例中，只有该视频分组的纹理编码分量被丢弃。当在输入比特流的视频分组内还未使用“数据分割”时，在这个最佳实施例中，该视频分组的运动和纹理组合分量被丢弃。当子帧再同步标志还未在原始比特流中使用或者由坚韧性调整级插入时，由该方法丢弃全部视频帧。当丢弃全部视频帧时，B帧是最低优先级，首先被丢弃，随后是P帧，然后是I帧。在时间上离前一个I帧最远的P帧先于其他P帧被丢弃。这是因为出现在比特流中的用于再同步该场景的新I帧的似然性增大了距离最后一个编码的I帧的时间。该方法的这一级的使用被在接收端239存在的坚韧译码器所增强。虽然不需要用于本发明的成功实施，但这样一个终端将隐藏通过丢弃视频分组的比特而引入的差错。
如果接收端性能表明该视频译码器不是一个坚韧译码器，则需要将替换信息插入该比特流中，以保证在接收端的精确译码。在该方法的下一个步骤中，替换码字比特231的引入完成了这个任务。在如流程图200所示的一个最佳实施例中，在步骤223丢弃再同步分组。图4A和4B进一步描述了依据该最佳实施例为两种情形的丢弃MPEG-4视频分组信息插入替换信息的情况。在图4A所示的第一个例子401中，由图2中的比特率调整器217丢弃与一个视频分组的纹理编码部分相联系的比特。第一个例子的部分401a识别一个原始的被数据分割的视频分组比特流；部分401b代表带有替换标记的视频分组比特流。这些由一个唯一的运动标志界定的被丢弃比特与空间预测差错码字(CBPY，DQ，DCT)相联系，其译码值在已经进行了运动补偿之后被加到一个视频帧的空间部分上。这个信息是一个MPEG-4视频分组的最低优先权分量。虽然这个例子例示性地提供了MPEG-4的语法的细节，但相同的概念也可运用到MPEG-2标准的视频语法上。在例子401中，将替换比特以零值预测差错系数的码字(CBPY’，DQ’，DCT’)的形式插入比特流中。这些码字需要与由丢弃比特消耗的比特率相比为可忽略的比特率。在图4B的例子403显示了同一概念的一个更极端的例子，其中，在输入比特流中没有进行数据分割。图4B的部分403a代表一个原始组合运动纹理视频分组比特流；部分403b代表一个带有替换标记的视频分组比特流。在这种情况下，丢弃与该视频分组的有效负载相联系的所有比特。保留视频分组标题，并用来表明该视频分组的边界宏块信息。所使用的替换比特是不包含运动和预测差错信息的块的组合运动和纹理信息的码字(CBP’)。这在例子403中被称为“未编码”码字。与在例子401中一样，由替换比特消耗的比特率与由所考虑的原始视频分组消耗的比特率相比是可忽略的。
继续参考由图2所示的本发明的最佳实施例的说明，在233从比特率调整级输出一个调整了比特率的比特流。将输出比特流传递给异类网络237，以便在接收端239进行后续的译码。
图5显示了一个用于处理数字压缩视频比特流、以产生与异类通信网络的带宽和差错复原能力要求相兼容的输出比特流的设备500的示意图。设备500包括一个与主比特流控制器505相连的标题分析单元，用于确定用于压缩输入比特流501的标准类型和语法。标题分析单元503接收来自一个保存预定标准标题代码的列表的存储模块504的输入，存储模块504使得分析单元能通过对标题比特的完全匹配来计算当前标准和语法。主比特流控制器505是用于根据在单元503中确定的语法从输入比特流丢弃选定的比特的装置。主比特流控制器505包括坚韧性调整模块509、比特率调整模块511、以及替换标记发生器515。
坚韧性调整模块509是一个根据在单元503中确定的标准类型和语法将预定比特插入该比特流中以提高容错定位并对比特流译码的装置。坚韧性调整模块509还根据插入的再同步标志将任何预测编码信息转换成只依赖于当前视频分组内的比特的码字。坚韧性调整模块509的操作依靠来自标题分析单元503的信号和来自接收端507的反馈，标题分析单元503和接收端507都连接到包含这些模块的主比特流控制器505的输入端。
坚韧性调整模块509的输出连接到比特率调整模块511的输入端，比特率调整模块511是在单元503确定的标准类型和语法的基础上从该比特流舍弃选定比特513的装置。比特率调整模块511是用于丢弃与一个可量测比特流的增强层中的帧相联系的低优先权比特的装置，以及用于丢弃与由再同步标志或图像标题界定的一个视频比特分组中的段相联系的低优先权比特的分组的装置。比特率调整模块511还包含用于记录在前一帧中丢弃的分组的历史信息的存储器，该历史信息用来计算后面的要丢弃的分组。这使得能够避免对一个场景的同一空间区域的重复去除。
比特率调整模块511产生一个与接收端的性能相兼容的输出，接收端的性能由与主比特流控制器505的输入端相连的反馈信号507表示。比特率调整模块511的输出与替换标记发生器515的输入端相连，替换标记发生器515是用于根据在单元503中确定的标准类型和语法插入预定比特以提高对比特流的译码的装置。特别地，替换标记发生器515用被设计为保存任何译码器中的定时和空间信息的短码字来替换由比特率调整模块511丢弃的比特，以使得其不会受不可恢复的差错的影响。
主比特流控制器505的输出与一个异类网络519相连，该异类网络519随即将得到的比特流517传递给在接收端521的坚韧译码器。设备500能够处理由任何视频编码标准产生的比特流。根据特定标准的灵活程度，在比特率调整和容错性方面可以实现各种程度的功能。总的来说，最新标准H.263和MPEG-4可以用于由设备500进行的对这些比特流属性的最精确的控制。
虽然上面描述了例示实施例，但对本领域普通技术人员来说显而易见的是，在不偏离本发明的情况下，可以作出对该用于比特流控制和传递的方法和设备的许多修改和替代。因此，所有这些修改和替代都包括在由附带的权利要求书限定的本发明的精神和范围之内。
权利要求
1.一种用于处理编码视频数据的比特流中的比特的方法，所述方法包括下列步骤确定用于压缩所述比特流的标准类型和语法；将预定比特插入所述比特流中，转换预测编码的信息，产生一个具有改进的容错定位的中间比特流，并根据所述标准类型和所述语法对所述比特流译码；以及根据用于压缩所述比特流的标准类型和语法从所述中间比特流舍弃所选定的比特，产生一个具有与坚韧接收端相兼容的比特率的输出比特流。
2.如权利要求1所述的方法，其中，确定用于压缩所述比特流的标准类型和语法的步骤还包括下列步骤读取标题比特；以及将所述比特与一预定列表的标准标题进行比较，以识别出一个存在的用于压缩所述比特流的标准类型和语法。
3.如权利要求1所述的方法，其中，插入预定比特和转换预测编码信息的步骤还包括下列步骤插入再同步标志；以及转换不同编码的运动矢量和有关的纹理数据参数，以便将预测编码限制到一个视频分组内。
4.如权利要求1所述的方法，其中，所述舍弃选定比特的步骤还包括下列步骤舍弃与一个可量测比特流的增强层中的帧相联系的低优先权比特。
5.如权利要求1所述的方法，其中，所述舍弃选定比特的步骤还包括下列步骤舍弃与由再同步标志或图像标题界定的一个视频比特分组中的段相联系的低优先权比特的分组。
6.如权利要求5所述的方法，其中，舍弃低优先权比特的分组的步骤还包括下列步骤在前一帧中丢弃的分组的历史信息的基础上选择要舍弃的分组，以避免重复去除一个场景的相同空间区域。
7.一种用于处理编码视频数据的比特流中的比特的设备，所述设备包括用于确定用于压缩所述比特流的标准类型和语法的装置；用于将预定比特插入所述比特流中、转换预测编码的信息、产生一个具有改进的容错定位的中间比特流、并根据所述标准类型和所述语法对所述比特流译码的装置；以及根据用于压缩所述比特流的标准类型和语法从所述中间比特流舍弃所选定的比特、产生一个具有与坚韧接收端相兼容的比特率的输出比特流的装置。
8.如权利要求7所述的设备，其中，所述用于确定用于压缩所述比特流的标准类型和语法的装置还包括读取标题比特并将所述比特与一预定列表的标准标题进行比较、以识别出一个存在的用于压缩所述比特流的标准类型和语法的装置。
9.如权利要求7所述的设备，其中，所述用于插入预定比特和转换预测编码信息的装置还包括用于插入再同步标志并转换不同编码的运动矢量和有关的纹理数据参数、以便将预测编码限制到一个视频分组内的装置。
10.如权利要求7所述的设备，其中，所述用于舍弃选定比特的装置还包括用于舍弃与一个可量测比特流的增强层中的帧相联系的低优先权比特的装置。
11.如权利要求7所述的设备，其中，所述用于舍弃选定比特的装置还包括用于舍弃与由再同步标志或图像标题界定的一个视频比特分组中的段相联系的低优先权比特的分组的装置。
12.如权利要求11所述的设备，其中，用于舍弃低优先权比特的分组的装置还包括在前一帧中丢弃的分组的历史信息的基础上选择要舍弃的分组、以避免重复去除一个场景的相同空间区域的装置。
全文摘要
一种自动处理数字压缩视频比特流以使得产生的比特流与在异类通信网络中的接收点的不同带宽和差错复原能力要求相兼容的方法和装置,其中该方法包括步骤:确定相关编码语法参数,根据来自网络上的反馈识别中间比特流的容错要求并由容错调整器处理该比特流,识别非相关和低优先权视频比特并对其使用替换标记以用于译码器可兼容译码,故意引入分组损耗以减少比特率并保持视觉质量,插入再同步标记并转换预测编码的视频分组比特。
文档编号H04N7/26GK1263421SQ0010030
公开日2000年8月16日 申请日期2000年1月14日 优先权日1999年2月11日
发明者詹姆斯·C·布勒伊莱恩, 马克·R·班纳姆, 谢乌克·L·尚, 乌萨马·Al·谢伊基, 温江涛 申请人:分组视频股份有限公司