专利名称：恒定速率信道可变位速率视频节目的速率控制与缓存保护的制作方法
技术领域：
本发明涉及数字视频节目编码过程中的速率控制以及缓存管理。具体而言，本发明所讨论的是为在恒定速率信道传输多元可变位速率(VBR)视频节目所提供的速率控制以及缓存保护问题。
在一个多元节目传输环境里，数个节目(例如信道)在一个单一的通信信道上得到编码、多路处理以及传输。因为这些节目共享一个有限的信道容量，所以这些节目的总位速率必须不能超过通信信道的速率。这种情况可以通过以下处理而实现运用独立编码对每一个单独的节目位速率进行控制，或运用统计复用器对总位速率进行控制(此方法也被称为联合编码)。
另外，影片等类型的视频素材可以得到预先压缩和储存以便进行后续的传输。当统计复用器使徒对预先压缩的节目位流与原始的、未压缩的数字视频序列进行整合时，这种做法会造成困难。
此外，有必要确保编码器和解码器的缓存不会产生溢出或下溢。
因此，较佳的方法是具有一个速率控制和缓存保护系统，该系统可以解决上述问题及其他问题。该系统应该与进行多元视频节目联合动态编码的位分配策略兼容，该策略根据节目的相对复杂性为每一个节目都分配一个逐帧的目标位速率。该系统应该为将来的图象帧预定传输速率，这样进入相应解码器缓存的每一个单独视频流的平均输入速率就等于平均的输出速率，而且所有节目的总传输速率也等于信道速率。该系统应该允许编码器和解码器的上限与下限可以在当前帧瞬间的解码端得到测量。
本发明提供一种能提供上述优势与其他优势的速率控制和缓存保护系统。
发明内容
本发明涉及数字视频节目编码过程中的速率控制以及缓存管理。
一个系统被用来为在恒定位速率信道上对多元可变位速率数字视频节目编码时进行速率控制和缓存管理。缓存充满度建立在逐帧的基础上。通过对目标速率运用额外的限制可以实现缓存保护。对编码器缓存保护而言，我们为节目的总速率设定了上限和下限。对解码器缓存保护而言，我们限制了每一个单独节目速率的动态范围。上限与下限都是时序-变化功能(即按照逐帧的方式)。我们也预先设定了将来的传输速率，这样进入相应解码器缓存的每一个单独视频流的平均输入速率就等于平均的输出速率，而且所有节目的总传输速率也等于信道速率。由于我们对上述两种情况都设定了将来的传输速率，解码器缓存保护的上限与下限在当前帧瞬间就变成了可以测量的量，这就允许在编码端对解码器缓存保护进行管理。该系统适合分层位分配方案中的运用，该分配方案包含一个超图象组(GOP)层次，一个超图象帧层次，以及一个图象帧层次。
一种为多个L可变位速率视频节目进行编码特殊方法，其包括以下步骤根据一个分层方案，为视频节目编码分配位，该分层方案至少包括(a)一个超图象组(GOP)层次，其中一个超图象组至少包含一个来自每个视频节目的图象组，而且具有N个帧的一个长度，以及(b)一个帧层次。对于每一个第1节目而言，根据至少N个早先帧的平均压缩位数目，相应的当前第N帧被设定了一个传输速率，其中早先帧包括一个当前帧之前从N′+N-1帧开始的帧，一个在当前帧之前N′帧终止的帧，以及它们之间的多个帧。N′是一个设定解码器的解码延迟，其接受一个相应的视频节目。
例如，一个超图象组长度为N＝45帧，且一个解码延迟为N′＝15帧，那么传输速率的设定可以基于45个早先帧的被压缩位的平均数，包括一个在当前帧之前的59帧开始的帧，以及一个在当前帧之前15个帧终止的帧。
本发明还提供了一种对应的装置。
图1举例说明一个符合本发明的编码器/解码器。
图2举例说明一个符合本发明的超图象组构造。
图3举例说明一个符合本发明的超级帧构造。
图4举例说明一个符合本发明的编码器缓存充满度对比时序曲线图。
图5举例说明一个符合本发明的解码器缓存充满度对比时序曲线图。
图6举例说明一个符合本发明的N个超级帧窗口。
具体实施例方式
本发明涉及在数字视频节目编码过程中的速率控制和缓存管理。
一个动态的位分配策略用于多元视频节目的联合编码，见L.王(Wang)和A.文森特(Vincent)的讨论″为多元视频节目传输联合编码而设计的位分配和限制″，载于《IEEE Trans视频技术电路和系统》，第9期，第949-95页，1999年十月。这个动态位分配策略根据每个节目的复杂度为每个节目分配一个逐帧的目标速率，在多个节目中和在一个节目里形成一个相对统一的质量。
为多元视频节目进行联合编码的动态位分配策略可以得到缓存保护，其藉由为图象的目标位速率应用附加限制而实现。对于编码器缓存保护而言，限制仅在总速率上得到应用，而对解码器缓存保护而言，需要在每个单个的节目速率上加以限制。应该说明解码器缓存保护需要为未来帧的传输速率加以控制。这些未来传输速率得到了预定，因此输入相应解码器缓存的每个单个视频流的平均输入速率就等于平均输出率，而且节目总传输速率也等于信道速率。因为对未来传输速率加以预定，所以在当前帧瞬间的编码端上限和下限变成了可测量的量。
1.概述图1显示了一个编码端100，一个恒定速率信道160，以及一个解码端180，该解码端可以是一个用户终端(机顶盒)，一台个人电脑或位于最终用户端的其他装置。
在编码端100，我们认定一定数量未经压缩的视频节目(节目1，节目2)被提供给相应的编码器110，115。最佳状态是，一个或多个已经压缩的位流，例如节目L，可以被提供给相应的换码器，例如换码器120。译码、编码等词在此被用来表示对未经压缩和经过压缩的视频节目的处理。未经压缩的节目得到初次编码，而经过压缩的节目得到重新编码，通常以不同的位率来进行。
编码器110，115以及换码器120根据速率控制功能105指定的一个目标位率对相应的数据进行编码。经过编码的数据被提供给一个多路复用器125，并提供给一个缓存130以便通过恒定速率信道160传输到解码端180。
在解码端180，一个所选节目的信息包被卸除和解码。具体而言，传输在一个多路分解器185处得到接收，并以一个数据率Rcl，n+N’被提供给一个缓存190。缓存190以Rl，n速率向一个解码器195输出数据以提供一个经过解码的节目，一般被称为节目1。Rcl，n+N’表示在第(n+N’)帧期间从节目1信道上接收的一定数量经过编码的位(第(n+N’)帧期间即n+N’帧瞬间与n+N’+1帧瞬间之间的时序——我们将结合图5对此进行进一步讨论)，其中n是一个超帧索引，而N’是一个解码延迟，例如，从输入到编码器缓存到解码器缓存输出之间的延迟。R1，n表示一个第一节目在第n帧期间的位数量。
在一个多元节目传输的环境里，数个视频节目1，……L被挤进单一的恒定速率信道160，如图1所示。很明显，这些节目将不得不共享信道容量。通过控制每一个单独的节目速率(独立编码)或控制总速率(联合编码)可以实现这种情况。不同于独立编码的是，联合编码延长了对一个额外向度的控制，也就是说，节目向度。这就给在节目之间分配信道容量提供了更多的自由，而且因此也比独立编码更高效、更有效。
联合编码仅控制总速率，同时允许每一个单独的速率发生变化。因此，每一个单独的视频位流的行为都在某种程度上类似VBR视频。VBR视频的主要优势在于恒定的质量。实际上，使整体质量得到最大化发挥的必要条件之一就是为所有的节目都提供平等的质量。
以上提到的由L王等人所写的论文提出了一种用于联合编码的动态位分配策略，该策略在节目之间根据节目相对复杂程度动态地分配可用的编码位。这意味着更复杂的节目可以获得更多的位，而复杂程度较低的节目则获得更少的位。但是，考虑到一个既定的恒定速率信道，一个节目分配到的速率并不仅依赖于节目本身的复杂程度，而且依赖于其他节目的复杂程度。具体而言，每一个编码器为每一个来自速率控制引擎的输入帧接收到一个目标速率。然后编码器试图通过对参数(例如量化参数)进行编码来满足该目标。得到的统计数据，例如用于一个帧的平均量化参数，为该帧生成的经压缩的位数量，以及缓存充满度，这些数据被送回速率控制引擎。有了更新过的信息，速率控制引擎为即将开始的未来帧决定出一套新的目标速率。为了消除压缩过的视频位流速率中的变量，缓存被插入编码端和信道之间，同时也被插入信道和解码端，见图1所示。这种位分配策略在节目之间以及一个节目当中导致了相对统一的质量——这就是VBR视频的一个典型特征。
然而，编码/传输端也有职责去避免编码器和解码器缓存出现溢出或下溢。与CBR(恒定位速率)视频相比，为VBR视频采取的缓存保护是一种更具挑战性的问题。对CBR视频而言，只要编码器缓存从不滥出或下溢，解码器缓存是安全的。然而，相同的理论不适用于VBR视频。大体上，为VBR视频采取的缓存保护是基于应用程序的。
本发明在恒定速率信道传送多元VBR视频提供缓存设定和保护。编码器和解码器缓存充满度的设定是以逐帧为基础的。基于这种设定，我们推论出分析性的目标速率上限和下限，两者由动态位分配所决定。编码器缓存保护所用的上限和下限仅适用于总速率。然而，对解码器缓存保护而言，我们需要限制每个单独位速率率的动态范围。上限和下限都是时序改变功能(也就是，在逐帧的基础之上)。只要总速率和单独速率都在它们的对应上限和下限范围里，编码器和解码器缓存就永远不会溢出或下溢。
我们要进一步说明，为解码器缓存设计的上限和下限需要关于未来帧传输速率的信息。我们预定这些未来传输速率，这样能满足下列两个条件1.进入相应解码器缓存的每个单独的视频流平均输入率等于平均输出速率，而且2.节目的总传输速率等于(或小于)信道速率。
第一个条件是为正确解码准备的，第二个条件是为压缩位的可靠传输准备的。藉由为上述的两个条件预设未来传输速率，我们生成的上限和下限在当前帧瞬间的编码端是可测量的。这就允许解码器缓存保护可以在编码端得到解决。
在以下部分中，我们将简短地概观L.王等人在上述论文中讨论的位分配策略。在第3节中，我们将讨论编码器和解码器的缓存设定和保护问题。
2.动态的位分配L.王等人在上述论文中讨论的动态位分配方案具有一种分层性质。在分层的最高层，输入节目在概念上被分为具有相同数目的超图像组I-，P-和B-图象。这里，我们认为图1中的编码器是MPEG-2编码器(ISO/MPEG II DIS 13318-2)，″总编码活动图象和联合音频″，1994年3月)。因为超图像组包含同样数量的I，P和B图象，所以它们被分配了相同的标称位数目。一个超级帧在每个帧瞬间被定义为帧的集合，在相同的帧瞬间从每一个节目获得一个集合。依照超级帧相对复杂度，一个超级帧被分配一个目标速率。超级帧的目标速率然后依照帧复杂度被分配到超级帧中的各个帧。下面简要叙述三个步骤的位分配策略。
2.1超图像组以及标称速率图2举例说明一个符合本发明的超图像组构造。L节目在概念上被分为超图像组(L，N)，在此L是节目的数目，而N是节目图像组长度的最小公倍数。
一个第一超图像组200包括从节目1(210)，节目2(220)……到节目L(290)的数据帧。每个节目片段，例如，210，220，290，包含来自一个或多个图像组的一定数量的完整帧，此点将依照附图进行进一步讲述。
一个第二超图象组202包含从节目1(212)，节目2(222)……一直到节目L(292)的数据帧。一个第三超图象组204包含从节目1(214)，节目2(224)……一直到节目L(294)的数据帧。
假设有L个可以用任何图象组结构来进行MPEG编码的输入视频节目。我们在概念上根据每一种图象类型的帧数量将L个节目分为相同的超图象组(L，N)。这里，L表示节目的数量，该数量是给定的，N表示超图象组的长度，该长度被设定为等于节目图象组长度的最小公倍数(LCM)N1，l＝1，2，……，L，即N＝LCM(N1，N2，...，NL)(1)例如，如果仅考虑N个节目的两个不同的图象组长度，例如9和15，那么超图象组的长度N＝45。因为所有的超图象组(L，N)[其中N在等式(1)中得到了界定]都包含相同数量的I，P和B图象，所以它们被分配了相同标称的位数量，TL×N，即TL×N＝(L×N).Rchannel(bpf)(2)其中Rchannel(bpf)是信道速率，表示每(通常)帧中的平均位数量。
2.2超级帧和目标速率图3举例说明了一个超级帧，该帧是一个L帧的集合，在相同的时序瞬间从L个节目的每一个节目都得到一个帧。
在每一个帧瞬间n，我们都可以进一步设想一个超级帧300，该超级帧是L个帧或图象的集合，在相同的帧瞬间从L个节目的每一个节目都得到一个帧。例如，来自节目1的帧310，来自节目2的帧320……一直到来自节目L的帧330，这些在概念上都被安排在超级帧300中。很明显，一个超图象组包含N个超级帧。另外，因为这些L个节目可能具有不同的图象组结构，所以在一个超级帧中的L个帧可以有不同的图象类型。
超级帧n的目标位数量见下列等式Tn=Σl=1Lα1β1γ1,n,tC1,n,tΣl=1L[n1,Iα1β1γ1C1,I+n1,pα1β1γpC1,p+n1,Bα1β1γBC1,B]R-----(3)]]>其中
1.Cl，n，t是节目1的帧n的复杂度，其中I∈{I，P，B}，而且它可以是Cl，I，Cl，p或Cl，B，，这取决于I，P，B分别相联的图象类型。
2.α1是用来解决节目1空间分辨率的因素。帧空间分辨率或帧大小在不同的节目中可以是不同的。这个因素可以解决这种差异。
3.β1是节目1的质量(或优先度)加权因素，该因素由节目供应商所决定。
4.γl，n，t是一个恒定因素用来为节目1的帧n的图象类型I∈{I，P，B}进行补偿。它可以是γI，γP或γB，这取决于I，P，B分别相联的图象类型。
5.nl，I，nl，P和nl，B分别是当前超图象组中节目1的剩余I，P，B图象数量。
6.R是当前超图象组中的剩余位数量，被定义为R=R-Σl=1LR1,n-1.]]>另外，对于每一个新的超图象组而言，R被更新为R＝R+TL×N。
等式(3)右侧的分子表示超级帧n中所有帧的复杂量的总和，而且可以被考虑为超级帧的复杂量。分母是当前超图象组中所有剩余帧的复杂量的总和。因此，一个超级帧被分配一个与超级帧的复杂量相应的目标速率。
2.3规则帧的目标速率对于一个超级帧n，如有一个给定的目标位数量Tn，那么超级帧中节目1的(规则)帧n的目标位数量Tl，n就可以被计算为T1,n=α1β1γ1,n,tC1,n,tΣl=1Lα1β1γ1,n,tC1,n,tTn-----(4)]]>中右侧的分子是节目1的帧n的复杂量，分母是超级帧n的复杂量。因此，一个帧被分配一个与其复杂量相应的目标速率。
3.缓存设定和保护位分配策略基于帧复杂量，图象类型，节目图象组结构，节目分辨率，节目优先率以及其他节目的信息为一个规则的帧指定一个目标速率。总的来说，更多的位获得更高复杂度的节目，更少的位获得较低复杂度的节目。与独立编码相比，与动态位分配一起进行的联合编码在节目之间和在一个节目内部导致了相对统一的质量。
在不同节目之间，节目复杂度可以有很大差别，而且一个节目的场景内容也可以作为时序功能而发生重大的变化。因此，不同节目的位分配将是一个时序-变化功能。换言之，节目的编码是根据可变速率进行的。为了消除位速率中的变量，一个编码缓存130被插入到编码器和信道之间，而且一个解码器缓存190被插入信道和解码器之间，如图1所示。因为缓存大小是有限的，所以需要避免溢出和/或下溢以对经过压缩的位进行正确的解码。编码/传输端有责任保证编码器和解码器缓存的安全。如果符合本发明，通过对由动态位分配策略决定的节目目标速率应用额外的限制可以实现这种保护。我们现在通过以下部分对这些限制进行讨论。
3.1编码器缓存设定和保护假定节目Σl=1LR1,n]]>第n个帧的经过压缩的位在n的帧瞬间被立即移入了编码器缓存130。也就是说，我们认为不需要时序将一个帧的位移入编码器缓存，或者将一个帧的位移出解码器缓存。这里Rl，n是节目1的帧n经过压缩的位数量。我们也可以将Rl，n称为节目1的编码速率，因为它是编码器为节目1生成的速率。在第n帧经过压缩的位Σl=1LR1,n]]>被移入缓存130之前，让Bne成为在帧瞬间n的编码器缓存的充满度，如图4所示。
图4显示了一个时序-变化编码器缓存的充满度。水平轴400是一个帧或时序指示，而垂直轴410显示了编码器缓存的充满度Be(例如在位单元中)。
在经过压缩的位Σl=1LR1,n]]>被移入缓存(点425)之前，在n帧瞬间的缓存充满度因此就等于Bne+Σl=1LR1,n]]>(从点420得到了增加)，这是一个局部的最大值，必须等于或小于最大的位尺寸，Bmaxe，即Bne+Σl=1LR1,n≤Bmaxe------(5)]]>
然后，到下一个帧瞬间n+1为止，不再有位移入缓存，但是LRchannel(bpf)位正在移入缓存。注意，LRchannel(bpf)总是恒定的，因为信道速率是恒定的。在n+1帧瞬间(点430)之前的编码器缓存充满度因此是Bne+Σl=1LRl,n]]>一LRchannel(bpf)，这代表一个局部最小值，而且必须等于或大于零，即0≤Bne+Σl=1LRl,n-LRchannel(bpf)------(6)]]>从等式(5)和(6)我们得出LRchannel(bpf)-Bne≤Σl=1LRl,n≤Bmaxe-Bne------(7)]]>这是对为一个给定信道速率(LRchannel(bpf))条件下的节目第n个帧生成的总位数的限制。有了精确的速率控制，第n个帧的总速率应该接近为超级帧n指定的目标速率(等式3)，即Σl=1LRl,n⇒Tn---(8)]]>为节目第n个帧的总位数采取的限制因此可以被移入对超级帧n目标速率的限制之中，即LRchannel(bpf)-Bne≤Tn≤Bmaxe-Bne------(9)]]>因此，在进一步将指定给一个超级帧(例如Tn)的目标速率分配给超级帧之内的各帧之前，我们需要检查Tn是否处于适当的范围之内，如果不在该范围内，那么我们将它按下列等式进行调整 在最佳情况下，为Tn设定的上限和下限的所有条件都在编码端的第n个帧瞬间成为可以测量的量。
3.2解码器缓存设定和保护图5显示了一个时序-变化解码器缓存充满度。水平轴500是一个帧或时序指示，而垂直轴510显示了编码器缓存的充满度Bd(例如在位单元中)。
假定在解码端节目1被选中(图1)而且解码延迟是N’个帧。让Rl，nc成为在第n个帧期间(在点520和525之间)为节目1传输的位数，如图5所示。我们也可以将Rl，nc称为节目1的传输速率，因为它是节目1在网络中的传输速率。注意，在第n个帧期间节目1的传输速率可能不等于帧的解码速率，即Rl,nc=≠Rl,n.]]>另外，开始时，因为N’个帧的延迟，解码器缓存将被充满至Σn=0N′-1Rl,nc,]]>这不一定等于任何位被移出前的Bmaxd。Bmaxd必须在任何位被移出缓存前为N’帧保持位。
在n+N’(点530)的帧瞬间，帧n经过压缩的位Rl，n被移出解码器缓存(在点530)，而且在瞬间移入解码器(进入点535)，而且在n+N’和n+N’+1帧瞬间之间，解码器缓存从网络接收到Rl，n+N’c和帧(见图1和5)。注意，对节目1而言，在第n个帧期间的传输速率和一些其他的任意第m个帧瞬间的速率可能是不同的，即Rl,nc≠Rl,mc]]>，因为n≠m。
在第n帧经过压缩的位被移出之后(点535)，让Bl，n+N’d成为在帧瞬间n+N’的解码器缓存的充满度。显然，Bl，n+N’d是一个局部最小值，而且必须等于或大于零(如果可以适用的话，或者是一个非零的最小缓存充满度)，即0≤Bl,n+N′d------(11)]]>另外，在n+N’+1(点540)帧瞬间之前的缓存充满度是Bl,n+N′d+Bl,n+N′c]]>这是一个局部最大值，而且必须等于或小于最大解码器缓存尺寸，Bmaxd，即Bl,n+N′d+Rl,n+N′c≤Bmaxd-------(12)]]>从等式(11)和(12)，我们得出，0≤Bl,n+N′d≤-Rl,n+N′c+Bmaxd-------(13)]]>在n+N’(点535)帧瞬间的缓存充满度Bin+N’d可以被表达为Bl,n+N′d+Bl,n+N′-1d+Rl,n+N′-1c-Rl,n-----n=1,2,...-----(14)]]>=Bl,N′d+Σn′=0n-1Rl,n′+N′c-Σn′=1nRl,n′-----(14b)]]>=(Σn′=0N′=1Rl,n′c-Rl,0)+Σn′=N′n+N′-1Rl,n′c-Σn′=1nRl,n′--(14c)]]>=Σn′=nn+N′-1Rl,n′c+(Σn′=0n-1Rl,n′c-Σn′=0n-1Rl,n′)-Rl,n---------(14d)]]>=Σn′=nn+N′-1Rl,n′c-Bl,ne-Rl,n------(14e)]]>其中Bl,ne=Σn′=0n-1Rl,n′-Σn′=0n-1Rl,n′c------(15)]]>可以被考虑为一个在节目1的n帧瞬间的虚拟编码缓存的充满度。从等式(13)和(14)，我们得出0≤Σn′=nn+N′-1Rl,n′c-Bl,ne-Rl,n≤-Rl,n+N′c+Bmaxd---(16)]]>或Σn′=nn+N′Rl,n′c-Bl,ne-Bmaxd≤Rl,n≤Σn′=nn+N′-1Rl,n′c-Bl,ne---(17)]]>这是一个对节目1的帧n的位数量的限制。同样，如果一个帧的目标速率不能得到满足，那么一个帧的速率限制就被移入对帧的目标速率的限制(等式4)，即Σn′=nn+N′Rl,n′c-Bl,ne-Bmaxd≤Tl,n≤Σn′=nn+N′-1Rl,n′c-Bl,ne---(18)]]>因此，在开始对节目1的帧n编码以前，我们需要检查其目标速率是否在合适的范围之内，如果不在该范围内，我们要按下列等式进行调整 注意，Bl，ne是一个在节目1的n帧瞬间的虚拟编码缓存的充满度，其定义见等式(15)，而且它在编码端的n当前帧瞬间是可用的。另一方面，节目1在未来帧间隔的传输速率Rl，n′c，n1＝n，n+1，……，n+N’需要得到预定。在确定未来传输速率时，我们给出了两个条件1.进入相应的解码器缓存的每个单独视频流的平均输入速率等于平均输出速率，而且2.L节目的总传输速率等于(或小于)信道速率。
第一个条件是为正确解码准备的，第二个条件是为压缩位的可靠传输准备的。具体而言，我们为节目1的帧n设定传输速率，使之等于最近移出解码器缓存的N个早先帧的经过压缩的位平均数量(见图5)，即Rl,nc=1NΣn′′=n′=N′-N+1n′-N′Rl,n,-----n,=n,n+1,...,n+N,------(20)]]>其中N是超图象组长度。注意，有可能使用其他的早先帧数量作为平均量，例如2N，或在其他的多元N中取平均量等等。显然，这种对未来传输速率的设定满足了第一个条件，即进入相应的解码器缓存的平均输入速率等于平均输出速率。它也使任何帧期间n的L节目总传输速率Σl=1LRl,nc]]>等于信道速率LRchannel(bpf)，即Σl=1LRl,n′c=Σl=1L(1N)Σn′′=n′-N′-N+1n′-N′Rl,n′′---(21a)]]>=1N(Σl=1LΣn′′=n′-N′-N+1n′-N′Rl,n′′)---(21b)]]>=1NTL×X=L1N×LTL×N=LRchannel(bpf)------(21c)]]>注意，等式(21b)括号中的名称是L×N窗口600的位，见图6。图6不一定需要缩放，显示了一个N(超级)帧的窗口，其包括相同数量的I，P，B图象。请注意N是超图象组长度。N’可以大于，等于或小于N。例如，N’可以被设定为15帧，或0.5秒(15帧×1秒/30帧)。
注意，该窗口可以被转移到任何地方。不管窗口被转移到哪里，N’都是一个恒定量。但是，n会变化。
无论窗口被如何转移(向左或向右)，它都包含相同数量的I，P，B图象，正如规则的超图象组。因此，该窗口中的帧的位应该等于一个超图象组的标称数量，即TL×N，(见等式1)。
未来传输在等式(20)中已经得到了定义，因此，所有为节目1的帧n设定的上限条件，等式(17)(18)中的Σn′=nn+N′-1Rl,n′c-Bl,ne]]>在n帧瞬间变成可用的量，或者上限可以在早先帧n-1，n-2……信息的基础上得到计算。但是，在等式(17)(18)中的Σn′=nn+N′Rl,n′c-Bl,ne-Bmaxd]]>下限中，Rl,n+N′c=1N]]>(Rl，n-N+1+……+Rl，n-1+Rl，n)需要有关帧n位数量的信息Rl，n，该信息在n帧瞬间是不可用的。通过将等式(20)替换为等式(18)中的下限，我们得出Σn′=nn+N′-1Rl,n′c+1N(Σn′′=n-N+1n-1Rl,n′′+Rl,n)-Bl,nc-Bmaxd≤Rl,n------(22)]]>或Σn′=nn+N′-1Rl,n′c+1NΣn′′=n-N+1n-1Rl,n′′-Bl,nc-Bmaxd≤(1-1NRl,n)------(23)]]>节目1的帧n的下限因此可以被写成NN-1(Σn′=nn+N′-1Rl,n′c+1NΣn′′=n-N+1n-1Rl,n′′-Bl,nC_Bmaxd)≤Rl,n=Tl,n------(24)]]>其中下限里的所有相联条件(在等式24左侧)现在在编码端的n帧瞬间都是可测量的。
4.结论本发明解决了缓存设定和保护问题以便在恒定位速率信道传送多元VBR视频节目。缓存充满度的设定根据一种逐帧的基础。缓存保护通过对目标速率应用附加的限制而实现。对编码器缓存保护而言，我们为总节目速率设定上限和下限。对于解码器缓存保护而言，我们限制每个单独节目速率的动态范围。上限和下限都是时序-变化功能(也就是，建立在逐帧的基础上)。我们也预设未来传输速率以便满足下列两个条件1.进入相应的解码器缓存的每个单独视频流的平均输入速率等于平均输出速率(即，在一个长时序内，进入解码器缓存之内的位数量等于移出缓存的位数量，因此在缓存中没有剩余的位)，而且2.节目的总传输速率等于对上述的两个条件预设的未来传输速率。
上限和下限对解码器缓存保护而言在当前帧瞬间变成了可测量的量。其优势在于，这允许解码器缓存保护在编码端得到管理。
经过预先压缩的位流也可能被包含在速率控制方案中。
虽然本发明的描述涉及各种不同的具体实施例，应该清楚，在不背离本发明权利要求范围的情况下，可以对本发明作出不同的改编和修改。
权利要求
1.一种为以可变位速率传输的多个(L)视频节目数据编码的方法，其包括以下步骤依照一个分层方案为视频节目编码分配位，该分层方案至少包括(a)一个超图像组(GOP)层，其中超图像组至少包括一个来自每一个视频节目的图像组，并具有一个N帧的长度，以及(b)一个帧层；且对于每个节目，依照至少N个早先帧的被压缩的平均位数目为相应的当前帧设定一个传输速率，其中至少N个早先帧，包括在当前帧之前N′+N-1开始的一个帧，在N′结束的一个帧，以及它们之间的多个帧；其中N′是预定解码器的一个解码延迟，其接收一个相应的视频节目。
2.根据权利要求1所述的方法，其中分层位分配方案包括一个位于超图像组与帧层之间超级帧层；且每个超级帧在一通常帧瞬间包含L张图象，从每个视频节目都获得一张图象。
3.根据权利要求1所述的方法，其中对于每个节目，相应的当前帧和N′未来帧的传输速率是在当前帧被编码的时候得到预定的。
4.根据权利要求1所述的方法，其中；对于每个节目，所述的N个早先帧是最近从预定的解码器缓存中移出的。
5.根据权利要求1所述的方法，其中对于每个节目，所述的N个早先帧是在对当前帧编码时间的开始时起，最近从预定的解码器缓存中移出的帧。
6.根据权利要求1所述的方法，其中对于每个节目，被设定的传输速率导致进入一个预定解码器缓存的平均输入率等于平均输出率。
7.根据权利要求1所述的方法，其中一个为视频节目的相应当前帧设计的总传输速率被维持在一个全部可用的信道速率之中。
8.根据权利要求1所述的方法，其中视频节目被通过一个宽带通信网络传输到一个解码器受众群体。
9.根据权利要求1所述的方法，其中对于每个节目，依照一个平均被压缩的位数目为相应的当前帧设定一个传输速率，其中至少N个早先的帧，包括在当前帧之前N′+N-1开始的一个所述的帧，以及在N′结束的一个所述的帧。
10.根据权利要求1所述的方法，其中对于每个节目，为相应的当前帧设定的传输速率依照N的整数倍个早先帧的被压缩位平均数目。
11.根据权利要求1所述的方法，其中被编码的视频节目包含未经压缩和经过压缩的视频数据。
12.根据权利要求1所述的方法，其中；被编码的视频节目包含未经压缩的视频数据。
13.一种为以可变位速率传输的多个(L)视频节目数据编码的装置，包括依照一个分层方案为视频节目编码分配位的装置，该分层方案至少包括(a)一个超图像组(GOP)层，其中超图像组至少包括一个来自每一个视频节目的图像组，并具有一个N帧的长度，以及(b)一个帧层；且一种对每个节目都依照至少N个早先帧的一个平均被压缩的位数目为相应的当前帧设定一个传输速率的装置，其中至少N个早先的帧，包括在当前帧之前N′+N-1开始的一个帧，在N′结束的一个帧，以及它们之间的多个帧；其中N′是预定解码器的一个解码延迟，其接收一个相应的视频节目。
14.根据权利要求13所述的装置，其中；分层位分配方案包括一个位于超图像组与帧层之间超级帧层；且每个超级帧在一通常帧瞬间包含L张图象，从每个视频节目都获得一张图象。
15.根据权利要求13所述的装置，其中；对于每个节目，相应的当前帧和N′未来帧的传输速率是在当前帧被编码的时候得到预定的。
16，根据权利要求13所述的装置，其中对于每个节目，所述的N个早先帧是最近从预定的解码器缓存中移出的。
17.根据权利要求13所述的装置，其中对于每个节目，所述的N个早先帧是在对当前帧编码时间的开始时起，最近从预定的解码器缓存中移出的帧。
18.根据权利要求13所述的装置；其中；对于每个节目，被设定的传输速率导致进入一个预定解码器缓存的平均输入率等于平均输出率。
19.根据权利要求13所述的装置，其中一个为视频节目的相应当前帧设计的总传输速率被维持在一个全部可用的信道速率之中。
20.根据权利要求13所述的装置，其中；视频节目通过一个宽带通信网络传输到一个解码器受众群体。
21.根据权利要求13所述的装置，其中；依照被压缩的平均位数的相应当前帧针对N个早先的帧，包括在当前帧之前N′+N-1开始的一个所述的帧，以及在N′结束的一个所述的帧。
22.根据权利要求13所述的装置，其中对于每个节目，依照N的整数倍个早先帧被压缩的平均位数为相应的当前帧设定一个传输速率。
23.根据权利要求13所述的装置，其中；被编码的视频节目包含未经压缩和经过压缩的视频数据。
24，根据权利要求13所述的装置，其中被编码的视频节目包含未经压缩的视频数据。
全文摘要
一种为恒定速率信道的可变位速率数字视频节目提供的速率控制与缓存保护的系统。该系统适用于一个分层位分配方案，其包括一个超图像组(GOP)层(200，202，204)，一个超级帧层(300)，以及一个帧层。对每一个具有一个N帧长度的超图象组而言，对每一个视频节目(210，220，……290)而言，依照被压缩的平均位数目为当前帧设定传输速率，其中至少N个早先帧，包括在当前帧之前N′+N－1开始的一个帧，在当前帧之前N′帧结束的一个帧，以及之间的中间帧。其中N′是预定解码器的一个解码延迟，其接收一个相应的视频节目。另外，该系统为未来图象帧预定传输速率，这样进入相应解码器缓存(190)的每一个单独视频流的平均输入速率就等于平均输出速率，而且所有节目的总传输速率也等于信道速率。
文档编号H04N7/50GK1436428SQ01811298
公开日2003年8月13日 申请日期2001年4月11日 优先权日2000年4月19日
发明者王利民 申请人:通用仪器公司