专利名称：经由视频信道传输多个视频流的方法和装置的制作方法
技术领域：
本发明一般地涉及视频编码，更具体地涉及对多个视频流进行编码以便经由视频信道传输的方法和装置。
背景技术：
当经由单个信道传输多个视频节目时，通过实施联合速率(joint rate)控制器以在各节目之间分配比持、而非为每个节目独立地执行速率控制，可以更有效地使用信道带宽。利用联合速率控制，分配比特使得所有节目的总的比特率满足信道带宽限制。通常地，对于在画面组(GOP)内如何分布比特存在很少的限制，但是如果存在低延迟约束，情况就不同了。为了实现低延迟，GOP的总比特数量和这些比特在GOP上的分布都必须受到约束。
发明内容
本发明处理现有技术的这些和其它劣势和缺点，针对对经由视频信道传输的多个视频流进行编码的方法和装置。根据本发明的原理，描述了对于对应于多个节目的多个流进行视频编码方法和装置。该装置包括用于对要经由通信信道传输的多个流进行编码的编码器。该编码器对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求。根据本发明的ー个方面，提供了ー种用于对对应于多个节目的多个流进行编码的装置，所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器，其中所述编码器对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且其中所述编码器包括速率控制器，用于从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，所述编码器在创建超级画面组之后为各帧选择编码模式；所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。根据本发明的另一方面，提供了ー种用于对对应于多个节目的多个流进行编码的装置，所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器，其中所述编码器对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且其中所述编码器包括速率控制器，用于从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧、同时保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，所述编码器在创建超级画面组之后为各帧选择编码模式，每个超级帧包括来自多个节目的具有同一时间索引的一组帧。根据本发明的另一方面，提供了ー种用于对对应于多个节目的多个流进行编码的方法，所述方法包括对要经由通信信道传输的多个流中的几个流进行编码，其中所述编码步骤包括对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的ー组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组；以及在创建超级画面组之后为各帧选择编 码模式；其中所述内编码的帧的相对定位是基于画面组GOP施加的；并且其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。 根据本发明的再一方面，提供了 ー种视频处理方法，包括对N个视频节目中的每ー个进行编码，以提供N个编码的视频节目，其中N>1 ;以及从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组；以及在创建超级画面组之后为各帧选择编码模式；经由信道传输所述N个编码的视频节目；其中所述传输步骤在时间上对所述N个编码的视频节目中的内编码的(I)帧进行交错，以使所述信道上的比特率峰值最小化；并且其中所述内编码的帧的相对定位是基于画面组GOP施加的；并且其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。根据本发明的又一方面，提供了ー种视频处理装置，包括用于对N个视频节目中的每ー个进行编码的部件，以提供N个编码的视频节目，其中N>1 ;以及用于以下操作的部件，即从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的ー组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，所述用于编码的部件在创建超级画面组之后为各帧选择编码模式；用于经由信道传输所述N个编码的视频节目的部件；其中在时间上对所述N个编码的视频节目中的内编码的I帧进行交错，以使所述信道上的比特率峰值最小化；并且其中所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。结合附图阅读下面的示例实施例的详细描述，本发明的这些和其它方面、特征和优点将会变得显而易见。
根据下面的示例性附图，可以更好地理解本发明，附图中图I是根据本发明的实施例的、本原理可应用于的示例性视频编码器的框图；图2是根据本发明的实施例的、示例性视频流的图；图3是根据本发明的实施例的、本原理可应用于的示例性联合编码系统的图；以及图4是根据本发明的实施例的、对经由单个通信信道传输的多个视频流进行编码的示例性方法的流程图。
具体实施方式
本发明指向对多个视频流进行编码以便在视频信道传输的方法和装置。有利地，本发明解决使用联合速率控制同时控制多节目应用中的比特率和延迟的问题。在一实施例中，本发明在对不可缩放(non-scalable)的视频流进行编码期间，利用低延迟联合速率控制来有效地分配比特。本说明书例示了本发明的原理。因此将了解本领域技术人员将能够设计各种配置，其虽然未在这里明确描述或示出，但其体现本发明的原理并被包括在本发明的精神和范围内。这里所述的所有示例和条件语句意在教学目的，以帮助读者理解本发明的原理和发明人贡献的构思以促进本领域技术，并且被解释为不限于这样具体描述的示例和条件。此外，这里叙述本发明原理、方面和实施例的所有陈述、以及其特定的例子，意在包含其结构上和功能上二者的等价物。另外，其意在这样的等价物包括当前已知的等价物以及将来开发的等价物二者，即无关结构如何的任何执行相同功能的所开发的元件。因此，例如，本领域技术人员将了解这里提出的框图代表体现本发明原理的说明性电路的概念视图。类似地，将了解任何流程图、作业图、状态转换图、伪代码等等代表可基本上在计算机可读介质中表示并可由计算机或处理器执行(无论这样的计算机或处理器是否明确地示出)的各种进程。在图中示出的各种元件的功能可通过使用专用硬件以及能够联合适合的软件执行软件的硬件提供。当由处理器提供时，所述功能可由单个专用处理器、单个共享处理器、或其中的一些被共享的多个单个处理器提供。此外，术语“处理器”或“控制器”的明确的使用不应解释为只代表能够执行软件的硬件，其也可以隐含地、不受限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储。也可包括其它的传统的和/或常规的硬件。类似地，图中所示的任何开关只是概念性的。其功能可通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑间的相互作用、或甚至手动地执行，特定的技术可由实施者选择，其可从上下文中被具体地理解。在本发明的权利要求中，表示为用于执行特定功能的部件的任何元件意在包含执行以下功能的任何方法，所述功能例如包括a)执行该功能的电路元件的组合,或者b)任何形式的软件，因此包括固件、微码等等，其与用于执行该软件的适合的电路结合以执行该功能。由这样的权利要求限定的本发明归于这样的事实由各种所述部件提供的功能性以权利要求要求的方式组合并结合。因此应认为可提供那些功能性的任何部件等价于这里所示的那些部件。转向图1，用附图标记100总的表示可应用本发明原理的示例性视频编码器。编码器100的输入以信号通信与求和点(summing junction) 110的正相输入连接。求和点110的输出以信号通信与块变换器(block transformer) 120连接。变换器120以信号通信与量化器130的第一输入连接。量化器130的输出以信号通信与可变长度编码器(“VLC”)140连接，其中VLC 140的输出是编码器100的外部可用的输出。速率控制器177的第一输入从求和点的输出提供，速率控制器177的第二输入从VLC 140的输出提供，速率控制器177的输出以信号通信与量化器130的第二输入连接。量化器130的输出进ー步以信号通信与反量化器150连接。反量化器150以信号通信与反块变换器160连接，反块变换器160继而以信号通信与參考画面存储器170连接。參考画面存储器170的第一输出以信号通信与运动估计器180的第一输入连接。编码器 100的输入进ー步以信号通信与运动估计器180的第二输入连接。运动估计器180的输出以信号通信与运动补偿器190的第一输入连接。參考画面存储器170的第二输出以信号通信与运动补偿器190的第二输入连接。运动补偿器190的输出以信号通信与求和点110的反相输入连接。如上所述，本发明原理有利地指向对多个视频流进行编码并且经由具有低延迟约束的单个信道传输该多个视频流。联合速率控制器以满足关于总的信道带宽和单个节目延迟的约束、而不允许任何单个编码缓冲器溢出(overflow)或下溢(underflow)的方式,将比特分配给每个节目的每个帧。在一实施例中，将趋于比间编码(P，B)的画面/帧大的内编码(I)的画面/帧从一个节目到下ー个节目进行交错(stagger)，以帮助满足低延迟要求。与没有延迟约束的情况相比，在需要低延迟时，对于每个单个编码画面的峰值大小存在更紧的界限。为此，对于不同的节目在不同的时刻出现通常明显大于经运动补偿的P和B帧的I帧，这会是有利的。已经提出了允许I帧处于不同的节目的不同时刻的传统速率控制方法。然而，与本发明的实施例相关联的原理不同，传统速率控制方式不施加I帧的相对定位。这是因为，与本发明不同，传统速率控制方法不试图约束延迟。转向图2，用附图标记200总的表示根据本发明的原理的示例性视频流。具体地，图2图示对于其中每个节目使用GOP图案IBPBP的情况的L个节目的画面组(GOP)结构，并且均匀分散I帧，使得在时间上任意特定时刻出现最小数量的I帧。也就是说，定位I帧使得在L个节目中在给定时刻不超过预先指定的I帧阈值数量。转向图3，用附图标记300总的表示可应用本发明原理的示例性联合视频编码系统。联合视频编码系统300可包括一个或多个编码器，如參照图I所示出和描述的编码器。假定存在可以对特定的信道带宽联合编码的L个节目。在图3中，T表示来自速率控制器340的目标比特数，R表示产生的压缩比特数，Q表示平均量化參数。联合视频编码系统300包括编码器310、编码器320、编码器330、速率控制器340、多路复用器(MUX) 350以及缓冲器360。编码器310、320和330的第一输入可作为联合编码系统300的输入。速率控制器340的第一、第二和第三输出以信号通信分别与编码器310、320和330的第二输入连接。编码器310、320和330的第一输出以信号通信分别与速率控制器340的第一、第二和第三输入连接。编码器310、320和330的第二输出以信号通信分别与多路复用器350的第一、第ニ和第三输入连接。多路复用器350的输出以信号通信与缓冲器360的第一输入连接。速率控制器340的双向输入/输出以信号通信与缓冲器360的双向输入/输出连接。缓冲器360的输出可作为联合视频编码系统300的输出。现在将给出关于例示本发明原理的示例实施例的描述，其后是对于图4的该示例实施例的进ー步描述。如上所述，假定存在可以对于特定的信道带宽联合编码的L个节目。为了确定对于每个帧的目标比特分配，比特分配算法以分级的方式操作。首先，创建超级(super )G0P，其包括来自每个节目的GOP。为了示例性的目的，假定每个流的GOP大小为N。接着，如下 计算每个超级帧的目标比特分配T(n)(其中每个超级帧是ー组帧，包括在同一时刻(即，具有相同的时间索引)从L个节目的每ー个中取的帧，超级帧中包括的每个帧也被包括在对应的超级画面组中)T-=~T-^-7^]^(1 ノ
Y Nlr^-+ V 上 +Nib上
-L K1 Kp LB Kb _其中应用下列指代1是节目的数量(I到L) ;n iGOP中的帧位置(O到N-1)；t是画面类型{I，P，B}，并且是η和I的函数，即t=t (η, I) ；C(1, n, t)是帧η的复杂性度量(complexity measure) ；K(1, n, t)是画面类型补偿因数{K (I)，K (P)，K (B)} ；N(1, I) >N(l,P),N(l,B)分别是I、P、B画面的剰余数量；以及T(r)是剩余比特数量。可经由以下方程计算节目的目标比特分配Τ(1，η)
—(Tln=^——T(2)
Y—C ,
ザK'在此情况下，速率控制器也为各帧选择编码模式t (I, η)。具体地，在时间上分散各I帧使得在特定超级帧中不会碰到多个I帧，并且更容易地实现高质量低延迟的結果。t (I, η)的ー个可能的实施例是具有IBPBPB序列的GOP的下列示例性算法t (I, n) =1,如果(n-m(l) +N) mod N) =0=B 如果(n_m(l)+N)mod N) mod 2=1=P其它情况其中m(l)=每个节目的起始偏置。例如，如果N=2L，则应用下列m (I)=Om⑵=2m (X) =2 (χ-1)m (L) =N-2
当然，应了解在維持本发明的范围的同时，当N等于或者不严格等于L的倍数吋，可选择其它分布。转向图4，用附图标记400总的表示对经由单个通信信道传输的多个视频流进行编码的示例性方法。每个流对应于在其中实现的各自的视频节目。如上所述，假定存在能对于特定的信道带宽联合编码的L个节目。方法400提供有利的比特分配，在为每个帧确定目标比特分配方面胜过现有技术编码方法。方法400包括开始方框405，其将控制传递给功能方框410。功能方框410创建包括来自每个节目的GOP的超级G0P，并将控制传递给功能方框415。为了示例性的目的，假定每个流的GOP大小为N。功能方框415为各帧选择编码模式t (I, η)，并将控制传递给功能方框420。关于由功能方框415实施的选择处理，具体地说，在时间上分散各I帧，使得在特定超级帧中不会遇到多个I帧(例如，特定超级帧中I帧的数量在预先指定的阈值内)，并且可以更容易地实现高质量低延迟結果。功能方框420例如使用公式(I)为每个超级帧计算目标比特分配Τ(η)(其中每个超级帧是ー组帧，包括在同一时刻(即，具有相同的时间 索引)从L个节目的每ー个中取的帧，超级帧中包括的每个帧也被包括在对应的超级画面组中)，并将控制传递给功能方框425。功能方框425使用超级帧的目标比特分配为每个节目计算目标比特分配Τ(1，η)，并将控制传递给功能方框430。功能方框425可使用例如公式
(2)为每个节目计算目标比特分配。功能方框430基于(每功能方框415的)编码模式选择和(每功能块425的)每个节目的目标比特分配，对各帧进行编码，并将控制传递给结束方框块 435。现在将给出本发明的许多附带的优点/特征中的ー些的描述，其中的ー些前面已经进行了描述。例如，ー个优点/特征是用于对对应于多个节目的多个流进行编码的视频编码器，其中该视频编码器包括用于对经由单个通信信道传输的多个流中的每个进行编码的编码器。该编码器对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求。另ー个优点/特征是如上所述的视频编码器，其中基于画面组(GOP)对内编码的帧施加相对定位。此外，另ー个优点/特征是如上所述的视频编码器，其中对于内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。另外，另ー个优点是如上所述的视频编码器，其中该编码器从多个节目创建超级画面组，并且在保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内的同时，在超级画面组中包括的超级帧内在时间上分散内编码的帧。超级画面组包括来自多个节目中的每个的至少ー个画面组。每个超级帧包括在多个节目中具有同一时间索引的一组帧。本发明的这些和其它特征和优点可被本相关技术领域普通技术人员基于这里的教学容易地确定。应理解本发明的教学可由各种形式的硬件、软件、固件、专用处理器或其组合来实施。最优选地，将本发明的教学实施为硬件和软件的组合。此外，所述软件优选地实施为确实包含在程序存储单元上的应用程序。所述应用程序可被上载到包括任何合适结构的机器，并由其执行。优选地，所述机器在具有诸如ー个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、以及输入/输出(“I/O”)接ロ的硬件的计算机平台上被实施。所述计算机平台也可包括操作系统和微指令代码。这里所述的各种处理和功能可以是可由CPU执行的微指令代码的部分、或应用程序的部分、或其任意的组合。另外，诸如附加数据存储単元和打印単元的各种其它的外部単元可与计算机平台相连接。还应理解由于在附图中描述的ー些系统组成组件和方法优选地实施为软件，依赖本发明被安排的方式系统组件或处理功能块之间的实际连接可能不同。给出这里的教学，本相关领域普通技术人员将能够思考本发明的这些和相似的实施或配置。虽然这里參照附图描述了示例实施例，应理解本发明不限于那些确切的实施例， 在不偏离本发明的范围或精神的情况下，本相关领域普通技术人员可在其中做出各种改变和修改。所有这样的改变和修改意在包括在附加的权利要求中提出的本发明的范围内。
权利要求
1.ー种装置，用于对对应于多个节目的多个流进行编码，所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器(300)，其中所述编码器对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且其中所述编码器(300)包括速率控制器(340)，用于从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，所述编码器在创建超级画面组之后为各帧选择编码模式；所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
2.ー种装置，用于对对应于多个节目的多个流进行编码，所述装置包括用于对要经由通信信道传输的多个流进行编码的编码器(300)，其中所述编码器对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且其中所述编码器(300)包括速率控制器(340)，用于从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧、同时保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，所述编码器在创建超级画面组之后为各帧选择编码模式，每个超级帧包括来自多个节目的具有同一时间索引的一组帧。
3.ー种方法，用于对对应于多个节目的多个流进行编码，所述方法包括对要经由通信信道传输的多个流中的几个流进行编码(425)，其中所述编码步骤包括对于多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组；以及在创建超级画面组之后为各帧选择编码模式；其中所述内编码的帧的相对定位是基于画面组GOP施加的；并且其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。
4.如权利要求3所述的方法，其中所述编码步骤包括从多个节目创建(410)超级画面组；以及在时间上在超级画面组中包括的超级帧内分散(415)内编码的帧，同时保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，每个所述超级帧包括来自多个节目的具有同一时间索引的一组帧。
5.—种视频处理方法,包括对N个视频节目中的每ー个进行编码，以提供N个编码的视频节目，其中N>1 ;以及从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组；以及在创建超级画面组之后为各帧选择编码模式；经由信道传输所述N个编码的视频节目；其中所述传输步骤在时间上对所述N个编码的视频节目中的内编码的(I)帧进行交错，以使所述信道上的比特率峰值最小化；并且其中所述内编码的帧的相对定位是基于画面组GOP施加的；并且其中所述内编码的帧的相对定位使得在多个节目中在不同时刻出现内编码的帧。
6.ー种视频处理装置，包括用于对N个视频节目中的每ー个进行编码的部件，以提供N个编码的视频节目，其中N>1 ;以及用于以下操作的部件，即从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述超级画面组包括来自多个节目中的每个的至少ー个画面组，所述用于编码的部件在创建超级画面组之后为各帧选择编码模式；用于经由信道传输所述N个编码的视频节目的部件；其中在时间上对所述N个编码的视频节目中的内编码的I帧进行交错，以使所述信道上的比特率峰值最小化；并且其中所述装置基于画面组GOP对多个节目中的内编码的帧施加相对定位，以满足对应于多个流的各个流延迟要求；并且所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
全文摘要
提供了一种用于经由视频信道传输多个视频流的方法和装置。提供用于对对应于多个节目的多个流进行编码的装置，其包括用于对要经由通信信道传输的多个流进行编码的编码器，所述编码器对于多个节目中的内编码的帧施加相对定位以满足对应于多个流的各个流延迟要求；所述编码器包括速率控制器，其从多个节目创建超级画面组，取得包括来自多个节目的具有同一时间索引的一组帧的超级帧，并且在时间上在超级画面组中包括的超级帧内分散内编码的帧，从而保证超级画面组中的每个超级帧内的内编码的帧的数量在预先指定的阈值数量内，所述编码器在创建超级画面组之后为各帧选择编码模式；所述内编码的帧的相对定位使得在多个节目中的不同时刻出现内编码的帧。
文档编号H04N21/234GK102833548SQ201210301640
公开日2012年12月19日 申请日期2006年7月27日 优先权日2005年7月28日
发明者玛丽.L.科默, 格雷戈里.W.库克 申请人:汤姆森特许公司