专利名称：分层媒体比特流的打包的制作方法
技术领域：
本发明涉及一种网络流以及一种用于将其中具有编码媒体数据的媒体包封装到该网络流的方法。
背景技术：
对于具有媒体数据的网络流来说，同时实现带宽效率和防止数据损失是很困难的。因此需要增强网络效率和防止数据损失。
发明内容
本发明提供了一种用于将其中含有数据的媒体包封装到媒体数据的网络流的方法，包括提供与网络流的一个基础层流相应的基础层媒体包，基础层流包括网络包；提供与网络流的一个增强层流相应的增强层媒体包，增强层流包括网络包，其中基础层媒体包与增强层媒体包之间存在一一对应关系；将基础层媒体流封装入基础层流的网络包，其中基础层流的每个网络包包括一个标题字段，并且其中基础层流的每个网络包包括一个并且只是一个相应的基础层媒体包；以及将增强层数据媒体包封装入增强层流的网络包，其中增强层流的每个网络包包括一个标题字段，其中任何增强层媒体包的第一部分和第二剩余部分可以选择性的包含在增强层流的连续网络包中，从而使增强层流的每个网络包被填充一个恒定数目的比特NE，NE不超过最大比特数NEMAX，这使得增强层的最后网络包仅需要被填充包括增强层媒体包的最后增强层媒体包所需的比特数目。
本发明提供了媒体数据的网络流，包括一个包括网络包的基础层流，其中基础层流的每个网络包包括一个标题字段，并且其中基础层流的每个网络包包括一个并且只是一个其中具有数据的相应的基础层媒体包。
一个包括网络包的增强层流，其中增强层流的每个网络包包括一个标题字段，其中增强层流的网络包包括其中具有数据的增强层媒体数据，其中基础层包与增强层包之间存在一一对应关系，并且任何增强层媒体包的第一部分和第二剩余部分可以选择性的包含在增强层流的连续网络包中从而使增强层流的每个网络包被填充一个不超过最大比特数NEMAX的恒定的比特数NE，这使得增强层流的最后的网络包的仅需要被填充包括增强层媒体包的最后的增强层媒体包所需的比特数。
本发明在提高其中具有编码媒体数据的网络流的带宽效率的同时防止了数据的损失。
附图1A-1B描述了根据本发明的一个网络流的视频包和网络包，网络包包含视频包，从而网络包具有固定数目的比特。
附图2A-2B描述了根据本发明的一个网络流的视频包和网络包，网络包包括视频包，从而在网络包与视频包之间存在一一对应关系。
附图3A-3D描述了根据本发明的实施例，将基础层视频包和增强层视频包封装入一个网络流的网络包。
具体实施例方式
这里所描述的实施例涉及含有编码视频信息的包。但是这些视频实施例并不意图限制本发明，本发明的范围通常包括含有编码媒体信息的包，涉及诸如视频，音频等的任何媒体。
对视频流打包涉及将编码视频信息的视频包封装到网络包中从而形成视频流的处理。视频流(或者视频比特流)可以尤其使用实时协议(RTP)网络包从发送器发送。词语“流”以及“比特流”在这里具有相同的意思，并且可以交替使用。实时协议作为注释请求(RFC)1889由因特网工程任务组(IETF)公开。
RTP网络包包括一个RTP报头以及一个负载，该负载包括从视频包获得的编码视频信息。RTP报头携带网络包的定时和序列信息。
视频包包括编码视频信息以及重新同步标记，重新同步标记通常位于每个视频包的开始位置。当在传输处理中损失了部分编码视频信息时，重新同步标记启动解码器将降级的视频包与视频包比特流重新同步。视频包通常具有可变的尺寸(即可变长度或者可变数目的比特)。
可以使用不同的网络打包方案，并且根据流的特性以及网络条件，不同的网络打包方案具有不同的性能级别。性能尤其包括下面的性能元素网络包传输的利用带宽，视频质量以及网络包的损失，以及网络包损失的可能性。在所述的性能元素之间存在一个折衷的选择。因特网工程任务组(IETF)的RFC(注释请求)中给出了一个对于单层视频如何打包视频信息的建议，题目是“MPEG-4音频/视频流的RTP负载格式”。这些建议通常涉及编码的MPEG-4视频；但是，每个为分层的视频提供特殊的打包方法(即视频网络包的网络流)。
分层视频是一种特殊的编码视频，与单层视频相比，分层视频含有多个层。分层视频中最重要的层被称为“基础层”，这是由于基础层包括以特定的基础质量解码网络视频流的基础信息。剩余的层被称为“增强层”，并且在解码视频流中增加了视频质量。存在多种用于获得分成流的编码方法，例如使用可缩放编码或者数据分割。本发明适用于利用各种编码方法编码的任何种类的分层流。因此，本发明的网络流包括一个基础层流和一个或者多个增强层流。
这里所述的实施例包括用于单层视频和分成视频的打包策略。单层视频的打包策略包括一个带宽效率打包策略(附图1A-1B)，以及一个鲁棒打包策略(附图1A-1B)。分层视频的打包策略包括一个对基础层的鲁棒打包策略以及一个对增强层的带宽效率打包策略(附图3A-3D)。
附图1A-1B(集中表示为附图1)描述了根据本发明的视频包11-15以及网络流1的安排好的网络包16-20。视频包11-15可以是可变长度包或者恒定长度包。视频包11，12，13，14以及15分别具有视频内容VP1，VP2，VP3，VP4和VP5。视频内容VP1，VP2，VP3，VP4和VP5可以是压缩的格式(例如MPEG-4)或者未压缩的格式。网络流1是一个按顺序16，17，18，19和20包括网络包16-20的单层视频流。视频包11-15的视频内容VP1-VP5如图所示已经被封装入网络流16-20。网络包16-20的每个网络包包括一个标题字段以及一个负载字段。标题字段可以具有一个恒定的长度或者一个可变的长度。每个网络包的负载字段包括视频内容VP1-VP5的部分，从而每个网络包16-20具有相同的不超过最大比特数目NBMAX的比特数目NB。因此NB＝NBMAX以及NB＜NBMAX都包含在本发明的范围内。网络包20是网络流1的最后的包并且包括超出视频包15的最后视频内容VP5的虚拟比特域91，这样网络包20将含有比恒定的NB比特的更少的比特。这样，尽管每个网络包16-19都具有恒定数目的比特NB，但是网络流1的最后的网络包20需要仅被填充包含有视频包15的最后的视频内容VP5所需的比特数目。换句话说，含有以及不含有虚拟比特域91都包含在本发明的范围内。
在附图1B中将视频内容VP1-VP5打包到网络包16-20，被称为不考虑VP1和VP2，VP2和VP3，VP3和VP4以及VP4和VP5之间的界限的“带宽效率”打包方案。该带宽效率打包方案在利用带宽方面提供了良好的性能。但是，一些视频包11-15具有封装到多于一个网络包中的视频内容。因此，VP2被封装入网络包16和17，VP3被封装入网络包17和18，VP4被封装入网络包18和19，以及VP5被封装入网络包19和20。或者，每个网络包可以包括多于一个视频包的视频内容。因此，网络包16包括来自于VP1和VP2的内容，网络包17包括来自于VP2和VP3的内容，网络包18包括来自于VP3和VP4的内容，网络包19包括来自于VP4和VP5的内容，以及网络包20包括至少来自于VP5的内容。
附图2A-2B(集中表示为附图2)描述了根据本发明的视频包21-25以及网络流2的安排好的网络包26-30。视频包21-25可以是可变长度包或者恒定长度包。视频包21，22，23，24和15分别具有视频内容VP1，VP2，VP3，VP4和VP5。视频内容VP1，VP2，VP3，VP4和VP5可以是压缩的格式(例如MPEG-4)或者未压缩的格式。网络流2是一个按顺序26，27，28，29和30包括网络包26-30的单层视频流。视频包26-30的每个网络包包括一个标题字段和一个负载字段。标题字段可以具有一个恒定长度或者可变长度。每个网络包的负载字段包括视频内容VP1-VP5的部分，从而使每个网络包26-30具有不超过最大比特数的可变比特数(即可变负载长度)。视频包21-25的视频内容VP1-VP5根据如图所示的一一对应关系被封装入网络包26-30。因此附图1B所示的将视频内容VP1-VP5封装入网络包16-20被称为“打包保护”打包方案，该方案提供了能够防止包损失的良好性能(即“鲁棒的”)，由于如果在网络打包传输中丢失或者损坏了一个网络包，仅仅丢失一个视频包，而剩余的视频包能够被正确解码。相比之下，在附图1A-1B的带宽效率打包方案中，当网络包丢失时，来自于多于一个视频包的重新同步标记也会丢失，因此导致多个视频包不能被正确解码。
因此在附图1和2所示的不同的打包方案中，在利用带宽和鲁棒性能之间存在一个折衷的选择。
附图3A-3D(集中表示为附图3)描述了根据本发明的实施例，将视频包封装入视频流的网络包。视频流包括一个基础层流3和一个增强层流4。根据与上面讨论的附图2中的包保护打包方案相类似的方法，将基础层流3封装入基础层视频包。根据与前面讨论的与附图1B中的带宽效率打包方案相类似的方法将增强层流4封装入增强层视频包。
附图3表明了分别具有视频内容BL-VP1，BL-VP2，BL-VP3，BL-VP4以及BL-VP5的基础层视频包31，32，33，34和35。基础层视频包31，32，33，34和35可以是压缩的格式(例如MPEG-4)或者未压缩的格式。附图3B表明了基础层流3的基础层排列网络包31，32，33，34和35。基础层视频包31，32，33，34和35的视频内容BL-VP1，BL-VP2，BL-VP3，BL-VP4以及BL-VP5根据包保护打包方案被封装入基础层网络包36，37，38，39和40。基础层网络包36-40的每个基础层网络包包括一个标题字段和一个负载字段。标题字段可以具有一个恒定长度或者可变长度。每个网络包的负载字段包括视频内容BL-VP1，BL-VP2，BL-VP3，BL-VP4以及BL-VP5的部分，从而使每个基础层网络包36-40具有不超过最大比特数的可变比特数(即可变负载长度)。基础层视频包31-35的视频内容BL-VP1，BL-VP2，BL-VP3，BL-VP4以及BL-VP5根据如图所示的一一对应关系分别被封装入基础层网络包36-40。提供鲁棒性能(即防止包损失的良好性能)的包保护打包方案的使用对于基础层流3非常重要，这是因为基础层流3包括一个特定的基础质量解码网络视频流的基础信息，因此即使该完整版本仅具有较低的视频质量，也能提供视频内容的完整版本。
附图3C描述了分别具有视频内容EL-VP1，EL-VP2，EL-VP3，EL-VP4以及EL-VP5的增强层视频包41，42，43，44和45。增强层视频包41，42，43，44和45可以是压缩的格式(例如MPEG-4)或者未压缩的格式。视频内容EL-VP1，EL-VP2，EL-VP3，EL-VP4以及EL-VP5可以是压缩的格式(例如MPEG-4)或者未压缩的格式。附图3D描述了增强层流4的增强层排列网络包46，47，48和49。增强层视频包41，42，43，44和45的视频内容EL-VP1，EL-VP2，EL-VP3，EL-VP4以及EL-VP5根据带宽效率打包方案被封装入增强层网络包46，47，48和49。增强层网络包46-49的每个增强层网络包包括一个报头域和一个负载字段。报头域可以具有一个恒定长度或者可变长度。如果基础层网络包的标题字段具有恒定长度L1，并且增强层网络包的标题字段具有第二恒定长度L2，那个L1＝L2以及L1｀L2都包含在本发明的范围内。每个增强层网络包的负载字段包括视频内容EL-VP1，EL-VP2，EL-VP3，EL-VP4以及EL-VP5的部分，从而使每个增强层网络包46-49具有不超过最大比特数NEMAX的可变比特数NE(即恒定比特数目或者恒定负载数据)。并且，NE＝NEMAX以及NE＜NEMAX都包含在本发明的范围内。增强层网络包49是增强层流4的最后的包并且包括超出增强层视频包45的最后的视频内容EL-VP5的虚拟比特域92，从而为增强层网络包49保持恒定数目的比特NE。或者，增强层网络包49能够被截短从而除去虚拟比特域92，这样增强层网络包49就具有比恒定NE比特少的比特数。这样，尽管每个网络包46-48具有恒定的比特数NE，但是增强层流4的最后的增强层网络包49仅需要被填充包含视频包40的最后视频内容EL-VP5所需的比特。换句话说，不管是否存在虚拟比特域92都包含在本发明的范围内。
在附图3D中，每个网络包可以包括多于一个视频包的视频内容。网络包46包括来自于EL-VP1和EL-VP2的内容，网络包47包括来自于EL-VP2和EL-VP3的内容，网络包48包括来自于EL-VP3和EL-VP4的内容，以及网络包49包括来自于EL-VP4和EL-VP5的内容。但是，附图3D所示的带宽效率打包方案提供了利用带宽的良好性能。附图3D所示的带宽效率打包方案对保护包损失的降低是可以接受的，因为增强层流4并不具有基础层流3所具有的为了显示所必需的基础信息。
尽管为了说明的目的描述了本发明的示失利，但是本领域的技术人员可以作出多种改变和变形。相应的，追加的权利要求期望涵盖落在本放明的真实精神和范围内的所有改变和变形。
权利要求
1.一种用于将其中具有数据的媒体包封装入媒体数据网络流的方法，包括提供与网络流的一个基础层流相应的基础层媒体包，基础层流包括网络包；提供与网络流的一个增强层流相应的增强层媒体包，增强层流包括网络包，其中基础层媒体包与增强层媒体包之间存在一一对应关系；将基础层媒体流封装入基础层流的网络包，其中基础层流的每个网络包包括一个标题字段，并且其中基础层流的每个网络包包括一个并且只是一个相应的基础层媒体包；以及将增强层数据媒体包封装入增强层流的网络包，其中增强层流的每个网络包包括一个标题字段，其中任何增强层媒体包的第一部分和第二剩余部分可以选择性的包含在增强层流的连续网络包中，从而使增强层流的每个网络包被填充一个恒定数目的比特NE，NE不超过最大比特数NEMAX，这使得增强层的最后网络包仅需要被填充包括增强层媒体包的最后增强层媒体包所需的比特数目。
2.如权利要求1所述的方法，其中网络流的包结构与因特网工程任务组(IETF)作为注释请求(RFC)公开的实时协议标准(RTP)一致。
3.如权利要求1所述的方法，其中NE＝NEMAX。
4.如权利要求1所述的方法，其中NE＜NEMAX。
5.如权利要求1所述的方法，其中基础层媒体包是基础层视频包，增强层媒体包是增强层视频包，而媒体数据是视频数据。
6.如权利要求1所述的方法，其中基础层媒体包是基础层音频包，增强层媒体包是增强层音频包，而媒体数据是音频数据。
7.如权利要求1所述的方法，其中基础层媒体包的数据内容是压缩格式的，增强层媒体包的数据内容是压缩格式的，并且媒体数据也是压缩格式的。
8.如权利要求1所述的方法，其中基础层媒体包的数据内容是未压缩格式的，增强层媒体包的数据内容是未压缩格式的，并且媒体数据也是未压缩格式的。
9.如权利要求1所述的方法，其中基础层媒体数据和增强层媒体数据是可变长度包。
10.如权利要求1所述的方法，其中基础层媒体包和增强层媒体包是恒定长度包。
11.如权利要求1所述的方法，其中基础层媒体包是可变长度包，增强层媒体包是恒定长度包。
12.如权利要求1所述的方法，其中基础层媒体包是恒定长度包，增强层媒体包是可变长度包。
13.如权利要求1所述的方法，其中包含在基础层流的每个网络包中的标题字段具有可变长度，包含在增强层流的每个网络包中的标题字段具有可变长度。
14.如权利要求1所述的方法，其中包含在基础层流中的每个网络包中的标题字段具有第一恒定长度，包含在增强层流中的每个网络包中的标题字段具有一个第二恒定长度。
15.如权利要求14所述的方法，其中第一恒定长度等于第二恒定长度。
16.如权利要求14所述的方法，其中第一恒定长度与第二恒定长度不同。
17.一种媒体数据的网络流，包括一个包括网络包的基础层流，其中基础层流的每个网络包包括一个标题字段，并且其中基础层流的每个网络包包括一个并且只是一个其中具有数据的相应的基础层媒体包。一个包括网络包的增强层流，其中增强层流的每个网络包包括一个标题字段，其中增强层流的网络包包括其中具有数据的则刚层媒体数据，其中基础层包与增强层包之间存在一一对应关系，并且任何增强层媒体包的第一部分和第二剩余部分可以选择性的包含在增强层流的连续网络包中从而使增强层流的每个网络包被填充一个不超过最大比特数NEMAX的恒定的比特数NE，这使得增强层流的最后的网络包的仅需要被填充包括增强层媒体包的最后的增强层媒体包所需的比特数。
18.如权利要求17所述的网络流，其中网络流的包结构与因特网工程任务组(IETF)作为注释请求(RFC)公开的实时协议标准(RTP)一致。
19.如权利要求17所述的网络流，其中NE＝NEMAX。
20.如权利要求17所述的网络流，其中NE＜NEMAX。
21.如权利要求17所述的网络流，其中基础层媒体包是基础层视频包，增强层媒体包是增强层视频包，并且媒体数据是视频数据。
22.如权利要求17所述的网络流，其中基础层媒体包是基础层音频包，增强层媒体包是增强层音频包，并且媒体数据是音频数据。
23.如权利要求17所述的网络流，其中基础层媒体包的数据内容是压缩格式的，增强层媒体包的数据内容是压缩格式的，并且媒体数据也是压缩格式的。
24.如权利要求17所述的网络流，其中基础层媒体包的数据内容是未压缩格式的，增强层媒体包的数据内容是未压缩格式的，并且媒体数据也是未压缩格式的。
25.如权利要求17所述的网络流，其中基础层媒体数据和增强层媒体数据是可变长度包。
26.如权利要求17所述的网络流，其中基础层媒体包和增强层媒体包是恒定长度包。
27.如权利要求17所述的网络流，其中基础层媒体包是可变长度包，增强层媒体包是恒定长度包。
28.如权利要求17所述的网络流，其中基础层媒体包是恒定长度包，增强层媒体包是可变长度包。
29.如权利要求17所述的网络流，其中包含在基础层流的每个网络包中的标题字段具有可变长度，包含在增强层流的每个网络包中的标题字段具有可变长度。
30.如权利要求17所述的网络流，其中包含在基础层流中的每个网络包中的标题字段具有第一恒定长度，包含在增强层流中的每个网络包中的标题字段具有一个第二恒定长度。
31.如权利要求30所述的网络流，其中第一恒定长度等于第二恒定长度。
32.如权利要求30所述的网络流，其中第一恒定长度与第二恒定长度不同。
全文摘要
公开了一种网络流以及用于将其中具有数据的媒体包封装入网络流的方法。网络流包括一个基础层流和一个增强层流。基础层媒体包被封装入基础层流的网络包，其中基础层流的每个网络包包括一个并且只是一个相应的基础层媒体包。增强层媒体包被封装入增强层流的网络包，其中任何基础层媒体包的第一部分和第二剩余部分可以分别包含在增强层流的连续网络包中，从而使增强层流的每个网络包填充不超过最大比特数目的恒定数目比特。媒体包是视频包或者音频包，但并不局限于此。
文档编号H04N7/24GK1720705SQ200380105006
公开日2006年1月11日 申请日期2003年11月28日 优先权日2002年12月4日
发明者C·鲁伊滋弗洛里亚奇, Y·陈 申请人:皇家飞利浦电子股份有限公司