Mmt打包svc视频内容的混合传送方法及接收方法
【专利摘要】本发明公开了用于根据传送网络的数量对内容进行分割并且传输分割内容的内容混合传送方法。该内容混合传送方法包括以下步骤：使得服务器能够通过对要从服务器传送至客户端的SVC视频内容进行分割来生成分割SVC视频内容的组成信息；以及使用多个传送网络将分割SVC视频内容传输至客户端。因此，该内容混合传送方法能够有效地使用各种传送网络。
【专利说明】MMT打包SVC视频内容的混合传送方法及接收方法
【技术领域】
[0001]本发明涉及传输和接收视频内容的方法，并且更具体地，涉及通过多个传输网络传输MMT打包视频内容的方法。
【背景技术】
[0002]在MPEG-2的标准化之后，相继开发了如MPEG-4、H.264/AVC和可缩放视频编码(SVC)的新的视频压缩标准(或音频压缩标准)，并且每个新的标准形成了新的市场，由此拓宽了 MPEG标准的应用领域。然而，如MPEG-2传输系统(TS)的传输技术广泛地被用在数字广播、移动广播(T-DMB、DVB-H等)等中大约20年而无显著变化，并且甚至这些技术通过因特网即IPTV服务广泛地被用于多媒体传输。
[0003]然而，在开发MPEG-2TS时的多媒体传输环境和当今的多媒体传输环境正经历着显著变化。例如，在考虑通过ATM网络来传输多媒体数据时开发了 MPEG-2TS标准，但如今，很难找到为此而使用的实例。此外，在制定MPEG-2TS标准时并未考虑通过使用因特网等进行多媒体传输的需求，并且因此存在对通过因特网进行多媒体传输而言非有效的因素。因此，正认为以下是非常重要的主题:建立考虑因特网中适合变化的多媒体环境的多媒体服务的MPEG媒体传输层(MMT)。
[0004]同样地，进行MMT标准化的重要原因在于:20年前所制定的MPEG-2TS标准未针对最近的IPTV广播服务、因特网、环境等进行优化，并且因此鉴于对最近各种异构网络中的多媒体传输环境的经优化的多媒体传输国际标准的迫切需要而将MMT标准化为MPEG中的新的传输技术标准。
[0005]此外，多媒体内容服务正基于通信与广播的融合环境中的视频连同高速无线网络和因特网而被推广。在用于内容消费的将各种性能的终端如智能电话和平板PC以及现有的TV或PC进行混合的融合环境中，将使得能够无缝地使用视频、音乐、游戏和数据的服务称为N屏幕服务。
[0006]在这样的各种终端中，适合每个终端的各种分辨率的内容被消费；并且由于移动服务变得可用，所以实时地改变网络环境的内容消费环境正在被形成。为了提供适合实时变化的消费环境的高品质内容，支持单一格式的现有视频编码方案则不能满足要求。
[0007]在这方面，对可缩放视频编码(SVC)的研究在积极进步中。对SVC进行了设计以使得SVC能够实时地适应各种传输环境和终端性能。即，这是能够实现实时适应的以下视频编码方案:该视频编码方案支持适合可变异构消费环境如因终端需求而异的分辨率和网络状态的格式。
[0008]如上所述，当通过MMT方案中的各种异构网络传输以下SVC视频内容时可以利用多个传输网络:这样的SVC视频内容可以根据各种终端性能及变化的网络环境自适应地提供适当的视频内容。
【发明内容】
[0009]本发明的一个目的在于提供一种MMT包裹SVC视频内容的混合传输方法，所述混合传输方法通过对应于传输网络的数量来分别地传输SVC视频内容的层而在各种环境下具有最佳的传输效率。
[0010]此外，本发明的另一个目的在于提供一种用于接收SVC视频内容的方法，所述方法通过接收并且聚集对应于传输网络的数量分别地被传输了的SVC视频内容的层而在各种环境下具有最佳的传输效率。
[0011]根据本发明的一个方面，一种可缩放视频编码(SVC)视频内容的混合传送方法包括:对要由服务器传输至客户端的SVC视频内容进行分段；以及通过使用多个传输网络将分段SVC视频内容传输至客户端。
[0012]分段SVC视频内容可以包括基础层的MPEG媒体传输(MMT)资产和增强层的MMT资产中的至少之一。
[0013]MMT资产可以包括媒体处理单元(MPU)，并且MPU包括SVC视频内容的分段信息。
[0014]MPU可以包括含有MPU的分段信息的MMT线索轨迹。
[0015]MMT线索轨迹可以包括SVC视频内容的分段信息。
[0016]对要由服务器传输至客户端的SVC视频内容的分段可以包括:对要由服务器传输至客户端的SVC视频内容进行分段并且生成分段SVC视频内容的组成信息。
[0017]组成信息可以包括:包括在分段SVC内容中的MMT资产的由组成信息引用的媒体类型信息、媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息中的至少之一，其中媒体类型是视频、音频和字幕中之一。
[0018]组成信息可以被包括在MMT包裹的包裹信息、MMT包的报头和有效载荷中的至少之一中。
[0019]分段SVC视频内容的传输可以包括:当组成信息存在于分段SVC视频内容的外部时，将分段SVC视频内容和组成信息传输至客户端。
[0020]通过对SVC视频内容进行分段来生成组成信息可以包括:检测要由服务器传输至客户端的SVC视频内容可以通过其传输的传输网络的数量；对应于所检测的传输网络的数量来对SVC视频内容进行分段；以及生成分段SVC视频内容的组成信息。
[0021]分段SVC视频内容可以各自形成一个MMT包裹。
[0022]用于通过多个传输网络传输的分段SVC视频内容之间的同步的信令消息可以连同SVC视频内容一起被传输。
[0023]信令消息可以包括用于同步不同类型的时间戳的时钟关系信息。
[0024]根据本发明的另一个方面，一种接收内容的方法包括:通过多个传输网络接收来自服务器的被分段的SVC视频内容，以及聚集分段SVC视频内容。
[0025]对分段SVC视频内容的接收可以包括:当组成信息存在于分段SVC视频内容的外部时，接收来自服务器的分段SVC视频内容和组成信息。
[0026]对分段SVC视频内容的接收可以包括:生成表示所接收的分段内容与基于组成信息被接收的分段内容的一部分之间的关系的第二组成信息。
[0027]对分段SVC视频内容的聚集可以包括:基于包括在分段SVC视频内容中的组成信息来聚集分段SVC视频内容。
[0028]该方法还可以包括:纠正所接收的SVC视频内容的错误。
[0029]纠正SVC视频内容的错误还可以包括:通过使用所接收的另外层的数据来纠正错误。
[0030]该方法还可以包括:接收用于分段SVC视频内容之间的同步的信令消息。
[0031]信令消息可以包括用于同步不同类型的时间戳的时钟关系信息(CRI)。
[0032]该方法还可以包括:通过使用信令消息的时钟关系信息来生成系统时钟。
【专利附图】
【附图说明】
[0033]图1是示出了根据本发明的实施方式的MMT层结构的概念图；
[0034]图2示出了用于MMT层结构的每个层的单元信息的格式(或数据或包)；
[0035]图3示出了根据本发明的实施方式的MMT包裹配置的第一示例；
[0036]图4示出了根据本发明的实施方式的MMT包裹配置的第二示例；
[0037]图5示出了根据本发明的实施方式的MMT包裹配置的第三示例；
[0038]图6示出了根据本发明的实施方式的MMT包裹配置的第四示例；
[0039]图7示出了根据本发明的实施方式的MMT包裹配置的第五示例；
[0040]图8示出了根据本发明的实施方式的MMT包裹配置的第六示例；
[0041]图9是示出了根据本发明的实施方式的SVC视频内容的混合传送方法的流程图；以及
[0042]图10是示出了根据本发明的实施方式的接收SVC视频内容的方法的流程图。
【具体实施方式】
[0043]可以对本发明做出各种改变并且本发明可以具有各种实施方式，并且因此这里将详细说明和解释一些实施方式。
[0044]然而，这不会将本发明限定于特定实施方式，但应当理解，本发明包括本发明的概念和技术内的所有改变、等同和替换。
[0045]如“第一”和“第二”的术语可以用于说明各种要素，但是这些要素不应当受术语限制。术语仅用于区分一个要素与另外的要素。例如，第一要素可以被称为第二要素而不会超出本发明的权利的范围，并且以类似的方式，第二要素可以被称为第一要素。表达“和/或”包括多个相关项的组合或这些项之一。
[0046]当提到要素被“连接”到另外的要素时，它可以表示:将该要素直接连接到另外的要素，但是要素之间可以存在另外的要素。相比之下，当提到要素被“直接连接”到另外的要素，应当理解，要素之间没有其他的要素。
[0047]本发明中使用的术语仅用于说明一些要素并且不用于对本发明进行限制。除非明确规定，否则单数表达包括复数表达。在本说明书中，应当理解，如“包括”和“具有”的术语用于说明特征、数量、步骤、操作、要素、部分及其组合的存在，但是这些术语不排除添加一个或更多个特征、数量、步骤、操作、要素、部分及其组合的可能性。
[0048]除非另外定义，否则本文中使用的包括技术或科学术语的所有术语具有与由本领域普通技术人员通常所理解的相同的意义。通常被使用的预先定义的术语应当被理解为具有与在相关领域的背景中的意义一致的意义，并且除非明确定义，不应当以过分形式主义的方式来理解术语。
[0049]在下文中，将详细描述本发明的实施方式。在附图中，将相同的附图标记用于相同的要素，并且省略对相同要素的冗余描述。
[0050]在下文中，将在本说明书中使用的一些术语定义如下。
[0051]非定时数据定义了未指定时间而被消费的所有数据元素。非定时数据可以具有可以执行或开始数据的时间范围。
[0052]定时数据定义了与特定时间相关联的被解码和呈现的数据元素。
[0053]将呈现定义为:由一个或更多个设备执行的使得用户可以体验一个内容组件或一个服务的操作(例如，看电影)。
[0054]将服务定义为:被传输以便呈现或存储的一个或更多个内容组件。
[0055]将服务信息定义为:描述一个服务以及该服务的特征和组件的元数据。
[0056]存取单元(AU)是最小数据对象并且可以具有作为属性的时间信息。如果用于解码和呈现的时间信息变得与未指定的编码媒体数据相关，则不限定AU。
[0057]媒体片段单元(MFU)是以下通用容器:该容器独立于任何特定的编解码器，并且容纳可以被媒体解码器独立地消费的编码媒体数据。MFU容纳可以被用在传输层中的具有小的和相同大小的信息。
[0058]媒体处理单元(MPU)是以下通用容器:该容器独立于任何特定的媒体编解码器，并且容纳至少一个AU和与另外的传输和消费相关的信息。MPU容纳不属于关于非定时数据的AU范围的部分数据。MPU是可以完全地并且独立地被处理的编码媒体数据。在这方面，处理将封装指代为用于传输或形成包的MMT打包。然而，在一些情况下，可能不会将MPU独立地并且完全地消费于用于可缩放视频编码(SVC)和多视点视频编码(MVC)的媒体编解码器服务器中。
[0059]MMT资产是以下逻辑数据对象:该逻辑数据对象被配置为具有相同的MMT资产ID的至少一个MPU，或者被配置为具有限定在另外的标准中的格式的特定数据块。MMT资产是应用相同组成信息和传输特征的最大数据单元。
[0060]MMT资产传送特征(MMT-ADC)是关于传输MMT资产的QoS需求的描述。以不揭示特定传输环境的方式来表达MMT-ADC。
[0061]MMT组成信息(MMT Cl)说明了 MMT资产之间的空间关系和时间关系。
[0062]MMT包裹(package)是逻辑结构数据的集合，并且包括MMT资产、MMT组成信息、MMT资产传输特征和描述性信息中的至少之一。
[0063]MMT包(packet)是由MMT协议生成或消费的数据格式。
[0064]MMT有效载荷格式是用于MMT信令消息或要通过因特网应用层协议(例如，RTP)或者MMT协议传输的MMT包裹的有效载荷的格式。
[0065]将内容组件或媒体组件定义为:单一类型的媒体或单一类型的媒体的子集。内容组件或媒体组件的一些示例是:视频轨道、电影字幕和视频的增强层。
[0066]将内容定义为:如电影和歌曲的内容组件的集合。
[0067]将混合传送定义为:通过一个或更多个物理上不同类型的网络同时传输一个或更多个内容组件，或者通过物理上相同类型的网络或不同的网络同时进行传输。
[0068]在下文中，第一网络和第二网络包括各种网络如广播网络、宽带网络、电缆网络和卫星通信网络。
[0069]在下文中，在混合传输中，可以以MMT资产、子流、MFU、MPU、MMT包裹或MMT包为单位来进行传输，并且当视频内容包括多个层如第一层和第二层时，可以以层为单位进行混合传输。
[0070]在下文中，将参照附图详细描述本发明的实施方式。在本说明书中，为了更好的进行理解，在附图中将相同的附图标记用于相同的要素，并且省略了对相同要素的重复说明。
[0071]图1是示出了根据本发明的实施方式的MMT层结构的概念图。
[0072]参照图l，mpeg媒体传输(MMT)层结构包括封装层的功能区、传送层和信令层。MMT层在传输层上进行操作。
[0073]封装层(E-层)定义了要由观测MMT、MMT包裹和媒体内容的对象处理的数据单元的逻辑结构。为了提供用于自适应传输的基本信息，MMT包裹指定了包括媒体内容的组件以及这些组件之间的关系。定义数据单元的格式以对编码媒体进行封装，以便被存储或通过传输协议的有效载荷被传输并且容易地在它们之间被转换。
[0074]封装层可以执行对所传输媒体的如分包、分段、同步以及复用的功能。
[0075]可以对各种多媒体组件进行封装和组合，以便由在封装层中提供的功能进行传输和消费。在封装层的功能区中提供有所封装的媒体组件和媒体组件的配置信息。
[0076]用于所封装的媒体组件的主要信息可以包括聚集、优先化、媒体片段的依赖性、MPU的定时信息和结构信息、MMT资产150的标识信息、初始化信息和编解码器信息。媒体组件的配置信息可以包括MMT包裹160和MMT资产150的标识信息、具有MMT资产150的列表的配置信息、MMT包裹160内MMT资产150的组成信息162以及传送特征信息164。
[0077]封装层可以包括MMT E.1层、MMT E.2层和MMT E.3层。
[0078]E.3层通过对从媒体编解码器(A)层提供的媒体片段单元(MFU)进行封装来生成媒体处理单元(MPU)。
[0079]将从上层编码的媒体数据封装为MFU。对编码媒体的类型和值进行抽象以使得MFU可以广泛地用于具体的编解码技术。这使得下层能够在不接近编码媒体的情况下处理MFU,并且下层可以调用来自网络或存储单元的缓冲器的编码媒体数据并且将媒体数据传输至媒体解码器。MFU具有用于执行操作的足够的信息媒体部分单元。
[0080]MFU可以具有以下格式:该格式可以独立于任意的特定的编解码器并且可以加载可以在媒体解码器中独立地被消费的数据单元。例如，MFU可以变成图片或视频片段。
[0081 ] 可以独立地被传输和解码的一个或一组多个MFU生成MPU。可以独立地被传输和执行的非定时媒体也生成MPU。通过描述内部结构如MFU阵列和图案，MPU使得能够对MFU进行快速接近以及部分消费。
[0082]E.2层通过对在E.3层中生成的MPU进行封装来生成MMT资产。
[0083]来自相同的源组件的MPU序列生成MMT资产。通过MMT包裹对MMT资产进行打包，并且通过组成信息(Cl)和传输特征(TC)用其他东西对其进行配置，通过MMT有效载荷格式与其他东西复用，并且通过MMT协议进行传输。
[0084]MMT资产是包括来自单个数据源的一个或更多个MPU的数据实体，并且是在其中定义组成信息(Cl)和传输特征(TC)的数据单元。MMT资产可以对应于分包基本流例如视频、音频、程序信息、MPEG-U微件(widget)、JPEG图像、MPEG 4文件格式和M2TS(MPEG传输流)。
[0085]E.1层通过对在E.2层中生成的MMT资产进行封装来生成MMT包裹。
[0086]利用用于随后的相同用户体验的响应的MMT组成信息(MMT-CI)连同其他功能性区域传输区和信号区一起或者与其他功能性区域传输区和信号区分开来对MMT资产进行打包。也利用为每个MMT资产选择适当的传输方法以满足MMT资产的可感知品质的传输特征来对MMT包裹进行打包。
[0087]MMT包裹可以包括一个或更多个MMT资产连同另外的信息如组成信息(Cl)和传输特征(TC)。MMT包裹可以与MPEG-2TS的程序对应。
[0088]组成信息包括关于MMT资产之间关系的信息，并且当一个内容包括多个MMT包裹时，组成信息可以包括用于表示多个MMT包裹之间的关系的信息。
[0089]传输特征可以包括确定MMT资产或MMT包的传送条件例如通信量描述参数和QoS描述符所需的传输特征信息。
[0090]传送层(D-层)定义了应用层协议和有效载荷的格式，定义有效载荷格式以便:无论媒体类型或编码方法如何都可以对编码媒体数据进行传输。
[0091]传送层(D-层)可以执行通过网络进行传输的网络流复用、网络分包、QoS控制等。
[0092]传送层负责:对通过网络传输的媒体如视频和音频进行复用；包级的聚集和/或分段；网络分包；QoS控制；同步功能；以及与如现有RTP的传输层、如现有UDP和TCP的传输层、封装层以及传输层与封装层之间的信令层进行交互。
[0093]传送层识别已经从封装层移交的不同类型的有效载荷以处理来自封装层的有效载荷。
[0094]传送层可以处理通过不同网络和不同信道传输的包之间的时间关系。同步功能可以包括:通过使用时间戳等的混合网络同步。
[0095]传送层可以处理用于实时媒体传输的MMT传送包的定时约束。
[0096]传送层可以执行MMT媒体包的错误控制如前向纠错和重新传输。
[0097]传送层可以执行MMT媒体包的流控制。
[0098]传送层可以通过用于对MMT媒体包的传输的预定水平的QoS的跨层设计来执行与不同的MMT层以及下层(MAC、PHY)的交互。
[0099]此外，传送层可以提供用于提供组通信的功能。
[0100]传送层可以包括如图1所示的MMT D.1层、MMT D.2层和MMT D.3层。
[0101]D.1层接收在E.1层中生成的MMT包裹，并且生成MMT有效载荷格式。MMT有效载荷格式是以下有效载荷格式:该有效载荷格式用于传输MMT资产并且对用于其他现有应用传输协议如MMT应用协议或RTP的消费的信息进行传输。MMT有效载荷可以包括MFU的片段连同如AL-FEC的信息。
[0102]D.2层接收在D.1层中生成的MMT有效载荷格式。并且生成MMT传输包或MMT包。MMT传输包或MMT包是用在关于MMT的应用传输协议中的数据格式。
[0103]D.3层通过跨层设计提供在层之间交换信息的功能来支持QoS。例如，D.3层可以通过使用MAC/PHY层的QoS参数来执行QoS控制。MAC/PHY的QoS参数可以变成例如比特率、丢包率、预期延迟或可用缓冲区大小。
[0104]信令层(S层)执行信令功能。例如，所传输的媒体的会话初始化/控制/管理、基于服务器和/或基于客户端的特技(trick)模式、服务发现、同步、用于与其他层即传送层和封装层的交互功能的信令功能。同步功能可以包括混合网络中的同步控制。
[0105]信令层定义对MMT包裹的传送和消费进行管理的消息的格式。将用于消费管理的消息用来传输MMT包裹的结构，并且将用于传送管理的消息用来对有效载荷格式的结构和协议的配置进行传输。
[0106]信令层可以包括如图1所示的MMT S.1层和MMT S.2层。
[0107]S.1层可以执行服务发现、媒体会话初始化/终止、媒体会话呈现/控制以及与传送层和封装层的交互功能。S.1层可以定义用于媒体呈现会话管理的应用之间的控制消息的格式。表达会话管理可以定义以下控制消息的格式:该控制消息在用于提供媒体表达、会话管理和媒体消费中所需的信息的应用之间被交换。
[0108]S.2层可以执行传送会话管理。传送会话管理可以定义以下控制消息的格式:该控制消息在传送层的关于流控制的传送终点、传送会话管理、传送会话监视、错误控制以及混合网络同步控制之间被交换。
[0109]S.2层可以包括:传送会话的建立与释放；传送会话管理(传送会话监控、流控制、错误控制等)；用于所设置的传送会话的资源预留；在复杂传送环境下用于同步的信令；以及用于自适应传送以支持传送层的操作的信令。可以提供在发送者与接收者之间所需的信令。即，S.2层可以提供发送者与接收者之间所需的信令以支持如上所述的传送层的操作。此外，S.2层可以负责传送层与封装层之间的交互功能。
[0110]控制消息或控制信息可以在信令层中被生成，并且通过广播网络和/或宽带网络被传输。
[0111]当通过广播网络和宽带网络两者被传输时，通过广播网络被传输的控制消息的功能可以与通过宽带网络被传输的控制消息的功能相同。控制消息的语法和格式可以取决于应用和传送的类型而变得不同。例如，在混合传输的情况下，可以将相同的共用控制信息和相同的共用控制格式用于分别通过广播网络和宽带网络被传输的控制消息。此外，在混合传输的情况下，广播网络和宽带网络可以以不同的格式来传输相同的共用控制信息。此外，在混合传输的情况下，广播网络和宽带网络可以传输不同的控制信息和不同的格式。
[0112]图2示出了用于MMT层结构的每一层的单元信息的格式(或数据或包)。
[0113]媒体片段单元(MFU)定义了以下格式:该格式对传输层中的AU部分进行封装以在MFU的范围内执行自适应传输。可以将MFU用于传输特定格式的编码媒体，以使得可以独立地对AU部分进行解码或将其丢弃。
[0114]媒体片段单元(MFU) 130包括编码媒体片段数据132和媒体片段单元报头(MFUH) 134。媒体片段单元130具有以下通用容器格式:该通用容器格式独立于特定的编解码器，并且对可以在媒体解码器中独立地被消费的最小数据单元进行装载。MFUH 134可以包括媒体特征，例如，如损失容许度这样的另外信息。MFU 130可以变成例如图片或视频片段。
[0115]MFU包括用于区分一个MFU与其他MFU的标识符并且具有单个AU内MFU之间的一般关系信息。说明了单个AU内MFU之间的依赖关系，MFU的相关优先级被说明为这样的信息的一部分。可以将该信息用于对下传输层中的处理传输。例如，传输层可以忽略可以被丢弃的MFU的传输以支持宽带不足的QoS传输。
[0116]MPU是包括多个媒体片段单元130的媒体片段单元的集合。MPU包括以下通用容器格式:该通用容器格式独立于特定的编解码器并且包括相当于存取单元的媒体数据。MPU可以包括定时数据单元或非定时数据单元。MPU可以包括媒体片段单元数据和包括如用于同步的时间戳的附加信息的媒体处理单元报头(MPUH)。
[0117]MPU是由遵循MMT的对象独立地并且完全地处理的数据，并且该处理包括封装和分包。MPU可以包括具有以下格式的部分数据:该格式由至少一个MFU或由另外的标准来定义。
[0118]单个MPU可以容纳整数或至少一个AU的非定时数据。对于定时数据，可以从至少一个MFU来对AU进行传输，但可能不能将一个AU分段为多个MPU。在非定时数据中，一个MPU容纳由遵守MMT的对象独立地并完全地处理的非定时数据的一部分。
[0119]在MMT包裹中可以用序列号以及区分该序列号与其他MPU的相关联的资产ID来唯一标识MPU。
[0120]MPU具有至少一个随机访问点。MPU有效载荷的第一字节可以总是以任意访问点来开始。在定时数据中，该事实意味着:第一 MFU的解码次序在MPU有效载荷中总是O。在定时数据中，可以发送每个AU的呈现周期和解码次序以通知呈现时间。MPU不具有它自己的初始呈现时间，并且在组成信息中可以描述一个MPU的第一 AU的呈现时间。组成信息可以指定MPU的第一呈现时间。
[0121]MPU可以包括MMT线索轨迹。对于MPU的分包传输，MMT线索轨迹可以提供用于将所封装的MPU转变为MMT有效载荷和MMT包的信息。
[0122]MMT线索轨迹暗示MPU至传输单元的分段。同样地，可以使用至少一个MFU来生成MMT有效载荷。生成媒体数据并且在传输单元的传输的时间点将媒体数据传输至MMT有效载荷。因此，所存储的格式可能不同于传输时的格式。在这样的情况下，在传输时可能需要用于提取媒体数据和MMT有效载荷的动态传输单元。
[0123]MMT线索轨迹暗示:用于使用MMT有效载荷格式的封装的MFU的提取和生成。MMT有效载荷可以包括MPU元数据或至少一个MFU。MMT线索轨迹暗示:将MFU数据提取至传输单元的方法。如果未使用分段，则可以忽略线索轨迹。
[0124]MMT线索轨迹可以表示采样的输入格式。在至少一个MFU中指定每个媒体采样,并且MMT线索轨迹的采样生成至少一个MFU。
[0125]MMT线索轨迹包括多个参数。例如，如果MMT线索轨迹包括值1，则它可以包括表示提供多层信息的“多层_标记”。“依赖性」d”是表示MFU的依赖性的ID。如果该值不为0，则从时间、品质和空间分辨率中至少一个方面来讲可以将视频提高至少一个缩放等级。“深度_id”表示MFU是否传输视频的深度数据。“品质_id”是MFU的品质ID。如果该值不为0，则从时间、品质和空间分辨率中的至少一个方面来讲可以将视频提高至少一个缩放等级。“时间_id”是MFU的时间ID。如果该值不为0，则从时间、品质和空间分辨率中的至少一个方面可以将视频提高至少一个缩放等级。“视图_id”是MFU的视图1D。如果该值不为O，则从时间、品质和空间分辨率中的至少一个方面将视频提高至少一个缩放等级。此外，线索轨迹可以具有“层_id”参数，“层_id”参数表示:在初始化信息中提供可缩放性维度信息的可缩放层的ID。
[0126]MMT资产150是包括多个MPU的MPU集合。丽T资产150是包括来自单个数据源的多个MPU (定时或非定时数据)的数据实体，并且MMT资产信息152可以包括另外的信息如资产打包元数据和数据类型。MMT资产150可以包括视频、音频、程序信息、MPEG-U微件、JPEG图像、MPEG 4文件格式(FF)、分包基本流(PES)和MPEG传输流(M2TS)。
[0127]此外，MMT资产可以是具有编码媒体数据的逻辑数据对象。MMT资产包括MMT资产报头和编码媒体数据。编码媒体数据可以是由用相同的MMT资产ID指代的一组MPU。作为与MMT客户端直接相关联的相应消费类型的数据可以是分离开的MMT资产。这样的数据类型的一些示例是:MPEG-2TS、PES、MP4文件、MPEG-U微件包裹和JPEG文件。
[0128]MMT资产的编码媒体可以是定时数据或非定时数据。定时数据是要求在指定的时间点对特定数据同步地进行解码和呈现的音频视觉媒体数据。非定时数据是以下数据类型的数据:可以根据服务提供或用户交互在任意时间点被解码并且被提供。
[0129]服务提供者可以合并MMT资产并且生成多媒体服务，同时沿空间时间轴放置MMT资产。
[0130]MMT包裹160是包括一个或更多个MMT资产150的MMT资产集合。MMT包裹内的MMT资产可以被复用或像链条一样被连接。
[0131]MMT包裹是用于MMT资产和配置信息的容器格式。MMT包裹提供用于MMT资产的存储空间以及用于MMT程序的配置信息。
[0132]MMT程序提供者将编码数据封装为MMT资产并且生成作为说明MMT资产的传输特征的时间和空间布局的配置信息。可以以D.1有效载荷格式来对MU和MMT资产直接进行传输。可以通过S.1呈现会话管理消息来传输配置信息。然而，使得MMT程序能够延迟或以后重用的MMT提供者和客户端以MMT包裹格式来存储MMT程序。
[0133]当解析MMT包裹时，MMT程序提供者确定将MMT资产传输至客户端的传输路径(例如，广播或宽带)。通过S.1呈现会话管理消息连同传输相关信息一起来传输MMT包裹中的配置信息。
[0134]客户端接收S.1呈现会话管理消息，使得客户端了解哪个MMT程序是可能的并且如何接收关于该MMT程序的MMT资产。
[0135]也可以以D.1有效载荷格式来传输MMT包裹。MMT包裹被分包并且按照D.1有效载荷格式被传输。客户端接收经分包的MMT包裹，形成MMT包裹的整体或一部分，并且消费MMT程序。
[0136]MMT包裹160的包裹信息165可以包括配置信息。该配置信息可以包括另外的信息如MMT资产列表、包裹标识信息、组成信息162和传输特征164。组成信息162包括关于MMT资产150之间的关系的信息。
[0137]此外，组成信息162还可以包括用于表示当一个内容集合包括多个MMT包裹时多个MMT包裹之间的关系的信息。组成信息162可以包括MMT包裹中的时间、空间和自适应关系的信息。组成信息提供用于包裹传输优化和多屏幕环境中的表达的信息。在多屏幕环境中，可以表示用于在特定屏幕中映射资产的信息，将在后面对其进行详细描述。
[0138]如在有助于MMT包裹的传输和呈现的信息中，MMT中的组成信息提供关于MMT包裹内的MMT资产之间的空间和时间关系的信息。
[0139]MMT-CI是通过扩展HTML5来提供这样的信息的描述性语言。如果对HTML5进行设计来说明对基于文本的内容的基于页的呈现，则MMT-CI主要表达源之间的空间关系。为了支持揭示MMT资产之间的时间关系的表达，可以对HTML5进行扩展以包括:HTML5中消费各种MMT资产的媒体元素的附加属性以及确定MMT资产的传输和消费次序的时间信息；以及与如在呈现资源中MMT包裹中的MMT资产相关的信息。
[0140]传输特征信息164包括关于传输特征的信息，并且可以提供确定每个MMT资产(或MMT包)的传送条件所需的信息。传输特征信息可以包括通信量描述参数和QoS描述符。
[0141]通信量描述参数可以包括关于媒体片段单元(MFU) 130或MPU的比特率信息、优先信息等。比特率信息可以包括:关于MMT资产是可变比特率(VBR)还是恒定比特率(CBR)的信息；用于媒体片段单元(MFU)(或MPU)的所保证的比特率；以及用于媒体片段单元(MFU)或(MPU)的最大比特率。可以将通信量描述参数用于服务器、客户端和传送路径上的其他组件之间的资源预留，并且例如，可以包括MMT资产内的媒体片段单元(MFU)或(MPU)的最大大小信息。可以定期或不定期地更新通信量描述参数。
[0142]QoS描述符包括用于QoS控制的信息例如延迟信息和损失信息。损失信息例如可以包括关于是否允许MMT资广的传送损失的损失指标。例如，当损失指标为I时，它表不“无损失”，并且当损失指标为O时，它表示“有损失”。延迟信息可以包括如下延迟指标:该延迟指标用于区分MMT资产的传输延迟的灵敏度。延迟指标可以表示:MMT资产的类型是否是会话、交互性、实时和非实时。
[0143]一个内容集合可以包括一个MMT包裹。此外，一个内容集合可以包括多个MMT包裹。
[0144]当一个内容集合包括多个MMT包裹时，表示多个MMT包裹之间的时间、空间以及自适应关系的组成信息或配置信息可以存在于这些MMT包裹当中一个MMT包裹的内部或该MMT包裹的外部。
[0145]例如，在混合传送的情况下，通过广播网络对一些内容组件进行传输并且可以通过宽带网络对其他的内容组件进行传输。例如，在形成一个多视图服务的多个视听(AV)流的情况下，可以通过广播网络传输一个流并且可以通过宽带网络传输另外的流；并且可以对每个AV流进行复用并且在客户端终端单独对其进行接收以便存储。此外，例如，可以通过宽带网络传输应用软件如微件，并且可以通过现有的广播网络传输AV流(AV程序)。
[0146]在多视图服务情形和/或微件情形的情况下，多个AV流可以变成一个MMT包裹。在这种情况下，可以仅将多个流中的一个流存储在一个客户端终端中，所存储的内容变成MMT包裹的一部分，并且客户端终端需要重新记录组成信息和配置信息，并且重新记录的内容变成与服务器无关的新的MMT包裹。
[0147]在多视图服务方案和/或微件方案的情况下，每个AV流可以变成一个MMT包裹。在这种情况下，多个MMT包裹形成一个内容集合，以MMT包裹为单位在存储器中进行记录，并且需要表示MMT包裹之间的关系的组成信息或配置信息。
[0148]包括在一个MMT包裹中的组成信息或配置信息可以指代另外的MMT包裹中的MMT资产并且可以表达在带外的情况下指代MMT包裹的MMT包裹的外侧。
[0149]对SVC视频内容进行混合传送的方法
[0150]如上所述，成为通过MMT方案进行传输的对象的内容可以是包括基础层和至少一个增强层的SVC视频内容。一个SVC视频内容可以包括一个MMT包裹或多个MMT包裹。SP，包括在SVC视频内容中的多个层可以被包括在一个MMT包裹中或可以在被分离之后包括至多个MMT包裹中。
[0151]当一个SVC视频内容集合包括多个MMT包裹时，表示多个MMT包裹之间的关系的组成信息或配置信息可以存在于这些MMT包裹当中的一个MMT包裹的内部或在该MMT包裹的外部。
[0152]在混合传送的情况下，可以通过广播网络传输一些内容组件并且可以通过宽带网络传输其他内容组件。例如，可以通过广播网络对形成一个SVC视频内容的基础层和在一个或更多个增强层当中的基础层进行传输，并且可以通过宽带网络传输增强层。此外，可以通过广播网络对基础层和至少一个增强层进行传输并且可以通过宽带网络对一个或更多个增强层进行传输。此处，可以对每个层进行复用并且对其单独地进行接收以便存储。
[0153]在SVC视频内容的情况下，多个层作为一个整体可以变成一个MMT包裹，并且在这种情况下，可以仅将多个层中的一个层存储在一个客户端终端中。此外，存储内容可以变成MMT包裹的一部分，客户端终端需要重新记录组成信息或配置信息，并且重新记录的内容变成了与服务器无关的新的MMT包裹。
[0154]此处，需要将基础层传输至客户端终端，并且可以基于客户端终端的能力和传输环境(例如，网络带宽)中的至少之一来选择增强层，并且可以仅将一些增强层存储在客户端终端中。因此，它们可以变成新的SVC视频内容的适合终端性能和传输环境的MMT包裹。
[0155]在以上SVC视频内容的情况下，每个层可以包括一个MMT包裹，并且在这种情况下，多个MMT包裹形成一个内容，以MMT包裹为单位将该内容记录在存储器中，并且需要表示MMT包裹之间关系的组成信息或配置信息。
[0156]包括在一个MMT包裹中的组成信息或配置信息可以指代另外的MMT包裹中的MMT资产，并且可以表达指代在带外的情况下的MMT包裹的MMT包裹的外侧。例如，在一个MMT包裹中包括基础层、一个或更多个增强层和组成信息，并且当在另外的MMT包裹中包括一个或更多个增强层时，组成信息可以指代相同的MMT包裹中的基础层和增强层以及另外的MMT包裹中的增强层。
[0157]当存在多个MMT包裹时，组成信息可以被包括在仅一个MMT包裹中并且可以被包括在每个MMT包裹中。在下文中，参照图3至图10说明了根据本发明的各种实施方式的基于SVC视频内容的MMT包裹配置的示例。
[0158]已经描述了通过广播网络和宽带网络的混合传输，但是本发明的范围不限于通过广播网络和宽带网络的混合传输；并且作为根据本发明的实施方式的混合传输方案，可以从各种网络如广播网络、宽带网络、电缆网络和卫星通信网络中选择一个或更多个网络。
[0159]此外，包括在SVC视频内容中的每个层可以分别形成一个MMT资产。因此，MMT包裹和MMT资产之间的关系可以表示MMT包裹和各个层之间的关系。下面关于MMT包裹的配置的说明基于以下事实:基础层或增强层是MMT资产单元，但是根据本发明的实施方式的SVC视频内容的混合传输方法不限于MMT资产单元的传输，并且可以以子流、MMT包裹或MMT包为单位进行传输。在这种情况下，为了形成每个传输单元，可以以子流、MMT包裹或MMT包来进行分离和耦合。
[0160]图3示出了根据本发明的实施方式的MMT包裹配置的第一示例。
[0161]第一示例示出了一个SVC视频内容被形成为一个MMT包裹的情况。如图3所示，通过广播网络301对作为SVC视频内容的内容组件的一部分的基础层的MMT资产311和增强层的MMT资产312和313进行传输，并且可以通过宽带网络302对增强层的MMT资产314,315和316进行传输。此处，可以对通过广播网络进行传输的MMT资产311、312和313进行复用(MUX)，并且也可以对通过宽带网络进行传输的MMT资产314、315和316进行复用(MUX)。
[0162]此处，可以将作为形成一个内容的所有内容组件的MMT资产311、312、313、314、315和316作为一个整体包括在一个MMT包裹331中。此外，还可以将MMT资产311、312、313、314、315和316之间的组成信息包括在MMT包裹331中。
[0163]此处，组成信息可以包括MMT资产的被组成信息引用的媒体类型信息(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0164]图4示出了根据本发明的实施方式的MMT包裹配置的第二示例。
[0165]第二示例示出了一个内容由一个MMT包裹形成并且包括局部组成信息的情况。如图4所示，可以通过广播网络401对作为SVC视频内容的内容组件的一部分的基础层的MMT资产411和增强层的MMT资产412和413进行传输，并且可以通过宽带网络402对作为SVC视频内容的内容组件的剩余部分的增强层的MMT资产414、415和416进行传输。此处，可以对通过广播网络进行传输的MMT资产411、412和413进行复用，并且还可以对通过宽带网络进行传输的MMT资产414、415和416进行复用(MUX)。
[0166]此处，可以将作为形成一个内容的所有组件的MMT资产411、412、413、414、415和416作为一个整体包括在一个MMT包裹431中。此处，MMT包裹431可以包括:表示通过广播网络进行传输的MMT资产411、412和413之间的关系的局部组成信息441，表示通过宽带网络进行传输的MMT资产414、415和416之间的关系的局部组成信息442,以及表不局部组成信息441与局部组成信息442之间的关系组成信息。
[0167]此处，局部组成信息可以包括MMT资产的被组成信息引用的媒体类型信息(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0168]图5示出了根据本发明的实施方式的MMT包裹配置的第三示例。
[0169]图5示出了一个内容包括多个MMT包裹的情况。如图5所示，通过广播网络501对作为SVC视频内容的内容组件的一部分的基础层的MMT资产511和增强层的MMT资产512和513进行传输，并且可以通过宽带网络502对作为内容组件的剩余部分的增强层的MMT资产514、515和516进行传输。此处，可以对通过广播网络进行传输的MMT资产511、512和513进行复用(MUX)，并且还可以对通过宽带网络进行传输的MMT资产514、515和516进行复用(MUX)。
[0170]此处，可以将作为内容组件的一部分的MMT资产511、512和513包括在一个MMT包裹531中，并且可以将作为内容组件的剩余部分的MMT资产514、515和516包括在另外的MMT包裹532中。S卩，一个SVC视频内容可以包括多个MMT包裹531和532。此外，可以将表示MMT包裹之间的关系的组成信息521包括在MMT包裹531和MMT包裹532中的之一中。
[0171]此处，组成信息可以包括MMT资产的被组成信息引用的媒体类型信息(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0172]图6示出了根据本发明的实施方式的MMT包裹配置的第四示例。
[0173]第四示例示出了一个SVC视频内容包括多个MMT包裹并且包括局部组成信息的情况。如图6所示，可以通过广播网络601对作为SVC视频内容的内容组件的一部分的基础层的MMT资产611和增强层的MMT资产612和613进行传输，并且可以通过宽带网络602对作为内容组件的剩余部分的增强层的MMT资产614、615和616进行传输。此处，可以对通过广播网络进行传输的MMT资产611、612和613进行复用，并且还可以对通过宽带网络进行传输的MMT资产614、615和616进行复用。
[0174]此处，可以将作为SVC视频内容的内容组件的一部分的MMT资产611、612和613包括在一个MMT包裹631中，并且可以将作为内容组件的剩余部分的MMT资产614、615和616包括在另外的MMT包裹632中。S卩，一个内容可以包括多个MMT包裹631和632。
[0175]此外，MMT包裹631可以包括表示通过广播网络进行传输的MMT资产611、612和613之间的关系的局部组成信息641，并且MMT包裹632可以包括表示通过宽带网络进行传输的MMT资产614、615和616之间的关系的局部组成信息642。此外,可以将表不局部组成信息集合641与642之间的关系的组成信息621包括在MMT包裹631和MMT包裹632中的之一中。
[0176]此处，局部组成信息可以包括MMT资产的被局部组成信息引用的媒体类型信息(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0177]图7示出了根据本发明的实施方式的MMT包裹配置的第五示例。
[0178]第五示例示出了一个SVC视频内容包括多个MMT包裹的情况。如图7所示，可以通过广播网络701对作为SVC视频内容的内容组件的一部分的基础层的MMT资产711以及MMT资产712和713进行传输，并且可以通过宽带网络702对作为内容组件的剩余部分的增强层的MMT资产714、715和716进行传输。此处，可以对通过广播网络进行传输的MMT资产711、712和713进行复用，并且还可以对通过宽带网络进行传输的MMT资产714、715和716进行复用。
[0179]此处，可以将作为内容组件的一部分的MMT资产711、712和713包括在一个MMT包裹731中，并且可以将作为内容组件的剩余部分的MMT资产714、715和716包括在另外的MMT包裹732中。S卩，一个SVC视频内容可以包括多个MMT包裹731和732。此外，表示MMT包裹731与MMT包裹732之间的关系的组成信息721可以存在于MMT包裹731和732的外部。
[0180]此处，组成信息可以包括MMT包裹的被组成信息引用的媒体类型信息(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0181]图8示出了根据本发明的实施方式的MMT包裹配置的第六示例。
[0182]第六示例示出了一个SVC视频内容包括多个MMT包裹并且包括局部组成信息的情况。如图8所示，可以通过广播网络801对作为SVC视频内容的内容组件的一部分的基础层的MMT资产811和增强层的MMT资产812和813进行传输，并且可以通过宽带网络802对作为内容组件的剩余部分的增强层的MMT资产814、815和816进行传输。此处，可以对通过广播网络进行传输的MMT资产811、812和813进行复用(MUX)，并且还可以对通过宽带网络进行传输的MMT资产814、815和816进行复用(MUX)。
[0183]此外，可以将作为内容组件的一部分的MMT资产811、812和813包括在一个MMT包裹831中，并且可以将作为内容组件的剩余部分的MMT资产814、815和816包括在另外的MMT包裹832中。S卩，一个内容可以包括多个MMT包裹831和832。
[0184]此处，MMT包裹831可以包括表示通过广播网络进行传输的MMT资产811、812和813之间的关系的局部组成信息841，并且MMT包裹832可以包括表示通过宽带网络进行传输的MMT资产814、815和816之间的关系的局部组成信息842。此外,表不局部组成信息集合841与局部组成信息集合842之间的关系的组成信息821可以存在于MMT包裹831和832的外部。
[0185]此处，局部组成信息可以包括MMT资产的被局部组成信息引用的媒体类型信息(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0186]虽然描述了通过广播网络和宽带网络混合传送的情况，但是可以从广播网络、宽带网络、电缆网络和卫星通信网络中选择两个或更多个作为混合传送方案。此外，对于三个或更多个不同传输网络，一个MMT包裹可以形成一个SVC视频内容，或者多个MMT包裹可以形成一个SVC视频内容。
[0187]图9是示出了根据本发明的实施方式的SVC视频内容的混合传送方法的流程图。
[0188]如上所述，通过各种异构传输网络的混合传送已经成为可能，并且已经开发了包括电缆网络和卫星通信网络以及广播网络和宽带网络的各种传输网络。因此，SVC视频内容的混合传送方法通过以下而具有最佳传输效率:通过基于当前通信状况检测各种传输网络当中用于将SVC视频内容从服务器传输至客户端的传输网络的数量来充分利用传输网络；将SVC视频内容分段成与所检测的传输网络的数量对应的数量；以及通过各种方法生成并且传输分段内容之间的关系的信息。此处，SVC视频内容包括基础层和至少一个增强层，并且因此分段内容可以包括每个基础层或至少一个增强层。即，可以将多个层对应于传输网络的数量进行分离以便传输。
[0189]如图9所示，根据本发明的实施方式的SVC视频内容的混合传送方法可以包括以下操作:对要从服务器传输至客户端的SVC视频内容进行分段，并且生成分段SVC视频内容的组成信息；以及通过使用传输网络将分段SVC视频内容传输至客户端(S940)。此处，对SVC视频内容进行分段并且生成组成信息的操作可以包括以下操作:检测用于传输要通过服务器被传输至客户端的SVC视频内容的传输网络的数量(S910) JfSVC视频内容分段成与所检测的传输网络的数量对应的数量(S920);以及生成分段SVC视频内容的组成信息(S930)。
[0190]在检测用于传输要通过服务器被传输至客户端的SVC视频内容的传输网络的数量的操作中(S910)，通过检测可用于传输内容的所有传输网络来检测传输网络的数量。可以从广播网络、宽带网络、电缆网络和卫星通信网络中选择两个或更多个网络作为传输网络。此外，可以检测每个传输网络的特征如传输速度以及传输网络的数量。
[0191]在将SVC视频内容分段以对应于所检测的传输网络的数量的操作中(S920)，可以将SVC视频内容分段成与所检测的传输网络对应的数量。当将SVC视频内容分段成与传输网络的数量对应的数量时，如果在检测操作(S910)中检测每个传输网络的特征，则可以基于传输网络的特征和传输网络的数量对内容进行分段。分段内容可以是:音频信息、视频信息、附加数据信息或微件信息。音频信息、视频信息、附加数据信息或微件信息可以分别被包括在一个分段内容中或包括在多个分段内容中。
[0192]此处，内容可以包括至少一个MMT资产。基于传输网络的特征，分段内容可以包括相同数量的MMT资产和不同数量的MMT资产。此外，分段内容可以形成一个MMT包裹，或者分段内容可以各自形成一个MMT包裹。
[0193]具体地，分段SVC视频内容可以包括基础层的MMT资产和增强层的MMT资产中的至少之一。如上所述，SVC视频内容可以包括一个基础层和至少一个增强层，并且基础层或增强层可以包括MMT资产。因此，当SVC视频内容被分段时，分段SVC视频内容可以包括基础层的MMT资产并且包括一个或更多个增强层的MMT资产。此外，分段SVC视频内容可以包括基础层的MMT资产和一个或更多个增强层的MMT资产两者。
[0194]可以以子流、MMT包裹或MMT包以及MMT资产为单位对内容进行分段。如上所述，当视频内容是包括多个层如第一层和第二层的SVC视频内容时，可以以层为单位对视频内容进行分段。基于传输网络的特征，可以将相同数量的MMT资产、子码流、MMT包裹或MMT包包括在每个分段内容中，或者可以将不同数量的MMT资产、子码流、MMT包裹或MMT包包括在每个分段内容中。
[0195]在生成分段SVC视频内容的组成信息的操作中(S930)，可以生成表示分段内容之间的关系的组成信息。在对内容进行分段的操作中(S920)，当分段内容各自形成一个MMT包裹时，组成信息可以表示各自形成的MMT包裹之间的关系。此外，所生成的组成信息可以被包括在各自形成的MMT包裹之一中或可以单独存在。参照图2，可以将组成信息162包括在MMT包裹的包裹信息165中。
[0196]具体地，SVC视频内容的组成信息可以包括MMT资产的被组成信息引用的媒体类型数据(此处，媒体类型可以是视频、音频和字幕中之一)以及媒体大小、层的数量和关于MMT资产是基础层还是增强层的信息。
[0197]基于媒体类型信息，可以从视频数据、音频数据和字幕中确定相应的MMT资产的数据类型。此外，当MMT资产是视频数据时，组成信息可以包括视频数据(媒体)的大小信息。此外,组成信息可以包括包含在SVC视频内容中的层的数量以及表示MMT资产是基础层的MMT资产还是增强层的MMT资产的信息。
[0198]此外，在对内容进行分段的操作中(S920)，如果以子流、MMT包裹、MMT包或层为单位来对内容进行分段，则组成信息可以表示各个分段内容之间的关系。此外，组成信息可以包括在MMT包的报头182或有效载荷中以及包裹信息165中，可以包括在另外的MMT层结构的单元信息中，或者可以通过单独配置而存在。
[0199]具体地，参照图3至图8，如图3所示，分段内容可以形成一个MMT包裹331，并且可以将表示分段内容之间的关系的组成信息321包括在MMT包裹331中。
[0200]此外，如图4所示，分段内容作为整体可以形成一个MMT包裹431，并且可以将表示包括在各个分段内容中的MMT资产之间的关系的组成信息集合441和442和表示局部组成信息集合441与局部组成信息集合442之间的关系的组成信息421包括在MMT包裹431中。[0201 ] 此外，如图5所示，分段内容可以形成相应的MMT包裹531和532，并且表示MMT包裹531与MMT包裹532之间的关系的组成信息521可以包括在作为MMT包裹531和MMT包裹532之一的MMT包裹531中。
[0202]此外，如图6所示，分段内容可以形成相应的MMT包裹631和632，并且相应的MMT包裹631和632可以包括表示包括在相应的MMT包裹631和632中的MMT资产之间的关系的局部组成信息集合641和642。此外,表不局部组成信息集合641与局部组成信息集合642之间的关系的组成信息可以包括在作为MMT包裹631和MMT包裹632之一的MMT包裹631 中。
[0203]此外，如图7所示，分段内容可以形成相应的MMT包裹731和732，并且表示MMT包裹731与MMT包裹732之间的关系的组成信息可以存在于MMT包裹731和MMT包裹732的外部。
[0204]此外，如图8所示，分段内容可以形成相应的MMT包裹831和832，并且MMT包裹831和832可以包括表示包括在相应的MMT包裹831和832中的MMT资产之间的关系的局部组成信息集合841和842。此外，表示局部组成信息集合841与局部组成信息集合842之间的关系的组成信息821可以存在于MMT包裹831和832的外部。
[0205]上面描述了基于MMT资产对内容进行分段的情况，但是可以以子流、MMT包裹或MMT包以及MMT资产为单位对内容进行分段。
[0206]在内容的传输操作中(S940)，通过使用传输网络可以将分段SVC视频内容传输至客户端。当组成信息存在于MMT包裹的外部时，可以通过使用传输网络将分段SVC视频内容和组成信息传输至客户端。当考虑传输网络的特征来对SVC视频内容进行分段时，各个传输网络可以传输与各个传输网络的特征对应的分段内容。
[0207]接收SVC视频内容的方法
[0208]图10是示出了根据本发明的实施方式的接收SVC视频内容的方法的流程图。
[0209]如图10所示，根据本发明的实施方式的接收内容的方法可以包括以下操作:接收来自服务器的分段SVC视频内容(S1010);以及基于包括在分段SVC视频内容中的组成信息对分段SVC视频内容进行聚集(S1020)。
[0210]在接收内容的操作中，客户端接收来自服务器的分段SVC视频内容(S1010)。此处，当考虑到传输网络的特征对内容进行分段时，可以通过使用与每个传输网络的特征对应的每个传输网络来接收分段内容。如果组成信息存在于MMT包裹的外部，则接收内容的操作(S1010)可以接收分段内容和组成信息。
[0211]当客户端仅接收分段内容的一部分时，客户端可以基于内容和组成信息生成表示一些所接收的分段内容之间的关系的第二组成信息。此处，分段内容可以是:子流、MMT资产、MMT包裹或MMT包。
[0212]在聚集内容的操作中(S1020)，基于组成信息或第二组成信息来聚集分段内容。
[0213]混合传送中的同步方法
[0214]可以通过广播网络传输一个内容组件并且可以通过宽带网络传输另外的内容组件。此外，可以通过广播网络传输一个内容并且可以通过另外的广播网络传输另外的内容。
[0215]在混合传输中，可以使用用于检查媒体组件的类型和位置以同步不同类型的MMT和MPEG-2 TS的信令消息。信令消息清楚地表明了媒体组件的地址。在它连同MPEG-2 TS一起在广播信道中被使用的情况下，使用了 MPEG-2 TS的位置。
[0216]MPEG-2 TS组件包括基于STC的时间戳。MMT组件包括基于UTS的时间戳。为了对不同类型的MMT和MPEG-2 TS的时间戳进行同步，需要时钟关系信息消息。
[0217]在与MMT对应的接收器中，由于使用了时钟关系信息，可以将MPEG-2 TS的基于STC的时钟转变为基于UTC的系统时钟(挂钟)。可以通过共享相同时域如系统时钟来对MMT组件和MPEG-2 TS组件进行同步并且提供MMT组件和MPEG-2 TS组件。
[0218]纠|H混合传送的错误的方法
[0219]当通过混合传送对可缩放视频编码(SVC)视频数据进行传输时，如果在一些层的所接收的数据中出现了错误，则要对错误纠正进行说明。
[0220]假定存在传输单元和接收单元，则传输单元将包括基础层和第一增强层的SVC视频数据混合发送至接收单元。传输单元通过第一网络传输基础层数据，并且通过第二网络将第一增强层的数据传输至接收器。接收单元通过第一网络接收第一层的数据并且通过第二网络接收第一增强层的数据。当在由接收单元接收的基础层数据中存在错误时，可以通过使用所接收的基础层数据的另外的部分来纠正错误。然而，如果出现了通过仅使用基础层数据不能被纠正的错误，则接收单元通过另外使用通过第二网络接收的第一增强层的数据对基础层数据执行错误纠正。同样地，甚至当在通过第一网络接收的基础层数据中出现了不能被纠正的错误时，如果通过第二网络接收的第一增强层的数据已经无错地被接收，则可以对所接收的基础层数据的错误进行纠正。以相反的方式，当在增强层的数据中存在错误并且在基础层的数据中没有错误时，可以对错误进行纠正。
[0221]按照根据本发明的实施方式的MMT打包SVC视频内容的混合传输方法和接收方法，可以通过检测可能的传输网络的数量将SVC视频内容的层对应于传输网络的数量进行恰当的分配以便对其进行传输和接收。因此，在各种环境中具有最佳传输效率的混合传输是可能的。
【权利要求】
1.一种可缩放视频编码(SVC)视频内容的混合传送方法，所述混合传送方法包括: 对要由服务器传输至客户端的所述SVC视频内容进行分段；以及 通过使用多个传输网络将分段SVC视频内容传输至所述客户端。
2.根据权利要求1所述的混合传送方法，其中，所述分段SVC视频内容包括基础层的MPEG媒体传输(MMT)资产和增强层的MMT资产中的至少之一。
3.根据权利要求2所述的混合传送方法，其中，所述MMT资产包括媒体处理单元(MPU)，并且所述MPU包括所述SVC视频内容的分段信息。
4.根据权利要求3所述的混合传送方法，其中，所述MPU包括含有所述MPU的分段信息的丽T线索轨迹。
5.根据权利要求4所述的混合传送方法，其中，所述MMT线索轨迹包括所述SVC视频内容的所述分段信息。
6.根据权利要求1所述的混合传送方法，其中，所述对要由所述服务器传输至所述客户端的所述SVC视频内容的分段包括:对要由所述服务器传输至所述客户端的所述SVC视频内容进行分段，并且生成所述分段SVC视频内容的组成信息。
7.根据权利要求6所述的混合传送方法，其中，所述组成信息包括以下中至少之一:包括在所述分段SVC视频内容中的MMT资产的被所述组成信息引用的媒体类型信息、媒体大小、层的数量以及关于所述MMT资产是基础层还是增强层的信息， 其中所述媒体类型是视频、音频和字幕中之一。
8.根据权利要求6所述的混合传送方法，其中，所述组成信息被包括在MMT包裹的包裹信息、MMT包的报头和有效载荷中的至少之一中。
9.根据权利要求6所述的混合传送方法，其中，所述对所述分段SVC视频内容的传输包括:当所述组成信息存在于所述分段SVC视频内容的外部时，将所述分段SVC视频内容和所述组成信息传输至所述客户端。
10.根据权利要求6所述的混合传送方法，其中，所述通过对所述SVC视频内容进行分段生成所述组成信息包括: 检测要由所述服务器传输至所述客户端的所述SVC视频内容能够通过其传输的传输网络的数量； 对应于所检测的传输网络的数量对所述SVC视频内容进行分段；以及 生成所述分段SVC视频内容的组成信息。
11.根据权利要求1所述的混合传送方法，其中，所述分段SVC视频内容各自形成一个MMT包裹。
12.根据权利要求1所述的混合传送方法，其中，连同所述SVC视频内容一起传输用于通过所述多个传输网络被传输的所述分段SVC视频内容之间的同步的信令消息。
13.根据权利要求12所述的混合传送方法，其中，所述信令消息包括用于同步不同类型的时间戳的时钟关系信息(CRI)。
14.一种接收内容的方法，所述方法包括: 通过多个传输网络接收来自服务器的被分段的SVC视频内容；以及 聚集分段SVC视频内容。
15.根据权利要求14所述的方法，其中，所述接收所述分段SVC视频内容包括:当组成信息存在于所述分段SVC视频内容的外部时，接收来自所述服务器的所述分段SVC视频内容和所述组成信息。
16.根据权利要求14所述的方法，其中，所述接收所述分段SVC视频内容包括:生成表示所接收的分段内容与基于组成信息被接收的分段内容的一部分之间的关系的第二组成信息。
17.根据权利要求14所述的方法，其中，所述对所述分段SVC视频内容的聚集包括:基于包括在所述分段SVC视频内容中的组成信息来聚集所述分段SVC视频内容。
18.根据权利要求14所述的方法，还包括: 纠正所接收的SVC视频内容的错误。
19.根据权利要求18所述的方法，其中，所述纠正所述SVC视频内容的错误包括:通过使用所接收的另外层的数据来纠正所述错误。
20.根据权利要求14所述的方法，还包括: 接收用于所述分段SVC视频内容之间的同步的信令消息。
21.根据权利要求20所述的方法，其中，所述信令信息包括用于同步不同类型的时间戳的时钟关系信息(CRI)。
22.根据权利要求21所述的方法，还包括: 通过使用所述信令消息的所述时钟关系信息来生成系统时钟。
【文档编号】H04N21/43GK104255036SQ201380021547
【公开日】2014年12月31日 申请日期:2013年3月22日 优先权日:2012年3月23日
【发明者】李忠九, 李溶宰, 金辉 申请人:数码士控股有限公司