通过mmt包格式扩展的混合传输方法

通过mmt包格式扩展的混合传输方法
【专利摘要】公开了一种通过广播网络和宽带网络进行混合传输的方法，包括以下步骤：在观看宽带网络的第一内容时，提供关于与第一内容相关的广播内容的信息；并且如果相关的广播内容被选择，则通过广播网络向用户提供相关的广播内容。在观看广播网络中的特定VOD内容期间，用户可以通过广播网络接收与相关的特定内容对应的广播内容，并且观看所接收的广播内容。
【专利说明】通过MMT包格式扩展的混合传输方法

【技术领域】
[0001]本发明涉及使用异构网络的混合传输。

【背景技术】
[0002]在MPEG-2的标准化之后，在最近10年中开发了如MPEG_4、H.264/AVC和可分级视频编码(SVC)的新的视频压缩标准(或音频压缩标准)，并且这些新的标准已经形成了新的市场，由此扩展了 MPEG标准的应用范围，但是如MPEG-2传输系统(TS)的传输技术已广泛地用在数字广播和移动广播(T-DMB、DVB-H等)中大约20年而无显著变化，并且甚至这些技术被用于通过因特网进行多媒体传输的IPTV服务中。
[0003]然而，在开发MPEG-2 TS时的多媒体传输环境与当今的多媒体传输环境相当不同。例如，在制定时考虑通过ATM网络传输多媒体数据而开发了 MPEG-2 TS标准，但如今该标准很少用于该目的。此外，在制定MPEG-2 TS标准时尚未考虑比如通过使用因特网的多媒体传输的需求，并且因此存在对近来通过因特网进行多媒体传输而言不高效的因素。因此，正认为以下是非常重要的主题:建立考虑因特网中的多媒体服务并且适合变化的多媒体环境的新的多媒体传输标准的MPEG媒体传输(MMT)。
[0004]同样地，因为20年前制定的MPEG2-TS标准未对当今的IPTV广播服务、因特网环境等进行优化，所以进行MMT标准化是重要的；并且因此存在以下需求:针对各种异构网络中的多媒体传输环境进行优化的国际多媒体传输标准。
[0005]具体地，仅使用现有MPEG2 TS标准不能支持通过广播网络和宽带网络进行混合传输的各种应用示例。


【发明内容】

[0006]本发明的一个目的在于提供用于通过对MMT的包格式进行扩展而支持混合传送的混合传输方法。
[0007]根据本发明的一个方面，使用广播网络和宽带网络中的至少一个的混合传输方法包括:在观看第一内容时提供关于与第一内容相关联的广播内容的信息；以及通过广播网络向用户提供相关联的广播内容。
[0008]根据本发明的另一方面，使用广播网络和宽带网络的混合传输方法包括:通过使用数据存储器、宽带网络和广播网络中的至少一个来传输第一内容，其中，第一内容的传输还包括传输与第一内容相关联的信息。
[0009]根据本发明的又一方面，使用广播网络和宽带网络中的至少一个的混合接收方法包括接收第一内容，其中，第一内容的接收还包括在接收第一内容时接收与第一内容相关联的息。
[0010]可以通过使用数据存储器、宽带网络和广播网络中的至少一个来接收第一内容。
[0011]与第一内容相关联的信息可以是与第一内容相关联的广播内容的信息。
[0012]与第一内容相关联的信息的接收还可以包括:当与第一内容相关联的广播内容被选择时，接收与第一内容相关联的广播内容。
[0013]可以与第一内容一起接收与第一内容相关联的广播内容。
[0014]可以通过在提供广播内容时实时地接收广播内容来执行与第一内容相关联的广播内容的接收。
[0015]与第一内容相关联的广播内容的接收还可以包括存储广播内容。
[0016]与第一内容相关联的信息可以包括在MPEG媒体传输(MMT)包、MMT包报头、MMT有效载荷、MMT有效载荷报头、MMT资产(asset)、MMT资产报头、资产传送特性(ADC)、MMT组成信息(MMT-CI)、MMT处理单元(MPU)和MMT片段单元(MFU)中的至少一个中。
[0017]与第一内容相关联的信息可以是节目特定信息(PSI)、节目关联表(PAT)、节目映射表(PMT)、高级节目映射表(APMT)以及节目ID(PID)中的至少一个。
[0018]根据本发明的另一个方面，使用广播网络和宽带网络中的至少一个的混合传输装置包括接收MMT有效载荷并且生成MMT包的MMT包生成单元以及传输所生成的MMT包的MMT包传输单元，其中，MMT包包括第一内容和与第一内容相关联的信息。
[0019]MMT包传输单元可以通过使用数据存储器、宽带网络和广播网络中的至少一个来传输MMT包。
[0020]根据本发明的一个方面，使用广播网络和宽带网络中的至少一个的混合接收装置包括接收所传输的MMT包的MMT包接收单元，其中，MMT包包括第一内容和与第一内容相关联的息。
[0021]MMT包接收单元可以通过使用数据存储器、宽带网络和广播网络中的至少一个来接收MMT包。
[0022]与第一内容相关联的信息可以是与第一内容相关联的广播内容的信息。
[0023]当与第一内容相关联的广播内容被选择时，MMT接收单元可以接收包括与第一内容相关联的广播内容的MMT包。
[0024]MMT接收单元可以根据广播内容的提供时间实时地接收包括与第一内容相关联的广播内容的MMT包。
[0025]混合接收装置还可以包括用于存储数据的数据存储器，其中，数据存储器存储根据包括与第一内容相关联的广播内容的MMT包所生成的广播内容。
[0026]与第一内容相关联的信息可以包括在MPEG媒体传输(MMT)包、MMT包报头、MMT有效载荷、MMT有效载荷报头、MMT资产、MMT资产报头、资产传送特性(ADC)、MMT组成信息(MMT-CI)、MMT处理单元(MPU)以及MMT片段单元(MFU)中的至少一个中。
[0027]与第一内容相关联的信息可以是节目特定信息(PSI)、节目关联表(PAT)、节目映射表(PMT)、高级节目映射表(APMT)以及节目ID(PID)中的至少一个。
[0028]本发明的效果
[0029]根据通过MMT的包格式扩展的上述混合传输方法，当通过宽带网络观看特定的VOD内容时，可以通过广播网络提供关于与该特定内容对应的内容的信息。
[0030]此外，当相关联的广播内容被选择时，用户可以通过经由广播网络将相关联的广播内容传输至用户来接收和观看相关联的广播内容。

【专利附图】

【附图说明】
[0031]图1是示出了根据本发明的实施方式的MMT层级结构的概念图。
[0032]图2示出了用于图1的MMT层级结构的每个层的单元信息(或数据或包)的格式。
[0033]图3是示出了根据本发明的实施方式的用于混合传输的MMT包格式的扩展示例的概念图。
[0034]图4示出了根据本发明的实施方式的通过在混合传输系统中使用广播网络和宽带网络对流组件进行混合传输的示例。
[0035]图5示出了根据本发明的另一实施方式的通过在混合传输系统中使用已存储的组件以及广播网络或宽带网络对所传输的流组件进行混合传输的示例。
[0036]图6示出了根据本发明的另一实施方式的通过广播网络和宽带网络混合传输在混合传输系统中被提供为层级媒体数据的流组件的示例。
[0037]图7是示出了根据本发明的实施方式的用于混合传输的MMT包格式的扩展示例的概念图。
[0038]图8是示出了根据本发明的实施方式的通过使用MMT包格式的扩展进行混合传输的方法的流程图。
[0039]图9是示出了根据本发明的实施方式的混合传输系统中的MMT包传输的处理的流程图。

【具体实施方式】
[0040]可以以各种方式对本发明进行修改并且各种实施方式是可能的，因此在附图中示出了特定实施方式并且对其进行了详细描述。
[0041]然而，本说明书不限于特定实施方式，而应当被理解为在本发明的范围内包括所有改变、等同物和替换。
[0042]术语诸如“第一”和“第二”可以用于说明各种要素，但是要素不受这样的术语限制。术语仅用于区分一个要素与其他要素。例如，在本发明的范围内，第一要素可以被称为第二要素，或者第二要素可以被称为第一要素。表达“和/或”包括一个或更多个多个项。
[0043]当提到要素被“连接”或“链接”到另外的要素时，可以表示:将该要素直接连接或链接到另外的要素，但是要素和另外的要素之间也可能还存在其他要素。另一方面，当提到要素被直接连接或直接链接到另外的要素时，应当理解，该要素与另外的要素之间不存在其他的要素。
[0044]本说明书中所使用的术语仅用于描述特定实施方式，但是不用于限制本发明的范围。除非另外明确指出，否则单数表达包括复数表达。如“包括”和“具有”这样的术语用于描述以下事实:存在特征、数量、步骤、操作、部分或以上的组合，但是不用于排除其他特征、数量、步骤、操作、部分或以上组合的存在或附加的可能性。
[0045]除非另外限定，否则本文中所使用的包括技术术语和科学术语的所有术语具有与由本领域普通技术人员通常所理解的术语相同的意义。通常被使用的术语和在字典中被定义的术语应当被理解为具有与在相关领域的背景下的术语相同的意义，并且在本说明书中除非明确限定，否则不应当以过分理想主义或形式主义的方式来理解术语。
[0046]在下文中，将参照附图对本发明的实施方式进行详细描述。当对本发明进行说明时，为了更好的理解本发明，在附图中使用相同的附图标记表示相同的要素，并且省略了对相同要素的重复说明。
[0047]在下文中，将内容组件、内容、混合传送、呈现、服务和服务信息定义如下。
[0048]将内容组件或媒体组件定义为:单一类型的媒体或者单一类型的媒体的子集，例如视频磁迹、电影字幕或者视频的增强层。
[0049]将内容定义为:内容组件比如电影和歌曲的集合。
[0050]将混合传送定义为:通过一个或更多个物理上不同形式的网络同时传输一个或更多个内容组件。
[0051]将呈现定义为:由一个或更多个设备执行以使得用户可以体验一个内容组件或者一个服务的操作(例如，看电影)。
[0052]将服务定义为:被传输以便呈现或存储的一个或更多个内容组件。
[0053]将服务信息定义为:描述一个服务以及该服务的特性和组件的元数据。
[0054]将非定时数据定义为:在没有固有时间线(timeline)的情况下而被消耗(consume)的所有数据元素。非定时数据是没有用于媒体单元的解码和/或表达的固有同步信息的数据。
[0055]定时数据是包括用于媒体单元的解码和/或表达的固有同步信息的数据，并且被定义为与被解码和呈现的固有时间线相关联的数据元素。
[0056]存取单元(AU)是能够具有时间信息的最小数据实体。
[0057]媒体片段单元(MFU)是独立于任何特定的编解码器的通用容器，并且容纳可以被媒体解码器独立地消耗的编码媒体数据。AU包括可以被媒体解码器如用于定时媒体数据的整个AU或部分AU独立地解码的非定时媒体数据或媒体数据的一个文件。这容纳可以被用在传输层中的不具有与存取单元大小相同或者比存取单元的大小更小的大小的信息。
[0058]媒体处理单元是独立于任何特定媒体编解码器的通用容器，并且是用于可以被独立地解码的定时或非定时数据的通用容器。部分非定时数据或定时数据的至少一个AU连同与另外的传输和消耗相关的信息被包括。MPU的处理表不用于传输的分包或包封为封装。
是可以被完全且独立处理的编码媒体数据。然而，在用于可分级视频编码(SVC)和多视点视频编码(MVC)的一些情况下，在媒体编解码器服务器中可能并不能独立并完全地消耗MPU。
[0059]MMT资产是包括具有相同的MMT资产ID的至少一个MPU的逻辑数据实体，或者包括具有以另外的标准限定的格式的特定数据块的逻辑数据实体。MMT资产是包括具有相同的传送特性的数据的数据实体。
[0060]MMT资产传送特性(MMT-ADC)是关于传输MMT资产的服务质量(QoS)要求的描述。MMT-ADC被表达为与特定传送环境不相关的参数。
[0061]MMT组成信息(MMT Cl)说明了 MMT资产之间的空间关系和时间关系。
[0062]MMT实体是遵循MMT简档的软件实现或硬件实现。
[0063]MMT包是根据MMT协议所生成或消耗的有格式的数据单元。
[0064]MMT封装是逻辑结构数据的集合，并且包括MMT资产、MMT组成信息、MMT资产传送特性和描述信息中的至少一个。
[0065]MMT有效载荷是通过使用MMT协议或者因特网应用层传输协议(例如，RTP)携带封装或用信号发送消息的带格式的数据单元。
[0066]MMT协议是用于通过IP网络传输MMT有效载荷的应用层传输协议。
[0067]MMT有效载荷格式是由MMT协议或因特网应用层协议(例如，RTP)传输的MMT封装或MMT信令消息的有效载荷的格式。
[0068]在下文中，第一网络或第二网络包括各种网络，包括广播网络、宽带网络、电缆网络或卫星通信网络。
[0069]在下文中，在混合传送中，可以以MMT资产、子流、MMT封装或MMT包为单位传输内容，或者当视频内容包括多个层包括第一层和第二层时，可以以层为单位混合传输内容。
[0070]图1是示出了根据本发明的实施方式的MMT层级结构的概念图。
[0071]MMT层在传输层上进行操作，并且参照图l，mpeg媒体传输(MMT)层结构包括封装层的功能区、传送层和信令层。
[0072]封装层(E层)可以包括如图1所示的MMT E.1层、MMT E.2层和MMT E.3层。
[0073]封装层(E层)定义了对为了被存储在存储设备中或作为有效载荷被传输而被编码的媒体组件进行封装的格式。例如，封装层可以负责所传输的媒体的分包、分段、同步、复用等的功能。
[0074]可以对各种多媒体组件进行封装和组合，以便通过封装层中所提供的功能进行传输和消耗。在封装层的功能区域中提供所封装的媒体组件和关于媒体组件的配置信息。
[0075]关于所封装的媒体组件的主要信息可以包括聚合、优先化、媒体片段的依赖性、MPU的定时信息、结构信息、MMT资产150的标识信息、初始化信息和编解码器信息。媒体组件的配置信息可以包括MMT封装160和MMT资产160的标识信息、具有MMT资产150的列表的配置信息、MMT封装160内的MMT资产150的组成信息162以及资产传送特性(ADC)。
[0076]封装层定义了要由媒体内容处理的数据单元、MMT封装和MMT实体的格式的逻辑结构、以及对ISO基本媒体文件格式(IS0BMFF)的实现示例。为了提供用于自适应传送的基本信息，MMT封装清楚地规定了包括媒体内容的组件以及这些组件的关系。定义数据单元的格式以对用于存储和传送的编码媒体进行封装，并且容易地在这两种格式之间转换。
[0077]E.3层通过对由媒体编解码器A层提供的媒体片段单元(MFU)进行封装来生成媒体处理单元(MPU)。
[0078]将来自上层的编码媒体数据封装为MFU。对编码媒体的类型和值进行抽象以使得通用于具体的编解码技术。这使得下层能够在不接近编码媒体的情况下处理MFU，以及下层从存储器的缓冲器或网络调用所需要的编码媒体数据并且将所调用的媒体数据传输至解码器。MFU具有用于执行操作的足够的媒体部分单元。
[0079]MFU可以为图片或视频片段。MFU可以具有以下格式:该格式可以加载独立于任何特定编解码器并且可以在媒体解码器中独立地被消耗的数据单元。可以独立地被传输和解码的一个或者一组多个MFU生成MPU。可以被独立地传输和执行的非定时媒体也生成MPU。通过描述MFU的内部结构如阵列和图案，MPU使得能够对MFU进行快速访问和部分消耗。
[0080]E.2层对在E.3层中生成的MPU进行封装以生成MMT资产。
[0081]MMT资产是包括来自单个数据源的一个或更多个MPU的数据实体，并且是在其中定义组成信息(Cl)和资产传送特性(ADC)的数据单元。来自相同的源组件的MPU序列生成MMT资产。MMT资产通过MMT封装进行打包，通过组成信息和传输特性用其他东西来形成，通过MMT有效载荷格式与其他东西复用，并且通过MMT协议进行传输。
[0082]MMT资产可以对应于分包基本流(PES)，并且可以对应于视频、音频、节目信息、MPEG-U微件、JPEG图像、MPEG4文件格式和MPEG传输流。
[0083]E.1层对在E.2层中生成的MMT资产进行封装以生成MMT封装。
[0084]利用为每个MMT资产选择合适的传送方法以满足MMT资产的可感知的品质的资产传送特性(ADC)对丽T资产进行打包。此外，利用用于随后的相同用户体验的响应的MMT组成信息(MMT-CI)连同其他功能区域(传输区和信号区)一起对MMT资产进行打包。
[0085]参照图3，MMT封装160包括组成信息(Cl)段162、至少一个MMT资产150和与每个资产相关的资产传送特性(ADC)。MMT封装可以对应于MPEG-2 TS的节目。
[0086]此外，基于MPU来应用封装的处理，并且资产是具有相同的资产ID的至少一个MPU集合；并且还应当理解，一个封装包括组成信息段、至少一个MPU以及与每个资产相关的资产传送特性。
[0087]资产可以变成对编码媒体数据如具有定时或非定时属性的音频、视频或网页数据进行包封的封装的要素。
[0088]组成信息包括关于MMT资产之间的关系的信息，并且当一个内容包括多个MMT封装时，组成信息还可以包括用于表示多个MMT封装之间的关系的信息。
[0089]资产传送特性(ADC) 162表示QoS请求和关于资产的传送的统计。多个资产可以与一个ADC相关。ADC可以用于:通过为了有效的传送对封装进行分包的实体对MMT协议和MMT有效载荷的参数进行设置。
[0090]资产传送特性(ADC)可以包括确定MMT包或MMT资产的传送条件如通信量描述参数和QoS描述符所需的传送特性信息。
[0091]传送层(D-层)定义了有效载荷格式和应用层传输协议。无论媒体类型或编码方法如何，定义有效载荷格式以携带编码媒体数据。应用层传输协议提供关于包括跨层通信和复用的封装的传送的增强特性。
[0092]传送层(D-层)置于传输层与封装层之间，并且负责:媒体如视频和音频的复用，包级别的聚合和/或分段，网络分包，QoS控制，同步功能，以及与比如现有RTP的传输层、比如现有m)P和TCP的传输层、封装层和信令层进行接口。
[0093]传送层(D-层)可以对通过网络进行传输的媒体执行网络流复用、网络分包、QoS控制等。
[0094]传送层(D-层)识别已经从封装层移交的不同类型的有效载荷以处理来自封装层的有效载荷。
[0095]传送层(D-层)可以处理通过不同网络和不同信道传输的包之间的时间关系。同步功能可以包括通过使用时间戳等进行混合网络同步。
[0096]传送层(D-层)可以对用于实时媒体传输的MMT传送包的定时约束进行处理。
[0097]传送层(D-层)可以执行MMT媒体包的错误控制如前向纠错和重新传输。
[0098]传送层(D-层)可以执行MMT媒体包的流控制。
[0099]传送层(D-层)可以通过用于保持对MMT媒体包的传输的预定水平的QoS的跨层设计来执行与另外的MMT层以及下层(MAC、PHY)的交互。此外，传送层可以提供执行组通信的功能。
[0100]传送层(D-层)可以包括MMT D.1层、MMT D.2层和MMT D.3层。
[0101]D.1层接收在E.1层中生成的MMT封装以生成MMT有效载荷。MMT有效载荷由MMT有效载荷格式形成。MMT有效载荷格式是用于通过其他现有应用传输协议如MMT应用协议或RTP传输消耗信息的有效载荷的格式。MMT有效载荷可以包括MMT的分段连同如AL-FEC的信息。
[0102]MMT有效载荷格式被定义为用于封装的内容组件的分包的通用有效载荷格式。无论具体的媒体编解码器如何，定义MMT有效载荷格式，并且像MPU —样的任何封装的媒体可以被分包为用于支持媒体内容的流传送的应用层传输协议的有效载荷。MMT有效载荷可以被用作RTP、MMT和另外的包传输协议的有效载荷格式。MMT有效载荷可以被用于对信令消息进行分包。
[0103]D.2层接收在D.1层中生成的MMT有效载荷以生成MMT包。MMT包是用在MMT的应用传输协议中的数据格式。
[0104]D.3层通过跨层设计提供在层之间交换信息的功能来支持QoS。例如，D.3层可以通过使用MAC/PHY层的QoS参数来执行QoS。MAC/PHY的QoS参数可以为比特率、丢包率、预期延迟和可用缓冲区大小。
[0105]信令层可以包括如图1所示的MMT S.1层和MMT S.2层。
[0106]信令层(S层)执行信令功能。例如，信令层可以执行会话初始化/控制/管理、基于服务器和/或基于客户端的特技(trick)模式、服务发现、与另外的层的同步，即用于与传输层和封装层的接口功能的信令功能。同步可以包括混合网络中的同步控制。
[0107]信令层(S层)定义对MMT封装的传送和消耗进行管理的消息格式。用于消耗管理的消息用来通知MMT封装的结构，并且用于传送管理的消息用于通知有效载荷格式的结构和协议的配置。
[0108]S.1层可以定义媒体表达呈现会话管理的应用之间的控制消息的格式。表达会话管理可以定义以下控制消息的格式:该控制消息在应用之间交换以提供媒体表达、会话管理和媒体消耗中所需的信息。S.1层可以执行与服务发现、媒体会话初始化/终止、媒体会话呈现/控制、传送⑶层以及封装(E)层的接口功能。
[0109]S.2层210可以执行传送会话管理。传送会话管理可以定义在传送层的终点之间交换的控制消息的格式。在传送会话管理中定义的控制消息可以用于流控制、传送会话管理、传送会话监视、错误控制以及混合网络同步控制。S.2层210可以提供发送者和接收者之间所需的以支持传送层的操作的信令。发送者和接收者之间所需的以支持传送层的操作的信令可以包括传送会话建立和释放；传送会话管理(监视、流控制、错误控制等)；对预定的传送会话的资源预留；用于混合网络同步的信令和用于自适应传送的信令。此外，S.2层210可以负责与传送层和封装层的接口功能。
[0110]控制消息(或控制信息)可以在信令层中生成以通过广播网络和/或宽带网络传输。
[0111]当通过广播网络和宽带网络两者传输时，通过广播网络所传输的控制消息的功能可以与通过宽带网络所传输的控制消息的功能相同。可以根据应用和传送的类型来改变控制消息的语法和格式。例如，在混合传输的情况下，相同的共用控制信息和相同的共用格式可以用于分别传输至广播网络和宽带网络的控制消息中。此外，在混合传输的情况下，相同的共用控制信息可以以不同的格式传输至广播网络和宽带网络中的每个网络。此外，在混合传输的情况下，不同的控制信息和不同的格式可以用于广播网络和宽带网络中的每个网络。
[0112]图2示出了用于图1的MMT层级结构的每一层的单元信息(或数据或包)的格式。
[0113]媒体片段单元(MFU) 130包括编码媒体片段数据132和媒体片段单元报头(MFUH) 134。媒体片段单元130具有独立于特定的编解码器的通用容器格式，并且对可以在媒体解码器中独立地被消耗的最小数据单元进行加载。MFUH 134可以包括另外的信息如媒体特性(例如，丢失容限)。MFU 130可以是视频片段的图片。
[0114]媒体片段单元(MFU)定义了以下类型:该类型对传输层中的AU部分进行封装以在MFU的范围内执行自适应传送。可以将MFU用于传输特定格式的编码媒体，以使得可以独立地对AU部分进行解码或将其丢弃。
[0115]MFU包括用于区分一个MFU的标识符并且具有单个AU内MFU之间的一般关系信息。说明了单个AU内MFU之间的依赖性关系，并且MFU的相关优先级被说明为这样的信息的一部分。可以将该信息用于处理下传输层中的传输。例如，传输层可以忽略可以被丢弃的MFU的传输以支持在宽带不足情况下的QoS传输。
[0116]MPU是包括多个媒体片段单元130的媒体片段单元的集合。MPU包括独立于特定的编解码器的通用容器格式，并且包括相当于存取单元的媒体数据。MPU可以包括定时数据单元或非定时数据单元。MPU可以包括媒体处理单元报头(MPUH)，该媒体处理单元报头(MPUH)包括附加信息比如用于与媒体片段单元数据同步的时间戳。MPU包括由遵循MMT的对象独立地并完全地处理的数据，并且该处理包括封装和分包。MPU可以包括至少一个MFU或者可以具有包括由另外的标准定义的格式的部分数据。
[0117]可以通过序列号以及区分该MPU与MMT封装内的其他MPU的相关联的资产ID来唯一标识MPU。单个MPU可以容纳至少一个整数的非定时数据。对于定时数据，可以从至少一个MFU来对AU进行传输，但可能不能将一个AU划分为多个MPU。在非定时数据中，一个MPU容纳由遵循MMT的对象独立地并完全地处理的非定时数据部分。
[0118]MPU包括至少一个随机访问点。MPU有效载荷的第一字节可以总是以随机访问点来开始。在定时数据中，该事实意味着:第一 MFU的解码次序在MPU有效载荷中总是O。在定时数据中，可以发送每个AU的呈现周期和解码次序以通知呈现时间。MPU不具有它自己的初始呈现时间，并且可以在组成信息中描述一个MPU的第一 AU的呈现时间。组成信息可以清楚地指出MPU的第一呈现时间。
[0119]MPU可以包括MMT提示踪迹。对于MPU的分包传送，MMT提示踪迹可以提供用于将所封装的MPU转换成MMT有效载荷和MMT包的信息。
[0120]MMT提示踪迹暗示传输单元中的MPU的分段。这样，可以使用至少一个MFU来生成MMT有效载荷。媒体数据可以生成并在通过传输单兀传输时作为MMT有效载荷传输。因此，所存储的格式可以不同于传送时的格式。在这样的情况下，需要在传输时用于提取媒体数据并且生成MMT有效载荷的动态传输单元。
[0121]MMT提示踪迹暗示用于使用MMT有效载荷格式的封装的MFU提取和生成。MMT有效载荷可以包括MPU元数据或至少一个MFU。MMT提示踪迹暗示在传输单元中提取MFU数据的方法。如果未使用分段，则可以忽略提示踪迹。
[0122]MMT提示踪迹可以表示采样的输入格式。在至少一个MFU中指定每个媒体采样，并且MMT提示踪迹的采样生成至少一个MFU。
[0123]MMT提示踪迹包括多个参数。例如，如果参数值为1，则可以包括表示提供多层信息的“多层—标记(multilayer_flag) ”。“依赖性 _id(dependency_id) ” 是表示 MFU 的依赖性的ID。如果该值不为0，则从时间、品质和空间分辨率中的至少一个方面将视频提高至少一个分级等级。“深度_id(cbpth_id)”表示MFU是否传输视频的深度数据。“品质_id(quality_id) ”是MFU的品质ID。如果该值不为0，则从时间、品质和空间分辨率中的至少一个方面将视频提高至少一个分级等级。“时间_id”是MFU的时间ID。如果该值不为0，则从时间、品质和空间分辨率中的至少一个方面来讲可以将视频提高至少一个分级等级。“时间_id (Temporaljd) ”是MFU的时间ID。如果该值不为0，则从时间、品质和空间分辨率中的至少一个方面将视频提高至少一个分级等级。此外，提示踪迹可以具有“层_id(layer_id) ”参数，该“层_id”参数表示在其中可分级范围信息被提供为初始信息的可分级层的ID0
[0124]MMT资产150是包括多个MPU的MPU的集合。MMT资产150是包括来自单个数据源的多个MPU(定时数据或非定时数据)的数据实体，并且MMT资产信息152可以包括另外的信息如资产封装元数据和数据类型。MMT资产150可以包括视频、音频、节目信息、MPEG-U微件、JPEG图像、MPEG4文件格式(FF)、分包基本流和MPEG传输流。
[0125]此外，MMT资产可以是具有编码媒体数据的逻辑数据对象。MMT资产具有MMT资产报头和编码媒体数据。编码媒体数据可以是整体地被称作MMT资产ID的一组MPU。作为与MMT客户端直接相关的对象分别消耗的类型的数据可以是分离的MMT资产。这样的数据类型的一些示例包括MPEG-2 TS、PES、MP4文件、MPEG-U微件封装和JPEG文件。
[0126]MMT资产的编码媒体可以是定时数据或非定时数据。定时数据是要求在指定的时间点对特定数据同步解码和呈现的音频视觉媒体数据。非定时数据是以下数据类型的数据:其可以根据服务提供或用户交互在任意时间点被解码和提供。
[0127]服务提供者可以合并MMT资产并且生成多媒体服务，同时沿空间时间轴放置MMT资产。
[0128]MMT封装160是包括一个或更多个MMT资产150的MMT资产集合。MMT封装内的MMT资产可以被复用或像链条一样被连接。
[0129]MMT封装是MMT资产和配置信息的容器格式。MMT封装提供MMT资产的存储和用于MMT节目的配置信息。
[0130]MMT节目提供者通过将编码数据封装为MMT资产并且说明MMT资产以及其传输特性的时间布局和空间布局来生成配置信息。可以将MMT资产作为有效载荷格式直接进行传输。可以通过S.1呈现会话管理消息来传输配置信息。然而，使得MMT节目能够中继或后续重用的MMT节目提供者和客户端以MMT封装格式来存储MMT节目。
[0131]当解析MMT封装时，MMT节目提供者确定提供MMT资产的路径(例如，广播或宽带)。MMT封装的配置信息连同传输相关信息一起传输至S.1呈现会话管理消息。
[0132]客户端接收S.1呈现会话管理信息，由此理解可能的MMT节目以及如何接收MMT节目的MMT资产。
[0133]也可以以D.1有效载荷格式来传输MMT封装。MMT封装被分包并且作为D.1有效载荷格式传输。客户端接收所分包的MMT封装，形成其一部分或整体，并且消耗MMT节目。
[0134]MMT封装160的封装信息165可以包括配置信息。配置信息可以包括另外的信息比如MMT资产列表、封装标识信息、组成信息162和资产传送特性(ADC) 164。组成信息162包括关于MMT资产150之间的关系的信息。
[0135]此外，当一个内容包括多个MMT封装时，组成信息162还可以包括用于表示多个MMT封装之间的关系的信息。组成信息162可以包括关于MMT封装中的时间、空间和自适应关系的信息。组成信息提供用于多屏幕环境中的封装传送优化和表达的信息。在多屏幕环境中，可以表示用于在特定屏幕中映射资产的信息，将在后面对其进行详细描述。
[0136]如在有助于MMT封装的呈现和传输的信息中，MMT中的组成信息提供关于MMT封装内的MMT资产之间的空间关系和时间关系的信息。
[0137]MMT-CI是用于扩展HTML5并且提供这样的信息的描述性语言。如果已经对HTML5进行了设计以描述基于文本的内容的基于页面的呈现，则MMT-CI主要表达源之间的空间关系。为了支持通知MMT资产之间的时间关系的表达，可以添加与MMT封装中的MMT资产相关的信息、确定MMT资产的传输和消耗次序的时间信息、以及用于消耗HTML5中的各种MMT资产的媒体要素的另外的属性。
[0138]资产传送特性信息164包括关于传送特性的信息，并且可以提供要确定每个MMT资产(或MMT包)的传送条件所需的信息。资产传送特性可以包括通信量描述参数和QoS描述符。
[0139]通信量描述参数可以包括媒体片段单元(MFU) 130或者MPU的比特率信息、以及优先级信息。比特率信息可以包括关于MMT资产是可变比特率(VBR)还是恒定比特率(CBR)的信息、针对媒体片段单元(MFU)(或MPU)的保证的比特率、以及MFU的最大比特率。通信量描述参数可以用于服务器、客户端和传送路径上的其他要素之间的资源预留，并且可以包括MMT资产内的媒体片段单元(MFU)的最大大小信息。可以定期或不定期地更新通信量描述参数。
[0140]QoS描述符包括用于QoS控制的信息并且可以包括延迟信息和损失信息。损失信息可以包括关于是否允许MMT资产的传送损失的损失指示。例如，当该损失指示为I时，它表示“无损失”，而当该损失指示为O时，其表示“有损失”。延迟信息可以包括用于区分MMT资产的传输延迟的灵敏度的延迟指示。延迟指示可以表示MMT资产的类型是否是会话、交互性、实时和非实时。
[0141]一个内容可以包括一个MMT封装。此外，一个内容可以包括多个MMT封装。
[0142]当一个内容包括多个MMT封装时，表示多个MMT封装之间的时间、空间和自适应关系的组成信息或配置信息可以存在于一个MMT封装的内部或外部。
[0143]例如，在混合传送的情况下，通过广播网络传输一些内容组件，并且可以通过宽带网络或另外的广播网络传输剩余部分的内容组件。例如，在形成一个多视点服务的多个视听(AV)流的情况下，可以通过广播网络传输一个流，可以通过宽带网络传输另外的流，每个AV流可以进行复用并且在客户端终端单独接收以便存储。例如，通过宽带网络传输应用软件如微件，并且在被传输至现有广播网络的情形中，可以存在AV流(AV节目)。在另外的示例中，可以通过宽带网络传输一个媒体组件，并且可以通过另外的宽带网络传输另外的媒体组件。
[0144]在上述多视点服务场景和/或微件场景的情况下，多个AV流可以变为一个MMT封装，并且在这种情况下，可以将多个流中的一个流存储在仅一个客户端终端中，存储内容变成MMT封装的一部分，客户端终端需要重新记录组成信息或配置信息，并且所重新记录的内容变成与服务器无关的新的MMT封装。
[0145]在多视图服务场景和/或微件场景的情况下，每个AV流可以为一个MMT封装，并且在这种情况下，多个MMT封装形成一个内容，被记录在MMT封装单元中，并且需要表示MMT封装之间关系的组成信息或配置信息。
[0146]包括在一个MMT封装中的组成信息或配置信息可以指代另外的MMT封装中的MMT资产，并且可以表达在带外的情况下指代MMT封装的MMT封装的外侧。
[0147]此外，为了通知由服务提供者和MMT封装160的传送所提供的MMT资产160的列表的客户端终端，MMT封装160可以通过信令(S)层被解释为服务发现信息，并且可以包括用于MMT控制消息中的服务发现的信息表。
[0148]将多媒体内容划分为多个段的服务器为多个段分配URL信息，存储关于媒体信息文件中的每个段的URL信息，并且将URL信息发送至客户端。
[0149]可以根据对HTTP流进行标准化的标准化组织以各种名称来命名媒体信息文件比如媒体呈现描述(MPD)或清单文件。在下文中，将媒体信息文件表示为媒体呈现描述(MPD)，并且对其进行描述。
[0150]混合传送的基本概念是组合不同信道中的媒体组件。在下文中，将描述在混合传输系统中执行的混合传送的一些示例。
[0151]图4示出了根据本发明的实施方式的通过在混合传输系统中使用广播网络和宽带网络来混合传输流组件的示例。
[0152]参照图4，根据本发明的实施方式的混合传输方法可以通过广播网络420来传输视频数据410以及通过宽带网络421来传输音频数据411 ;并且相反地，通过宽带网络421来传输视频数据410以及通过广播网络420来传输音频数据411。在图4示出的实施方式中，可以在单独的解码器430中分别对视频数据410和音频数据411进行解码。例如，视频数据410可以在视频解码器430中进行解码以便被传送至显示装置440然后被显示，并且音频数据411可以在音频解码器431中进行解码以便通过扬声器441被重放为声音。
[0153]此时，显示装置440和扬声器441可以提供同步的呈现。即，视频和音频可以通过单独的路径传输，但是可以在呈现操作中在时间上同步以便被提供给用户。
[0154]图5示出了根据本发明的另一实施方式的通过在混合传输系统中使用已存储的组件和广播网络或宽带网络混合传输所传输的流组件的示例。除了从存储器423传输一些数据的事实以外，图5的实施方式与图4的实施方式相同。在图5的实施方式中，从存储器423传输视频数据，并且通过宽带网络421传输音频数据411。
[0155]图6示出了根据本发明的另一实施方式的通过广播网络和宽带网络混合传输在混合传输系统中被提供为层级媒体数据的流组件的示例。在图6的实施方式中，视频数据和音频数据一起被生成为媒体数据，并且一起被传输。图6的实施方式示出了层级视频传输的情况。
[0156]通过广播网络422传输作为层级媒体数据412的最小数据的基本层的数据，并且通过使用广播网络423传输具有层级媒体数据412的另外的信息的扩展层的数据。
[0157]第一解码器432仅接收由广播网络422提供的媒体数据。因此，通过仅接收基本层的数据，提供低品质媒体442。
[0158]向第二解码器433提供由广播网络422提供的基本层数据以及由宽带网络423提供的扩展层数据，以便提供高品质媒体443。第二解码器可以在解码器级进行同步以便一起使用基本层数据和扩展层数据。
[0159]图4至图6中示出的实施方式描述了将在不同传输网络中提供的相同格式的媒体数据组合的示例，但是不同格式的数据可以在解码器级被组合并且可以在呈现级中被表达。例如，MMT组件和不同格式的组件如MPEG-2 TS可以通过被组合而被解码或者可以单独地被解码，然后可以通过在呈现级中同步来被显示。
[0160]图7是示出了根据本发明的实施方式的用于混合传输的MMT包格式的扩展示例的概念图。
[0161]参照图7，通过广播网络传输的MMT包包括包含报头的内容组件704、包括节目映射表(PMT) 701、节目分配表(PAT) 702和高级节目映射表(APMT) 701中的至少一个的视频数据705和音频数据706。
[0162]PMT 701表示关于基本流(ES)的内容如视频和音频以及被包括在一个节目中的节目特定信息(PS)。PSI包括ES的PID。
[0163]PMT 701信息以具有在PAT 702中被指定为PID的PMT-PID的TS包被传输。在此，节目是具有相同时间标准值的基本流(ES)的集合。
[0164]PAT 702和PMT 701是为了与MPEG2 TS相兼容所需的信息，并且具有与MPEG2 TS中使用的PAT和PMT相同的值。
[0165]APMT 703是通过MPEG2 TS的扩展的混合传输所需的信息，并且被包括在广播网络或者宽带MMT包中以被传输。
[0166]例如，APMT 703具有以下作用:表示在广播网络的韩语音频中对应于韩语音频的英语音频存在于宽带网络中的特定位置。此外，APMT 703可以表示与和广播网络的视频相关的宽带网络的视频相关的视频或者音频的指定位置。
[0167]此外，APMT 703可以包括与内容相关联的信息或者相应的广播内容如广播信道、广播时间和广播长度。因此，当特定VOD内容的实时广播时间变得接近或者当通过宽带网络如IP网络(因特网)观看特定VOD内容(例如，韩语节目“我是歌手”)时开始实时广播时，APMT 703可以通过信息如TS的PID或ID来表示在广播网络中与特定VOD内容相关联的实时广播内容(例如，“我是歌手”的实时音频数据和视频数据)的具体位置。因此，当通过宽带网络观看特定的VOD内容时，可以通过广播网络向用户提供关于与特定内容对应的内容的信息。
[0168]节目映射表(PMT) 701、节目分配表(PAT) 702和高级节目映射表(APMT) 703以及与内容相关的广播内容的信息可以包括在MMT包、MMT包的报头、MMT有效载荷、MMT有效载荷报头、MMT资产、MMT资产报头、ADC、MMT-C1、MPU和MFU中的一个中。
[0169]图8是示出了根据本发明的实施方式的通过使用MMT包格式的扩展的混合传输方法的流程图。
[0170]参照图8，当通过宽带网络观看特定VOD内容时，根据本发明的实施方式的混合传输方法可以提供关于与该特定内容相关联或对应的广播内容的信息(S810);并且当选择相关联的广播内容时通过广播网络将相关联的广播内容传输至用户，由此使得用户能够接收和观看相关联的广播内容(S820)。
[0171]图9是示出了根据本发明的实施方式的混合传输系统中的MMT包传输的处理的流程图。在下文中，将参照图9对根据本发明的实施方式的混合传输中的MMT包传输进行描述。
[0172]首先，根据本发明的实施方式的混合传输装置生成包括第一内容的视频数据和音频数据、相关的PAT、PS1、PMT、APMT以及关于相关的广播内容的信息的MMT包；并且通过使用宽带网络和广播网络中的至少一个将所生成的MMT包传输至混合接收装置(S910)。在此，可以通过使用宽带网络和广播网络两者传输所生成的MMT包。MMT包通过MMT包生成单元生成，并且通过MMT包传输单元进行传输。
[0173]此后，根据本发明的实施方式的混合接收装置接收传输的MMT包(S920)。根据本发明的实施方式的混合接收装置通过使用MMT接收单元来接收MMT包。在此，可以从数据存储器、宽带网络和广播网络中的至少一个接收MMT包。例如，可以由宽带网络传输一些MMT包，并且可以由广播网络传输其他MMT包。此外，可以从存储器传输一些MMT包。
[0174]此后，根据本发明的实施方式的混合接收装置从所接收的MMT包中提取与内容相关的信息(S930)。内容相关的信息可以是PAT、PMT、APMT以及与内容相关的其他广播内容的信息中之一。
[0175]此后，根据本发明的实施方式的混合接收装置通过使用所提取的信息来提供服务(S930)。例如，当选择与第一内容相关联的广播内容时，根据本发明的实施方式的混合接收装置接收与第一内容相关联的广播内容。根据本发明的实施方式的混合接收装置通过参照广播内容的相关信息来使用广播网络和宽带网络中的至少一个来接收广播内容。在提供广播内容时可以开始广播内容的接收，并且混合接收装置可以通过在提供广播内容时实时接收广播内容来为用户提供现场直播的广播节目。
[0176]此外，根据本发明的实施方式的混合接收装置可以接收广播内容，并且所接收的广播内容可以被存储在数据存储器中而不被显示。
[0177]已经基于一系列功能块对上述本发明进行了描述，但是本发明不限于上述实施方式和附图，并且对本领域技术人员而言显见的是，在本发明的技术概念的范围内可以对实施方式进行替换、修改和改变。
[0178]上述实施方式的组合不限于上述实施方式，并且可以根据实现和/或需求提供各种形式的组合以及上述实施方式。
[0179]也就是说，因为MANE通过使用上述扩展信息来控制MMT包传输，所以多层视频服务器410可以通过使用扩展信息来控制MMT包的传输。
[0180]在上述实施方式中，基于流程图将方法描述为一系列操作或块，但是本发明不限于操作的次序，并且可以以不同的其他次序或同时来执行一些操作。此外，本领域普通技术人员容易理解，流程图中的操作并非是排它性的，在不影响本发明的范围的情况下，可以添加另外的操作或者可以删除流程图中的一个或更多个操作。
[0181]上述实施方式包括各种形式的示例。不可能为了表示各种形式而描述所有可能的组合，但是本领域普通技术人员将很容易意识到其他组合的可能性。因此，应当理解，在下面的权利要求的范围内，本发明包括所有其他的替代、修改和改变。
【权利要求】
1.一种使用广播网络和宽带网络中的至少一个的混合传输方法，所述混合传输方法包括: 通过使用数据存储器、宽带网络和广播网络中的至少一个来传输第一内容， 其中，所述第一内容的所述传输还包括: 传输与所述第一内容相关联的信息。
2.一种使用广播网络和宽带网络中的至少一个的混合接收方法，所述混合接收方法包括: 接收第一内容， 其中，所述第一内容的所述接收还包括: 在接收所述第一内容时接收与所述第一内容相关联的信息。
3.根据权利要求2所述的混合接收方法，其中，通过使用数据存储器、宽带网络和广播网络中的至少一个来接收所述第一内容。
4.根据权利要求2所述的混合接收方法，其中，与所述第一内容相关联的信息是与所述第一内容相关联的广播内容的信息。
5.根据权利要求4所述的混合接收方法，其中，与所述第一内容相关联的信息的所述接收还包括: 当与所述第一内容相关联的所述广播内容被选择时，接收与所述第一内容相关联的广播内容。
6.根据权利要求5所述的混合接收方法，其中，连同所述第一内容一起接收与所述第一内容相关联的所述广播内容。
7.根据权利要求5所述的混合接收方法，其中，通过在提供所述广播内容时实时接收所述广播内容来执行与所述第一内容相关联的所述广播内容的所述接收。
8.根据权利要求5所述的混合接收方法，其中，与所述第一内容相关联的所述广播内容的所述接收还包括: 存储所述广播内容。
9.根据权利要求2所述的混合接收方法，其中，与所述第一内容相关联的所述信息包括在MPEG媒体传输MMT包、MMT包报头、MMT有效载荷、MMT有效载荷报头、MMT资产、MMT资产报头、资产传送特性ADC、MMT组成信息MMT-C1、MMT处理单元MPU以及MMT片段单元MFU中的至少一个中。
10.根据权利要求2所述的混合接收方法，其中，与所述第一内容相关联的所述信息是节目特定信息PS1、节目关联表PAT、节目映射表PMT、高级节目映射表APMT以及节目标识符PID中的至少一个。
11.一种使用广播网络和宽带网络中的至少一个的混合传输装置，所述混合传输装置包括: 接收MPEG媒体传输MMT有效载荷并且生成MMT包的MMT包生成单元；以及 传输所生成的MMT包的MMT包传输单元， 其中，所述MMT包包括第一内容和与所述第一内容相关联的信息。
12.根据权利要求11所述的混合传输装置，其中，所述MMT包传输单元通过使用数据存储器、宽带网络和广播网络中的至少一个来传输所述MMT包。
13.一种使用广播网络和宽带网络中的至少一个的混合接收装置，所述混合接收装置包括: 接收所传输的MPEG媒体传输MMT包的MMT包接收单元， 其中，所述MMT包包括第一内容和与所述第一内容相关联的信息。
14.根据权利要求13所述的混合接收装置，其中，所述MMT包接收单元通过使用数据存储器、宽带网络和广播网络中的至少一个来接收所述MMT包。
15.根据权利要求13所述的混合接收装置，其中，与所述第一内容相关联的信息是与所述第一内容相关联的广播内容的信息。
16.根据权利要求15所述的混合接收装置，其中，当与所述第一内容相关联的所述广播内容被选择时，所述MMT接收单元接收包括与所述第一内容相关联的广播内容的MMT包。
17.根据权利要求16所述的混合接收装置，其中，所述MMT接收单元根据所述广播内容的提供时间实时地接收包括与所述第一内容相关联的所述广播内容的MMT包。
18.根据权利要求16所述的混合接收装置，其中，所述混合接收装置还包括用于存储数据的数据存储器， 其中，所述数据存储器存储根据包括与所述第一内容相关联的所述广播内容的所述MMT包所生成的所述广播内容。
19.根据权利要求13所述的混合接收装置，其中，与所述第一内容相关联的所述信息包括在MPEG媒体传输MMT包、MMT包报头、MMT有效载荷、MMT有效载荷报头、MMT资产、MMT资产报头、资产传送特性ADC、MMT组成信息MMT-C1、MMT处理单元MPU以及MMT片段单元MFU中的至少一个中。
20.根据权利要求13所述的混合接收装置，其中，与所述第一内容相关联的所述信息是节目特定信息PS1、节目关联表PAT、节目映射表PMT、高级节目映射表APMT以及节目标识符PID中的至少一个。
【文档编号】H04N21/63GK104350760SQ201380024230
【公开日】2015年2月11日 申请日期:2013年5月10日 优先权日:2012年5月10日
【发明者】李忠九, 李溶宰, 金辉 申请人:数码士控股有限公司