用于发送和接收内容的方法和装置制造方法
【专利摘要】提供了一种用于发送和接收内容的方法和装置。用于在发射机中发送内容的方法包括：生成具有包括至少一个资产的一个或多个数据包的文件；以及向终端发送所生成的文件。
【专利说明】用于发送和接收内容的方法和装置
【技术领域】
[0001]本发明涉及一种用于发送和接收内容的方法和装置。更具体地，本发明涉及一种用于通过各种异构网络来发送和接收内容的方法和装置。
【背景技术】
[0002]国际标准化组织/国际电工委员会(ISO / IEC)已经将ISO基本文件格式定义为用于多媒体服务的标准文件格式。ISO基本文件格式是灵活且可扩展的文件结构并且是各种媒体文件格式的基础。例如，联合照相专家组(JPEG)2000和第三代合作伙伴项目(3GPP)文件格式基于ISO基本文件格式，而活动图像专家组(MPEG)-4文件格式是ISO基本文件格式的扩展格式。
【发明内容】
[0003]技术问题
[0004]期望一种能够有效地发送诸如电影、新闻等等的内容的包括各种类型的媒体的多媒体内容(内容)的方法。以数据包(package)为基础发送内容。为此，期望一种能够使用数据包更有效地发送内容的方法。
[0005]技术方案
[0006]本发明的方面将至少解决以上提及的问题和/或缺点并且至少提供如下所述的优点。本发明的方面将提供一种用于有效地发送内容的内容存储方法和装置。
[0007]本发明的另一个方面将提供一种用于通过各种异构网络来发送内容的内容递送方法和装置。
[0008]本发明的另一个方面将提供一种用于存储和发送具有数据包结构的内容的方法和装置。
[0009]根据本发明的一方面,提供一种用于在发射机中发送内容的方法。该方法包括:生成具有包括至少一个资产的一个或多个数据包的文件，以及向终端发送所生成的文件。
[0010]根据本发明的另一个方面，提供一种用于在终端中接收内容的方法。该方法包括:接收文件；分析被包括在文件中且包括至少一个资产的一个或多个数据包；以及基于分析结果来播放内容。
[0011]根据本发明的另一个方面，提供一种用于在发射机中发送内容的装置。该装置包括:用于生成具有包括至少一个资产的一个或多个数据包的文件的生成器；和用于向终端发送所生成的文件的发送单元。
[0012]根据本发明的另一个方面，提供一种用于在接收机中接收内容的装置。该装置包括:用于接收文件的接收单元；用于对被包括在文件中且包括至少一个资产的一个或多个数据包进行分析的数据包分析单元；以及用于基于分析结果来播放内容的重放单元。
[0013]根据以下结合附图被采取来公开本发明的示例性实施例的详细描述，本发明的其他方面、优点和特征对于本领域技术人员将变得明显。【专利附图】
【附图说明】
[0014]根据以下结合附图所采取的描述，本发明的某些示例性实施例的上述及其他方面、特征和优点将更明显，在附图中:
[0015]图1示出根据本发明的示例性实施例的、MPEG媒体传送(MMT)数据包的结构；
[0016]图2示出根据本发明的示例性实施例的、用于数据包传输的MMT系统的体系结构；
[0017]图3示出根据本发明的示例性实施例的、配置信息和其子信息；
[0018]图4示出根据本发明的示例性实施例的资产的时间/空间布置；
[0019]图5示出根据本发明的示例性实施例的、如何改变或替换随着数据包的时间从Cl轨道接收的构成信息(Cl)采样；
[0020]图6示出根据本发明的示例性实施例的传送时间线分段(segment)；
[0021]图7示出根据本发明的示例性实施例的其中资产和基于ISO的媒体文件格式(ISOFF)被映射的结构；
[0022]图8示出根据本发明的示例性实施例的其中数据包和ISOFF被映射的结构；
[0023]图9示出根据本发明的示例性实施例的、其中存储有静态数据包的ISOFF结构；
[0024]图10示出根据本发明的示例性实施例的、其中存储有动态数据包的ISOFF结构；
[0025]图11示出根据本发明的示例性实施例的、其中存储有多个文件的文件夹的结构；
[0026]图12示出根据本发明的示例性实施例的、其中存储有多个文件的已压缩文件(诸如ZIP文件)的结构；
[0027]图13示出根据本发明的示例性实施例的集成数据包和其子数据包；
[0028]图14示出根据本发明的示例性实施例的发送方法；
[0029]图15示出根据本发明的示例性实施例的接收方法；
[0030]图16示出根据本发明的示例性实施例的发送设备的结构；以及
[0031]图17示出根据本发明的示例性实施例的接收设备的结构。
[0032]遍及附图，应当注意到，相同附图标记用于描绘相同的要素、特征和结构。
【具体实施方式】
[0033]提供参考附图所进行的以下描述，以帮助全面理解如权利要求和它们的等同物所限定的本发明的示例性实施例。它包括各种特定细节来帮助该理解，但是这些特定细节仅仅被认为是示例性的。因此，那些本领域普通技术人员将认识到，在不背离本发明的范围和精神的情况下，能够做出对在此描述的实施例的各种改变和修改。另外，为了清楚和简明，可以省略对众所周知的功能和构造的描述。
[0034]以下描述和权利要求中所使用的术语和措词不局限于书目的意义，而是仅仅由发明人使用来实现对本发明的明确且一致的理解。因此，对本领域技术人员应当显而易见的是，提供本发明的示例性实施例的以下描述以仅仅是为了说明目的，而不是为了限制如所附权利要求和它们的等同物所限定的本发明。
[0035]应当理解，单数形式“一”和“该”包括复数指示物，除非上下文清楚地另外指示其他。因此，例如，对“一组件表面”的引用包括对一个或多个这样的表面的引用。[0036]尽管在下面的详细描述中将使用与由MPEG媒体传送(MMT)标准所定义的术语相同的术语，但该标准和其定义的术语不意欲限制本发明的范围，并且对于那些本领域普通技术人员将明显的是，本发明能够被应用于具有类似的技术背景的任何系统。
[0037]在描述本发明的示例性实施例之前，在说明书中使用的术语被定义为如下:
[0038]封包功能区域(E)定义用于对要被存储在存储设备上或者要被作为递送协议和网络的有效载荷来携带的编码的媒体数据进行封包的格式。
[0039]递送功能区域(D)提供将封包的媒体数据从一个网络实体传递到另一个所需的格式和功能。
[0040]控制功能区域(C)提供控制媒体的递送和消费的功能。
[0041]-媒体片段(fragment)单元
[0042]与任何特定编解码器无关的一般容器格式，其将携带可由媒体解码器独立地消费的数据单元。
[0043]注解:媒体片段单元由媒体片段数据和诸如媒体特性(例如容失性(loss-tolerance))之类的附加信息组成。例如,媒体片段单元可以是分片(siice)或者视频的图片。
[0044]-M 单元
[0045]与任何特定编解码器无关的一般容器格式，其将携带一个或多个访问单元(AU)15M单元由一个或多个媒体片段单元组成。M单元可以包含定时数据或者非定时数据。
[0046]注解:M单元由媒体片段单元数据和诸如用于同步的时间戳之类的附加信息组成。M单元是用于通过MMT封包功能处理的数据实体。
[0047]-MMT 资产
[0048]MMT资产是由一个或多个M单元组成的数据实体。MMT资产是对其定义构成信息和传送特性的数据单元。
[0049]-MMT 数据包
[0050]MMT数据包由一个或多个MMT资产与诸如构成信息和传送特性之类的附加信息一起组成。
[0051]注解:MMT数据包内的MMT资产能够被复用或级联。
[0052]-MMT有效载荷格式
[0053]一般有效载荷格式，用于携带MMT资产和关于由MMT应用协议或其他现有应用传输协议(例如RTP)进行的它们的消费的其他信息
[0054]注解:MMT有效载荷可以包含MFU的片段与诸如AL-FEC之类的其他信息。
[0055]-MMT传送分组
[0056]MMT传送分组是由用于MMT的应用传输协议所使用的数据格式。
[0057]-配置信息
[0058]MMT数据包具有利用配置信息的功能和操作。配置信息包括MMT资产的列表、构成信息(Cl)和传送特性。
[0059]描述信息描述MMT数据包和MMT资产。Cl帮助MMT资产的消费。传送特性信息提供用于递送MMT资产的提示。
[0060]-MMT数据包中的数据的灵活排序和寻址[0061]能够以诸如消费顺序或优先顺序之类的任何排序来布置MMT数据包中的数据。MMT数据包提供关于在MMT数据包中数据的物理位置的信息。
[0062]-数据包标识信息
[0063]数据包标识信息包含诸如服务提供商ID、内容ID、MMT数据包的类别和插段(episode)号码之类的机器可读信息。它将MMT数据包与其他MMT数据包唯一地相区分。
[0064]数据包标识信息也包含诸如服务的名称、男演员/女演员的姓名、概要等等的人类可读信息。这些信息帮助用户选择MMT数据包来消费。
[0065]-资产列表信息
[0066]资产列表信息提供MMT数据包中的MMT资产的列表。MMT数据包有效载荷中的数据是MMT资产并且应该被列在资产列表中。
[0067]-构成信息(Cl)
[0068]构成信息指定如何通过用信号通知资产关系来消费MMT资产。存在描述MMT资产的构成的三个主要类型的关系:时间关系、空间关系和资产间关系。
[0069]-时间关系
[0070]时间关系是MMT资产时间线与MMT数据包时间线之间的关系。MMT资产的运行时间的整体或一部分位于MMT数据包时间线的某时间点或持续时间。
[0071]-空间关系
[0072]空间关系是MMT资产与MMT数据包的呈现区域之间的关系。能够通过事件(例如对章节缩略图的选择)来改变MMT资产的呈现位置，并且可以通过事件的触发以不同的方式(例如全屏幕)来呈现所选择的MMT资产。
[0073]-资产间关系
[0074]多个MMT资产在它们之间可以具有各种关系。从多个MMT资产中做出一个或多个选择需要描述它们之间的关系的附加信息。在这里标识并列出三种关系:可组合关系、互斥关系和从属关系。仅仅通过用户的决定或客户端实施方式来完成选择没有关系的MMT资产。
[0075]-可组合关系
[0076]可组合关系是由多个选择中的多于一个选择所引起的关系。处于可组合关系中的MMT资产可以具有不同的上下文和不同的媒体类型。
[0077]-互斥关系
[0078]互斥关系是由多个选择中的一个且唯一一个选择所引起的关系。处于互斥关系中的MMT资产典型地具有不同的上下文但是具有相同的媒体类型。
[0079]-从属关系
[0080]从属关系是其中选择MMT资产需要附加的MMT资产的关系。MMT资产可以与不处于互斥关系的其他MMT资产具有从属关系。
[0081]-适配性关系
[0082]适配性关系是具有相同的上下文和相同的媒体类型的多个MMT资产或M单元之间的关系。在适配性关系中从一个切换到另一个导致在感知上等同的上下文。
[0083]例如，闻品质视频和中等品质视频是替换关系。客户端设备将选择适配性关系中的MMT资产之一以根据网络带宽或设备能力来适配性地呈现相同的上下文。[0084]-权限管理信息
[0085]另一个构成信息是权限管理信息。权限管理信息指定MMT资产是否需要考虑任何权限管理。特定权限管理算法和其相关联的信息的信令被描述为构成信息中的MMT资产属性。
[0086]-传送特性信息
[0087]传送特性信息提供用于递送MMT资产的需求。MMT资产应该具有一个传送特性信息的集合。MMT数据包不具有用于它的内部资源或MMT资产的递送条件。MMT数据包中的MMT资产具有帮助决定用于每个服务提供商的递送条件的传送特性信息集合。
[0088]-错误复原(resilicency)信息
[0089]传送特性信息可以包括错误复原信息。用于MMT资产的简单的传送特性信息能够是无损的或有损的。另外，可以在传送特性信息中指定用于实现诸如重传、ARQ或应用层前向纠错(AL-FEC)之类的无损递送的技术。然而，不由MMT数据包来描述用于这样的无损递送的特定算法的使用，并且服务提供商可以经由MMT C层数据包来选择用信号通知特定算法。
[0090]本发明的示例性实施例提出应该包含在MMT数据包中的信息，并且提出应该如何在结构上包含该信息。进一步，本发明提出发送设备和接收设备能够如何使用所包含的信息来广播、接收和播放内各。
[0091]图1示出根据本发明的示例性实施例的MMT数据包的结构，并且图2示出根据本发明的示例性实施例的用于数据包传输的MMT系统的体系结构。
[0092]参考图1和图2，以MMT数据包的形式来存储MMT内容。MPEG-2节目被定义为MMT工作草案(WD)标准中的数据包。
[0093]MMT数据包(或数据包)包括MMT资产、构成信息(Cl )、传送特性和其他附加信息。如图1和图2中所示而配置的MMT数据包被递送到控制层，并且控制层周期性地向接收机发送构成信息。控制层通过广播网或宽带网来发送构成信息。
[0094]基于从发射机接收的配置信息和构成信息，接收机确定接收适合于它的环境的资产并且沿着传输路径接收资产。
[0095]可以以基于IS0/IEC14496-12IS0的媒体文件格式(ISOFF)的形式来存储数据包。诸如轨道、盒(box)和采样之类的将要在这里使用的术语是在2008年7月第三版本的基于标准ISO / IEC14496-12IS0的媒体文件格式中使用的术语。
[0096]数据包是一个包含多媒体内容的重放单元。在数据包中包含有播放数据包所需要的信息和数据。数据包可以包括其他数据包。包括在数据包中的其他数据包可以存在于该数据包中，或可以由外面的链接指示。
[0097]为了发送数据包，应该由服务提供服务器周期性地读取和发送在发送和重放设备中用于重放数据包的信息。例如，关于Cl，考虑在广播期间打开的TV，可以周期性地重传描述整个数据包的一个Cl。被配置为在整个数据包的每个某时间段中更新的Cl可以在其相关联的时间段中被周期性地重传，并且然后在下一个时间段中被更新。这样，取决于Cl的结构，Cl可以被插入在数据包的报头中，或可以插入在数据包的有效载荷中，以便可以在生成数据包时添加Cl。此外，取决于数据包中的资产的传送特性(TC)，可能需要在预定时间使用广播协议将资产的预先确定的部分发送到未指定的用户，并且可能需要在用户的请求时通过宽带网来发送某些资产。应该与在工作草案(WD)中考虑的数据包的构成信息一起来重新考虑指示取决于数据包的重放时间线需要在某一重放时间被发送的某一资产的某一部分。
[0098]本发明的示例性实施例提出以ISOFF或以文件夹或ZIP文件的形式存储数据包的组件，并且以新的盒标识符和盒结构来存储没有在文件标准中定义的现有信息。数据包的组件如下所示:
[0099]-MMT资产(数据包的组件I)
[0100]在MMT标准中，使用术语“资产”，其具有与流类似的概念。MMT资产包含能够被播放和再现(或渲染)的一个多媒体组件，诸如像视频、音频、字体、子标题和小组件。
[0101]这里将假定，为了该目的，MMT资产具有执行相关功能所足够的信息。
[0102]为了以ISOFF的形式被插入，根据本发明的示例性实施例的资产如下地将ISOFF的概念和单元映射到MMT中的概念和单元:
[0103]MMT资产对应于ISOFF的轨道。
[0104]通过绑定组成一个访问单元(AU)—即，时间可以被准予的单元一的媒体片段单元(MFU)，MMT资产对应于ISOFF的采样。
[0105]资产的MU对应于ISOFF的组块或游程(run)。
[0106]AU的时间对应于米样的时间。
[0107]MU的偏移对应于包括米样的组块的偏移。
[0108]-配置信息(数据包的组件2)
[0109]图3示出根据本发明的示例性实施例的配置信息和其子信息。
[0110]参考图3，配置信息包括数据包的标识信息、作为数据包的组件的资产的列表、Cl、传送特性和附加信息以及内容，并且提供指示这些组件如何以及在哪里被包括在数据包中的结构信息。
[0111]根据本发明的示例性实施例，每一个信息分别地被存储为XML或盒形式的对象，如图3中所示，并且将在下面再次描述它的详细语法。
[0112]如下以盒的形式来表示配置信息以及其子信息。可以根据ISOFF结构将这些盒放置为适当的盒的子盒:
[0113]aligned(8)class ConfigurationInformationBox
[0114]extends FullBox( ‘cfgi，，version, flags){
[0115]PackageldentificationInformationBox pi;
[0116]AssetListBox al;
[0117]CompositionInformationBox ci;
[0118]TransportCharacteristicsBox tc;
[0119]RightsManagementInformationBox rm;
[0120]}
[0121]-构成信息(数据包的组件3)
[0122]图4示出根据本发明的示例性实施例的资产的时间/空间布置。
[0123]参考图4，构成信息具有指示MMT资产的再现开始时间和再现结束时间的时间构成信息。[0124]此外，构成信息具有指示在屏幕何处再现MMT资产的空间构成信息。
[0125]因此，虽然不可能仅仅通过MMT资产来确定何时以及在何处再现MMT资产，但有可能基于构成信息来确定创作者的意图，并且然后在适当的时间在适当的位置中再现MMT资产。
[0126]这里将假定，为了该目的，构成信息具有执行相关功能所足够的信息。
[0127]Cl可以具有下面的结构:
[0128]aligned(8)class CompositionInformationBox
[0129]extends FullBox( ‘cmpi，，version, flags) {
[0130]unsigned int(8)[]composition_information_URL;
[0131]unsigned int (32)composition_information_Id;
[0132]if (composition_information_ld==0)
[0133]{
[0134]string ci_schema;
[0135]string xml_data;
[0136]}
[0137]}
[0138]根据本发明的示例性实施例，Cl可以由描述整个数据包的一个Cl组成，或者如图5中所示，可以单独地存在描述整个数据包的时间线的某时间段的Cl，以便Cl被配置为在下一个时间段中被更新为另一个Cl。
[0139]图5示出根据本发明的示例性实施例的、如何改变或替换随着数据包的时间从Cl轨道接收的构成信息(Cl)采样。
[0140]参考图5，如果发送新版本的完整的Cl (a)，则场景由贴切的版本替换。其后，如果发送更新的Cl (b)，则改变由更新Cl指示的现存的完整的Cl版本2 U)。类似地，接续的更新的Cl (c)也指示完整的Cl (a)中的改变。如果发送新版本的完整的Cl (d)，则删除旧版本的完整的Cl和其更新两者，并且使用新的Cl来再现数据包。更具体地说，Cl具有两个不同的时间:基于Cl的内容被再现的数据包上的时间、和具有Cl的采样的时间。采样的时间用于准备由接收的Cl指示的资源，并且Cl的时间指示需要开始再现所准备的资源的时间。
[0141]因此，提出一种方法，其在数据包的报头中插入Cl或提供Cl作为数据包的有效载荷中的轨道，以便可以在每个时间段中更新某些或所有内容。在轨道的情况下，一个完整的Cl被插入在一个采样中，并且用于更新的部分Cl也被插入在一个采样中。为了将完整的Cl与用于更新的部分Cl区分，通过提供单独的元数据来区分采样的类型。当轨道的handler_type (处理器类型)是“mtci”时，可以以相同的频率在电影片段的报头中提供元数据。
[0142]可以如下提供用于再现Cl采样的类型的元数据:
[0143]aligned(8)class ClSampIeInformationBox
[0144]extends FullBox( ‘cisi，，version, flags){
[0145]int i;
[0146]unsigned int(32)number_of_sample;
[0147]for (i=l;i<=number_of_sample;i++){[0148]unsigned int(2)ci_type;//0=unknown, l=complete, 2=update
[0149]unsigned int (6)reserved;
[0150]unsigned int(8)ci_version;//version information
[0151]if (ci_type==2) {
[0152]unsigned int(8)complete_ci_version;
[0153]}
[0154]}
[0155]}
[0156]number_of_sampIe (采样的数量)描述在片段中有多少采样。
[0157]ci_type (Cl类型)用于确定被映射到采样Cl是完整的Cl还是用于更新的Cl。
[0158]ci_version (Cl版本)指示当重新提供完整的Cl时，其是从先前的完整的Cl改变而来的。
[0159]complete_ci_version (完整的Cl的版本)指示如果ci_type被更新,贝U用于更新的Cl对应于哪个完整的Cl。
[0160]-传送特性(数据包的组件4)
[0161]传送特性指示在MMT资产的传输期间应该考虑的特性。即使例如视频的一些数据丢失而引起其图像质量的劣化，但对于用户来说欣赏整个内容也不存在大的困难。在该情况下，可以在全面的意义上允许丢失。在允许丢失的情况下，如果在传输期间出现错误，则可以提供用于弥补(recover )错误的附加的数据。如果尽管使用了附加的数据也没有弥补错误，则允许冒丢失的风险来播放受损害的内容。
[0162]然而，如果例如节目的某些数据丢失，则其整个节目的执行是不可能的。在该情况下，在全面的意义上不允许丢失。如果在传输期间出现错误，则附加的数据用于弥补错误，并且如果尽管使用了附加的数据也没有弥补错误，则需要请求重传。否则，节目的数据是不可用的。
[0163]这里将假定，为了该目的，传送特性具有执行相关功能所足够的信息。
[0164]对于传送特性，提出一种结构，其中以列表的形式并且与资产组合来提供传送特性。组合信息被包含在资产列表信息中。其以XML的形式或以ISOFF的盒的形式被存储。
[0165]传送特性的结构可以如下:
[0166]aligned(8)class TransportCharacteristicsBox
[0167]extends FullBox( ‘tchr’，version, flags) {
[0168]int i;
[0169]unsigned int(8)number_of_tc;
[0170]for(i=l;i<=number_of_tc;i++) {
[0171]//Transport Characteristics here
[0172]}
[0173]}
[0174]number_of_tc指示在盒中描述的TC的数量。
[0175]-数据包标识信息(数据包的组件5)
[0176]为了使数据包与其他数据包相区分，需要能够由人识别的标识符。此外，也需要描述数据包的内容的信息，诸如供应商的ID、类别和插段号码。标识符和信息可以被包括在数据包标识信息中。以XML的形式或以ISOFF的盒的形式存储数据包标识信息。
[0177]根据本发明的示例性实施例，提出以下信息作为需要被插入在数据包标识信息中的信息:
[0178]PackageldentificationInformationBox () {
[0179]unsigned int (2) package_type;
[0180]unsigned int (4) version;
[0181]unsigned int (2) time—base;
[0182]if (time—base==0)
[0183]{
[0184]unsigned int (40) start—time;
[0185]}
[0186]if (flags & I) {
[0187]MediaAnnotation () {
[0188]string annotation_schema;
[0189]string xml—data;
[0190]}
[0191]}
[0192]MachineReadableIdentifier () {
[0193]Package Type;
[0194]Version;
[0195]PackageorIdentifier;
[0196]PackageIdentifier;
[0197]SeriesNumber;
[0198]Ep i sodeNumber;
[0199]}
[0200]HumanReadab IeI dent i f i er () {
[0201 ]NameOfPacakge;
[0202]Synopsis;
[0203]Actors () {
[0204]NameOfActors [];
[0205]}
[0206]Characters () {
[0207]NameOfCharacters [];
[0208]}
[0209]}
[0210]}
[0211]package—type (数据包类型)指示数据包是具有一个完整的文件的类型，还是具有其长度不固定的可变结构。[0212]time_base (时间基础)指示数据包的时间所基于的时间。例如,如果“time_base”是0，则基于实时在某一日期某一时间播放数据包。如果“time_baSe”是1，则在每个重放设备开始重放的时间被设置为O的相对时间播放数据包。
[0213]annotation_schema (注释方案)指示其中描述用于再现数据包的内容的XML数据的格式的类型。
[0214]xml_data (xml数据)指示根据在annotation_schema中定义的格式所描述的数据包的内容。
[0215]Machine readable identifier (机器可读标识符):用于将数据包与其他数据包相区分。机器可读标识符包括创建者的标识符、内容的标识符和内容的插段的标识符。[0216]human readable identifier (人类可读标识符):当提供数据包时,提供该信息来使得可以选择数据包。人类可读标识符包括各种附加信息，诸如数据包的名称、情节、人物和演员的姓名。
[0217]Package type (数据包类型)(点播/直播):指示数据包是包含诸如电影之类的已经创建的内容的数据包，还是实时的广播。在前者具有与重放开始时间相关的时间线时，后者具有与当前时间相关的时间线。
[0218]version (版本):当存在具有相同标识符的不同的数据包时，可以用于选择应该在版本中使用的数据包。
[0219]-资产列表信息(数据包的组件6)
[0220]资产列表信息提供指示哪个资产被包含在数据包内部或外部的信息。提出资产列表信息由以下信息组成:
[0221]aligned(8)class AssetListBox
[0222]extends FullBox( ‘alst，，version, flags) {
[0223]int i;
[0224]unsigned int(32)number_of_asset;
[0225]for (i=l;i<=number_of_asset;i++){
[0226]string asset_url;
[0227]unsigned int (32)track_id;
[0228]string MIME_type;
[0229]unsigned int (32) [] tc_id;
[0230]unsigned int (32) [] fallback_asset_Id[] ; //I, 2, 3,..[0231]unsigned int(32)[]rights_management_id;
[0232]}
[0233]}
[0234]number_of_asset (资产数量):指示在盒中描述的资产的总数。由构成信息指示的在数据包内部或外部的所有资产应该被包括在该列表中。因此，数据包重放设备可以根据资产列表盒来提前确定关于所有必要的资产的信息。
[0235]asset_url (资产URL):如果存在统一资源定位符(URL)，则指示数据包外部的资产。另一个数据包中的资产或另一个数据包本身可以用作资产。如果资产仅仅存在于数据包内部，则URL值是空值(NULL)。[0236]track_id (轨道ID):指示资产被包括在数据包的哪个轨道中。
[0237]多用途网际邮件扩展(MME)-type:通过再现MME类型的资产，可以提前知道资产的格式是否是可播放格式。
[0238]fallback_asset_id (应变资产ID):指示当不能播放特定资产时可以被播放的多个其他资产的ID。当存在多个其他资产时，数据包提供商的这些资产的优选的优先级遵守词汇次序。
[0239]tc_id:指示特定资产的传送特性并且指示多个传送特性的ID。
[0240]rm_id:指示当通过加密来保护特定资产时，用于解密的多个权限管理信息的ID。资产列表信息以XML的形式或以ISOFF的盒的形式被存储。
[0241]-权限管理信息(数据包的组件7)
[0242]如果数据包包括受保护的内容，则可以通过数字权限管理(DRM)或有条件接收系统(CAS)来加密某些或所有资产。提出一种结构，其中以列表的形式并且与资产组合地提供诸如加密方法的类型、密钥信息服务器和许可信息服务器之类的信息。在资产列表信息中包含有组合信息。权限管理信息以XML的形式或以ISOFF的盒的形式被存储，并且由下面的信息组成:
[0243]aligned(8)class RightsManagementInformationBox
[0244]extends FullBox( ‘rmgi，，version, flags) {
[0245]int i;
[0246]unsigned int(8)number_of_rmi;
[0247]for (i=l;i<=number_o f_rmi;i++){
[0248]string rmi_scheme;
[0249]string IV;
[0250]string key_server_url;
[0251]string license_server_url;
[0252]string rmi_data;//rmi here
[0253]}
[0254]}
[0255]number_of_rmi (RMI数量):指示在盒中描述的所有权限管理的数量。
[0256]rmi_scheme (RMI方案):指示加密方法的类型。
[0257]IV:指示初始向量的值。
[0258]key_server_url (密钥服务器URL):指示密钥信息服务器的地址。
[0259]License_server_url (许可服务器URL):指示许可服务器的地址。
[0260]rmi_data (RMI数据):指示取决于rmi_scheme所需要的附加信息。
[0261]-传送时间线信息(数据包的组件8)
[0262]数据包由资产组成。通过在数据包的重放时间线上以适当的时间发送某些资产来为用户显示该某些资产。提供关于正常重放所需要的资产的一些部分的信息来作为发送时间线信息。
[0263]图6示出根据本发明的示例性实施例的传送时间线分段。
[0264]参考图6，因为资产由MU组成并且MU由采样组成，所以资产对于不同轨道的不同资产的MU提供重放资产中的MU所需要的采样号信息。
[0265]数据包的重放时间被称作时间线。时间线被划分为作为某些时间段的分段，以表示其开始时间和长度。对于每个分段，通过MU号来表示应该被发送的资产的id和需要被发送的资产的某一部分。
[0266]传送时间线信息以XML的形式或以ISOFF的盒的形式被存储。
[0267]传送时间线信息可以具有下面的结构:
[0268]TransportTimelineInformationBox(){
[0269]number_of_timeIineSegment;
[0270]for(i=l;i<=number_of_timeIineSegment;i++){
[0271]timelineSegment () {
[0272]starttime;
[0273]duration;
[0274]number_of_assets;
[0275]for(j=l;j<=number_of_assets;j++){
[0276]asset_id;
[0277]start_MU_number;
[0278]end_MU_number;
[0279]}
[0280]}
[0281] }
[0282]-盒(，ftyp，)
[0283]ISOFF的“ftyp”盒指示文件使用哪个ISOFF扩展格式或版本。可以写入所有可兼容的版本，并且MMT数据包将使用被称作“MMT数据包(mtpk) ”的标识符。
[0284]-盒(’hdlr，)
[0285]ISOFF的“hdlr”盒指示哪个处理应该对媒体数据或元数据进行处理。构成信息将使用被称作“MMT构成信息(mtci) ”的标识符。MMT资产将使用被称作“MMT资产(mtas) ”的标识符。
[0286]-盒(’trak，)
[0287]构成信息被存储为一个采样，这是因为当构成信息被写入轨道中时，一个采样具有一个时间值。资产被写入轨道中，并且对于每个轨道中的第一采样，资产报头被存储。对于其随后的采样，一个MU被存储为一个采样。如果数据包包括子数据包，则所包括的数据包被写入轨道中。存储整个数据包而没有格式改变，并且一个数据包被存储为一个采样。
[0288]根据本发明的示例性实施例的存储数据包的方法为如下。
[0289]-1SOFF 的结构
[0290]该结构的示例被图示在图7和图8中，其中通过将以上描述的数据包的组件包括在ISOFF结构中来将数据包映射到一个文件。
[0291]图7示出根据本发明的示例性实施例的其中资产和ISOFF被映射的结构，并且图8示出根据本发明的示例性实施例的其中数据包和ISOFF被映射的结构。
[0292]参考图7和图8，MFU和MU被映射到资产中的轨道中的采样。[0293]资产由连续的MU组成，并且MU由一个或多个存取单元(AU)组成。存取单元是具有唯一时间的一束媒体段。AU由一个或多个MFU组成。因为资产具有媒体组件，所以资产可以被映射到作为用于在ISOFF中存储媒体组件的单元的轨道。因为以混合的方式存储逻辑上邻接的但是物理上不同的轨道的组块(静态的IS0FF)或游程(动态的IS0FF)，所以组块或游程可以被映射到一个或多个MU。因为组块由具有唯一时间的采样组成，所以优选的是，将MFU绑定到AU中并且将它们映射到ISOFF的采样。
[0294]因为数据包由诸如构成信息和传送特性之类的配置信息以及资产组成，所以数据包应该被包括在ISOFF的描述符盒(“moov”或“meta”)和媒体数据盒(“mdat”)当中的适当的盒中。在静态数据包的情况下，因为直到数据包的重放完成时间之前不改变一个Cl，所以Cl可以被包括在作为描述符盒的“meta”盒中。在动态数据包的情况下，因为可以发送若干Cl，所以Cl可以被包括在Cl轨道中的Cl采样中。传送特性可以被包括在作为描述符盒的“Meta”中，这是因为对于一个资产而言传送特性从头至尾具有相同的值。如所描述的，资产被包括在轨道中。
[0295]图9示出根据本发明的示例性实施例的、其中存储有静态数据包的ISOFF结构。
[0296]参考图9，元数据包括数据包标识信息和配置信息，并且配置信息包括构成信息、传送特性、资产列表信息、权限管理信息和传送时间线信息。
[0297]媒体数据“mdat”包括构成信息、指示更新什么的信息和新的Cl，并且包括多个资产报头和多个MU。
[0298]如图9和图10中所示，数据包被存储为一个文件，因此其能够被容易地存储，并且通过被插入或存储在光盘或活动磁盘中数据包可以容易地被分发。
[0299]对于静态数据包，因为其数据包长度是确定或固定的，所以创建对于数据包重放时间应该被再现的构成信息(Cl)以及由Cl指示的所有资产，所以Cl被包括在作为描述符盒的“meta”盒的“cmpi ”盒中，并且媒体描述符和媒体数据被包括在作为其他描述符盒的“moov” 和 “mdat” 盒中。
[0300]图10示出根据本发明的示例性实施例的、其中存储有动态数据包的ISOFF结构。
[0301]参考图10，对于动态数据包，因为其数据包长度是不确定的或是不固定的且Cl能够被动态地改变，所以Cl不被包括在“meta”盒中，并且与资产一起被包括在电影片段的“mdat”盒中，因而能够在每当需要改变时将其发送。Meta的“cmpi ”盒提供将在其上发送Cl的轨道的Cl轨道的标识符，并且作为Cl轨道的“Movie fragment (电影片段)”描述符的“moof”盒提供用于指示Cl轨道的Cl采样是完整的Cl还是更新Cl (例如现存的Cl的改变)的“cisi”盒。
[0302]-多个文件的使用
[0303]图11示出根据本发明的示例性实施例的、其中存储有多个文件的文件夹的结构，并且图12示出根据本发明的示例性实施例的、其中存储有多个文件的已压缩文件(诸如ZIP文件)的结构。
[0304]参考图11和图12，根据通过被绑定在一起的角色来创建和提供独立的文件。Cl区和资产文件被创建，并且然后被存储在一个文件夹的组件(或多个)中，如图11中所示，或通过被绑定为诸如ZIP文件之类的已压缩文件而被提供，如图12中所示。
[0305]当多个文件被存储在文件夹中时，具有配置信息的XML文件被存储在文件夹中，并且一个或多个资产文件被存储在其中。必要时，资产文件可以被存储在子文件夹中，但是配置信息应该存在于放置数据包的文件夹的根目录中。配置信息具有单独的特定保留名，用于将其与快速存取以及其他XML和存取文件相区分，并且配置信息之外的文件不应该使用保留名。
[0306]在ZIP文件的存储期间，像文件夹中的文件的存储期间，Cl文件和一个或多个资产文件被存储为ZIP文件。必要时，资产文件可以被存储在ZIP文件中，但是配置信息应该存在于放置数据包的ZIP文件的根目录中。配置信息具有单独的特定保留名，用于将使其与快速存取以及其他XML和存取文件相区分，并且配置信息之外的文件不应该使用保留名。
[0307]考虑异构网络中的若干服务方案，将对能够如何发送和服务具有通过本发明提出的程序包结构的内容来做出描述。
[0308]-3D广播服务(方案I)
[0309]公开了通过异构网络进行的3维(3D)广播服务。通过具有两种不同类型的物理特性的网络来发送3D内容:广播网和宽带网。通过广播网发送左视图图像，并且通过宽带网发送右视图图像。尽管免费用户可以仅仅接收左视图图像，但使用收费服务的已缴费用户(诸如按月订户)可以通过宽带网接收右视图图像并且在登录后享受3D服务。
[0310]用于由所提出的数据包组成的内容的传输方案为如下。
[0311]对数据包进行配置以用于通过异构网络进行3D广播的传输。数据包由左视图资产、右视图资产、组成3D屏幕的构成信息，宽带网的传输特性以及广播网的传输特性组成。
[0312]通过广播网可得到左视图资产。
[0313]另一方面，通过宽带网可得到右视图资产。其URL在访问期间需要用户认证。在付费订户的情况下，订户可以在认证之后下载右视图资产。否则，右视图资产是不可得到的。
[0314]在发送设备中，将数据包信息传递到控制层。控制层从最初开始读取Cl并且周期性地将Cl发送到接收机。
[0315]服务提供商如上构成数据包，并且通过广播网或宽带网发送数据包的配置信息。配置信息包括关于用于资产的可用传输路径的信息。取决于传输特性来确定传输路径。
[0316]接收机通过读取所发送的数据包的配置信息来取决于其环境而确定接收适当的资产，并且沿着传输路径接收资产。所接收的资产取决于构成信息而在时间上和在空间上被布置，并且然后被播放并且被递送到用户。
[0317]因为屏幕配置包括右视图资产是不可得到的情况，所以可以仅仅在具有左视图资产而没有右视图资产的情况下创建并渲染内容。
[0318]-复合数据包内容(方案2)
[0319]图13示出根据本发明的示例性实施例的集成数据包和其子数据包。
[0320]参考图13，复合内容屏幕由各种不同的内容组成。诸如电影、新闻和实时网际搜索查询之类的各种组件被布置在一个屏幕上。可以从其自己的唯一的服务器来发送每个组件。可以从电影公司发送电影、从新闻频道发送新闻，并且从门户网站发送实时网际搜索查询。
[0321]用于由所提出的数据包组成的内容的传输方案如下。
[0322]创建组成主屏幕的数据包，其来自于由接收设备厂商、广播站和/或第三方服务聚合器操作的集线器站点。对于数据包，可以如下在屏幕上布置它们的若干组件。
[0323]因为可以在其他综合服务中重新使用诸如电影、新闻和实时网际搜索查询之类的综合服务的组件，所以以单独的数据包的形式来创建组件是有效的，以便这些组件可以在其他数据包中被重新使用，而不是将它们作为一个数据包的资产来管理。因此，电影、新闻和实时网际搜索查询中的每一个被组成为一个数据包，并且集成数据包被配置为包括这些独立的数据包。
[0324]集成数据包I在Cl中指示其子数据包2、3和4。因为子数据包2、3和4存在于不同的服务器中，所以集成数据包I仅仅指示其子数据包2、3和4的链接。
[0325]对于子数据包2，其全屏幕由电影组成。
[0326]对于子数据包3，其全屏幕由新闻组成。
[0327]对于子数据包4，其全屏幕由实时网际搜索查询组成。
[0328]在发送设备中，数据包信息被传递到其控制层。控制层从最初开始读取Cl并且周期性地将Cl发送到接收机。
[0329]接收机通过读取所发送的数据包的配置信息来取决于其环境而确定接收适当的数据包，并且沿着传输路径来接收数据包。所接收的数据包取决于构成信息在时间上和在空间上被布置，并且然后被播放并且被递送到用户。
[0330]图14示出根据本发明的示例性实施例的发送方法。
[0331]参考图14，发送设备可以例如是服务提供服务器，但是发送设备可以不限于服务提供服务器。
[0332]在步骤1401中，发送设备确定如上所述的组成数据包的数据包组件。在步骤1403中，发送设备生成包括所确定的数据包组件的数据包，并且在步骤1405中，将所生成的数据包发送到终端。数据包可以以ISOFF结构被包括并且被映射到一个文件。否则，文件组件可以以文件的形式被创建并且被包括在一个文件夹的组件中，或者被包括在诸如ZIP文件之类的压缩文件中。
[0333]可以通过具有两种不同类型的物理特性的网络来将所生成的数据包发送到终端:广播网和宽带网。否则，可以为单独的内容创建独立数据包，并且可以创建由独立数据包组成的集成数据包，并且将该集成数据包发送到终端。
[0334]图15示出根据本发明的示例性实施例的接收方法。
[0335]参考图15，接收设备可以例如是终端，但是接收设备可以不限于终端。
[0336]在步骤1501中，接收设备接收根据本发明的示例性实施例配置的包括数据包组件的数据包，并且在步骤1503中，分析数据包组件。在步骤1505和1507中，接收设备基于所分析的数据包组件来解码和播放内容。对于那些本领域普通技术人员将明显的是，所接收的数据包组件是根据本发明的示例性实施例所配置的数据包组件。
[0337]图16示出根据本发明的示例性实施例的发送设备的结构。
[0338]参考图16，例如服务提供服务器的发送装置1600包括服务数据提供单元1601、数据包生成单元1603和发送单元1605。尽管在图中未示出，但对于那些本领域普通技术人员将明显的是，为了执行本发明的操作，发送设备具有能够控制其组件的控制器。
[0339]服务数据提供单元1601具有所有可能的服务性服务。
[0340]数据包生成单元1603确定如上所述组成数据包的数据包组件，并且生成包括所确定的数据包组件的数据包。
[0341]发送单元1605向终端发送所生成的数据包。数据包生成器1603可以以ISOFF结构包括数据包，并且将其映射到一个文件。否则，数据包生成器1603可以创建文件形式的文件组件，并且将文件组件包括在一个文件夹的组件中，或者将文件组件包括在诸如ZIP文件之类的压缩文件中。
[0342]发送单元1605可以通过具有两种不同类型的物理特性的网络来将所生成的数据包发送到终端:广播网和宽带网。否则，可以对于单独的内容创建独立数据包，并且可以创建由独立数据包组成的集成数据包,并且将集成数据包发送到终端。
[0343]图17示出根据本发明的示例性实施例的接收设备的结构。
[0344]参考图17，接收设备1700可以例如是终端，但是接收设备可以不限于终端。
[0345]该接收设备包括接收单元1701、数据包分析单元1703和解码/重放单元1705。尽管在图中未示出，但对于那些本领域普通技术人员将明显的是，为了执行本发明的操作，接收设备具有能够控制其组件的控制器。
[0346]接收单元1701接收根据本发明的示例性实施例配置的包括数据包组件的数据包。
[0347]数据包分析单元1703对所接收的数据包组件进行分析。对于那些本领域普通技术人员将明显的是，所接收的数据包组件是根据本发明的示例性实施例所配置的数据包组件。
[0348]解码/重放单元1705基于所分析的数据包组件来解码和播放内容。
[0349]尽管未在附图中示出，但可以取决于由本发明的示例性实施例生成的数据包来记录、存储和播放数据。当数据包组件被包括在一个数据包中时，一个数据包可以被存储在存储介质(例如，光盘(⑶)、数字化通用磁盘(DVD)，数据库(DB)和通用串行总线(USB))中，以包括所提出的MMT资产、配置信息、Cl、传送特性、数据包标识信息、资产列表信息、权限管理信息和传送时间线信息。在重放期间，接收设备可以通过分析数据包组件来播放内容。通过用存储位置信息(例如存储器地址)来替换URL，可以使用存储介质更容易地存储和播放内容。
[0350]如根据以上描述明显的是，本发明使创建单独的数据包形式的数据包组件而不是将它们管理为一个数据包的资产并且在其他数据包中使用它们成为可能。
[0351]本发明的示例性实施例使得可以通过各种异构网络来发送数据包并且有效地发送广播内容。
[0352]本发明的示例性实施例以文件结构来存储MMT数据包，使得MMT数据包可以充分利用灵活的且可扩展的文件结构的优点。
[0353]尽管已经参考其某些示例性实施例示出和描述了本发明，但本领域技术人员应当理解，在没有背离如所附权利要求和它们的等同物限定的本发明的精神和范围的情况下，可以进行形式和细节的各种改变。
【权利要求】
1.一种用于在发射机中发送内容的方法，该方法包括: 生成具有包括至少一个资产的一个或多个数据包的文件；以及 向终端发送所生成的文件。
2.一种用于在终端中接收内容的方法，该方法包括: 接收文件； 对被包括在文件中且包括至少一个资产的一个或多个数据包进行分析；以及， 基于分析结果来播放内容。
3.分别地根据权利要求1所述的用于发送的方法或根据权利要求2所述的用于接收的方法， 其中，至少一个资产中的一个资产被映射到一个轨道，组成一个资产的M单元被映射到组块和游程之一，并且组成M单元的一个存取单元被映射到采样。
4.分别地根据权利要求1所述的用于发送的方法或根据权利要求2所述的用于接收的方法， 其中数据包包括配置信息、构成信息(Cl)和传送特性中的至少一个，并且其中如果数据包是静态数据包，则配置信息被包括在“Meta”盒中，并且如果数据包是动态数据包，则配置信息被包括在Cl轨道中的Cl采样中。
5.根据权利要求4所述的方法，其中，传送特性被包括在“meta”盒中。
6.分别地根据权利要求1所述的用于发送的方法或根据权利要求2所述的用于接收的方法， 其中，如果所生成的文件的数量是一，则所生成的文件被存储在基于文件格式的盒中。
7.分别地根据权利要求1所述的用于发送的方法或根据权利要求2所述的用于接收的方法， 其中，如果所生成的文件的数量多于一个，则所生成的文件被存储在文件夹的组件、文件夹的子文件夹和ZIP文件之一中。
8.分别地根据权利要求1所述的用于发送的方法或根据权利要求2所述的用于接收的方法， 其中，通过宽带网和广播网之一来发送所生成的文件。
9.分别地根据权利要求1所述的用于发送的方法或根据权利要求2所述的用于接收的方法， 其中，数据包包括用于多个内容中的每一个的多个单独的数据包，或包括通过集成多个单独的数据包所获取的集成数据包。
10.一种用于在发射机中发送内容的装置，该装置包括: 生成器，用于生成具有包括至少一个资产的一个或多个数据包的文件；以及 发送单元，用于向终端发送所生成的文件。
11.一种用于在接收机中接收内容的装置，该装置包括: 接收单元，用于接收文件； 数据包分析单元，用于对被包括在文件中且包括至少一个资产的一个或多个数据包进行分析；和 重放单元，用于基于分析结果来播放内容。
12.分别地根据权利要求10所述的用于发送的装置或根据权利要求11所述的用于接收的装置， 其中，至少一个资产中的一个资产被映射到一个轨道，组成一个资产的M单元被映射到组块和游程之一，并且组成M单元的一个存取单元被映射到采样。
13.分别地根据权利要求10所述的用于发送的装置或根据权利要求11所述的用于接收的装置， 其中数据包包括配置信息、构成信息(Cl)和传送特性中的至少一个，并且其中如果数据包是静态数据包，则配置信息被包括在“Meta”盒中，并且如果数据包是动态数据包，则配置信息被包括在Cl轨道中的Cl采样中。
14.根据权利要求13所述的装置，其中，传送特性被包括在“meta”盒中。
15.分别地根据权利要求10所述的用于发送的装置或根据权利要求11所述的用于接收的装置， 其中，如果所生成的文件的数量是一，则所生成的文件被存储在基于文件格式的盒中。
16.分别地根据权利要求10所述的用于发送的装置或根据权利要求11所述的用于接收的装置， 其中，如果所生成的文件的数量多于一个，则所生成的文件被存储在文件夹的组件、文件夹的子文件夹和ZIP文件之一中。
17.分别地根据权利要求10所述的用于发送的装置或根据权利要求11所述的用于接收的装置， 其中，通过宽带网和广播网之一来发送所生成的文件。
18.分别地根据权利要求10所述的用于发送的装置或根据权利要求11所述的用于接收的装置， 其中，数据包包括用于多个内容中的每一个的多个单独的数据包，或包括通过集成多个单独的数据包所获取的集成数据包。
【文档编号】H04N21/23GK103843351SQ201280048229
【公开日】2014年6月4日 申请日期:2012年9月27日 优先权日:2011年9月29日
【发明者】柳诚烈, 朴勍模, 宋在涓, 黄承吾 申请人:三星电子株式会社