用于在多媒体系统中发送自适应媒体结构的方法和装置制造方法
【专利摘要】一种根据本发明的用于在多媒体系统中发送自适应媒体结构的方法，包括如下步骤：将媒体片段单元(MFU)以及媒体处理单元(MPU)组合为单一的资源，以及发送包含在CI(组成信息)中的资源，其中，MFU包括代表AU(访问单元)类型或切片类型的类型信息。
【专利说明】用于在多媒体系统中发送自适应媒体结构的方法和装置
【技术领域】
[0001] 本发明涉及多媒体系统，特别是在多媒体系统中用于发送自适应媒体组成 (composition)的方法和装置。
【背景技术】
[0002] 得益于数字技术的发展，广播和通信融合时代已经到来，从而图像、音乐和其他娱 乐媒体的消费环境已经通过诸如互联网协议电视（IPTV)、智能电视等广播和通信融合媒体 得到扩展。这样的消费环境已经从用户通过使用消费媒体来接收用于一个媒体的单向服务 的环境，进步为用户能够同时消费各种信息的环境，这得益于终端和通信技术的发展，并且 媒体消费（通过媒体消费消费者只获得期望的信息）已经变得普遍。
[0003] 均衡约束数学规划（MathematicalProgrammingwithEquilibrium Constraints，MPEC)-2系统是用于广播的系统，并定义用于对包括视频和音频的媒体和多 个传输进行同步的系统。在MPEG-2系统中，自由地将新的节目添加到媒体和删除现有的 节目，而且媒体以188字节为单位被复用以用于音频和视频数据的同步。因此，每当编译 (make)新的编解码器时，MPEG-2系统需要解复用以编辑和再现一些节目并且修订传输的 规范。
[0004] MPEG-4系统定义用于存储文件的系统。在MPEG-4系统中的传输数据包括元数 据和媒体数据。元数据定义用于编辑和引用外部资源的数据。与MPEG-2系统不同，对于 MPEG-4系统添加新节目和删除现有节目并不容易。MPEG-4系统将更新所有元数据。每当 编译新的编码器/解码器（编解码器）时，像MPEG-2-样，MPEG-4系统也修订传输的规范。
[0005] 如上所述，传统多媒体系统不能动态地添加或删除节目，不能在不了解编解码器 的情况下在传送层的传送过程或存储层的存储过程期间处理媒体，并且未提出能够在传送 过程和存储过程中共用的容器格式（containerformat)。
【发明内容】
[0006] 技术问题
[0007] 本发明提供一种在多媒体系统中用于发送自适应媒体组成的方法和装置，以用于 动态地添加和删除节目。
[0008] 本发明提供：在多媒体系统中，在不了解编解码器的情况下用于在传送或存储层 中发送自适应媒体组成的方法和装置。
[0009] 此外，本发明提供一种在多媒体系统中用于发送包括能够在传送和存储中共用的 存储空间的自适应媒体组成的方法和装置。
[0010] 技术方案
[0011] 根据本发明的一方面，提供了一种在多媒体系统中发送自适应媒体组成的方法。 该方法包括：将包含在访问单元（AU)中的媒体片段单元（MFU)以及媒体处理单元（MPU)配 置为一个资源；并且将已配置的资源插入到组成信息（Cl)中并发送该CI，其中，所述MFU 包括指示MFU是与AU类型相对应还是与切片（slice)类型相对应的类型信息。
[0012] 根据本发明的另一方面，提供了一种在多媒体系统中发送自适应媒体组成的方 法。该方法包括：将包含在访问单元（AU)中的媒体片段单元（MFU)以及包含关于MFU的 数目的信息的媒体处理单元（MPU)配置为一个资源；并且将已配置的资源插入到组成信息 (Cl)中并发送该CI。
[0013] 根据本发明的另一方面，提供了一种在多媒体系统中发送自适应媒体组成的装 置。该装置包括：控制器，其将媒体片段单元（MFU)以及媒体处理单元（MPU)配置为一个资 源；以及发送器，其根据所述控制器的控制，将已配置的资源插入到组成信息（Cl)中并发 送该Cl,其中，所述MFU包括指示MFU是与访问单元（AU)类型相对应还是与切片类型相对 应的类型信息。
[0014] 根据本发明的另一方面，提供了一种在多媒体系统中发送自适应媒体组成的装 置。该装置包括：控制器，其将包含在访问单元（AU)中的媒体片段单元（MFU)以及包含关 于MFU的数目的信息的媒体处理单元（MPU)配置为一个资源；以及发送器，其根据所述控制 器的控制，将已配置的资源插入到组成信息（Cl)中并发送该CI。
[0015] 技术效果
[0016] 本发明提出在不了解编解码器的情况下能够在传送或存储层中处理媒体的自适 应媒体组成。
【专利附图】
【附图说明】
[0017] 根据结合附图的以下详细描述，本发明的实施例的以上和其他方面、特征和优点 将更加明显，在附图中：
[0018] 图1示出根据本发明当需要MPU和MFU的设计时的操作；
[0019] 图2示出根据本发明的第三实施例的使用EDC和开始码的操作；
[0020] 图3示出根据本发明的第四实施例的使用MPU之内的资源标识符和序列号的逻辑 资源配置；
[0021] 图4示出根据本发明的第五实施例的在封闭G0P(cl〇SedG0P)中提供呈现信息的 方法,在该封闭GOP中，IDR画面、B画面和P画面按解码次序排列；
[0022] 图5示出根据本发明的第五实施例的在封闭GOP中提供解码次序的方法，在该封 闭GOP中IDR画面、B画面和P画面根据呈现次序来排列；
[0023] 图6示出根据本发明的第五实施例的在开放G0P(openG0P)中提供呈现次序信息 的方法，在该开放GOP中CRA画面、B画面和P画面根据解码次序来排列；
[0024] 图7示出根据本发明的第五实施例的在开放GOP中提供解码次序信息的方法，在 该封闭GOP中CRA画面、B画面和P画面根据呈现次序来排列；
[0025] 图8示出根据本发明的第六实施例的在MPU组成中查找在其处执行再现的时间并 且执行再现的方法；
[0026] 图9示出根据本发明的第八实施例的MPU框的组成；
[0027] 图10示出根据本发明的第九实施例的mfu_Box(mfu框）的组成；
[0028] 图11示出根据本发明的第十实施例的mpu_Box(mpu框）和mfu_Box(mfu框）的 组成；
[0029] 图12是示出根据本发明的实施例的用于生成然后发送自适应媒体组成的发送装 置的配置的框图；以及
[0030] 图13是示出根据本发明的实施例的用于接收媒体内容的接收装置的配置的框 图。
【具体实施方式】
[0031] 下文中，将参照附图描述本发明的各实施例。在以下描述中，将只对理解根据本发 明的操作所需的部分进行描述，并且除了这些部分之外的其他部分将省略，以便不会模糊 本发明的主题。
[0032] 本发明的主要主题是：提供媒体片段单元（MFU)和媒体处理单元（MPU)的设计以 及使用该MFU和MPU进行传送和存储的操作，从而从多媒体系统中动态地添加和删除节目、 在不了解编解码器的情况下在传送或存储层中发送自适应媒体组成、以及提供包括能够对 传送和存储共用的容器格式的自适应媒体组成。因此，将详细描述根据本发明的实施例的 一种用于在多媒体系统中发送/接收自适应媒体组成的方法和装置。
[0033] 为了帮助理解本发明，贯穿本说明书使用的多个传送单元的概念将在下文中描 述。
[0034] 术语"切片"可以指在带形（bandshape)中划分一个帧的划分单元。
[0035] 术语"访问单元（AU) "可以指如下传送单元：当与一个帧相对应的媒体数据被编 码时，该传送单元定义编码的媒体数据的长度。
[0036] 术语"媒体片段单元（MFU) "小于或等于该AU并且可以指能够由任意媒体解码器 独立地解码（或消费）的传送单元。
[0037] 术语"媒体处理单元（MPU) "为包括至少一个MFU的传送单元，并且可以指包括诸 如时间信息、重要性以及随机访问位置（RAP)信息的各种功能信息中的至少一个的复合媒 体内容的传送单元。
[0038] 术语"资源（asset) "为包括至少一个MPU的传送单元，并且可以指接收单元结构 的传送单元，所述单元结构适用于包括诸如音频、视频、文本、文件、微件（widget)等的各 种类型的多媒体源（即，多媒体数据）的属性以配置复合媒体内容。
[0039] 目前为止已讨论的封装层和传送层的操作如下。
[0040] 首先，在编解码器层中配置的编码的媒体数据被编码到网络抽象层单元（Network AbstractionLayerUnit,NALU)中，并被发送到MPEG媒体传输（MMT)层（或更低层）。
[0041] MMT层将编码的媒体数据配置在MFU的传送单元中然后配置在MPU的传送单元中， 以便配置一个资源。
[0042] 资源包括多个资源，并被配置为由表示资源之间的关系的MMT-组成信息（Cl)在 时间上/空间上表示和消费，然后资源被发送到接收器一侧。通过信令消息，MMT-CI被周 期性地发送到接收器一侧，从而接收器一侧通过该MMT-CI能够知道哪些内容正在被广播 或者能够被再现。
[0043] 接收器一侧参照通过传送层周期性地发送的MMT-CI，从多个资源中只提取和使用 必要的资源。
[0044] [表 1]
[0045]
【权利要求】
1. 一种在多媒体系统中发送自适应媒体组成的方法，所述方法包括： 将包含在访问单元（AU)中的媒体片段单元（MFU)以及媒体处理单元（MPU)配置为一 个资源；并且 将已配置的资源插入到组成信息（CI)中并发送该CI， 其中，所述MFU包括指示MFU是对应于AU类型还是对应于切片类型的类型信息。
2. 如权利要求1所述的方法，其中配置MFU包括： 当所述MFU对应于AU类型时，将所述MFU配置为不包含：指示在AU之内所述MFU的优 先级的优先级信息，以及指示所述MFU与其他MFU之间的依赖关系的依赖计数器信息。
3. 如权利要求1所述的方法，其中配置MFU包括： 当所述MFU不是对应于AU类型时，将所述MFU配置为在MFU的组成信息中包含：指示 在AU之内所述MFU的优先级的优先级信息，以及指示所述MFU与其他MFU之间的依赖关系 的依赖计数器信息。
4. 如权利要求1所述的方法，其中当所述MFU不是对应于AU类型时，所述类型信息包 括所述MFU在AU之内所处的位置信息。
5. -种在多媒体系统中发送自适应媒体组成的方法，所述方法包括： 将包含在访问单元（AU)中的媒体片段单元（MFU)以及包括关于MFU的数目的信息的 媒体处理单元（MPU)配置为一个资源；并且 将已配置的资源插入到组成信息（CI)中并发送该CI。
6. 如权利要求5所述的方法，其中所述MPU包括MFU中的每个的标识信息。
7. 如权利要求5所述的方法，其中所述MFU包括检测MFU的边界的开始码信息以及验 证有效性的错误检测代码（EDC)信息。
8. 如权利要求5所述的方法，其中所述MPU包括所述资源的标识信息和MPU的序列号 中的至少一个。
9. 如权利要求5所述的方法，其中所述MPU包括：指示包含在MPU中的媒体数据是包 含时间属性还是非时间属性的属性信息。
10. 如权利要求5所述的方法，其中所述MPU包括所述AU的呈现时间信息和解码时间 信息中的至少一个。
11. 如权利要求5所述的方法，其中所述MPU包括解码器设置信息。
12. 如权利要求11所述的方法，其中所述解码器设置信息包括序列参数集（SPS)和图 像参数集（PPS)中的至少一个。
13. -种用于在多媒体系统中发送自适应媒体组成的装置，所述装置包括： 控制器，其将媒体片段单元（MFU)以及媒体处理单元（MPU)配置为一个资源；以及 发送器，其根据所述控制器的控制，将已配置的资源插入到组成信息（CI)中并发送该 CI， 其中，所述MFU包括指示MFU是对应于访问单元（AU)类型还是对应于切片类型的类型 信息。
14. 如权利要求13所述的装置，其中当MFU对应于AU类型时，所述控制器将所述MFU 配置为不包含：指示在AU之内所述MFU的优先级的优先级信息，以及指示所述MFU与其他 MFU之间的依赖关系的依赖计数器信息。
15. 如权利要求13所述的装置，其中当MFU不是对应于AU类型时，所述控制器进行配 置以在所述MFU的组成信息中包含：指示在AU之内所述MFU的优先级的优先级信息，以及 指示所述MFU与其他MFU之间的依赖关系的依赖计数器信息。
16. -种用于执行权利要求5至12之一所述的方法的装置。
【文档编号】H04N21/2362GK104380754SQ201380033666
【公开日】2015年2月25日 申请日期:2013年7月1日 优先权日:2012年6月29日
【发明者】柳诚烈, 朴勍模, 黄承吾, 宋在涓 申请人:三星电子株式会社