用于传送和接收媒体数据的接口装置和方法与流程

本申请是申请日为2011年04月20日、申请号为201180020090.5、发明名称为“用于传送和接收媒体数据的接口装置和方法”的发明专利申请的分案申请。

本发明一般涉及用于传送和接收多媒体数据的装置和方法，并且更具体地，涉及用于封装各种类型的多媒体数据并且在以多媒体传输为目标的网络上的设备之间传送和接收封装的多媒体数据的接口装置和方法。

背景技术：

为了高效地传送各种多媒体内容，mpeg(运动图像专家组)已经开发的多种标准，诸如mpeg2ts(传输流)和mp4系统以及文件格式。而且，标准组织，如ietf(因特网工程工作组)和ieee(电子和电气工程师协会)3gpp(第三代伙伴计划)，已经开发了多种协议，用于在因特网上传送各种多媒体内容，以及平台技术，用于使用mpeg标准配置多媒体内容。

随着从2000年延续的广播和通信服务的集中(convergence)的倾向，已经呈现出各种内容和服务必须通过不同的网路来传送的环境。而且，由于内容压缩和传输技术的发展，以及显示性能的改善(例如，tv)，用户希望以更低的成本来使用高清(high-definition)数据。

为了满足上述要求，mpeg意图开发能够有效传送高清多媒体内容、集中传送各种多媒体内容、以及在多媒体内容的传输中使用各种网络的标准技术。

图1示出了根据各种多媒体内容使用了不同的协议的传统的多媒体内容传输结构。

参考图1，每个应用(例如电子邮件、文件传递、网络服务，等等)传统地通过使用单独的(separate)协议而在相应的层中服务。例如，电子邮件服务101在应用层中要求smtp协议103，在传输层中要求tcp协议105，并且在网络层中要求ip协议107。相反，语音服务113在应用层中要求rtp协议115，并且在传输层中要求udp协议117。

例如，假定将电影内容提供给用户。构成电影内容的一帧典型地包括视频流、音频流、以及字幕信息。在使用图1的协议结构的情况下，如上所述，视频流、音频流、以及字幕信息必须使用不同的协议来传送。因此，当使用传统的协议结构时，包括各种类型的媒体的内容(以下称为“多媒体内容”)，诸如电影内容，其传送是低效率的(inefficient)。

技术实现要素：

技术问题

也就是说，在目前使用的提供多媒体内容的方法中，必须根据构成每种多媒体内容的各个媒体而应用单独的协议，这导致了在多媒体内容传输中的低效率。具体来说，在包括各种多媒体内容的复杂多媒体内容的传输中存在困难。

技术方案

因此，已经做出本发明以解决在现有技术中出现的上述问题，并且本发明的一个方面提供了用于通过使用各种类型的网络来传送包括各种类型的多媒体内容的多媒体数据的装置和方法。

而且，本发明的另一个方面提供了一种用于多媒体内容的综合性传输的接口。

而且，本发明的再一个方面提供了一种用于多媒体内容的综合性传输的数据包格式。

根据本发明的一个方面，提供了用于提供媒体服务的接口，该接口包括：封装层，用于封装编码的媒体数据；递送层，用于将封装的媒体数据传送到另一个实体；以及控制层，用于控制媒体数据的传输。

更具体地，本发明的一个方面提供了一种用于传输多媒体内容的数据的装置，所述装置包括：处理器，用于标识数据单元，该数据单元包括多媒体内容的媒体数据和媒体数据相关信息，以及用于消费多媒体内容的控制信息；以及传输器，用于传输数据单元和控制信息，其中所述控制信息包括关于所述多媒体内容的结构的信息。

附图说明

图1示出了根据各种多媒体服务而使用不同的协议的传统的协议结构；

图2示出了根据本发明的实施例的用于解释必要功能和接口而细分的三个层；

图3示出了使用具有如图2中所示的结构的mmt传送的多媒体的ip数据包的结构；

图4示出了通过使用如图2中定义的mmt系统而为用户实际提供服务的示例；

图5示出了使用具有如图2中所示的结构的多媒体系统传送的、具有传输文件格式的形式的服务；以及

图6示出了使用具有如图2中所示的结构的多媒体系统传送的内容的数据包结构。

具体实施方式

以下，将参考附图描述本发明的实施例。在下面描述中，相同的元素将由相同的参考标号来表示，即使它们示出在不同的附图中。而且，在以下描述中找到的各种具体定义，如数据包标识的具体值、显示信息的内容等，只是提供用来帮助对本发明的一般理解，并且本领域技术人员将清楚，本发明可以实现而没有这样的定义。而且，在本发明的以下描述中，当可能使得本发明的主题不清楚时，将省略在这里合并的已知功能和配置的详细描述。

本发明定义了用于多媒体内容的综合性(integrated)传送和接收的接口。在本发明中定义的接口提供了三个功能层。第一功能层是封装层，第二功能层是递送层，而第三功能层是控制层。

封装层处理和封装从媒体编码层接收的各种类型的编码的多媒体内容。而且，封装层将封装的多媒体内容适当地转换为能够在存储设备中存储的格式，或者能够通过递送层传送到网络上的另一个实体或用户设备的格式。

递送层定义了用于提供对于多媒体内容最优化的传输环境的功能，以便通过各种网络传送封装的多媒体内容。

控制层定义了用户消费(consume)多媒体内容所需的消费信息(例如电子节目指南(epg))以及递送层高效传送多媒体内容所需的功能。

图2示出了根据本发明的实施例的以逐个协议为基础细分的上述三个功能层。

在本发明中，封装层包括三个层e.1211、e.2212、以及e.3213，递送层包括三个层d.1221、d.2222、以及d.3223，而控制层包括三个层c.1231、c.2232、以及c.3233。在图2中，各层由参考标号“270”共同地指定，也就是说，片段nal单元、au、mpeg-2ts、rtp/http、以及udp/tcp只是为了更好地理解本发明的各层而描述的，因此应当注意到mmte.3层213、mmte.2层212、mmte.1层211、mmtd.1层221、以及mmtd.2层222的功能不必与片段nal单元、au、mpeg-2ts、rtp/http、以及udp/tcp层的功能相一致。

参考图2，媒体编码层200通过以片段为单位划分多媒体内容并对划分的片段进行编码，来生成媒体数据片段(“片段”)。而且，媒体编码层200生成与片段相关的信息。这种与片段相关的信息是代表在所生成的片段之间的关系的信息。用于参考，给定数目的片段的组合构成了存取单元，而给定数目的存取单元以及与存取单元相关的信息的组合构成了基本码流。

封装层具有以下配置和功能。

封装层的e.3层213从媒体编码层200接收片段、片段报头、以及与片段相关的信息，并通过使用所接收的片段、片段报头、以及与片段相关的信息生成存取单元。而且，e.1层213生成与存取单元相关的信息，即，关于在所生成的存取单元之间的关系的信息。

与存取单元相关的信息是指，例如，解码时间、合成时间(compositiontime)、大小、存取序号(sequencenumber)、等等。所生成的存取单元和与存取单元相关的信息被传递到e.2层212。用于参考，片段可以是组成多媒体内容的所有类型的数据，诸如从语音编解码器输出的数据、从视频编解码器输出的数据、用于支持与已有媒体视频相比能够附加功能的富媒体(richmedia)的场景合成信息、各种应用、以及文档数据等。

e.2层212通过组合多个存取单元和与存取单元相关的信息来生成基本码流。而且，e.2层212生成与基本码流相关的信息。所述与基本码流相关的信息是指，例如，流的类型、流标识符、流的传输特性值、等等。

e.1层211生成允许多媒体内容被适当消费的包括基本码流和代表性传输特性值的多媒体内容的合成信息。所述合成信息可以是，例如，当视频数据和音频数据被组合以便再现包括视频数据和音频数据的多媒体内容时所需的信息，而所述代表性传输特性值可以是，例如，可以通过传输误差率、速度、等等来表示的qos(服务质量)。

递送层具有以下配置和功能。

d.1层221是由本发明新提供的应用协议，其对应于类似于在图1的传统协议结构中用于多媒体数据传输的已有rtp或http传输协议的传输协议。为了高效地传送多媒体内容，d.1层221生成多媒体传输所需的网络信息和关于多媒体内容的特性的信息。

d.2层222考虑到各种网络类型生成用于执行流控制和纠错功能的信息，其对应于类似于图1中的已有udp或tcp协议的网络传输协议。

d.3层223提供了涉及在如图2中所示的所有层之间的信息传输的功能。也就是说，d.3层223使能多媒体内容在层之间的传递以及最终必须的通信，以便最优化多媒体内容的生成、传递、以及消费。d.3层223执行用于满足多媒体内容的体验质量(qualityofexperience，qoe)的操作，生成用于这些操作的信息，并且必要时，将信息传送给接收多媒体内容的实体。而且，d.3层223允许多媒体内容满足其在递送层中的qos，并且为此，执行与图2的所有层的通信。

控制层具有以下配置和功能。控制层根据用于控制的目标层被划分为三个层。

c.1层231通过使用在封装层e.1211、e.2212、e.3213中生成的信息，生成传递和消费多媒体内容所需的信息，并且将所生成的信息提供给用户设备。所述传递和消费多媒体内容所需的信息是指，例如，内容消费所需的信息，诸如构成多媒体的内容的种类，内容之间的关系、内容的消费次序、以及可以通过其来发现多媒体内容的发现信息(discoveryinformation)。

c.2层232为d.1层221和d.2层222提供媒体传输所需的控制功能。例如，c.2层232控制d.1层221执行考虑到多媒体内容的帧配置。就这一点而言，c.2层232考虑到多媒体内容被通过各种网络传送的情况而对d.1层221执行控制。而且，c.2层232为d.2层222提供了用于传送多媒体内容的会话的流控制。

c.3层233存取和控制低于递送层的各层，即，ip(网际协议)层240、数据链路层250、或物理层260。例如，c.3层233从数据链路层250接收网络传输延迟测量信息，并通过使用所接收的信息，允许递送层适当地传送多媒体内容。而且，c.3层233可以从物理层260接收传输误差率信息，并且执行减少传输误差率所需的适当控制。用于减少传输误差率的控制示例可以是重新传送发生错误的已传送数据包的指令。

图3示出了使用具有如图2中所示的结构的mmt(mpeg媒体传递)接口传送的多媒体的ip数据包的结构。

操作图2中的每一层所要求的信息被包括在构成图3的ip数据包300的有效载荷的每个相应层报头中。在图3中，ip数据包300包括ip报头301和有效载荷310。有效载荷310包括每层报头，其中包括在上述每层中生成的信息。

更具体地，在媒体编码层中生成的媒体编码的(mediacoded)数据以存取单元为单位被包括在e.3层有效载荷307、309中。e3层报头306、308包括在相应层中生成的与存取单元相关的信息，e.2层报头305包括在相应层中生成的基本码流中继的(elementarystream-relayed)信息，而e.1层报头304包括在相应层中生成的合成信息和代表性传输特性值。此外，d.1层报头303包括在相应层中生成的关于多媒体内容的特性的信息，而d.2层报头302包括用于流控制和纠错的信息。

在本发明中，由于使用在图3中示出的ip数据包结构传递需要的信息，所以支持特定层的网络实体能够从相应层报头中获取将在相应层中执行的功能所需的信息而不用访问其有效载荷。

图4示出了通过使用根据本发明实施例的mmt系统而为用户实际提供服务的示例。

图4的这个示例对应于提供用于在http协议上传送高级视频编解码器(avc)数据的服务的示例，并且示出了能够只使用e.1层411和c.1层431来提供该服务的情况。这样，本发明能够通过只使用在图2中定义的层中的一些来为用户提供相应的服务来提供服务。

图5示出了使用根据本发明实施例的多媒体系统传送的、具有传输文件格式的形式的服务。

在e.3层513中，编码的媒体数据514以存取单元为单位进行解片段(defragmented)。这通过图5中的e.3块示出。

e.3层数据被存储在e.2层512中，并且e.1层511包括多媒体内容的合成信息和代表性传输特性值，其中多媒体内容的合成信息是d层和c层读取与包括基本码流的服务或会话相关的信息并将其作为服务提供所需的信息，而代表性传输特性值允许多媒体内容被适当地消费。由于用户可以从相应媒体服务开始后的任意时间点访问多媒体服务，比如在用户在提供相应的多媒体服务的中间打开tv终端的情况下，需要重复地表示(express)合成信息和代表性传输特性值。

在低于e.1层511的各层中，d.1层521包括传输相应的数据包所需的网络信息以及关于对应的多媒体内容的特性的信息，而d.2层522包括使用ip层的传输所需的网络信息和用于流控制和纠错的信息。

图6示出了使用根据本发明实施例的多媒体系统传送的媒体内容数据的数据包结构。

在图6中，根据内容数据的类型和属性被切分(sliced)为适当大小的媒体片(mediaslice)601作为e.3数据包602的有效载荷被包格式化(packetized)。而且，e.3数据包602在被以存取单元为单位进行划分时被e.2数据包603包格式化。而且，e.2数据包603在被以基本码流为单位进行划分时被e.1数据包604包格式化。e.1数据包604与用于使用tcp或udp层进行传输的信息以及关于多媒体内容的特性的信息一起，由d.1数据包605包格式化。d.1数据包605与使用ip层进行传输所需的信息以及用于流控制和纠错的信息一起，由d.2数据包606包格式化。最后，d.2数据包606由传统的ip数据包607包格式化。

根据如上所述的本发明，通过使用集中框架(convergedframework)，各种多媒体内容能够以最小化的成本最优化地传送。因此，由于不仅能够为用户高效地提供与多媒体相关的内容，而且多媒体内容的供应商还能够通过一个集中的系统提供服务，从而改善了提供服务时的效率和灵活性。

虽然已经参考本发明的一定实施例示出和描述了本发明，本领域技术人员将理解，可以在这里进行形式和细节上的各种改变，而不脱离由所附权利要求定义的本发明的精神和范围。