媒体传输方法及设备、媒体存储方法及设备的制作方法

专利名称：媒体传输方法及设备、媒体存储方法及设备的制作方法
技术领域：
本发明涉及通信技术领域，尤其涉及一种媒体传输方法及设备、媒体存储方法及 设备。
背景技术：
随着终端能力的提升，终端的种类越来越多，为各种差异化的终端用户提供多样 化和高质量的用户体验成为多媒体业务的关键技术。例如为了提高媒体数据的呈现质量， 多媒体流中的字幕配套信息不再嵌入在视频流中，而是作为同步的TT (Timed Text，时控文 本)媒体流进行独立传输。另外，随着多种媒体类型的引入，多个媒体内容同时呈现于屏幕 上则成为常见场景，即使是同种媒体类型也存在不同媒体内容同时呈现的场景，例如视频 的画中画，广告播放中广告视频、广告计时条和台标等媒体内容的同时呈现等。对于需要同时呈现多个媒体的场景，可以通过对媒体内容的复用传输来有效地节 省网络带宽，在某些情况下还可以减少端口的使用。为此，在现有技术中，可以通过分流传输、或者转码合并内容之后传输、或者直接 复用不进行内容标识的传输等方式实现，其中传输媒体的封装大多采用RTP(Real-time Transport Protocol,实时传输协议)，比如，3GPP (3rdGeneration Partnership Project, 第三代合作伙伴计划)中DIMS (Dynamic andlnteractive Multimedia Scenes，动态与交互 多媒体场景)的RTP(Real-timeTransport Protocol，实时传送协议)传输格式、IETF RFC 3984中规定的H. 264媒体数据的RTP传输格式、IETF RFC 4396中规定的TT (Timed Text, 时控文本)的RTP传输格式。不论上述哪种传输格式，都存在以下缺点不能标识媒体内容，多个媒体内容同时呈现时，不能对不同内容分别进行差异控 制参数设置，而且会导致终端处理性能下降甚至业务控制错误，例如对于播放控制业务，某 个频道播放广告时，广告计时条、台标等媒体内容同时呈现，广告计时条与广告匹配，而台 标与广告是独立的，但是暂停操作全部暂停，不能仅暂停广告和匹配的广告计时条。另外，在现有技术中，一个节目内容或一个Movie(影片)中的复用内容需要存为 多个文件，这也为媒体的应用带来不便。比如，如果用户采用流媒体的形式消费该电影，则 普通的流媒体例如3GPP的PSS (Packet SwitchedStreaming Service，包交换流媒体服务) 则不适用，因为PSS是假设每个Movie存储于一个文件中的。

发明内容
本发明实施例一方面提供一种媒体传输方法及设备，以节省网络带宽，提升终端 的处理能力。本发明实施例另一方面提供一种媒体存储方法及设备，以方便复用媒体的应用。本发明实施例提供一种媒体传输方法，包括对客户端选择的内容源进行数据包的封装，并且在传输适配层添加用于指示复用
6内容的内容标识；发送封装后的数据包的媒体流给所述客户端。本发明实施例提供一种媒体传输方法，包括接收服务器发送的媒体流；如果所述媒体流为基于内容的传输复用媒体，则从传输适配层获取用于指示各复 用内容的内容标识；按照所述内容标识解析所述媒体流，并进行对应的解码呈现。本发明实施例提供一种服务器，包括封装单元，用于按照内容复用方式对客户端选择的内容源进行数据包的封装，并 且在传输适配层添加用于指示各复用内容的内容标识；媒体流发送单元，用于发送封装后的数据包的媒体流给所述客户端。本发明实施例提供一种客户端，包括媒体流接收单元，用于接收服务器发送的媒体流；内容标识获取单元，用于在所述媒体流为基于内容的传输复用媒体时，从传输适 配层获取用于指示各复用内容的内容标识；解析单元，用于按照所述内容标识解析所述媒体流；呈现单元，用于对所述解析单元解析后的媒体流进行对应的解码呈现。本发明实施例提供一种媒体存储方法，包括将具有同一复用媒体类型的复用内容存储到一个文件中；在所述文件中对所述复用内容进行内容标识及复用指示。本发明实施例提供一种媒体存储设备，包括存储单元，用于将具有同一复用媒体类型的复用内容存储到一个文件中；信息描述单元，用于在所述文件中对所述复用内容进行内容标识及复用指示。
本发明实施例提供的媒体传输方法及设备，在服务器侧，对客户端选择的内容源 进行数据包的封装，并且在传输适配层添加用于指示复用内容的内容标识；发送封装后的 数据包的媒体流给所述客户端。相应地，在客户端侧，接收服务器发送的媒体流；如果所 述媒体流为基于内容的传输复用媒体，则从传输适配层获取用于指示各复用内容的内容标 识；按照所述内容标识解析所述媒体流，并进行对应的解码呈现。从而可以节省网络带宽， 提升终端的处理能力。本发明实施例提供的媒体存储方法及设备，为了适应多个媒体内容并行呈现的应 用，将具有同一复用媒体类型的复用内容存储到一个文件中，并在所述文件中对所述复用 内容进行内容标识及复用指示，方便了复用媒体的应用。


图1是本发明实施例媒体传输方法的一种流程图；图2是本发明实施例媒体传输方法的一种流程图；图3是本发明实施例服务器的一种结构示意图；图4是本发明实施例客户端的一种结构示意图；图5是本发明实施例中服务器下发SDP信息的流程7
图6是本发明实施例中基于内容的传输复用媒体发送和接收流程图；图7是本发明实施例中多个媒体呈现时间示意图；图8是利用本发明实施例实现多个相同媒体类型的复用传输的一种流程图；图9是利用本发明实施例实现多个相同媒体类型的复用传输的一种流程图；图10是本发明实施例中采用RTP封装格式对复用传输的复合包进行封装的一种 结构示意图；图11是本发明实施例媒体存储方法的一种流程图；图12是本发明实施例中存储复用内容的文件的一种结构示意图；图13是本发明实施例媒体存储方法的另一种流程图；图14是本发明实施例中存储复用内容的文件的另一种结构示意图；图15是本发明实施例媒体存储设备的一种结构示意图。
具体实施例方式为了使本领域技术人员能进一步了解本发明的特征及技术内容，请参阅以下有关 本发明的详细说明与附图，附图仅提供参考与说明，并非用来限制本发明。为了描述方便，首先介绍本发明实施例中用到的几个概念元素媒体类型，是指单一的媒体类型，如TT ；聚合媒体类型，是指包括或者引用一个或者多个单一媒体类型组合的媒体类型， 如 TG (Timed Graphics,时控图像)；复用内容，是指需要同时呈现的相同媒体类型的多个媒体内容。本发明实施例提供了 一种媒体传输方法，在服务器侧，对客户端选择的内容源进 行数据包的封装，并且在传输适配层添加用于指示复用内容的内容标识；发送封装后的数 据包的媒体流给所述客户端。相应地，在客户端侧，接收服务器发送的媒体流；如果所述媒 体流为基于内容的传输复用媒体，则从传输适配层获取用于指示各复用内容的内容标识； 按照所述内容标识解析所述媒体流，并进行对应的解码呈现。实施例媒体传输方法基于内 容的传输，实现多个复用内容的传输复用。下面分别从服务器侧和客户侧对本发明实施例媒体传输方法进行详细说明。参照图1，是本发明实施例媒体传输方法的一种流程图，包括以下步骤101，对客户端选择的内容源进行数据包的封装，并且在传输适配层添加用于指示 复用内容的内容标识；具体地，按照内容复用方式对客户端选择的内容源进行数据包的封装，即需要同 时呈现的相同媒体类型的多个媒体内容进行复用。所述传输适配层可以是RTP或者HTTP (Hypertext Transfer Protocol,超文本传 输协议)，即采用RTP或者HTTP协议对数据包进行封装。所述数据包的封装至少包括以下一种单一的数据单元的封装；或单一的数据单 元分片的封装；或者多个数据单元的聚合封装；或多个数据单元分片的聚合封装；或多个 数据单元和数据单元分片的聚合封装。对于不同的数据包，其封装格式将在后面详细描述。相应地，所述在传输适配层添加用于指示复用内容的内容标识可以是在数据包头 中添加对应所述数据单元的内容标识或者对应所述数据单元分片的内容标识，也可以是在
8聚合数据包头中添加内容标识，和/或在聚合数据单元头中添加对应该聚合数据单元的内 容标识，所述聚合数据单元为单一数据单元或数据单元分片，所述聚合数据包是指聚合数 据单元的聚合。其中，各聚合数据单元为同一时间的数据单元或数据单元分片，或者不同时 间的数据单元或数据单元分片。 102，发送封装后的数据包的媒体流给所述客户端。其中，所述内容源的类型可以是单一的媒体类型，如TT，也可以是聚合媒体类型， 如TG0本发明实施例可以实现基于内容标识的单一传输、聚合传输或分片传输。下面分别对在不同传输数据包的封装方式进行详细说明。1.数据包的单一传输数据包的单一传输是指在数据包中仅封装单个数据单元。基于内容标识的传输 在数据包头中增加内容标识参数CCN，即内容标识，比如在RTP封装时在RTP头部增加内容 标识参数，该参数占用一个字节，为正整数，用以对媒体流中的不同内容进行标记。比如在 HTTP封装时，可以通过增加头域参数来标识内容标识参数CCN。2.数据包的分片传输数据包的分片传输是在数据包中仅封装数据单元的分片。同上述单一传输下的封 装方式类似，在数据包封装时，可以在数据包头中增加内容标识参数CCN，即内容标识，比如 该参数占用一个字节，为正整数，用以对媒体流中的不同内容进行标记。3.数据包的聚合传输本发明实施例支持对多个单一数据单元、或多个数据单元分片、或数据单元和数 据单元分片的组合的聚合。为了描述方便，可以将其统称为聚合数据单元。在这种聚合方 式下，数据包的封装可以采用下述方式(1)在聚合数据包头中添加内容标识参数CCN，如果聚合数据包中所有聚合数据 单元的内容标识参数相同，则聚合数据包头中携带的内容标识参数CCN的取值与聚合数据 单元的内容标识参数相同，否则指定相应规则对聚合数据包头中的内容标识参数CCN进行 赋值。另外，还可以设定一特定值做无意义处理。如果聚合数据包中的所有聚合数据单元 属于相同内容，也可以只在聚合数据包头中添加内容标识参数CCN，各聚合数据单元的内容 标识参数可以省略。(2)聚合数据包头中也可以不添加内容标识参数，而只在所述聚合数据包中各聚 合数据单元的头部添加对应该聚合数据单元的内容标识参数。所述聚合数据包中的各聚合数据单元可以是同一时间的聚合数据单元，即单一时 间的聚合数据单元，也可以是不同时间的聚合数据单元，即多个时间的聚合数据单元。对于 单一时间聚合数据单元的传输，可以采用上述传输方案，只需在聚合数据包头中增加用于 指示该单一时间的时戳即可；对于多个时间的聚合数据单元的传输，可以采用H. 264传输 方案中TS(Time Stamp，时戳)偏移量的方式，即聚合数据包头中的时戳为所有数据包中的 最小时戳，并在各个被聚合的聚合数据单元头中增加时戳偏移。在基于内容的传输复用中，如果各个内容的元素媒体类型存在差异、或者元素媒 体类型相同但在格式上存在差异，则可以在传输适配层携带相关信息来标识各个内容，以 便于终端对各内容进行编解码差异化处理。将该差异称为内容类型差异。内容类型差异可
9以通过profile参数标识，相关参数封装方式可以如下(1)在数据包头增加参数进行标识，如4个比特的参数在前述的各个数据包中随 该数据包的内容标识一并封装，4个比特位对应的枚举值分别标识对应的profile ；(2)在单独类型的数据包头中携带相关描述信息，如profile。如TT包分为5种格 式，其中Type 5用于动态地传输Sample Description采样描述，内容类型差异相关描述可 以添加于Sample Description中进行传输，使之随对应内容标识的样本描述传递到终端。在本发明实施例中，在按照内容复用方式对客户端选择的内容源进行数据包的封 装之前，还可进一步包括以下步骤接收客户端发送的内容服务请求消息，所述消息中包含 所述客户端请求的内容源；生成对应所述内容源的SDP信息并将其发送给所述客户端，所 述SDP信息中携带基于内容的传输复用标识。上述步骤101中所述客户端选择的内容源可以是所述客户端根据自身能力需求 和所述SDP信息中携带的基于内容的传输复用标识进行选择的。上述传输复用标识可以通过在SDP中扩展相应的参数的方式携带，由于这里的复 用是针对相同的媒体类型进行的，因此相关参数是媒体层的参数。具体地，所述传输复用标识可以只包括最大传输复用的内容数量，并通过扩展的 SDP属性行携带，除此之外，还可进一步包括复用指示标识，并通过一个扩展的SDP属性行 携带。 具体标识方法可以有下几种(1)扩展一个SDP属性行来表示最大传输复用的内容数量，即表示相关媒体流中 同种媒体类型并行的最大复用传输的内容数量，可以设定一个特殊值表示不支持内容复用 传输，如0值。(2)扩展一个SDP属性来表示基于内容的传输复用标识+最大传输复用的内容数 量，前者表示是否支持基于内容的传输复用，后者表示相关媒体流中同种媒体类型并行的 最大复用传输的内容数量，两者结合使用。当支持基于内容的传输复用时，最大传输复用的 内容数量有效。具体地可以采用以下定义基于内容的传输复用标识的语法定义如下cntmul tip lex-attribute =〃 a = cntmultiplex" content-multiplexcontent-multiplex= token ；yes | no最大传输复用的内容数量的语法定义如下contentnum-attribute = 〃 a = maxcntnum: ” content-num*(SP content-num)content-num= integer在上述两种方法中，所述最大传输复用的内容数量可以是一个整数或者整数列 表。该参数可以有如下几种应用a.针对一种媒体类型，无论是元素媒体还是聚合媒体，只有一个取值，仅标识该 媒体类型的复用数量。如果在相同的媒体描述中还包括媒体相关参数的集合profile等 参数，则这个复用数量表示的是该媒体类型相应profile的复用内容数量。对于聚合媒 体类型，包含相同格式的元素媒体类型的媒体类型可以当成一个profile，相同profile
10的解码需求相同。其中在会话描述中的profile包含相关子集，如支持元素媒体类型 TT+Image (PNG) +Graphics 的 prof ile，TT/Image (PNG)/Graphics 的任意组合(包括只包含 一种元素媒体类型的情况)也在其范围之内。b.针对聚合媒体，对所述聚合媒体中的多个元素媒体类型或多个profile (指元 素媒体类型媒体相关参数的集合)的数量描述，可以采用取值列表或者单个取值的多个属 性行进行描述。也就是说，如果所述传输复用媒体为聚合媒体，则所述传输复用标识还包 括对应于所述聚合媒体中的多个元素媒体类型或多个元素媒体类型媒体相关参数的集合 的数量的取值列表或单个取值的多个SDP属性行。本发明实施例媒体传输方法，可以支持多个复用内容的传输复用，节省网络带宽。 而且在多个媒体内容同时呈现时，能够对不同内容分别进行差异控制参数设置。进一步地， 在建立媒体会话时在SDP信息中携带基于内容的传输复用标识，从而可以使终端根据自身 能力进行合适的处理。参照图2，是本发明实施例媒体传输方法的一种流程图，包括以下步骤201，接收服务器发送的媒体流；203，如果所述媒体流为基于内容的传输复用媒体，则从传输适配层获取用于指示 各复用内容的内容标识；所述基于内容的传输复用是指按照内容复用方式传输，即将需要同时呈现的相同 媒体类型的多个媒体内容进行复用。所述媒体流可以是单一的媒体类型，如TT，也可以是聚合媒体类型，如TG ；204，按照所述内容标识解析所述媒体流，并进行对应的解码呈现。在本发明实施例中，还可进一步包括以下步骤在接收所述媒体流之前，向服务器发送内容服务请求消息；接收服务器发送的 SDP信息，所述SDP信息中携带基于内容的传输复用标识；根据自身能力需求和所述SDP信 息中携带的基于内容的传输复用标识选择选择所述内容源。本发明实施例媒体传输方法，可以支持多个复用内容的传输复用，节省网络带宽。 在多个媒体内容同时呈现时，能够对不同内容分别进行差异控制参数设置。相应地，本发明实施例提供一种服务器，如图3所示，是该服务器的一种结构示意 图。在该实施例中，所述服务器300包括封装单元301，用于对客户端选择的内容源进行数据包的封装，并且在传输适配层 添加用于指示复用内容的内容标识。具体地，所述封装单元301按照内容复用方式对客户端选择的内容源进行数据包 的封装，即需要同时呈现的相同媒体类型的多个媒体内容进行复用。所述数据包的封装可以是单一的数据单元的封装、或单一数据单元分片的封装， 在这种情况下，所述封装单元301在数据包头中添加对应所述数据单元或者所述数据单元 分片的内容标识。所述数据包的封装还可以是多个数据单元的聚合封装、或多个数据单元分片的聚 合封装、或多个数据单元和数据单元分片的聚合封装，在这种情况下，所述封装单元301在 聚合数据包头中添加内容标识，和/或在聚合数据单元头中添加对应该聚合数据单元的内
11容标识，所述聚合数据单元为单一数据单元、或数据单元分片聚合数据包为聚合数据单元 的聚合。不同情况下的具体封装格式可参照前面本发明实施例媒体传输方法中的描述，在 此不再赘述。媒体流发送单元302，用于发送封装后的数据包的媒体流给所述客户端。所述客户端请求的内容源的类型可以是单一的媒体类型，如TT，也可以是聚合媒 体类型，如TG。在本发明实施例中，所述服务器300还可进一步包括服务请求接收单元303，用于接收客户端发送的内容服务请求消息，所述消息中包 含所述客户端请求的内容源；信息生成单元304，用于在所述服务请求接收单元304接收到所述内容服务请求 后，生成对应所述内容源的SDP信息，所述SDP信息中携带基于内容的传输复用标识；信息发送单元305，用于发送所述SDP信息。这样，可以使客户端根据自身能力需求和所述SDP信息中携带的基于内容的传输 复用标识来选择相应的内容源。即前面所述的客户端选择的内容源可以是所述客户端根据 自身能力需求和所述SDP信息中携带的基于内容的传输复用标识选择的。本发明实施例的服务器，可以支持多个复用内容的传输复用，节省网络带宽。在多 个媒体内容同时呈现时，能够对不同内容分别进行差异控制参数设置。进一步地，在建立媒 体会话时在SDP信息中携带基于内容的传输复用标识，从而可以使终端根据自身能力进行 合适的处理。相应地，本发明实施例提供一种客户端，如图4所示，是该客户端的一种结构示意 图。在该实施例中，所述客户端400包括媒体流接收单元401，用于接收所述服务器发送的媒体流；内容标识获取单元402，用于在所述媒体流为基于内容的传输复用媒体时，从传输 适配层获取用于指示各复用内容的内容标识；解析单元403，用于按照所述内容标识解析所述媒体流；呈现单元404，用于对所述解析单元403解析后的媒体流进行对应的解码呈现。在本发明实施列中，所述客户端400还可进一步包括服务请求单元405，用于在所述媒体流接收单元401接收所述媒体流之前，向服务 器发送内容服务请求消息；信息接收单元406，用于接收服务器发送的SDP信息，所述SDP信息中携带基于内 容的传输复用标识；选择单元407，用于根据自身能力需求和所述SDP信息中携带的基于内容的传输 复用标识选择所述内容源。本发明实施例客户端，可以支持多个复用内容的传输复用，节省网络带宽。在多个 媒体内容同时呈现时，能够对不同内容分别进行差异控制参数设置。如图5所示，是本发明实施例中服务器下发SDP信息的流程图。501，客户端向服务器发送内容服务请求，请求某个内容源；
12
502，服务器生成对应所述内容源的SDP信息并发给客户端，所述SDP信息中包 括对应所述内容源的多种信息，比如包含基于内容的传输复用标识；503，客户端收到所述 SDP信息后，根据自身能力、需求和SDP信息中提供的描述信息，选择相应的内容源，建立会 话连接；504，服务器根据客户端的请求，发送与客户端选择的内容源对应的媒体流给客户端。如果客户端选择的内容源是基于内容的传输复用媒体，则在媒体传输的封装时， 服务器需要按照内容复用方式对所述内容源进行数据包的封装，并且在传输适配层添加用 于指示各复用内容的内容标识，即在封装头部包含所述内容标识，否则在封装头部不包括 所述内容标识。需要说明的是，本发明实施例中服务器下发SDP信息的过程不仅适用于上述流 程，还可以利用SDP Offer/Answer的机制来完成。其具体过程与现有技术中类似，在此不 再详细描述。如图6所示，是本发明实施例中基于内容的传输复用媒体发送和接收流程。601，客户端和服务器已经建立连接，其中客户端和服务器均支持基于内容的传输 复用；602，服务器按照内容复用对所述客户端选择的内容源进行数据包的封装，在传输 适配层增加用于指示各复用内容的内容标识；603，服务器发送内容复用数据包的媒体流；604，客户端对接收的媒体流进行数据包的解析，具体地，按照内容标识识别接收 的媒体流，并进行对应的解码呈现，从而可以使复用传输的多个媒体内容同时呈现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以 通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中。 所述的存储介质，如ROM/RAM、磁碟、光盘等。下面通过举例进一步详细说明本发明实施例媒体传输方法的具体应用。例 1假设Al，A2和A3分别为遵循SVG(Scalable Vector Graphics，可升级矢量图形) 语法的三个动画，它们采用SVG语法的媒体内容进行描述，被部署在流媒体业务中。A1、A2、 A3的媒体类型(假设相关媒体类型为video的子类型3gpp-x)相同，呈现时间上存在交集， 如图7所示。采用基于内容的传输复用方案实现，客户端与服务器之间的会话控制通过 RTSP (Real Time Streaming Protocol，实时流传输协议)信令实现，媒体实时传输通过RTP 协议实现。如图8所示，示出了基于内容的传输复用的主要流程。801，客户端发起描述(DESCRIBE)请求，要求获取服务器提供的媒体初始化描述
fn息ο802，服务器发送DESCRIBE响应消息，其中携带包括基于内容的传输复用标识的 SDP信息。本实施例中基于内容的传输复用标识采用最大传输复用的内容数量表示。假设 该3gpp-x类型媒体内容并行的最大复用传输的内容数量为3，则其SDP描述示例如下
13
m = video<port>RTP/AVP 98a = rtpmap983gpp-x/1000a = maxcntnum: 3803，客户端解析SDP信息，得到媒体对应的信息参数，客户端根据自身能力判断 是否支持基于内容的传输复用，如果支持则按照步骤804-步骤806选择相关内容源，建立 会话连接。客户端还可以根据内容复用对终端资源调度进行优化处理；如果终端不支持基 于内容的传输复用，则进行其他处理，例如，如果服务器除了基于内容的传输复用还提供其 他传输的相同内容服务，则客户端可以发起相关请求建立连接，如果服务器仅支持基于内 容的传输复用，则客户端可以结束对相关内容的请求。804，服务器反馈连接建立响应消息。805-806，客户端与服务器交互，请求媒体播放。807，服务器维护会话相关的信息，并提取对应的svg媒体流进行内容复用封装， 在封装的RTP头部增加内容标识参数，并根据具体传输需求，对数据单元进行单一 /复合/ 分片传输。本实施例中基于DIMS的传输方案进行扩展实现内容复用传输，为了更好地理解 本发明实施例的方案，下面先对现有技术中DIMS的RTP封装格式进行简单介绍。DIMS的RTP封装格式中包括RTP头，而DIMS单元由公共头、特殊头和采样内容组 成。采样内容有四种封装类型，包括聚合数据包、分片包，公共头中指示了使用哪种类型。本实施例中内容复用传输的具体封装格式包括如下信息(I)DIMS头，在数据单元的头部增加相应的内容标识参数CNN，即内客标识，该参 数占用一个字节，为正整数，对媒体流中出现的不同内容采用数字进行标记。(2)公共头，同现有技术，支持单一 /复合/分片传输。在该实施例中，其中复合数 据包仅支持单一数据包的复合，不支持分片+单一或者分片+分片的复合。在本实施例中，服务器在进行Al、A2、A3的封装时，分别携带上述的内容标识参 数，根据实际数据量大小进行单一 /复合/分片封装。例如Al 的 CCN 为 1，A2 的 CCN 为 2，A3 的 CCN 为 3。808，服务器发送封装完成的数据包给客户端。809，客户端提取接收到的媒体流，进行各个内容的解析和对应呈现。户端可以对各个内容分别采用不同的解码器进行解析呈现，对于接收到的数据 包，客户端在传输适配层通过头部参数识别各个内容的数据，按照各个内容进行数据的缓 存和解析。例 2不同特性的文本被部署在流媒体业务中，例如在新闻播报过程中，标题、新闻内容 字幕和边角提示信息，他们的呈现周期、呈现的颜色/大小/呈现方式均可以不同。假设标 题、新闻内容字幕和边角提示信息分别标记为A1/A2/A3，他们的媒体类型(假设为video的 子类型3gpp-tt)相同，呈现时间上存在交集。采用基于内容的传输复用方案实现，客户端与服务器之间的会话控制通过RTSP 信令实现，媒体实时传输通过RTP协议实现。
14
如图9所示，示出了基于内容的传输复用的主要流程。901，客户端发起描述(DESCRIBE)请求，要求获取服务器提供的媒体初始化描述 fn息；902，服务器发送描述响应消息，其中携带包括基于内容的传输复用标识的SDP信 息。本实施例中内容复用采用基于内容的传输复用标识+最大传输复用的内容数量表示。 假设该3gpp-tt类型媒体内容并行的最大复用传输的内容数量为3，则其SDP描述示例如 下m = video<port>RTP/AVP 98a = rtpmap 983gpp-tt/1000a = cntmultiplex:yesa = maxcntnum: 3903，客户端解析SDP信息，得到媒体对应的参数，客户端根据自身能力判断是否 支持基于内容的传输复用，如果支持则按照步骤904-步骤906选择相关内容源，建立会话， 客户端还可以根据内容复用对终端资源调度进行优化处理。904，服务器反馈连接建立响应消息；905-906，客户端与服务器交互，请求媒体播放；907，服务器维护会话相关的信息，并提取对应的TT媒体流进行内容复用封装，在 封装的RTP头部增加内容标识参数，并根据具体传输需求，对数据单元进行单一 /复合传 输。本实施例中基于TT的传输方案进行扩展实现内容复用传输，具体传输格式包括(1)公共头，在数据单元公共头增加内容标识参数，即内容标识，该参数占用一个 字节，为正整数，对媒体流中出现的不同内容采用数字进行标记，即Typel-Type5的包头中 均包含相应的内容标识参数。(2)聚合数据包头，TT的现有传输技术中不支持复合传输，本实施例扩展TypeO为 聚合数据包，其中的数据可以是Typel-Type5中任意的数据包。聚合数据包头可以包含内 容标识参数也可以不包含内容标识参数，具体如下在聚合数据包头中包含内容标识参数如果聚合数据包中所有子数据单元的内容 标识参数相同，则聚合数据包头中的内容标识参数的取值与子数据单元的内容标识参数相 同，否则指定相应规则对聚合数据包头中的内容标识参数进行赋值，可用取一特定值做无 意义处理；在聚合数据包头中不包含内容标识参数，此时，可以只在子数据单元的头部携带 相应的内容标识参数。(3)传输格式中的其他信息与现有技术相同，可以支持单一数据单元/数据单元 分片传输。在本实施例中，服务器在进行Al、A2、A3的封装时，分别携带上述的内容标识参 数，根据实际数据量大小进行单一 /复合/分片封装。例如Al的内容标识参数为1，A2的 内容标识参数为2，A3的内容标识参数为3。908，服务器发送封装完成的数据包给客户端。
15
909，客户端提取接收到的媒体流，进行各个内容的解析和对应呈现。客户端可以对各个内容分别采用不同的解码器进行解析呈现，对于接收到的数据 包，客户端在传输适配层通过头部参数识别各个内容的数据，按照各个内容进行数据的缓 存和解析。例 3本发明实施例媒体传输方法中基于内容的复用传输不仅适用于单一媒体类型，也 适用于丰富的媒体应用。例如al为遵循SVG语法的动画，a2为对应的字幕部分，a3为包含 多个图片，al采用SVG语法的媒体内容进行描述，a2采用TT进行内容传输，a3的图片采用 HTTP进行下载，al，a2和a3组合在一起构成媒体内容Al，类似的子媒体类型SVG描述内容 al'和TT字幕a2'组合成媒体内容A2被部署在流媒体业务中相同频道，Al和A2在呈现 时间上有交集。客户端与服务器之间的流程类似前两个实施例，包括会话控制流程和媒体实时传 输流程。其中会话控制流程中需要内容复用传输的会话标识，用于客户端进行能力确认；媒体实时传输流程可以通过RTP实现，也可以通过HTTP传输。本实施例中的封装方案如下(1)在数据单元头增加内容标识参数CCN，即内容标识。对于RTP封装格式如图10所示，其中，内容标识参数CCN可以放在公共头部分，也 可以分别放在SVG封装包头部和时控文本封装包头部。对于聚合不同元素类型的数据包， 各个元素类型数据包的标识可以在公共头部分进行描述，也可以在相应元素类型数据包的 包头进行描述。当聚合数据包中所有数据包属于一个内容时，可以仅在公共头部分封装内 容标识参数CCN，否则需要对各个子数据包进行内容标识参数CCN封装。对于HTTP封装格式，可以增加头域参数来标识内容标识参数CCN。与前面两个实施例类似，服务器在进行Al、A2的封装时，分别携带上述的内容标 识参数CCN，根据实际数据量大小进行单一 /复合/分片封装。相应地，客户端提取接收到 的媒体流，进行各个内容的解析和对应呈现。客户端可以对各个内容分别采用不同的解码 器进行解析呈现，对于接收到的数据包，客户端在传输适配层通过头部参数识别各个内容 的数据，按照各个内容进行数据的缓存和解析。通过上述各实施例可见，本发明实施例媒体传输方法及设备，对于需要同时呈现 多个媒体的场景，提供基于内容的复用传输，支持多个复用内容的传输复用，能够节省网络 带宽，并且能够提升终端的处理性能。在现有技术中，一个节目内容或一个Movie(影片)中的复用内容需要存为多个文 件，这也为媒体的应用带来不便。比如，如果用户采用流媒体的形式消费该电影，则普通的 流媒体例如3GPP的PSS (Packet Switched StreamingService，包交换流媒体服务)则不适 用，因为PSS是假设每个Movie存储于一个文件中的。针对该问题，本发明实施例还提供一种媒体存储方法，为了适应多个媒体内容并 行呈现的应用，将具有同一复用媒体类型的复用内容存储到一个文件中，比如，ISO格式或 类似格式的文件，并在所述文件中对所述复用内容进行内容标识及复用指示，以方便复用 媒体的应用。
16
所述复用内容在文件中的具体存储方式可以有多种，下面结合附图和实施例，对 本发明实施例的技术方案进行描述。如图11所示，是本发明实施例媒体存储方法的一种实现流程，包括1101，将具有同一复用媒体类型的单个复用内容存储到文件的一个轨道中，所述 复用内容的每个样本包含所有具有相同媒体时间的单个媒体内容的数据单元。所述复用媒体类型可以是前面提到的元素媒体类型或聚合媒体类型。为了进一步提高存储的灵活性，还可以在所述数据单元前设置用于指示所述数据 单元长度的前缀，比如设置该前缀的长度为两个字节，其值不包含长度信息本身的长度，也 就是说是所述数据单元的净荷长度。1102，在对应所述复用内容的描述信息中添加各复用内容的内容标识。具体地，可以利用存储所述复用内容的轨道的轨道标识来表示所述复用内容的内 容标识；当然，也可以使用与相应轨道标识不同的其他的标识来表示。具体地，可以将所述内容标识存储在所述文件的影片层或者所述文件的轨道层。1103，在所述文件中添加第一复用指示信息，所述第一复用指示信息用于表明各 轨道存储的内容为复用内容。具体地，可以将所述第一复用指示信息存储在所述文件的影片层或者所述文件的 轨道层。依据上述存储方法，存储复用内容的文件的一种结构如图12所示如图所示，各复用内容分别存储到文件的一个轨道中，所述复用内容的每个样本 包含所有具有相同媒体时间的单个媒体内容的数据单元。各个复用内容中各单个内容的内容标识可以利用各轨道的轨道标识(track ID), 也可以在文件中另外包含内容标识信息。内容标识和第一复用指示信息这两种信息可以存 储在影片描述的movie-level (影片层)，比如MovieHeader Box (影片头)中，也可以存储 在track-level (轨道层)，如存储各单个内容的轨道的Media Information B ox(媒体信 息)或 Media Information HeaderBox (媒体信息头)中。各复用内容的媒体数据逐个样本顺序存储，每个样本包含所有具有相同媒体时间 的单个媒体内容的数据单元，每个数据单元前缀一个两字节的长度信息，其值不包含长度 信息本身的长度。利用本发明实施例的方法存储的媒体文件，可以在服务器本地播放，也可以采用 基于文件的下载播放，还可以采用前面本发明实施例媒体传输方法中描述的方式进行实时 传输，实现多个媒体内容的同时呈现，从而方便了复用媒体的应用。如图13所示，是本发明实施例媒体存储方法的另一种实现流程，包括1301，将具有同一复用媒体类型的所有复用内容存储到一个轨道中，所述复用内 容的每个样本包含所有具有相同媒体时间的所有媒体内容的数据单元。所述复用媒体类型可以是前面提到的元素媒体类型或聚合媒体类型。1302，在每 个数据单元前添加用于指示各复用内容的内容标识的前缀。1303，在所述轨道中添加第二复用指示信息，所述第二复用指示信息用于表明所 述轨道存储的内容为复用内容。具体地，可以将所述第二复用指示信息存储在所述文件的轨道层，优选地，可以将
17所述第二复用指示信息存储在所述轨道的样本条目中。为了进一步提高存储的灵活性，还可以在所述数据单元前设置用于指示所述数据 单元长度的前缀，比如设置该前缀的长度为两个字节，其值不包含长度信息本身的长度，也 就是说是所述数据单元的净荷长度。依据上述存储方法，存储复用内容的文件的一种结构如图14所示如图所示，同一复用媒体类型的所有单个内容一起存储为一个文件轨道，媒体数 据的每个样本包含所有具有相同媒体时间的所有内容的数据单元(如TG单元)，内容标识 前缀于每个数据单元。存储复用内容的轨道中需要包含表明这个轨道存储的为复用内容。这个信息可以 存储在影片描述的track-level (轨道层)，最好是在该轨道的样本条目(sample entry) 中。利用本发明实施例的方法存储的媒体文件，可以在服务器本地播放，也可以采用 基于文件的下载播放，还可以采用前面本发明实施例媒体传输方法中描述的方式进行实时 传输，实现多个媒体内容的同时呈现，从而方便了复用媒体的应用。相应地，前面介绍的本发明媒体传输方法中，在服务器所能提供的内容源可以按 照上述媒体存储方法进行存储，这样，可以在基于内容的复用传输时，可以更方便地对所述 内容源进行数据包的封装。当然，在对基于内容的复用传输的媒体流进行实时接收并存储 时，也可以按照上述媒体存储方法进行存储，以便于后续的处理。本发明实施例还提供了一种媒体存储设备，如图15所示，是该媒体存储设备的一 种结构示意图。在该实施例中，所述媒体存储设备包括存储单元1501和信息描述单元1502。其 中存储单元1501，用于将具有同一复用媒体类型的复用内容存储到一个文件中；信息描述单元1502，用于在所述文件中对所述复用内容进行内容标识及复用指
7J\ ο在具体应用中，所述复用内容在文件中的具体存储方式可以有多种。在本明的一个实施例中，所述存储单元1501，具体用于将具有同一复用媒体类型 的单个复用内容存储到所述文件的一个轨道中，所述复用内容的每个样本包含所有具有相 同媒体时间的单个媒体内容的数据单元；所述信息描述单元1502，具体用于在对应所述复 用内容的描述信息中添加各复用内容的内容标识；在所述文件中添加第一复用指示信息， 所述第一复用指示信息用于表明各轨道存储的内容为复用内容。具体的媒体存储过程可参 照图11所示本发明实施例媒体存储方法中的描述，在此不再赘述。在本明的另一个实施例中，所述存储单元1501，具体用于将具有同一复用媒体类 型的所有复用内容存储到文件的一个轨道中，所述复用内容的每个样本包含所有具有相同 媒体时间的所有媒体内容的数据单元；所述信息描述单元1502，具体用于在每个数据单元 前添加用于指示各复用内容的内容标识的前缀；在所述轨道中添加第二复用指示信息，所 述第二复用指示信息用于表明所述轨道存储的内容为复用内容。具体的媒体存储过程可参 照图13所示本发明实施例媒体存储方法中的描述，在此不再赘述。相对于广播电视媒体流(传输流，Transmit Stream)传输方法，本发明上述所有
18实施例中通过在传输适配层添加用于指示复用内容的内容标识，使得包头占用的负载较 少，节省了带宽资源。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以 通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中。 所述的存储介质，如ROM/RAM、磁碟、光盘等。以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明 的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范 围之内。
权利要求
一种媒体传输方法，其特征在于，包括对客户端选择的内容源进行数据包的封装，并且在传输适配层添加用于指示复用内容的内容标识；发送封装后的数据包的媒体流给所述客户端。
2.根据权利要求1所述的方法，其特征在于，所述数据包的封装包括单一的数据单元的封装；或单一的数据单元分片的封装；所述在传输适配层添加用于指示复用内容的内容标识包括在数据包头中添加对应所 述数据单元的内容标识或者对应所述数据单元分片的内容标识。
3.根据权利要求1所述的方法，其特征在于，所述数据包的封装包括多个数据单元 的聚合封装；或多个数据单元分片的聚合封装；或多个数据单元和数据单元分片的聚合封 装；所述在传输适配层添加用于指示复用内容的内容标识包括在聚合数据包头中添加内容标识；和/或，在聚合数据单元头中添加对应该聚合数据 单元的内容标识；所述聚合数据单元为单一数据单元或数据单元分片，所述聚合数据包为 聚合数据单元的聚合。
4.根据权利要求3所述的方法，其特征在于，所述聚合数据单元为同一时间的数据单 元或数据单元分片；或者所述聚合数据单元为不同时间的数据单元或数据单元分片。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括接收客户端发送的内容服务请求消息，所述消息中包含所述客户端请求的内容源；生成对应所述内容源的SDP信息并将其发送给所述客户端，所述SDP信息中携带基于 内容的传输复用标识；所述客户端选择的内容源是所述客户端根据自身能力需求和所述SDP信息中携带的 基于内容的传输复用标识选择的。
6.根据权利要求5所述的方法，其特征在于，所述传输复用标识包括最大传输复用的 内容数量，并包含在扩展的SDP属性行中。
7.根据权利要求6所述的方法，其特征在于，如果所述内容源为聚合媒体，则所述传输 复用标识还包括对应于所述媒体流中的多个元素媒体类型的取值列表或单个取值的多个SDP属性行；或者对应于所述媒体流中的多个元素媒体类型媒体相关参数的集合的数量的取值列表或 单个取值的多个SDP属性行。
8.根据权利要求6或7所述的方法，其特征在于，所述传输复用标识还包括复用指示 标识，所述复用指示标识通过一个扩展的SDP属性行携带。
9.一种媒体传输方法，其特征在于，包括接收服务器发送的媒体流；如果所述媒体流为基于内容的传输复用媒体，则从传输适配层获取用于指示各复用内 容的内容标识；按照所述内容标识解析所述媒体流，并进行对应的解码呈现。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括在接收所述媒体流之前，向服务器发送内容服务请求消息；接收服务器发送的SDP信息，所述SDP信息中携带基于内容的传输复用标识；根据自身能力需求和所述SDP信息中携带的基于内容的传输复用标识选择所述内容源。
11.一种服务器，其特征在于，包括封装单元，用于对客户端选择的内容源进行数据包的封装，并且在传输适配层添加用 于指示复用内容的内容标识；媒体流发送单元，用于发送封装后的数据包的媒体流给所述客户端。
12.根据权利要求11所述的服务器，其特征在于，所述数据包的封装包括单一的数据 单元的封装；或单一的数据单元分片的封装；所述封装单元具体用于在数据包头中添加对应所述数据单元的内容标识或者对应所 述数据单元分片的内容标识。
13.根据权利要求11所述的服务器，其特征在于，所述数据包的封装包括多个数据单 元的聚合封装；或多个数据单元分片的聚合封装；或多个数据单元和数据单元分片的聚合 封装；所述封装单元具体用于在聚合数据包头中添加内容标识；和/或在聚合数据单元头 中添加对应该聚合数据单元的内容标识；所述聚合数据单元为单一数据单元或数据单元分 片，所述聚合数据包为聚合数据单元的聚合。
14.根据权利要求11所述的服务器，其特征在于，所述服务器还包括服务请求接收单元，用于接收客户端发送的内容服务请求消息，所述消息中包含所述 客户端请求的内容源；信息生成单元，用于在所述服务请求接收单元接收到所述内容服务请求后，生成对应 所述内容源的SDP信息，所述SDP信息中携带基于内容的传输复用标识； 信息发送单元，用于发送所述SDP信息；所述客户端选择的内容源是所述客户端根据自身能力需求和所述SDP信息中携带的 基于内容的传输复用标识选择的。
15.一种客户端，其特征在于，包括媒体流接收单元，用于接收服务器发送的媒体流；内容标识获取单元，用于在所述媒体流为基于内容的传输复用媒体时，从传输适配层 获取用于指示各复用内容的内容标识；解析单元，用于按照所述内容标识解析所述媒体流； 呈现单元，用于对所述解析单元解析后的媒体流进行对应的解码呈现。
16.根据权利要求15所述的客户端，其特征在于，所述客户端还包括服务请求单元，用于在接收所述媒体流之前，向服务器发送内容服务请求消息； 信息接收单元，用于接收服务器发送的SDP信息，所述SDP信息中携带基于内容的传输 复用标识；选择单元，用于根据自身能力需求和所述SDP信息中携带的基于内容的传输复用标识 选择所述内容源。
17.一种媒体存储方法，其特征在于，包括将具有同一复用媒体类型的复用内容存储到一个文件中； 在所述文件中对所述复用内容进行内容标识及复用指示。
18.根据权利要求17所述的方法，其特征在于，所述将具有同一复用媒体类型的复用内容存储到一个文件中包括 将具有同一复用媒体类型的单个复用内容存储到所述文件的一个轨道中，所述复用内 容的每个样本包含所有具有相同媒体时间的单个媒体内容的数据单元； 所述在所述文件中对所述复用内容进行内容标识及复用指示包括 在对应所述复用内容的描述信息中添加各复用内容的内容标识； 在所述文件中添加第一复用指示信息，所述第一复用指示信息用于表明各轨道存储的 内容为复用内容。
19.根据权利要求18所述的方法，其特征在于，所述方法还包括利用存储所述复用内容的轨道的轨道标识表示所述复用内容的内容标识。
20.根据权利要求18所述的方法，其特征在于，所述方法还包括将所述内容标识和所述第一复用指示信息存储在所述文件的影片层；或者 将所述内容标识和所述第一复用指示信息存储在所述文件的轨道层。
21.根据权利要求17所述的方法，其特征在于，所述将具有同一复用媒体类型的复用内容存储到一个文件中包括 将具有同一复用媒体类型的所有复用内容存储到文件的一个轨道中，所述复用内容的 每个样本包含所有具有相同媒体时间的所有媒体内容的数据单元； 所述在所述文件中对所述复用内容进行内容标识及复用指示包括 在每个数据单元前添加用于指示各复用内容的内容标识的前缀； 在所述轨道中添加第二复用指示信息，所述第二复用指示信息用于表明所述轨道存储 的内容为复用内容。
22.根据权利要求21所述的方法，其特征在于，所述方法还包括 将所述第二复用指示信息存储在所述文件的轨道层。
23.根据权利要求22所述的方法，其特征在于，所述方法还包括 将所述第二复用指示信息存储在所述轨道的样本条目中。
24.一种媒体存储设备，其特征在于，包括存储单元，用于将具有同一复用媒体类型的复用内容存储到一个文件中； 信息描述单元，用于在所述文件中对所述复用内容进行内容标识及复用指示。
25.根据权利要求24所述的设备，其特征在于，所述存储单元，具体用于将具有同一复用媒体类型的单个复用内容存储到所述文件的 一个轨道中，所述复用内容的每个样本包含所有具有相同媒体时间的单个媒体内容的数据 单元；所述信息描述单元，具体用于在对应所述复用内容的描述信息中添加各复用内容的内 容标识；在所述文件中添加第一复用指示信息，所述第一复用指示信息用于表明各轨道存 储的内容为复用内容。
26.根据权利要求24所述的设备，其特征在于，所述存储单元，具体用于将具有同一复用媒体类型的所有复用内容存储到文件的一个轨道中，所述复用内容的每个样本包含所有具有相同媒体时间的所有媒体内容的数据单 元；所述信息描述单元，具体用于在每个数据单元前添加用于指示各复用内容的内容标识 的前缀；在所述轨道中添加第二复用指示信息，所述第二复用指示信息用于表明所述轨道 存储的内容为复用内容。
全文摘要
本发明实施例提供一种媒体传输方法及设备，所述方法包括对客户端选择的内容源进行数据包的封装，并且在传输适配层添加用于指示复用内容的内容标识；发送封装后的数据包的媒体流给所述客户端。可以实现多个复用内容的传输复用。本发明实施例还提供一种媒体存储方法及设备，可以方便复用媒体的应用。
文档编号G11B27/10GK101924742SQ20091014942
公开日2010年12月22日 申请日期2009年6月16日 优先权日2009年6月16日
发明者唐廷芳, 彭展, 王业奎 申请人:华为技术有限公司