一种异构网络下的多媒体时钟协调同步方法
【专利摘要】本发明提供了一种异构网络下的多媒体时钟协调同步方法，该方法针对现有多媒体系统和协议缺乏多时钟兼容的机制，造成异构融合网络中无法精确整合不同网络中内容和服务的问题，采用数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，通过增加多媒体时钟协调同步机制实现异构网络下兼容多种网络时钟同步机制，采用统一的封装格式多媒体数据，提供不同时钟的对应关系的信令表，既利于整合多种网络资源，提高异构融合网络下多媒体服务的丰富性和稳定性，也便于多媒体内容的统一管理，减少因时钟同步机制不同而造成的数据重复封装和处理的时间和资源浪费，给用户带来更好的服务体验。
【专利说明】
一种异构网络下的多媒体时钟协调同步方法
技术领域
[0001 ] 本发明涉及一种在异构网络中实现多媒体时钟协调同步的机制，更具体的说，涉 及一种在双向网与单向网组成的混合、异构网络中实现全网的多媒体时钟协调与同步的机 制。
【背景技术】
[0002] 随着数字多媒体技术的成熟和普遍应用，尤其是高清晰度、高分辨率数字视频业 务的广泛深入发展，用户体验到了更好的数字媒体服务的同时，也对数字媒体业务提出了 更高的要求。由于数字媒体技术的广泛应用，多媒体节目中流间同步和流内同步问题也日 益凸显。更为重要的是，在现有的以广播电视网络为代表的单向网与以宽带网络为代表的 双向网中，采用了不同的多媒体时间同步机制和协议，造成两种网络多媒体服务不兼容，使 用户不能享受到异构融合网络业务带来的优势和便利。
[0003] 当前大多数多媒体协议都定义了各自的一套完整的时间同步机制，能够在可接受 范围内比较成功地解决协议内多媒体系统时钟同步问题，如数字电视领域常用的MPEG2-TS 协议采用27M系统时钟STC(System Time Clock)结合媒体流中PCR(Program Clock Reference)与PTS(Presentation Time Stamp)信息进行多媒体业务的时钟同步；宽带网 络中常见的HTTP、RTP协议中采用协调世界时UTC(Coordinated Universal Time)结合统 一的网络时间协议NTP(Network Time Protocol)时戳完成多媒体业务的时钟同步。虽然如 此，考虑到大众用户不关心多媒体业务的具体技术，只关注服务质量和效果，所以在实际情 况中用户往往处于异构混合网络中，并且希望享受到无差别、稳定的多媒体服务。问题在于 不同网络系统，或者说不同协议中时钟同步机制的不兼容性，造成用户同一时间只能享受 某一种业务，而无法享受异构混合网络带来的更广泛的媒体业务和更高质量的媒体服务。 多网融合已经成为趋势，不同网络具有各自优势、相辅相成，异构融合网络本应为用户提供 更好的服务，然而不同的时钟同步机制使得这一目标难以实现，多媒体系统难以精确匹配、 整合不同网络中的内容和服务。
[0004] 另一方面，数字媒体资源的丰富性满足了用户日益增长的媒体消费需求，媒体资 源之间的内容关联也为媒体资源的整合提供了基础。如今多媒体服务已经不再受物理网络 的限制，在不同网络中都可以享受到比较高质量的多媒体业务，但是相应产生了另一个问 题，相同的数据内容在不同网络不同协议中需要封装成不同的媒体格式，不仅增加了额外 的工作量，并且不同的媒体格式由于时钟信息相互不兼容造成用户必须依赖物理条件才能 获取多媒体服务，不符合数字媒体消费随时、随地、任何终端、任何内容的趋势。
[0005] 更好的方法是，多媒体数据采用统一的封装格式，该封装格式能够兼容现有多种 时钟信息，同时异构网络的多媒体系统中应该兼容双向网与单向网的时间同步机制，媒体 发送端都使用基于IP (Internet Protocol)的传输协议发送数据、标定时戳，同时提供不同 时钟的对应关系的信令表，客户端能够根据需要调整所采用的时钟协议和机制。例如，在宽 带网络断开时，用户无法使用NTP协议完成时钟同步，但是仍然可以借助其他时钟同步协 议使用广播网络观看电视节目。其困难在于：现有多媒体系统一般都是对应于某种特定网 络，需要设计合理的异构混合网络下的多媒体系统，用以兼容不同网络特性；现有成熟协议 都没有考虑异构网络的需求，需要按照兼容不同时钟机制的要求重新设计媒体封装格式和 传输协议。
【发明内容】
[0006] 针对现有技术中的缺陷，本发明的目的是提供一种异构网络下的多媒体时钟协调 同步方法，从而增加了现有多媒体系统和协议缺乏的多时钟关联机制，解决了现有多媒体 系统和协议由于同步时钟不兼容而无法提供异构融合网络关联服务的问题，并且为新一代 基于IP的异构网络提供了时钟同步解决方案。
[0007] 为实现上述目的，本发明采用以下技术方案：
[0008] -种异构网络下的多媒体时钟协调同步方法，所述方法采用四个模块处理：数据 封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，其中：
[0009] 所述数据封装模块，该模块将原始的多媒体数据进行统一的格式封装成为MPU数 据，MPU数据包含帧级别时间戳信息，将所有媒体相关的信息封装于文件中，包括多媒体 封装文件和信令文件，为数据解析与呈现模块提供必要信息，特别是标准的兼容时间戳信 息；
[0010] 所述数据发送模块，该模块发送的数据包含时钟相关描述信令、标记时间戳的媒 体数据，数据包字段格式与数据封装模块的数据格式相对应，保证数据封装模块生成的文 件必要信息能够正确传送到客户端，同时为数据接收与恢复模块解包与数据恢复操作提供 标准格式；
[0011] 所述数据接收与恢复模块，该模块接收、恢复媒体数据与信令信息，校准接收端本 地时钟，将数据封装模块与发送模块提供的各种媒体信息在本地进行正确恢复，指导数据 解析与呈现模块实现正确地输出与呈现；
[0012] 所述数据解析与呈现模块，该模块解析信令表时钟相关信息，引导解码器正确解 码与浏览器呈现，通过数据发送模块和数据接收与恢复模块，该模块将数据封装模块包含 的文件内容以及相关信令控制由接收端完整正确呈现，将本系统的优势直观地展现给用 户。
[0013] 优选的，所述数据封装模块，其中：MPU格式基于ISOBMFF(ISO Base Media File Format)，在此基础上增加新的盒子类型，同时分为时序数据和非时序数据，对所有的原始 数据类型进行统一格式的封装，其中时序数据主要封装音视频源数据，除了媒体轨道外添 加新的提示轨道，并在提示轨道样本中提供媒体内容的PTS时钟信息，而非时序数据的编 码和呈现与时钟不相关，所以不需要设置PTS时钟信息；PTS时钟信息由编码器时钟源计算 得到，这样在媒体数据封装成MPU格式时已经在数据帧级别对应PTS时钟信息。
[0014] 优选的，所述数据发送模块，其中MMT的传输协议部分各字段都与统一媒体封装 格式MPU的时序数据字段相一致，达到多媒体数据存储与传输的一致性和快速转换，传送 多媒体数据的同时，NTP服务也在进行，接收端本地时钟被进行周期性校正，能够防止误差 时间的累积效应，保证多媒体服务的质量。
[0015] 优选的，所述数据发送模块，在接收端不满足NTP服务运行的条件时，利用MMT协 议中的CRI信令表，提供NTP与PCR的对应关系，接收端通过接受流中的NTP时戳依据此表 换算出PCR信息，从而校正本地的时钟，达到时钟同步与多媒体同步，CRI信令表周期性更 新，保证全网络时钟的精确同步。
[0016] 优选的，所述数据接收与恢复模块，用得到的媒体流中的ΝΤΡ时钟或者时钟时间 戳用来校正接收端的时钟，使全网的时间同步，同时，媒体数据中的帧级别呈现时间戳引导 解码器进行正确地解码。
[0017] 优选的，所述数据解析与呈现模块，在处于断网状态时，按照STC机制进行时钟同 步：解析CRI信令表得到PCR信息，校正本地的系统时钟，同时利用媒体数据中的帧级别 PTS信息知道解码器解码；若处于联网状态，则忽略数据中的PCR与PTS信息，采用ΝΤΡ协 议进行时钟同步：接收端利用ΝΤΡ服务定期校正本地时钟，利用媒体流中的时间线管理机 制引导解码器解码。
[0018] 与现有技术相比，本发明具有如下的有益效果：
[0019] 采用本发明的技术方案，可以针对现有多媒体系统和协议缺乏多时钟兼容的机 制，造成异构融合网络中无法精确整合不同网络中内容和服务的问题，通过增加多媒体时 钟协调同步机制实现异构网络下兼容多种网络时钟同步机制，采用统一的封装格式多媒体 数据，提供不同时钟的对应关系的信令表，既利于整合多种网络资源，提高异构融合网络下 多媒体服务的丰富性和稳定性，也便于多媒体内容的统一管理，减少因时钟同步机制不同 而造成的数据重复封装和处理的时间和资源浪费，给用户带来更好的服务体验。
【附图说明】
[0020] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0021] 图1是多媒体系统中时钟协调同步示意图；
[0022] 图 2 是通用 MPU (Media Processing Unit)封装格式；
[0023] 图3是接收端时钟同步流程图；
[0024] 图4为与统一媒体封装格式MPU的时序数据字段相一致修改示意图。
【具体实施方式】
[0025] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0026] 如今，网络融合已经成为趋势，利用全网的资源进行优势整合，其中需要解决的关 键性问题在于设计全网的时钟协调同步机制。考虑到对现有网络的兼容性，该全网时钟机 制应该能够兼容现有的时钟协议和机制。
[0027] 现有主流的时钟系统和协议主要有两个，一个是广播电视系统中使用的MPEG2-TS 标准，其中的时钟同步部分使用了 STC/PCR/PTS机制，采用流内传输定期校正方式；另一个 是互联网系统中使用的NTP(Network Time Protocol)协议，采用流外传输定期校正的方 式。所以异构网络下的多媒体时钟同步机制应兼容以上两种时钟协议，并且两种时钟应在 全局相互映射，根据实际需求和条件确定真正使用的时钟协议。
[0028] 下面以MMT (MPEG Media Transport)标准为例，介绍异构网络下的多媒体时钟协 调同步机制。当然，此机制不限于MMT标准，也可以应用于其他标准和方案。MMT全称为MPEG 多媒体传输协议，由国际标准组MPEG制定，能够将媒体进行统一封装，允许媒体数据在双 向网和单向网上传输，并且针对新兴的媒体应用场景重新定义了传输方法和呈现机制。
[0029] 在多媒体系统的不同环节都需要对现有系统和协议进行修改，下面以一套基本的 多媒体系统为例，如图1所示，分为数据封装、数据发送、数据接收、数据解析与呈现模块4 个模块对时钟协调同步机制分别进行描述。
[0030] 数据封装：
[0031] 生成统一的MPU (Media Processing Unit)文件，包含帧级别时间戳信息
[0032] 经过编码器，生成原始的音频、视频流，进行统一的格式封装成为MPU数据。MPU 格式基于IS0BMFF(IS0 Base Media File Format)，在此基础上增加新的盒子类型，同时 分为时序数据和非时序数据，对所有的原始数据类型进行统一格式的封装，如图2所示。 其中时序数据主要封装音视频源数据，除了媒体轨道外添加新的提示轨道，并在提示轨道 样本中提供媒体内容的PTS时钟信息，而非时序数据的编码和呈现与时钟不相关，所以不 需要设置PTS信息。PTS时钟信息由编码器27M时钟源计算得到，这样在媒体数据封装成 MPU格式时已经在数据帧级别对应PTS时钟信息。PTS信息在MPU文件位置图2所示，具体 MMTHSample的设计如下：
[0033]
[0034] 新增加的字段语义如下，其他字段语义参考IS0/IEC 23008-1 :
[0035] PTS(presentation_time_stamp)-此33比特字段为所引用访问单元的呈现时间 戳。
[0036] PTS字段的编码语义描述参考IS0/IEC 13818-1。
[0037] reserved -保留位。
[0038] 数据发送：
[0039] 包含时钟相关描述信令的发送以及标记时戳的媒体数据的发送
[0040] 由于IP协议的广泛应用，未来的异构融合网络应该也是基于IP协议的，无论何种 应用层协议传输多媒体数据时都会为数据包打上当前的时间戳，接收端可以根据该时间戳 与本地时钟对比完成时序多媒体的准确呈现。而当前应用层协议一般都固定一种时钟协 议，其中MMT的传输协议部分也只考虑了 NTP时戳的标记，在异构网络的时序多媒体应用 中，必须要考虑不满足与NTP时钟源通信条件时多媒体系统的同步机制，并且要兼容多种 网络时钟协议，需要修改此部分内容，在原有时序数据MFU的包头之后添加33位的PTS字 段，记录该帧数据的呈现时间戳，和7位保留字段，为未来扩展预留，如图4所示。图4各字 段都与统一媒体封装格式MPU的时序数据字段相一致，可以达到多媒体数据存储与传输的 一致性和快速转换。传送多媒体数据的同时，NTP服务也在进行，接收端本地时钟被进行周 期性校正，能够防止误差时间的累积效应，保证多媒体服务的质量。
[0041] 若接收端不满足NTP服务运行的条件，上述机制将不能解决时钟同步与多媒体同 步的问题。此时可以利用MMT协议中的CRI信令表，提供NTP与PCR的对应关系，接收端可 以通过接受流中的NTP时戳依据此表换算出PCR信息，从而校正本地的27M时钟，达到时钟 同步与多媒体同步。CRI信令表周期性更新，保证全网络时钟的精确同步。MMT中NTP与 PCR对应关系如下表，STC_sample对应PCR值，NTP_timestamp_sample对应NTP值，具体详 见 IS0/IEC 23008-1。
[00421
[0043] 数据接收与恢复：
[0044] 接收、恢复媒体数据与信令信息，校准接收端本地时钟
[0045] 无论接收端采取主动获取或者被动接收数据，都应正确恢复出媒体数据和信令信 息。得到的媒体流中的NTP时钟或者27M系统时钟时间戳用来校正接收端的时钟，使全网 的时间同步。同时，媒体数据中的帧级别呈现时间戳引导解码器进行正确地解码。
[0046] 数据解析与呈现：
[0047] 解析信令表时钟相关信息，引导解码器正确解码与浏览器呈现
[0048] 由于客户端有很多表现形式，多媒体系统中以浏览器为例，说明数据解析和呈 现模块时钟协调同步机制的处理过程，同理可以应用至专用软件客户端、专用播放器等 等。接收端首先通过终端联网检测模块，确认本地的联网状态，同时将接口参数和结果反 馈给浏览器内部。浏览器判断本地是否联网，若联网，则保持与NTP服务器周期性通信， 以校正本地UTC时钟，同时不断接收和读取MMTP流，忽略数据中的PCR与PTS信息，利用 Cl (Composition Information)和MPU中的NTP时间，指导解码器正确解码及浏览器正确呈 现；若不联网，则首先读取发送端周期性发送的CRI信令表，通过其中STC_sample字段得到 服务器端正确的UTC时间，校准本地的系统时钟，同时也不断接收和读取MMTP流，得到MPU 数据和元数据信息，其中元数据MFU头中包含数据帧的PTS信息，然后以本地系统时钟为基 准，参照PTS时间信息指导播放器正确解码，及浏览器正确呈现，具体流程图见图3。MMT中 除了 CRI信令表还有几种其他类型的信令表如Cl (Composition Information)，通过CRI的 时钟对应关系描述，接收端可以获得全网的同步，从而更好地利用各种信令控制浏览器的 渲染和呈现，为用户带来全新的体验。
[0049] 本发明既利于整合多种网络资源，提高异构融合网络下多媒体服务的丰富性和稳 定性，也便于多媒体内容的统一管理，减少因时钟同步机制不同而造成的数据重复封装和 处理的时间和资源浪费，给用户带来更好的服务体验。
[0050] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影 响本发明的实质内容。
【主权项】
1. 一种异构网络下的多媒体时钟协调同步方法，其特征在于，所述方法采用四个模块 处理：数据封装模块、数据发送模块、数据接收模块、数据解析与呈现模块，其中： 所述数据封装模块，该模块将原始的多媒体数据进行统一的格式封装成为MPU数据， MHJ数据包含帧级别时间戳信息，将所有媒体相关的信息封装于文件中，包括多媒体封装文 件和信令文件，为数据解析与呈现模块提供必要信息，特别是标准的兼容时间戳信息； 所述数据发送模块，该模块发送的数据包含时钟相关描述信令、标记时间戳的媒体数 据，其中数据包字段格式与数据封装模块的数据格式相对应，保证数据封装模块生成的文 件必要信息能够正确传送到客户端，同时为数据接收与恢复模块解包与数据恢复操作提供 标准格式； 所述数据接收与恢复模块，该模块接收、恢复媒体数据与信令信息，校准接收端本地时 钟，将数据封装模块与发送模块提供的各种媒体信息在本地进行正确恢复，指导数据解析 与呈现模块实现正确地输出与呈现； 所述数据解析与呈现模块，该模块解析信令表时钟相关信息，引导解码器正确解码与 浏览器呈现，通过数据发送模块和数据接收与恢复模块，该模块将数据封装模块包含的文 件内容以及相关信令控制由接收端完整正确呈现，将本系统的优势直观地展现给用户。2. 根据权利要求1所述的一种异构网络下的多媒体时钟协调同步方法，其特征在于， 所述数据封装模块，其中：MPU格式基于ISOBMFF，在此基础上增加新的盒子类型，同时分为 时序数据和非时序数据，对所有的原始数据类型进行统一格式的封装，其中时序数据主要 封装音视频源数据，除了媒体轨道外添加新的提示轨道，并在提示轨道样本中提供媒体内 容的PTS时钟信息，而非时序数据的编码和呈现与时钟不相关，所以不需要设置PTS时钟信 息；PTS时钟信息由编码器时钟源计算得到，这样在媒体数据封装成MPU格式时已经在数据 帧级别对应PTS时钟信息。3. 根据权利要求1所述的一种异构网络下的多媒体时钟协调同步方法，其特征在于， 所述数据发送模块，其中MMT的传输协议部分各字段都与统一媒体封装格式MPU的时序数 据字段相一致，达到多媒体数据存储与传输的一致性和快速转换，传送多媒体数据的同时， NTP服务也在进行，接收端本地时钟被进行周期性校正，能够防止误差时间的累积效应。4. 根据权利要求1所述的一种异构网络下的多媒体时钟协调同步方法，其特征在于， 所述数据发送模块，在接收端不满足NTP服务运行的条件时，利用MMT协议中的CRI信令 表，提供NTP与PCR的对应关系，接收端通过接受流中的NTP时戳依据此表换算出PCR信息， 从而校正本地的时钟，达到时钟同步与多媒体同步，CRI信令表周期性更新，保证全网络时 钟的精确同步。5. 根据权利要求1-4任一项所述的一种异构网络下的多媒体时钟协调同步方法，其特 征在于，所述数据接收与恢复模块，用得到的媒体流中的NTP时钟或者时钟时间戳用来校 正接收端的时钟，使全网的时间同步，同时，媒体数据中的帧级别呈现时间戳引导解码器进 行正确地解码。6. 根据权利要求1-4任一项所述的一种异构网络下的多媒体时钟协调同步方法，其特 征在于，所述数据解析与呈现模块，在处于断网状态时，按照STC机制进行时钟同步：解析 CRI信令表得到PCR信息，校正本地的系统时钟，同时利用媒体数据中的帧级别PTS信息知 道解码器解码；若处于联网状态，则忽略数据中的PCR与PTS信息，采用NTP协议进行时钟 同步：接收端利用NTP服务定期校正本地时钟，利用媒体流中的时间线管理机制引导解码 器解码。
【文档编号】H04L29/06GK105991586SQ201510080558
【公开日】2016年10月5日
【申请日】2015年2月13日
【发明人】张文军, 徐异凌, 孙军, 管云峰, 张小云, 柳宁, 陈浩
【申请人】上海交通大学