传送媒体数据的设备以及接收媒体数据的设备的制作方法

本发明涉及用于传送和接收媒体数据的设备和方法，并更具体地，涉及用于mpeg媒体传输(mmt)系统的传送和接收媒体数据所需的传递层(d-层)的定时信息。

背景技术

mpeg媒体传输(mmt)是mpeg系统子工作组开始开发的新标准技术。现有mpeg-2系统已将mpeg-2传输流(ts)技术标准化为用于在当前广泛使用的广播网络中传送av内容所需要的分组化、同步、多路复用等的功能的标准。然而，mpeg-2ts在其中网络基于因特网协议(ip)的分组传递环境中效率低。所以，isompeg已在考虑新媒体传送环境和将来期望的媒体传送环境的情况下认识到新媒体传送标准的必要性，并已开始mmt标准化。

图1是示出了mmt系统的层级结构的概念图并示出了功能架构。该层级结构被配置为主要包括诸如封装层(e-层)、传递层(d-层)、信令层(s-层)等的三层。本发明中设想的定时信息是d-层中需要的功能。mmt的d-层的重要功能之一在发送器处向接收终端传送在为mmt分组的生成和传送所准备的d-层分组化处理期间生成的重要定时信息。可在接收器处连同e-层定时信息一起使用传送的定时信息。这是为了在维持媒体之间的同步的同时播放媒体。所以，本发明可包括用于在基于mmt系统的媒体服务中的媒体之间提供精确时间同步的d-层定时信息、和使用该定时信息的同步方法。

作为用于传送与mmt的定时模型类似的在媒体传送处理期间生成的重要时间信息的现有技术，存在在mpeg-2系统技术中采用的dts、基于pts的定时模型、以及rtp协议中提供的基于rtp时间戳和ntp时间戳信息的定时模型。

更详细地描述，现有技术中已开发的用于传送媒体的定时模型主要具有两类。首先，存在mpeg-2系统技术，以及其次，存在使用实时传输协议(rtp)和rtp控制协议(rtcp)的组合的方法。在mpeg-2系统中，使用呈现时间戳(pts)和解码时间戳(dts)定时信息作为用于配置定时模型的定时信息，以便确定媒体播出(playout)时间。在混合使用rtp和rtcp的方法的情况下，可同时使用rtp中记录的rtp时间戳信息以及rtcp发送器报告(sr)中记录的网络时间协议(ntp)时间戳。

mpeg-2系统技术提出了用于通过诸如广播网络的稳定传送网络来传送压缩媒体的定时模型。mpeg-2系统一般是为了数字广播服务的目的而开发的标准，使得将传送的mpeg-2传输流(ts)通过其中信道质量相对稳定的作为电路交换网的广播网而传送到接收器。所以，传送信道中经历的mpeg-2ts分组的分组延迟时间相对短和恒定，并且用于顺序处理到达接收器的ts分组的定时模型相对稳定地操作。然而，在除了广播网之外的ip网的情况下，传送的ts分组所经历的到达延迟时间的间隔非常不规则，并所以，难以稳定维持mpeg-2系统技术所采用的定时模型。

在基于rtp/rtcp的定时模型的情况下，rtp分组的报头中记录的rtp时间戳代表特定媒体流的内部时间顺序关系。所以，为了提供不同媒体流之间的同步，存在传送与挂钟对应的定时信息的需求。用于实现以上目的的传送到终端的定时信息是ntp时间戳。ntp时间戳通过在rtcp发送器报告(sr)分组上携带而传送，并在具有预定周期的同时重复传送。rtcpsr分组是与用于媒体传送的rtp流分离传输的流，并且结果，增加网络的业务负担，并且由于udp端口以及服务器/终端需要管理的流的数目增加，所以传送和接收系统的操作复杂。

所以，在已重新标准化以便解决这些方法的问题的mmt技术的d-层中，存在对于能够向接收终端有效传送在为mmt分组传送而准备的d-层分组化处理期间生成的重要时间信息的定时模型的需求。

技术实现要素：

本发明可包括能够向接收终端有效传送在为mmt技术的d-层中的mmt分组传送准备的d-层分组化处理期间生成的重要时间信息的简单定时模型、以及操作该定时模型所需的定时信息。所以，可能通过设计要从mmt系统的d-层提供的定时信息，来实现在基于mmt系统的媒体传送服务中的传送媒体之间的精确时间同步。

本发明提供了用于传送媒体数据的设备和方法，其能够提供在基于mmt系统的媒体传输服务中的传送媒体的播出时间、以及媒体之间的时间同步所需的d-层定时信息。

本发明还提供了用于接收媒体数据的设备和方法，其能够提供在基于mmt系统的媒体传输服务中的传送媒体的播出时间、以及媒体之间的时间同步所需的d-层定时信息。

在一个方面中，一种用于传送媒体数据的设备包括：分组化器，用于对封装层数据(e-层数据)进行分组化，以生成包括定时信息的传递层分组(d-层分组)，该定时信息包括采样时间信息和发送器处理延迟。该设备可进一步包括：编码器，用于编码该媒体数据以生成媒体流；缓冲器，用于存储编码后的媒体流；封装器，用于封装编码后的媒体流以生成e-层数据；和发射器，用于传送分组化后的d-层分组。该采样时间信息可以是网络时间协议(ntp)时间戳格式，并包括秒部分和秒分数部分，以及所述秒部分可具有与32比特和16比特中的任一个对应的尺寸。该发送器处理延迟可包括在根据采样时间信息的采样时间之后、直到生成d-层分组并开始其传送的时间的延迟时间信息。

在另一方面中，一种用于接收媒体数据的设备包括：解分组化器，用于对传递层分组(d-层分组)进行解分组化，以生成封装层数据(e-层数据)并提取定时信息，该定时信息包括采样时间信息和发送器处理延迟。所述用于接收媒体数据的设备可进一步包括：接收器，用于接收传递层分组(d-层分组)；解封装器，用于对e-层数据进行解封装以生成编码后的媒体流；缓冲器，用于存储编码后的媒体流；解码器，用于对编码后的媒体流进行解码；和渲染缓冲器，用于重新排列解码后的媒体数据用于显示。所述用于接收媒体数据的设备可进一步包括：控制器，用于确定传递时间，该传递时间表示用于传送媒体数据的设备基于采样时间信息和发送器处理延迟来生成d-层分组、并开始传送生成的d-层分组的时间。该控制器可测量表示d-层分组到达用于接收媒体数据的设备的到达时间，并基于到达时间和传送时间来附加确定传送延迟。该控制器可基于发送器处理延迟以及发送器处理延迟中包括的接收器处理延迟，来确定接收器处理延迟，以便恒定维持延迟时间的总和。其间，该控制器可使用采样时间信息和发送器处理延迟，以便调整从用于传送媒体数据的不同设备接收的媒体数据的同步。

在另一方面中，一种用于传送媒体数据的方法包括：对封装层数据(e-层数据)进行分组化，以生成包括定时信息的传递层分组(d-层分组)，其中该定时信息包括采样时间信息和发送器处理延迟。所述传送媒体数据的方法可进一步包括：编码该媒体数据以生成媒体流；存储编码后的媒体流；封装编码后的媒体流以生成e-层数据；和传送分组化后的d-层分组。该采样时间信息可以是网络时间协议(ntp)时间戳格式，并可包括秒部分和秒分数部分，以及所述秒部分可具有与32比特和16比特中的任一个对应的尺寸。该发送器处理延迟可包括在根据采样时间信息的采样时间之后、直到生成d-层分组并开始其传送的时间的延迟时间信息。

在另一方面中，一种用于接收媒体数据的方法包括：对传递层分组(d-层分组)进行解分组化，以生成封装层数据(e-层数据)并提取定时信息，其中该定时信息包括采样时间信息和发送器处理延迟。所述用于接收媒体数据的方法可进一步包括：接收传递层分组(d-层分组)；对e-层数据进行解封装以生成编码后的媒体流；存储编码后的媒体流；对编码后的媒体流进行解码；和重新排列解码后的媒体数据用于显示。所述接收媒体数据的方法可进一步包括：确定传递时间，该传递时间表示用于传送媒体数据的设备基于采样时间信息和发送器处理延迟来生成d-层分组、并开始传送生成的d-层分组的时间。所述用于接收媒体数据的方法可进一步包括：测量表示d-层分组到达用于接收媒体数据的设备的到达时间，并基于到达时间和传送时间来附加确定传送延迟。所述用于接收媒体数据的方法可进一步包括：基于发送器处理延迟以及发送器处理延迟中包括的接收器处理延迟来确定接收器处理延迟，以便恒定维持延迟时间的总和。其间，可使用采样时间信息和发送器处理延迟，以实现从用于传送媒体数据的不同设备接收的媒体数据的同步。

附图说明

图1是示出了mmt层级结构的概念图。

图2是示出了在mmt的d-层报头中记录的基本定时信息的图。

图3是示出了根据本发明示范实施例的用于传送媒体数据的设备的配置的框图。

图4是示出了在用于传送媒体数据的设备中维持媒体之间的精确同步所需要考虑的主要时间信息的图。

图5是示出了用于选择图2的采样定时信息的秒部分的长度的方法的图。

图6是示出了根据本发明示范实施例的用于接收媒体数据的设备的配置的框图。

图7是示出了在用于接收媒体数据的设备中维持媒体之间的精确同步所需要考虑的主要时间信息的图。

图8是示出了在本发明的示范实施例中使用的定时信息之间的时间相关性的图。

图9是根据本发明示范实施例的用于传送媒体数据的方法的流程图。

图10是根据本发明示范实施例的用于接收媒体数据的方法的流程图。

具体实施方式

由于本发明可以按照各种方式修改并且具有几个示范实施例，所以特定示范实施例将在附图中示出并详细描述。

然而，应理解的是，本发明不限于特定示范实施例，而是包括本发明的精神和范围中包括的所有修改、等效和替换。

说明书中使用的术语“第一”、“第二”等可用来描述各个组件，但是这些组件不应被解释为限于这些术语。即，这些术语用来区分一个组件与另一组件。所以，第一组件可被称为第二组件，并且第二组件可被称为第一组件。术语“和/或”包括多个项目的组合或多个项目中的任一个。

应理解的是，当一个元件被称为“连接到”或“耦接到”另一元件时，其可直接连接或直接耦接到另一元件，或者可在其间插入有其他元件的情况下连接到或耦接到另一元件。另一方面，应理解的是，当一个元件被称为“直接连接到”或“直接耦接到”另一元件时，其可在其间不插入有其他元件的情况下连接到或耦接到另一元件。

使用本说明书中使用的术语，仅为了描述特定示范实施例而不是限制本发明。单数形式意欲包括复数形式，除非上下文按照别的方式进行了清楚指明。将进一步理解的是，该说明书中使用的术语“包括”或“具有”指定阐明的特征、步骤、操作、组件、部分、或其组合的存在，但是不排除一个或多个其他特征、数字、步骤、操作、组件、部分、或其组合的存在或添加。

除非按照别的方式指明，否则应理解的是，包括技术和科学术语的说明书中使用的所有术语和本领域技术人员理解的含义具有相同含义。必须理解，字典中定义的术语和现有技术的上下文中的含义相同，并且它们不应被理想或过分正式地定义，除非上下文按照别的方式进行了清楚指明。

其后，将参考附图来更详细地描述本发明的示范实施例。为了促进在描述本发明时对本发明的一般理解，贯穿附图中，将使用相同的附图标记来描述相同组件，并且将省略相同组件的重复描述。

mmt层级结构

图1是示出了mmt层级结构的概念图。

参考图1，mmt层包括封装层、传递层和s层的功能区域。mmt层在传输层上操作。

封装层(e-层)扮演传输的媒体的诸如分组化、分段、同步、多路复用等的角色。

e-层可由mmte.1层、mmte.2层、和mmte.3层配置，如图1中所示。

e.3层封装从媒体编解码器a层提供的媒体分段单元(mfu)，以生成m-单元。

mfu可具有独立于任何特定编解码器的格式，以便携带可在媒体解码器中独立消耗的数据单元。mfu可以是例如画面或视频片段。

m-单元可由一个或多个mfu配置，并可具有独立于特定编解码器的格式，以便携带一个或多个存取单元。

e.2层封装在e.3层中生成的m-单元，以生成mmt资产。

作为由来自单一数据源的一个或多个m-单元配置的数据实体的mmt资产是其中定义组成信息和传输特性的数据单元。mmt资产可对应于分组化基本流(pes)，并可对应于例如视频、音频、节目信息、mpeg-u窗口小部件、jpeg图像、mpeg4文件格式、mpeg传输流(m2ts)等。

e.1层封装在e.2层中生成的mmt资产，以生成mmt包装。

mmt包装可由一个或多个mmt资产连同诸如组成信息和传输特性的附加信息配置。该组成信息包括关于mmt资产之间的关系的信息，并且当一个内容由多个mmt包装配置时，该组成信息可进一步包括示出多个mmt包装之间的关系的信息。该传输特性可包括确定mmt资产或mmt分组的传递条件所需的传输特性信息，例如业务描述符参数和qos描述符。mmt包装可对应于mpeg-2ts的节目。

传递层可执行通过例如网络传送的媒体的网络流多路复用、网络分组化、qos控制等。

传递层(d-层)可由mmtd.1层、mmtd.2层、和mmtd.3层配置，如图1中所示。

d.1-层接收在e.1层中生成的mmt包装，以生成mmt有效载荷格式。mmt有效载荷格式是用于传送mmt资产、并传送由mmt应用协议或诸如rtp的其他现有应用传输协议消耗的信息的有效载荷格式。mmt有效载荷可包括mfu的分段连同诸如al-fec的信息。

d.2-层接收在d.1-层中生成的mmt有效载荷格式，以生成mmt传输分组或mmt分组。mmt传输分组或mmt分组是用于mmt的应用传输协议而使用的数据格式。

d.3-层提供通过交叉层(cross-layer)在层之间交换信息的功能以支持qos。例如，d.3-层可使用mac/phy层的qos参数，来执行qos控制。

s层执行信令功能。例如，s层可执行传送的媒体的诸如会话初始化/控制/管理、基于服务器和/或基于客户机的特技(trick)模式、服务发现、同步等的信令功能。

s-层可由mmts.1层和mmts.2层配置，如图1中所示。

s.1层可执行服务发现、媒体会话初始化/终止、媒体会话呈现/控制、传递(d)层和封装(e)层之间的对接功能。s.1层可定义用于媒体呈现会话管理的应用之间的控制消息的格式。

s.2层可定义关于流控制、传递会话管理、传递会话监视、误差控制、和混合网络同步控制的、在传递层(d-层)的传递端点之间交换的控制消息的格式。

s.2层可包括传递会话建立和释放、传递会话监视、流控制、误差控制、用于建立的传递会话的资源保留、用于混合传递环境下的同步的信令、以及用于自适应传递的信令，以便支持传递层的操作。可能提供发送器和接收器之间需要的信令。即，s.2层可提供发送器和接收器之间需要的信令，以便支持上述传递层的操作。另外，s.2层可执行传递层和封装层之间的对接功能。

本发明的示范实施例涉及用于传送和接收媒体数据的设备和方法，其能够获得关于mmt系统中的媒体的播出时间信息，并包括用于在维持媒体之间的时间同步的同时播放媒体的d-层定时信息。本发明的示范实施例可在mmt的d-层中记录在用于生成要在用于传送mmt的系统中传送的mmt分组的处理期间生成的重要时间信息，并可向接收终端传送记录的时间信息。用于接收媒体数据的设备可在基于d-层时间信息维持媒体之间的精确时间同步的同时播放媒体。为此，用于传送媒体数据的设备可在d-层报头中记录能在生成mmt分组时确保生成d-层报头的时间的重要时间信息。

图3是示出了根据本发明示范实施例的用于传送媒体数据的设备的配置的框图。如图3中所示，根据本发明示范实施例的用于传送媒体数据的设备300可包括用于对媒体数据进行编码以生成媒体流的编码器310、用于存储编码后的媒体流的缓冲器320、用于封装编码后的媒体流以生成封装层数据(e-层数据)的封装器330、用于对e-层数据进行分组化以生成包括定时信息的传递层分组(d-层分组)的分组化器340、以及用于传送分组化后的d-层分组的发射器350。在该配置中，d-层数据中包括的定时信息包括采样时间信息以及发送器处理延迟信息。

图2是示出了在mmt的d-层报头中记录的基本定时信息的图。另外，图4是示出了在用于传送媒体数据的设备中维持媒体之间的精确同步所需要考虑的主要时间信息的图。其后，将参考图2和4来详细描述使用定时信息中包括的采样时间信息和发送器处理延迟信息、在用于传送媒体数据的设备中维持同步的定时模型。

如图2中所示，在mmt的d-层数据的报头中记录的定时信息可包括采样时间信息(其后，称为“ntp(tsam)”)210以及发送器过程延迟信息220(其后，称为“发送器处理延迟”)220。定时信息可在mmt的e-层中生成以便被分配到在mmt分组的有效载荷上携带的mmt包装。这里，采样时间信息是网络时间协议(ntp)时间戳格式，并包括秒部分和秒分数部分，其中整数部分可具有与32比特或16比特中的任一个对应的尺寸。此外，发送器过程延迟信息包括在根据采样时间信息的采样时间之后、直到生成d-层分组并开始其传送的时间的延迟时间信息。

参考图4进行更详细描述，采样时间信息(tsam)210可包括用于按照压缩顺序输入到媒体编码器310的画面的采样时间。ntp(tsam)210将作为输入到mmt的编码器310的媒体帧的采样时间的与ntp(tsam)210对应的通用时间调整(utc)时间表示为ntp时间戳格式。用于将ntp(tsam)210表示为ntp时间戳格式的方法可按照两种类型实现。

基本上，ntp时间戳格式可由总共64比特配置。64比特的长度可包括按照整数精度单位将秒时间表示为32比特的长度的秒部分、以及按照分数精度单位将秒时间表示为32比特的长度的秒分数部分。在表示整数精度的秒部分的情况下，当使用32比特的总长度时，可表示与1900年1月1日之后136年对应的utc时间。然而，如果用于基于mmt系统的媒体服务的媒体同步而使用的时间间隔在几天之内，则这是足够的。所以，如果服务在服务开始之后的18小时之内完成，则仅使用下16比特而不使用32比特的总间隔是足够的。其间，为了使得时间同步的精度最大化，分数精度单位中的秒时间可根据原始格式使用全部32比特。

图5是示出了用于选择图2的采样定时信息的秒部分的长度的方法的图。如图5中所示，在根据本发明示范实施例的用于接收媒体数据的设备300中，用于表示用于ntp(tsam)210的ntp时间戳的方法可参考图5中所示方法来对于每一版本选择(16比特(秒部分)+32比特(秒分数部分)＝48比特)和(32比特(秒部分)+32比特(秒分数部分)＝64比特)之一。即，秒部分可具有与32比特和16比特中的任一个对应的尺寸。

发送器处理延迟(ds)220可表示在采样时间之后直到作为生成d-层分组并开始其传送的时间的传递时间(tdel)的、用于在传送媒体数据的设备300中处理所消耗的延迟时间。

图6是示出了根据本发明示范实施例的用于接收媒体数据的设备的配置的框图。

如图6中所示，根据本发明示范实施例的用于接收媒体数据的设备600可包括用于接收传递层分组(d-层分组)的接收器610、用于对d-层分组进行解分组化以生成封装层数据(e-层数据)并提取定时信息的解分组化器620、用于对e-层数据进行解封装以生成编码后的媒体流的解封装器630、用于存储编码后的媒体流的缓冲器640、用于解码编码后的媒体流的解码器650、以及用于重新排列解码后的媒体数据用于显示的渲染缓冲器660。

这里，定时信息可包括采样时间信息以及发送器处理延迟。定时信息与前述用于传送媒体数据的设备的定时信息相同。即，d-层定时信息可包括两个字段，诸如采样时间信息ntp(tsam)210、发送器处理延迟220等

图7是示出了在用于接收媒体数据的设备中维持媒体之间的精确同步所需要考虑的主要时间信息的图。将参考图6和7来更详细地描述根据本发明示范实施例的用于接收媒体数据的设备600。

在用于传送媒体数据的设备300中，在传递时间(tdel)传送的mmtd-层分组可经由发射器350、传送信道(未示出)、和接收器610，在传送延迟(dt)之后在到达时间(tarr)被输入到用于接收媒体数据的设备600的d层解分组化器620。继续地，mmtd-层分组在作为经由解分组化器620、e-层解封装器630、和缓冲器640消耗的延迟时间的接收器处理延迟(ds)之后被输入到解码器650，并可在解码时间(tdec)开始被解码。

mmtd-层分组被解码并在渲染缓冲器660中停留和渲染时间偏移(do)一样多的时间，并由输出装置605在渲染时间(tren)处播放。基于定时时间(tsam)来表示图4和7中示出的诸如传递时间(tdel)、到达时间(tarr)、解码时间(tdec)等的定时信息，其由以下等式1表示。

[等式1]

tdel＝tsam+ds

tarr＝tsam+ds+dt

tdec＝tsam+ds+dt+dr

图8是示出了在本发明的示范实施例中使用的定时信息之间的时间相关性的图。将参考图8来描述在mmt系统的e-层和d-层中需要考虑的主要定时信息之间的时间相关性。

图8中示出的定时信息可通过一般在mpeg-2系统和rtp传输系统中使用的、按照90khz的精度操作的采样时钟频率来表示。在定时信息之中，采样时间和渲染时间是可在mmt的e-层中提供的信息，并且传递时间和解码时间能基于能在d-层中提供的定时信息来导出。到达时间可通过在用于接收媒体数据的设备中使用utc时间来实际测量。当使用测量的到达时间和与d-层中提供的传递时间对应的utc时间信息时，能精确计算传送延迟值。

其后，将描述允许根据本发明示范实施例的用于接收媒体数据的设备600使用图4、7和8中示出的定时信息来实现精确媒体同步的方法。

为了在执行基于mmt系统的端到端终端之间(即，用于传送媒体数据的设备和用于接收媒体数据的设备之间)的同步的同时、无缝提供媒体服务，发送器处理延迟(ds)、传送延迟(dt)、和接收器处理延迟(dr)的总和需要维持为以下等式2表示的常数值dtot。

[等式2]

ds+dt+dr＝dtot

在以上等式2中，ds是在处理用于传送媒体数据的设备300的处理期间预先生成的延迟时间，dt是在通过网络的传送处理期间预先生成的延迟时间，使得用于接收媒体数据的设备600可适当地控制dr值以恒定维持dtot。

可考虑到消费者经历的服务延迟时间，来将dtot参数的尺寸确定为适当值。dtot参数在媒体服务的初始步骤由mmt的s-层基于信令过程从服务器传送到用于接收媒体数据的设备600，并所以，在认真执行媒体传送服务之前被用于接收媒体数据的设备600先前知道。

用于传送媒体数据的设备300可在mmt分组的d-层报头中记录图2中示出的ntp(tsam)210和ds220，以传送mmtd-层分组。这里，如图6中所示，用于接收媒体数据的设备600可进一步包括控制器670，用于确定传递时间，该传递时间表示用于传送媒体数据的设备300基于ntp(tsam)210和ds220生成d-层分组并开始传送生成的d-层分组的时间。即，在接收mmtd-层分组的用于接收媒体数据的设备600中，控制器670可基于以下等式3来计算与传递时间(tdel)对应的utc时间的ntp格式所表示的时间值。

[等式3]

ntp(tdel)＝ntp(tsam)+ds/90,000

在以上等式3中，假设使用在mpeg-2系统和rtp传输系统中一般使用的按照90khz精度操作的采样时钟频率。即使当采用具有除了90khz精度之外的精度的采样时钟频率时，也能应用相同原理。

传送延迟(dt)意味着图4的传递时间(tdel)和图7的到达时间(tarr)之间经过的时间。可在mmtd-层分组到达接收器610之后测量到达时间(tarr)，并且与该时间对应的utc时间可通过作为ntp格式的ntp(tarr)来表示。

这里，控制器670测量表示d-层分组到达用于接收媒体数据的设备600的时间的到达时间，并可基于到达时间和传送时间来附加确定传送延迟。即，用于接收媒体数据的设备600的控制器670使用测量的ntp(tarr)和在等式3中计算的ntp(tdel)值，以基于以下等式4来计算传送延迟(dt)。

[等式4]

dt＝(ntp(tarr)-ntp(tdel))×90,000

这里，控制器670可基于在发送器处理延迟中包括的发送器处理延迟(ds)和传送延迟(dt)来确定接收器处理延迟(dr)，以便恒定维持延迟时间的总和(dtot)。即，满足等式2的dr值可基于以下等式5、根据在mmtd-层分组中记录并传递的ds值、以及通过以上等式4而获得的dt值而确定。

[等式5]

dr＝dtot-(ds+dt)

用于接收媒体数据的设备600的控制器670可使用dr值来导出在对压缩的帧数据进行解码之前保留在缓冲器640中的精确时间，并可由此在精确满足解码时间(tdec)的同时处理mmt数据。在tdec处执行解码之后获得的解压后的帧数据可在渲染缓冲器660中保留和渲染时间偏移(do)一样长的时间之后，在渲染时间(tren)由输出装置605播放。

其间，上面提出的方法可简单匹配从相同服务器传送的多个媒体流之间的同步以及从不同服务器(即，用于传送媒体数据的设备)传送的多个媒体流之间的同步。即，控制器670可使用采样时间信息以及发送器处理延迟，以便调整从用于传送媒体数据的不同设备接收的媒体数据的同步。例如，当多视图视频的左视图和右视图经由不同服务器传送到特定终端时，接收终端在使得左视图和右视图同步的同时，处理通过不同路径接收的左视图和右视图。当执行根据所描述的本发明的示范实施例的处理时，能实现平滑同步。

作为另一示例，即使当可将视频流和音频流从不同服务器传送到特定终端时，也可通过所描述的本发明的实施例来简单执行视频流和音频流之间的边缘同步(lip-synchronization)。所以，所描述的本发明的示范实施例可非常有效地用来在其中通过各种信道路径来实况(live)传送多个媒体的混合传递环境下提供同步。

图9是根据本发明示范实施例的用于传送媒体数据的方法的流程图。

如图9中所示，根据本发明示范实施例的用于传送媒体数据的方法可包括编码媒体数据以生成媒体流(s910)，存储编码后的媒体流(s920)，封装编码后的媒体流以生成封装层数据(e-层数据)(s930)，对e-层数据进行分组化以生成包括定时信息的传递层分组(d-层分组)(s940)，并传送分组化后的d-层分组(s950)。这里，定时信息可包括采样时间信息和发送器处理延迟。

这里，采样时间信息是网络时间协议(ntp)时间戳格式，并包括秒部分和秒分数部分，其中整数部分可具有与32比特或16比特中的任一个对应的尺寸。此外，发送器过程延迟信息包括在根据采样时间信息的采样时间之后、直到生成d-层分组并开始其传送的时间的延迟时间信息。

图10是根据本发明示范实施例的用于接收媒体数据的方法的流程图。

如图10中所示，根据本发明示范实施例的用于接收媒体数据的方法首先接收传递层分组(d-层分组)(s1010)。此外，d-层分组可被解分组化以生成封装层数据(e-层数据)并提取定时信息(s1020)。这里，定时信息可包括采样时间信息和发送器处理延迟。接下来，可通过对e-层数据解封装而生成编码后的媒体流(s1030)。

当完成定时信息的提取时，可确定传递时间，该传递时间表示用于传送媒体数据的设备基于定时信息中包括的采样时间信息和发送器处理延迟而生成d-层分组、并开始传送生成的d-层分组的时间(s1040)。另外，可测量表示d-层分组到达用于接收媒体数据的设备的时间的到达时间，并可基于到达时间和传送时间来确定传送延迟(s1050)。其后，可基于发送器处理延迟中包括的发送器处理延迟时间和接收器处理延迟，来确定接收器处理延迟(s1060)，以便恒定维持延迟时间的总和。

接下来，可存储编码后的媒体流(s1070)，可对编码后的媒体流进行解码(s1080)，并可重新排列解码后的媒体数据用于显示(s1090)。

依照根据本发明示范实施例的用于传送媒体数据的设备和方法以及用于接收媒体数据的设备和方法，可能提供基于mmt系统的媒体传输服务中的媒体的播出时间、以及用于媒体之间的时间同步的定时信息。使用本发明的示范实施例所提出的mmt的d-层定时信息、连同代表在e-层中提供的媒体帧的编码器输入时间的采样时间、和代表媒体帧的播出时间的渲染时间，来在维持接收终端处的媒体之间的精确时间同步的同时实现该服务。

尽管已结合这些实施例示出和描述了本发明，但是本领域技术人员将清楚的是，可进行修改和变型，而不脱离所附权利要求限定的本发明的精神和范围。