多视图流媒体服务支持方法以及用于支持该方法的装置与流程

本发明涉及流媒体数据提供方法，更具体地，涉及一种通过使第一画面和第二画面的流媒体数据同步并播放所述流媒体数据来提供具有第一画面和第二画面的多视图(multi-view)流媒体服务的方法和设备。

背景技术：

本文所公开的细节仅提供关于实施方式的背景信息，并且不适用于现有技术。

最近随着互联网环境中的各种视频服务的出现，对高清直播的需求正在逐渐增加。此外，近来对以实时流媒体方式提供这种视频服务进行了各种尝试。

流媒体是指从服务器通过诸如因特网的网络向客户终端传输诸如视频或音频的内容。由于数据处理就像水流动一样，所以被称为流媒体。服务器将数据划分成多个分组以递送给客户端，而客户端收集从服务器接收到的这种分组，将这些分组恢复为它们原来的格式并进行播放。此时，回放和分组接收同时发生。一系列相关分组被称为流，一组这样的分组称为流媒体数据。

最近的流媒体服务可支持多视图功能。多视图服务是画中画(pip)服务中的一种，这意味着在主画面被显示的状态下显示子画面。然而，实时接收并播放流媒体数据的流媒体服务独立地向主画面和子画面中的每一个提供流媒体数据，这导致主画面和子画面之间的播放时间的差异。

技术实现要素：

技术问题

为了解决上述问题，本发明的目的在于实现一种用于使用运动图像专家组(mpeg)媒体传输(mmt)技术提供多视图流媒体服务的方法和设备。

本发明的另一目的在于实现一种多视图流媒体服务提供方法和设备，其能够通过使第一画面和第二画面的流媒体数据同步来减少在回放多视图流媒体数据时的第一画面与第二画面之间的时差。

本发明的又一目的在于实现一种多视图流媒体服务提供方法和设备，其能够根据关于各种事件(诸如在第一画面与第二画面之间进行切换的事件或者调整特定画面的大小的事件)的信息实时构建并播放合适的流媒体数据。

然而，本发明不限于上述目的，即使本文中未提及的任何其它目的也可根据以下描述得到很好地理解。

技术方案

为了实现以上目的，根据本发明的实施方式的多视图流媒体服务支持设备可包括：第一画面控制模块，所述第一画面控制模块被配置为支持针对第一画面的mpeg媒体传输(mmt)流媒体数据的回放处理；第二画面控制模块，所述第二画面控制模块被配置为支持针对第二画面的mmt流媒体数据的回放处理；以及回放控制模块，所述回放控制模块被配置为响应于对多视图流媒体回放的请求，识别插入在用于所述第一画面和所述第二画面的所述流媒体数据的每个媒体处理单元(mpu)中的回放时间信息，并且控制所述第一画面控制模块和所述第二画面控制模块，以根据所识别的回放时间信息使用于所述第一画面和所述第二画面的所述流媒体数据的相应mpu同步并播放所述所述相应mpu。

在所述设备中，所述回放控制模块还可被配置为识别当前时间信息，并且如果在所识别的时间信息与插入到所述流媒体数据的mpu中的所述回放时间信息之间存在差异，则对所述差异引起的所述流媒体数据的mpu的回放时间点进行控制，以便使所述流媒体数据的相应mpu同步并播放所述流媒体数据的相应mpu。

在所述设备中，所述回放控制模块还可被配置为当发生调整大小事件时，向多视图服务服务器通知用于所述第二画面的所述调整大小事件，并且从所述多视图服务服务器接收根据所述调整大小事件而改变的第二流媒体数据。

在所述设备中，所述回放控制模块还可被配置为当发生切换事件时，向多视图服务服务器通知所述第一画面与所述第二画面之间的切换事件，并且从所述多视图服务服务器接收根据所述切换事件而改变的用于所述第一画面和所述第二画面的所述流媒体数据。

为了实现以上目的，根据本发明的实施方式的多视图流媒体服务支持方法可包括以下步骤：在终端处，向多视图服务服务器发送对针对第一画面的mpeg媒体传输(mmt)流媒体数据和针对第二画面的mmt流媒体数据的请求；在所述终端处，当从所述多视图服务服务器接收到用于所述第一画面和所述第二画面的所述流媒体数据时，识别插入在用于所述第一画面和所述第二画面的所述流媒体数据的每个媒体处理单元(mpu)中的回放时间信息；以及在所述终端处，根据所识别的回放时间信息，使用于所述第一画面和所述第二画面的所述流媒体数据的相应mpu同步并对其进行播放。

在所述方法中，同步和播放步骤可包括：在所述终端处，识别当前时间信息；以及在所述终端处，如果在所识别的时间信息与插入到所述流媒体数据的所述mpu中的所述回放时间信息之间存在差异，则对所述差异引起的所述流媒体数据的mpu的回放时间点进行控制，以便使所述流媒体数据的相应mpu同步并对其进行播放。

为了实现以上目的，根据本发明的实施方式的多视图流媒体服务支持方法可包括以下步骤：在多视图服务服务器处，从终端接收对针对第一画面的mpeg媒体传输(mmt)流媒体数据和针对第二画面的mmt流媒体数据的请求；在所述多视图服务服务器处，将回放时间信息插入到用于所述第一画面和所述第二画面的所述流媒体数据的每个媒体处理单元(mpu)中；以及在所述多视图服务服务器处，向所述终端发送用于所述第一画面和所述第二画面的所述流媒体数据的相应mpu。

在所述方法中，所述插入步骤可包括：在所述多视图服务服务器处，根据所述终端的状态来调整每个mpu的块大小；以及在所述多视图服务服务器处，将所述回放时间信息插入到具有调整后的块大小的每个mpu中。

此外，本发明还可提供一种计算机可读记录介质，该计算机可读记录介质存储用于执行上述多视图流媒体服务支持方法的程序。

有益效果

根据本发明的多视图流媒体服务提供方法和设备，能够使用mpeg媒体传输(mmt)技术高效地提供多视图流媒体服务。

此外，根据本发明，能够通过使第一画面和第二画面的流媒体数据同步来显著地减小在回放多视图流媒体数据时的第一画面与第二画面之间的时差。因此，可提高用户便利性。

此外，根据本发明，能够根据关于各种事件(诸如在第一画面与第二画面之间切换的事件或者调整第二画面的大小的事件)的信息实时地接收和播放合适的流媒体数据。因此，即使发生各种事件，也允许使用多视图流媒体服务，而在第一画面与第二画面之间没有时差。

在下面详细描述的本发明的实施方式中，将明确或隐含地公开各种其它优点和效果。

附图说明

图1和图2是例示应用于本发明的mmt技术的示例性图。

图3是例示根据本发明的实施方式的用于提供多视图流媒体服务的系统的示意图。

图4是例示根据本发明的实施方式的终端的主要元件的框图。

图5是例示根据本发明的实施方式的多视图流媒体服务支持方法的终端画面截图。

图6是例示根据本发明的实施方式的多视图服务服务器的主要元件的框图。

图7是例示根据本发明的实施方式的mmt流媒体数据的示例性图。

图8是例示根据本发明的实施方式的多视图流媒体服务支持方法的流程图。

图9是例示根据本发明的实施方式的多视图流媒体服务支持方法的流程图。

图10是例示根据本发明的另一实施方式的多视图流媒体服务支持方法的流程图。

具体实施方式

在下文中，将参照附图详细描述本发明的实施方式。

在下面的描述和附图中，可能不详细描述或例示公知的功能或元件，以避免模糊本发明的主题。在整个附图中，相同的元件可由相同的附图标记表示。

本文所使用的术语和词语不应被解释为限于普通或字典定义的术语，而应该基于发明者可将自己的发明适当地定义为以最佳方式来描述发明的术语的概念的原则，根据与本发明的主题一致的含义和概念来解释。因此，应当理解的是，本文所公开的实施方式仅是示例性的，并且其各种等同物或修改是可能的。

此外，包括表述“第一”、“第二”等的术语仅用于将一个元件与其它元件区分开来，但不限制对应的元件。上述表述不限制元件的序列和/或重要性。

此外，当陈述某个元件“联接到”或“连接到”另一元件时，该元件可在逻辑上、电学上或物理上联接到或连接到另一元件。即，该元件可直接联接或连接到另一元件，或者可在两个元件之间存在新元件。

另外，在描述本公开的各种实施方式时使用的术语仅是用于描述具体实施方式但不限制这些实施方式的示例。除非上下文另外明确指出，否则单数形式旨在包括复数形式。除非另有定义，否则本文所使用的所有术语(包括技术术语或科学术语)具有与本公开所属领域的技术人员所理解的含义相同的含义。术语“包括”、“包含”和“具有”及其衍生词意味着包括但不限制。

此外，在本发明的范围内的实施方式包括计算机可读介质，计算机可执行指令或者数据结构存储在计算机可读介质上。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。作为示例，这种计算机可读介质可包括但不限于ram、rom、eprom、cd-rom或其它光盘存储器、磁盘存储器或其它磁存储设备，或者可以是用于存储或递送由计算机可执行指令、计算机可读指令或数据结构形成的特定程序代码并且可由通用或专用计算机系统访问的任何其它物理存储介质。

在说明书和权利要求书中，术语“网络”或“通信网络”被定义为使得电子数据能够在计算机系统和/或模块之间被传输的一个或更多个数据链路。当任何信息经由网络或其它(有线、无线或其组合)通信连接被传送或提供给计算机系统时，该连接可被理解为计算机可读介质。计算机可读指令包括例如使通用计算机系统或专用计算机系统执行特定功能或功能组的指令和数据。计算机可执行指令可以是诸如以汇编语言或者甚至源代码为例的二进制、中间格式指令。

此外，本发明可在具有诸如pc、膝上型计算机、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、寻呼机等的各种计算机系统配置的网络计算环境中实现。

本发明还可在分发式系统环境中实现，在所述分发式系统环境中，由有线数据链路、无线数据链路或有线和无线数据链路的组合链接的本地和远程计算机系统通过网络执行任务。在这种分发式系统环境中，程序模块可位于本地和远程存储器存储设备中。

在下文中，将基于应用mpeg媒体传输(mmt)技术的假定来描述本发明的实施方式。然而，这仅是为了便于说明的示例，并且本发明不一定适用于mmt技术。

本公开中使用的术语可定义如下。

内容组件或媒体组件被定义为单一类型的媒体或单一类型的媒体的子集，并且可以是例如视频轨道、电影字幕或视频的增强层。

内容被定义为一组内容组件，并且可以是例如电影、歌曲等。

混合递送意味着通过一个或更多个物理上不同类型的网络同时传输一个或更多个内容组件。

呈现(presentation)被定义为由一个或更多个设备执行的操作，使得用户可体验一个内容组件或一个服务(例如，享受电影)。

服务被定义为为了呈现或存储而发送的一个或更多个内容组件。

服务信息被定义为描述一个服务、服务的特征和服务的组件的元数据。

非定时数据被定义为在没有指定时间的情况下消耗的各种数据元素。非定时数据是不具有其自己的用于解码和/或表示其媒体单元的同步信息的数据。

定时数据被定义为与用于解码和呈现的特定时间相关联的数据元素。定时数据是具有其自己的用于解码和/或表示其媒体单元的同步信息的数据。

媒体片段单元(mfu)是独立于任何特定编解码器的正常容器，并且包含由媒体解码器独立消耗的编码媒体数据。mfu包括用于由媒体解码器独立解码的媒体数据或非定时媒体数据的一个文件以及用于定时媒体数据的接入单元(au)的全部或一部分。mfu包含可在传输层中使用的信息并且具有小于或等于au的大小的大小。

mmt实体是符合mmt简档的软件或硬件的实现。

mmt分组是根据mmt协议创建或消耗的格式化数据单元。

mmt有效载荷是使用mmt协议或因特网应用层传输协议(例如，实时传输协议(rtp))承载分组或用信号发送消息的格式化数据单元。

mmt协议是用于通过ip网络递送mmt有效载荷的应用层传输协议。

mmt有效载荷格式是要由mmt协议或因特网应用层协议(例如，rtp)递送的mmt分组或mmt信令消息的有效载荷的格式。

在下文中，在描述本发明的实施方式之前，将参照图1和图2详细地描述本文所公开的mmt包。

图1和图2是例示应用于本发明的mmt技术的示例性图。

参照图1，mmt分组500是在mmt功能区域中定义的数据模型当中的最大逻辑结构化mmt实体，并且表示诸如电影的单个独立内容。提供流媒体数据服务的实时流媒体服务器可创建mmt分组并将其提供给终端。如图1所示，mmt分组500可以是几个实体的逻辑结构化集合。mmt分组500可包括一个或更多个资源505、组合信息502、资源递送特性(adc)503和描述性信息，即，分组信息501。

其中，组合信息502包括关于mmt资源505之间的关系(即，空间和时间关系)的信息。如果任何内容由多个mmt分组组成，则组合信息502还可包括用于指示mmt分组之间的关系的信息。

adc503指示用于递送资源505的服务质量(qos)要求和统计信息。多个资源505可与一个adc503相关联。在这种情况下，adc503可用于通过封装分组的实体来设置mmt有效载荷和mmt协议的参数以有效地递送资源505。另外，adc503可包括确定mmt资源505或mmt分组的递送条件所需的递送特性信息。例如，adc503可包括业务描述参数和qos描述符。该递送特性信息可按照参数的形式来表述而不考虑网络环境。

作为最大逻辑数据单元的资源505是指用定时或非定时属性来封装编码的媒体数据(诸如音频、视频或网页数据)的分组元素。资源505意味着包含具有相同递送特性的数据的数据实体。例如，如果作为在mmt功能区域中定义的数据模型当中的最大实体的mmt分组500是指诸如电影的单个独立内容，则资源505是指用于构建mmt分组500的诸如音频数据、视频数据和脚本数据这样的数据单元。

现在，将参照图2更详细地描述资源505。本发明的资源505可由至少一个mpu506构成。这里，mpu506是指作为逻辑数据对象的媒体处理单元(mpu)。构成一个资源505的多个mpu506具有相同的资源id。

此外，mpu506可以是独立于任何特定媒体编解码器的定时或非定时数据的综合容器。mpu506可以是可被完全且独立处理的编码媒体数据，并且mpu的处理可以意指封装到分组或分包中以用于递送。mpu506可包括用于定时数据的一个或更多个接入单元(au)。这里，au是可具有时间信息的最小数据实体。此外，mpu506可包括不具有用于非定时数据的au边界的数据。作为可被完全且独立处理的编码媒体数据单元的mpu506可由报头507和编码数据508组成。此外，本发明的mpu506还可由媒体片段单元(mfu)形成。

本发明的mmt分组500可以以mpu为基础来应用和操作。在下面的描述中，处理以mmt流媒体数据的mpu为单位来执行，但是本发明不限于此。根据本发明的处理也可根据系统实现类型在mfu的基础上进行。

现在，将描述根据本发明的实施方式的用于提供多视图流媒体服务的整体系统的结构。

图3是例示根据本发明的实施方式的用于提供多视图流媒体服务的系统的示意图。

参照图3，在本发明的实施方式中，系统100可包括多个终端10和用于经由通信网络50向终端10提供流媒体数据服务的多视图服务服务器20。

终端10是指能够通过用户的操纵经由通信网络50向多视图服务服务器20发送信息和从多视图服务服务器20接收信息的用户设备。终端10可通过通信网络50执行语音或数据通信。为此，本发明的终端10可包括用于发送和接收信息的浏览器、用于存储程序和协议的存储器、用于执行和控制各种程序的微处理器等。具体地，根据本发明的实施方式的终端10可处理和播放从多视图服务服务器20递送的mpeg媒体传输流媒体数据(以下称为“mmt流媒体数据”)。另外，终端10可支持以pip形式显示针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据的过程。

在本发明的实施方式中，终端10可按照各种形式来实现。例如，本文所公开的终端10可以是诸如智能电话、平板电脑(平板pc)、个人数字助理(pda)、便携式多媒体播放器(pmp)、mp3播放器等的移动设备，或者诸如智能电视、台式计算机等的固定设备。

根据近来数字设备融合的趋势，可使用各种各样的移动设备或其等同物作为终端10。具体地，能够经由通信网络50从多视图服务服务器20接收mmt流媒体数据，然后处理mmt流媒体数据的任何设备可用作根据本发明的实施方式的终端10。

多视图服务服务器20在终端10的请求下将mmt流媒体数据递送到终端10。如上所述，mmt流媒体数据是指可按照mmt分组形式递送到终端10的流媒体数据。多视图服务服务器20可根据mmt流媒体数据格式向终端10提供例如广播服务。具体地，当向终端10发送mmt流媒体数据时，多视图服务服务器20可响应于终端10的多视图流媒体回放请求，依次发送针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据。

此外，与内容提供服务器30进行互通，多视图服务服务器20可将从内容提供服务器30递送的数据转换为mmt流媒体数据，然后将mmt流媒体数据发送到终端10。

终端10和多视图服务服务器20通过通信网络50发送和接收各种信息。通信网络50可以使用各种通信方案，例如，诸如无线局域网络(wlan)、wi-fi、wibro、wimax和高速下行链路分组接入(hsdpa)这样的无线通信方案，或者诸如以太网、诸如adsl或vdsl的数字订户线(dsl)或xdsl、混合光纤同轴电缆(hfc)、光纤到路边(fttc)和光纤到户(ftth)这样的有线通信方案。

通信网络50可包括例如接入网络(未示出)、核心网络(未示出)和因特网(未示出)。

这里，接入网络根据有线/无线通信方案支持终端10到核心网络的接入。接入网络包括多个基站(bs)(也被称作基站收发台(bts))、节点b或演进型节点b(enb)以及被称作基站控制器(bsc)或无线网络控制器(rnc)的控制器。此外，由基站正常实现的数字信号处理器和无线电信号处理器可被分离为数字单元(du)和无线电单元(ru)。然后，多个ru可分别设置在多个区域处并连接到集中式du。

与接入网络一起形成通信网络的核心网络执行将接入网络连接到诸如因特网的外部网络的功能。

核心网络执行电路交换或分组交换，并且还管理和控制移动网络中的分组流。另外，核心网络可管理频率之间的移动性，控制核心网络和接入网络中的业务，并且控制与诸如因特网的其它网络的互通。核心网络可包括服务网关(sgw)、分组数据网络(pdn)网关(pgw)、移动交换中心(msc)、归属位置寄存器(hlr)、移动的移动实体(mme)、归属订户服务器(hss)等。

此外，互联网是根据tcp/ip协议交换信息的公共通信网络。因特网连接到多视图服务服务器20，并且支持从多视图服务服务器20接收的要通过核心网络和接入网络递送到终端10的mmt流媒体数据。

另一方面，终端10可经由接入网络、核心网络、因特网向多视图服务服务器20发送用于接收mmt流媒体数据的各种命令。然而，本发明不限于此，并且多视图服务服务器20可位于核心网络中，并且可由与核心网络的操作者相同的操作者或者不同的操作者来操作。

另外，任何其它广为人知的或后来开发的通信方案可进一步或可选择地应用于本发明。

稍后将描述终端10和多视图服务服务器20的主要元件和详细操作。嵌入在根据本发明的实施方式的每个设备中的处理器可处理用于执行本发明的方法的程序命令。该处理器在一个实现中可以是单线程处理器或者在另一实现中可以是多线程处理器。此外，该处理器可处理存储在存储器或任何其它存储器中的命令。

现在，将描述根据本发明的实施方式的终端10的主要元件和操作方法。

图4是例示根据本发明的实施方式的终端的主要元件的框图。

参照3和图4，在本发明的实施方式中，终端10可包括通信单元11、输入单元12、控制单元13、存储单元14和显示单元15。

通信单元11可支持连接到相邻接入网络(未示出)以用于接入核心网络(未示出)的处理。例如，通信单元11可通过发现位于预定覆盖范围内的基站(未示出)，请求接入所发现的基站，以及接入基站的处理连接到接入网络。由于该处理是众所周知的，所以将省略详细描述。此外，当执行与基站的通信过程时，通信单元11可向基站发送用户信息。基本上，可向基站发送诸如国际移动订户标识(imsi)的终端标识信息。因此，在执行与核心网络的接入过程的同时，基站可通过使用终端识别信息来识别订户信息。

此外，通信单元11经由通信网络50向多视图服务服务器20发送对mmt流媒体数据传输的请求，并将接收到的mmt流媒体数据递送到控制单元13。

输入单元12响应于用户的操纵，创建与用于设置或控制终端10的功能的各种信息相关联的输入信号，然后将输入信号递送到控制单元13。具体地，输入单元12可创建并递送用于请求mmt流媒体数据传输的用户输入。例如，输入单元12可接收用于执行mmt流媒体数据的回放的特定应用的用户的输入，并且还接收用于通过所执行的应用来选择特定通道的用户的输入。此外，输入单元12可接受用于多视图流媒体回放请求的用户的输入。多视图流媒体回放请求可通过例如在特定应用中的mmt流媒体数据的回放期间选择特定菜单或按钮的输入来创建。响应于该请求，该应用可触发用于同时播放多个画面的多视图流媒体功能。

输入单元12可包括诸如键盘或小型键盘的键输入工具、诸如触摸传感器或触摸板的触摸输入工具、语音输入工具以及具有陀螺传感器、地磁传感器、加速度传感器、接近传感器和相机中的至少一个的手势输入工具。

此外，可包括正在开发或将要开发的各种输入工具。

控制单元13执行终端10的整体控制。在硬件方面，控制单元13可被配置为包括诸如中央处理单元(cpu)和微处理单元(mpu)的至少一个处理器、加载有数据的至少一个执行存储器(例如，寄存器和/或随机存取存储器(ram))以及用于向处理器和存储器输入或从它们输出数据的总线。在软件方面，控制单元13可被配置为包括从记录介质加载到执行存储器上，然后由处理器处理以便执行在终端10中定义的功能的程序例程或程序数据。即，在终端10的功能当中的软件方面的为了通过根据这个实施方式的多视图功能来向多视图服务服务器20请求和接收mmt流媒体数据并处理mmt流媒体数据的任何可处理功能可被认为控制单元13的功能。

本发明的控制单元13在功能上与针对根据本发明的实施方式的流媒体数据处理所配备的一个或更多个元件连接。即，控制单元13在功能上与通信单元11、输入单元12、存储单元14和显示单元15连接，并且控制对每个元件的电力供应和用于执行功能的信号流。

具体地，根据本发明的实施方式的控制单元13可支持能够处理mpeg媒体传输(mmt)流媒体数据的mpeg-2ts处理功能。例如，控制单元13可接收由从多视图服务服务器20递送的多个mpu组成的mmt流媒体数据，如果流媒体数据由多个资源组成，则可输出根据时间信息同步的资源。此外，控制单元13可处理用于执行由mmt协议定义的各种操作的功能。具体地，为了支持多视图流媒体服务功能，控制单元13可包括第一画面控制模块13a、第二画面控制模块13b、回放控制模块13c和时间生成模块13d。虽然控制单元13被描述为仅具有第一画面控制模块13a和第二画面控制模块13b，但是本发明不限于此。另选地，控制单元13可具有多个画面控制模块，并且因此支持用于多个画面的多视图流媒体服务功能。即，当第一画面被显示为主画面时，第二画面和第三画面可作为子画面被同时显示，并且可单独地包括对应的画面控制模块。当然，上述功能也可通过单个模块来操作。

在下文中，为了便于说明，将示例性地描述用于主画面的第一画面控制模块13a和用于子画面的第二画面控制模块13b。

第一画面控制模块13a支持针对第一画面的mmt流媒体数据的回放处理。这里，第一画面可以是在整个画面上显示的主画面。第二画面控制模块13b支持针对第二画面的mmt流媒体数据的回放处理。这里，第二画面可以是第一画面上显示的子画面，并且可具有比第一画面的显示尺寸小的显示尺寸。

可通过回放控制模块13c来执行第一画面控制模块13a与第二画面控制模块13b之间的mmt流媒体数据的回放控制。即，当在通过第一画面控制模块13a正在播放针对第一画面的mmt流媒体数据的同时通过输入单元12输入多视图流媒体播放请求时，回放控制模块13c可控制第二画面控制模块13b以激活第二画面，然后通过第二画面显示mmt流媒体数据。此时，用于由第二画面控制模块13b显示的第二画面的mmt流媒体数据(例如，场景、频道等)可与用于由第一画面控制模块13a显示的第一画面的mmt流媒体数据(例如，场景、频道等)相同或不同。

即，如图5所示，在正在执行能够播放mmt流媒体数据的特定应用600的同时，可通过第一画面610(即，主画面)播放mmt流媒体数据。如果多视图服务功能通过特定菜单或命令按钮激活，则可激活第二画面620(即，子画面)并进行显示。第一画面610和第二画面620可播放相同的mmt流媒体数据(例如，相同信道上的相同场景)或不同的mmt流媒体数据(例如，相同信道或不同信道上的不同场景)。在相同的mmt流媒体数据的情况下，mmt流媒体数据可与通过第一画面610显示的mmt流媒体数据的放大部分对应。

如上所述，典型的流媒体服务中的多视图功能具有在第一画面610与第二画面620之间的流媒体数据的回放时间点发生差异的问题。即，即使播放相同的流媒体数据，通过第一画面610或第二画面620输出的流媒体数据也会由于第一画面610与第二画面620之间没有同步而被延迟。

为了解决这个问题，如图4所示的本发明的回放控制模块13c可在播放针对第一画面的流媒体数据和针对第二画面的流媒体数据之前识别插入在每个mpu中的回放时间信息，然后控制第一画面控制模块13a和第二画面控制模块13b以根据所识别的回放时间信息使流媒体数据和流媒体数据的相应mpu同步并进行播放。例如，假定插入到用于由第一画面控制模块13a请求的第一画面的mmt流媒体数据的mpu中的回放时间信息为“10:10:10.3”，并且插入到用于由第二画面控制模块13b请求的第二画面的mmt流媒体数据的mpu中的回放时间信息为“10:10:10.3”。另外，进一步假定将针对第一画面的mmt流媒体数据的mpu递送到第一画面控制模块13a的时间点是“10:10:10.0”，并且将针对第二画面的mmt流媒体数据的mpu递送到第二画面控制模块13b的时间点是“10:10:10.3”。在这种情况下，如果第一画面控制模块13a和第二画面控制模块13b一接收到每个流媒体数据就回放相应的流媒体数据，则第一画面与第二画面之间的回放时间点彼此不一致。顺便提及，由于针对第一画面的mmt流媒体数据的mpu和针对第二画面的mmt流媒体数据的mpu包括指示相同时间的回放时间信息，所以回放控制模块13c可基于回放时间信息通过增加前一mpu或者延迟mmt流媒体数据的当前mpu达特定时间来控制第一画面控制模块13a和第二画面控制模块13b以在相同的时间点(即，10:10:10.3)播放每个当前mpu，而不是控制每个画面控制模块在一接收到流媒体数据就立即输出相应的流媒体数据。

作为另一示例，假定将针对第一画面的mmt流媒体数据的mpu递送到第一画面控制模块13a的时间点是“10:10:10.5”，并且将针对第二画面的mmt流媒体数据的mpu递送到第二画面控制模块13b的时间点是“10:10:10.3”。即，假定针对第一画面的mmt流媒体数据的mpu晚于所插入的回放时间信息来接收。在这种情况下，回放控制模块13c不会立即控制流媒体数据的回放，而是会控制第二画面控制模块13b，使得针对第二画面的mmt流媒体数据在10:10:10.5与针对第一画面的mmt流媒体数据的mpu同时播放。换句话说，在针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据中具有相同的回放时间信息的mpu被控制为同时播放。因此，可晚于或早于所插入的回放时间信息来播放针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据的mpu中的任一个。

此外，第一画面控制模块13a和第二画面控制模块13b可分别处理针对第一画面和第二画面的各种事件命令。例如，如果发生调整第二画面的大小的事件(以下称为调整大小事件)，则第二画面控制模块13b向多视图服务服务器20通知调整大小事件。这里，调整大小事件可例如通过第二画面上的多点触摸输入而发生。响应于调整大小事件，第二画面控制模块13b可向多视图服务服务器20通知关于第二画面的先前大小、第二画面的改变的当前大小、第二画面的位置等的信息。在另一示例中，如果发生在第一画面与第二画面之间进行切换的事件(以下称为切换事件)，则第一画面控制模块13a和第二画面控制模块13b中的一个可将切换事件连同任何必要的信息一起通知给多视图服务服务器20。

时间生成模块13d通过使用配备在终端10中的各种资源来识别终端的当前时间信息。例如，可通过终端10中的gps识别当前时间信息。

存储单元14可临时存储根据本发明的实施方式的功能操作所需的应用程序和在执行应用程序期间创建的各种数据。具体地，存储单元14可存储用于处理mmt流媒体数据的各种命令。

存储单元14可主要包括程序区域和数据区域。程序区域存储用于终端10的操作的相关信息，诸如用于启动终端10的操作系统(os)。数据区域对通过使用终端10创建的数据进行存储，并且可存储用于处理上述流媒体数据的各种命令。存储单元14可由诸如闪存、硬盘、多媒体卡微型存储器(例如，sd或xd存储器等)、ram和rom这样的存储介质形成。

显示单元15可显示关于在执行终端10的功能期间产生的操作状态和操作结果的信息。具体地，本发明的显示单元15可显示通过对从多视图服务服务器20接收的流媒体数据进行播放所创建的信息。此外，显示单元15可显示第一画面上的mmt流媒体数据，并且还显示第二画面上的mmt流媒体数据。此外，显示单元15还可输出除了第一画面和第二画面之外的多个画面区域。

显示单元15可与输入单元12一起以单触摸面板(或触摸屏)的形式实现。在这种情况下，显示单元15可显示根据用户的触摸动作产生的各种信息。

另外，显示单元15可由液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、有机发光二极管(oled)、led、有源矩阵有机led(amoled)、柔性显示器、3维显示器等形成。这些显示器中的一些可具有透明或透光的形式以通过其可看到外侧。这可按照包括透明oled(toled)的透明显示器的形式来配置。

在上文中，通过图4描述了终端10的主要元件。然而，图4所示的元件并不总是必需的，并且比所示的元件更多或更少的元件可被用于终端10。例如，终端10还可包括用于将电音频信号转换为模拟信号，然后输出该信号的音频输出单元(未示出)。该音频输出单元(未示出)可执行支持与从多视图服务服务器20递送的mmt流媒体数据的回放相关联的各种信息的输出的功能。

另外，为了方便或任何其它原因，可改变图4所示的终端10的主要元件的位置。作为用于构成控制单元13的模块，尽管仅示出了第一画面控制模块13a、第二画面控制模块13b、回放控制模块13c和时间生成模块13d，但是本发明不限于此。控制单元13可由用于执行各种功能的各种模块形成。虽然为了便于描述起见描述了第一画面mmt流媒体数据和第二画面mmt流媒体数据分别通过第一画面控制模块13a和第二画面控制模块13b来处理，但是第一画面mmt流媒体数据和第二画面mmt流媒体数据可通过单个模块来处理。

此外，尽管以示例性的方式描述了作为主画面的第一画面和作为子画面的第二画面，但是可创建两个或更多个子画面，并且每个子画面可分别接收并输出mmt流媒体数据。

现在，将描述根据本发明的实施方式的多视图服务服务器20的主要元件和操作方法。

图6是例示根据本发明的实施方式的多视图服务服务器的主要元件的框图。

参照图3和图6，在本发明的实施方式中，多视图服务服务器20可包括服务器通信单元21、服务器控制单元22和服务器存储单元23。

服务器通信单元21支持与终端10的信息的发送和接收。例如，服务器通信单元21可从终端10接收用于传输mmt流媒体数据的请求，并将mmt流媒体数据发送到终端10。mmt流媒体数据可由一个或更多个资源组成，每个资源可由多个mpu组成。服务器通信单元21可按照流媒体方式通过一个信道将多个资源(各自具有多个mpu)依次递送到终端10。具体地，服务器通信单元21可在终端10的请求下依次将针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据递送到终端10。在这种情况下，mmt流媒体数据可包括相同的资源id或不同的资源id。另外，mmt流媒体数据可通过相同的信道或不同的信道被递送到终端10。

当服务器通信单元21向内容提供服务器30发送信息并从内容提供服务器30接收信息时，服务器通信单元21可向内容提供服务器30发送针对特定内容的请求，并从内容提供服务器30接收所请求的内容。此时，服务器通信单元21可在服务器控制单元22的控制下预先向内容提供服务器30发送针对用于创建第一流媒体数据和第二流媒体数据所需的内容的请求，然后在终端10的多视图流媒体服务请求之前接收所请求的内容。

服务器控制单元22被配置为执行根据本发明的实施方式的多视图服务服务器20的整体控制，并且可包括流媒体数据创建模块22a和流媒体数据传输模块22b。

流媒体数据创建模块22a可创建mmt流媒体数据。例如，流媒体数据创建模块22a可将从内容提供服务器30递送的内容转换为满足mmt协议的流媒体数据形式。即，流媒体数据创建模块22a可确定mpu的块大小，并且基于所确定的块大小构建每个mpu以创建mmt流媒体数据。这里，mpu的块大小可根据终端10的状态或连接到终端10的通信网络50的状态而变化。此外，流媒体数据创建模块22a可将回放时间信息插入到每个mpu中并执行必要的处理，使得终端10根据回放时间信息同步并播放这些mpu。例如，如图7所示，mmt流媒体数据可由可被依次递送到终端10的多个mpu组成。在这种情况下，如以上参照图2所述，每个mpu可包括报头信息507，报头信息507可包括诸如mpuid和通用时钟(utc)这样的数据处理所必需的信息。这里，utc表示回放时间信息。

具体地，流媒体数据创建模块22a可响应于终端10的请求，创建针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据。此时，流媒体数据创建模块22a可通过调整mmt流媒体数据的分辨率和帧数以满足终端10的第一画面的可支持分辨率来创建mmt流媒体数据，并且还通过调整mmt流媒体数据的分辨率和帧数以满足终端10的第二画面的可支持分辨率来创建mmt流媒体数据。即，流媒体数据创建模块22a可根据mmt方案创建mmt流媒体数据而没有任何复杂的编码过程。这使得能够快速地调整分辨率和帧数，并且响应于终端10的请求立即提供mmt流媒体数据。

此外，在从终端10接收到多视图流媒体服务请求之前，流媒体数据创建模块22a可向内容提供服务器30预先请求并接收用于创建针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据所需的任何信息。例如，当向终端10提供针对第一画面的mmt流媒体数据时，流媒体数据创建模块22a可向内容提供服务器30预先请求和接收用于创建针对第二画面的mmt流媒体数据的任何信息，以为终端10的多视图流媒体服务请求做准备。因此，当从终端10接收到多视图流媒体服务请求时，流媒体数据创建模块22a可向终端10立即提供针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据。

此外，流媒体数据创建模块22a可处理关于与由终端10通知的多视图流媒体服务有关的各种事件的信息。例如，如果终端10通知针对第二画面的调整大小事件，则流媒体数据创建模块22a可改变针对第二画面的mmt流媒体数据的分辨率和帧数，然后将改变的mmt流媒体数据提供给终端10。另外，如果终端10通知切换事件，则流媒体数据创建模块22a可改变每个mmt流媒体数据的分辨率和帧数，然后将所改变的mmt流媒体数据提供给终端10。即，由于相应的流媒体数据根据如上所述的mmt方案来提供，所以能够响应于由终端10通知的任何事件来快速地改变针对第一画面和第二画面的mmt流媒体数据的分辨率和帧数，并且立即向终端提供所改变的mmt流媒体数据。

流媒体数据传输模块22b可向请求mmt流媒体数据的终端10发送mmt流媒体数据。此时，如果终端10所请求的mmt流媒体数据包括多个资源(各自具有多个mpu)，则流媒体数据传输模块22b可使得终端10能够依次接收这些资源和mpu。此外，当存在从终端10通知的任何事件信息时，流媒体数据传输模块22b可支持流媒体数据创建模块22a以创建对应的mmt流媒体数据。

此外，服务器控制单元22可存储并管理关于请求mmt流媒体数据的终端10的信息。如果终端10请求mmt流媒体数据，则服务器控制单元22可检查终端10是否订购了由多视图服务服务器20提供的多视图流媒体服务，并将mmt流媒体数据提供给只订购了多视图流媒体服务的终端10。

服务器存储单元73可存储并管理根据本发明的实施方式的多视图服务服务器20的操作所需的各种信息。

在上文中，描述了根据实施方式的多视图服务服务器20的主要元件和操作方法。

在硬件方面，根据本发明的实施方式的多视图服务服务器20具有与典型的web服务器或网络服务器相同的配置。然而，在软件方面，多视图服务服务器20包括通过诸如c、c++、java、visualbasic、visualc等的计算机语言实现的程序模块。

此外，在本发明的每个设备中配备的存储器或存储单元在其中存储信息。在一个实施方式中，存储器或存储单元是计算机可读介质。存储器或存储单元在一个实施方式中可以是易失性存储单元，而在另一实施方式中可以是非易失性存储单元。在各种实施方式中，存储器或存储单元可包括例如硬盘设备、光盘设备或任何其它大容量存储设备。

此外，本文中所使用的术语“模块”可以指的是由软件、硬件或其组合形成并且执行特定任务的组件或设备。模块可包括例如组件(诸如软件组件、面向对象的软件组件、分类组件和任务组件)、过程、功能、属性、过程、子程序、程序代码段、驱动程序、数据、数据库、数据结构、表格、数组和变量。组件和模块中提供的功能可被组合成更少的组件和模块，或进一步分离为附加的组件和模块。

尽管本说明书和附图例示了示例性的设备元件，但是本文所公开的主题和功能操作可通过不同类型的数字电子电路实现，或者通过包括本文所公开的结构及其结构等同物在内的计算机软件、固件或硬件、或者其任何组合实现。本文所公开的主题可通过至少一个计算机程序产品(即，与在程序存储介质上编码的计算机程序命令有关的至少一个模块)实现，以便根据本发明控制设备的操作或从而允许执行。计算机可读介质可以是机器可读存储设备、机器可读存储板、存储设备、影响波型信令的材料的机器可读组合物或者其组合。

现在，将描述根据本发明的实施方式的多视图流媒体服务支持方法。

图8是例示本发明的实施方式的多视图流媒体服务支持方法的流程图。

参照图8，响应于针对多视图流媒体回放的用户的输入，终端10可向多视图服务服务器20发送对针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据的请求(步骤s101和s103)。这些步骤可同时执行。另选地，当在播放针对第一画面的mmt流媒体数据的同时输入多视图流媒体回放请求时，终端10可请求针对第二画面的mmt流媒体数据。

然后，多视图服务服务器20创建每个mmt流媒体数据(步骤s105)。在该步骤中，多视图服务服务器20将回放时间信息插入到相应的流媒体数据的mpu中。另外，多视图服务服务器20将针对第一画面的流媒体数据和针对第二画面的流媒体数据发送到终端10(步骤s107和s109)。

然后，终端10识别每个mpu的回放时间信息，并且还识别其当前时间信息(步骤s111)。此外，终端10可根据所识别的回放时间信息使相应的流媒体数据的mpu同步并播放所述mpu(步骤s113)。

例如，假定插入到从多视图服务服务器20接收的mmt流媒体数据的每个mpu中的回放时间信息是“10:10:10.3”。另外，进一步假定在终端10处接收针对第一画面的mmt流媒体数据的mpu的时间点是“10:10:10.0”，而在终端10处接收针对第二画面的mmt流媒体数据的mpu的时间点是“10:10:10.3”。在这种情况下，终端10可基于回放时间信息通过增加前一mpu或者延迟mmt流媒体数据的当前mpu达特定时间来同时(即，10:10:10.3)播放每个当前mpu。

作为另一示例，假定在终端10处接收针对第一画面的mmt流媒体数据的mpu的时间点是“10:10:10.5”，而假定在终端10处接收针对第二画面的mmt流媒体数据的mpu的时间点是“10:10:10.3”。在这种情况下，终端10可延迟mmt流媒体数据的前一mpu的回放达特定时间，然后在10:10:10.5同时播放mmt流媒体数据。

换句话说，在针对第一画面的第一mmt流媒体数据和针对第二画面的第二mmt流媒体数据中具有相同回放时间信息的mpu被控制为同时播放。因此，针对第一画面的第一mmt流媒体数据和针对第二画面的第二mmt流媒体数据的mpu中的任一个可晚于或早于所插入的回放时间信息来播放。

此外，本发明可根据在终端10处发生的各种事件提供对应的多视图流媒体服务。

这将参照图9和图10进行描述。

图9是例示根据本发明的实施方式的多视图流媒体服务支持方法的流程图。

参照图9，响应于来自终端10的对针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据的请求，多视图服务服务器20可将所请求的mmt流媒体数据发送到终端10(步骤s201和s203)。例如，多视图服务服务器20可以以每秒30帧向终端10发送针对第一画面的mmt流媒体数据，并以每秒20帧发送针对第二画面的mmt流媒体数据。这些步骤可同时进行。

然后，当根据回放时间信息使各个接收的流媒体数据同步并播放所述流媒体数据时，终端10确定是否发生针对第二画面的调整大小事件(步骤s205)。如果确定发生针对第二画面的调整大小事件，则终端10向多视图服务服务器20通知调整大小事件(步骤s207)。此时，终端10可向多视图服务服务器20通知关于第二画面的先前大小、第二画面的改变后的当前大小、第二画面的位置等的信息。

然后，多视图服务服务器20响应于调整大小事件改变针对第二画面的流媒体数据的分辨率(步骤s209)。例如，如果根据调整大小事件将第二画面的分辨率从320×128改变为640×480，则接收关于该事件的信息的多视图服务服务器20可根据改变后的分辨率重新构建针对第二画面的mmt流媒体数据的每个mpu。此外，多视图服务服务器20可根据改变后的分辨率调整帧数，然后根据所调整的帧数重新构建每个mpu。

此外，多视图服务服务器20将回放时间信息插入到针对第二画面的mmt流媒体数据的每个重新构建的mpu中，并且还将回放时间信息插入到针对第一画面的mmt流媒体数据的每个mpu中(步骤s211)。然后，多视图服务服务器20将相应的mmt流媒体数据发送到终端10(步骤s213和s215)。

然后，终端10识别每个mpu的回放时间信息，并且还识别其当前时间信息(步骤s217)。此外，终端10可根据所识别的回放时间信息使相应的流媒体数据的mpu同步并播放所述mpu(步骤s219)。

图10是例示根据本发明的另一实施方式的多视图流媒体服务支持方法的流程图。

参照图10，响应于来自终端10的对针对第一画面的mmt流媒体数据和针对第二画面的mmt流媒体数据的请求，多视图服务服务器20可将所请求的mmt流媒体数据发送到终端10(步骤s301和s303)。这些步骤可同时进行。

然后，在根据回放时间信息使相应的所接收的流媒体数据同步并播放所述流媒体数据的同时，终端10确定是否发生第一画面与第二画面之间的切换事件(步骤s305)。如果确定发生切换事件，则终端10向多视图服务服务器20通知切换事件(步骤s307)。这里，切换事件是指用于在分别显示在第一画面和第二画面上的图像之间进行切换的用户请求事件。

此外，终端10还可向多视图服务服务器20通知用于处理在多视图服务服务器20中的切换事件所需的信息。

然后，响应于切换事件，多视图服务服务器20调整第一mmt流媒体数据和第二mmt流媒体数据中的每一个的分辨率和帧，以便切换第一画面和第二画面(步骤s309)。此外，多视图服务服务器20将回放时间信息插入到具有调整后的分辨率和帧的第一mmt流媒体数据和第二mmt流媒体数据的每个mpu中(步骤s311)，并将相应的mmt流媒体数据发送到终端10(步骤s313和s315)。

然后，终端10识别每个mpu的回放时间信息，并且还识别其当前时间信息(步骤s317)。此外，终端10可根据所识别的回放时间信息使相应的流媒体数据的mpu来同步并播放所述mpu(步骤s319)。

目前为止，已经描述了根据本发明的实施方式的多视图流媒体服务支持方法。

上述根据实施方式的多视图流媒体服务支持方法可按照适于存储计算机程序指令和数据的计算机可读介质的形式来提供。存储在计算机可读记录介质中以实现根据实施方式的多视图流媒体服务支持方法的程序可执行以下步骤：在终端处向多视图服务服务器发送对针对第一画面的第一mpeg媒体传输(mmt)流媒体数据和针对第二画面的第二mmt流媒体数据的请求；当从多视图服务服务器接收到第一流媒体数据和第二流媒体数据时，在终端处识别插入在第一流媒体数据和第二流媒体数据的每个媒体处理单元mpu中的回放时间信息；以及在终端处根据所识别的回放时间信息使第一流媒体数据和第二流媒体数据的相应mpu同步并播放所述mpu。

在这种情况下，记录在记录介质上的程序可通过在计算机中被读取、安装和执行来执行上述功能。

为了允许计算机读取记录在记录介质上的程序并执行由程序实现的功能，上述程序可包括以诸如c、c++、java和可由计算机的处理器(cpu)通过计算机的设备接口读取的机器语言这样的计算机语言编码的代码。

该代码可包括与定义上述功能的功能等相关的功能代码，并且可包括计算机的处理器根据预定程序执行上述功能所需的执行程序相关的控制代码。另外，这样的代码还可包括关于计算机的处理器执行上述功能所需的附加信息或媒体应该在计算机的内部或外部存储器的任何位置(地址)处被引用的存储器引用相关代码。此外，当计算机的处理器需要与位于远程位置的任何其它计算机、服务器等进行通信以执行上述功能时，代码还可包括关于如何与哪个远程计算机、服务器等通信，在通信期间应该发送或接收什么信息或媒体等的通信相关代码。

这种适用于存储计算机程序指令和数据的计算机可读介质(例如，记录介质)包括诸如硬盘、软盘和磁带这样的磁介质，诸如只读存储光盘(cd-rom)和数字通用光盘(dvd)这样的光学介质，诸如软式磁盘这样的磁光介质，以及诸如只读存储器(rom)、随机存取存储器(ram)、闪速存储器、可擦除可编程rom(eprom)和电子eprom(eeprom)这样的半导体存储器。处理器和存储器可由专用逻辑电路补充或与专用逻辑电路集成。

此外，计算机可读记录介质可分布在联网的计算机系统上，使得计算机可读代码可按照分布式方式被存储和执行。此外，考虑到读取记录介质和执行程序的计算机的系统环境，本发明的技术领域的程序员可容易地推断或改变用于实现本发明的功能程序及其相关代码和代码段。

虽然本公开包含许多具体的实现细节，但是这些不应被解释为对本发明的范围或可要求保护的范围的限制，而是特定发明的特定实施方式特有的特征的描述。在本公开中描述的单独实施方式的上下文中的特定特征也可在单个实施方式中组合地实现。相反，在单个实施方式的上下文中描述的各种特征也可在多个实施方式中分开地实现或以任何合适的子组合实现。此外，虽然特征可在上面被描述为在特定组合中起作用，并且甚至最初这样要求，但是来自所要求保护的组合的一个或更多个特征在一些情况下可从组合中切除，并且所要求保护的组合可指向子组合或子组合的变型。

虽然操作被例示为在附图中以预定顺序执行，但是不应该解释为操作需要依次执行或以预定顺序(为获得优选结果所例示的)执行，或者所例示的操作全部需要被执行。在一些情况下，多任务和并行处理可能是有利的。另外，不应该解释为在所有类型的实现中都需要分配各种系统组件。应当理解的是，所描述的程序组件和系统通常被集成为单个软件产品或打包到多个软件产品中。

工业实用性

本发明涉及流媒体数据提供方法，更具体地，涉及一种通过使第一画面和第二画面的流媒体数据同步并播放所述流媒体数据来提供具有第一画面和第二画面的多视图流媒体服务的方法和设备。

另外，根据本发明，能够通过使第一画面和第二画面的流媒体数据同步，显著地减小在回放多视图流媒体数据时第一画面与第二画面之间的时差。因此，可提高用户便利性。

此外，本发明具有市售或操作的可能性，并且因为本发明实际上能够清楚地实现，所以在工业上可应用。