用于呈现定制和交互的方法和设备与流程

本公开总体涉及媒体呈现(presentation)。更具体地，本公开涉及用于使媒体呈现定制化和调整媒体内容传输调度的方法和设备。

背景技术：

近来，用户观看的呈现方式正变得更具互动性。这种呈现基于运动图像专家组(mpeg)组成信息(ci)而被播放。mpegci提供时序指令以控制呈现并使各种组件同步。随着多媒体服务的进步，更具交互性和定制化变得越来越常见。一个用户体验内容的方式可与另一用户体验相同内容的方式不同。mpegci需要基于用户配置信息和交互来支持不同的回放顺序。传输服务器还必须能够通过确保数据在需要呈现给用户时是可用的来支持不同的用户体验。

技术实现要素：

技术方案

本公开提供了用于呈现定制和交互的方法和设备。

在第一实施方式中，用于播放具有多个媒体的呈现的用户设备(ue)包括处理器、存储器和显示器。处理器接收被配置成提供呈现的第一文件和被配置成指示用于媒体和空间布局更新的时序的第二文件。处理器确定第二文件是否包括针对多个指令中的至少一个指令元素的至少一个条件，并根据第一文件、第二文件和/或至少一个条件播放多个指令。当第二文件包括针对多个指令中的至少一个指令的存储命令时，存储器基于存储命令存储至少一个媒体。显示器显示播放的多个媒体。

在第二实施方式中，服务器包括处理器和收发器。处理器配置成生成第一文件和至少一个第二文件，其中，第一文件被配置成提供呈现，至少一个第二文件包括针对媒体元素的至少一个指令元素的至少一个条件。收发器配置成将第一文件和第二文件发送至用户设备(ue)。第二文件包括与至少至少一个指令相关的时间，其中，该时间提供媒体元素可被播放的最早时间的指示。

在第三实施方式中，用于在具有处理器和显示器的电子装置中播放呈现的方法包括：在处理器中接收第一文件和第二文件，其中，第一文件配置成提供呈现，第二文件配置成指示被包括在该呈现中的多个媒体和空间布局更新的时序。该方法还包括确定第二文件是否包括针对多个指令中的至少一个指令元素的至少一个条件，并由处理器根据第一文件、第二文件和/或至少一个条件播放多个指令。根据播放的多个指令来显示呈现。

从以下附图、描述和所附权利要求，其它技术特征对于本领域技术人员可以非常清晰。

附图说明

为了更完整地理解本公开，现将参考下文结合附图而作出的描述，在附图中：

图1示出了根据本公开的示例计算系统；

图2和图3示出了根据本公开的计算系统中的示例装置；

图4示出了根据本公开的用于处理呈现信息的系统；

图5示出了根据本公开的用于播放呈现信息的不同场景；

图6示出了根据本公开的用于处理呈现信息的方法；以及

图7示出了根据本公开的用于播放媒体同步元素的方法。

具体实施方式

在进行下文之前，陈述本专利文件全文中使用的某些词语和短语的定义会是有益的。措辞‘联接’及其变型指的是在两个或更多元件之间的任何直接或间接的连通，无论这些元件是否彼此物理接触。措辞‘发送’、‘接收’和‘通信’及其变型，包括直接和间接的通信。措辞‘包括’和‘包含’及其变型意为包含而非限制。措辞‘或’是包括性的，意为和/或。短语‘与...相关’及其变型意为包括、包括于…内、与…互相连接、包含、包含于…内、连接至或与…连接、联接至或与…联接、可与…通信、与…合作、交错(interleave)、并列(juxtapose)、近似于、约束至或约束于、具有、具有…的性质、联系于或与…有关等。措辞‘控制器’表示控制至少一个操作的任何装置、系统或其一部分。这样的控制器可以以硬件来实现，或以硬件与软件和/或固件的组合来实现。与任何特定控制器相关的功能无论是本地还是远程均可以是集中的或是分布式的。当与一系列项目一起使用措辞‘…中的至少一个’时，‘…中的至少一个’意为可使用该系列项目中的一个或多个项目的不同组合，并且可仅需要这系列项目中的一个项目。例如，‘a、b和c中的至少一个’包括以下组合中的任何项：a、b、c、a和b、a和c、b和c、以及a和b和c。

此外，以下描述的各种功能可由一个或多个计算机程序实施或支持，该计算机程序中的每个均由计算机可读程序代码形成并且实施于计算机可读介质中。措辞‘应用’和‘程序’指代适于在适当的计算机可读程序代码中实施的一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类别、实例、相关数据、或上述项的一部分。短语‘计算机可读程序代码’包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。措辞‘计算机可读介质’包括能够被计算机访问的任何类型的介质，如只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、压缩盘(compactdisc，cd)、数字视频盘(dvd)或任何其它类型的存储器。‘非易失性’计算机可读介质排除传输易失性的电信号或易失性的其它信号的有线链路、无线链路、光学链路或其它通信链路。非易失性计算机可读介质包括可供数据永久存储的介质以及可供数据存储并随后被覆盖的介质，诸如可重写光盘或可擦除存储装置。

本专利文件全文中提供对其它某些词语或短语的定义。本领域普通技术人员应理解，在许多情况下(如果不是大多数情况)，这种定义适用于现有技术，也适用于这样定义的词语和短语的将来的使用。

下文讨论的图1至图7以及用于在本专利文件中描述本发明的原理的各种实施方式仅用于说明而不应被解释为对本公开范围的任何限制。本领域技术人员将理解，本公开的原理可实施于任何适当布局的装置或系统。

图1示出了根据本公开的示例计算系统100。图1中所示的计算系统100的实施方式仅用于说明。在不背离本公开的范围的情况下，可使用计算系统100的其它实施方式。

如图1中所示，系统100包括网络102，网络102有助于系统100中的各种组件之间的通信。例如，网络102可以在网络地址之间传送互联网协议(ip)包、帧中继帧、异步传输模式(atm)信元或其它信息。网络102可包括在一个或多个位置处的一个或多个局域网(lan)、城域网(man)、广域网(wan)、全球网络(诸如，互联网)的全部或一部分或者任何其它一个或多个通信系统。

网络102有助于在至少一个服务器104和各种客户端装置106至114之间的通信。服务器104包括可以为一个或多个客户端装置提供计算服务的任何合适的计算或处理装置。例如，服务器104可包括一个或多个处理装置、存储指令和数据的一个或多个存储器以及有助于网络102上的通信的一个或多个网络接口。

如下文所描述的，至少一个服务器105以超文本标记语言(html)版本5(html5)文件和运动图像专家组(mpeg)组成信息(ci)的形式提供媒体信息。html5文件提供了用于媒体回放的初始空间布局和初始媒体元素。ci包括时序指令以控制媒体呈现层驱动呈现并使呈现的组件同步。

每个客户端装置106至114表示通过网络102与至少一个服务器或一个或多个其它计算装置交互的任何合适的计算或处理装置。在该示例中，客户端装置106至114包括台式计算机106、移动电话或智能电话108、个人数字助理(pda)110、膝上型计算机112和平板计算机114。然而，可在计算系统100中使用任何其它或附加的客户端装置。

在该示例中，一些客户端装置108至114与网络102间接通信。例如，客户端装置108至110经由一个或多个基站116(诸如，小区基站或enodeb)进行通信。此外，客户端装置112至114经由一个或多个无线接入点118(诸如，ieee802.11无线接入点)进行通信。应注意，这些仅用于说明，并且每个客户端装置可与网络102进行直接通信，或者经由一个或多个任何合适的中间装置或网络与网络102进行间接通信。

如下文更详细描述的，客户端装置106至114可用于经由服务器104访问服务器105上的内容。

虽然图1示出了计算系统100的一个示例，但可以对图1进行多种变化。例如，系统100可以以任何合适的布置包括任何数量的各个组件。通常，计算和通信系统具有多种配置，并且图1不将本公开的范围限制于任何特定的配置。虽然图1示出了可使用本专利文件中公开的各种特征的一个操作环境，但是在任何其它合适的系统中也可使用这些特征。

图2和图3示出了根据本公开的计算系统中的示例装置。具体地，

图2示出了示例服务器200，并且图3示出了示例客户端装置300。服务器200可表示图1中的服务器104或服务器105，并且客户端装置300可表示图1中的客户端装置106至114中的一个或多个。

如图2中所示，服务器200包括总线系统205，其中，该总线系统205支持至少一个处理装置210、至少一个存储装置215、至少一个通信单元220和至少一个输入/输出(i/o)单元225之间的通信。

处理装置210运行可被加载至存储器230中的指令。处理装置210可包括任何合适数量和类型的处理器或具有任何合适布置的其它装置。处理装置210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。

存储器230和永久性存储器235是表示能够存储信息和帮助检索信息(诸如，暂时性或永久性的数据、程序代码和/或其它合适的信息)的任何结构的存储装置215的示例。存储器230可代表随机存取存储器或一个或多个任何其它合适的易失性或非易失性存储装置。永久性存储器235可包括支持数据的长期存储的一个或多个组件或装置，诸如，只读存储器、硬盘驱动器、闪速存储器或光盘。

通信单元220支持与其它系统或装置的通信。例如，通信单元220可包括帮助网络102上的通信的网络接口卡或无线收发器。通信单元220可支持经由任何合适的物理或无线通信链路的通信。

i/o单元225允许输入和输出数据。例如，i/o单元225可经由键盘、鼠标、小键盘、触摸屏或其它合适的输入装置为用户输入提供连接。i/o单元225还可将输出发送至显示器、打印机或其它合适的输出装置。

应注意，尽管图2被描述为代表图1的服务器104或服务器105，但相同或相似的结构可被用于客户端装置106至114中的一个或多个中。例如，膝上型或台式计算机可具有与图2中所示的结构相同或相似的结构。

在本文中描述的实施方式中，服务器105提供用于可由客户端装置300播放的呈现的html5文件和ci文件。服务器105还可向客户端装置300提供更新的ci文件。服务器105可利用时间戳对每个ci文件进行标记，从而允许客户端装置300使用ci文件的最新更新。

如图3中所示，客户端装置300包括天线305、射频(rf)收发器310、发送(tx)处理电路315、麦克风320以及接收(rx)处理电路325。客户端装置300还包括扬声器330、处理器340、输入/输出(i/o)接口(if)345、输入350、显示器355和存储器360。存储器360包括操作系统(os)程序361和一个或多个应用362。

rf收发器310从天线305接收由系统中的另一组件发送进来的rf信号。rf收发器310将输入的rf信号降频转换(down-convert)以产生中间频率(if)或基带信号。if或基带信号被发送至rx处理电路325，其中，rx处理电路325通过对基带或if信号进行滤波、解码和/或数字化来生成经处理的基带信号。rx处理电路325将经处理的基带信号发送至扬声器330(诸如，用于语音数据)或发送至处理器340以用于进一步的处理(诸如，用于网络浏览数据)。

tx处理电路315从麦克风320接收模拟语音数据或数字语音数据或者从处理器340接收其它输出基带数据(诸如，网络数据、电子邮件或交互式视频游戏数据)。tx处理电路315对输出基带数据进行编码、多路复用和/或数字化以生成经处理的基带或if信号。rf收发器310从tx处理电路315接收待输出的经处理的基带或if信号，并将这些基带或if信号升频转换(up-convert)为经由天线305发送的rf信号。

处理器340可包括一个或多个处理器或其它处理装置，并运行存储在存储器360中的os程序361，以控制客户端装置300的全部操作。例如，根据众所周知的原理，处理器340可控制通过rf收发器310、rx处理电路325和tx处理电路315的前向信道信号的接收和反向信道信号的发送。在一些实施方式中，处理器340包括至少一个微处理器或微控制器。

处理器340还能够运行位于存储器360中的其它过程和程序。处理器340可根据运行过程的需要将数据移入或移出存储器360。在一些实施方式中，处理器340配置成基于os程序361或响应于接收自外部装置或操作者的信号来运行应用362。处理器340还联接至i/o接口345，i/o接口345向客户端装置300提供连接至其它装置(诸如，膝上型计算机和手持计算机)的能力。i/o接口345是这些附件与处理器340之间的通信路径。

处理器340还联接至输入350和显示单元355。客户端装置300的操作者可使用输入350将数据输进客户端装置300中。例如，输入350可以是触摸屏、按钮和/或键盘。显示器355可以是液晶显示器或能够呈现诸如来自网站的文本和/或至少有限的图形的其它显示器。

存储器360联接至处理器340。存储器360的一部分可包括随机存取存储器(ram)，并且存储器360的另一部分可包括闪速存储器或其它只读存储器(rom)。

如下文更详细描述的，客户端装置300可从服务器105接收呈现信息(诸如，html5文件和一个或多个ci文件)，以播放呈现。

虽然图2和图3示出了计算系统中的装置的示例，但是可以对图2和图3进行各种改变。例如，根据特殊的需要，图2和图3中的各种组件可被组合、进一步细分或省略，并可添加其它组件。作为特定示例，处理器340可被划分成多个处理器，诸如一个或多个中央处理单元(cpu)和一个或多个图形处理单元(gpu)。此外，虽然图3示出了配置为移动电话或智能电话的客户端装置300，但客户端装置可配置成作为其它类型的移动装置或固定装置来操作。另外，与计算和通信网络一样，客户端装置和服务器可具有多种配置，并且图2和图3不将本公开限制于任何特定的客户端装置或服务器。

图4示出了根据本公开的用于处理呈现信息的系统400。如图4中所示，可被合并至处理器340中的mpeg媒体传输(mmt)ci处理引擎402接收如html5文件404和ci文件406的呈现信息。可直接或间接地从诸如图1的服务器105的服务器接收html5文件404和ci文件406。html5文件404提供用于媒体回放的初始空间布局和初始媒体元素。ci文件406包括时序指令以控制媒体呈现层驱动呈现并使各种组件(诸如，视频、音频和字幕)同步。ci文件406采用可扩展标记语言(xml)文件的形式，并包括mediasync元素、sourcelist元素和mediasrc元素。mediasync元素支持以下操作：提供将被同时播放的服务组件的列表；提供媒体源的列表，媒体源的列表以基于列表中的出现顺序的优先级表示替代物；以及提供需要基于其开始时间来顺序地回放的源的列表。mmtci处理引擎402负责通过推拉法获取html5文件404和ci文件406。

html5文件404被解析成文件对象模型(dom)树并存储在诸如存储器360的存储器中。mmtci处理引擎402根据ci文件406提供的指令在一个或多个特定时间处将更改应用于dom。mmtci处理引擎402基于dom在显示器410上显示呈现信息。

ci文件406包括以下项中的至少一项：某些mediasync元素是条件性的指示；每个mediasync元素的、与呈现回放的不同调度适配的传输调度的指示；和/或存储用于稍后回放一定时长的mediasync元素的指示。

如将在下文中描述的，可标记mediasync元素以进行条件性的回放。支持条件性的回放并且也支持条件类型的客户端装置(例如，客户端装置300)评估该条件以验证是否必须播放内容。标记为属于相同条件组的所有mediasync元素应使得最多选择一个mediasync元素。仅示出conditiongroup属性的mediasync元素将被视为用于该条件组的默认mediasync，并且如果没有选择相同条件组的先前mediasync元素进行回放，则应由用户代理播放。条件脚本语言可由conditiontype属性指示，如果不存在，则默认为“text/javascript”。另外，earliestplayout和存储属性也可被包括在ci文件中，以通知发送者和接收者关于因条件性回放导致的传送和回放调度上的潜在偏差(skew)。

术语“条件”表示客户端装置将进行评估以确定是否要回放mediasync元素的内容的表述。条件必须就布尔值(booleanvalue)进行评估，其中，真(true)表示应回放内容，并且假(false)表示不回放。conditiongroup表示条件所属的群组。如果mediasync元素表示不存在条件但提供conditiongroup，则客户端装置应假定如果没有回放共享相同条件组的mediasync元素则应默认回放该mediasync元素。

conditiontype表示用于说明条件的脚本语言。默认值为表示ecmascript的‘text/javascript’。earliestplayout向发送者提供指示：由于一些较早的条件性的回放内容被跳过，使得当前mediasync元素描述的内容可能被一些客户端装置更早地回放。

在一些实施方式中，mpegci文件406的mediasync元素或sourcelist元素包括这样的指示：通过mediasync元素或sourcelist元素回放的特定媒体资源将被条件性地回放。在一些实施方式中，条件被提供为以布尔值评估为真或假的javascript表达式，其中，仅在条件评估为真的情况下才进行特定媒体资源的回放。条件可被提供为mediasync元素或sourcelist元素的属性。如果在mediasync元素上提供并且条件评估为假，则将回放下一mediasync并跳过当前的mediasync元素。如果下一mediasync元素具有开始时间，则在下一mediasync元素指定的开始时间之前将不会有内容被示出。

条件可被提供为对诸如'checkplayback'之类的函数的调用，并且传输识别条件性内容的变元(argument)。另外，可提供'conditiongroup'属性以对一组互斥条件或指令进行分组。包括相同'conditiongroup'的指示的最后一个元素可省略条件属性，在这种情况下，如果相同的'conditiongroup'的先前条件均未评估为真，则该元素变为默认。

在一些实施方式中，提供了媒体资源的最早呈现时间的指示。例如，该指示可以与每个媒体处理单元(mpu)相关并作为mediasync元素的一部分而被提供。这通知发送者该元素可能在比指定的回放时间更早的时间时被一些用户呈现。这对以下情况是必要的：用于未评估为真的mediasync元素的条件产生了跳过的内容并且下一mediasync的内容将被一些客户端更早播放。这可能对客户端不直接向服务器请求内容的广播内容是必要的。

在一些实施方式中，还针对一些媒体资源在其呈现给没有跳过先前内容的用户的时间之前进行传送的情况提供存储命令。存储命令通知客户端将内容本地高速缓存，缓存的内容至少相当于稍后回放所需的指定的媒体持续时间。

图5示出了根据本公开的用于播放呈现信息的不同场景。如图5中所示，客户端装置300接收多个mediasync元素502至510。mediasync元素504和508包括mediasync元素的回放是有条件性的指示。这些条件可包括用户是男性还是女性、付费用户还是非付费用户、普通用户还是高级用户。其它条件可包括地理条件或时间条件。如果mediasync元素504的特定条件被评估为‘真’，则将回放mediasync元素504，而如果mediasync元素508的特定条件被评估为假，则将跳过mediasync元素508并将回放mediasync元素510。

由于mediasync元素506和510在条件性的mediasync元素之后，因而在不回放mediasync元素504和/或508的情况下，mediasync元素506和510中的每个均包括分别与先前的mediasync元素504和508对应的存储命令和最早呈现命令的指示。

图6和图7示出了用于播放mediasync元素(诸如，图5的mediasync元素502至510)的方法。如图6中所示，mmtci处理引擎402在操作602中接收html5文件和ci文件。mmtci处理引擎402可经由推拉法获取文件。

在操作604中，mmtci处理引擎402解析html5文件和ci文件。所解析的html5文件提供空间布局和待播放的初始mediasync元素。所解析的html5文件存储为文件对象模型(dom)。ci文件包括以下项中的至少一项：某些mediasync元素是条件性的指示；每个mediasync元素的传输调度的指示；和/或存储mediasync元素的指示。

在操作606中，mmtci处理引擎402根据html5文件提供的空间布局和ci文件提供的时序指令来播放一个或多个mediasync元素。将参照示出了根据本公开的用于播放mediasync元素的方法的图7对操作606进行更详细的讨论。

如图7中所示，将结合图3的客户端装置300进行讨论，在操作702中，由处理器340接收mediasync元素(例如，mediasync元素502)。

在操作704中，处理器340基于在操作602中接收的ci文件确定mediasync元素是否具有条件。如果不具有条件，则该方法继续到播放mediasync元素的操作710。如果mediasync元素包括条件，则处理器340在操作706中确定条件是否得到满足。如果处理器340确定条件被评估为假，则在操作714中跳过该mediasync元素。如果处理器340确定条件被评估为真，则播放mediasync元素并且方法进行到操作708，在操作708中处理器340基于在操作602中接收的ci文件确定mediasync元素是否具有存储命令。如果mediasync元素具有存储命令，则方法继续到操作712，在操作702中，mediasync元素存储在例如存储器360中。如果mediasync元素不具有存储命令，则该方法继续到操作710。

在操作716中，确定是否存在其它mediasync元素。可以由处理器340基于在操作602中接收的ci文件来作出判断。如果存在其它mediasync元素，则该方法返回到操作702。如果不存在mediasync元素，则该方法结束。

尽管图7被描述为一次处理一个mediasync元素，但是处理器340可根据图7的方法同时处理多个mediasync元素。例如，可同时处理和播放视频mediasync元素、音频mediasync元素和字幕mediasync元素。

本申请中的描述均不应理解为暗示着任何特定元件、步骤或功能是必须被包括在权利要求范围中的必要元件。专利主题的范围仅由权利要求进行限定。

尽管已经利用示例性实施方式描述了本公开，但本领域技术人员可得到多种改变和修改的启示。本公开旨在包括落入所附权利要求范围内的这些改变和修改。