专利名称：Method for synchronising a RICH MEDIA TM action with an audiovisual change ...的制作方法
技术领域：
本发明的领域是“Rich Media” 技术的领域，且更具体地说，是“RichMedia” 呈 现的领域，包含用于在用户终端上重放的图形格式、文本、交互式特征、动画和媒体(图像 和视听流)。更具体地说，本发明涉及一种用于使此呈现的视听部分中的变化与纯 “RichMedia” 部分(即，此部分特别包含图形格式及其处置以及交互式特征，但不包含媒 体处置)中的变化同步的技术。
背景技术：
在含有对视频流的参考的“Rich Media"⑧呈现中，在大多数情况下，纯 “RichMedia” 部分由“Rich Media” 服务器(也称为呈现服务器)提供和处置，且视听 部分由视频服务器(也称为流式传输服务器)处置，并发送到终端。由于这两个服务器为单独的，所以它们不具有相同的时间参考，且不能一起同步。 因此，两个服务器所供应的内容也不适合同步。因此，对用户来说，难以使“Rich Media” 变化与视频流广播期间发生的事件完 全对准。举例来说，考虑含有对视频流的参考的“Rich Media” 呈现。用户在用户终端上 观看视频流(由流式传输服务器供应)，连同某一“Rich Media” 信息，例如由呈现服务器 供应的广播视频流的频道的编号和/或标识。当用户改变频道以观看另一则视频内容时， 他/她期望还显示关于频道变化的“Rich Media” 信息，连同关于视频改变已发生时的新 频道的信息。然而，因为流式传输服务器与呈现服务器不同步，所以对于“Rich Media” 呈现 的创建者来说，难以知道何时基于视频的变化而进行“Rich Media” 场景的变化。视频的变化可以是语义变化(例如，从电影切换到广告序列，或相反)或最佳频道 变化。最佳频道变化可如下进行流式传输服务器用来自下一频道的图像代替现有视频流 中的先前频道的图像，而不告知呈现服务器。呈现服务器因此不具有指示何时改变频道编 号/标识的特定信息。第一种技术包括在将视频流变化请求从呈现服务器发送到流式传输服务器时进 行此变化。此技术的一个缺点在于流式传输服务器改变视频流的反应时间未被考虑，且频 道编号/标识相对于实际视频流变化被过早地系统性地改变。因此，在短暂的时间内，用户 具有不对应于在屏幕上所观看到的视频的频道信息。第二种技术包括在将视频流变化请求从呈现服务器传输到流式传输服务器后的 预定间隔之后改变频道编号/标识。此间隔对应于流式传输服务器反应时间的估计，但不 能考虑网络传输条件，从而导致流式传输服务器反应时间的变动。
因此，此解决方案对于用户来说在视频流与用户的终端上所显示的 “RichMedia” 信息之间的一致性方面同样不是最佳的。如果发生不是由用户动作触发的视频变化，例如从电影序列切换到广告序列，那 么以上两种技术均不奏效，且适用的试探法更加不确定。一种技术可(例如)包括准备对 视频输入路径的平均延迟计算和对场景信息中的平均延迟的类似计算，以及随后使场景的 变化同步。然而，此技术包含视频输入、场景输入以及视频服务器与场景服务器之间的偏差 上的累积不确定性。
发明内容
本发明提出一种不涉及现有技术的所有缺点的新颖的解决方案，其呈使一则 “ R i c h M e d i a ” 内容中的动作与一则视听内容中的变化同步的方法的形式，所述“ R i c h Media” 和视听内容是“Rich Media” 呈现的一部分。根据本发明，此方法包括以下步骤获得一则代表所述则视听内容中的所述变化的信息，称为变化信息；使所述则“Rich Media” 内容中的动作与所述变化同步，所述同步步骤包括以下 子步骤将所述变化信息转换为“Rich Media" 事件；通过所述呈现的至少一个“Rich Media” 对象来检测所述事件；基于所述检测到的事件触发所述呈现中的所述动作。本发明因此是基于用于在“Rich Media” 呈现中使“Rich Media” 动作与所述 "Rich Media” 呈现中所参考的且由单独实体(例如，视听广播服务器)发送的视听流或 内容中的变化同步的新颖且具独创性的方法。甚至，根据本发明的方法使得有可能以适合由呈现中的“Rich Media” 对象解译 的方式指示视听广播服务器所发送的视听流中的变化，以便使“RichMedia” 动作与视听 流中的此变化同步。所获得的流中的变化信息首先由“Rich Media” 呈现中的视听/ "RichMedia" 界面对象(也称为“视频”对象)处理，所述对象尤其适合在观看所述呈现的用户终端上解 码和显示来自“Rich Media” 呈现中的视听流的图像。此“视频”对象在获得此变化信息后触发“Rich Media” 事件。此“RichMedia” 事件为特定类型，其特定用于使视听流变化与“Rich Media” 动作同步。一个或多个“Rich Media" 对象(也称为交互式对象)被编程在呈现中以监视 由“视频”对象触发的此类事件，且在检测到此类事件后激活。以此方式，当此交互式对象检测到由“视频”对象触发的事件时，激活交互式对象， 且实施与视听流中的变化链接的“Rich Media” 动作。因此与由变化信息所指示的流中的变化同步地执行“Rich Media” 动作。根据本发明的一个实施例，经由所述则视听内容来发送所述变化信息。"Rich Media” 呈现中的且(例如)由视听广播服务器发送的所述则视听内容参 考因此除针对视听内容的特定数据和常规视听流信令数据之外还包括代表讨论中的流中 的变化的数据(称为变化信息)。
举例来说，此变化信息在与流中的变化(例如，内容的变化)之后的第一图像相同 的时间发送。此变化信息可以是纯粹的预定指示符，其仅指示流中存在变化；或较复杂的 指示符，其指定或给出关于流中的变化的类型的信息，或关于待相对于流中的此变化而实 施的动作的类型的信息。根据一个替代实施例，所述获得步骤使用表示所述则视听内容中所插入的所述变 化信息的指示符的读取。视听流因此可含有准许存取在流中其它地方发送的一则变化信息的指示符，例如 包括流中的可找到变化信息的读取地址的指针。根据另一实施例，所述变化信息是基于与所述呈现相关联的一则时戳信息与所述 则视听内容的当前时戳的比较。根据此实施例，所述变化信息对应于通过比较两则时戳信息得出的肯定结果，第 一则时戳信息从呈现中已知，且第二则时戳信息对应于视听流的当前时戳。举例来说，第一则时戳信息由视听广播服务器发送，所述视听广播服务器还将变 化所涉及的视听流(例如)经由处置“Rich Media” 呈现的呈现服务器发送到观看所述 呈现的用户的终端。此则时戳信息对应于流中的时间的时间标签。如果流中的变化对应于例如用户请 求之后的内容的变化，那么所述时间标签可对应于所述则新内容的第一图像。第二则时戳信息对应于视听流的当前时戳，例如在“Rich Media” 呈现中解码并 显示的当前图像的时间标签。在此实施例中，第一则时戳信息适合由“视频”对象解译，所述“视频”对象还能够 确定其在“Rich Media” 呈现中解码并显示的每一图像的时间标签。此“视频”对象将第 一则时戳信息与当前时戳信息进行比较，以在两个时间标签重合时确定代表流中的变化的
一则信息。一旦确定此变化信息，根据同步方法的处理的其余部分就与针对第一实施例的处 理相同，即由“视频”对象触发特定事件、由交互式对象检测所述事件，以及实施对应的动 作。根据本发明的特定特征，所述变化信息还包括至少一则代表所述则 “RichMedia” 内容中的所述动作的信息，称为动作信息。所述变化信息因此不仅使得有可能指示流中的变化，而且使得有可能给出关于待 相对于流的所述变化而实施的动作的指示。明确地说，所述动作信息属于包括以下各项的群组URN( “统一资源名称”)；URI ( “统一资源识别符”)；URL ( “统一资源定位符”)。当交互式对象被激活时，其因此解析动作信息(例如，URL)以实施所请求的动作。本发明的另一方面涉及一种用于使一则“Rich Media” 内容中的动作与一则视 听内容中的变化同步的装置，所述“Rich Media” 和视听内容是“RichMedia” 呈现的一 部分。根据本发明，此装置包括
用于获得一则代表所述则视听内容中的所述变化的信息的构件，所述信息称为变 化信息；用于使所述则“Rich Media” 内容中的动作与所述变化同步的构件，所述同步构 件包括用于将所述变化信息转换为“Rich Media" 事件的构件；用于通过所述呈现的至少一个“Rich Media” 对象检测所述事件的构件；基于所述检测到的事件触发所述呈现中的所述动作。此传输装置尤其适合实施上文所描述的同步方法。本发明还涉及一种计算机软件产品，其可从通信网络下载且/或保存在可由计算 机读取且/或由处理器运行的媒体上，所述计算机软件产品包括用于实施上文所描述的同 步方法的程序代码指令。本发明的另一方面涉及一种创建包括至少一则视听内容和至少一则 “RichMedia” 内容的 “Rich Media” 呈现的方法。根据本发明，所述创建方法包括以下步骤由至少一个视听/ “Rich Media” 界面对象触发代表所述则视听内容中的变化 的至少一个事件；创建适合检测所述至少一个事件的至少一个“Rich Media” 对象；在检测到所述至少一个事件后激活所述“Rich Media” 对象；使至少一个动作与所述“Rich Media” 对象的激活相关联。所述根据本发明创建“Rich Media” 呈现的方法因此使得有可能相对于代表 "Rich Media” 呈现中所参考的视听流中的变化的事件在呈现中实施一动作。此动作特定地在特定地经编程以监视此事件的对象的激活之后实施。本发明还涉及一种计算机软件产品，其可从通信网络下载且/或保存在可由计算 机读取且/或由处理器运行的媒体上，所述计算机软件产品包括用于实施上文所描述的创 建方法的程序代码指令。
在阅读对仅作为说明性而非限制性实例给出的特定实施例以及附图的以下描述 后，本发明的进一步特征和优点将更清楚地显现，附图中图1展示根据本发明的一个实施例的方法的主要步骤；图2说明图1中的实施例的第一替代实施例的功能图；图3说明图1中的实施例的第二替代实施例的功能图；图4a和图4b展示根据图2和图3中所说明的本发明的两个替代实施例的方法在 客户端接收器端的应用的实例。
具体实施例方式1、一般原理本发明的一般原理是基于获得一则代表视听流中的变化的信息以及通过“Rich Media” 呈现的多个对象来处理此则信息以便使呈现中的动作与视听流中的变化同步。
根据本发明的方法因此使得有可能补救视听流与“Rich Media” 呈现之间 的时间参考的差异的问题，且因此使视听流中的时间t处所作的变化与呈现中的“Rich Media” 动作同步。2、实施例的描述现将参看图1描述根据本发明一实施例的同步方法的主要步骤。"Rich Media” 呈现中所参考的视听流中的变化与呈现中的动作之间的同步包 括第一步骤10，其用于获得一则代表视听流中的变化的信息。此信息接着在同步步骤11期间被处理，所述同步步骤11包括下文所描述的子步
马聚o首先在步骤110期间将此变化信息转换为特定的“Rich Media” 事件。接着在步骤111期间通过RM对象(也称为交互式对象)检测此事件，从而导致在 呈现中激活此交互式对象。此激活对应于在步骤112期间相对于视听流中的变化实施呈现中的动作。下文参照多个替代实施例和应用实例更详细地描述此实施例。2. 1第一替代实施例根据图2中所说明的上文所描述的实施例的第一替代形式，经由视听流发送代表 视听流中的变化的所述则信息。在讨论中的系统中，呈现服务器20处置“Rich Media” 呈现的“Rich Media” 部分，且视听广播服务器21供应对应于所述呈现的视听流。在终端或客户端接收器22上 重放此“Rich Media” 呈现。根据此替代实施例，代表视听流中的变化211的所述则信息由视听广播服务器21 经由视听流210发送。此信息211使终端22知道待在呈现中执行的动作应在所述信息被读取时执行，以 便与变化同步。举例来说，此信息211对应于特定值，所述特定值在由视听/ "Rich Media” 界 面对象读取时触发特定事件，下文中称为类型A事件。在“Rich Media” 呈现中，一个(或多个)“Rich Media” 对象(也称为交互 式对象)经编程以监视类型A事件。当这些事件中的一者发生时，接着激活交互式对象，从而触发对应于视听流中的 变化的动作。2. 2第二替代实施例根据图3中所说明的上文所描述的实施例的第二替代形式，代表视听流中的变化 的所述则信息不经由视听流发送，而是基于来自“Rich Media” 呈现的一则已知时戳信息 与视听流的当前时戳之间的比较。举例来说，视听流的变化对应于源频道的变化，或电视频道的变化。实施频道的此 变化(例如，在终端请求后)的视听广播服务器21知道频道的变化的时戳。此时戳对应于 (例如)新频道的第一图像的时间标签30。广播服务器21向呈现服务器20发送视听流31中的变化的时间标签30，且将视听 流31发送到客户端接收器22。
呈现服务器20向客户端接收器22发送时间标签30，所述时间标签30接着发送到 视听/ "Rich Media” 界面对象。此界面对象负责将此时间标签30与其解码和显示图像所针对的视听流的当前时 戳进行比较。当时间标签30对应于当前时戳时，被解码和显示的图像是新频道的第一图像。界面对象接着触发特定事件，例如类型A，与第一替代实施例中一样。经编程以监视类型A事件的交互式对象接着在接收到由界面对象产生的此事件 后激活，且对应于视听流中的变化的动作被触发。3、应用的实例的描述应用的另一实例涉及在视听流(例如，电影)的广播期间显示广告。视听广播服务器作出电影与广告之间以及广告与电影之间的变化，这些变化对于 接收视听流的呈现服务器来说是“透明”的，不管内容(电影或广告)如何。然而，含有对所述视听流的参考的“Rich Media” 呈现应为用户显示特定信息， 尤其在广告(例如，交互式在线购买信息，或与广告的内容相关联的个人化信息)的广播期 间。根据本发明的方法因此使“Rich Media” 呈现能够确定广告开始时间以便显示 其特定信息而不是电影信息，且确定广告结束时间以便返回到对应于电影的广播的显示。图4a和图4b说明从客户端端来看，根据上文所描述的第一和第二替代实施例的 本发明的应用的此实例。客户端接收器随着时间的过去而重放呈现40、41和42。这些呈现包括对视听流 的参考，分别为电影(40)、广告(41)和电影的其余部分(42)；以及“Rich Media” 部分， 其例如用以显示频道日志且针对与所广播的广告链接的交互式信息。根据第一替代实施例(图4a)，广播服务器在与视听流相同的时间发送一则代表 视听流中的第一变化的信息。此信息(称为变化信息1)对应于广告的开始，且由呈现服 务器在与视听广告流相同的时间(时间Tl处)接收。此信息发送到呈现的视听/ "Rich Media” 界面对象，所述界面对象又触发特定事件(例如，“adVert_Start”事件)以激活 所述呈现的特定经编程以监视这些特定事件的交互式对象，如上文参看图1所描述。交互式对象的激活在此情况下对应于“Rich Media” 类型1动作(称为动作 RMl)，例如关于所广播的广告的信息(在线购买报价、价格、特殊报价信息等)的显示。所述原则对于从广告到电影(先前广播的电影的其余部分或另一电影)的切换是 相同的。视听广播服务器发送第二则变化信息(称为变化信息2)。此信息(其对应于广告 的结束)由呈现服务器在与视听电影流相同的时间(时间T2处)接收。此信息发送到所 述呈现的视听/ "Rich Media” 界面对象，所述界面对象又触发特定事件(例如，“film_ start"事件)以激活所述呈现的特定经编程以监视这些特定事件的交互式对象，如上文参 看图1所描述。交互式对象的激活在此情况下对应于“Rich Media” 类型2动作(称为动作 冊2)，例如关于所广播的电影的信息(获得关于电影的信息的选项、电影中的演员、其它广 播时间等)的显示。根据第二替代实施例(图4b)，广播服务器将分别代表所描述的两个变化的两则信息发送到呈现服务器。这两则信息可以包括两则信息的单个数据项目或各包括一则变化 信息的两个数据项目的形式发送。这些则变化信息对应于当视听流中发生变化时的时间标签。在我们的实例中，第 一时间标签对应于广告中的第一图像(时间Tl)，且第二则变化信息对应于在广告(时间 Tl)之后广播的电影的第一图像。这两个时间标签由呈现服务器发送到呈现的视听/ "Rich Media” 界面对象。当广播视听流时，此界面对象将这些时间标签与当前经解码和显示的图像的时间 标签进行比较。在时间Tl处，界面对象将广告的第一图像的时间标签与也对应于广告的第一图 像的时间标签Tl进行比较。比较的结果因此是肯定的，且界面对象触发特定事件(例如， “advertjtart”事件)以激活所述呈现的特定经编程以监视这些特定事件的交互式对象， 如上文参看图1所描述。接着，如上文在第一替代实施例中所描述，交互式对象的激活对应于 “1 化1^6(1^’ 类型1动作(称为动作RMl)，例如关于所广播的广告的信息(在线购买报 价、价格、特殊报价信息等)的显示。类似地，在广告的广播期间，界面对象继续将经解码和显示的每一图像的时间标 签与第二时间标签(标签2)进行比较。当在时间T2处界面对象将电影的第一图像的时间标签(广告结束时)与也对应 于电影的第一图像的时间标签T2进行比较时，比较的结果是肯定的。界面对象接着触发特 定事件(例如，“film_start”事件)以激活所述呈现的特定经编程以监视这些特定事件的 交互式对象，如上文参看图1所描述。交互式对象的激活(如上文针对第一替代实施例所描述)对应于“RichMedia” 类型2动作(称为动作RM2)，例如关于所广播的电影的信息(获得关于电影的信息的选项、 电影中的演员、其它广播时间等)的显示。这两个动作RMl和RM2可在“Rich Media” 呈 现中编程，且因此为交互式对象所知，所述交互式对象在被激活时实施这些动作。举例来 说，假定一对象经编程以当其在检测到“advertjtart”类型事件之后被激活时显示广告信 息。另一对象可经编程以当其在检测到“film_start”类型事件之后被激活时显示关于电 影的信息。在应用的此实例的一个说明性实施例中，存在两个交互式对象而不仅仅一个，每 一交互式对象负责两个动作中的一者。这些特定信息显示动作或与视听流中的变化同步地在呈现中实施的任何其它类 型的动作可经由URN( “统一资源名称”)、URI ( “统一资源识别符”)或URL( “统一资源定 位符”)来配置。举例来说，由视听/ "Rich Media” 界面对象触发的事件具有含有涉及待显示的 (关于广告或电影的)特定信息的URL的属性。交互式对象当在检测到事件后被激活时解 析URL，且因此在视听流中作出变化时显示所述特定信息。
权利要求
一种使一则“Rich Media”内容中的动作与一则视听内容中的变化同步的方法，所述“Rich Media”和视听内容是“Rich Media”呈现的一部分，其特征在于，所述方法包括以下步骤获得一则代表所述则视听内容中的所述变化的信息，称为变化信息；使所述则“Rich Media”内容中的动作与所述变化同步，所述同步步骤包括以下子步骤将所述变化信息转换为“Rich Media”事件；通过所述呈现的至少一个“Rich Media”对象来检测所述事件；基于所述检测到的事件触发所述呈现中的所述动作。FPA00001161076000011.tif,FPA00001161076000012.tif,FPA00001161076000013.tif,FPA00001161076000014.tif,FPA00001161076000015.tif,FPA00001161076000016.tif
2.根据权利要求1所述的同步方法，其特征在于，经由所述则视听内容发送所述变化信息。
3.根据权利要求1所述的同步方法，其特征在于，所述变化信息是基于与所述呈现相 关联的一则时戳信息与所述则视听内容的当前时戳的比较。
4.根据权利要求1到3中任一权利要求所述的同步方法，其特征在于，所述变化信息还 包括至少一则代表所述则“Rich Media” 内容中的所述动作的信息，称为动作信息。
5.根据权利要求4所述的同步方法，其特征在于，所述动作信息属于包括以下各项的 群组URN ( “统一资源名称”)； URK “统一资源识别符”)； URL ( “统一资源定位符”)。
6.一种用于使一则“Rich Media” 内容中的动作与一则视听内容中的变化同步的装 置，所述“Rich Media” 和视听内容是“Rich Media” 呈现的一部分，其特征在于，所述装置包括用于获得一则代表所述则视听内容中的所述变化的信息的构件，所述信息称为变化信息；用于使所述则“Rich Media” 内容中的动作与所述变化同步的构件，所述同步构件包括用于将所述变化信息转换为“Rich Media” 事件的构件； 用于通过所述呈现的至少一个“Rich Media” 对象来检测所述事件的构件； 基于所述检测到的事件触发所述呈现中的所述动作。
7.一种计算机软件产品，其特征在于，其可从通信网络下载且/或保存在可由计算机 读取且/或由处理器运行的媒体上，所述计算机软件产品包括用于实施根据权利要求1到 5中任一权利要求所述的同步方法的程序代码指令。
8.一种创建包括至少一则视听内容和至少一则“Rich Media” 内容的“RichMedia” 呈现以用于实施根据权利要求1到5中任一权利要求所述的同步方法的方法，其特征在于， 所述方法包括以下步骤通过至少一个视听/ "Rich Media” 界面对象触发代表所述则视听内容中的变化的 至少一个事件；创建适合检测所述至少一个事件的至少一个“Rich Media” 对象；在检测到所述至少一个事件后激活所述 “Rich Media” 对象； 使至少一个动作与所述“Rich Media” 对象的所述激活相关联。
9. 一种计算机软件产品，其特征在于，其可从通信网络下载且/或保存在可由计算机 读取且/或由处理器运行的媒体上，所述计算机软件产品包括用于实施根据权利要求8所 述的创建方法的程序代码指令。
全文摘要
文档编号H04L29/06GK101953135SQ200880121720
公开日2011年1月19日 申请日期2008年12月17日 优先权日2007年12月21日
发明者Gouesbert Pierre-Erwann, Bellanger Stephane, Dufourd Jean-Claude 申请人:Streamezzo