通过嵌入水印实现脚本同步的制作方法

专利名称：通过嵌入水印实现脚本同步的制作方法
通过嵌入水印实现脚本同步
本发明涉及多媒体系统领域，并且具体来说，涉及与感知要素相关 的脚本与内容流的同步，并且更加具体地讲，涉及使内容流与脚本流、 脚本文件等同步的水印嵌入。
随着计算机技术快速发展带来的家庭娱乐系统的蓬勃发展，希望通 过开发影响用户的感官知觉的效果(包括例如变化的亮度、振动、温度、 风、声音、气味)来在实际输出中创造更强烈的用户亲临现场感。这种 希望源自于很多主题公园正在使用的用来吸引游客的大型游乐项目以及 在家庭中开发这些动人效果(比如与大屏幕电视、高清电视和电视游戏 相关的效果)的可能性。
随着新的技术付诸应用，针对电视观看的用户体验正在发生迅速改 变。在高端电视中已经可以看到一些初期迹象，在这些电视中，增加了 用来提高电视体验的灯光。当前，这些效果(比如灯光)的控制，包括 色彩输出和时变性能，A^于内容的实时分析的，这需要复杂的程序和 专用的器材。
一种系统使用构成实际内容流(例如，视频和/或音频) 一部分的预定脚本。不过，问题在于，这需要内容供应商针对流送内容
(比如MPEG、 MP3 )进行新的标准化行为，不管是广播的还是预先录制的 (例如，录制在DVD上)，并且需要对所有的标准化流送类型进行这一 标准化。
授权给Burns的名称为《Method for Watermarking Computer Programs》的美国专利US6834343公开了一种将信息水印施加(即，嵌
入)到数字产品中的处理，并且该美国专利以引用的方式并入本文。
由WIPO发布的名称为《A Real - World Representation System and Language》的国际/^开文献W002/092183(申请人为Koninklijke Philips Electronics)以及名称为《Dy訓ic Markup Language》的W003/100548 (申请人为Eves等)公开了用于按照使用标记语言的描述驱动和操纵装 置来向用户呈现真实世界体验的手段和用于由片段生成标记语言文件的 手段，这两篇国际公开文献都以引用的方式并入本文。
授权给Limaye的美国专利US6642966公开了借助视频信号中的嵌入
的执行同步的手段。该关键字提供用于取回控制数据和相关文件的地址 以及从包含该关键字的当前帧开始记起的当要与视频 一起播放来自控制 数据文件的元数据时的未来时间的指示，从而指定了在未来何时执行控 制数据中包含的指令。与表示当前时间的时钟一起使用该未来时间，以 确定何时应当播放数据。不过，使用未来何时播放的指示以及与未来帧 相关的数据具有这样的问题，经常地会随机地访问所播放的视频，比如 暂停、倒放、快进等。由此，无法确保未来帧真正是在关键字数据中指 定的未来时间播放的。
本系统的目的是克服现有技术中的这些和其它缺点。
可以使用描述效果(灯光、音响和其它效果)的脚本来增强内容体 验，例如，观看电视或玩视频游戏。
本系统提供用于驱动/控制感观装置(比如环境光电视的灯)的与内 容流相关的预定脚本，取代视频/音频内容的实时分析。可以将脚本制作 成嵌入在实际内容流(例如，视频或音频)内。不过，制作实际内容鴻 的脚本部分可能需要标准化，这会增加家用多媒体系统的成本并且还可 能需要改变当前的传统器材。由此，在另一种实施方式中，可以从除了 内容流之外的不同来源得到和/或发布脚本。
本系统使用诸如水印嵌入技术之类的技术来将消费(例如，观看、 收听等)内容流的用户不能感知的信息嵌入到内容流中，以帮助实现内
容流与脚本流的同步。脚本流可以用于控制灯光、吹风器等，以提高用 户在消费内容(比如观看电视)时的体验。
简要地讲，本系统提供一种来自提供商的内容流，该内容流具有嵌 入数据，比如嵌入在内容流中的水印信息。在嵌入在例如内容流的一个 或多个帧中的水印信息中包含有时钟值。该时钟值涉及内容流起始的时 间和将水印嵌入到内容流中时的时间。由水印提取子系统接收带有嵌入 水印的内容流。由脚本输出生成器使用从嵌入在内容流中的水印中提取 出的时钟值来确认脚本流中与该内容流部分相应的位置。基于从水印中 提取出的时钟值，由脚本输出生成器定位脚本流，以与内容流的呈现同 步地产生效果输出。
提供了 一种使内容流与用于在多媒体系统中输出 一个或多个感观效果的脚本流同步的系统和方法。该系统和方法包括向内容流内嵌入至少 一个水印。该水印包括至少一个与嵌入时钟值时的时间有关的时钟值和 一个代表内容流起始的初始时钟值。接收器从内容流中提取出所嵌入的 包括时钟值的水印。接收器检索与内容和时钟值相应的脚本流部分。利 用该脚本流产生在用于效果控制器的效果信号中输出的一个或多个感，见 效果。该效果信号是与内容流的呈现同步地产生的。
在一种实施方式中，将内容标识符嵌入到水印中。接收器从水印中 提取出内容标识符，并且取回与该内容标识符相应的脚本流。
下面是说明性实施方式的介绍，在与附图相结合地阅读时，这些实 施方式展示了前面提出的特征和优点以及其它特征和优点。在下面的介 绍中，出于解释说明而不是限定的目的，提出了具体的细节来进行图解 说明，比如特定的体系结构、界面和技术等。不过，对于本领域普通4支 术人员而言，显然，仍然能够理解超出这些具体细节的其它实施方式仍 然处于所附权利要求的范围之内。而且，出于简明的目的，省略了公知 装置、电路和方法的详细介绍，以便不致混淆本发明的介绍。
应当明确地理解，引入附图是为了解释说明的目的，并不代表本系 统的范围。在附图中，不同附图中的相同附图标记指代相同的单元。
附

图1图解说明按照本系统的实施方式，借助水印时间信息使内容
流与脚本流同步的手段；
附图2图解说明按照本系统的实施方式，通过水印提取子系统和脚 本输出生成器之间的时间同步装置使内容流与脚本流同步的手段；和
附图3A和3B是按照本系统的实施方式的内容流和相应脚本流的图 解说明。
在附图1和2中示意性地示出了通过在内容中嵌入同步信息来实现 脚本/内容同步的本系统IO并且在此将对其进行介绍。虽然是说明性的，
但是下面的讨论将会从脚本流的角度对本系统进行讨论，但是本领域普 通技术人员将很容易意识到，该系统也可以应用于任何形式的脚本内容， 包括数据文件。由此，正如本文所使用的那样，我们的本意是，要将术 语"脚本流"理解为涵盖了各种这些其它形式的脚本内容。
参照附图1，在发布内容流12之前或者在传送内容流12期间(例如由广播台，由DVD生产商等)，以消费(观看、收听等)该内容的用户 不能分辨出的方式将时钟值14嵌入到内容流12中。例如，可以利用施 加水印来将时钟值14嵌入到内容中。消费该内容的用户应当不能够可感 觉地发现水印的存在，不过呈现该内容的装置能够检测到水印并且按照 嵌入在水印中的数据执行。例如，可以利用水印来控制内容的呈现。在 呈现内容时，从用户的角度看，与没有水印的内容的副本相比，水印应 当不会能感觉到地更改内容。
这样，可以将时钟值14嵌入在内容中，而不改变内容的呈现。按照 本系统，时钟值14是与内容流的开始以及将水印嵌入到该内容中的时间 有关的指示。
附图3A是内容流60和相应脚本流50的例子。如图所示，将内容流 60分为多个内容部分。这些内容部分与原本用来与这些内容部分同步地 执行的脚本部分相对应。各个内容部分具有嵌入到其中的水印，该水印 包括定时基准(例如，TO、 Tl等等)，并且与相同的各定时基准TO、 Tl 等相关的脚本部分用来与这些内容部分同步地呈现。换句话说，随着包 含嵌入水印中的TO的内容部分60的呈现，会同步地执行与该内容部分 相应的脚本部分。
在这一实施方式中，将内容流起始处的时钟值14设置为零。时钟值 14表示将该时钟值14嵌入到内容流中时的时间并且还涉及从内容流的 起始开始记起的时间。使用嵌入在给定内容部分的水印中的这一时钟值 14，本系统可以确定脚本流的哪些部分与内容流的当前部分相对应，从 而可以与该内容流部分同步地呈现所确定的脚本流部分。
例如，对于打算用于电视显示的内容流，可以利用在内容流的开始 端处被初始化的时钟值14为内容流的一个或多个帧施加水印。在水印提 取子系统16接收到各个内容部分时，从嵌入在该内容部分中的水印中提 取出所嵌入的时钟。然后利用从内容部分中提取出的嵌入时钟来确定与 该内容部分相对应的脚本部分。按照这种方式，在例如用户为了呈现而 访问(不管是通过顺序访问还是随机访问)带有包含时间值T2的水印的 内容部分(例如，快进、倒放等)时，由脚本输出生成器28检索要在这 一时刻启用的脚本部分(例如，所示的与T2相对应的脚本部分)或者它 的某一部分，对其进行转换，并且可以将其提供给效果控制器18 (实际 上可以是一个或多个效果控制器)，以便呈现与内容部分T2的呈现同步 的效果。
在这一实施方式中，示出了插入在内容60中的广告部分。不过，应 该注意的是，广告部分没有嵌入时钟值14,由此，水印提取子系统16 将不会从广告部分中提取出水印并且脚本输出生成器将不会从脚本服务 器20中检索脚本部分。尽管如此，仍然会将广告部分提供给内容播放装 置32 (比如电视)，以便进行呈现。在这一实施方式中，在传输内容流 的广告部分期间，可以停止时钟24并且然后在广告部分之后重新开始。 这样，广告部分之后的内容部分接收到用于嵌入的时间值T3，该时间值 是在没有插入广告部分的情况下内容部分应该接收到的同一时间值。随 后，当访问带有包含时间值T3的水印的内容部分时，脚本输出生成器28 检索此时要启用的脚本部分(例如，所示的与T3对应的脚本部分)并且 可以将该脚本部分提供给效果控制器18，以便与内容部分T3的呈现同步 地呈现效果。
在另一种实施方式中，其中时钟24不是在内容的起始启动的，嵌入 在内容部分中的水印可以包括运行时钟值(例如，并不是在内容流的起 始时间-TO处起始的时钟值)以及表示内容的起始时间的偏移量。附图 3B表示这样的内容70:其中将水印表示为是针对内容70的各个帧或帧 组嵌入的。按照本系统，所嵌入的水印包括两个不同的时间基准，即以 内容70开始时的运行时钟为基准的时间(例如，TFO)和以具体内容部 分开始时的运行时钟为基准的时间(例如，TRO、 TR1等)。这样，类似 于前面介绍的实施方式，本系统可以总是及时地确定当前内容部分如何 与内容70的运行开始时间相关联。利用这一确定结果(例如，TRO减去 TFO)，脚本输出生成器28可以再次确定适当的脚本部分，以从脚本服 务器20中检索。在这一实施方式中，时钟24可以在穿过广告序列时继 续运行，只要对于广告之后的内容部分，脚本输出生成器28将广告持续 时间考虑进来即可。例如，可以对广告部分之后的内容部分的起始时间
(例如，TFO)进行更新，以反映新的内容起始时间，该新的内容起始时 间是以运行时钟为基准的原始内容起始时间加上广告部分的持续时间
(例如，TFO加上TC)。这样，脚本输出生成器28可以不计广告部分的 持续时间，以实现例如与内容部分TR3以及随后的广告部分相应的脚本 部分。
内容流12可以通过某种发布/传输渠道进行发布，包括通过广播频
道、因特网、经由光学介质(比如数字通用盘(DVD))等，并且这样， 将包括水印信息的内容流12提供给终端用户。
脚本可以由脚本服务器20提供，在实施方式中，脚本服务器20通 过与内容相同的发布系统发布脚本，比如通过因特网。脚本可以与内容 一起发布，或者可以与内容分开发布并且由例如为内容提供预先设计好 的脚本的另一个源提供。例如，内容可以通过广播频道提供，比如可以 用于发布脚本的电视频道。按照另外一种可选方案，可以通过广播频道 提供内容，而由服务器20通过因特网提供脚本。在再另一种实施方式中， 服务器20可以简单地是一个可以由本地DVD播放器访问的、包含脚本的 DVD或者处于用户本地的计算机可读介质。按照本系统，不管内容和脚本 是如何接收的，本系统都能够与脚本同步地播放该内容。
在该说明性的实施方式中，由脚本服务器20提供预先定义的脚本来 驱动效果控制器18。这些脚本的优点是，它们能够实现比实时内容分析 更加高级的效果，因为脚本不必单一地基于内容素材，而是可以基于专 业脚本设计人员的艺术创造力。
应当清楚地理解，由脚本控制的效果可以涉及声音、温度、风、振 动等，并且仅仅受到设计者想象力和用户可用的效果器材的限制。按照 本系统，在脚本的控制下，由效果控制器18与内容同步地输出适当的效 果，
如附图1中所示，在内容发布装置22中，如前所述那样由时钟24 将时钟值14插入到内容流中的水印信息内。由内容发布网络22输出的 内容流26包括该内容流26中的时钟值14。该内容流26由发布装置22 发出并且由水印提取子系统16接收。水印提取子系统16从内容部分中 提取出水印和时钟值14并且将该时钟值14发送到脚本输出生成器28。 从内容的这一部分接收到的时钟值14决定在该内容部分呈现期间要从脚 本输出生成器28向效果控制器18输出哪种脚本效果。
可以包括适当的緩存装置作为水印提取子系统16和/或脚本输出生 成器28的一部分，以便用来调整由于任一个装置中的处理延迟造成的传 输时间。这样， 一旦确定了用来与给定内容部分一起呈现的适当脚本部 分，就以同步的方式一起呈现该内容部分和该脚本部分。在搮作期间， 可以将标准緩存时间与任一个装置相关联和/或脚本输出生成器可以控 制水印提取子系统16来在与由脚本输出生成器28输出的效果信号34同
步的延迟后的时刻向内容呈现装置(示为内容播放装置32)提供内容。 在另一种实施方式中，水印提取子系统16可以控制脚本输出生成器在与 内容向内容播放装置32的提供同步的延迟后的时刻向效果控制器18提 供效果信号34。在另一种实施方式中，在内容呈现通道和脚本呈现通道 中可能存在固定的延迟。如果是这样的话，脚本输出生成器中的偏移量 (例如，緩存)足以解决这一问题。这一偏移量可以通过分析所引入的 实际延迟来加以校正。不过，该偏移量可以是正的也可以是负的。在负 值的情况下，可以使内容略微延迟。在任何情况下，内容都可以与效果 的呈现同步地以连续或随机的方式得到呈现。
参照附图2,脚本输出生成器28包括时基调节构件38和脚本引擎 40。脚本引擎40分析脚本流并且输出包括一个或多个可以控制一个或多 个用于输出感观效果的实景装置的片段的脚本信号34。如附图2中所示， 从内容部分的嵌入水印中取出时间值。时基调节构件38接收这一时间值， 在时基调节构件38中，可以将修正系数与当前时间值进行组合，以得到 经过更新的时钟值。将经过更新的时钟值与视频中的当前时钟值进行比 较，并且由脚本引擎40和/或水印提取子系统16中緩存器对这些流进 行适当调整，从而使内容和脚本在呈现期间得到同步。
在水印提取子系统16不检测内容部分中的水印的情况下，该系统可 以进入不产生灯光效果的模式，比如在检测到广告部分的时候，或者灯 光效果可以基于内容部分的本地实时内容分析。
在一种实施方式中，水印提取子系统16和脚本输出生成器28可以 包含在模块30中，如附图1中所示。这样，可以将该模块简单地插入 在内容的来源和用于操作的内容呈现装置之间。在其它一些实施方式中，
;装置中，以使得i传统丄置能够按照本系、统进行操作。
本系统可以用于脚本流与内容流(例如音频、视频)的同步，以增 强用户对内容的体验。本系统可以用在所有种类的呈现装置中，针对所 有类型的内容将灯光或其它增强效果与内容流对应起来。例如，可以针 对随同可由脚本引擎递送的附加效果一起呈现给用户的音频、视频、音 频/视频、游戏等内容使用本系统。在一种实施方式中，希望水印时基 即使在一次或多次压缩和解压缩循环之后仍然保留在内容流中.在这一 实施方式中，水印可以是持久水印，从而即使在数模转换、压缩等之后
仍然可以从内容中检索水印和所嵌入的时间值。以这种方式，不需要更
换传统器材(比如传统机顶盒、DVD播放器/记录器等)并且不需要对操 纵或发布内容的方式施加额外的约束，就可以利用基于脚本的内容增强
(例如，与内容同步地响应于脚本改变颜色和强度的光)。这样可以将 附图1的水印提取子系统16和脚本输出生成器28插入在标准装置(包 括机顶盒、DVD播放器等)和内容呈现装置(包括电视)之间。
本系统还能够实现要与内容同步传递的多个可用脚本之一的传递。 例如，所传递的内容可以具有包含在内容传递中的基本脚本。可以如本 文介绍的那样操作这一脚本。不过，可以通过单独的渠道得到增强脚本
(例如，具有额外和/或增强效果的脚本)和/或可以付费得到增强脚 本。按照本系统，不管这一附加脚本是如何和从哪里得到的和/或如何 和从哪里传递来的，都可以取代基本脚本，与内容同步地呈现该附加脚 本。
此外，与内容相对应的脚本的选择可以是按照用户的意愿进行的。 在一种实施方式中，还可以由脚本输出生成器利用嵌入在内容部分中的 水印来确定内容(内容ID)。这样，拥有内容ID的脚本输出生成器可以 从多个可用脚本(其中一部分可能与其它内容相应)中确定出可在脚本 服务器20处得到的相应脚本。响应于内容ID,本系统可以为用户提供选 择和/或购买与内容相应的脚本的选项，该脚本可能是可从脚本服务器 中得到的多个脚本当中选择和/或购买的。
此外，可以如上所述那样与其它内容部分一样地对待广告部分。这 样，可以与广告部分同步地呈现效果，以增强广告部分的呈现效果。
已经参照附图介绍了本发明的实施方式，应该理解，本发明并不局 限于确切的实施方式，并且本领域技术人员可以在其中实施各种不同的 改变和修改，而不会超出所附权利要求中定义的范围或思想。
在解释附加的权利要求时，应当理解
a) 词"包括"并不排除除了给定权利要求中所列出的单元或动作之外 还存在其它单元或动作的可能；
b) 置于单元前面的词"一"或"一个"并不排除存在多个这种要素的可能。
c) 权利要求中的任何附图标记都不限定它们的范围；
d) 数个"构件"可以由同一个制品或硬件或者软件实现的结构或功能 代表。
e)任何所公开的单元可以由硬件部分(例如，包括分立的和集成的 电子电路)、软件部分(例如，计算机程序)和它们的任何组合构成； f )硬件部分可以由模拟和数字部分之一或二者构成；
g) 任何所公开的装置或其组成部分可以组合在一起或者分散成更多 的部分，除非另有iJC明；和
h) 动作或步骤都不需要有特定的顺序，除非另有说明。
权利要求
1.一种使内容流与用于在多媒体系统中输出一个或多个感观效果的脚本同步的方法，该方法包括下列动作向内容流中嵌入至少一个水印，该水印至少包括与嵌入时钟值时的时间有关的时钟值和代表内容流之起始的初始时钟值；从内容流中提取出各个水印中的各个时钟值；检索内容和时钟值相应的脚本，该脚本代表要在效果控制器的效果信号中输出的一个或多个感观效果。
2. 按照权利要求l所述的方法，包括将内容流传递给内容呈现装 置以便与所检索的脚本同步地呈现的动作。
3. 按照权利要求2所述的方法，包括对内容流的传递进行延迟， 直到检索到脚本并且准备好呈现的动作。
4. 按照权利要求2所述的方法，其中如果没有从内容流中提取出 时钟值，则缺省操作模式不提供脚本。
5. 按照权利要求2所述的方法，包括动作 如果没有从内容流中提取出时钟值，则对内容流进行分析；和 基于经过分析的内容流提供额外的效果[内容分析并不会得到本发明意义上的类似脚本]。
6. 按照权利要求1所述的方法，包括动作 在水印内嵌入内容标识符；和从水印中提取出内容标识符，其中脚本的检索包括检索与该内容标 识符相应的脚本。
7. 按照权利要求1所述的方法，其中对于各个内容流，有多个脚本可用，该方法包括选择多个可用 脚本中的 一个脚本来进行检索的动作。
8. 按照权利要求1所述的方法，包括为用户提供选择多个可用脚本中的一个脚本来进行检索的选项 的动作。
9. 一种用于使所接收的内容流与用于在多媒体系统中输出 一个或 多个感观效果的脚本同步的接收器，该接收器包括水印提取器，构成为用来从内容流中提取出水印，该水印至少包括 与在内容中嵌入水印时的时间以及内容流的起始有关的时钟值； 脚本同步器，构成为用来提供与内容和时钟值相应的脚本，该脚本 代表构成为用来在用于效果控制器的来自于脚本同步器的效果信号中输 出的一个或多个感观效果，脚本同步器构成为用来与内容的呈现同步地 产生输出。
10. 按照权利要求7所述的接收器，其中如果水印提取器没有提取 出时钟值，则脚本同步器构成为用来不提供脚本。
11. 按照权利要求7所述的接收器，其中如果没有从内容流中提取 出时钟值，则脚本同步器构成为用来分析该内容流并且基于经过分析的 内容流提供附加效果。
12. 按照权利要求7所述的接收器，其中脚本同步器构成为用来从 水印中提取出内容标识符，并且构成为用来检索与该内容标识符相应的 脚本。
13. 按照权利要求7所述的接收器，其中对于各个内容流，有多个 脚本可用，并且其中脚本同步器构成为用来选择多个可用脚本中的一个 脚本来进行检索。
14. 按照权利要求7所述的接收器，其中对于各个内容流，有多个 脚本可用，并且其中脚本同步器构成为用来为用户提供选择多个可用脚 本中的一个脚本来进行检索的选项。
15. 按照权利要求7所述的接收器，其中脚本同步器的输出构成为 用来控制从由灯光、音响、振动、温度、风、气味和流体构成的组中选 择出的一种或多种感观效果。
16. 按照权利要求7所述的接收器，其中脚本同步器构成为用来从 脚本服务器检索脚本。
17. —种用于提供与脚本同步的内容流的发射器，该发射器包括 时钟，构成为用来生成时钟值；水印插入器，构成为用来向内容流内插入水印，该水印包括至少来 自时钟的、与内容中嵌入水印时的时间以及与内容流的起始有关的时钟 值。
18. 按照权利要求15所述的发射器，其中水印插入器构成为用来 向水印内插入内容标识符。
19. 按照权利要求15所述的发射器，其中时钟构成为用来生成内 容流开始时的初始时钟值。
全文摘要
在内容流中嵌入水印，所述水印包括至少涉及嵌入时钟值时的时间的时钟值和代表内容流起始的初始时钟值。接收器从内容流中提取出所嵌入的包括时钟值的水印。接收器检索与内容和时钟值相应的脚本部分。利用该脚本产生在效果控制器的效果信号中输出的一个或多个感观效果。该效果信号是与内容流的呈现同步地产生的。在一种实施方式中，可以将内容标识符嵌入到水印中。接收器从水印中提取出内容标识符，并且检索与该内容标识符相应的脚本。
文档编号G06T1/00GK101346741SQ200680048970
公开日2009年1月14日 申请日期2006年12月13日 优先权日2005年12月22日
发明者J·B·A·M·霍尔斯坦, M·H·弗伯克特, W·A·H·伯克文斯 申请人:皇家飞利浦电子股份有限公司