专利名称：用于使得第一媒体项和第二媒体项能够同时再现的方法和装置的制作方法
技术领域：
本发明涉及用于使得笫一媒体项和第二媒体项能够同时再现的方 法和装置。
背景技术：
为了观看者的利益再现媒体项，并且媒体项既可以提供视频刺激 又可以提供听觉刺激。例如音频轨道(例如歌曲)的一些媒体项仅提 供听觉刺激，而有时，为了增加观看者的乐趣，期望提供视觉刺激和 听觉刺激。
存在许多系统，用于在收听一曲音乐或歌曲的再现的同时，提供 待再现的图像(静止图像或视频剪辑)。随着回放音乐而显示图像。 不变地，选择与歌曲的主题有关(例如与歌词或元数据关联)的图像。
在G. Geleijnse， J.Korst，和V. Pronk的文章"Google-based inf ormat ion extract ion" ( Proceedings of the 6th Dutch-Belgian Information Retrieval Workshop(DIR 2006)， Delf t， the Netherlands 2006年3月)中，提出了一种用于通过使用搜索引擎自动地提取信息 的方法。该方法以自动提取的关于名人的传记而得以实现。从Web自 动地提取与每一条目一起显示的图像。通过此方式，图像与文本在语 义上有关。
其它已知的系统也从歌曲的歌词自动检索并且显示图像，所述已
知的系统例如在"A personal ized music video creator" ( D. A. Shamma
B. Pardo， and K.J.Hammond .Musicstory，
MULTIMEDIA ，05 : Proceedings of the 13th annual ACM international
comference on Multimedia,第563-566页，New York, NY， USA, 2005.
ACM Press)中找到的示例。歌词中的异于十分常用的词语(比如"这 个"、"一"、"所有")的每个词语被放置在有序列表中。将列表中的所有词语作为查询而发送到搜索引擎(例如Google或Yahoo!)。 以与对应项相同的顺序显示这种服务所返回的图^(象。
然而，后一系统的问题是，它没有如所期望的那样增加观看者的 乐趣。
发明内容
本发明寻求提供一种用于使得能够同时再现第一媒体项和第二媒 体项的方法和装置，所述方法和装置增加了再现所述媒体项的用户的 乐趣。
根据本发明一方面，通过一种用于使得第一媒体项与第二媒体项 同步的方法来实现该目的，所述方法包括以下步骤从与第一媒体项 有关的数据中提取至少一个数据项；基于所提取出的至少一个数据项 选择至少一个第二媒体项；使所述第一媒体项与所选择的至少一个第 二媒体项同步，从而在再现所述第一媒体项期间，在所述提取出的至 少一个数据项出现的同时，再现所述所选择的至少一个第二媒体项。 与所述第一媒体项有关的所述数据可以是第一媒体项的一部分，或者 与第一媒体项分开存储。
根据本发明第二方面，还通过用于使第一媒体项和第二媒体项同 步的装置来实现该目的，所述装置包括提取器，用于从与第一媒体 项有关的数据中提取数据项；选择器，用于基于所提取出的数据项选 择至少一个第二媒体项；同步器，用于使所述第一媒体项与所选择的 至少一个第二媒体项同步，从而在再现第一媒体项期间，在所述提取 出的数据项出现的同时，再现所述所选择的至少一个第二媒体项。
通过此方式，使第一媒体项与第二媒体项同步。例如，如果第一 媒体项是歌曲，而笫二媒体项是静止图像或视频图像，则使得歌曲与 图像同步，从而当唱出歌词时，再现对应图像。
在本发明实施例中，从与第一媒体项有关的数据中提取至少一个 数据项的步骤包括以下步骤从与所述第一媒体项有关的文本数据中 提取所述至少 一个数据项。
根据本发明的这种实施例，所述文本数据包括多个词语和短语， 并且其中，从与所述第一媒体项有关的文本数据中提取所述至少一个 数据项的步骤包括以下步骤从所述多个词语和短语中提取词语或短语中的至少一个。
在根据本发明的这种实施例的优选方法中，所述文本数据包括合 适的名字、名词或动词中的至少一个。
根据本发明的这种实施例，从所述多个词语和短语中提取词语或
短语中的至少一个的步骤包括以下步骤识别所述多个词语中的每一 个的角色；以及基于所述多个词语的识别出的角色，从所述多个词语 中提取短语。通过此方式，可以提取整个短语。换句话说，识别出多 个项(例如"一排房屋，，或"高技术园区")，这导致提取更相关的 图像。
在本发明的替换实施例中，从与第一媒体项有关的数据中提取至 少一个数据项的步骤包括以下步骤确定与所述第一媒体项有关的所 述数据的每一数据项的出现频率；以及提取与所述第一媒体项有关的 所述数据的较不频繁使用的数据项。通过此方式，提取更相关的数据 项。例如，如果数据项包括词语，则将不提取最频繁使用的词语(例 如"这个，，、"它"、"他，，，"一")，仅提取更相关的词语，导
致更相关的图像。
在本发明另一实施例中，从与第一媒体项有关的数据提取至少一 个数据项的步骤包括以下步骤从所述第一媒体项的所述数据的一部 分提取多个数据项；并且，基于所述提取出的至少一个数据项，选择 至少一个第二媒体项的步骤包括以下步骤基于所述多个提取出的数 据项，检索多个第二媒体项；为所述多个提取出的数据项中的每一个 选择最相关的检索到的第二媒体项。
在根据本发明的这种实施例的优选方法中，从所述第一媒体项的 所述数据的一部分中提取多个数据项的步骤包括以下步骤基于名字、 名词、动词或长度中的准则之一，对所述多个数据项排列优先级。通 过此方式，可以提取更有意义的数据项。
在本发明另一实施例中，基于所述提取出的至少一个数据项选择 所述至少一个第二媒体项的步骤包括以下步骤将第一媒体项划分为 至少一个片段；基于从与所述至少一个片段有关的所述数据提取的所 述至少一个数据项，选择多个第二媒体项；确定所迷多个第二媒体项 中的每一个的再现持续时间；确定所述至少一个片段的持续时间；以 及在所述片段内选择待再现的所述多个第二媒体项的数量。通过此方式，可以在每一片段内再现最佳数量的第二媒体项。
在本发明另一实施例中，所述方法还包括以下步骤识别在所述 所选择的至少一个第二媒体项中的主要颜色。通过此方式，识别与所 述第二媒体项最相关的颜色，并且因此识别与所述第 一媒体项最相关 的颜色。例如，如果所述第一媒体项是歌曲，则将识别与所述歌曲的 歌词或主题最相关的颜色。
根据本发明的这种实施例，使第一媒体项与所选择的至少一个第 二媒体项同步的步骤包括以下步骤使所迷第 一 媒体项与所识别出的 主要颜色同步，从而在笫一媒体项的再现期间，在所述提取出的至少 一个数据项出现的同时，显示所述识别出的主要颜色。通过此方式， 在与再现所述对应数据项的相同时间戳，显示所述最相关的颜色。
在本发明的替换实施例中，所述方法还包括以下步骤手动定义 颜色到提取出的至少一个数据项的映射。
根据本发明的这种实施例，使所述第一媒体项与所述所选择的至 少一个第二媒体项同步的步骤包括以下步骤使得所述第一媒体项与
所定义的颜色的映射同步，从而在再现所述第一媒体项期间，在所述 提取出的至少一个数据项出现的同时，显示所定义的颜色的映射。
当再现所述第一媒体项时，颜色可以改变，并且不同颜色之间的 这些转换优选地是平滑的，从而在视觉上令用户更感愉悦。
根据本发明的一个实施例，所述第一媒体项和所述第二媒体项是 音频数据流、视频数据流、图像数据或颜色数据之一。
为了更完整地理解本发明，结合附图参照以下描述，附图中 图l是根据本发明的实施例的装置的简化示意图； 图2是根据本发明的实施例的用于使得能够同时再现第一媒体项 和第二媒体项的方法的流程图3是根据本发明的实施例的检索最相关的第二媒体项的过程的 流程图；以及
图4是根据本发明的另一实施例的用于使得能够再现第一媒体项 和颜色的方法的流程图。
具体实施例方式
参照图1，本发明实施例的装置100包括输入端子101，用于输入 第一媒体项。输入端子101连接到提取器102。提取器102的输出连接 到选择器103,选择器103用于从存储装置108中检索并且选择一个或 多个第二媒体项。存储装置可以包括例如本地盘驱动器上的数据库、 或远程服务器上的数据库。可以经由专用网络或因特网来访问存储装 置108。选择器103的输出连接到同步器105。同步器105还连接到输 入端子101。同步器的输出连接到装置100的输出端子106。输出端子 106连接到呈现设备107。装置100可以是例如消费者电子设备(例如 电视或PC)。存储装置108可以是例如硬盘、光盘单元或固态存储器。 例如，输入端子101、提取器102、选择器103和同步器105可以是以
软件来实现的功能。
现将参照图2至图4来描述图1的装置100的操作。在输入端子 101上，并且因此在提取器102上，输入第一媒体项(图2的步骤202 )。 第一媒体项可以是例如音频数据流、视频数据流、图像数据或颜色数 据。提取器102从第一媒体项提取至少一个数据项(步骤204 )。
可以从与第一媒体项关联的文本数据(即多个词语和短语)中提 取数据项，例如与歌曲关联的歌词。所提取的数据项于是将包括由合 适的名字、名词或动词组成的词语或短语 。
合适的名字可以是例如"George W. Bush"、"高技术园区，，。合 适的名字确定了文本的主题，并且很适合用一个或多个图像来表示。 可以使用已知的技术和应用来提取这些命名的实体。可以在"AMaximum Entropy Approach to Named Entity Recognition" (A. Brothwick， PhD thesis, New York Universi ty， 1999))和"Named ent ity recognition using an hmm-based chunk tagger" (G.Zhou and J. Su， Proceedings of the 40th Annual Meeting of the Association for Computational Ungusttics (ACL 2002)，第473-480页，Philadephia， PA， 2002)以 及"A f ramework and graphical development environment for robust nip tools and applications ，， (H. Curmingham， D. Maynard， K. Bontcheva， and V. Tablan， Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002)， Philadelphia, PA， 2002)中找到这些4支术和应用的示例。应理解，提取技术和应用不限于所提供的示例。可以采用其它的很适合 的替换方案，例如提取大写单词的序列。
可以提取名词短语，例如"大型黄色计程车，，和"小型红色巡洋 舰，，。可以通过首先识别多个词语中的每一个的角色(例如动词、名 词、形容词)而从该多个词语中提取名词短语。可以通过使用例如在
"A simple rule—based part-of-speech tagger ，， (E. Brill, Proceedings of the third Conference on Applied Natural Language Processing (ANLP，92),第152-155页，Trento， Italy, 1992)中所描 述的"词性标注器，，来识别每一词语在文本中的角色。于是可以基于 所述多个词语的所识别出的角色来从所述多个词语中提取短语。可选 地，可以对词性的正则表达式(regular expression)进行公式化， 以从文本提取名词短语。例如，副词，后接正数个形容词，后接正数 个名词(Adv. Adj+ 'NouiT)是描述用语的正则表达式，如在"Automatic recognition of multi-word term: the c-value/nc-value method" (K. Frantzi， S. Ananiado， and H.Mima, International Journal on Digital Libraries, 3: 115-130， 2000)中所公开的那样。
动词可以是例如"滑雪"，"驾车"，"发明，，。可以使用词性 标注器来识别句子中的动词。可以使用禁止列表来忽略系动词，例如 "像是"，"是"，"具有"'
根据本发明，有许多可能的方法可以用于在步骤204中从第一媒 体项中提取数据项。
一种这样的方法使用统计方法来提取数据项。在这种方法中，通 过确定第一媒体项的每一数据项的出现频率来提取数据项。例如，假 设第一媒体项包括文本，并且数据项是词语。在这种示例中，使用训 练语料库(training corpus)(大的代表性文本)来收集出现在该文本 中的所有词语序列的频率。这种方法用于单个词语用语(1-grams)、 由两个词语组成的用语(2—grams)、以及通常N-grams (在此，N典 型地最多是4)。可以在"Foundations of Statistical Natural Language Processing" (C. D. Manning and H. Schtitze， The MIT Press, Cambridge, Massachusetts, 1999)中找到这种方法的示例。在这种方 法中，将最频繁出现的N-grams (例如"是"、"他"、"它")看作 对于选为用语无用的停止词语。 一旦已经确定了第一媒体项的每一数据项的出现频率，于是就提取笫一媒体项的较不频繁使用的数据项。
在根据本发明的用于从笫一媒体项提取数据项的另一方法中，分 配下频率阈值和上频率阈值，并且提取在这些阈值之间的用语(步骤
204 )。上频率阈值和下频率阈值之间的用语是很适合用来产生图像的 短语。
用于提取数据项(步骤204 )的另一技术是基于名字、名词、动 词或长度的准则之一来提取数据项，并且对它们赋优先级。例如，如 果数据项是短语，则可以基于长度来对它们赋优先级，由于较长的短 语被认为更重要，因此较长的短语优先级高于较短的短语。
提取出的数据项从提取器102输出，并且输入到选择器103中。 选择器103访问存储装置108,并且基于提取出的数据项来检索至少一 个第二媒体项、音频数据流、视频数据流、图像数据或颜色数据(步 骤206 ) D
现将参照图3更详细地描述检索最相关的第二媒体项的过程(图2 的步骤206 )的示例。为了清楚地描述，假设提取出的数据项是短语， 并且待检索的笫二媒体项是图像。在该示例中，从公共图像索引库(例 如"Google Images")检索第二媒体项。换句话说，经由因特网访问 存储装置108。应理解，仅作为示例而使用公共索引库。也可以使用本 地库(例如私人索引图像集)。
首先，对于每一短语P，经由因特网查询"p"的库(步骤302 )。 引号通知索引库搜索完整的短语。然后确定搜索引擎是否已经返回足 够数量的结果(步骤304 )。如果确定搜索引擎已经返回了足够数量的 结果，则提取并且显现已经找到的图像(步骤306 )。
然而，如果查询没有产生足够数量的结果，则确定结果的数量(步 骤310)。
如果确定出结果太少(即结果不足)，则扩展查询(步骤312)。 可以通过例如以下操作来扩展查询移除引号并且查询p(从而分开搜 索短语中的每一词语)，或者移除p中的第一个词语。假设p中的第 一个词语是最不相关的用语。 一旦已经扩展了查询，就重复查询(步 骤302 )。
另一方面，如果确定出结果太多(例如，如果索引库返回许多命 中结果)，则缩小查询(步骤314)。例如，可以通过对连续的短语进行组合来缩小查询。 一旦已经缩小了查询，就重复查询(步骤302 )。 重复该过程，直到搜索引擎返回足够数量的结果。 一旦返回了足 够数量的结果，索引库就提取并且显现已经找到的图像(步骤306 )。 可以对显现的图像进行分析，以按查询确定最相关的图像(步骤308 )。 例如，最相关的图像可能是出现在多个站点上的图像。因此，确定哪 个图像出现在最多的站点，并且选择它们并将其返回。
在另一方法中，如下选择第二媒体项。将第一媒体项划分为片段， 然后基于为每一片段所提取的数据项来检索多个第二媒体项(例如图 像)(步骤208 )。然后可以在该片段内选择若干待再现的第二媒体项。 可以通过确定该多个第二媒体项中的每一个的再现持续时间以及该片 段的持续时间来实现该操作。然后基于该片段的持续时间除以该多个 第二媒体项的再现持续时间而在该片段内选择要再现的该多个第二媒 体项的数量。
一旦已经选择了第二媒体项，就将该选择输入到同步器105。在输 入端子101上输入的笫一媒体项也输入到同步器105。同步器105使得 第一媒体项和所选择的一个或多个第二媒体项同步，从而在再现第一 媒体项期间，在对应的提取出的数据项出现的同时，再现所选择的第 二媒体项(步骤210 )。通过此方式，例如，可以制作自动的视频剪辑， 其中，在再现歌曲期间，在该歌曲的对应歌词出现的同时，显示所选 择的图像。
在同步操作之后，同步器105的输出被输出到输出端子106上， 并且在呈现设备107 (例如计算机屏幕、投影仪、TV、与扬声器结合的 彩色灯等)上再现。
现将参照图4描述本发明的替换实施例。在本发明的替换实施例 中，所选择的第二媒体项可以进一步用于创建与第一媒体项的主题匹 配的灯光效果。例如，如果第一媒体项是歌曲，而第二媒体项是图像， 则可以使用该图像来创建与该歌曲的主题匹配的灯光效果。
根据本发明的替换实施例，首先执行图2的步骤202至步骤208 (步骤402 )。
接下来，选择器103识别在所选择的第二媒体项中的主要颜色(步 骤404 )。例如，如果提取出的第二媒体项是图像，则从该图像识别主 要颜色。然后，如果歌曲与大海有关，例如，蓝色将在图像中占主导，并且因此将得以识别。
一旦在步骤404已经识别了主要颜色，就将其输入到同步器105。 同步器105使得第一媒体项与识别出的主要颜色同步，从而在再现第 一媒体项期间，在提取出的数据项出现的同时，显示识别出的主要颜 色(步骤406 )。识别出的主要颜色可以用在情景(ambilight)灯光 应用中，其中，彩色灯增强了听觉效果。应理解，前面所讨论的使得 第一媒体项与所选择的第二媒体项同步的操作可以进一步用于对待显 示颜色进行定时。例如，可以从为第一提取出的数据项所检索的第二 媒体项中识别主要颜色蓝色，并且从为第二提取出的数据项所检索的 第二媒体项中识别主要颜色红色。在此情况下，在再现第一媒体项期 间，在第一提取出的数据项出现的同时，将显示颜色蓝色，而在第二 提取出的数据项出现的同时，将显示颜色红色。
可选地，可以手动定义颜色到提取出的数据项的映射。在此情况 下，对于在第一媒体项中预定数量的提取出的数据项，省略从一组第 二媒体项中识别主要颜色的步骤(步骤404 )。取代的是，对于该预定 数量的提取出的数据项，手动定义颜色映射。例如，如果预定的提取 出的数据项是词语(例如"紫色"或"法拉利，，)，则在步骤404，可 以手动定义到人们将其与词语相关的颜色的映射。
一旦在选择器103处已经定义了颜色的映射，就将它输入到同步 器105中。同步器105使得第一媒体项与所定义的颜色的映射同步， 从而在再现第一媒体项期间，在提取出的数据项出现的同时，显示所 定义的颜色的映射(步骤406 )。
在同步之后，同步器105的输出被输出到输出端子106上，并且 在呈现设备107上得以再现(步骤408 )。
随着第一媒体项的再现，颜色改变。在不同颜色之间的这种转变 优选地是平滑的，以便在视觉上令用户更感愉悦。
虽然在附图中已经示出本发明实施例并且在先的详细描述中已经 描述了本发明实施例，但应理解，本发明不限于所公开的实施例，而 是能够在不脱离如在所附权利要求书中陈述的本发明的范围的情况下 进行许多修改。本发明存在于每一新颖的特有特征以及特有特征的每 一组合。权利要求中的标号并非限制它们的保护范围。使用动词"包 括"及其变形并不排除在权利要求中所陈述的那些元件之外的元件的存在。在元件之前使用冠词"一"并不排除多个这种元件的存在。
本领域技术人员应理解，"装置"意味着包括操作中再现指定功 能或被设计为再现指定功能的任何硬件(例如分离或集成电路或电子 元件)或软件(例如程序或程序部分)，无论单独地还是与其它功能 结合，无论隔离还是与其它元件协作。可以通过包括若干不同元件的 硬件以及合适地编程的计算机来实现本发明。在列举若干装置的装置 权利要求中，可以通过同一个硬件项来实施若干这些装置。"计算机 程序产品，，应理解为是指存储在计算机可读介质(例如软盘)上的、 可经由网络(例如因特网)下载的，或以任何其它方式市售的任何软 件产品。
权利要求
1.一种用于使得能够同时再现第一媒体项和第二媒体项的方法，所述方法包括以下步骤从与第一媒体项有关的数据中提取至少一个数据项；基于所述提取出的至少一个数据项，选择至少一个第二媒体项；以及使所述第一媒体项与所述所选择的至少一个第二媒体项同步，从而在再现所述第一媒体项期间，在所述提取出的至少一个数据项出现的同时，再现所述所选择的至少一个第二媒体项；。
2. 根据权利要求1的方法，其中，从与第一媒体项有关的数据中 提取至少一个数据项的步骤包括以下步骤从与所述第一媒体项有关的文本数据中提取所述至少一个数据项。
3. 根据权利要求2的方法，其中，所述文本数据包括多个词语和 短语，并且其中，从与所迷第一媒体项有关的文本数据中提取所述至 少一个数据项的步骤包括以下步骤从所述多个词语和短语中提取词语或短语中的至少一个。
4. 根据权利要求3的方法，其中，所述文本数据包括合适的名字、 名词或动词中的至少一个。
5. 根据权利要求3或4的方法，其中，从所述多个词语和短语中 提取词语或短语中的至少一个的步骤包括以下步骤识别所述多个词语中的每一个的角色；以及基于所述多个词语的所述识别出的角色，从所述多个词语中提取 短语。
6. 根据前述权利要求中的任何一项的方法，其中，从与第一媒体 项有关的数据中提取至少一个数据项的步骤包括以下步骤确定与所述第一媒体项有关的所述数据的每一数据项的出现频率；以及提取与所述第一数据项有关的所述数据的较不频繁使用的数据项。
7. 根据前述权利要求中的任何一项的方法，其中，从与第一媒体 项有关的数据提取至少一个数据项的步驟包括以下步骤从与所述第一媒体项的所述数据的一部分提取多个数据项；并且 其中，基于所述提取出的至少一个数据项，选择至少一个第二媒体项的步骤包括以下步骤基于所述多个提取出的数据项中的每一个，检索多个第二媒体项； 对于所述多个提取出的数据项中的每一个，选择最相关的所述检索到的第二媒体项。
8. 根据前述权利要求中的任何一项的方法，其中，基于所述提取 出的至少一个数据项，选择所述至少一个第二媒体项的步骤包括以下 步骤将所述第一媒体项划分为至少一个片段；基于从与所述至少一个片段有关的数据中提取出的所述至少一个 数据项，检索多个第二媒体项；确定所述多个第二媒体项中的每一个的再现持续时间； 确定所述至少一个片段的持续时间；以及 在所述片段内选择待再现的若干所述多个第二媒体项。
9. 根据前述权利要求中的任何一项的方法，还包括以下步骤 识别在所述所选择的至少一个第二媒体项中的主要颜色。
10. 根据权利要求9的方法，其中，使所述第一媒体项与所述所选 择的至少一个第二媒体项同步的步骤包括以下步骤使所述第一媒体项与所述所识别出的主要颜色同步，从而在再现 所述第一媒体项期间，在所述提取出的至少一个数据项出现的同时，显示所述识别出的主要颜色。
11. 根据前述权利要求中的任何一项的方法，还包括以下步骤 手动定义颜色到所述提取出的至少一个数据项的映射。
12. —种计算机程序产品，包括用于执行根据前述权利要求中的 任何一项的方法的多个程序代码部分。
13. —种用于使得能够同时再现笫一媒体项和第二媒体项的装置， 所述装置包括提取器，用于从与第一媒体项有关的数据中提取至少一个数据项； 选择器，用于基于所述提取出的至少一个数据项，选择至少一个 第二媒体项；同步器，用于使所述第一媒体项与所述所选择的至少一个笫二媒 体项同步，从而在再现所述第一媒体项期间，在所述提取出的至少一 个数据项出现的同时，再现所述所选择的至少一个第二媒体项。
14. 根据权利要求13的装置，其中，所述提取器包括用于从与 所述第一媒体项有关的文本数据中提取所述至少一个数据项的装置。
全文摘要
基于提取出的数据项使得第一媒体项与第二媒体项同步(步骤210)。在再现所述第一媒体项期间，在提取出的数据项出现的同时，检索(步骤206)，返回，并且选择(步骤208)多个第二媒体项以进行再现。
文档编号G06F17/30GK101647016SQ200880009086
公开日2010年2月10日 申请日期2008年3月18日 优先权日2007年3月21日
发明者D·塞库洛夫斯基, G·格莱恩斯, J·H·M·科斯特 申请人:皇家飞利浦电子股份有限公司