关联场景赋予装置以及关联场景赋予方法

专利名称：关联场景赋予装置以及关联场景赋予方法
技术领域：
本发明涉及一种关联场景赋予装置以及关联场景赋予方法，在将与某个场景相关 联的信息的检索结果与其他人共享时等，对将与检索结果相关联的动态图像内容的场景赋 予到检索结果进行支援。
背景技术：
近些年，个人电脑(以下称为“PC”)普及到了众多的家庭，一边看电视一边操作 PC的用户在不断地增多。因此，在视听动态图像内容的同时，例如在视听现在正在播放的电 视节目的同时，利用互联网的搜索引擎来检索与该电视节目相关联的信息的用户也不断地 增多。例如在正在视听的节目为旅行节目的情况下，作为被检索的信息则为与现在显示的 场所以及店铺相关的信息。并且，在问答节目的情况下，作为被检索的信息则为与现在出题 的问题的解答相关的信息。并且，在动物节目的情况下，作为被检索的信息则为与现在显示 的动物的名称以及能够看到该动物的场所相关的信息。并且，在足球或者棒球等体育节目 的情况下，作为被检索的信息则为与现在正在显示的选手以及动作或规则有关的信息。这样，在将正在视听的节目中的某个场景作为契机，用户开始进行与该场景相关 联的信息的检索的情况下，针对检索结果而言，将成为检索契机的场景与其他人共享等是 有效的。鉴于上述的状况，以往曾经提出了一种数字影像再生装置，其利用被包含在内容 中的字幕信息，来抽出成为检索契机的场景(例如，参照专利文献1)。该数字影像再生装置 在从用户接受内容的录制请求时，制作字幕文字数据与该字幕文字数据的提示时刻信息相 对应的表。并且，在通过文字从用户接受了影像检索指令之时，数字影像再生装置利用所述 表来检索与由用户输入的文字相关联的字幕文字，并再生被检索的字幕文字的提示时刻的 影像。(现有技术)专利文献专利文献1日本特开2004-80476号公报然而，在专利文献1所公开的数字影像再生装置中利用了字幕信息。因此，对于不 含有字幕的内容而言，则出现不能抽出成为信息检索的契机的播放节目的场景的问题。例 如，对于以上述的足球或棒球等体育节目为代表的现场播放的节目而言，被赋予字幕的状 况几乎是不存在的。因此，上述的数字影像再生装置的能够适用的范围受到了限制。并且，上述的数字影像再生装置根据由用户输入的文字来进行检索。因此，用户需 要掌握以成为信息检索的契机的场景来表示的关键词，并且需要进行输入操作。而且，被输 入的关键词被用于多个字幕的情况下，则会检测出多个场景。因此，场景的数量越多，检索 结果也就越多。因此，出现的问题是，用户为了找出成为所需的信息检索的契机的场景需要 花费工夫。

发明内容
本发明为了解决上述的课题，目的在于提供一种关联场景赋予装置以及关联场景 赋予方法，针对内容中的各个场景，即使在没有被赋予字幕等文本标签的情况下等，也能够 抽出成为用户所进行的信息检索的契机的场景。为了达成上述的目的，本发明的关联场景赋予装置使关联场景与检索结果相关 联，所述关联场景是与检索相关联的图像数据，该关联场景赋予装置包括图像记忆部，记 忆有图像数据和该图像数据的再生时刻；信息检索执行部，按照用户输入的检索条件检索 信息；操作履历记忆部，记忆有操作的履历，在该操作的履历中，所述检索条件与接受了该 检索条件的时刻相对应；检索起点时刻推定部，根据检索起点来推定检索起点时刻，所述检 索起点是与场景赋予对象检索结果相关联的所述操作的履历，所述场景赋予对象检索结果 是由所述信息检索执行部检索的信息中的由所述用户指定的检索信息，所述检索起点时刻 是用于得到所述场景赋予对象检索结果的检索条件开始被输入的时刻；以及关联场景抽出 部，将在包含有所述检索起点时刻的时间被再生的图像数据与所述场景赋予对象检索结果 相关联，所述检索起点时刻是在所述检索起点时刻推定部被推定的。根据此构成，能够确定与场景赋予对象检索结果的关联性高、且在时间上的最早 的操作的履历。即，能够确定针对与场景赋予对象检索结果为相同内容开始进行检索的操 作的履历。并且，在用户一边视听动态图像数据一边进行检索的情况下，对于与用户所检索 的信息相关联的场景，可以考虑为存在于用户开始检索的时刻的前后。因此，将开始进行检 索的操作履历的时刻前后的图像数据，作为关联场景来抽出。据此，能够进行以信息检索为 契机的关联场景的抽出。并且，本发明不仅可以作为具有上述这种特征性处理部的关联场景赋予装置来实 现，而且可以作为将关联场景赋予装置中所包括的特征性处理部作为步骤的关联场景赋予 方法来实现。并且，可以作为使计算机执行关联场景赋予方法中所包括的特征性步骤的程 序来实现。并且，这样的程序是能够通过CD-ROM (Compact Disc-Read Only Memory :光盘) 等记录介质、互联网等通信网络来分发的。根据以上这种本发明中的关联场景赋予装置，对于在各个场景中没有被赋予与文 本信息等场景有关的信息的动态图像内容而言，也能够抽出成为信息检索的契机的场景。 而且，在本发明的关联场景赋予装置中，不需要仅为了抽出场景而输入关键词。因此，能够 减轻用户将关联场景赋予到信息检索结果的负担。


图1是示出本发明的实施例1中的检索系统的构成的外观图。图2是示出本发明的实施例1中的检索系统的功能构成的方框图。图3是示出本发明的实施例1中的用户操作顺序的流程的流程图。图4是本发明的实施例1中的关联场景赋予装置被执行时的处理的流程图。图5示出了本发明的实施例1中的操作履历信息的一个例子。图6A示出了本发明的实施例1中的关联场景赋予装置的输出画面的一个例子。图6B示出了本发明的实施例1中的关联场景赋予装置的输出画面的一个例子。图6C示出了本发明的实施例1中的关联场景赋予装置的输出画面的一个例子。
图6D示出了本发明的实施例1中的关联场景赋予装置的输出画面的一个例子。图7是示出本发明的实施例1中的检索起点时刻推定部的详细构成的功能方框 图。图8是示出本发明的实施例1中的检索起点推定处理的详细流程图。图9示出了本发明的实施例1中的类似度记忆部中所记忆的类似度信息的一个例子。图10示出了本发明的实施例1中的关联场景赋予装置的输出画面的一个例子。图IlA示出了本发明的实施例1中的共享电视机的输出画面的一个例子。图IlB示出了本发明的实施例1中的共享电视机的输出画面的一个例子。图12示出了本发明的实施例1中的类似度记忆部中所记忆的类似度信息的一个 例子。图13是示出本发明的实施例2中的检索系统的构成的方框图。图14是本发明的实施例2中的关联场景抽出处理的详细的流程图。图15示出了本发明的实施例2中的关联场景赋予装置的输出画面的一个例子。
具体实施例方式以下参照附图对本发明的实施例进行说明。(实施例1)在本实施例中，用户访问PC或移动电话等在互联网上存在的检索服务器。据此所 设想的情况是，利用能够进行信息检索的装置(以下称为“信息检索装置”)，来进行将正在 视听电视节目中的某个场景作为契机的信息检索。在本实施例中将要说明的推定方法是， 在将由信息检索装置所进行的信息检索结果显示在共享电视机并与其他人共享之时，推定 成为信息检索的契机的电视节目的场景。并且，对将推定的场景赋予到信息检索结果的操 作进行支援的方法也会得以说明。例如在此所考虑的情况是，在与家人视听足球转播节目 之时，在出现了越位的情况下，用户立即针对越位进行检索。以下针对在这种情况下用于将 有关越位的检索结果与越位的场景相关联的检索系统进行说明。图1是本发明的实施例1中的检索系统的构成的外观图。如该图所示，检索系统 包括通过LAN (Local Area Network 局部区域网络)等计算机网络1602而相互连接的关 联场景赋予装置100、共享电视机114、以及移动终端1601。图2是示出本发明的实施例1中的检索系统的构成的方框图。检索系统是进行信息检索，并将信息检索结果赋予到成为信息检索的契机的电 视节目的场景，并进行显示的系统，该检索系统包括关联场景赋予装置100、共享电视机 114、移动终端1601。关联场景赋予装置100是进行信息检索，并将信息检索结果赋予到成为信息检索 的契机的电视节目的场景的装置。关联场景赋予装置100包括输入部101、信息检索执行 部102、检索结果记忆部103、操作履历收集部104、操作履历记忆部105、定时器106、以及检 索起点时刻推定部107。关联场景赋予装置100还包括关联场景抽出部108、图像获得部 109、图像记忆部110、检索结果输出部111、输出部112、以及检索结果发送部113。关联场景赋予装置100由具有CPU (Central Processing Unit)、存储器、通信接口等一般的计算机构成。并且，通过在CPU上执行用于实现关联场景赋予装置100所具备 的各个处理部的程序，从而在功能上实现了各个处理部。并且，各个记忆部由存储器以及 HDD (Hard Disk Drive)来实现。输入部101是按键、触摸屏或十字键等接受来自用户的输入的处理部。信息检索 执行部102是通过访问存在于互联网上的检索服务器，来执行信息检索的处理部。检索结 果记忆部103是记忆在信息检索执行部102的信息检索结果的记忆装置。在此，被记忆在 检索结果记忆部103中的检索结果是，用户指定的进行场景赋予的检索结果。操作履历 收集部104是收集在信息检索执行部102进行的信息检索的操作履历的处理部。也就是 说，操作履历收集部104收集与以下操作有关的履历，这些操作包括用户在进行检索时 所输入的关键词、选择的项目中所包含的单词、选择项目所表示的URL(Uniform Resource Locator)、以及用户的指示等。操作履历记忆部105是记忆由操作履历收集部104收集的 操作履历的记忆装置。定时器106是获得现在的时刻的处理部。检索起点时刻推定部107是推定用户开始进行信息检索的时刻的处理部。S卩，检 索起点时刻推定部107利用检索结果记忆部103中的检索结果和操作履历记忆部105中的 操作履历，来推定开始进行与检索结果记忆部103中所记忆的检索结果相对应的信息检索 的开始检索操作。并且，检索起点时刻推定部107利用在该开始检索操作被执行的时刻，来 推定开始进行与检索结果相对应的信息检索的时刻。这样，检索起点时刻推定部107根据 为了获得用户所确定的检索结果而输入的检索条件的履历，来推定以获得该检索结果为目 的时用户开始输入检索条件的时刻。关联场景抽出部108是一处理部，将在检索起点时刻推定部107推定的开始信息 检索的时刻前后的场景，作为与检索结果记忆部103所记忆的检索结果相关联的场景，从 图像记忆部110中抽出。在本实施例中，虽然设想的是针对动态图像的内容进行处理，对于 静态图像的内容也进行同样的处理。图像获得部109是获得成为检索契机的动态图像的处 理部。图像获得部109所获得的动态图像是播放的电视节目内容或者是被蓄积的动态图像 内容。图像记忆部110是记忆在图像获得部109获得的动态图像数据和该动态图像数据再 生时刻的记忆装置。检索结果输出部111是一处理部，对在检索结果记忆部103记忆的检索结果与在 关联场景抽出部108抽出的关联场景进行合成，并将合成的结果输出到输出部112。输出部 112是对从检索结果输出部111输出的结果进行显示的显示器等显示装置。检索结果发送 部113是一处理部，将对在检索结果输出部111制作的检索结果与关联场景进行结合而得 到的数据，发送到外部设备。共享电视机114是一电视机，接收从检索结果发送部113发送来的数据，并能够对 接收的数据进行显示。例如，共享电视机114是被设置在客厅的大型电视机等。通过由关 联场景赋予装置100被赋予了关联场景的检索结果的数据由共享电视机114来显示，从而 能够在多个用户之间共享信息。移动终端1601是接收来自检索结果发送部113发送来的数据，并能够对接收的数 据进行显示的移动终端。例如，移动终端1601可以是用户所携带的既能够搬运又能够利用 的设备，也可以是移动电话等。作为具有这种构成的关联场景赋予装置100的一个例子，对以下的处理进行说明。即，在该处理中，用户针对在以视听共享电视机114的场景为契机而进行检索，可以根 据操作履历以及所述检索结果来推定成为契机的场景。并且，被推定的场景被赋予到检索 结果，并被发送到共享电视机114。图3是示出用户的操作顺序的流程图。图4是示出关联场景赋予装置100所执行 的处理的流程图。在本实施例中，用户通过共享电视机114视听的节目的动态图像内容由图像获得 部109获得，并被记忆在图像记忆部110。并且，在图2中虽然图像获得部109以及图像记 忆部110被设置在关联场景赋予装置100内，但是并非受此所限。例如，动态图像内容也可 以被记忆在外部的录像设备，关联场景抽出部108从被记忆在该录像设备的动态图像内容 中抽出场景。用户利用输入部101，以电视机的某个场景为契机，针对关联场景赋予装置100发 出信息检索的指示(S301)。例如，用户在视听旅行节目的情况下，发出与现在正在显示的场 所以及店铺有关的信息的检索指示。并且，用户在视听问答节目的情况下，发出与现在正在 出题的问题的解答有关的信息的检索指示。并且，用户在视听动物节目的情况下，发出与现 在正在显示的动物的名称或能够看到该动物的场所有关的信息的检索指示。并且，用户在 视听足球或棒球等体育节目的情况下，发出与现在正在显示的选手有关的信息，或者与选 手的动作或规则有关的信息的检索指示。在本实施例中设想的情况是，在视听足球比赛时 出现“越位”，通过访问互联网上所存在的检索服务器，来检索有关“越位”规则的信息。关联场景赋予装置100的信息检索执行部102针对信息检索指示(S301)执行检 索处理。并且，操作履历收集部104将由用户进行的信息检索的操作履历记忆到操作履历 记忆部105(S401)。并且，用户不仅是在以电视的场景为契机才进行信息检索，也会有仅针 对单纯的感兴趣的信息进行信息检索的情况。在此，操作履历收集部104将在信息检索执 行部102进行的信息检索的所有操作都记忆到操作履历记忆部105。并且，为了确保不超过 操作履历记忆部105的容量，对于被记忆的操作履历可以采用以下的方法来删除，例如以 一天的结束时刻为基准，或者以用户的操作履历在一定时间以上都没有的时机来删除。并 且，也可以按照操作履历旧的顺序来删除。图5示出了操作履历记忆部105中所记忆的操作履历信息的一个例子。操作履历 信息所包括的操作履历中具有操作编号501、操作时刻502、显示URL503、检索单词504、选 择项目505、以及其他的操作506。操作编号501是用于确定操作履历的编号，是从操作时刻502的旧的顺序开始，以 升顺来赋予编号的。操作时刻502是表示时刻的信息，该时刻是用户利用输入部101针对 关联场景赋予装置100进行操作的时刻。显示URL503是表示在操作的时刻在输出部112 所显示的Web网页的URL的信息。检索单词504是表示用户输入的检索单词的信息。检索 单词可以是用户利用输入部101的键盘或按键来输入的单词，也可以是关联场景赋予装置 100所提示的用于检索的关键词。选择项目505是为了迁移到其他的URL的Web网页，而对 在输出部112显示的检索结果进行一览显示的信息，或者是显示用户从Web网页中选择的 项目的信息。其他的操作506是表示以下操作的的信息，这些操作是指，用于执行检索的检 索执行操作、用于返回到前一个Web网页的返回操作、以及新建窗口的操作等，信息检索执 行部102所能够接受的操作。
例如，在用户进行了以图5所示的操作履历信息表示的操作之时，在共享电视机 114播放足球比赛的映像。并且，在图5所示的操作履历的具体例子可以在以下的状况下 制作。即，用户首先对以共享电视机114播放的内容无关的、自己感兴趣的事项进行检索， 例如对“木村拓真”演出的电视剧进行检索。并且，用户对该检索结果进行了阅览。在此之 后，在共享电视机114播放的足球比赛中出现了“越位”，由于家人询问“越位”的说明，因此 为了说明“越位”而开始进行有关“越位”的检索。在进行有关越位的信息检索时的画面例子由图6A-图6D示出。用户首先在图6A 所示的关键词输入型的检索输入接受页面，输入“越位”这一关键词(图5的操作编号7)。 检索的结果则成为图6B所示的检索结果。用户从检索结果中选择“越位(足球)_Wike”这 一选择项目(链接)(图5的操作编号8)。选择的结果由图6C所示的页面来表示。用户考 虑是否通过将该页面显示到共享电视机114来使更多的用户能够共享。但是，用户判断该 页面不适于共享，进行返回到显示前一个检索结果的画面(图6B)的操作(图5的操作编 号9)。并且，用户从图6B所示的检索结果中重新选择“规则手册(越位)”(图5的操作编 号10)。选择的结果由图6D所示的页面来显示。用户在考虑该页面之后，决定将该页面在 多个用户之间共享，从而向关联场景赋予装置100请求赋予关联场景。另外，例如也会有利用键盘或数字键盘来输出作为检索单词或选择项目的“越位” 的情况。因此，虽然在日语中也会有输入“O，f，u，s, a, i，d，ο”等罗马字的情况，不过在本 实施例中，作为操作而通过具有意义地区分来决定输入单位，从而生成图5所示的履历。用户决定想要共享，即想要赋予关联场景的检索结果(以下称为“场景赋予对象 检索结果)630 。从用户向关联场景赋予装置100的关联场景赋予的请求是以在输出部 112检索结果被显示的状态，利用输入部101通过进行规定的操作而被执行的。针对来自用户的关联场景赋予请求(S302)，信息检索执行部102将场景赋予对象 检索结果记忆到检索结果记忆部103 640 。接着，检索起点时刻推定部107根据针对场景 赋予对象检索结果开始进行检索的操作(以下称为“检索起点”)，来推定针对场景赋予对 象检索结果开始进行检索的时刻(以下称为“检索起点时刻”)(S403)。并且，关联场景抽 出部108根据检索起点时刻，从图像记忆部110抽出关联场景(S404)。在该检索起点推定处理(S403)中，从用户的操作履历中，判断用户是否进行了与 针对场景赋予对象检索结果所进行的检索具有同一事项的检索，并将判断结果利用到检索 起点的推定中。即，在场景赋予对象检索结果与用户在检索之时输入的或者阅览的信息接 近的情况下，检索起点时刻推定部107利用用户进行了彼此相同的内容检索这一特征，来 推定检索起点。并且，在用户在检索之时输入或者阅览的信息彼此之间接近的情况下，也可 以利用用户进行了彼此相同的内容检索这一特征，来推定检索起点。对该处理将在以下进 行详细说明。图7是示出检索起点时刻推定部107的详细构成的功能方框图。图8是检索起点 时刻推定部107所执行的检索起点推定处理(图4的S403)的详细流程图。如图7所示，检索起点时刻推定部107包括文本语料库收集部701、单词信息记 忆部702、单词类似度计算部703、页面信息收集部704、页面类似度计算部705、以及检索状 态判断部706。文本语料库收集部701是一处理部，收集用于对单词间的在语义上的类似度进行定量化的文本语料库，并制作用于计算单词间或单词与文本间的类似度的信息。单词信息 记忆部702是一记忆装置，对在文本语料库收集部701制作的类似度的计算中所利用的信 息进行记忆。单词类似度计算部703是一处理部，利用被记忆在单词信息记忆部702的信 息，计算单词间或单词与文本间的类似度。页面信息收集部704是一处理部，收集用户所阅览的页面的信息或与场景赋予对 象检索结果相关的页面的信息。页面类似度计算部705是一处理部，根据在页面信息收集 部704收集的页面信息，计算被指定的页面间的类似度。检索状态判断部706是一处理部， 根据操作履历和场景赋予对象检索结果，来判断在操作之间是否进行了同一事项的检索。 类似度记忆部707是一记忆装置，对在判断是否进行了上述的同一事项的检索中所利用的 信息进行记忆。检索起点推定部708是一处理部，利用在检索状态判断部706的判断结果， 来推定检索起点以及检索起点时刻。在此，对文本语料库收集部701所进行的用于计算类似度的信息的制作处理进行 详细说明。并且，由文本语料库收集部701所进行的处理是与关联场景赋予装置100所进 行的关联场景的赋予处理分别被执行的。文本语料库收集部701收集大量的文本，并从中抽出有用于在以名词或动词进行 检索时所利用的单词(以下称为“索引语”)。并且，文本语料库收集部701通过对索引语 和文本矩阵进行奇异值分解，从而制作进行了维数压缩的矩阵，所述索引语和文本矩阵是 由抽出的索引语和各个文本以矩阵来表现的。接着，文本语料库收集部701通过利用被进 行了维数压缩的矩阵来以压缩后的维数的向量来表现索引语和文本，从而分别算出索引语 向量和文本向量，并将算出的这些向量记忆到单词信息记忆部702。利用根据所述压缩后的矩阵而制作的索引语向量或文本向量，来求出索引语之间 在语义上的距离，据此能够从基于在语义上的类似度的索引语中进行文本的检索。这些 技术被称为潜在语义分析(Latent Semantic Analysis, :LSA)或潜在语义索引(Latent Semantic Indexing :LSI)(参考非专利文献曰本知能情報7 了 ” ^学会誌Vol. 17，No. 1 p. 76 (2005)，情報検索7 ^ 3 1J O (共立出版)p. 65 (2002))。通过该方法，能够对单词间 或单词与文本间的语义上的类似度进行定量化，并且能够提高检索时的计算速度。并且，在所述LSA以及LSI不仅能够更加在语义上表现类似度，而且为了提高检索 时的计算速度同时还进行维数压缩。但是，即使不进行维数压缩，也能够对单词间或单词与 文本间的类似度进行定量化。因此，也可以在不进行维数压缩的状态下制作向量，并根据该 向量计算类似度。并且，作为求出单词间的语义类似度的方法，除了上述的方法以外，也可 以是用户事先制作语义上的类似度的方法，或者是利用类属词典等辞典来算出语义上的类 似度的方法。例如，在利用单词间的语义关系以阶层构造来表现的类属词典的情况下，能够 通过单词间的链接数量等来定义单词间的距离。并且，文本语料库收集部701收集的文本也可以是系统开发人员事先准备的一般 的文本集合，但并非受此所限。例如，文本语料库收集部701也可以收集从与场景赋予对象 检索结果之间的类似度高的页面得到文本集合，所述与场景赋予对象检索结果之间的类似 度高的页面是通过根据场景赋予对象检索结果来检索关联文本而得到的。并且，也可以收 集从用户在一定期间内阅览的页面得到的文本集合。在从这些特殊的文本集合制作在计算 单词间的语义上的类似度之时所需要的矩阵的情况下，能够正确地表现用户在实际检索时的单词间的距离。为此，检索起点推定部708能够以更高地精确度来推定检索起点。在利 用系统开发人员事先准备的一般的文本集合的情况下，对于在计算上述单词间的语义上的 类似度时所需要的矩阵的制作，可以仅进行一次就可以。对此，在根据场景赋予对象检索结 果来获得文本语料库的情况下，需要每次都制作该矩阵。并且，作为文本语料库例如可以通过利用从Web等获得的文本语料库，来自动地 定义单词间的距离。在进行有关新闻节目或时事问题的检索时，利用当时流行的专有名词 的情况比较多。因此，在利用有关新闻节目或时事问题这种类型的节目播放中的检索履历 来确定检索起点的情况下，也有利用Web等文本语料库，来适用制作上述矩阵的方法的情 况。另外，在利用针对教育节目等种类的动态图像的检索履历来确定检索起点的情况下，出 现新的单词的可能性比较低。因此，能够利用重新被构筑的类属词典等辞典来制作上述矩 阵。而且，在再生录像节目的情况下，可以考虑利用该录像节目被录制的日期的信息，并利 用被用于该日期时间的文本语料库，来制作上述矩阵。以下，利用图8对检索起点推定处理(图4的S403)进行详细说明。检索状态判断部706获得与成为判断检索状态的对象的操作履历有关的信息 (S802)。即，检索状态判断部706从被记忆在操作履历记忆部105中的图5所示的操作履 历信息中，选择进行了检索单词的输入或选择项目的选择的操作履历。检索状态判断部706 从被选择的操作履历中的、与决定场景赋予对象检索结果时的操作在时间上最接近的过去 的操作履历中，获得被输入或被选择的单词集合。所述的操作履历以与图5的操作编号501 所示的操作履历编号最近的操作履历而被表示。并且，所述单词集合在图5所示的具体例 子中，以操作编号10的“规则手册(越位)”来表示。检索状态判断部706对信息进行比较，在此，被比较的信息是与决定场景赋予对 象检索结果时的操作有关的信息，和与判断在操作履历信息获得处理时(S802)获得的检 索状态时的操作履历有关的信息(S803)。即，检索状态判断部706获得被记忆在检索结果 记忆部103中的场景赋予对象检索结果，并抽出检索结果中的文本信息。检索状态判断部 706使单词类似度计算部703利用进行了上述维数压缩后的矩阵，使抽出的文本信息向量 化。该向量化的结果是，将被生成的向量称为“检索结果向量”。同样，检索状态判断部706 使单词类似度计算部703利用进行了上述维数压缩后的矩阵，使在操作履历信息获得处理 (S802)中获得的单词集合向量化。该向量化的结果是，将被生成的向量称为“输入单词向 量”。检索状态判断部706使单词类似度计算部703求出输入单词向量与检索结果向量的 类似度，并将求出的类似度记忆到类似度记忆部707。并且，关于向量间的类似度的求出方 法，例如，在文本检索中经常被利用的是余弦量度(两个向量所成的角度)或内积。图9示出了由检索状态判断部706计算、且被记忆到类似度记忆部707的类似度 信息的一个例子。类似度信息包括由操作编号901、操作时刻902、检索单词903、选择项目 904、第一类似度905以及第二类似度906构成的类似度履历。在此，操作编号901、操作时刻902、检索单词903以及选择项目904分别与图5所 示的操作履历的操作编号501、操作时刻502、检索单词504以及选择项目505相对应。第 一类似度905按照每个操作履历示出了检索结果向量与输入单词向量之间的类似度，该输 入单词向量是由检索单词903或选择项目904所示的单词集合制作的。第二类似度906示 出了前一个操作履历(在时间上为后一个操作履历)中所包含的输入单词向量与由检索单词903或选择项目904所示的单词集合制作的输入单词向量之间的类似度。虽然在上述的 比较处理(S8(X3)中算出的是第一类似度，不过也可以在算出第一类似度的同时还算出第 二类似度，或者取代第一类似度的算出而算出第二类似度。接着，检索状态判断部706判断检索结果向量与输入单词向量的类似度(第一类 似度)是否在阈值以下(S803)。在第一类似度比阈值大的情况下(S803的“否”)，则判断 与针对场景赋予对象检索结果所进行的检索是同一事项的检索。并且，检索状态判断部706 获得与下一个成为判断检索状态的对象的操作履历有关的信息(S802)。即，检索状态判断 部706将操作履历记忆部105中所记忆的操作履历信息中的、进行了检索单词的输入或选 择项目的选择的操作履历作为对象。检索状态判断部706从成为对象的操作履历中选择， 在时间上与在前一次的操作履历信息获得处理(S802)成为单词集合的获得对象的操作履 历最接近的过去的操作履历。检索状态判断部706从选择的操作履历中获得被输入或被选 择的单词集合。在图5所示的具体例子中获得的是操作编号8的“越位(足球)”。在第一类似度为阈值以下的情况下(S803的“是”)，则判断与针对场景赋予对象 检索结果的检索为相同事项的检索已经结束。因此，检索起点推定部708根据以下所述的 方法，通过决定检索起点来决定检索起点时刻(S804)。例如，在图9所示的例子中，在阈值为0. 5的情况下，从操作编号10到操作编号7 的第一类似度905比阈值大(S803的“否”)。因此，判断在从操作编号10到操作编号7的 操作中，与针对场景赋予对象检索结果的检索具有同一事项的检索正在继续。并且，在选择 了操作编号5所示的操作中的“机会”这一选择项目之时，第一类似度905才成为阈值以下 (S803的“是”)。因此，判断与针对场景赋予对象检索结果的检索为同一事项的检索已经结 束ο接着，对检索起点时刻决定处理(S804)进行详细说明。检索起点推定部708将在 比较处理(S80;3)中被判断为与针对场景赋予对象检索结果的检索为同一事项的检索正在 继续的操作履历中的、操作编号最小的操作履历(在时间上最早的操作履历)作为检索起 点。具体而言，在图9中将第一类似度比阈值大的情况下的操作履历判断为正在进行同一 事项的检索。在将阈值设为0. 5的情况下，正在进行同一事项检索的操作履历是从操作编 号10到操作编号7所示的操作履历。检索起点推定部708将其中的操作履历编号最小的 操作编号7的操作履历推定为检索起点。检索起点推定部708将检索起点的操作被执行时 的时刻决定为检索起点时刻。检索起点时刻是指与检索起点相对应的操作履历中所包含的 操作时刻902。在上述的例子中，由于操作编号7的操作履历为操作起点，因此该操作履历 中所包含的操作时刻902的“20:21:20”则被视为是检索起点时刻。在如上述这样决定了检索起点时刻之后(图4的S403、图8)，关联场景抽出部108 从图像记忆部110抽出检索起点时刻的场景(S404)。在此，关联场景抽出部108仅将从检 索起点时刻开始At时间之前的动态图像信息，作为关联场景来抽出。即，关联场景抽出部 108将从(检索起点时刻-At)开始到检索起点时刻的范围内所包含的动态图像信息，作为 关联场景来抽出。At可以利用系统开发人员事先决定的固定值。并且，At是可变更的， 可以由用户来设定。检索结果输出部111对在关联场景抽出部108抽出的时间长度为At的关联场景 与场景赋予对象检索结果进行合成，并将合成后的结果输出到输出部112(S405)。图10示出了输出部112输出画面的一个例子。在此，场景赋予对象检索结果1001与关联场景1002 被合成，并被显示在画面上。并且，在将被赋予了关联场景1002的检索结果发送到其他终 端时所利用的图标群1003以及菜单键1006也被显示在画面上。上述的菜单键1006是在 向其他的终端进行发送时，用于指定在发送目的地的终端以怎样的显示方式来进行显示的 按键。在判断为用户想要将检索结果发送到其他的终端的情况下，用户按下图标群1003 中所包括的任一个图标(图标1004或100 以及菜单键1006。通过该操作，用户向检索结 果发送部113发出发送被赋予了关联场景的检索结果的请求(S303)。检索结果发送部113根据用户的请求(S303)，将被赋予了关联场景的检索结果发 送给被指定的发送目的地(S406)。例如，针对被赋予了关联场景的检索结果的发送操作，用 户例如可以利用在图10所示的画面上所显示的图标群1003来进行。用户在将检索结果发 送给共享电视机114的情况下，选择图标1004，在想要发送给个人电脑或便携式电话等其 他的移动终端1601的情况下，选择图标1005。并且，在将被赋予了关联场景的检索结果发 送给播放或再生动态图像内容的终端的情况下，会出现在终端上看不到被显示的动态图像 内容而为难的情况。因此，在用户选择了图标1004或1005之时，输出部112能够使菜单键 1006显示在画面上，并能够使针对发送后的显示方法的选择成为可能。例如，在用户选择了 “全屏”这一菜单键的情况下，检索结果发送部113利用发送目的地的终端的所有画面，发送 用于使被赋予了关联场景的检索结果显示在发送目的地的终端的画面上的数据。另外，在 用户选择了“多画面”这一菜单键的情况下，检索结果发送部113将被再生或被发送的动态 图像内容的显示在发送目的地的终端的一部分画面上，同时发送用于使被赋予了关联场景 的检索结果显示在发送目的地的终端的画面上的数据。该画面例子由图IlA以及图IlB示 出。图IlA示出了在用户选择了图10所示的画面上所显示的菜单键1006中的“全屏”这 一菜单键的情况下，发送目的地终端的显示画面的例子。在发送目的地终端的画面上仅显 示由关联场景赋予装置100所发送的被赋予了关联场景的检索结果。另外，图IlB示出了 在用户选择了图10所示的画面上所显示的菜单键1006中的“多画面”的情况下，发送目的 地终端的显示画面的例子。在发送目的地终端的画面上显示多个画面。即，在发送目的地 终端的画面上显示有在发送目的地终端被再生或被播放的动态图像内容的显示画面1101 和画面1102，该画面112中包含有到此为止被发送到该发送目的地终端的被赋予了关联场 景的检索结果。并且，画面1102中所包含的被赋予了关联场景的检索结果是按照各个检索 结果的检索起点时刻1103而被显示的。并且，除了检索起点时刻1103以外，也可以按照有 关检索结果的发送人的信息而被显示。通过进行图IlB所示的显示方法，从而能够在不影 响现在正在视听的动态内容的情况下，使检索结果在多个用户中共享。除此之外，以前所共 享的结果也可以简单地再次共享。这样，例如对于在最初共享之时没有在场的用户而言，也 可以简单地说明。并且，在图IlA的显示方法中，以上所述的现在正在视听的动态图像内容 就会看不到。因此，在用户按下图10所示的画面中的“全画面”这一菜单键时，可以再进一 步进行显示菜单键“现在立即显示”和“以后再显示”的控制。之后，在用户选择菜单键“以 后再显示”时，用户可以在下一个广告(Commercial Message)的播放之时，使检索结果显示 在发送目的地终端上。图1示出了被赋予了关联场景的检索结果的显示例子。如该图所示，在关联场景赋予装置100被检索的结果和该结果的关联场景，通过计算机网络1602被发送到共享电视 机114以及移动终端1601，并被显示。如以上说明中的本实施例所涉及的关联场景赋予装置100，能够利用用户的信息 检索的操作履历以及针对各个场景的信息检索结果，来抽出成为检索契机的动态图像内容 的关联场景。因此，即使对于各个场景中没有被赋予文本信息的动态图像内容，也能够抽出 关联场景。并且，不必仅为了抽出关联场景而需要输入关键词。因此，能够减轻用户将关联 场景赋予到信息检索结果的负担。并且，在进行比较处理(S803)中的同一事项的检索是否结束的判断中利用了第 一类似度，该第一类似度是指，从用户输入或选择的单词集合中生成的输入单词向量与从 场景赋予对象检索结果中制作的检索结果向量的类似度。不过，对于用户是否进行了与场 景赋予对象检索结果相同事项的检索的判断，并非受限于此方法。例如，可以取代第一类似 度，而利用检索关键词向量与输入单词向量的类似度，所述检索关键词向量是利用与生成 输入单词向量相同的方法，对为了得到场景赋予对象检索结果而输入的检索关键词进行向 量化后而得到的。并且，以下将示出以本构成能够实现的其他的判断方法的三个变形例。(变形例1)在变形例1中与实施例1的不同之处是，在比较处理(S80;3)中，检索状态判断部 706利用上述的第二类似度，来判断用户是否检索了同一事项。S卩，在变形例1中所利用的 是，在检索同一事项过程中，输入或选择的单词间的类似度高这一特征。利用这一特征，检 索状态判断部706通过对相邻的操作履历中的输入单词向量之间进行比较，从而算出上述 的第二类似度。在第二类似度比阈值大的情况下，则判断在相邻的操作履历之间进行了同 一事项的检索。例如，以在图9所示的里斯度信息的具体例子中，判断操作编号8的检索状 态为例来考虑。检索状态判断部706计算第二类似度，该第二类似度是指，在时间上下一个 操作编号10中的输入“规则手册(越位)，，的输入单词向量与在操作编号8中的输入“越 位(足球)”的输入单词向量之间的类似度。并且，将第二类似度记忆为第二类似度906。 检索状态判断部706通过对被计算的第二类似度与阈值进行比较，从而来判断是否进行了 同一事项的检索。例如，在操作编号8以及7的检索状态中，第二类似度虽然比阈值大，但 是在操作编号5的检索状态中，第二类似度则在阈值以下。在这种情况下，可以知道在操作 编号8以及7中进行了同一事项的检索，而在操作编号5则检索的是其他事项。因此，在时 间上最早的操作编号7为检索起点。并且，在变形例1中虽然说明了对相邻的输入单词向量之间进行比较的方法，不 过并非受此所限。例如，在场景赋予对象检索结果被显示的情况下，可以通过对被显示的时 刻的紧前的一个操作履历中的输入单词向量与其他的输入单词向量之间的类似度与阈值 相比较，从而来判断是否进行了同一事项的检索。这样，通过仅利用输入单词向量来检索同一事项，从而可以不必进行场景赋予对 象检索结果的分析，以及制作用于表现页面全体的检索结果向量的处理。这样，能够减少计
算处理。(变形例2)在变形例2中与实施例1的不同之处是，用于判断用户是否进行了同一事项的检索的方法。具体而言，在比较处理(图8的S803)中，检索状态判断判断部706所利用的 是，在检索同一事项的过程中，阅览的页面的文本中所包含的单词的类似度高这一特征，来 进行上述的判断的。即，检索状态判断部706通过对相邻的阅览页面之间进行比较，从而算 出相邻的阅览页面之间的类似度，在类似度比阈值大的情况下，则判断在阅览页面之间进 行了同一事项的检索。具体而言，页面信息收集部704从被记忆在操作履历记忆部105中 的操作履历中，抽出用户所阅览的页面的显示URL。信息检索执行部102获得该显示URL的 页面信息。检索起点时刻推定部107的检索状态判断部706，从被获得的页面信息中所包含 的文本信息中抽出单词。检索状态判断部706请求页面类似度计算部705计算各个页面之 间的类似度，利用在页面类似度计算部705计算的类似度，来判断用户是否进行了同一事 项的检索。在此，被利用于所述判断的各个页面间的类似度的求出方法，可以与利用上述的 被输入或被选择的单词集合的情况相同。即，可以将示出在场景赋予对象检索结果的页面 中所包含的文本信息的向量与示出在用户所阅览的各个页面中所包含的文本信息的向量 之间的类似度，作为页面之间的类似度。并且，也可以将示出相邻的阅览页面中所包含的文 本信息的向量之间的类似度，作为页面之间的类似度。并且，也可以不是利用上述的矩阵的 类似度计算，而是单纯地计数在两个页面中均包含的单词的数量，若单词的数量在阈值以 下则判断为没有进行同一事项的检索。在此，图12示出了在利用页面的情况下的类似度记 忆部707中所记忆的类似度信息的一个例子。类似度信息包括由操作编号1201、操作时刻 1202、显示URL1203、第三类似度1204以及第四类似度1205构成的类似度履历。操作编号 1201、操作时刻1202以及显示URL1203分别与图5所示的操作履历的操作编号501、操作时 刻502以及显示URL503相对应。第三类似度1204示出了场景赋予对象检索结果的页面与 在各个操作编号阅览的页面之间的类似度。并且，第四类似度1205示出了在各个操作编号 阅览的页面与在该页面前一个操作履历(在时间上为后下一个操作履历)阅览的页面之间 的类似度。在仅利用单词间的类似度来判断是否进行了同一事项的检索的情况下，需要以更 高的精确度来构筑单词间的类似度。因此，需要从具有多种变化的大量的文本中，制作用 于对类似度进行定量化的文本语料库。但是，在像上述这样利用页面之间的类似度来判断 是否进行了同一事项的检索的情况下，利用更多的单词来进行该判断。因此，与仅利用单词 的类似度来进行判断的情况相比，不需要事前制作的单词之间的类似度的精确度。并且，若 利用上述这种单纯地共同的单词的出现频度来计算类似度，则不需要重新事先求出单词之 间的类似度。因此，不需要进行事前的语料库收集、用于对单词间的类似度的定量化的处 理、以及向量之间的比较处理。因此，能够以比较单纯的系统构成来实现比较处理(图8的 S803)。并且，在变形例2中对文本信息之间进行了比较。因此，与实施例1中所述的进行 单词之间的比较的情况相比，比较对象的信息量比较多。因此，能够算出高精确度的类似度。并且，在上述的情况中，利用页面中所包含的文本信息进行了类似度的判断。而 且，在利用网页进行类似度的判断的情况下，URL与各个页面相对应。因此，可以从URL的 信息中来判断是否为相同的内容。
(变形例3)在变形例3中，对于用户是否进行了同一事项的检索的判断的方法与实施例1不 同。具体而言，在比较处理(图8的S803)中，在进行同一事项的检索过程中，检索状态判 断部706利用用户所输入的关键词的一部分在操作间共通这一特点，来进行上述的判断。在通过关键词进行检索之时，在检索结果过多或者相关的检索结果过少的情况 下，为了提高检索精确度，用户重新输入关键词。通常，在进行检索结果的筛选的情况或提 高检索精确度的情况下，用户校正用于检索的输入关键词。例如，图5的操作编号2到操作 编号4所示，用户或者添加输入关键词，或者留下一部分关键词，并变更留下的关键词。因 此，检索状态判断部706对上一次的操作中的输入单词与这次的操作中的输入单词进行比 较，在一部分的单词被变更的情况下，或者单词被添加的情况下，能够判断在操作之间是否 进行同一事项的检索。另外，对于单词被添加的情况，换而言之，通过规定的运算符(例如 AND运算符、OR运算符)使在这次操作中新被添加的输入单词与上一次的操作中被输入的 输入单词组合，来进行关键词的检索。这样，在利用用户所输入的关键词之间的关系来判断是否进行了同一事项的检索 的情况下，需要来自用户的关键词输入。不过，可以不必事先求出单词间的类似度。因此， 可以不必进行事前的语料库收集、用于对单词间的类似度进行定量化的处理、以及向量之 间的比较处理。因此，能够以更单纯的系统构成来实现。(实施例2)在上述的实施例1中，被抽出的关联场景的长度At，利用了系统开发者所预先决 定的固定值。在本实施例2中，根据At的长度是会因用户所检索的内容而不同这一思维 方式，利用用户输入或选择的单词与检索结果，来决定At的长度。据此，能够根据检索结 果自动地决定适当长度的At。本实施例与实施例1的主要不同之处是，在关联场景抽出处理(图4的S404)中， 关联场景抽出部还决定At。对于其他的构成要素以及执行这些构成要素的处理与实施例 1相同。因此，在本实施例中仅以与实施例1不同之处为中心进行说明。图13示出了本发明的实施例2中的检索系统的构成方框图。该检索系统取代了 图1所示的检索系统的构成中的关联场景赋予装置100，而利用关联场景赋予装置200。本实施例所涉及的关联场景赋予装置200，在图2所示的实施例1所涉及的关联 场景赋予装置100的构成的基础上，取代了关联场景抽出部108，而设置了关联场景抽出部 1308。并且，在构成上成为，在实施例1所涉及的关联场景赋予装置100上附加了电子辞典 记忆部1315以及节目信息获得部1316。关联场景赋予装置200由具有CPU、存储器、通信接口等的一般的计算机构成。通 过在CPU上执行用于实现关联场景赋予装置200所具备的各个处理部的程序，从而在功能 上实现了各个处理部。并且，各个记忆部由存储器、HDD (Hard Disk Drive :硬盘驱动器)来 实现。电子辞典记忆部1315是记忆针对用于说明专有名词以及动作的词语所进行的说 明的记忆装置，例如，记忆有关人名、动物名以及地名等的说明，以及有关体育运动的规则 以及动作的说明等。并且，在电子辞典记忆部1315中蓄积了单词以及有关该单词的词类的
fn息ο
节目信息获得部1316是通过广播来获得被记忆在图像记忆部110中的有关节目 的信息的处理部，例如获得EPG (Electric Program Guide:电子节目表)数据等节目信息。 一般而言，节目名、广播日期时间、种类、演出人员以及节目内容等作为信息被包含在节目 信息中。以下，对关联场景抽出处理(图4的S404)进行详细说明。图14是关联场景抽出 处理(图4的S404)的详细流程图。关联场景抽出部108在决定了关联场景的长度At之后(S1401-S1412)，由图像记 忆部110抽出长度At的关联场景(S1413)。S卩，关联场景抽出部1308决定单词(S1401)，在此所决定的单词是指，在检索成为 抽出场景的对象的节目的信息或场景赋予对象检索结果时，由用户输入或选择的单词中认 为是重要的单词(以下称为“重要检索单词”)，以及代表场景赋予对象检索结果的页面的 单词(以下称为“代表页面单词”)。关联场景抽出部1308，针对用户输入或选择的单词集 合中出现频度高的单词或在检索起点被输入的单词，以权重增大的方式来加权，并按照各 个单词来计算分数。关联场景抽出部1308从被计算出的分数高的顺序开始，将规定个数的 单词决定为重要检索单词。并且，关联场景抽出部1308将场景赋予对象检索结果的页面中 所包含的文本信息中出现频度高的单词，或作为该页面的标题而被利用的单词，决定为代 表页面单词。关联场景抽出部1308将关联场景的长度At设定为初始值的10秒(SHO》。接 着，关联场景抽出部1308利用电子辞典记忆部1315，来判断在上述处理中被决定的重要检 索单词以及代表页面单词的词类(S1403)。关联场景抽出部1308参照在词类判断处(S1403)中的结果，例如判断重要检索单 词以及代表页面单词中是否包含有地名、人名、或动物名等专有名词(S1404)。在判断为包 含有专有名词的情况下(S1404的“是”)，关联场景抽出部1308将At设定得较短(例如， 将Δ t设定为0，不是作为动态图像而是作为静态图像)(S1405)。在判断为没有包含专有名词的情况下(S1404的“否”)，关联场景抽出部1308参 照在词类判断处理(S1403)的结果，来判断在重要检索单词以及代表页面单词中是否包含 表示动作的单词(S1406)。在判断为包含有表示动作的单词的情况下(S1406的“是”)，关 联场景抽出部1308将一定的长度(例如3分钟)设定到At(S1407)。例如，在图5所示的操作履历信息的例子中，在视听广播的足球比赛节目时，进行 与操作编号7的操作履历中的“越位”有关的信息的检索。在此，“越位”这一单词是在检索 起点用户所输入的单词，也是选择项目505中所包含的单词。因此，关联场景抽出部1308判 断“越位”是重要检索单词(S1401)。并且，由于“越位”是表示动作的词语(S1404的“否”， S1406的“是”)，因此，关联场景抽出部1308将进行单词的动作时的时间(例如3分钟)设 定为 At(S1407)。接着，关联场景抽出部1308从在节目信息获得部1316被获得的节目信息中，获得 成为检索的契机的检索起点时刻的节目信息(S1408)。关联场景抽出部1308判断获得的 节目信息所表示的节目种类是否为问答节目(S1409)。在种类为问答节目的情况下(S1409 的“是”)，用户进行与问答的提问有关的检索比较多。因此，关联场景抽出部1308将问答 的提问以及回答的说明所需要的平均时间(例如4分钟)设定为At(S1410)。
在种类不是问答节目的情况下(S1409的“否”)，关联场景抽出部1308判断获得的 节目信息所示的节目的种类是否为新闻节目(S1411)。在种类是新闻节目的情况下(S1411 的“是”)，用户进行有关新闻话题的检索比较多。因此，关联场景抽出部1308将新闻中的 一个话题的说明所需要的平均时间(例如2分钟)设定为At(S1412)。通过以上的处理来 决定At的值。关联场景抽出部1308从图像记忆部110中抽出在(检索起点时刻-At)到(检 索起点时刻)的范围内所包含的动态图像信息，以作为关联场景(S1413)。并且，在At = 0的情况下，关联场景抽出部1308抽出在检索起点时刻的静态图像。在进行关联场景的抽 出时，不是抽出从(检索起点时刻-ΔΟ到(检索起点时刻)的范围内所包含的动态图像 信息，而是可以设置余量α (α为正的值)。S卩，可以抽出从(检索起点时刻-At-a)到 (检索起点时刻+ α )的范围内所包含的动态图像信息。并且，也可以不利用单词的词类，而仅根据节目的种类来决定At的值。S卩，与节 目的种类相对应来事先定义Δ t的值，并根据对象节目的种类来决定Δ t的值。据此，重要 检索单词以及代表页面单词的决定以及词类等单词种类的确定就可以不必进行。因此，能 够以更单纯的处理来决定At。并且，在重要检索单词与代表页面单词之间的类似度小，且 不知道应该根据哪个单词来决定At的情况下，也可以利用仅采用该种类的方法。图15示出了通过检索结果输出处理(图4的S405)而被输出到输出部112的画 面的一个例子。在图15所示的画面例子中，在图10所示的画面例子中还示出了用于动态 图像再生的操作条1507。在操作条1507以操作条的长度来表现关联场景的长度。并且，当 前所显示的关联场景1002的时间位置以标志1508来表示。在该例子中，将At设为3分 钟，将α设为1分钟。并且，将检索起点时刻(图5的操作编号7中的时刻)设为20时21 分。此时，将从20时17分(检索起点时刻-At-α)到20时22分(检索起点时刻+ α) 的区间的动态图像，作为关联场景来抽出。并且，在画面上显示的关联场景1002为,20时 18分(检索起点时刻-At)到20时21分(检索起点时刻)的区间的动态图像。但是，通 过使图标1509或1510移动，从而能够变更作为关联场景1002而被显示在画面上的动态图 像的时间长度。如以上说明，通过本实施例，能够按照检索内容自动地变更关联场景的时间区间 At。因此，能够将适当的长度的关联场景赋予到检索结果。以上对本实施例所涉及的检索系统进行了说明，但是，本发明并非受这些实施例 所限。例如，在上述的实施例中，以针对场景赋予对象检索结果开始进行检索的时刻作 为了检索起点时刻，实际上从用户看到场景的映像到开始检索需要花费规定的时间。因此， 也可以将从针对场景赋予对象检索结果开始进行检索的时刻倒回规定的时间的时刻作为 检索起点时刻。此次所公开的实施例均为例子，本发明不受这些例子所限。本发明的范围不是由 上述的说明所示出，而是由权利要求的范围来示出，并且与权利要求的范围等同的思维以 及范围内的所有变更均包含在本发明内。本发明由于能够普遍适用于基于动态图像的检索处理，因此，不仅能够适用于本 实施例所述的电视播放，而且还能够适用于互联网上的动态图像内容以及个人所拍摄的映像。并且，作为共享方法不仅是本实施例所述的在共享显示器上显示，而且能够利用于添附 到电子邮件中等各种状况，其利用可能性非常大。 本发明能够适用于在一边视听动态图像内容一般进行信息检索之时，使信息检索 结果与动态图像内容的场景相关联的关联场景赋予装置、信息检索装置等。
0128]符号说明0129]100关联场景赋予装置0130]103入力部0131]102信息检索执行部0132]103检索结果记忆部0133]104操作履历收集部0134]105操作履历记忆部0135]106定时器0136]107检索起点时刻推定部0137]108关联场景抽出部0138]108图像获得部0139]110图像记忆部0140]111检索结果输出部0141]112输出部0142]113检索结果发送部0143]114共享电视机0144]1601移动终端
权利要求
1.一种关联场景赋予装置，使关联场景与检索结果相关联，所述关联场景是与检索相 关联的图像数据，该关联场景赋予装置包括图像记忆部，记忆有图像数据和该图像数据的再生时刻； 信息检索执行部，按照用户输入的检索条件检索信息；操作履历记忆部，记忆有操作的履历，在该操作的履历中，所述检索条件与接受了该检 索条件的时刻相对应；检索起点时刻推定部，根据检索起点来推定检索起点时刻，所述检索起点是与场景赋 予对象检索结果相关联的所述操作的履历，所述场景赋予对象检索结果是由所述信息检索 执行部检索的信息中的由所述用户指定的检索信息，所述检索起点时刻是用于得到所述场 景赋予对象检索结果的检索条件开始被输入的时刻；以及关联场景抽出部，将在包含有所述检索起点时刻的时间被再生的图像数据与所述场景 赋予对象检索结果相关联，所述检索起点时刻是在所述检索起点时刻推定部被推定的。
2.如权利要求1所述的关联场景赋予装置，所述检索起点时刻推定部，根据检索起点来推定检索起点时刻，所述检索起点是与场 景赋予对象检索结果相关联的所述操作的履历中的、在最早的时刻所进行的操作的履历， 所述检索起点时刻是用于得到所述场景赋予对象检索结果的检索条件开始被输入的时刻， 所述场景赋予对象检索结果是在所述信息检索执行部所检索的信息中由所述用户指定的 检索信息。
3.如权利要求2所述的关联场景赋予装置， 所述检索起点时刻推定部包括单词类似度计算部，按照各个所述操作的履历，来计算所述场景赋予对象检索结果与 在时间上在第一检索条件被输入的时刻之前被输入的检索条件之间的类似度，所述第一检 索条件是为了检索所述场景赋予对象检索结果而被输入的检索条件；以及检索起点推定部，从比规定的值大的所述单词类似度计算部所计算的所述类似度中， 确定利用了在离所述第一检索条件被输入的时刻最远的时刻被输入的检索条件而被计算 出的类似度，并将在所述最远的时刻中的操作的履历确定为所述检索起点，并根据该检索 起点来推定所述检索起点时刻。
4.如权利要求2所述的关联场景赋予装置， 所述检索起点时刻推定部包括单词类似度计算部，按照各个所述操作的履历，来计算第一检索条件与在该第一检索 条件被输入的时刻之前被接受的检索条件的类似度，所述第一检索条件是为了检索所述场 景赋予对象检索结果而被输入的检索条件；以及检索起点推定部，从比规定的值大的所述单词类似度计算部所计算的所述类似度中， 确定利用了在离所述第一检索条件被接受的时刻最远的时刻被接受的检索条件而被计算 出的类似度，并将在所述最远的时刻中的操作的履历确定为所述检索起点，并根据该检索 起点来推定所述检索起点时刻。
5.如权利要求2所述的关联场景赋予装置， 所述检索起点时刻推定部包括单词类似度计算部，按照在第一检索条件被输入的时刻之前被输入的、在时间上相邻的操作的履历所成的组，来计算该操作的履历所成的组中包含的检索条件之间的类似度， 所述第一检索条件是为了检索所述场景赋予对象检索结果而被输入的检索条件；以及检索起点推定部，从成为规定的值以下的所述单词类似度计算部所计算的所述类似度 中，确定利用了在离所述第一检索条件被输入的时刻最近的时刻被输入的检索条件而被计 算出的类似度，并将在所述最近的时刻中的操作的履历确定为所述检索起点，并根据该检 索起点来推定所述检索起点时刻。
6.如权利要求2所述的关联场景赋予装置，所述检索起点时刻推定部包括单词类似度计算部，按照在第一检索条件被输入的时刻之前被输入的、在时间上相邻 的操作的履历所成的组，来判断在该操作的履历所成的组中包含的检索条件之间是否存在 共同的单词，所述第一检索条件是为了检索所述场景赋予对象检索结果而被输入的检索条 件；以及检索起点推定部，将被判断为不存在共同的单词的操作的履历所成的组中的、包含在 离所述第一检索条件被输入的时刻最近的时刻被输入的检索条件的操作的履历，确定为所 述检索起点，并根据该检索起点来推定所述检索起点时刻。
7.如权利要求2所述的关联场景赋予装置，所述检索起点时刻推定部包括单词类似度计算部，按照各个所述操作的履历，计算所述场景赋予对象检索结果与基 于在第一检索条件被输入的时刻之前被输入的检索条件的检索结果之间的类似度，所述第 一检索条件是为了检索所述场景赋予对象检索结果而被输入的检索条件；以及检索起点推定部，从比规定的值大的所述单词类似度计算部所计算的所述类似度中， 确定利用了在离所述第一检索条件被输入的时刻最远的时刻被输入的检索条件而被计算 出的类似度，并将在所述最远的时刻中的操作的履历确定为所述检索起点，并根据该检索 起点来推定所述检索起点时刻。
8.如权利要求2所述的关联场景赋予装置，所述检索起点时刻推定部包括单词类似度计算部，按照在第一检索条件被输入的时刻之前被输入的、在时间上相邻 的操作的履历所成的组，来计算基于在该操作的履历所成的组中包含的检索条件的检索结 果之间的类似度，所述第一检索条件是为了检索所述场景赋予对象检索结果而被输入的检 索条件；以及检索起点推定部，从成为规定的值以下的所述单词类似度计算部所计算的所述类似度 中，确定利用了在离所述第一检索条件被输入的时刻最近的时刻被输入的检索条件而被计 算的类似度，并将在所述最近的时刻中的操作的履历确定为所述检索起点，并根据该检索 起点来推定所述检索起点时刻。
9.如权利要求1至8的任一项所述的关联场景赋予装置，所述关联场景赋予装置还具备电子辞典记忆部，在该电子辞典记忆部中记忆有单词和 与所述单词的词类有关的信息；所述关联场景抽出部，通过参照在所述电子辞典记忆部中所记忆的信息，从而决定与 所述场景赋予对象检索结果相关联的单词的词类，并按照被决定的所述单词的词类来决定时间长度，从所述图像记忆部所记忆的所述动态图像数据中，抽出在包含由所述检索起点 时刻推定部推定的所述检索起点时刻的所述时间长度内被再生的动态图像数据或静态图 像数据，并将抽出的所述动态图像数据或所述静态图像数据与所述场景赋予对象检索结果 相关联。
10.如权利要求1至8的任一项所述的关联场景赋予装置，所述关联场景赋予装置还具备节目信息获得部，该节目信息获得部获得与在所述图像 记忆部被记忆的所述动态图像数据的种类有关的信息；所述关联场景抽出部，通过参照在所述节目信息获得部获得的信息，从而决定在所述 检索起点时刻被再生的所述动态图像数据的种类，并按照被决定的所述动态图像数据的种 类决定时间长度，从所述图像记忆部所记忆的所述动态图像数据中，抽出在包含由所述检 索起点时刻推定部被推定的所述检索起点时刻的所述时间长度内被再生的动态图像数据 或静态图像数据，并将抽出的所述动态图像数据或所述静态图像数据与所述场景赋予对象 检索结果相关联。
11.如权利要求1至10的任一项所述的关联场景赋予装置，所述关联场景赋予装置还具备检索结果输出部，该检索结果输出部将在所述关联场景 抽出部与所述动态图像数据或所述静态图像数据相关联后的所述场景赋予对象检索结果， 输出到外部的设备。
12.一种检索系统，包括显示装置和关联场景赋予装置，所述显示装置显示动态图像数 据，所述关联场景赋予装置将关联场景与检索结果相关联，所述关联场景是成为检索契机 的动态图像数据或静态图像数据，所述关联场景赋予装置包括图像记忆部，记忆有动态图像数据和该动态图像数据的再生时刻，该动态图像数据与 所述显示装置所显示的动态图像数据相同；信息检索执行部，接受用户所输入的检索条件，并按照该检索条件来检索信息；操作履历记忆部，记忆有操作的履历，在该操作的履历中，由所述信息检索执行部接受 的所述检索条件与接受了该检索条件的时刻相对应；检索起点时刻推定部，根据场景赋予对象检索结果与所述操作履历记忆部所记忆的所 述操作的履历的关联性，来确定检索起点，并根据该检索起点来推定检索起点时刻，所述场 景赋予对象检索结果是，所述信息检索执行部所进行的检索结果中由所述用户指定的检索 结果，所述检索起点是，与所述场景赋予对象检索结果相关联的、所述操作履历记忆部所记 忆的所述操作的履历，所述检索起点时刻是，用于得到所述场景赋予对象检索结果的检索 条件开始被输入的时刻；关联场景抽出部，从所述图像记忆部所记忆的所述动态图像数据中，抽出在包含所述 检索起点时刻推定部所推定的所述检索起点时刻的时间中被再生的动态图像数据或静态 图像数据，并将抽出的所述动态图像数据或所述静态图像数据与所述场景赋予对象检索结 果相关联；以及检索结果输出部，将在所述关联场景抽出部与所述动态图像数据或所述静态图像数据 相关联后的所述场景赋予对象检索结果，输出到所述显示装置；所述显示装置，从所述检索结果输出部接收在所述关联场景抽出部与所述动态图像数据或所述静态图像数据相关联后的所述场景赋予对象检索结果，并显示接收的所述场景赋 予对象检索结果。
13.一种关联场景赋予方法，用于关联场景赋予装置，该关联场景赋予装置将关联场景 与检索结果相关联，所述关联场景是成为检索的契机的动态图像数据或静态图像数据，所述关联场景赋予装置包括图像记忆部，记忆有动态图像数据和该动态图像数据的再生时刻；以及操作履历记忆部，记忆有操作的履历，在该操作的履历中，用户所输入的检索条件与接 受了该检索条件的时刻相对应；所述关联场景赋予方法包括信息检索执行步骤，接受用户所输入的检索条件，并按照该检索条件来检索信息；检索起点时刻推定步骤，根据场景赋予对象检索结果与所述操作履历记忆部所记忆的 所述操作的履历的关联性，来确定检索起点，并根据该检索起点来推定检索起点时刻，所述 场景赋予对象检索结果是，在所述信息检索执行步骤所进行的检索结果中由所述用户指定 的检索结果，所述检索起点是，与所述场景赋予对象检索结果相关联的、所述操作履历记忆 部所记忆的所述操作的履历，所述检索起点时刻是，用于得到所述场景赋予对象检索结果 的检索条件开始被输入的时刻；以及关联场景抽出步骤，从所述图像记忆部所记忆的所述动态图像数据中，抽出在包含所 述检索起点时刻推定部所推定的所述检索起点时刻的时间中被再生的动态图像数据或静 态图像数据，并将抽出的所述动态图像数据或所述静态图像数据与所述场景赋予对象检索 结果相关联。
14.一种程序，使关联场景与检索结果相关联，所述检索场景是成为检索契机的动态图 像数据或静态图像数据，存储器记忆动态图像数据和该动态图像数据的再生时刻，所述存储器还记忆使用户所 输入的检索条件与接受了该检索条件的时刻相对应的操作的履历，所述程序使计算机执行以下步骤信息检索执行步骤，接受用户所输入的检索条件，并按照该检索条件来检索信息；检索起点时刻推定步骤，根据场景赋予对象检索结果与所述存储部所记忆的所述操作 的履历的关联性，来确定检索起点，并根据该检索起点来推定检索起点时刻，所述场景赋予 对象检索结果是，在所述信息检索执行步骤所进行的检索结果中由所述用户指定的检索结 果，所述检索起点是，与所述场景赋予对象检索结果相关联的、所述存储部所记忆的所述操 作的履历，所述检索起点时刻是，用于得到所述场景赋予对象检索结果的检索条件开始被 输入的时刻；以及关联场景抽出步骤，从所述存储部所记忆的所述动态图像数据中，抽出在包含在所述 检索起点时刻推定步骤所推定的所述检索起点时刻的时间中被再生的动态图像数据或静 态图像数据，并将抽出的所述动态图像数据或所述静态图像数据与所述场景赋予对象检索 结果相关联。
全文摘要
即使是针对按照每个场景没有被赋予与文本信息等场景有关的信息的动态图像内容，在进行信息检索的情况下也能够抽出关联场景的关联场景赋予装置包括操作履历记忆部(105)，记忆正在视听动态图像的用户所进行的信息检索的操作履历；检索结果记忆部(103)，记忆向其他的终端发送的信息检索结果；检索起点时刻推定部(107)，利用在所述操作履历记忆部(105)记忆的操作履历，来推定针对所述信息检索结果开始进行检索的时刻；关联场景抽出部(108)，抽出在所述被推定的开始检索的时刻上的所述动态图像的场景；检索结果输出部(111)，将所述关联场景赋予到所述信息检索结果并输出；以及检索结果发送部(113)，将所述被输出的结果发送到其他的终端。
文档编号H04N5/76GK102084645SQ20098011947
公开日2011年6月1日 申请日期2009年8月10日 优先权日2008年8月22日
发明者井上刚, 小泽顺 申请人:松下电器产业株式会社