关键字提取方法

专利名称：关键字提取方法
技术领域：
本发明涉及根据图像中包含的信息访问网站的技术。
背景技术：
基于电视的CM (商业消息)广播以及报纸和杂志上的广告是用于 向很多人员分发信息的有效技术(推广)的主流，用于商业产品的销售 宣传和用于提高企业的形象。
进一步，随着互联网(Internet)的普及，基于网站的推广变得重要。
TV CM和报纸广告在定时传送到很多人方面很有利，但是在广播时 间和空间方面有局限，其中问题是不能传送的大量信息。
另一方面，基于网站的广告在能够详细传送用户(顾客)希望的信 息方面很有利，但是具有要求用户访问的问题，而不知道网站和信息存 在的顾客不能访问网站(即，不能提供广告)。
因此，存在在通过TV和报纸提供广告的情况下，通知顾客存在网 站并且将对广告内容感兴趣的顾客引导到网站的试验方案。
例如，在CM中显示网站的URL (统一资源定位符)，因此提示顾 客通过Internet进行访问。
然而，URL很难记忆并且在访问时经常输入错误，从而并不总是 确保将顾客引导到网站。
在此情况下，如图9所示，存在一种方法，该方法显示模拟搜索引 擎的搜索框的框(该框中输入有关键字)，因此提示顾客通过从浏览器类 似地将关键字输入搜索框并且进行搜索来访问网站。根据该方法，如所 显示的，通过使用容易记忆的关键字进行搜索，并且网站容易访问。
进一步，例如，在以下文献中披露的技术作为与本发明相关的现有 技术的示例。日本专利公报第2002-290947号 Research of Degree of Reaction to Net-Synchronized TVCM， Nikkei BP Corp.,搜索日期2007/07/2
http:〃www.nikkeibp.co.jp/netmarketing/databox/nmdb/061201—crossmedia/

发明内容
在TV和报纸上做搜索关键字的广告并且通过Internet进行搜索的方 法具有用于广告关键字的媒介(TV或报纸)与搜索媒介(Internet)不同 的问题，因此搜索要求用户在另外的时间启动浏览器并且进行搜索，其 很耗时并且可能减少搜索的兴趣。
在此情况下，本发明提供通过从模拟搜索引擎的搜索框的图像中提 取搜索关键字并且通过该搜索关键字迸行搜索，而便于根据广告中的信 息(搜索关键字)进行网络访问的技术。
本发明采用以下配置来解决以上给出的问题。
艮口，根据本发明， 一种计算机执行的关键字提取方法包括
获取图像信息的步骤；
分析图像信息并且指定与模拟搜索框的预定图案相对应的模拟搜索 框区域的步骤；以及
从模拟搜索框区域提取搜索关键字的步骤。
进一步，根据本发明， 一种计算机执行的搜索方法包括
获取图像信息的步骤；
分析图像信息并且指定与模拟搜索框的预定图案相对应的模拟搜索 框区域的步骤；
从模拟搜索框区域提取搜索关键字的步骤；以及 通过使用搜索关键字执行搜索处理或预搜索处理的步骤。 进一步，根据本发明， 一种关键字提取装置包括 图像获取单元，用于获取图像信息；
分析单元，用于分析图像信息并且指定与模拟搜索框的预定图案相 对应的模拟搜索框区域；以及
提取单元，用于从模拟搜索框区域提取搜索关键字。 进一步，根据本发明， 一种搜索装置包括 图像获取单元，用于获取图像信息；
分析单元，用于分析图像信息并且指定与模拟搜索框的预定图案相 对应的模拟搜索框区域；
提取单元，用于从模拟搜索框区域提取搜索关键字；以及
搜索处理单元，用于通过使用搜索关键字执行搜索处理或预搜索处理。
进一步，本发明也可能是用于使计算机执行该方法的程序。进一步， 本发明也可能是记录该程序的计算机可读记录介质。使计算机读取并且 执行该记录介质上的程序，因此使得能够提供其功能。
这里，计算机可读记录介质包含能够电、磁、光、机械或通过化学 反应存储可以从计算机读取的、例如数据和程序的信息的记录介质。在
这些记录介质中，提供了例如软盘、磁光盘、CD-ROM、 CD-R/W、 DVD、 DAT、 8mm磁带、存储卡等作为可从计算机拆卸的介质。
进一步，提供硬盘、ROM (只读存储器)等作为计算机内固定的记 录介质。
根据本发明，可以提供一种通过从模拟搜索引擎的搜索框的图像提 取搜索关键字并且利用该搜索关键字进行搜索提取，而促进根据广告中 的信息(搜索关键字)进行网络访问的技术。


图1是搜索系统的原理图。
图2是搜索方法(包括搜索关键字提取方法)的说明图。 图3是通过自动指定预定区域来搜索CM的预定区域(末尾)的方 法的说明图。
图4是根据用户的操作来指定帧从而提取关键字的方法的说明图。 图5是分析序列的说明图。
图6是在直播期间缓存提取的关键字的示例的说明图。
图7是通过分析指定后的帧并且提取关键字来进行搜索的方法的说明图。
图8是表示显示搜索结果的示例的图。
图9A和图9B是包含模拟搜索框的区域的图像的说明图。
具体实施方式
<装置的配置>
在下文中参照附图描述用于执行本发明的最佳模式。以下实施方式 中的配置是示例性的，本发明不限于实施方式中的配置。 图1是根据实施方式的搜索系统的原理图。
实施方式中的搜索系统IO包括广播站的站侧装置101，用于电视广 播TV广播；用户终端l，用于接收站侧装置101广播的动态图像(移动 图片)；网络服务器2，用于通过网络(例如Internet)提供信息；搜索服 务器(搜索引擎)3，用于对网络服务器2提供的信息提供搜索服务、分 级服务器4等。
用户终端1与搜索系统10中的搜索装置或搜索关键字提取装置对应。
用户终端l是通用计算机，包括CPU(中央处理单元)、主存储器 等构造的算术处理单元12;存储用于算术处理的数据和软件的存储单元 (硬盘)13;输入/输出端口 14;通信控制单元(CCU) 15等。
将例如键盘、鼠标、CD-ROM驱动器和TV (电视)接收单元16的 输入装置，以及例如显示装置和打印机的输出装置，正确地连接到i/o端 P] 14。
TV接收单元(调谐器)16通过TV天线从广播站接收无线电波， 然后将无线电波转换为电信号(图像信息)，并且将信号输出到I/0端口 14。
CCU 15通过网络与其他计算机进行通信。
存储单元13中预安装有操作系统(OS)和应用软件(关键字提取 程序、搜索程序)。
算术处理单元12从存储单元13正确地读取OS和应用程序，并且 执行OS和应用程序，算术处理从I/O端口 14和CCU 15输入的信息以 及从存储单元13读取的信息，因此也用作图像获取单元、分析单元、提 取单元、播放单元和指令接收单元。
图像获取单元获取图像信息。例如，图像获取单元接收TV接收单 元16接收的图像信息，或者读取并获取存储(记录)在存储单元13中 的图像信息。
播放单元根据图像获取单元获取的图像信息播放动态图像。具体地， 将动态图像显示在显示单元上，从扬声器输出动态图像的声音。而且， 为了播放，播放单元根据用户的操作等通知TV接收单元16接收或切换 的频道。
指令接收单元接收用户的操作提供的搜索指令(指令信号)。 分析单元指定与模拟搜索框(栏)的预定图案相对应的区域，作为 模拟搜索框区域。
提取单元通过识别模拟搜索框区域中的字符，来提取搜索关键字。 搜索处理单元通过使用搜索关键字，来执行搜索处理或预搜索处理。 搜索处理单元通过CCU 15将包含搜索关键字的搜索请求发送到搜索服 务器3，并且使从搜索服务器发回的搜索结果显示在显示单元上。进一步， 搜索处理单元也具有根据显示的内容概括和超链接的搜索结果等访问网 络服务器、并且显示内容的功能。注意搜索处理单元可能涉及使用通常 类型的网络浏览器。
另一方面，搜索服务器3是通常类型的所谓基于计算机的搜索引擎， 包括用于从用户终端1的搜索处理单元(网络浏览器)接收搜索请求的 装置，存储网络服务器2的信息的存储装置，用于根据接收的搜索请求 的关键字在存储装置中搜索网络服务器2的对应信息的装置，以及用于 将搜索结果发送到请求者用户终端1的装置。
进一步，通过网络(例如Internet)将网络服务器2连接到其他计算 机，例如用户终端1和搜索服务器3。网络服务器2向请求者计算机提供 (发送)从另一个计算机提供的访问请求(URL等)指定的内容(文件)。
注意网络服务器2具有熟知配置，省略其深入描述。
类似地，通过网络(例如Internet)将分级服务器(关键字提供服务 器)4连接到其他计算机，例如用户终端1和搜索服务器。在分级服务器 4中，存储单元存储有按搜索计数最大到最小的顺序排序的、包含用于在 搜索站点进行搜索的关键字的分级信息，分级服务器4响应从其他计算 机提供的请求，提供关键字(分级信息)。注意分级服务器4也可能组合 搜索服务器3而亦用作搜索服务器3。而且，操作者可在存储单元中存储 用于CM的关键字。分级服务器4具有与通常类型的网络服务器相同的 配置，因此省略其详细说明。
<搜索方法>
下面，参照图2描述具有上述配置的用户终端1根据搜索程序执行 的搜索方法(包括搜索关键字提取方法)。
如图2所示，在用户终端1中，当通过用户的操作命令音频/视频-接收(播放)TV程序时，播放单元根据从存储单元13读取或者从TV 接收单元接收的图像信息播放动态图像。
此时，用户终端1的图像获取单元从一系列构成动态图像的帧内， 指定(获取)满足后面说明的预定条件的帧，作为分析目标帧(图像信 息)(步骤l，在下文中简称为S1)。
随后，分析单元分析指定的帧，并且指定与模拟搜索引擎的搜索框 的预定图案相对应的模拟搜索框区域(S2)。
而且，提取单元识别模拟搜索框区域中的字符，并且提取关键字 (S3)。
然后，搜索单元启动网络浏览器并且将提取单元提取的关键字发送 到搜索服务器，由此进行搜索，显示搜索结果(S4)。 通过以下特定实施例描述各步骤中的特定处理。 <第一特定实施例>
图3是表示从动态图像自动指定CM帧的预定部分(末尾)的搜索 方法的说明图。
开始，图像获取单元在动态图像(移动图片)中检测与节目的固有
故事不同的CM帧(Sll)。
在满足以下条件的情况下，当前CM检测方法指定CM帧。
1. 通过比较前后帧(如果一致程度小于预定值)，证明帧的整个区域 不同，即，当改变视频片段时存在预定或更长无声时间段。
2. 单声道地广播节目的固有故事并且当广播CM时切换到立体声系 统，由于将单声道系统被切换为立体声系统，因此将条件设定为广播返 回单声道系统之前的时间段。
3. 视频片段在预定时间点改变(例如，15秒的倍数)。
4. 设定了预定时间点(例如，整点之前5分钟)。
5. 根据从EPG (电子节目指南)获取的节目信息，设定节目转换时 间之前和之后五分钟，以及当从节目转换时间等分(2等分或4等分)节 目时的时间点。
注意CM检测方法可能涉及采用其他已知技术的任何一个，并且也 可能涉及使用这些技术的组合。
下面，图像获取单元设定用作CM的长度的基准的时间段L。在第 一实施例中，将时间L设定为L-15 (分钟)(S12)。
顺便地，很有可能用于通知键盘等的时间存在于CM帧的末尾，因 此图像获取单元根据以上给定条件，获取从检测到的CM帧的头部预定 时间长度(L/2、 L/3、 L-5 (秒))之后开始到L的帧。在第一实施方式中， 获取的帧从L-5到L (S13)。
然后，分析单元分析图像获取单元获取的帧(图像信息)，并且指定 与模拟搜索框的预定图案相对应的区域，作为模拟搜索框区域，提取单 元从模拟搜索框区域提取字符(S14)。
此时，由于分析单元指定了如图9所示的图像中的模拟搜索框的区 域，因此在水平方向(主扫描方向)和垂直方向(子扫描方向)上扫描 图像，提取像素在水平或垂直方向上在预定或更长距离变得连续的区域， 来形成直线。然后，将直线成为矩形的区域设定为模拟搜索框区域。
具体地在本发明中，具有很短宽度(在水平方向上)的矩形62与一 个矩形61相邻，并且，如果字符"搜索"存在于短矩形中，即，如果与
预定图案(例如包含与搜索按钮对应的图像) 一致，则将矩形61的区域 指定为模拟搜索框区域。
此时，如果能够提取关键字，则向搜索单元通知关键字，并且，如 果不能提取，则向图像获取单元通知不能提取(S15)。
接收该不能提取通知的图像获取单元判断是否该提取目标帧是否是
从CM头部算起的L秒之后到达的(S16)，并且，如果该帧不是L秒之 后到达的，则获取下一帧(S17)。
进一步，如果在步骤16中判断该帧是在L秒之后到达的，则判断时 间长度L是否小于60秒(S18)，如果不小于60秒则处理结束，如果等 于或小于60秒则随后向L增加15秒(S19)，并且，如果没有超过CM 的最大值(例如，60秒)，则处理循环回步骤13，其中获取帧(S20)。
注意当步骤13获取帧时，可能获取从L-5秒到L秒的所有帧，然而， 在根据MPEG (移动图片专家小组)系统的动态图像(移动图片)的情 况下，也可能只获取I图片(内图片)。因此，如果采用只获取I图片的 方案，则可以减少流量。
<第二特定实施例〉
图4是表示通过根据用户的操作指定帧来提取关键字的方法的说明 图，图5是表示第二实施例中分析序列的说明图。
首先，当用户使用通过I/0端口 14连接的键盘和遥控器进行输入操 作而输入了关键字获取指令(S21)时，图像获取单元获取在接收输入的 时间点播放的帧(S22)。
然后，分析单元分析图像获取单元获取的帧(图像信息)，并且指定 与模拟搜索框的预定图案相对应的区域，作为模拟搜索框区域，提取单 元从模拟搜索框区域提取字符(S23)。
此时，如果能够提取关键字，则向搜索单元通知关键字，并且，如 果不能提取，则通知图像获取单元不能提取这一情况(S24)。
接收到该不能提取通知的图像获取单元判断该提取目标帧是否是在 前输入帧(S25)，并且，如果是在前帧，则进一步判断该帧是否是早于 接收该输入时的时间点N秒的帧(S26)。
如果在步骤26中判断出该帧不是在早N秒到达的帧，则获取前一个 帧(S27)，并且，如果是早N秒到达的帧，则获取接收输入的时间点的 下一帧(S28)。
另一方面，如果在步骤25中判断是接收输入之后的帧，则判断该帧 是否是从接收输入的时间点经过M秒之后到达的帧，并且，如果不是经 过M秒之后到达的帧，则向图像获取单元通知该情况(S29)，并且获取 下一个帧(S30)。注意如果在步骤29中判断是经过M秒之后到达的帧， 则终止提取处理。
因此，在根据用户的输入指定帧的情况下，因为在检测到动态图像 中的关键字之后，很可能用户进行输入操作，所以通过从接收输入时的 时间点顺序回溯的方式来指定帧，并且，如果未提取到关键字，则指定 接收输入的时间点之后的帧，作为分析目标帧，因此使得能够快速执行 分析处理。
<第三实施例>
图6是示出了在直播期间提取关键字并缓存提取的关键字的实施例 的说明图。
首先，图像获取单元确定播放的动态图像是否是直播(TV接收单元 接收的信息)(S31)，并且，如果是直播，则获取在预设时间点的帧(S32)。
分析单元从获取的帧中指定模拟搜索框区域(S33)。这里，如果可 以指定模拟搜索框区域，则提取单元识别模拟搜索框区域中的字符 (S34-S35)并且提取关键字，并且，如果不能指定模拟搜索框区域，则 处理循环回步骤S31。
如果可以在步骤35中提取关键字，则确定缓存是否充满数据 (S36-37)，如果充满数据则删除缓存中的最旧数据(S38)，向缓存增加 提取的关键字(S39)。
关于被缓存的关键字，例如，当从用户提供指令时，提取单元从缓 存读取最近关键字并且向搜索单元通知该关键字，因此进行搜索。
注意在第三实施例中将步骤35中提取的关键字存储在缓存中，然 而，可用方案是将步骤33中指定的模拟搜索框区域存储在缓存中，而可
能省略步骤34、 35。
进一步，在步骤32中直播期间顺序获取帧的情况下，可能获取构成 动态图像(移动图片)的所有帧，然而，另一个可用方案是，如果是根 据MPEG系统的动态图像，则只获取I图片(内图片)。该方案使得限制 了存储容量和分析的流量。
<第四指定实施例>
图7是示出了分析指定后帧、提取关键字并且进行搜索的方法的说 明图。
首先，分析单元对分析目标帧进行分析，并且，如果能够指定模拟 搜索框区域(S41)，则提取单元识别该模拟搜索框区域中的字符(S42)。
如果能够从模拟搜索框区域提取关键字(S43),则将关键字与分级 服务器4中的数据库中(存储单元)存储的关键字比较，因此确定是否 存在类似关键字(S44)。
如果存在类似关键字，则搜索单元将该关键字设定为网络浏览器上 的搜索关键字，并且访问搜索站点，因此进行搜索(S45、 S47)。进一步， 如果在步骤44中没有类似关键字，则将提取的关键字设定为搜索关键字， 因此进行搜索(S46、 S47)。
当搜索站点进行基于关键字的搜索并且发送回搜索结果(S48)时， 用户终端1的搜索单元使得该搜索结果的最高阶内容显示在显示单元上 (S49)。
图8是说明显示搜索结果的示例的图。
将搜索的内容的URL显示在表示搜索结果的窗口中的地址框51中， 将从网络服务器接收的内容显示在内容框52中。
进一步，在第四实施例中，也将搜索结果列表54和搜索关键字53 显示在与该内容的帧不同的帧中。如果从搜索结果列表选择其他链接， 则也可以浏览与以上给定的内容不同的内容。
注意搜索结果显示方法不限于上述方法，也可能只显示最高阶内容 或只显示搜索结果列表。
进一步可用方案是在不执行到基于关键字的搜索的处理，预搜索处
理涉及将处理停止于启动网络浏览器的状态，然后将提取的关键字插入 搜索服务器2的搜索页上的搜索框，等待用户的操作。 <其他>
本发明不限于上述说明的实施例，并且当然可以以不脱离本发明要 点的范围内的很多形式进行变型。
例如，在上述示例中，图像信息涉及使用TV接收单元接收的动态 图像或者从存储单元读取的动态图像，并且在不限于动态图像的情况下， 也可能是通过数字摄像机或扫描仪捕获或扫描报纸、杂志、小册子等来 获取的图像信息。
权利要求
1、一种计算机执行的关键字提取方法，该方法包括以下步骤获取图像信息；分析所述图像信息并且指定与模拟搜索框的预定图案相对应的模拟搜索框区域；以及从所述模拟搜索框区域提取搜索关键字。
2、 根据权利要求1所述的关键字提取方法，其中检测构成动态图像 的一系列帧中置于预定间隔的帧，作为所述图像信息。
3、 根据权利要求1所述的关键字提取方法，其中通过比较所述动态 图像中的帧，来检测满足商业消息条件的帧，作为所述图像信息。
4、 根据权利要求3所述的关键字提取方法，其中将满足商业消息条件的多个帧中的并且位于被定义为在时间序列上连续的一组帧的帧组中 的、预定时段内的帧设定为分析目标帧。
5、 根据权利要求4所述的关键字提取方法，其中所述预定时段与所 述帧组中的第二半区域、或者从开始起预定时间长度之后的区域，或者 距结束预定时间长度之前的区域相对应。
6、 根据权利要求2所述的关键字提取方法，所述方法进一步包括 根据所述图像信息播放动态图像；以及 接收用户的操作给定的指令信号，其中将接收到所述指令信号时播放的帧或者距所述播放的帧预定时 间长度的帧，设定为所述分析目标帧。
7、 根据权利要求6所述的关键字提取方法，其中将距离接收到所述 指令信号时播放的帧预定时间长度之后的帧设定为所述分析目标帧，以 及如果与所述预定区域相对应的区域不存在，则将与接收到所述指令 信号时播放的帧距离预定时间长度之前的帧设定为所述分析目标帧。
8、 根据权利要求6所述的关键字提取方法，其中将所述图像信息存 储在存储单元中，以及 从所述存储单元中读取与接收到所述指令信号时播放的帧距离预定 时间长度之前的帧，并且将其设定为所述分析目标帧。
9、 一种计算机执行的搜索方法，所述方法包括以下步骤 获取图像信息；分析图像信息并且指定与模拟搜索框的预定图案相对应的模拟搜索框区域；从所述模拟搜索框区域提取搜索关键字；以及 通过使用所述搜索关键字执行搜索处理或预搜索处理。
10、 根据权利要求9所述的搜索方法，其中所述预搜索处理是提供 启动浏览器并且输入搜索关键字作为浏览器的栏中的搜索站点的搜索参 数的状态的处理。
11、 根据权利要求9所述的搜索方法，其中所述搜索处理是提供启 动浏览器并且将使用所述搜索关键字在搜索站点进行搜索的结果显示在 浏览器上的状态的处理。
12、 一种关键字提取装置，该关键字提取装置包括 图像获取单元，其用于获取图像信息；分析单元，其用于分析图像信息并且指定与模拟搜索框的预定图案 相对应的模拟搜索框区域；以及提取单元，其用于从所述模拟搜索框区域提取搜索关键字。
13、 根据权利要求12的关键字提取装置，其中所述图像获取单元检 测在构成动态图像的一系列帧中置于预定间隔的帧，作为所述图像信息。
14、 根据权利要求12的关键字提取装置，其中所述图像获取单元通 过比较所述动态图像中的帧，来检测满足商业消息条件的帧，作为所述 图像信息。
15、 根据权利要求14所述的关键字提取装置，其中所述分析单元将 满足商业消息条件的多个帧中的、并且位于被定义为在时间序列上连续 的一组帧的帧组中的、预定时段内的帧设定为所述分析目标帧。
16、 根据权利要求15所述的关键字提取装置，其中所述预定时段与 帧组中的第二半区域、或者从开始起预定时间长度之后的区域，或者距 结束预定时间长度之前的区域相对应。
17、 根据权利要求13所述的关键字提取装置，所述方法进一步包括: 播放单元，其用于根据所述图像信息播放所述动态图像；以及指令接收单元，其用于接收用户的操作给出的指令信号， 其中将接收到所述指令信号时播放的帧或者距离该播放的帧预定时 间长度的帧设定为分析目标帧。
18、 根据权利要求17所述的关键字提取装置，其中将与接收到所述 指令信号时播放的帧距离预定时间长度之后的帧设定为所述分析目标 帧，以及如果与所述预定区域对应的区域不存在，则将与接收到所述指令信 号时播放的帧距离预定时间长度之前的帧设定为所述分析目标帧。
19、 一种搜索装置，所述搜索装置包括 图像获取单元，其用于获取图像信息；分析单元，其用于分析图像信息并且指定与模拟搜索框的预定图案相对应的模拟搜索框区域；提取单元，其用于从所述模拟搜索框区域提取搜索关键字；以及搜索处理单元，其用于使用所述搜索关键字执行搜索处理或预搜索 处理。
20、 根据权利要求19的搜索装置，其中所述预搜索处理是提供启动 浏览器并且输入所述搜索关键字作为浏览器的栏中的搜索站点的搜索参 数的状态的处理。
21、 根据权利要求19的搜索装置，其中所述搜索处理是提供启动浏 览器并且将使用所述搜索关键字在搜索站点进行搜索的结果显示在浏览 器上的状态的处理。
全文摘要
本发明披露了一种关键字提取方法，通过从模拟搜索引擎的搜索框的图像中提取搜索关键字并且利用该搜索关键字进行搜索，来促进根据广告中的信息(搜索关键字)进行网络访问的技术。获取图像信息，分析图像信息，指定与模拟搜索框的预定图案相对应的模拟搜索框区域，以及从所述模拟搜索框区域提取关键字。
文档编号H04N7/26GK101364225SQ200810144929
公开日2009年2月11日 申请日期2008年8月7日 优先权日2007年8月10日
发明者上和田徹, 寺崎高史, 漆原雅司, 驹井广行 申请人:富士通株式会社