信息通信终端、信息通信系统、信息通信方法、信息通信程序及存储该程序的记录媒体的制作方法

文档序号:6566555阅读:153来源:国知局
专利名称:信息通信终端、信息通信系统、信息通信方法、信息通信程序及存储该程序的记录媒体的制作方法
技术领域
本发明涉及应用于IP (Internet Protocol)电话、IP电视电话等通信技术以 及应用了如下数据处理技术的信息通信终端、信息通信系统、信息通信方法、 信息通信程序以及存储了该程序的记录媒体,该数据处理技术是取得网络上 的服务器所保存的信息和用户终端上的信息并显示在用户终端的画面上。
背景技术
随着近年的信息技术的发展,将语音通信、WWW (World Wide Web)等 多种信息有机的结合在一起的信息应用方法得到*。用户使用用户终端等可 以进行如下交换
(A) 从因特网、专用网上的服务器到用户终端的文本、语音以及图像信 息的下载;
(B) 通过因特网、专用网在用户终端间(两个以上终端)交换文本、语 音以及图像信息。
作为(A)的例子,可以举出利用浏览器的因特网上的网页浏览。
另外,作为(B)的例子,可以举出利用IP电话终端的语音会话、利用 IP电视电话终端的语音 图像通信。
以往,终端用户在语音图像信息的交换中想要通过下载来取得与会话相关 的文本'语音 图像信息时,用户向自身终端输入关键字(keyword),查找存 储有信息的位置。由于该操作是与会话并行进行,因此注意如下两点来进行与 对话对象的通信
容易产生关键字的输入错误,输入需要时间; 检索存储有信息的位置时需要时间。
鉴于以上情况的现有技术中存在如下技术。
作为第一种技术,其特征是,从通信终端向交换设备供应商側发送的语音
信息的内容中通过语音识别等模块识别关键字,向终端反馈对应该关键字的分 发用信息。在该技术中,
(1) 以通过通信路径供给分发用信息的信息共享模块为前提,以通过交 换设备供应商的通话中继为前提。因此,
(a) 不能应用于终端之间直接通信的类型的通信;
(b) 需要在用于进行通话的交换设备上构筑广告信息数据库,因此要做 广告分发中介的运营商尽管只想提供附加信息,但在进行呼叫设定或信息交换 时需要交换设备,对于设备供应商而言构筑、应用专用交换设备需要耗费成本;
(c) 需要在交换设备内解析用户的语音信息,因此用户的隐私信息的管 理依赖于交换设备供应商的运营方针。
(2) 另外,第一种技术的特征是,不是向利用者公开进行了语音识别的 关键字本身,而是提示与关键字相关联的附加信息,另外,暂时只提示一个附 加信息。因此,无法选择利用者自身真正想要得到的信息。因此,不具有在语 音识别结果中用户自身选择用户真正需要的信息的架构。
第二种技术是进行主叫源终端和被叫目的地终端之间的通话连接的处理
方法,其主要特征是,对来自主叫者终端或者被叫目的地终端的通话语音进行 语音识别,并以语音识别结果为关键字来进行数据通信网内的信息检索,将检 索结果发送至主叫源数据通信终端或者被叫目的地数据通信终端。在这样的现 有技术中,
(1) 由于第一种技术中以电话交换系统为前提,以通过交换设备供应商 的通话中继为前提,因此存在同样的问题;
(2) 第一种技术的特征是在与关键字匹配的阶段、或者只在用户期望的 时刻、或者只在用户期望的时间内显示与关键字相关联的信息。不是显示关键 字本身,而是除了只显示附加信息,还暂时提示一个附加信息。因此不具有在 语音识别结果中用户自身选择用户真正需要的信息的架构。
第三种技术是如下的一种系统其以通过网络对通话连接的多个通话者终 端提供话题信息为目的,并具有语音识别^^莫块、从识别结果中抽出关键字信息 的取得模块、以及按照用户属性来存储管理适合于用户属性的话题信息的话题 信息存储模块,从用户属性以及关键字选择适合的话题。该发明是以管理用户
属性信息、鉴于用户的嗜好和会话的内容、提高提供信息的精度为目的的发明。 在这样的现有技术中,
(1)由于以电话交换系统为前提,以通过交换设备供应商的通话中继为 前提,因此存在与第一种技术相同的问题点;
(2 )由于需要将用户的嗜好信息预先登录到交换设备供应商的用户信息 数据库,因此交换设备运营商会知道用户信息;
(3) 由于需要在交换设备上预先构筑用户信息数据库、话题信息数据库, 因此提供信息被交换设备供应商所限定;
(4) 第三种技术的特征是,不是向利用者公开进行了语音识别的关键字 本身,而是提示与该关键字相关联的话题信息。另外,另一特征是暂时只提示 一个附加信息。因此,无法选择利用者自身真正想要得到的信息。因此,不具 有在语音识别结果中用户自身选择用户真正需要的信息的架构。
(1) 第三种技术与第一种技术一样,以基于交换设备供应商设置的通信 处理系统的通话中继为前提,以通过交换设备供应商设置的通信处理系统来进 行语音识别为前"l是。在这样的现有技术中,
(2) 没有提及提供广告信息的模块。
(3) 是一种提示检索结果而不向终端提示关键字本身的方法,另外,没 有公开在终端的信息提供模块。因此,不清楚从用户发话中抽出了多个关键字 时的信息提示方法。还有一次显示庞大的检索结果的情况,不能保证进行用户 所期望的检索。
然而,在现有技术中存在如下课题
(1)用户在语音图像信息的交换中(例如,使用IP电话终端、IP电视电 话终端、移动电话终端的会话中等),以往如果不是通过自身的键盘等来输入 或检索存储有信息的位置,则无法得到附加信息 广告信息。
另夕卜,仅仅通过简单的会话来得到用户感兴趣的信息而不妨碍与通话对象 的平滑的通信是比较困难的。
另外,不依赖于语音识别精度地向利用者提供适合的信息是比较困难的。
另外,在存在多个与会话相关联的附加信息.广告信息时,选择利用者真 正想要得到的信息是比较困难的。
(2 )(用户隐私的确保)在现有技术中都是通过在交换设备侧分析在终端 间交换的语音图像信息来抽出关键字,技术上无法保证终端间的"通信内容的 秘密",因此用户的隐私保护依赖于交换设备运营商的方针,无法消除用户的 不安感。
另外,难以提供如下模块即使不提供会话内容的所有信息,用户也可以
得到适合的附加信息 广告信息。
(3)以往的语音交换是以电话专用的交换系统为前提,或者有关现有技 术的文献中也以在专用设备上设置信息提供模块为前提,如果不具备专用的语 音交换设备就不能实现"按照会话内容的信息提供作业"。
另外,在近年的使用了 SIP ( Session Initiation Protocol)或H.323的IP电 话或IPTV电话的实现方式中,未必以使用电话专用的交换系统来实现语音-图 像通信系统终端间的呼叫设定(地址信息的交换)或呼叫设定后的语音 图形 信息的信息交换为前提,但是设备供应商构筑或运营专用交换设备耗费成本, 按照设备供应商的运营方针不得不由用户来负担其费用。
另夕卜,在当前的利用了语音或图像的通信服务中,没有具备显示与会话相 关联的广告的功能。因此,丧失了用户取得与通话内容相关联的服务或商品信 息并按照需要来利用这些信息的机会。另夕卜,对于广告主来说同样也丧失了提 供服务并出售商品的机会。

发明内容
本发明的一种形式是一种信息通信终端,其与多个信息通信终端至少交换 语音信息,包括语音识别模块,其用于信息通信终端识别所述语音信息,并 根据识别的语音信息确定多个单词;存储媒体,其存储设定有用于抽出关键字 的条件的关键字抽出条件设定数据;关键字抽出模块,其用于读出关键字抽出 条件设定数据,并从多个单词中抽出多个关键字;相关信息取得模块,其用于 取得与多个关键字相关联的相关信息;以及相关信息输出模块,其用于向监视
器输出相关信息。
本发明的另一种形式是一种通过网络与多个信息通信终端连接的信息通 信系统,包括语音识别模块,其用于信息通信终端至少识别通过网络发送的 语音信息,并从识别的语音信息确定多个单词;存储々某体,其存储设定有用于
抽出关键字的条件的关键字抽出条件设定数据;关键字抽出模块,其用于读出
关键字抽出条件设定数据,并从多个单词中抽出多个关键字;相关信息取得模 块,其用于取得与多个关键字相关联的相关信息;以及相关信息输出模块,其 用于向监视器输出相关信息。
本发明的另 一形式是一种信息通信方法,其使用信息通信终端与其他信息 通信终端至少交换语音信息,上述信息通信终端具有语音识别模块、存储媒体、 关键字抽出模块、相关信息取得模块、相关信息输出模块、以及监视器,上述 信息通信方法包括如下步骤语音识别模块从语音信息识别多个单词;存储Jf某 体存储含有用于抽出关键字的条件的关键字抽出条件设定数据;关键字抽出模 块从存储媒体中读出关键字抽出条件设定数据,并从多个单词中抽出多个关4建 字;相关信息取得模块取得与多个关键字相关联的相关信息;以及相关信息输 出模块向监视器输出相关信息。
本发明的另 一形式是信息通信程序,其使用信息通信终端与其他信息通信 终端至少交换语音信息,上述信息通信终端具有语音识别模块、存储媒体、关 键字抽出模块、相关信息取得模块、相关信息输出模块、以及监视器,上述信 息通信程序使计算机执行包括如下命令的一连串的命令使语音识别模块从语 音信息识别多个单词;使存储媒体存储含有用于抽出关键字的条件的关键字抽 出条件设定数据;使关键字抽出模块从存储媒体中读出关键字抽出条件设定数 据,并从多个单词中抽出多个关键字;使相关信息取得模块取得与多个关键字 相关联的相关信息;以及使相关信息输出模块输出相关信息。
本发明的另 一形式是一种记录有信息通信程序的计算才几可读的存储媒体, 上述信息通信程序是使用信息通信终端与其他通信终端至少交换语音信息的 信息通信程序,上述信息通信终端具有语音识别模块、存储々某体、关键字抽出 模块、相关信息取得模块、相关信息输出模块、以及监视器,上述存储媒体记 录有使计算机执行如下命令的程序使语音识别模块从语音信息识别多个单 词;使存储媒体存储含有用于抽出关键字的条件的关键字抽出条件设定数据; 使关键字抽出模块从存储媒体中读出关键字抽出条件设定数据,并从多个单词 中抽出多个关键字;使相关信息取得模块取得与多个关键字相关联的相关信 息;以及使相关信息输出模块输出相关信息。


图1是用于说明本发明的第一实施方式的信息通信系统的整体结构的结 构图。
图2是用于说明本发明的第一实施方式的信息通信系统的启动顺序的流 程图。
图3是用于说明本发明的第一实施方式的信息通信系统的关键字显示顺 序的流程图。
图4A是用于说明本发明的第一实施方式的信息通信系统的取得条件受理 /信息显示顺序的流程图。
图4B是用于说明本发明的第一实施方式的信息通信系统的取得条件受理 /信息显示顺序的流程图。
图5是用于说明本发明的第一实施方式的信息通信系统的共享信息接收/. 显示顺序的流程图。
图6A是用于说明本发明的第 一 实施方式的信息通信系统的共享信息接收 /信息显示顺序的流程图。
图6B是用于说明本发明的第 一 实施方式的信息通信系统的共享信息接收 /信息显示顺序的流程图。
图6C是用于说明本发明的第一实施方式的信息通信系统的共享信息接收 /信息显示顺序的流程图。
图7是用于说明本发明的第一实施方式的信息通信系统的广告信息提供 顺序的流程图。
图8是用于说明本发明的第一实施方式的信息通信系统的取得方法信息 提供顺序的流程图。
图9是用于说明本发明的第一实施方式的信息通信系统的相关信息提供 顺序的流程图。
图10是用于说明本发明的第一实施方式的信息通信系统的检索信息提供 顺序的流程图。
图11是用于说明本发明的第一实施方式的履历信息登录顺序的流程图。 图12表示本发明的第一实施方式的信息通信终端的画面输出图像的例子。
图13表示本发明的第一实施方式的信息通信终端的画面输出图像的例子。
图14表示本发明的第一实施方式的动作条件设定数据的例子。 图15表示本发明的第 一 实施方式的关键字抽出条件设定数据的例子。 图16表示本发明的第一实施方式的默认取得顺序设定数据的例子。 图17表示本发明的第一实施方式的抽出关键字履历数据的例子。 图18表示本发明的第一实施方式的相关信息取得履历数据的例子。 图19表示本发明的第一实施方式的本地位置数据的例子。 图20表示本发明的第一实施方式的位置数据的例子。 图21表示本发明的第一实施方式的履历数据的例子。 图22表示本发明的第一实施方式的广告数据的例子。 图23是用于说明本发明的第二实施方式的数据通信系统的整体结构的结 构图。
图24是用于说明本发明的第二实施方式的关键字显示顺序的流程图。 图25是用于说明本发明的第二实施方式的共享信息接收/信息显示顺序的 流程图。
图26是用于说明本发明的第三实施方式的信息通信系统的整体结构的结 构图。
图27表示本发明的第三实施方式的信息通信系统的感情信息履历数据的 例子。
图28表示本发明的第三实施方式的信息通信系统的动作条件设定数据的 例子。
图29是用于说明本发明的第三实施方式的信息通信系统的感情信息交换 顺的流程图。
图30是用于说明本发明的第四实施方式的数据通信系统的整体结构的结 构图。
图31是用于说明本发明的第四实施方式的启动顺序的流程图。
图32是用于说明本发明的第四实施方式的警告显示顺序的流程图。
图33是用于说明本发明的第四实施方式的通话切断顺序的流程图。
图34是用于说明本发明的第四实施方式的录音顺序的流程图。 图35是用于说明本发明的第四实施方式的警告信息提供顺序的流程图。 图36表示本发明的第四实施方式的动作条件设定数据的例子。 图37表示本发明的第四实施方式的警告条件设定数据的例子。 图38表示本发明的第四实施方式的抽出关键字履历数据的例子。 图39是用于说明本发明的第五实施方式的信息通信系统的整体结构的结 构图。
图40是用于说明本发明的第五实施方式的信息通信系统的关键字显示顺 序的流程图。
图41是用于说明本发明的第五实施方式的关键字抽出服务器进行的服务 器侧关键字抽出顺序的流程图。
图42表示本发明的第五实施方式的动作条件设定数据的例子。
图43表示本发明的第五实施方式的抽出关键字履历数据的例子。
图44表示本发明的第五实施方式的相关信息取得履历数据的例子。
图45表示本发明的第五实施方式的履历数据的例子。
图46是用于说明本发明第五实施方式的第 一 实施例的关键字抽出服务器 的整体结构的结构图。
图47是用于说明本发明第五实施方式的第一实施例的变更例的关键字抽 出服务器的整体结构的结构图。
图48是用于"i兌明本发明第五实施方式的第一实施例的构成知识网络记录 部内的知识网络的节点(词汇)的一例。
图49表示本发明第五实施方式的第一实施例的知识网络记录部内的知识 网络的一例。
图50是用于说明本发明第五实施方式的第 一实施例的关键字抽出服务器 的同音同写法异义语意思判断处理的动作的流程图。
图51是用于说明本发明第五实施方式的第一实施例的关键字抽出服务器 的同音同写法异义语意思判断处理中的同音同写法异义语意思判断算法的流程图。
图52表示本发明第五实施方式的第一实施例的变更例的关键字抽出服务
器中将知识网络的各词汇的ID号码、写法以及读音相对应起来的要素信息例。 图53表示本发明第五实施方式的第一实施例的变更例的知识网络记录部
内的知识网络的具体例。
图54表示在本发明第五实施方式的第一实施例的变更例的关键字抽出服
务器中的输入文本数据例以及从输入文本数据例抽出了单词集合的输入单词
集合例。
图55表示在本发明第五实施方式的第一实施例的变更例的关键字抽出服 务器中,使用图52以及图53所示的知识网络,并使用图54所示的输入文本 数据例以及从输入文本数据例抽出了单词集合的输入单词集合例以判断同音 同写法异义语意思的结果的例子。
图56表示本发明第五实施方式的第一实施例的变更例的关键字抽出服务 器中的输入文本数据例以及从输入文本数据例抽出了单词集合的输入单词集 合例的另一例子。
图57表示在本发明第五实施方式的第一实施例的变更例的关键字抽出服 务器中,使用图58所示的知识网络,并使用图56所示的输入文本数据例以及 从输入文本数据例抽出了单词集合的输入单词集合例以判断同音同写法异义 语意思的结果的例子。
图58表示在本发明第五实施方式的第一实施例的变更例的关键字抽出服 务器中知识网络数据存储部内的知识网络的另 一具体例。
图59是用于说明本发明第五实施方式的第二实施例的关键字抽出服务器 的整体结构的结构图。
图60表示本发明第五卖施方式的第二实施例的单词词典的表的一例。
图61表示本发明第五实施方式的第二实施例的单词相关度词典的表的一例。
图62是表达图63所示的知识网络的单词相关度词典的表的一例。
图63表示本发明第五实施方式的第二实施例的知识网络的模式图的一例。
图64是表达图63所示的知识网络的单词词典的表的一例。
17 图65表示本发明第五实施方式的第二实施例的文本数据的 一例。
图66是本发明第五实施方式的第二实施例的文本数据的确认结果的说明图。
图67是本发明第五实施方式的第二实施例的单词列(窗口 )的一例的说 明图。
图68表示用于说明本发明第五实施方式的第二实施例的评价结果的图表 的一例。
图69表示用于说明本发明第五实施方式的第二实施例的评价结果中抽出 了点数为上位B ( = 5)个的例子的图表。
图70表示在本发明第五实施方式的第二实施例的评价结果中抽出了点数 为阈值C ( =1.00)以上的单词的例子的图表。
图71是用于说明本发明第五实施方式的第二实施例的话题语的抽出结果 的模式图。
图72是用于说明本发明第五实施方式的第二实施例的话题抽出方法的流 程图。
图73表示用于说明本发明第五实施方式的第二实施例的变更例的、针对 时间的窗口尺寸=5的窗口变化的图表。
图74表示用于说明本发明第五实施方式的第二实施例的变更例的、抽出 了窗口尺寸-5且点数为上位B ( = 2)个的话题语的一例的图表。
图75表示用于说明本发明第五实施方式的第二实施例的变更例的、抽出 了窗口尺寸-5且阈值C ( =1.00)以上的话题语的一例的图表。
图76是用于说明本发明第五实施方式的第三实施例的关键字抽出服务器 的整体结构的结构图。
图77表示在本发明第五实施方式的第三实施例的关键字抽出服务器中使 用的知识网络数据的节点属性数据的例子。
图78表示在本发明第五实施方式的第三实施例的关键字抽出服务器中使 用的知识网络数据的链接属性数据的例子。
图79是用于说明以视觉方式表达了图77以及图78所示的节点属性数据 和链接属性数据的关系的知识网络数据的模式图。
图80是表示本发明第五实施方式的第三实施例的文本解析方法的流程图。
图81表示本发明第五实施方式的第三实施例的输入文本数据的一例。
图82是本发明第五实施方式的第三实施例的单词抽出处理中的单词抽出 条件设定数据的一例的"i兌明图。
图83是本发明第五实施方式的第三实施例的单词抽出单元输出的单词的 抽出结果的一例的说明图。
图84表示本发明第五实施方式的第三实施例的单词间最短距离计算处理 中的最短距离计算条件设定数据的一例。
图85表示本发明第五实施方式的第三实施例的单词间最短距离单元输出 的最短距离数据的一例。
图86表示本发明第五实施方式的第三实施例的第一文本解析方法中的关 键字抽出条件设定数据的 一例。
图87表示本发明第五实施方式的第三实施例的第一文本解析方法中的单 词评价数据的一例。
图88表示通过本发明第五实施方式的第三实施例的第一文本解析方法输 出的关键字抽出结果的一例。
图89表示本发明第五实施方式的第三实施例的相关语抽出条件设定数据 的一例。
图90表示通过本发明第五实施方式的第三实施例的第一文本解析方法输 出的相关语抽出结果的 一例。
图91表示本发明第五实施方式的第三实施例的第二文本解析方法中的关 键字抽出条件设定数据的 一例。
图92表示通过本发明第五实施方式的第三实施例的第二文本解析方法输 出的单词评价数据的 一例。
图93表示通过本发明实施方式的第二文本解析方法输出的关键字输出结 果的一例。
图94表示通过本发明第五实施方式的第三实施例的第二文本解析方法输 出的相关语抽出结果的 一例。
图95是用于说明本发明的其他实施方式的信息通信系统的整体结果的结 构图。
图96是用于说明本发明的其他实施方式的信息通信系统的整体结构的结构图。
具体实施方式
(第一实施方式) -整体结构的说明-
如图l所示,本发明的第一实施方式的信息通信系统具备包括语音图像 通信终端在内的信息通信终端100、相关信息服务器104、检索服务器105、 位置服务器102以及广告信息服务器103。各结构系统通过网络101可以互相 进4亍通信。
存在多台信息通信终端100。信息通信终端IOO具有使用语音图像交换模 块l来实时交换语音、图像信息的IP电话、IPTV电话功能。
作为呼叫控制的具体方式,假设与H.323、 SIP等协议对应。信息通信终 端100从通过IP电话、IPTV电话来交换的语音信息中抽出关键字,从;险索服 务器105或相关信息服务器104取得与关键字相关联的信息并显示在画面上。
作为相关信息服务器104,假设在因特网提供信息的Web服务器整体。
更具体地,假设具有如下功能的相关信息服务器104,该功能是当指定 信息的位置(ex.URL-相关信息服务器104的位置+相关信息服务器104内 的信息的位置)时,反馈文本数据、HTML数据、语音流数据、图像流数据等 信息。信息通信终端IOO将从相关信息服务器104取得的这些信息显示在监视 器2上。
作为检索服务器105,例如可以使用通过检索服务等而提供的检索服务器。
更具体地,假设具有如下功能的服务器对检索服务器105的位置 (ex.URL)发送关键字时,反馈检索结果(-与相关信息服务器104的位置 (ex.URL)相关联的信息的部分内容,该相关信息服务器104存储有与关键 字相关联的信息)的列表。
假设信息通信终端IOO将从检索服务器105取得的检索结果列表显示在画
面上。未图示的用户通过从列表中指定想要取得信息的相关信息服务器104 的位置可以将信息显示在画面上。
位置服务器102是与信息通信终端100成对地使用的系统,保存位置数据
35和履历数据36。
所谓位置数据35,是表示存储有关键字和与关键字相关联的信息的位置 (ex.URL)的组合的数据,假设由位置服务器102的未图示的运营商来编辑 管理。
运营商对于各个关键字,登录将认为最合适的信息作为在会话中发生了关 键字时应提供的信息来存储的位置(ex.URL)。假设在位置服务器102上的存 储媒体34中登录应随时更新的数据来作为位置数据35,该应随时更新的数据 例如有存储有时事关键字和关键字解说信息的位置(ex.URL)等(关于不 需要更新的数据,假设主要在信息通信终端100上的存储媒体20中作为本地 位置数据26来登录)。
在信息通信终端100中设定了允许利用位置服务器102时(后述的外部服 务器利用可否设定为['T,允许]时),信息通信终端IOO可以根据关键字从位 置服务器102取得相关信息服务器104的位置(ex.URL),然后从相关信息服 务器104取得信息并显示在画面上。由此,在会话中发生了关键字时,用户可 以浏览位置服务器102的运营商判断为最适合于关键字的信息。
另外,所谓履历数据36,是表示"关键字"以及"各信息通信终端100 与关键字相关联地显示在画面上的信息的位置"的组合的数据,是由允许收集 履历数据36的(外部服务器利用可否设定为["1"允许]的)信息通信终端100 按照相关信息的显示登录在位置服务器102中。
信息通信终端IOO也可以从位置服务器102取得与关键字相关联最常被参 照的相关信息服务器104的位置(ex.URL),然后从相关信息服务器104取得 信息并显示在画面上。(如后所述,在外部服务器利用可否设定为["0"禁止] 时,参照在一台信息通信终端100内封闭的履历数据(相关信息取得履历数据 22),取得最常被参照的相关信息服务器104的位置(ex.URL))
广告信息服务器103是与信息通信终端100成对地使用的系统,保存广告 数据41。
所谓广告数据41,是表示关键字和与关键字相关联的广告信息的组合的 数据,假设由广告信息服务器103的运营商来编辑管理。
运营商从广告主取得显示广告的"关键字"和广告信息(显示的广告内容),
并登录到广告数据41。作为广告信息,假设文本数据、HTML数据、语音流 数据、图像流数据等信息。
为["1"需要]时),信息通信终端100可以根据关键字从广告信息服务器103 取得广告信息,并显示在画面上。
<信息通信终端100的结构和动作的说明>
信息通信终端100包括语音图像交换模块1、监视器2、键盘 鼠标3、 启动模块4、语音输入模块5、语音识别模块6、关键字受理模块7、关键字抽 出模块8、信息取得条件受理模块9、信息取得方法决定模块10、相关信息取 得模块11、广告信息取得模块12、关键字输出模块13、相关信息输出模块14、 共享信息发送模块15、共享信息受理模块16、履历登录模块17、控制模块18、 通信模块19以及存储媒体20。下面对各模块进行说明。
语音图像交换模块1使用通信模块19,与其他信息通信终端100进行图 像、语音信息的实时交换。 一般是提供被称为IP电话、IP电视电话的功能的 模块。具体而言,假设对应于H.323、 SIP等呼叫控制协议,对应于R261/H. 263/H.263+/H.264/MPEG - 4等视频编解码器、G711/G.728/G.729/G.722/G.722. l等音频编解码器。另外,假设在呼叫控制上还对应于不使用专用呼叫代理(c all agent)、网守(gate keeper)的所谓的P2P的呼叫控制。
监视器2是由控制模块18控制的,向信息通信终端100的用户显示语音 图像交换模块1交换的图像、以及关键字输出模块13和相关信息取得模块11 输出的信息的系统。具体而言,假设一种利用了液晶、布朗管(BraunTube) 的显示系统。
键盘 鼠标3是由控制模块18控制的, 一种在信息通信终端100的用户 向关键字受理模块7输入取得相关信息的条件(关键字、取得方法等)时使用 的系统。另夕卜,也用于信息通信终端100的用户启动语音图像通信方式的情况。
启动模块4是通过信息通信终端IOO的用户用键盘.鼠标3进行输入而启
动的,按照动作条件设定数据23的设定内容启动语音图像交换模块1、语音
输入模块5、信息取得条件受理模块9以及共享信息受理模块16时使用的模 块。
语音输入模块5是取得语音图像交换模块1与其他信息通信终端100进行 交换的语音信息并转交给语音识别模块6的模块。优选具有除了取得语音信息 以外,还取得有关语音图像交换模块1进行的通话的信息(语音附加信息)并 转交给语音识别模块6的功能。假设语音附加信息是通话ID、通话者ID、发 话者ID中的任意一个或者包括所有这些信息。
语音识别模块6是从语音输入模块5取得的语音信息中确定通话中所包含 的单词和其词类,并将单词信息(单词、词类)和语音附加信息转交给关键字 抽出模块8的模块。
语音识别模块6的所有功能并不限于都存储在信息通信终端100上,也可 以假设一部分功能存储在计算能力更高的其他终端上。
关键字抽出模块8根据关键字抽出条件设定数据24,从由语音识别模块6 取得的单词信息(单词、词类)中抽出关键字,根据抽出的关键字和语音附加 信息生成抽出关键字履历数据21,并存储该抽出关键字履历数据21后转交给 关键字受理模块7。通过使用该模块,信息通信终端IOO的用户可以缩小显示 在监视器2上的关键字。
关键字受理模块7是使用关键字输出模块13向监视器2输出从关键字抽 出模块8取得的抽出关键字的模块。另夕卜,还具有如下功能在动作条件设定 数据23中设定有广告显示与否为["1"需要]时,使用广告信息取得模块12 取得与抽出关键字相关联的广告信息,并使用关键字输出模块13输出到监视 器2。
具有如下功能在动作条件设定数据23中设定有信息取得条件输入与否 为["0"不需要]时,不受理由信息通信终端100的用户输入的取得条件,使 用信息取得方法决定模块10以及相关信息取得模块11取得相关信息,并输出 至监视器2;另外,进一步在动作条件设定数据23中设定有外部服务器利用 与否为["1"允许]时,使用履历登录模块17向位置服务器2登录与输出至监 视器2的相关信息有关的履历数据36。
信息取得条件受理模块9具有如下功能受理由信息通信终端100的用户
输入的取得条件(对象关键字、相关信息取得方法),使用信息取得方法决定
模块10决定所取得的相关信息的位置(URL等),并根据所决定的位置(URL 等),使用相关信息取得模块11取得相关信息并输出至监视器2;另外,进一 步在动作条件设定数据23中设定有外部服务器利用与否为["1"允许]时,使 用履历登录模块17向位置服务器102登录与输出至监视器2的相关信息有关 的履历数据36;在动作条件设定数据23中设定有共享条件为["1"需要]时, 使用共享信息发送模块15,与通话对象共享相关信息的取得方法或取得的相 关信息本身。
信息取得方法决定模块IO是如下一种模块根据由信息通信终端100的 用户进行的相关信息取得条件(对象关键字、相关信息取得方法)的输入、或 者根据保存在存储々某体20中的默认取得顺序设定数据25,访问本地位置数据 26、动作条件设定数据23、位置服务器102,由此决定所取得的相关信息的位 置(URL等)。由关键字受理模块7以及信息取得条件受理模块9来调用信息 取得方法决定模块10。
相关信息取得模块11是根据信息取得方法决定模块IO所决定的相关信息 的位置(URL等)、或者由信息通信终端100的用户输入的相关信息的位置 (URL等)来取得相关信息的模块。成为取得象的相关信息有保存在信 息通信终端100中的用户个人信息(地址簿数据27、预定表数据28、邮件收 发数据29等)、与网络101连接的相关信息服务器104的相关信息、以及;险索 服务器105的检索结果信息等。在从相关信息服务器104、检索服务器105取 得信息时使用通信模块19。
由关键字受理模块7、信息取得条件受理模块9以及共享信息受理模块16 来调用相关信息取得模块11。
广告信息取得模块12是在动作条件设定数据23中设定有广告显示与否为 ["1"需要]时,使用通信模块19从广告信息服务器103取得与关键字相关联 的广告信息的模块。由关键字受理模块7以及信息取得条件受理模块9来调用 广告信息取得模块12。
关键字输出模块13是将关键字抽出模块8抽出的关键字或广告信息取得
模块12取得的广告信息输出至监视器2的模块。由关键字受理模块7、信息
取得条件受理模块9来调用关键字输出模块13。
相关信息输出模块14是将相关信息取得模块11取得的相关信息输出至监 视器2的模块。由关键字受理模块7、信息取得条件受理模块9以及共享信息 受理模块16来调用相关信息输出模块14。
共享信息发送模块15是使用通信模块19向通话对象的信息通信终端100 发送信息取得方法决定模块10所决定的相关信息取得方法(位置等)、或者相 关信息取得模块11所取得的相关信息的模块。假设通话对象的信息通信终端 IOO为多台。
共享信息受理模块16使用通信模块19接收通话对象的共享信息发送模块 15发送的相关信息的取得方法(位置等)、或者相关信息取得模块11所取得 的相关信息,并根据接收到的相关信息取得方法,使用相关信息取得模块11 取得相关信息,输出至监视器2。
履历登录模块17是在动作条件设定数据23中设定有外部服务器利用与否 为["1"需要]时,使用通信模块19向位置服务器102登录履历数据36的模 块,该履历数据36与使用相关信息输出模块14输出至监视器2的相关信息有 关。由关键字受理模块7、信息取得条件受理模块9来调用履历登录模块17。
控制模块18向关键字受理模块7传递键盘 鼠标3的输入信息,向监视 器2输出语音图像交换模块1所交换的图像、以及关键字输出模块13和相关 信息取得模块11输出的信息。
而且,控制模块18按照来自语音图像交换模块1、广告信息取得模块12、 信息取得方法决定模块10、相关信息输出模块14、共享信息发送模块15、共 享信息受理模块16、以及履历登录模块17的请求,利用通信模块19。
劣外,控制模块18控制关键字受理模块7、关键字抽出模块8、信息取得 条件受理模块9、信息取得方法决定模块10、相关信息取得模块11、以及共 享信息受理才莫块16向存储媒体的读写。例如,可以使用Windows (注册商标) 等操作系统。
通信模块19由控制模块18控制,在语音图像交换模块l、广告信息取得 模块12、信息取得方法决定模块10、相关信息输出模块14、共享信息发送模
块15、共享信息受理才莫块16、履历登录模块17通过网络101与其他信息通信 终端IOO或相关信息服务器104、位置服务器102、广告信息服务器103、检 索服务器105交换信息时使用该通信模块19。具体而言,假设用于以物理的 方式发送数据的系统(调制解调器)和其控制软件。
存储媒体20由控制模块18控制,通过关键字受理模块7、关键字抽出模 块8、信息取得条件受理模块9、信息取得方法决定模块10、相关信息取得模 块11、以及共享信息受理模块16来进行信息的保存和读出。存储媒体20存 储设定数据文件20a、履历数据文件20b、位置数据文件20c、个人信息数据 文件20d。
设定数据文件20a存储动作条件设定数据23、关键字抽出条件设定数据 24、以及默认取得顺序设定数据25。履历数据文件20b存储抽出关键字履历 数据21以及相关信息取得履历数据22。位置数据文件20c存储本地位置数据 26。个人信息数据文件20d存储地址簿数据27、预定表数据28、邮件收发数 据29。
抽出关键字履历数据21是表示由语音识别模块6和关键字抽出模块8从 语音信息抽出的关键字的履历的数据,假设由抽出年月日时刻、通话ID、请 求通话者ID、用于分别识别多个通话者的多种通话者ID、发话者ID、以及抽 出关键字构成。各项目的内容或设定的一个例子可以参照图17所示的抽出关 键字履历数据。
此外,通话者ID数不限定于特定的数目,只要是与语音图像交换模块1 可同时通话的信息通信终端100的数目即可。
相关信息取得履历数据22是表示由广告信息取得模块12、相关信息取得 模块ll进行的信息取得的履历的数据,假设由受理年月日时刻、通话ID、请 求通话者ID、请求关键字、取得条件("0" ~ "8")、共享条件、请求数据位 置、以及取得数据位置构成。各项目的内容或设定的一个例子可以参照图18 所示的相关信息取得履历数据。
在动作条件设定凄t据23中存储有信息通信终端100的动作上的设定数据。 假设动作条件设定数据23由请求通话者ID、信息取得条件输入与否、广告显 示与否、外部服务器利用与否、默认共享条件设定、以及广告信息服务器103
的位置(履历用)构成。各项目的内容或设定的一个例子可以参照图14所示 的动作条件设定数据。
关键字抽出条件设定数据24是如下一种数据用于在由语音识别模块6 从语音信息识别的单词中,由关键字抽出模块8按照词类设定应作为抽出对象 的单词。假设关键字抽出条件设定数据24例如由请求通话者ID、固有名词抽 出与否、名词抽出与否、以及动词抽出与否构成。各项目的内容或设定的一个 例子可以参照图15所示的关键字抽出条件设定数据。
另夕卜,假设项目数可以与语音识别模块6分类词类数相同,还假设不仅通 过设定词类,而且通过设定特定的固有名词或意思分类来设定作为关键字应抽 出的单词。
默认取得顺序设定数据25是在没有由用户输入了相关信息取得条件时设 定在信息取得方法决定模块IO应用的取得条件的默认顺序的数据。默认取得 顺序设定数据25至少由请求通话者ID、第一默认取得条件、第二默认取得条 件、第三默认取得条件、第四默认取得条件、第五默认取得条件、第六默认取 得条件、以及第七默认取得条件构成。
各项目的内容或设定的一个例子可以参照图16所示的默认取得顺序设定 数据。另外,第一~第七默认取得条件不限定于七个,在定义了新的取得条件 时,也可以是与应用的取得条件数相同的数目。
本地位置数据26是在取得条件为["4"从用户终端的存储媒体20中的本 地位置数据26取得]时,信息取得方法决定模块10为了决定用于取得关键字 相关信息的位置而使用的数据。本地位置数据26由登录年月日时刻、有效年 月日时刻、关键字、以及数据位置构成。
此外,所谓上述取得条件"4"中的"用户终端"是指图1所示的信息通 信终端100。
各项目的内容或设定的一个例子可以参照图19所示的本地位置数据。另 外,作为具体的设定例,例如可以假设作为关键字设定按照门户网站(portal site)目录.的标题、作为位置登录门户网站目录的URL。
地址簿数据27例如是vCard(RFC 2425:MIME Content - Type for Directory Information, RDC 2426:vCard MIME Directory Profile)或发件人的地址信息等
个人的地址簿数27。在取得条件为["3"从用户终端的存储媒体20中的个人 信息取得]时,成为信息取得方法决定模块10的检索对象。
预定表数据28例如是vCal, iCal(RJFC 2445:Intemet Calendaring and Scheduling Core Object Specification (iCalendar), RFC 2446:iCalendar Transport -Independent Interoperability Protocol(iTIP): Scheduling Events, Busy Time, To -dos and Journal Entries, RFC 2447:iCalendar Message - based Interoperability Protocol (iMIP))等个人的调度数据。在取得条件为["3"从用户终端的存储媒 体20中的个人信息取得]时,成为信息取得方法决定模块10的检索对象。
邮件收发数据29是信息通信终端100的发件人收发的邮件信息。在取得 条件为["3"从用户终端的存储媒体20中的个人信息取得]时,成为信息取得 方法决定模块10的检索对象。
<位置服务器102的结构和动作的说明>
位置服务器102包括位置信息提供模块30、履历信息登录模块31、控 制模块32、通信模块33以及存储媒体34。
位置信息提供模块30根据由位置服务器102通过网络101从信息通信终 端100接收的请求关键字和请求关键字取得条件,决定相关联的信息的数据位 置,并返回信息通信终端100。
履历信息登录模块31通过网络101从信息通信终端100的履历登录模块 17接收请求关键字、取得条件、取得数据位置的值,并将这些信息存储到存 储Jf某体34中作为履历数据36。
控制模块32控制位置信息提供模块30以及履历信息登录模块31对通信 模块33的利用,控制存储媒体34。作为控制模块32,例如可以使用Windows (注册商标)、Linux (注册商标)、Sun-OS (注册商标)等操作系统。
通信模块33由控制模块32控制,在位置信息提供模块30、履历信息登 录模块31通过网络101与信息通信终端100交换信息时使用该通信模块33。 具体而言,假设用于以物理的方式发送数据的系统(调制解调器等)和其控制 软件。
存储媒体34由控制模块32控制,由位置信息提供模块30以及履历信息 登录模块31来保存、读出信息。另外,在存储々某体34中存储位置数据35和
履历数据36。
位置数据35是在位置信息提供模块30根据由位置服务器102通过网络 101从信息通信终端IOO接收的请求关键字和请求关键字取得条件来决定相关 联的信息的数据位置时使用的信息。位置数据35由登录年月日时刻、有效年 月日时刻、关键字以及数据位置构成。
各项目的内容或设定的一个例子可以参照图20所示的位置数据。另外, 作为具体的设定例,假设作为关键字设定在时事问题等中使用的用语,作为位 置登录各用语的讲解网页或新闻网页的URL。
履历数据36是表示由各信息通信终端100的相关信息取得模块11进行的 信息取得履历的数据,假设由受理年月日时刻、请求关键字、取得条件、以及 取得数据位置构成。各项目的内容或设定的一个例子可以参照图21所示的履 历数据。
履历数据36的记录(record)是在信息通信终端100的动作条件设定数据 23中设定外部服务器利用与否为['T,允许]时,根据由履历登录模块17向位 置服务器102发送的数据来登录记录。
另外,在取得条件为"7"的情况下位置服务器102决定关于关键字最常 被参照的位置时使用。
<广告信息服务器103的结构和动作的说明>
广告信息服务器103包括广告信息提供模块37、控制模块38、通信模 块39、以及存储媒体40。
广告信息提供模块37用于广告信息服务器103通过网络101从信息通信 终端IOO接收抽出关键字,并将与抽出关键字相关联的广告信息反馈给信息通 信终端100。
控制模块38控制广告信息提供模块37对通信模块39的利用,控制存储 媒体40。例如,可以使用Windows (注册商标)、Linux (注册商标)、SunOS (注册商标)等操作系统。
通信模块39由控制模块38控制,在广告信息提供模块37通过网络101 与信息通信终端100交换信息时使用该通信模块39。具体而言,假设用于以 物理的方式发送数据的系统(调制解调器等)和其控制软件。
存储媒体40由控制模块38控制,由广告信息提供模块37保存、读出数 据。另外,在存储纟泉体40中存储广告信息41。
广告数据41是与关键字相关联的商品或服务的广告信息,假设由登录年 月日时刻、有效年月日时刻、关键字、以及广告信息构成。各项目的内容或设 定例可以参照图22所示的广告数据。
假设广告信息中包含与商品、服务的catchcopy或广告信息相关联的信息 的数据位置、或未图示的广告操作员(operator)的通话者ID。用户可以用键 盘 鼠标3来指定输出至监^见器2的广告信息,由此取得与广告信息相关联的 信息,并显示在监^f见器2上,或使用信息通信终端100实施对通话者追加了广 告操作员的通话。
另夕卜,通过与广告信息相关联的信息或与广告操作员的通话,可以购买并 利用广告信息中所显示的商品或服务。
<相关信息服务器104的结构和动作的说明>
相关信息服务器104包括相关信息提供模块42、控制模块43、通信模 块44、以及存储4某体45。
相关信息提供模块42用于相关信息服务器104通过网络101从相关信息 取得模块11接受取得数据位置、请求关键字(可有可无)的值,并将与取得 数据位置相应的相关信息反馈给信息通信终端100。
控制模块43控制相关信息提供模块42对通信模块44的利用,控制存储 媒体45。例如,可以使用Windows (注册商标)、Linux (注册商标)、SunOS (注册商标)等操作系统。
通信模块44由控制模块43控制,在相关信息提供模块42通过网络101 与信息通信终端100交换信息时使用该通信模块44。具体而言,假设用于以 物理的方式发送数据的系统(调制解调器等)和其控制软件。
存储媒体45由控制模块43控制,由相关信息提供模块42读出信息。存 储媒体45中存储成为相关信息提供模块42生成的相关信息的基础的数据。
<检索服务器105的结构和动作的说明〉
检索服务器105包括检索结果提供模块47、控制模块48、通信模块49、 以及存储媒体50。检索结果提供模块47用于检索服务器105通过网络101从信息通信终端 100的相关信息取得模块11接收取得数据位置、请求关键字的值,并向信息 通信终端100反馈基于请求关键字的检索结果来作为相关信息。
控制模块48控制检索结果提供模块47对通信模块49的利用,控制存储 媒体。例如,可以使用Windows (注册商标)、Linux (注册商标)、Sun-OS (注册商标)等操作系统。
通信模块49是由控制模块48来控制,在检索结果提供模块47通过网络 101与信息通信终端100交换信息时使用该通信模块49。具体而言,假设用于 以物理的方式发送数据的系统(调制解调器等)和其控制软件。
存储媒体50是由控制模块48来控制,由检索结果提供模块47读出信息。 在存储媒体50中存储成为检索结果提供模块47生成的相关信息(检索结果信 息)的基础的数据。
-处理流程的"i兌明-
使用图2~图11,对使用第一实施方式的信息通信终端100进行的相关信 息的取得方式的处理流程进行说明。 <启动顺序>
首先,参照图2说明信息通信终端100的启动顺序。信息通信终端100 的用户通过键盘.鼠标3来执行启动模块4。此时,也可以输入已经启动了的 用户的请求通话者ID。首先,启动模块4启动语音图像交换模块1,开始与通 话对象进行通话。接着,启动模块4以请求通话者ID为关键词信息,通过控 制模块18从存储士某体20读入动作条件设定数据23的信息取得条件输入与否 的值。
这里,作为第一条件分支,在信息取得条件输入与否的值为'T'需要的 情况下,启动模块4启动语音输入模块5(跳转到(1 )关键字显示顺序(图3 ))、 信息取得条件受理模块9 (跳转到(2)取得条件受理/信息显示顺序(图4))、 以及共享信息受理模块16 (跳转到(3)共享信息接收/显示顺序(图5))。
当设定有信息取得条件输入与否的值为["1"需要]时,用户可以根据显 示在监视器2上的关键字,选择作为相关信息的取得对象的关键字,可以输入 相关信息的取得条件。另外,可以与通话对象共享所取得的相关信息。
作为条件分支2,在信息取得条件输入与否的值为"0"不需要的情况下,
启动模块4启动语音输入模块5 (跳转到(4)关键字显示/信息显示顺序(图 6))、和共享信息受理才莫块16 (跳转到(3)共享信息接收/显示顺序(图5))。
在设定有信息取得条件输入与否的值为["0"不需要]时,用户无法根据 显示在监视器2上的关键字选择作为相关信息的取得对象的关键字,无法输入 相关信息的取得条件,自动地显示针对抽出的关键字的相关信息、或通话对象 所共享的相关信息。
另外,假设对启动模块4启动的各模块转交请求通话者ID。
<关键字显示顺序>
下面,对关键字显示顺序进行说明。图3所示的关键字显示顺序(图2 中的(1))表示根据通话的语音信息60,由语音识别模块6、关键字抽出模块 8来抽出关键字并显示在监视器2之前的顺序。
语音输入模块5取得语音图像交换模块1正在交换的语音信息60以及语 音附加信息61,并转交给语音识别模块6。这里,所谓语音附加信息61,是 有关语音图像交换模块l进行的通话的信息,是通话ID、通话者ID、发话者 ID中的任意一个、或者包括所有这些信息。
语音识别模块6 —接收语音信息60以及语音附加信息61,就根据语音信 息60确定包含在通话中的单词和其词类,生成至少包含词类的单词信息62, 并将单词信息62和语音附加信息61转交给关键字抽出模块8。
关键字抽出模块8 —接收单词信息62和语音附加信息61,就以从启动模 块4取得的请求通话者ID为关键词信息,通过控制模块18从存储媒体20读 入关键字抽出条件设定数据24。关键字抽出条件设定数据24中设定有按照词 类的抽出与否。
接着,关键字抽出模块8从单词信息只抽出在关键字抽出条件设定数据 24中设定为["1"抽出]的词类的单词来作为关键字,根据抽出的关键字和语 音附加信息61生成抽出关键字履历数据21,并通过控制模块18存储到存储 媒体20中。关键字的抽出可以通过第五实施例中记载的单词信息的统计解析 或语言解析来进行。
抽出关键字履历数据21至少由抽出年月日时刻、通话ID、请求通话者ID、
通话者ID、发话者ID、以及抽出关4定字构成,在通话ID、通话者ID、发话 者ID中设定有语音附加信息61的值。
另外,在请求通话者ID中设定从启动模块4取得的请求通话者ID。另外, 抽出年月日时刻中设定关键字抽出模块8抽出了关键字的年月日时刻。另夕卜, 抽出关键字中设定关键字抽出模块8抽出的关键字。
接着,关键字抽出模块8将存储的抽出关键字履历数据21转交给关键字 受理模块7。
关键字受理模块7 —从关键字抽出模块8接收抽出关键字履历数据21, 就以从启动模块4取得的请求通话ID为关键词信息,通过控制模块18从存储 媒体20读出动作条件设定数据23的广告显示与否的值。
这里,作为第一分支,对设定有动作条件设定数据23的广告显示与否的 值为["1"需要]时的情况进行说明。
关键字受理模块7以从启动模块4取得的请求通话者ID为关键词信息, 通过控制模块18从存储媒体20读入动作条件设定数据23的广告信息服务器 103的4立置的^直。
接着,关键字受理模块7将抽出关键字履历数据21和广告信息服务器103 的位置的值转交给广告信息取得模块12。
广告信息取得模块12 —接收抽出关键字履历数据21和广告信息服务器 103的位置的值,就根据广告信息服务器103的位置的值,通过控制模块18 来使用通信模块19,向广告信息服务器103发送抽出关键字履历数据21中的 抽出关键字,从广告信息服务器103取得广告信息64,并将该广告信息64反 馈给关键字受理模块7。
此外,在广告服务器的广告信息64的发送请参照广告信息提供顺序(参 照后面所示的图7)。
接着,关键字受理模块7将广告信息64和抽出关键字履历数据21转交给 关键字输出模块13。
关键字输出模块13 —接收广告信息64和抽出关键字履历数据21,就通 过控制模块18至少将抽出关键字履历数据21中的抽出关键字、通话ID以及 广告信息64通过控制模块18输出至监视器2。
接着,关键字受理模块7生成与取得的广告信息64有关的相关信息取得 履历数据22,通过控制模块18向存储媒体20存储所生成的相关信息取得履 历数据22。
相关信息取得履历凄t据22至少由受理年月日时刻、通话ID、请求通话者 ID、请求关键字取得条件、共享条件、请求数据位置以及取得数据位置构成。
受理年月日时刻中设定关键字受理模块7受理了抽出关键字履历数据21 的受理年月日时刻。通话ID中设定抽出关键字履历数据21中的通话ID。请 求通话者ID中设定从启动模块4取得的请求通话者ID。请求关键字取得条件 中设定NULL。共享条件中设定"0"不需要。请求数据位置中设定NULL。 取得数据位置中设定广告信息服务器103的位置的值。
接着,对第二分支中的、设定有动作条件设定数据23的广告显示与否的 值为["0"不需要]的情况进行说明。
关键字受理模块7将抽出关键字履历数据21转交给关键字输出模块13。
关键字输出模块13 —接收抽出关键字履历数据21,就通过控制模块18 至少将抽出关键字履历数据21中的抽出关键字和通话ID输出至监视器2。
接着,假设显示在监视器2上的广告信息中包含与广告信息64相关联的 信息的数据位置、广告操作员的通话者ID。用户通过用键盘 鼠标指定输出 至监视器2的广告信息64,可以取得与广告信息64相关联的信息,并显示在 监视器2上,或使用信息通信终端100来实施对通话者追加了广告操作员的通 话。另外,假设通过与广告信息64相关联的信息或与广告操作员的通话,可 以购买、利用显示在广告信息64中的商品或服务。
最后,关键字受理模块7以从启动模块4取得的请求通话者ID为关键词 信息,通过控制模块18读出存储媒体20的动作条件设定数据23的信息取得 条件输入与否的值,在"1"需要的情况下(在该顺序中只能有["1"需要]), 调用语音输入模块5。
以上循环反复进行至语音图像交换结束为止。
<取得条件受理/信息显示顺序>
参照图4A以及图4B说明图2中的(2)所示的取得条件受理/信息显示 顺序。表示首先针对显示的关键字,用户选择作为相关信息68的取得对象
的关键字,输入相关信息68的取得条件,信息取得方法决定模块10决定所取
得的相关信息68的位置(URL等),相关信息取得模块11根据所决定的位置 (URL等)来取得相关信息68,直至在监视器上显示相关信息68为止的顺序。
信息取得条件受理模块9通过控制模块18受理来自键盘 鼠标3的取得 条件输入65。取得条件输入65至少包含请求关键字、通话ID、请求关键字的 取得条件、以及共享条件。
请求关键字取得条件取如下值中的任意一个值
另外,假设在请求关键字取得条件为["1"从用户指定的位置取得]时还 包含请求数据位置。另外,共享条件取["0"不需要]、["1"需要]、[NULL (未设定)]中的任意一个值。另外,在请求关键字和通话ID中分别设定关键 字输出模块13向监视器2输出的抽出关键字和通话ID。另外,在设定有动作 条件设定数据23的外部服务器利用与否为["0"禁止]时,作为请求关键字取 得条件受理如下请求关键字取得条件
接着,信息取得条件受理模块9将受理年月日时刻、取得条件输入65和 从启动模块4取得的请求通话者ID转交给信息取得方法决定模块10。
受理年月日时刻中设定信息取得条件受理模块9受理了请求关键字取得 条件的受理年月日时刻。
这里,作为第一分支,对取得条件输入65的请求关键字取得条件的值为 ["0"未指定]以外的值的情况进行说明。
信息取得方法决定模块10生成取得方法信息67,并反馈给信息取得条件
受理模块9。
这里,取得方法信息67至少包含受理年月日时刻、请求通话者ID、请求 关键字、通话ID、请求关键字取得条件、共享条件以及取得数据位置。
取得数据位置中,按照从信息取得条件受理模块9取得的请求关键字取得 条件设定值,设定信息取得方法决定模块10通过如下处理来决定的数据位置。
(1) 在请求关键字取得条件为["1"从用户指定的位置取得]的情况下, 信息取得方法决定模块10在取得数据位置中设定请求数据位置的值。
(2) 在请求关#:字取得条件为["2"从用户终端的存储々某体20取得对于 同一关键字最常被参照的位置]的情况下,信息取得方法决定模块10以请求通 话者ID为关键词信息,通过控制模块18累计请求关键字的值与取得条件输入 65中的请求关键字相同的存储媒体20的相关信息取得履历数据22的记录, 在取得数据位置中设定频度最高的取得数据位置的值。
其中,这里信息取得方法决定模块10累计的相关信息取得履历数据22 的记录是设定请求关键字取得条件为NULL以外的记录(广告以外的记录)。 在没有符合的相关信息取得履历数据22时,在取得数据位置中设定NULL。
(3) 在请求关键字取得条件为["3"从用户终端的存储々某体20中的个人 信息取得]的情况下,信息取得方法决定模块IO通过控制模块18,用请求关键 字检索地址簿数据27、预定表数据28和邮件收发数据29,在取得数据位置中 设定检索结果的路径(pass)。在没有符合的数据时,在取得数据位置中设定 NULL。
(4) 在请求关键字取得条件为["4"从用户终端的存储媒体20中的本地 位置数据26取得]的情况下,信息取得方法决定模块10以请求通话者ID为关 键词信息,通过控制模块18读出请求关键字的值与取得条件输入65中的请求 关键字相同的存储媒体20的本地位置数据26的记录,在取得数据位置中设定 记录中的数据位置的值。此时,只将受理年月日时刻包含在记录的登录年月曰 时刻、有效年月日时刻之间的记录作为读出对象。
在没有符合的本地位置数据26时,在取得数据位置中设定NULL。
(5) 在请求关键字取得条件为["5"从检索服务器105取得]的情况下,
信息取得方法决定模块10以请求通话者ID为关4走词信息,通过控制模块18
读出动作条件设定数据23中的检索服务器105的位置的值,并在取得数据位 置中设定该值。
(6 )在请求关键字取得条件为["6"从位置服务器102的位置数据35取 得]的情况下,信息取得方法决定模块10以请求通话者ID为关键词信息,通 过控制模块18读出动作条件设定数据23中的位置服务器102的位置(取得用) 的值。
接着,信息取得方法决定模块IO根据位置服务器102的位置(取得用) 的值,通过控制模块18来使用通信模块19,向位置服务器102发送请求关键 字和请求关键字取得条件("6"),从位置服务器102取得数据位置,并在取得 数据位置中设定该值。
此外,来自位置服务器102的数据位置发送请参照取得方法信息提供顺序 (参照后面所示的图8)。
(7)在请求关键字取得条件为["7"从位置服务器102取得对于同一关 键字最常被参照的位置]的情况下,信息取得方法决定模块10以请求通话者ID 为关键词信息,通过控制模块18,读出动作条件设定数据23中的位置服务器 102的位置(取得用)的值,并将该值设定为取得数据位置。
接着,信息取得方法决定模块IO根据位置服务器102的位置(取得用) 的值,通过控制模块18来使用通信模块19,向位置服务器102发送请求关键 字和请求关键字取得条件("7"),从位置服务器102取得数据位置,并将该值 设定为取得数据位置。
此外,来自位置服务器102的数据位置发送请参照取得方法信息提供顺序 (参照后面所示的图8)。
下面,作为第二条件分支,对取得条件输入65的请求关键字取得条件的 值为["0"未指定]的情况进行说明。
首先,信息取得方法决定模块10以请求通话者ID为关键词信息,通过控 制模块18,读出默认取得顺序设定数据25中的默认取得条件'T, ~ "7"的 值,从默认取得条件1中设定的取得条件的值开始按照顺序执行上述(1 ) ~ (7 ),直至将取得数据位置的值确定在NULL以外。
然后,信息取得方法决定模块10生成取得方法信息67,并反馈给信息取 得条件受理模块9。
这里,取得方法信息67至少包含受理年月日时刻、请求关键字、通话ID、 请求关键字取得条件、共享条件、以及取得数据位置。
到此为止,第二条件分支的处理结束。
然后,信息取得条件受理模块9向相关信息取得模块11转交由信息取得 方法决定模块IO反馈的取得方法信息67。
相关信息取得模块11 一接收取得方法信息67的值,就根据取得方法信息 67中的请求关键字和取得数据位置来生成相关信息68。
此时,在取得数据位置为用户的信息通信终端100内时,通过控制模块 18从存储媒体20取得相关信息68。另夕卜,在取得数据位置为用户的信息通信 终端100以外时,通过控制模块18来使用通信模块19,取得相关信息68。
此外,来自相关信息服务器104的相关信息68的发送请参照相关信息提 供顺序(参照后面所示的图9),来自检索服务器105的相关信息的发送请参 照检索信息提供顺序(参照后面所示的图10)。
然后,相关信息取得模块11将所取得的相关信息68反馈给信息取得条件 受理模块9。
信息取得条件受理模块9将从相关信息取得模块11反馈的相关信息68转 交给相关信息输出模块14。相关信息输出模块14一接收相关信息68,就通过 控制模块18将相关信息68输出至监视器2。
然后,在取得条件输入65中的共享条件为NULL时,信息取得条件受理 模块9以请求通话者ID为关键词信息,通过控制模块18读出动作条件设定数 据23中的默认共享条件设定的值。在取得条件输入65中的共享条件、或者默 认共享条件设定的取得条件输入65的取得条件的值为["1"需要]时,信息取 得条件受理^t块9向共享信息发送模块15转交取得方法信息67或相关信息 68。
共享信息发送模块15 —接收取得方法信息67或相关信息68,就通过控 制模块18来使用通信模块19,向通话目的地的信息通信终端IOO发送取得方 法信息67或相关信息68 (在图4B中的"E"表示)。
然后,信息取得条件受理模块9生成与取得的相关信息68有关的相关信
息取得履历数据22,并通过控制模块18在存储媒体20中存储所生成的相关 信息取得履历数据22。
相关信息取得履历数据22至少由受理年月日时刻、通话ID、请求通话者 ID、请求关键字取得条件、共享条件、请求数据位置、以及取得数据位置构成。
在通话ID、请求关键字取得条件以及请求数据位置中设定取得条件输入 65的通话ID、请求关键字取得条件以及请求数据位置。另外,在受理年月日 时刻、请求通话者ID以及取得数据位置中设定取得方法信息67的受理年月曰 时刻、请求通话者ID以及取得数椐位置。
另外,在取得条件输入65的共享条件为NULL以外时,在共享条件中设 定取得条件输入65的共享条件。在取得条件输入65的共享条件为NULL时, 在共享条件中设定读出的默认共享条件设定的值。
接着,信息取得条件受理模块9以请求通话者ID为关键词信息,通过控 制模块18读出动作条件设定数据23中的外部服务器利用与否的值。在外部服 务器利用与否的值为["1"允许]时,信息取得条件受理模块9将相关信息取 得履历数据22转交给履历登录模块17。
履历登录模块17 —接收相关信息取得履历数据22,就以相关信息取得履 历数据22中的请求通话者ID为关键词信息,通过控制模块18读出动作条件 设定数据23中的位置服务器102的位置(履历用)的值。
然后,履历登录模块17根据位置服务器102的位置(履历用)的值,通 过控制模块18来使用通信模块19,向位置服务器102发送相关信息取得履历 数据22中的请求关键字、取得条件以及取得数据位置。
此外,向位置服务器102的履历数据36的登录请参照履历信息登录顺序 (参照后面所示的图11 )。
信息取得条件受理模块9通过控制模块18等待来自键盘 鼠标3的取得 条件输入65。
将以上处理重复进行至语音图像交换结束为止。
<共享信息接收显示顺序>
参照图5对图2中的(3)所示的共享信息接收显示顺序进行说明。在该
图5中表示直到接收从通话目的地的信息通信终端100的共享信息发送模块 15发送来的(对应于图4B中的"E")取得方法信息67或相关信息68,根据 取得方法信息67,相关信息取得模块11取得相关信息68,将相关信息68显 示在监视器2上为止的顺序。
共享信息接收^t块16通过控制模块18来使用通信模块19,接收从通话 目的地的信息通信终端100的共享信息发送模块15发送来的取得方法信息67 或相关信息68。在没有接收到相关信息68时,共享信息受理模块16将取得 方法信息67和从启动模块4取得的请求通话者ID转交给相关信息取得模块 11。
相关信息取得模块11 一接收取得方法信息67的值,就根据取得方法信息 67中的请求关键字和取得数据位置的值,来取得相关信息68。
此时,在取得数据位置为用户的信息通信终端100内时,通过控制模块 18,从存储媒体20取得相关信息68。另外,在取得数据位置为用户的信息通 信终端100以外时,通过控制模块18来使用通信模块19,取得相关信息68。
此夕卜,来自相关信息服务器104的相关信息的发送请参照相关信息提供顺 序(参照后面所示的图9),来自检索服务器105的相关信息的发送请参照检 索信息提供顺序(参照后面所示的图10)。
然后,相关信息取得模块11将所取得的相关信息68反馈给共享信息受理 模块16。
共享信息受理模块16将从相关信息取得模块11反馈的相关信息68转交 给相关信息输出模块14。
相关信息输出模块14 一接收相关信息68,就通过控制模块18将相关信 息68输出至监视器2。
接着,共享信息受理模块16生成与取得的相关信息68有关的相关信息取 得履历数据22,并通过控制模块18在存储媒体20中存储所生成的相关信息 取得履历数据22。
相关信息取得履历数据22至少由受理年月日时刻、通话ID、请求通话者 ID。请求关^t字取得条件。共享条件、请求数据位置、以及取得数据位置构成。 在相关信息取得履历数据22的受理年月日时刻、通话ID、请求关键字取
得条件、共享条件以及取得数据位置中设定取得方法信息67的值。另外,在
请求通话者ID中设定从启动模块4取得的请求通话者ID的值。在请求数据位 置中设定NULL。
然后,共享信息受理模块16通过控制模块18,等待来自通话目的地的信 息通信终端100的共享信息发送模块15的取得方法信息67或相关信息68的 发送。
将以上处理重复进行至语音图像交换结束为止。 <关键字显示/信息显示顺序>
参照图6A~6C,对在图2中的(4)所示的关键字显示/信息显示顺序进 行说明。
在图6A 6C中表示直到通过语音识别模块6和关键字抽出模块8,从 通话的语音信息60中抽出关键字,并显示在监视器2上,同时针对显示的关 键字,信息取得方法决定模块11决定相关信息68的位置(URL等),并根据 决定的位置(URL等),相关信息取得模块11取得相关信息68,将相关信息 68显示在监视器2上为止的顺序。
语音输入模块5取得语音图像交换模块1正在交换的语音信息60以及语 音附加信息61,并转交给语音识别模块6。这里,所谓语音附加信息61,是 与语音图像交换模块1正在进行的通话有关的信息,包含通话ID、通话者ID、 发话者ID中的任意一个或者包含所有信息。
语音识别模块6 —接收语音信息60和语音附加信息61,就根据语音信息 60来确定包含在通话中的单词和其词类,并生成至少包含单词和词类的单词 信息,将单词信息和语音附加信息61转交给关键字抽出模块8。
关键字抽出模块8 —接收单词信息和语音附加信息61,就以从启动模块4 取得的请求通话者ID为关键词信息,通过控制模块18从存储媒体20读入关 键字抽出条件设定数据24。在关键字抽出条件设定数据24中设定有按照各词 类的抽出与否。此外,关键字的抽出可以通过在第五实施例中所记载的单词信 息的统计解析或语音解析来进行。
接着,关键字抽出模块8从单词信息只抽出在关键字抽出条件设定数据 24中设定为["1"抽出]的词类的单词来作为关键字,根据抽出的关键字和语
音附加信息61生成抽出关4走字履历数据21,并通过控制模块18存储到存储
媒体20中。
抽出关键字履历数据21至少由抽出年月日时刻、通话ID、请求通话者ID、 通话者ID、发话者ID以及抽出关键字构成,在通话ID、通话者ID、发话者 ID中设定语音附加信息61的值。另夕卜,在请求通话者ID中设定从启动模块4 取得的请求通话者ID。另外,在抽出年月日时刻中设定关键字抽出模块8抽 出了关键字的年月日时刻。另夕卜,在抽出关键字中设定关键字抽出模块8抽出 的关键字。
然后,关键字抽出模块8将存储的抽出关键字履历数据21转交给关键字 受理模块7。
关键字受理模块7 —从关键字抽出模块8接收抽出关键字履历数据21, 就以从启动模块4取得的请求通话者ID为关键词信息,通过控制模块18从存 储^(某体20读出动作条件设定数据23的广告显示与否的值。
这里,关于第一条件分支,下面说明动作条件设定数据23的广告显示与 否的值被设定为["1"需要]的情况。
关键字受理模块7以从启动模块4取得的请求通话者ID为关键词信息, 通过控制模块18从存储媒体20读入动作条件设定数据23的广告信息服务器 103的位置的值。
然后,关键字受理模块7将抽出关键字履历数据21和广告信息服务器103 的位置的值转交给广告信息取得模块12。
广告信息取得模块12 —接收抽出关键字履历数据21和广告信息服务器 103的位置的值,就根据广告信息服务器103的位置的值,通过控制模块18 来使用通信模块19,向广告信息服务器103发送抽出关键字履历数据21中的 抽出关键字,从广告信息服务器103取得广告信息64,并反馈给关键字受理 模块7。
此外,在广告服务器中的广告信息的发送请参照广告信息提供顺序(参照 后面所示的图7)。
然后,关键字受理模块7将广告信息64和抽出关键字履历数据21转交给 关键字输出模块13。
关键字输出模块13 —接收广告信息64和抽出关键字履历数据21,就通 过控制模块18至少将抽出关键字履历数据21中的抽出关4建字、通话ID以及 广告信息64输出至监视器2。
接着,关键字受理模块7生成与取得的广告信息64有关的相关信息取得 履历数据22,并通过控制模块18在存储媒体20中存储所生成的相关信息取 得履历数据22。
相关信息取得履历数据22至少由受理年月日时刻、通话ID、请求通话者 ID、请求关键字取得条件、共享条件、请求数据位置、以及取得数据位置构成。
在受理年月日时刻中设定关键字受理模块7受理了抽出关键字履历数据 21的受理年月日时刻。在通话ID中设定抽出关键字履历数据21中的通话ID。 在请求通话考ID中设定从启动模块4取得的请求通话者ID。在请求关键字取 得条件中设定NULL。在共享条件中设定"0"不需要。在请求数据位置中设 定NULL。在取得数据位置中设定广告信息服务器103的位置的值。
接着,作为第二条件分支,下面说明动作条件设定数据23的广告显示与 否的值被设定为["0"不需要]的情况。
首先,关键字受理模块7将抽出关键字履历数据21转交给关键字输出模 块13。
关键字输出模块13 —接收抽出关键字履历数据21,就通过控制模块18 至少将抽出关键字履历数据21中的抽出关键字和通话ID输出至监视器2。 以上,第二条件分支的处理结束。
关键字受理模块7以从启动模块4取得的请求通话者ID为关键词信息, 通过控制模块18读出存储媒体20的动作条件设定数据23的信息取得条件输 入与否的值,在["0"不需要]时(在该顺序中只能是["0"不需要]),生成取 得条件输入65。取得条件输入65至少包含请求关^:字。通话ID、请求关键字 取得条件、以及共享条件。
在请求关键字和通话ID中设定抽出关键字履历数据21中的抽出关键字和 通话ID。在请求关键字取得条件中设定"0"未指定。另外,在请求关键字取 得条件中设定NULL。
然后,关键字受理模块7将受理年月日时刻、所生成的取得条件输入65、
以及从启动模块4取得的请求通话者ID转交给信息取得方法决定模块10。在
受理年月日时刻中设定关键字受理模块7受理了抽出关键字履历数据21的受
理年月日时刻。
信息取得方法决定模块10以请求通话者ID为关键词信息,通过控制模块 18读出默认取得顺序设定数据25中的默认取得条件"1" ~ "7"的值,并从 设定在默认取得条件1中的取得条件的值开始按照顺序执行上述(1 ) ~ (7), 直至将取得数据位置的值确定在NULL以外。
然后,信息取得方法决定模块10生成取得方法信息67,并反馈给关键字 受理模块7。
这里,取得方法信息67至少包含受理年月日时刻、请求关键字、通话ID、 请求关键字取得条件、共享条件、以及取得数据位置。
然后,关键字受理一莫块7将从信息取得方法决定模块10反馈的取得方法 信息67转交给相关信息取得模块11。
相关信息取得模块11 一接收取得方法信息67的值,就根据取得方法信息 67中的请求关键字和取得数据位置的值,取得相关信息68。
此时,在取得数据位置为用户的信息通信终端100内时,通过控制模块 18从存储媒体20取得相关信息68。另夕卜,在取得数据位置为用户的信息通信 终端100以外时,通过控制模块18来使用通信模块19,取得相关信息68。
此夕卜,来自相关信息服务器104的相关信息的发送请参照相关信息提供顺 序(参照后面所示的图9 ),来自检索服务器105的相关信息68的发送请参照 检索信息提供顺序(参照后面所示的图10)。
然后,相关信息取得模块11将所取得的相关信息68反馈给关键字受理模块7。
关键字受理模块7将从相关信息取得模块11反馈的相关信息68转交给相 关信息输出模块14。相关信息输出模块14一接收相关信息68,就通过控制模 块18将相关信息68输出至监视器2。
然后,关键字受理模块7生成与取得的相关信息68有关的相关信息取得 履历数据22,并通过控制模块18在存储媒体20中存储所生成的相关信息取 得履历数据22。
相关信息取得履历数据22至少由受理年月日时刻、通话ID、请求通话者 ID、请求关键字取得条件、共享条件、请求数据位置、以及取得数据位置构成。
在通话ID、请求关键字取得条件和请求数据位置中设定取得条件输入65 的通话ID、请求关键字取得条件和请求数据位置。另外,在受理年月日时刻、 请求通话者ID和取得数据位置中设定取得方法信息67的受理年月日时刻、请 求通话者ID和取得数据位置。另外,在共享条件中设定读出的默认共享条件 设定的值。
然后,关键字受理模块7以请求通话者ID为关键词信息,通过控制模块 18读出动作条件设定数据23中的外部服务器利用与否的值。在外部服务器利 用与否的值为['T,允许]时,关键字受理模块7将相关信息取得履历数据22 转交给履历登录模块17。
履历登录模块17 —接收相关信息取得履历数据22,就以相关信息取得履 历数据22中的请求通话者ID为关键词信息,通过控制模块18读出动作条件 设定数据23中的位置服务器102的位置(履历用)的值。
然后,履历登录模块17根据位置服务器102的位置(履历用)的值,通 过控制模块18来使用通信模块19,向位置服务器102发送相关信息取得履历 数据22中的请求关键字、取得条件和取得数据位置。
最后,关键字受理模块7调用语音输入模块5。
将以上处理重复进行至语音图像交换结束为止。
<广告信息提供顺序>
接着,下面参照图7对广告信息提供顺序进行说明。在该图7中表示直 到广告信息服务器103通过网络101从信息通信终端IOO接收抽出关键字,并 将与抽出关键字相关联的广告信息64反馈给信息通信终端100位置的顺序。 此外,图7中的"AO"对应于图3中的"A0",同样,图7中的"A1"对应 于图3中的"A1"。
广告信息服务器103的广告信息提供模块37通过控制模块18来使用通信 模块19,接收从信息通信终端100的广告信息取得模块12发送来的抽出关键 字。
然后,广告信息提供模块37以抽出关键字为关键词信息,通过控制模块
18检索存储媒体40中的广告数据41的记录,读出广告数据41的记录的关键 字与抽出关键字一致的记录的广告信息64。
然后,广告信息提供模块37通过控制才莫块18来使用通信模块19,向信 息通信终端100的广告信息取得模块12发送读出的广告信息64。
广告信息提供模块37通过控制模块18,等待来自信息通信终端100的广 告信息取得模块12的抽出关键字的发送。
将以上处理重复进行至语音图像交换结束为止。
<取得方法信息提供顺序>
图8的取得方法信息提供顺序表示直到位置服务器102通过网络101从信 息通信终端IOO接收请求关键字和请求关键字取得条件并向信息通信终端100 反馈与请求关键字以及请求关键字取得条件相关联的信息的数据位置为止的 顺序。此外,图8中的"BO"对应于图4A中的"BO",同样,图8中的"B1" 对应于图4A中的"B1"。
位置服务器102的位置信息提供模块30通过控制模块32来使用通信模块 33,接收从信息通信终端100的信息取得方法决定模块IO发送来的请求关键 字和请求关键字取得条件。
作为第一条件分支,下面说明接收到的请求关键字取得条件为["6"从位 置服务器102的位置数据35取得]的情况。
位置服务器102的位置信息提供模块30以请求关键字为关键词信息,通 过控制模块32检索存4射某体34中的位置数据35的记录,读出位置数据35 的记录的关键字与请求关键字一致的记录的数据位置。这里,位置信息提供模 块30只将从信息通信终端100接收到请求关键字和请求关键字取得条件的时 刻包含在记录的登录年月日时刻、有效年月日时刻之间的记录作为读出对象。
接着,作为第二条件分支,说明接收到的请求关键字取得条件为["7 "从 位置服务器102取得对于通榆关键字最常被参照的位置]的情况。
位置服务器102的位置信息提供模块30累计请求关键字的值与从信息通 信终端100接收到的请求关键字相同的存储々某体34的履历数据36的记录,读 出频度最高的取得数据位置的值。
以上,第二条件分支的处理结束。
然后,位置信息提供模块30通过控制模块32来使用通信模块33,向信 息通信终端100的信息取得方法决定模块IO发送读出的数据位置的值。
位置信息提供模块30通过控制模块32来使用通信模块33,等待来自信 息通信终端100的信息取得方法决定模块10的请求关键字和请求关键字取得 条件。
4目关信息提供顺序〉
图9所示的相关信息提供顺序表示直到相关信息服务器104通过网络101 从信息通信终端100的相关信息取得模块11接收取得数据位置和请求关键字 (可有可无)的值并向信息通信终端100反馈符合取得数据位置的相关信息 68为止的顺序。
此外,图9中的"CO"对应于图4B中的"C0",同样,图9中的"CI" 对应于图4B中的"C1"。
相关信息服务器104的相关信息提供模块42通过控制模块43来使用通信 模块44,接收从信息通信终端100的相关信息取得模块11发送来的取得数据 位置、请求关键字(可有可无)的值。
然后,相关信息提供模块42生成符合取得数据位置的相关信息68,通过 控制模块43来使用通信模块44,向信息通信终端100的相关信息取得模块11 发送读出的相关信息68。
然后,相关信息提供模块42通过控制模块43,等待来自信息通信终端100 的相关信息取得模块11的取得数据位置的发送。
4企索信息提供顺序>
图10所示的检索信息提供顺序表示直到检索服务器105通过网络101从 信息通信终端100的相关信息取得模块11接收取得数据位置和请求关键字的 值并将基于请求关键字的检索结果作为相关信息68反馈给信息通信终端100 为止的顺序。
此外,图10中的"C2"对应于图4B中的"C2",同样,图10中的"C3" 对应于图4B中的"C3"。
检索服务器105的检索结果提供模块47通过控制模块48来使用通信模块 49,接收从信息通信终端100的相关信息取得模块11发送来的取得数据位置
和请求关键字。
然后,检索结果提供模块47生成基于请求关键字的检索结果来作为相关
信息68,通过控制模块48来使用通信模块49,向信息通信终端100的相关信 息取得模块11发送所生成的相关信息68。
检索结果提供模块47通过控制模块48来接收来自信息通信终端100的相 关信息取得模块11的取得数据位置和请求关键字的值的发送。
<履历信息登录顺序>
图11所示的履历信息登录顺序表示直到位置服务器102通过网络101从 信息通信终端IOO的履历登录模块17接收请求关键字、取得条件以及取得数 据位置的值并将这些信息存储到存储々某体20为止的顺序。此外,图11中的"D" 对应于图4B中的"D"。
位置服务器102的履历信息登录模块31通过控制模块32来使用通信模块 33,接收从信息通信终端IOO的履历登录模块17发送来的请求关键字、取得 条件以及取得数据位置的值。
然后,履历信息登录模块31根据请求关键字、取得条件以及取得数据位 置的值来生成履历数据36。这里,履历数据36由受理年月日时刻、请求关键 字、取得条件以及取得数据位置构成,在受理年月日时刻中设定履历信息登录 模块31从信息通信终端100的履历登录模块17接收到请求的关键字、取得条 件以及取得数据位置的值的时刻。关于其他的值,设定从信息通信终端100 的履历登录模块17接收到的值。
然后,履历信息登录模块31通过控制模块32将生成的履历数据36作为 履历数据3 6存储在存储媒体20中。
-信息通信终端IOO的画面输出图像-
在图12中,表示本发明实施方式的信息通信终端IOO的画面输出图像的 一个例子。在该图12中,表示语音图像交换模块1和关键字输出模块13输出 的抽出关键字、关键字输出模块13输出的广告信息64、以及来自键盘.鼠标 3的取得条件输入65的显示例。
另外,图13表示信息通信终端IOO的画面输出图像的一个例子,表示相 关信息输出模块14输出的相关信息68的一个显示例。
根据以上说明的第一实施方式,在信息通信系统中,可以具备从会话语音 信息中抽出关键字的语音识别模块和关键字抽出模块、以及用于取得关键字的 相关信息的相关信息取得模块。
另外,即使用户不通过自身键盘等来输入、或者不检索存储有信息的位置 等,也通过语音识别在终端上显示用于检索附加信息.广告信息的关键字的一 览表,在显示了非常感兴趣的关键字时,通过用户选择关键字可以得到附加信 息 广告信息。
另外,不是在终端上直接显示附加信息'广告信息本身,而是暂时以关键 字的形式显示,并通过利用者自身的选择来显示其信息,因此在识别到多个关 键字的情况下也可以选择利用者真正想要得到的信息。
另夕卜,在语音识别结果根本没有识别到关键字时、或者识别到错误的关键 字时,再次催促用户说出关键字,不依赖于语音信息的识别算法的性能,用户 可以取得基于包含在会话中的关键字的、与会话的关系密切的信息。
另外,通过在终端侧配置,还可以使每个终端具有语音识别的校准数据等, 与在交换设备侧进行相比,可以期待更高精度的语音识别。
另外,不将^i舌的语音数据提供给交换设备供应商,也可以抽出关键字。
另外,由于用户只在显示了相关性高的关键字时,可以通过选择其关键字 来得到附加信息,广告信息,因此没必要提供所有的会话相关信息。
另外,不需要实施语音图像通信(IP电话、IP电视电话)的呼叫控制和 信息交换的专用交换设备、在专用交换设备内的关键字抽出、来自专用交换设 备的附带信息的分发。
另夕卜,在纯P2P型的IP电话方式或P2P侧的IP电话方式中,也可以实现 向系统提供基于关键字的附带信息。
另夕卜,想要将语音图像通信服务和附带信息服务两者提供给用户的运营商 并不一定需要构筑、运用专用交换设备。
另外,由于在信息通信系统内实施语音识别,不进行在专用交换设备内的 语音识别,因此在系统根据关键字取得附带信息时也可以设定为不向终端外发 送系统或用户的标识符。
另外,对于希望保护自己的隐私信息的用户,可以保证与通常的"从因特 网到用户终端的文本、语音、图像信息的下载"同等的隐私保护。
另外,在信息通信系统中可以浏览存储在因特网等专用交换网外的设备中
的附带信息或广告信息。
另外,可以提供在进行呼叫设定或信息交换时不需要交换设备的所谓纯
P2P型的IP电话方式或在进行信息交换时不需要交换设备的P2P型的IP电话
方式中能够应用的信息通信终端、信息通信系统、信息通信方法、信息通信程
序以及记录了信息通信程序的记录媒体。 (第二实施方式) -整体结构的说明-
第二实施方式的信息通信系统与图1所示的信息通信系统的不同点在于,
信息通信终端100还具有语音识别结果交换模块70。
在后述的动作条件设定数据23中设定有语音识别结果发送与否为["1" 需要]时,语音识别结果交换模块70使用通信模块19与通话目的地的信息通 信终端100交换语音识别模块6输出的单词信息62。
由语音识别模块6输出的语音附加信息61来决定发送目的地的信息通信 终端IOO。还弃li殳通话对象的信息通信终端IOO为多台的情况。另外,语音识 别结果交换模块70将从通话对象的信息通信终端IOO取得的、作为通话目的 地文本数据的单词信息62转交给关键字抽出模块8。
关键字抽出模块8根据后述的关键字抽出条件设定数据24,由从语音识 别结果交换模块70取得的单词信息(单词、词类)中抽出关键字,根据抽出 的关键字和语音附加信息生成后述的抽出关键字履历数据21,并将其进行存 储后转交给关键字受理模块7。此外,关键字的抽出也可以通过记载在第五实 施例中的单词信息的统计解析或语音接写来进行。通过使用该模块,信息通信 终端100的用户可以缩小显示在监视器2上的关键字的范围。
控制模块18按照来自语音图像交换模块1、语音识别结果交换模块70、 广告信息取得模块12、信息取得方法决定模块10、相关信息输出模块14、共 享信息发送模块15、共享信息受理模块16、以及履历登录模块17的请求,利 用通信模块19。
通信模块19是由控制模块18来控制,在语音图像交换模块1、语音识别
结果交换模块70、广告信息取得模块12、信息取得方法决定模块10、相关信 息输出模块14、共享信息发送模块15、共享信息受理模块16、以及履历登录 模块17通过网络101与其他信息通信终端IOO或相关信息服务器104、位置 服务器102、广告信息服务器103交换信息时使用。
其他结构实质上与图1所示的信息通信系统相同,因此省略重复的说明。
-处理流程的说明-
使用图24以及图25,说明使用了第二实施方式中的信息通信终端100的 相关信息的取得处理流程。图2的(1)所示的关键字显示顺序以及图2的(4 ) 所示的关键字显示/信息显示顺序的一部分处理与第一实施方式的处理流程不 同,而其他流程实质上相同,因此省略重复的说明。
<关键字显示顺序〉
图24的关键字显示顺序(图2中的(1))表示直到通过语音识别模块6 和关键字抽出模块8从通话的语音信息60抽出关键字并显示在监视器2上为 止的顺序。
首先,通过语音输入模块5,取得在语音图像交换模块1正在进行通信的 语音信息60以及语音附加信息61,并转交给语音识别模块6。这里,所谓语 音附加信息61,是与在语音图像交换模块1正在进行的通话有关的信息,包 含通话ID和通话者ID。
在语音识别才莫块6中, 一接收语音信息60以及语音附加信息61,就根据 语音信息60确定包含在通话中的单词和其词类,生成至少包含词类的单词信 息62,在语音识别结果发送与否被设定为["1"需要]时,将语音信息62以及 语音附加信息61转交给语音识别结果交换^t块70和关键字抽出模块8。
在语音识别结果交换模块70中, 一接收单词信息62以及语音附加信息 61,就通过控制模块18来使用通信模块19,向通话目的地的信息通信终端100 发送单词信息62以及从启动模块4取得的请求通话者ID。此时,在发送目的 地的信息通信终端100中,记载在语音附加信息61中的第一 ~第五通话者ID 都成为对象。另外,在语音识别结果交换模块70中,通过控制模块18来使用 通信模块19,接收从通话目的地的信息通信终端100的语音识别结果交换模 块70发送来的单词信息62以及请求通话者ID,并转交给关键字抽出模块8。
在语音识别结果发送与否^皮设定为["0"不需要]时,不将单词信息62以 及语音附加信息61发送给语音识别结果交换模块70,而只发送给关键字抽出 模块8。
关键字抽出模块8从语音识别模块6接收单词信息62以及语音附加信息 61 , 一从语音识别结果交换模块70接收通话目的地的单词信息62和通话目的 地的请求通话者ID,就以从启动模块4取得的请求通话者ID为关键词信息, 通过控制模块18从存储媒体20读入关键字抽出条件设定数据24。在关键字 抽出条件设定数据24中设定按照词类的抽出与否。此外,关键字的抽出可以 通过记载在第五实施例的单词信息的统计解析或语言解析来进行。
然后,通过关键字抽出模块8,从单词信息只抽出在关键字抽出设定数据 24中设定为['T抽出]的词类的单词来作为关键字,根据抽出的关键字以及 语音附加信息61生成抽出关键字履历数据21,并通过控制模块18存储到存 储媒体20中。
抽出关键字履历数据21至少由抽出年月日时刻、通话ID、请求通话者ID、 通话者ID、发话者ID、以及抽出关4建字构成,在通话者ID中设定语音附加 信息61的值。
另外,在抽出的关键字为从语音识别模块6取得的单词信息62时,在发 话者ID中设定从启动模块4取得的请求通话者ID,在抽出的关键字为从语音 识别结果交换模块70取得的单词信息时,在发话者ID中设定从语音识别结果 交换模块70取得的通话目的地的请求通话者ID。
另夕卜,在请求通话者ID中^L定从启动模块4取得的请求通话者ID。另夕卜, 在抽出年月日时刻中设定在关键字抽出模块8抽出了关键字的年月日时刻。另 外,在抽出关键字中设定在关键字抽出模块8中抽出的关键字。然后,通过关 键字抽出模块8,将存储的抽出关键字履历数据21转交给关4建字受理模块7。 之后的处理与第一实施方式的处理流程相同。
<关键字显示/信息显示顺序>
参照图25对图2中的(4)所示的关键字显示/信息显示顺序进行说明。 在图25中,表示直到通过语音识别模块6和关键字抽出模块8,从通话 的语音信息60抽出关键字,并显示在监视器2上,同时针对显示的关键字,
决定在信息取得方法决定模块10取得的相关信息68的位置(URL等),相关 信息取得模块11根据决定的位置(URL等)来取得相关信息68并将相关信 息68显示在监视器2为止的顺序。
首先,通过语音输入模块5,取得在语音图像交换模块l正在进行通信的 语音信息60以及语音附加信息61,并转交给语音识别模块6。这里,所谓语 音附加信息61,是与在语音图像交换模块1正在进行的通话有关的信息,包 含通话ID和通话者ID。
在语音识别名模块6中, 一接收语音信息60以及语音附加信息61,就根 据语音信息60来确定包含在通话中的单词和其词类,生成至少包含单词以及 词类的单词信息62,在语音识别结果发送与否被设定为["1"需要]时,将语 音信息62以及语音附加信息61转交给语音识别结果交换模块70以及关键字 抽出模块8。
在语音识别结果交换模块70中, 一接收单词信息62以及语音附加信息 61,就通过控制模块18来使用通信模块19,向通话目的地的信息通信终端100 发送单词信息62以及从启动模块4取得的请求通话者ID。此时,在发送目的 地的信息通信终端100中,记载在语音附加信息61中的通话者ID全部成为对 象。另外,在语音识别结果交换模块70中,通过控制模块18来使用通信模块 19,接收从通话目的地的信息通信终端100的语音识别结果交换模块70发送 来的单词信息62以及请求通话者ID,并转交给关键字抽出模块8。
在语音识别结果发送与否;l皮设定为["0"不需要]时,不将单词信息62以 及语音附加信息61发送给语音识别结果交换模块70,而只发送给关键字抽出 模块8。
在关键字抽出模块8中,在从语音识别模块6接收单词信息62以及语音 附加信息61,从语音识别结果交换模块70接收通话目的地的单词信息62和 通话目的地的请求通话者ID时,以从启动模块4取得的请求通话者ID为关键 词信息,通过控制模块18从存储媒体20读入关键字抽出条件设定数据24。 在关键字抽出条件设定数据24中设定有按照词类的抽出与否。
然后,通过关键字抽出模块8,从单词信息只抽出在关键字抽出条件设定 数据24中设定为["1"抽出]的词类的单词来作为关键字,根据抽出的关键字以及语音附加信息61来生成抽出关键字履历数据21,并通过控制模块18存 储到存储媒体20中。
抽出关键字履历数据21至少由抽出年月日时刻、通话ID、请求通话者ID、 通话者ID、发话者ID、以及抽出关键字构成,在通话ID中设定语音附加信 息61的值。
另外,在抽出的关键字为从语音识别模块6取得的单词信息62时,在发 话者ID中设定从启动模块4取得的请求通话者ID,在抽出的关键字为从语音 识别结果交换模块70取得的单词信息时,在发话者ID中设定从语音识别结果 交换模块70取得的通话目的地的请求通话者ID。
在请求通话者ID中设定从启动模块4取得的请求通话者ID。在抽出年月 日时刻中设定关键字抽出模块8抽出了关键字的年月日时刻。在抽出关键字中 设定关键字抽出模块8抽出的关键字。
然后,通过关键字抽出模块8,将存储的抽出关键字履历数据21转交给 关键字受理模块7。之后的处理流程与第一实施方式的处理相同。
-信息通信终端IOO的画面输出图像-
使用图12以及图13对第二实施方式的信息通信终端IOO的画面输出图像 的一例进行说明。在图12表示进行与语音图像交换模块1有关的操作的通话 操作窗口 201、显示通过关键字输出模块13输出的抽出关键字以及关键字输 出模块13输出的广告信息64的关键字 广告信息显示窗口 202、以及输入来 自键盘 鼠标3的取得条件的取得条件输入窗口 203的显示例。
首先, 一启动语音图像交换模块1就显示通话操作窗口 201,用户可以进 行通话对象的确认、保留或切断通话等操作。
然后,在通话中从会话的语音信息取得关键字以及广告信息时,显示关键 字 广告显示窗口 202,用户可以选择想要取得的相关信息。
当由用户选择了关键字时,进一步显示取得条件输入窗口 203。用户可以 从显示在该取得条件输入窗口 203的信息中选择相关信息的取得条件。
例如,在从显示在关键字.广告显示窗口 202的关键字中用户选择"电影 院,,时,显示取得条件输入窗口 203。进一步从该取得条件输入窗口 203中选 择"从x x x门户显示"时,取得条件被设定为图16中的["6"从位置服务
器102的位置数据35取得],从位置数据35取得有关电影院的详细信息。
另外,图13表示由信息通信终端IOO输出至画面的、在图12中从位置数 据35取得的有关电影院的详细信息的画面输出图像的一例。
在第二实施方式中,关键字抽出模块8被设置在各信息通信终端上,但是 也可以被设置在网络上的其他终端(例如检索服务器等)上。通过将关键字抽 出模块8设置在各信息通信终端以外,可以减轻各信息通信终端的负荷。
以往,已知将基于终端间通话语音的信息和通过通信网内的检索来取得的 信息进行组合的技术。在该技术中,对于来自电视电话的主叫者终端或被叫目 的地终端的通话语音,可以通过这些终端100所连接的交换机进行语音识别, 并以语音识别结果为检索关键字,进行数据通信网内的信息检索,将检索结果 发送至主叫源数据通信终端或者被叫目的地数据通信终端。例如,考虑对于以 下会话提供列车的路径信息的情况
例会话者A "约会地点是渋谷"、会话者B "7点可以吗?,,、会话者A "明白"
即,对于约会地点、渋谷、7点这样的^S舌,考虑在会话中提出列车的路 径信息的情况。为了根据该会话信息检索适合的路径信息,需要目的地以及到 达时刻的信息。
然而,由于上述信息贯穿多个会话者的发言,因此需要取得各自的语音识 别结果,根据上述会话的某一方的发话内容无法取得这些信息。另外,存在如 下问题
(1) 以在专用语音交换设备上设置信息提供单元为前提,在不具有该专 用语音交换设备的状况下无法实现按照会话内容的信息提供。
(2) 在未登录会话者的语音特征信息(校准数据)时,用于识别语音数 据的语音识别单元的精度下降。因此,在上述技术中使用语音识别单元时,在 通话之前必须预先登录会话者的语音特征信息。另外,在主叫者终端或者被叫 目的地终端中的某一个终端进行语音识别时,必须预先交换并登录各个会话者 的语音特征信息。但是,为了预先登录该通话对象的语音特征信息需要很多事 前工作,还需要大量的数据。
(3) 另外,在识别通话对象的语音时,从通过通信线路接收到的语音进
行识别处理,而经由通信线路后语音质量恶化,若用该恶化的语音进行语音识 别,则语音识别精度下降。
(4) 另外,由于语音识别需要按照会话者的校准,因此将多个会话者的 语音在一个语音识别装置进行语音识別的情况下,在多个会话者同时发话时语 音识别精度下降。
(5) 另外,若只针对使用进行语音识别的电视电话的会话者预先登录语 音特征信息而进行语音识别,则只通过初始的登录处理就可以得到高精度的语 音识别结果,但是只根据一方的会话者的发话内容难以确定必要的信息。
另一方面,根据第二实施方式的信息通信终端,由于从通过网络连接的外 部相关信息服务器取得信息,因此不使用设置有信息提供模块的专用语音交换 设备而可以取得必要的信息。
另外,由于使用对于每一信息通信终端设置的语音识别交换模块而进行语 音识别处理,因此不需要专用的语音交换设备,可以取得信息。
另外,不需要事前取得以及登录通话对象的语音特征信息,而且不受由于 经由通信线路而引起的语音数据的恶化的影响,可以高精度地进行语音识别。
另外,在多个发话者同时发话时也可以对各个发话者的发话内容进行高精 度的语音识别。
另外,通过在信息通信终端之间交换进行了语音识别的语音信息,可以将 多个会话者的发话内容进行组合并确定必要的信息。 (第三实施方式) -整体结构的说明-
如图26所示,第三实施方式的信息通信系统与图23所示的信息通信系统 的不同点在于,信息通信终端100还具有感情信息处理模块51以及语音输出 模块57。感情信息处理模块51包括感情识别模块52、感情信息发送模块53、 感情信息接收模块54、以及感情信息显示模块55。
感情识别模块52根据从语音输入模块5取得的语音信息确定包含在语音 中的感情,并作为感情信息转交给感情信息发送^t块53以及感情信息显示模 块55。作为感情信息,可以举出将包含在语音中的喜怒哀乐分成10阶段来评 价的数据。感情识别^t块52并不限定于其所有功能都存储在信息通信终端上,
还假设一部分功能被存储在计算能力更高的其他终端上的情况。
感情信息发送模块53通过语音图像交换模块1、通信模块19向通话目的
地信息通信终端100发送由感情识别模块52生成的感情信息。但是,在信息 通信终端100的利用者在存储J 某体20的动作条件设定凄t据23中设定禁止向通 话目的地信息通信终端IOO发送感情信息时,不实施感情信息的发送。另夕卜, 还假设通话目的地信息发送终端100为多台的情况。
感情信息接收模块54通过语音图像交换模块1、通信模块19接收由通话 目的地信息通信终端100的感情信息发送模块53发送的感情信息,并将接收 到的感情信息转交给感情信息显示模块55。还假设通话目的地的信息通信终 端IOO为多台的情况。
感情信息显示模块55通过控制模块18向监视器2显示从感情识别模块 52取得的感情信息(=自己的感情信息)、以及从感情信息接收模块54取得 的感情信息(=通话对象的感情信息)。
控制模块18控制向语音图像交换模块1传递键盘 鼠标3的输入信息; 启动语音图像交换模块1;向监视器2输出语音图像交换模块1交换的图像以 及感情信息显示模块55输出的图像;语音图像交换模块1利用通信模块19; 以及语音图像交换模块1、感情信息发送模块53、感情信息显示模块55向存 储媒体20的读写。
监视器2是由控制模块18来控制,向信息通信终端100的用户显示语音
图像交换模块l交换的图像和文字信息、感情信息显示模块55输出的感情信 會
语音输入模块5取得自身终端的语音信息,并通过控制模块18转交给语 音图像交换模块1和感情识别模块52。具体而言,假设麦克风和语音AD转 换器。
' 语音输出模块57通过控制模块18来再生从语音图像交换模块1取得的语 音信息。具体而言,布H殳扬声器和语音AD转换器。
存储媒体20是由控制模块18来控制,由语音图像交换模块l、感情信息 发送模块53以及感情信息显示模块55来进行信息的保存和读出。在履历数据 文件20b中设定感情信息履历数据56。
感情信息履历数据56是表示通过自身信息通信终端、通话目的地信息通
信终端的感情识别才莫块52从语音信息抽出的感情信息的履历的数据,假设由 受理年月日时刻、通话者ID、以及感情信息构成。图27表示这些各项目的内 容或设定的一个例子。
另外,在设定数据文件20a的动作条件设定数据23中存储信息通信终端 100的动作上的设定数据。假设动作条件设定数据23由自身终端通话者ID设 定数据、感情信息发送可否设定数据构成。图28表示这些各项目的内容或设 定的一个例子。
其他结构实质上与图1以及图23所示的信息通信系统相同,因此省略重 复的说明。
-处理流程的"i兌明-
使用图29,对使用第三实施方式的信息通信终端100而进行的感情信息 的交换方式的处理流程。
首先,由信息通信终端100的用户使用键盘 鼠标3来启动语音图像交换 模块1 。此时,语音图像交换模块1通过控制模块18从存储媒体20读出动作 条件设定数据23的自身终端通话者ID。
然后,由信息通信终端100的用户使用键盘 鼠标3向语音图像交换模块 1输入通话对象目的地的通话者ID。语音图像交换模块1使用输入的通话对象 目的地的通话者ID和自身终端通话者ID,开始与通话对象目的地的通话(图 像、语音、文字信息、文件的实时交换)。
然后,通过语音输入模块5取得自身信息通信终端100的用户的发话语音, 并向语音图像交换模块1和感情识别模块52转交语音信息(自身终端)。
在语音图像交换模块1中, 一接收语音信息(自身终端),就通过控制模 块18来经由通信才莫块19,向通话对象目的地的信息通信终端100发送语音信 息(自身终端)(图29中的A0)。
另夕卜,在语音图像交换模块1中,在通过控制模块18来经由通信模块19, 从通话对象目的地的信息通信终端100接收语音信息(自身终端)时(图29 中的A1),向语音输出模块57转交接收到的语音信息(通话目的地)。在语音 输出模块57中,再生所取得的语音信息(通话目的地)。这里,"在自身终端
的AO和在通话目的地终端的Al"、"在通话目的地终端的AO和在自身终端的 Al"在通信的执行上是成对的。
在感情识别模块52中,从语音图像交换模块1接收到语音信息(自身终 端)时,测定包含在语音信息(自身终端)中的感情,并生成感情信息(自身 终端)。然后,通过感情识别模块52向感情信息发送模块53和感情信息显示 模块55转交感情信息(自身终端)。
在感情信息发送模块53中, 一接收感情信息(自身终端),就通过控制模 块18从存储々某体20读出动作条件设定数据23的感情信息发送可否的值。
这里,在值为"1"(可以)时,通过感情信息发送模块53向语音图像交 换模块1转交感情信息(自身终端)。进一步在语音图像交换模块1中, 一接 收感情信息(自身终端),就通过控制模块18来经由通信模块19,向通话对 象目的地的信息通信终端IOO发送感情信息(自身终端)和从存储媒体20读 出的自身终端的通话者ID (图2中的BO)。
另外,在感情信息发送可否的值为"0"(不可以)时,通过感情信息发送 模块53来废弃感情信息(自身终端)。
在语音图像交换模块l中,通过控制模块18来经由通信模块19,从通话 对象目的地的信息通信终端100接收到感情信息(通话目的地)以及通话目的 地终端的通话者ID时(图2中的Bl ),向感情信息接收模块54转交接收到的 感情信息(通话目的地)以及通话目的地终端的通话者ID。
然后,由感情信息接收模块54进一步向感情信息显示模块55转交所取得 的感情信息(通话目的地)以及通话目的地终端的通话者ID。这里,"在自身 终端的B0和在通话目的地终端的Bl"、"在通话目的地终端的B0和在自身终 端的B1"在通信的执行上是成对的。
然后,在感情信息显示模块55中从感情识别模块52接收到感情信息(自 身终端)时,通过控制模块18从存储媒体20读出动作条件设定数据23的自 身终端通话者ID。
然后,由感情信息显示模块55生成感情信息履历数据56,并通过控制模 块18来保存到存储媒体20中。在感情信息履历数据56的"受理年月日时刻" 中设定从感情识别模块52接收到感情信息(自身终端)的时刻,在"通话者
ID"中设定所读出的自身终端的通话者ID,在"感情信息"中设定从感情识
别模块52取得的感情信息(自身终端)。
然后,在感情信息显示模块55中,通过控制模块18向监视器2显示保存 的感情信息履历数据56。
另夕卜,在感情信息显示模块55中,从感情信息接收模块54接收到感情信 息(通话目的地)以及通话目的地终端的通话者ID时,生成感情信息履历数 据56,并通过控制模块18保存到存储媒体20中。
此时,在感情信息履历数据56的"受理年月日时刻,,中设定从感情信息 接收模块54接收到感情信息(通话目的地)的时刻,在"通话者ID"中设定 从感情信息接收模块54取得的通话目的地终端的通话者ID,在"感情信息" 中设定从感情信息接收模块54取得的感情信息(通话目的地)。
然后,在感情信息显示模块55中,通过控制模块18向监视器2显示保存 的感情信息履历数据56。
最后,由信息通信终端100的用户使用^l建盘 鼠标3来才喿作语音图像交换 模块l,由此结束与通话对象目的地的通话(图像、语音、文字信息、文件的 实时交换),在必要时进一步结束语音图像交换模块1。
已知使用PC等终端来取得语音或图像等信息,并根据取得的该语音信息 进一步分析会话者的感情信息的技术。利用该技术,提供如下服务在配置在 专用的交换机上的感情识别装置中,通过分析在通信终端间交流的会话的语音 信息来生成感情信息,通话者从通信终端浏览在该感情识别装置上的通话对象 的感情信息。
但是,在该服务中用于分析的语音信息是通过通信线路来取得,因此受音 频的影响而音质恶化,感情识别的精度下降。
另一方面,已知将从话筒等输入的语音转换成字符串,并从其转换结果分 析感情信息的技术。通过该技术,分析不经由通信线路而输入的语音,可以生 成识别精度高的感情信息。
然而,由于没有提供取得已分析的通信对象的感情信息的单元,因此在 P2P (PeertoPeer)型通信中,未能取得还包含附加信息的感情信息。
对此,根据第三实施方式的信息通信终端100,由于使用对每一信息通信
终端100设置的感情识别模块52而进行感情识别处理,因此在经由通信线路 的通话中也可以高识别精度地取得通话对象的感情信息。另外,不受由于经由 通信线路而引起的语音数据的恶化的影响,可以高精度地进行感情识别。
另夕卜,从通过网络连接的其他信息通信终端取得感情信息,由此不使用专
用交换i殳备,而可以取得适当的附加信息和感情信息。由此,在P2P(Peerto Peer)型通信中,可以取得包含符合会话内容或感情信息的适当的附加信息的 感情信息。
(第三实施方式的变更例)
在第三实施方式的变更例中,说明使用图26所示的信息通信终端100的 相关信息取得模块11而取得与输入的语音信息相关联的相关信息的例子。
在由语音输入模块5输入自身信息通信终端用户的发话语音时,向语音识 别模块6转交语音信息(自身终端)。
在语音识别模块6中, 一接收语音信息(自身终端),就确定包含在语音 信息(自身终端)中的单词,并转换为输入文本数据。将被转换的输入文本数 据转交给语音识别结果交换模块70以及相关信息取得模块11。
在语音识别结果交换模块70中, 一接收输入文本数据,就向通话目的地 的信息通信终端100发送该输入文本数据,同时从通话目的地的信息通信终端 100接收在通话目的地进行转换的通话目的地文本数据。将输入文本数据以及 接收到的通话目的地文本数据从语音识别结果交换模块70转交给关键字抽出 模块8。
在关键字抽出模块8中, 一接收输入文本数据以及通话目的地文本数据,
键字。将抽出的关键字转交给相关信息取得模块ll。
在相关信息取得模块11中一接收关键字,就向相关信息服务器104发送 该关键字的相关信息的请求。
在相关信息服务器104中, 一接收相关信息的请求,就通过控制模块43 从存储媒体45取得必要的相关信息。取得的相关信息被发送至请求源的信息 通信终端100的相关信息取得模块11。
在相关信息取得模块11接收到的相关信息被显示在监视器2上。
根据第三实施方式的变更例的信息通信终端100,可以取得通信对象的感
情信息,同时还可以取得与会话内容相关联的相关信息。 (第四实施方式) -整体结构的说明-
如图30所示,第四实施方式的信息通信系统与图1、图23以及图26所 示的信息通信系统的不同点在于,具有警告信息服务器106。
在本实施方式中,警告信息服务器106是与信息通信终端100成对地使用 的装置,保存警告数据80。
所谓警告数据80,是表示在信息通信终端100应监视的关键字集合 (keyword set)、在检测到包含在该集合中的关键字时在监视器2上显示警告 的条件、以及在监视器2上显示的警告数据80的数据,假设由警告信息服务 器106的运营商来编辑管理。
运营商例如从警察等随时接收关于使用电话的诈骗的、与多种关键字有关 的信息,并登录在警告数据80中。
在信息通信终端100中设定有允许取得警告信息80时(在后述的警告数 据取得与否为["1"需要]时),信息通信终端100可以从警告信息服务器106 取得警告数据80,并更新信息通信终端100的警告条件设定数据75。其他结 构实质上与第一以及第二实施方式中说明的结构相同,因此省略重复的记载。
<信息通信终端100的结构和动作的说明>
信息通信终端100还具有警告显示模块71、警告信息取得模块72、通信 切断模块73以及录音模块74。
警告显示模块71监视关键字抽出模块8保存的抽出关键字履历数据21, 在保存有在警告条件设定数据75中的警告对象关键字集合中包含的关键字 时,对其进行计数,在检测次数满足警告对象条件时,将警告显示信息输出至 监视器。另外,具有在一定时间内没有检测到来自通信对象的关键字的情况下 也将警告数据80输出至监视器2的功能。此外,在本实施方式中,作为警告 对象条件记载"是否超过检测次数的阔值(警告对象监测次数)",但是也可以 通过逻辑式来记载条件。
警告信息取得模块72是在动作条件设定数据23中设定有警告数据取得与
否为["1"需要]时,使用通信模块19从警告信息服务器106取得警告数据80 的模块。由警告显示模块71来调用警告信息取得模块72。
通信切断模块73监视关键字抽出模块8保存的抽出关键字履历数据21 , 在保存有在警告条件设定数据75中的警告对象关键字集合中包含在关键字 时,对其进行计数,在检测次数满足警告对象条件时,自动切断通信。
录音模块74监视关键字抽出模块8保存的抽出关键字履历数据21,在保 存有在警告条件设定数据75中的警告对象关键字集合中包含的关键字时,对 其进行计数,在检测次数满足警告对象条件时,开始通话中的语音信息的录音。
控制模块18向关键字受理模块7传递键盘 鼠标3的输入信息,以及向 监视器2输出语音图像交换模块1交换的图像以及关键字输出模块13、相关 信息取得模块11、警告显示模块71输出的信息。
另夕卜,控制模块18进行语音图像交换模块1、语音识别结果交换模块70、 广告信息取得模块12、信息取得方法决定模块10、相关信息输出模块14、共 享信息发送模块15、共享信息受理模块16、履历登录模块17、以及警告信息 取得模块72对通信模块19的利用。
而且,控制模块18控制关键字受理模块7、关键字抽出模块8、信息取得 条件受理模块9、信息取得方法决定模块10、相关信息取得模块11、共享信 息受理模块16、以及警告显示模块71向存储媒体的读写。
通信模块19是由控制模块18来控制,在语音图像交换模块1、语音识别 结果交换模块70、广告信息取得模块12、信息取得方法决定模块10、相关信 息输出模块14、共享信息发送模块15、共享信息受理模块16、履历登录模块 17、以及警告信息取得模块72通过网络101与其他信息通信终端100或相关 信息服务器104、位置服务器102、广告信息服务器103、警告信息服务器106 交换信息时使用该通信^t块19。具体而言,假设用于以物理的方式发送数据 的系统(调制解调器)和其控制软件。
存储媒体20是由控制模块18来控制,由关键字受理模块7、关键字抽出 模块8、信息取得条件受理模块9、信息取得方法决定模块10、相关信息取得 模块ll、共享信息受理模块16、警告显示模块71来保存、读出信息。存储媒 体20中存储设定数据文件20a、履历数据文件20b、位置数据文件20c、个人
信息数据文件20d、以及保存录音数据82的录音数据文件20e。在设定数据文 件20a中设定有警告条件设定数据75。
在动作条件设定数据23中存储信息通信终端100的动作上的设定数据。 假设动作条件设定数据23由请求通话者ID、信息取得条件输入与否、语音识 别结果发送与否、广告显示与否、警告数据取得与否、通^f言切断与否、录音与 否、外部服务器利用与否、默认共享条件设定、以及广告信息服务器103的位 置(履历用)构成。在图36表示这些各项目的内容或设定的一个例子。
警告条件设定数据75是用于监视由关键字抽出模块8从语音信息抽出的 关键字的数据,假设由请求通话者ID、关键字未检测警告设定时间、关键字 未检测警告信息、第一有效年月日时刻、第一警告对象关键字集合、第一警告 对象检测次数、第一警告显示信息、第二有效年月日时刻、第二警告对象关键 字集合、第二警告对象检测次数、第二警告对象关键字检测警告信息、第三有 效年月日时刻、第三警告对象关键字集合、第三警告对象4企测次数、以及第三 警告对象关键字检测警告信息构成。在图37表示这些各项目的内容或设定的 一个例子。
警告对象关键字集合、警告对象检测次数、以及警告显示信息不限定于3 个,也可以是与需要的警告数相同的数量。另外,警告对象检测次数不限定于 次数,也可以通过逻辑式来记述警告信息的显示条件。
通话录音数据82是用录音模块74对由语音输入模块5取得的语音信息、 以及在动作条件设定数据23的录音与否被设定为["1"需要]时通过通信模块 19从通话目的地的信息通信终端100取得的语音信息进行录音的数据。其他 结构以及动作实质上与第一以及第二实施方式中的信息通信终端100相同,因 此省略i兌明。
<警告信息服务器106的结构和动作的说明>
警告信息服务器106包括警告信息提供模块76、控制模块77、通信模块 78、以及存储媒体79。
警告信息4是供模块76用于警告信息服务器106通过网络101从信息通信 终端100取得警告信息请求81,并将警告数据80反馈给信息通信终端100。
控制模块77控制警告信息提供模块76对通信模块78的利用,控制存储
媒体79。
通信模块78是由控制模块77来控制,在警告信息提供模块37通过网络 101与信息通信终端100交换信息时使用该通信模块78。具体而言,假设用于 以物理的方式发送数据的装置(调制解调器等)和其控制软件。
存储媒体79是由控制模块77来控制,由警告信息提供模块76来保存、 读出信息。另外,在存储媒体79中作为数据存储警告数据80。
警告数据80是用于监视信息通信终端100通过关键字抽出模块8从语音 信息抽出的关键字的数据,假设由登录年月日时刻、有效年月日时刻、警告对 象关键字集合、警告对象检测次数、以及警告显示信息构成。
在图38表示警告数据80的各项目的内容或设定的一个例子。可以登录有 与需要的警告数相同数目的警告对象关键字集合、警告对象检测次数、警告显 示信息。另外,警告对象检测次数不限定于次数,也可以通过逻辑式记述警告 信息的显示条件。
-处理流程的说明—
使用图31 ~图35,说明使用第四实施方式中的信息终端的相关信息的取 得方式的处理流程。此外,由于图31的(1)、 (2)以及(4)所示的处理与第 一以及第二实施方式的处理相同,因此省略重复的说明。
<启动顺序〉
如图31所示,信息通信终端100的用户使用键盘 鼠标3来执行启动模 块4。此时,可以输入执行了启动的用户的请求通话者ID。首先,由启动模块 4启动语音图像交换模块1,开始与通话对象的通话。然后,由启动模块4, 以通话者ID为关键词信息,通过控制模块18从存储媒体20取得动作条件设 定数据23的信息取得条件输入与否的值。
这里,作为基于信息取得条件输入与否的值的第一条件分支,在信息取得 条件输入与否的值为["1"需要]时,由启动模块4启动语音输入模块5 (跳转 到(1)关键字显示顺序(图24))、信息取得条件受理模块9 (跳转到(2)取 得条件受理/信息显示顺序(图4))、共享信息受理纟莫块16 (跳转到(3)共享 信息接4t/显示顺序(图5 ))、警告显示模块71 (跳转到(5 )警告显示顺序(图 32))、通信切断模块73 (跳转到(6)通信切断顺序(图33))、以及录音模块
74 (跳转到(7 )录音顺序(图34 ))。
在信息取得条件输入与否的值被设定为["1"需要]时,用户可以根据显 示在监视器2上的关键字选择作为相关信息取得对象的关键字,或输入相关信 息的取得条件。另外,可以与通话对象共享所取得的相关信息。
然后,作为基于信息取得条件输入与否的值的第二条件分支,在信息取得 条件输入与否的值被设定为["0"不需要]时,由启动模块4启动语音输入模 块5 (跳转到(4)关键字显示/信息显示顺序(图25))、共享信息受理模块16 (跳转到(3)共享信息接^/显示顺序(图5))、以及警告显示模块71 (跳转 到(5)警告显示顺序(图32)X
在信息取得条件输入与否的值被设定为["0"不需要]时,用户无法根据 显示在监视器2上的关键字选择作为相关信息取得对象的关键字,或无法输入 相关信息的取得条件,自动地显示针对抽出的关键字的相关信息、或通话对象 共享的相关信息。
另外,向由启动模块4启动的各模块转交请求通话者ID。
<警告显示顺序>
参照图32对图31中的(5)所示的警告显示顺序进行说明。 警告显示顺序(图32)表示直到由启动模块4启动警告显示模块17后监 视关键字抽出模块8所保存的抽出关键字履历数据21,在包含在抽出关键字 履历数据21中的关键字满足警告对象条件时向监视器2输出警告数据80为止 的顺序。
首先,警告显示模块7以从启动模块4取得的请求通话者ID为关键词信 息,通过控制模块18从存储媒体20读入动作条件设定数据23的警告数据取 得与否的值。
在动作条件设定数据23的警告数据取得与否的值被设定为["1"需要]时, 由警告显示模块71通过控制模块18从存储媒体读入动作条件设定数据23的 警告信息服务器位置的值,并转交给警告信息取得模块72。
接着,警告信息取得模块72—接收警告信息服务器位置的值,就根据警 告信息服务器位置的值,通过控制模块18来使用通信模块19,向警告信息服 务器106发送警告信息请求81,从警告信息服务器106取得警告数据80,并 反馈给警告显示模块7L
关于在警告信息服务器106的警告数据80的发送,参照图35的警告信息 提供顺序在后面进行叙述。
然后,由警告显示模块71生成与取得的警告数据80有关的警告条件设定 数据75,并通过控制模块18向存储媒体20中存储所生成的警告条件设定数 据75。
另夕卜,由警告显示模块71以从启动模块4取得的请求通话者ID为关键词 信息,存储所取得的警告数据80的有效年月日时刻、警告对象关键字集合、 警告对象检测次数、以及警告显示信息来作为警告条件设定数据75的有效年 月日时刻、警告对象关键字集合、警告对象检测次数、以及警告显示信息。
在动作条件设定数据23的警告数据取得与否的值被设定为["0"不需要] 时,在警告显示模块71中,不取得来自警告信息服务器106的警告数据80。
另夕卜,在警告显示模块71中,以请求通话者ID为关键词信息,通过控制 模块18从存储媒体20取得保存完毕的警告条件设定数据75。
此时,由警告显示模块71读出警告条件设定数据75中的关键字未检测警 告设定时间、关键字未检测警告信息、以及有效年月日时刻在当前时刻之后的 警告对象关键字集合、警告对象检测次数、以及警告显示信息。
(*)然后,由警告显示模块71以请求通话者ID为关键词信息,通过控 制模块18从存储媒体20取得由启动模块4启动警告显示模块71后保存的抽 出关键字履历数据21。
在取得的抽出关键字履历数据21中,在发话者ID为从启动模块4取得的
请求通话者ID以外的记录所存在的时间不超过关^:字未检测警告设定时间
时,警告显示模块71通过控制模块18向监视器2输出关键字未检测警告信息。 然后,由警告显示模块71检索抽出关键字履历数据21的抽出关键字,并 对抽出关键字包含在警告对象关键字集合中的抽出关键字履历数据21的数进 行计数。
在计数结果为符合的警告对象关键字集合的警告对象检测次数以上时,警 告显示模块71通过控制模块18向监视器2输出符合的警告对象关键字集合的 警告数据80。
在警告显示模块71中,将上述(* )之后的处理重复进行至语音图像交换 模块l结束为止。
<通信切断顺序>
参照图33对图31的(6)所示的通信切断顺序进行说明。 通信切断顺序(图33 )表示直到由启动模块4启动通信切断模块73后监
视关键字抽出模块8保存的抽出关键字履历数据21,并在抽出关键字履历数
据21中包含的关键字满足警告对象条件时切断通信为止的顺序。
首先,由通信切断模块73以从启动模块4取得的请求通话者ID为关键词
信息,通过控制模块18从存储媒体20读入动作条件设定数据23的通信切断
与否的值。
在动作条件设定数据23的通信切断与否的值被设定为["1"需要]时,根 据请求通话者ID,通信切断模块73通过控制模块18向通信模块19发送通信 切断请求83,并切断通信。
在动作条件设定数据23的通信切断与否的值被设定为["0"不需要]时, 不发送通信切断请求83。
<录音顺序>
参照图34对图31的(7)所示的录音顺序进行说明。
录音顺序(图34)表示直到由启动模块4启动录音模块74后监视关键字 抽出模块8保存的抽出关键字履历数据21,并在抽出关键字履历数据21中包 含的关键字满足警告对象条件时,录音通话中的语音信息60为止的顺序。
首先,录音模块74以从启动模块4取得的请求通话者ID为关键词信息, 取得从语音输入模块5输入的语音信息60。
然后,以从启动模块4取得的请求通话者ID为关键词信息,通过控制模 块18从存储Ji某体20读入动作条件设定数据23的录音与否的值。
在动作条件设定数据23的录音与否的值被设定为["1"需要]时,根据请 求通话者ID,录音模块74通过控制模块18使用通信模块19,向通话目的地 的信息通信终端IOO发送语音信息请求84,从通话目的地的信息通信终端100 取得语音信息60,并反馈给录音模块74。
录音模块74在存储媒体20的通话录音数据82中存储从语音输入模块5
输入的语音信息60以及/人通话目的地的信息通信终端100取得的语音信息 60。
将以上处理重复进行至语音图像交换结束为止。 <警告信息提供顺序>
接着,参照图35对警告信息提供顺序进行说明。图35表示直到警告信息 服务器106通过网络101接收来自信息通信终端100的警告信息请求81并将 警告数据80反馈给信息通信终端100为止的顺序。
在警告信息服务器106的警告信息提供模块76中,通过控制模块77使用 通信模块78,接收从信息通信终端100的警告信息取得模块72发送来的警告 信息请求81。
然后,警告信息提供模块76通过控制模块77检索存储媒体79中的警告 数据80的记录,并读出警告数据80的记录中的有效年月日时刻在当前时刻之 后的警告对象关键字集合、警告对象检测次数、以及警告数据80。
然后,警告信息提供模块76通过控制模块77使用通信模块78,向信息 通信终端100的警告信息取得模块72发送读出的有效年月日时刻、警告对象 关键字集合、警告对象检测次数、以及警告数据80。
在警告信息提供模块76中,通过控制模块77等待来自信息通信终端100 的警告信息取得模块72的警告信息请求81的发送。
将以上处理重复进行至语音图像交换模块1结束为止。
-信息通信终端IOO的画面输出图像-
图12表示本实施方式信息通信终端IOO的画面输出图像的一例。
首先,已启动语音图像交换模块l就显示通话操作窗口 201,用户可以进 行通话对象的确认、保留或切断通话等操作。
然后,在通话中从会话的语音信息取得关键字以及广告信息时,显示关键 字.广告显示窗口 202,用户可以选择想要取得的相关信息的关键字。
由用户选择关键字后进一步显示取得条件输入窗口 203。用户可以从该取 得条件输入窗口 203中显示的取得条件中选择相关信息的取得条件。
例如,用户从关键字 广告显示窗口 202显示的关键字中选择"电影院" 时,显示取得条件输入窗口 203。进一步从该取得条件输入窗口 203中选择"从
xxx门户显示"时,将取得条件设定为图18中的["6"从位置服务器102
的位置数据35取得],并从位置数据35取得有关电影院的详细信息。
另外,图13表示由信息通信终端100将在图12中从位置数据35取得的
有关电影院的详细信息输出至画面的画面输出图像的一例。
此外,在警告显示顺序中也可以设定为由启动模块4启动警告显示模块
71后,监视关键字抽促模块8保存的抽出关键字履历数据21,在抽出关键字
履历数据21中包含的关键字满足警告对象条件时,由通信切断模块73切断通
另外,在同样的情况下也可以设定为由录音模块74开始通话的语音信息 的录音。
近年来,以汇款骗局为代表的不法人员的骚扰电话时有发生。这些骚扰电 话的通信对象为不确定的多数并且事前并不能得知对象。此外,这些骚扰电话 的手法多是进行冒充或假装为虛构的交通事故而后请求汇款等,巧妙地利用时 间紧迫。因此,在被叫者侧难以识别是骚扰电话或进行处置。
作为对骚扰电话的对策方法,有"号码请求服务"或"骚扰电话拒绝服务"。 "号码请求服务"是拒绝没有来电显示的电话的呼叫的服务。通过该服务, 用户为了进行通话被强制显示主叫者号码。因此被叫者通过被叫事先至少可以 确认主叫者的电话号码。
"骚扰电话拒绝服务"是接到骚扰电话后通过从被叫者的电话机登录该骚 扰电话的主叫者号码,来拒绝之后的来自该主叫者的电话的服务。通过该服务, 可以拒绝接收来自特定骚扰电话的主叫者的电话。
然而,"号码请求服务,,通过进行号码通知来容易地回避,另外,存在如 近年的拨入欺诈等,不是简单的号码通知的问题而是以会话内容来欺诈的电话 等被叫者自身无法识别为骚扰电话的问题。
另外,"骚扰电话拒绝服务"只能防止已经知道主叫者号码的特定主叫者 的骚扰电话,存在不能对应如近年的拨入欺诈等来自不确定数量的骚扰电话等 初次接收的主叫者号码的电话的问题。
在接收者能够识别到接收到的电话为骚扰电话时,可以考虑切断通话、录 音通话内容来作为证据、以及为了确认真伪给其他人打电话等典型的对策,但
是"号码请求服务"或"骚扰电话拒绝服务,,都只能制止通话,不能考虑应该 在通话开始后进行的这些对策。
对此,根据第四实施方式的信息通信终端100,可以根据从通话对象发出 的会话内容抽出的关键字来识别是否为骚扰电话,因此针对来自不确定的主叫 者的电话,接受者也可以在通话中识别是否为骚扰电话。
另夕卜,在显示识别为骚扰电话的警告时,接收者可以及时采取对策。而且, 从确定为骚扰电话信息的外部警告信息服务器取得用于识别为骚扰电话的关 键字等来使用,因此也可以对应巧妙的骚扰电话的手段。 (第五实施方式)
-整体结构的说明-
如图39所示,第五实施方式的信息通信系统与第一 第四实施方式的信 息通信系统的不同点在于,具备与网络101连接的关键字抽出服务器107。
在本发明中,关键字抽出服务器107是与信息通信终端100成对地使用的 装置,从通过信息通信终端100进行的会话内容抽出关键字。更具体地,具备 信息通信终端100的语音识别模块6从信息通信终端IOO取得文本化的会话的 单词信息并抽出关键字的服务器侧关键字抽出模块(省略图示),并向信息通 信终端IOO返回从单词信息抽出的关键字信息。作为关键字抽出方式,假设抽 出单词的特定词类的方式、通过单词信息的统计解析或语言解析来抽出的方
式。只要是抽出恰当的关键字的方式就可以。 <信息通信终端100的结构和动作的说明>
信息通信终端100与第一 -第四实施方式的信息通信终端100的不同点在 于,还具有关键字抽出委托模块90。
关键字抽出委托模块90是在信息通信终端IOO的处理性能低时(后述的 "外部关键字抽出服务器利用与否"为['T,需要]时),使用抽出关键字服务 器107从单词信息抽出关键字并向关键字抽出模块8转交结果的模块。具体而 言,根据来自关键字抽出模块8的请求,使用通信模块19向关键字抽出服务 器107发送单词信息,由此委托关键字的抽出。关键字抽出服务器107—接收 关键字抽出服务器107抽出的关键字,就向关键字抽出模块8转交该关键字。
控制模块18还控制关键字抽出委托模块90。在关键字抽出委托模块90
通过网络101与其他信息通信终端100或位置服务器102、广告信息服务器 103、相关信息服务器104、以及检索服务器105交换信息时也使用通信模块 19。
存储在履历数据文件20b中的抽出关键字履历数据21是表示由语音识别 模块6和关键字抽出模块8从语音信息抽出的关键字的履历的数据,假设由抽 出年月日时刻、通话ID、请求通话者ID、用于识别各个通话者的多种通话者 ID、发话者ID、抽出关键字、以及抽出关键字类别("0"或"1")构成。各 项目的内容或设定的一个例子可以参照图43所示的抽出关键字履历数据。
相关信息取得履历数据22是表示由广告信息取得模块12、相关信息取得 模块11进行的信息取得履历的数据,假设由受理年月日时刻、通话ID、请求 通话者ID、请求关键字、请求关键字类别("0"或'T,)、取得条件("0" ~ "8")、共享条件、请求数据位置、以及取得数据位置构成。各项目的内容或 设定的一个例子可以参照图44所示的相关信息取得履历数据。
假设动作条件设定数据23由请求通话者ID、信息取得条件输入与否、广 告显示与否、外部服务器利用与否、外部关键字抽出服务器利用与否、默认共 享条件设定、广告信息服务器位置、检索服务器位置、位置服务器位置(取得 用)、位置服务器位置(履历用)、以及关键字抽出服务器位置构成。各项目的 内容或设定的一个例子可以参照图42所示的动作条件设定数据。
关键字抽出条件设定数据24是用于将在语音识别模块6根据语音信息识 别的单词中关键字抽出模块8应作为抽出对象的单词按词类设定的数据。假设 关键字抽出条件设定数据24例如由请求通话者ID、固有名词抽出与否、名词 抽出与否、以及动作抽出与否构成。各项目的内容或设定的一个例子实质上与 之前说明的图15所示的关键字抽出条件设定数据相同。
此外,项目数可以与由语音识别模块6分类的词类数相同。还假设不仅通 过设定词类分类,还通过设定特定的固有名词或意思分类,来设定作为关键字 应抽出的单词。例如,假设在抽出关键字类别为"1"时(当关键字为不包含 在作为会话内容语音识别结果的单词信息中的相关信息时),设定不作为关键 字抽出等控制。其他结构实质上与第一-第四实施方式的信息通信终端100 的结构相同,因此省略重复的说明。
<位置服务器102的结构和动作的说明>
位置服务器102包括位置信息提供模块30、履历信息登录模块31、控制 模块32、通信模块33、以及存储模块34。
位置信息提供模块30根据位置服务器102通过网络101从信息通信终端
ioo接收到的请求关键字、请求关键字类别("o" ~ "r)、以及请求关键字
取得条件决定相关的信息的数据位置,并向信息通信终端100返回。
履历信息登录模块31通过网络101从信息通信终端100的履历登录模块
17接收请求关键字、请求关键字类别、取得条件、以及取得数据位置的值,
并将这些信息作为履历数据36存储到存储媒体34中。
履历数据36是表示由各信息通信终端100的相关信息取得模块11进行的
信息取得履历的数据,假设由受理年月日时刻、请求关键字、请求关键字类别、
取得条件、以及取得数据位置构成。各项目的内容或设定的一个例子可以参照
图45所示的履历数据。
<关键字抽出服务器107的结构和动作的说明>
关键字抽出服务器107等待来自信息通信终端IOO的关键字抽出委托模块 90的抽出对象单词信息91的发送。此外,虽然在图39中省略了图示,但至 少具有服务器侧关键字抽出模块、控制模块、以及通信模块。关键字抽出服务
器107的详细结构将在后面进行叙述。 -处理流程的说明-
使用图40~图41,说明使用了第五实施方式的信息终端的相关信息取得 方式的处理流程。第五实施方式的处理流程与第一~第四实施方式的处理流程 的不同点在于图2的(1 )所示的关键字显示顺序中的处理,其他流程实质上 是相同。
<关键字显示顺序>
图40以及图41所示的关键字显示顺序(图2中的(1 ))表示直到由语音 识别模块6、关键字抽出模块8从通话的语音信息60抽出关键字并显示在监 视器2上为止的顺序。
语音输入模块5取得语音图像交换模块1正在交换的语音信息60以及语 音附加信息61,并转交给语音识别模块6。这里,所谓语音附加信息61,是有关语音图像交换模块1正在进行的通话的信息,包含通话ID和通话者ID。
在语音识别模块6中, 一接收语音信息60以及语音附加信息61,就根据 语音信息60确定包含在通话中的单词和其词类,生成至少包含单词或词类的 单词信息62,并将单词信息62以及语音附加信息61转交给语音识别结果交 换模块70和关键字抽出模块8。
在语音识别结果交换模块70中, 一接收单词信息62以及语音附加信息 61,就通过控制模块18使用通信模块19,向通话目的地的信息通信终端100 发送单词信息62和从启动才莫块4取得的请求通话者ID。此时,在发送目的地 的信息通信终端100中,记载在语音附加信息61中的所有通话者ID成为对象。
另外,语音识别结果交换模块70铜鼓哦通讯模块19接收从通话目的地的 信息通信终端100的语音识别结果交换模块70发送来的单词信息62以及请求 通话者ID,并转交给关键字抽出模块8。
关键字抽出模块8当从语音识别模块6接收单词信息62以及语音附加信 息61,从语音识别结果交换模块70接收通话目的地的单词信息62以及通话 目的地的请求通话者ID时,以从启动模块4取得的请求通话者ID为关键词信 息,通过控制模块18从存储媒体20读入动作条件设定数据23的外部关键字 抽出服务器利用与否的值。
此外,在外部关键字服务器利用与否的值被设定为["0"禁止]时,抽出 关键字模块8从存储媒体20取得关键字抽出条件设定数据24。然后,关键字 抽出模块8从单词信息只抽出在关键字抽出条件设定数据24中设定为["1" 抽出]的词类的单词,根据抽出的关键字以及语音附加信息61生成抽出关键字 履历数据21 ,并通过控制模块18存储到存储媒体20中。
抽出关键字履历数据21至少包含抽出年月日时刻、通话ID、请求通话者 ID、通话者ID、发话者ID、抽出关键字、以及抽出关键字类别。在通话ID、 通话者ID中设定语音附加信息的值。在抽出关键字类别中例如设定["0"包 含在单词中的关键字]。
另外,在抽出的关键字为从语音识别模块6取得的单词信息62时,在发 话者ID中设定从启动模块4取得的请求通话者ID,在抽出的关键字为从语音 识别结果交换;模块70取得的单词信息时,在发话者ID中设定从语音识别结果 交换模块70取得的通话目的地的请求通话者ID。在请求通话者ID中设定从 启动模块4取得的请求通话者ID。在抽出年月日时刻中设定在关键字抽出模 块8抽出了关键字的年月日时刻。在抽出关键字中设定在关键字抽出模块8 抽出的关键字。
然后,关键字抽出模块8将存储的抽出关键字履历数据21转交给关键字 受理模块7。
此外,关键字抽出模块8不仅从单词信息62取得特定词类的单词来作为 关键字,而且还可以通过单词信息的统计解析或语言解析来抽出关键字。此时, 可以通过参照关键字数据库,由关键字模块抽出与会话相关联的(未必包含在 单词信息中)关键字来作为关键字。在这样的情况下,在关键字履历数据的抽 出关键字类别中设定["1"不包含在单词信息中的关键字]。
而且,考虑通过在关键字抽出条件设定数据24中设定作为抽出对象的"抽 出关键字类别",控制关键字抽出模块8例如在抽出关键字类别为"1"时(关 键字为不包含在作为会话内容的语音识别结果的单词信息中的相关信息时)不 作为关键字而抽出。
另一方面,如图40所示,在外部关键字服务器利用与否的值被设定为["l" 允许]时,关键字抽出模块8以从启动模块4取得的请求通话者ID为关键词信 息,通过控制模块18从存储媒体20读入动作条件设定数据23的关键字抽出 服务器位置的值。
关键字抽出模块8将取得的关键字抽出服务器位置的值、从语音识别模块 6接收到的单词信息和语音附加信息、以及从语音识别结果交换模块70接收 到的通话目的地的单词信息和通话目的地的通话者ID转交给关键字抽出委托 模块90。
然后,关键字抽出委托模块90根据接收到的单词信息和语音附加信息、 以及通话目的地的请求通话者ID生成抽出对象单词信息91 (由单词、词类、 发话者ID对构成)。这里,在从语音识别模块6接收到的单词信息的情况下, 在抽出对象单词信息91的发话者ID中设定与此对应的语音附加信息中的发话 者ID,在从语音识别结果交换模块70接收到的通话目的地的单词信息的情况 下,在抽出对象单词信息91的发话者ID中设定通话目的地的请求通话者ID。
关键字抽出委托模块90根据接收到的关键字抽出服务器位置的值,通过
控制模块18使用通信模块19,向107发送抽出对象单词信息91,从关键字抽 出服务器107取得抽出关键字信息92,并向关键字抽出模块8返回。在抽出 关键字信息92中包含关键字、词类、发话者ID、抽出关键字类别等。
关键字抽出模块8 —接收抽出关键字信息92,就从存储媒体20读入关键 字抽出条件设定数据24。在关键字抽出条件设定数据24中设定有按词类的抽 出与否。然后,关键字抽出模块8从抽出关键字信息92中只选择在关键字抽 出条件设定数据24中设定为["1"抽出]的词类的单词,根据选择的关键字和 语音附加信息生成抽出关4建字履历数据21,并通过控制才莫块18存储到存储々某 体20中。
关键字抽出模块8将存储的抽出关键字履历数据21转交给关键字受理模 块7。之后的处理实质上与图3所示的处理流程相同。 <服务器側关键字抽出顺序>
如图41所示,关键字抽出服务器107接收从信息通信终端100的关键字 抽出委托模块90发送来的抽出对象单词信息91。这里,抽出对象单词信息91 至少由单词、词类、发话者ID对构成。关键字抽出服务器107从接收到的一 个以上的抽出对象单词信息91抽出关键字。作为关键字抽出方式,假设抽出 单词的特定词类的方式或通过单词的统计解析或语言解析来抽出的方式,但是 只要是抽出适合的关键字的方式,任何方式都可以。在后者的情况下,也可以 通过在关键字抽出服务器107中进一步保存与关键字有关的数据库,来抽出与 会话相关联的(不包含在抽出对象单词信息91中)关键字。
然后,关键字抽出服务器107针对抽出的关键字生成抽出关键字信息92。 抽出关键字信息92中至少包含关键字、词类、发话者ID、以及抽出关键字类 别。在抽出关键字信息92的词类、发话者ID中设定符合的抽出对象单词信息 91中的词类、发话者ID的值。在抽出的关键字包含在抽出对象单词信息91 时,在抽出关键字类别中设定"0",在抽出的关键字不包含在抽出对象单词信 息91时,在抽出关键字类别中设定'T,。此外,在抽出关键字类别为"1"时, 在词类中设定在关键字抽出服务器107判别的值,发话者ID为未设定。
然后,关键字抽出服务器107向信息通信终端100的关键字抽出委托模块
90发送所生成的抽出关键字信息92。
一般,在通过统计解析或语言解析从单词信息抽出关键字时,需要处理装 置具有庞大的运算处理能力。在第五实施方式的信息通信终端100中,在信息 通信终端IOO和关键字抽出模块107双方抽出关键字。按照信息通信终端100 的处理性能,可以通过信息通信终端IOO在信息通信终端100的关键字抽出模 块8进行处理的情况(信息通信终端100的处理性能较高时)和在关键字抽出 服务器107进行处理的情况(信息通信终端100的处理性能较低时)之间切换 关键字抽出。即,在信息通信终端100中设定为使用关键字抽出服务器107 时(后述的"关键字抽出服务器107利用与否"为["1"需要]时),信息通信 终端IOO可以利用关键字抽出服务器107从单词信息抽出关键字。
此外,切换不限定于基于设定值的静态切换,也可以按照信息通信终端 100的负荷状况来动态地切换。
另外,在第五实施方式中,关键字抽出模块8抽出与会话相关联的(未必 包含在语音识别结果中)关键字来作为关键字。例如,在进行有关饮食的会话 时,提供具体的店铺名来作为关键字,由此可以向会话者提供附加信息。此时, 由于关键字未必包含在单词信息中,因此可以使用标志(后述的"抽出关键字 类别"、"请求关键字类别")来识别关键字,并进行信息提供。
-关键字抽出服务器的详细-(第一实施例)
<关键字抽出服务器的整体结构>
如图46所示,第五实施方式的第一实施例的关键字抽出服务器107包括 服务器侧关键字抽出模块110、控制模块112、通信模块113、以及存储模块 114。
服务器侧关键字抽出模块110从关键字抽出服务器107通过网络101接收 到的信息中抽出关键字,并向信息通信终端IOO返回。
服务器侧关键字抽出模块IIO具有异义语意思判断模块111。异义语意思 判断模块lll包括异义语判断部121,其用于读出单词集合,并参照词汇信息 判断单词集合内是否存在同音或同写法异义语;以及意思决定部122,其用于 读出链接信息,并参照链接信息,根据与单词一起输入的其他单词和该单词之
间的距离来决定被判断为同音或同写法异义语的单词的意思。
异义语判断部121包括知识网络数据确认部1211,其参照词汇信息、 以及链接信息;异义语存在确认部1212,其用于参照知识网络数据确认部1211 的确认结果,判断是否存在同音或同写法异义语;以及词汇取得部1213,在 存在同音或同写法异义语时,参照词汇信息,取得所有的具有与被判断为同音 或同写法异义语的单词相同的写法或读音的词汇。
意思决定部122包括距离判断部1221,其用于比较词汇取得部1213取 得的各个词汇和单词集合内的同音同写法异义语以外的词汇,检查词汇间的距 离是否在规定的距离内;距离计数部1222,其按照各个词汇,对词汇间的距 离进行计数;以及计数数最大值决定部1223,其用于将最终计数数为最大的 词汇决定为同音或同写法异义语的词汇。
控制模块112控制服务器側关键字抽出模块110对通信模块113的利用。 具体而言,假设Windows (注册商标)、Linux (注册商标)、Sun-OS (注册 商标)等操作系统。
通信模块113是由控制模块112来控制,在服务器侧关键字抽出模块110 通过网络101与信息通信终端100交换信息时使用该通信^t块113。具体而言, 假设用于以物理的方式发送数据的装置(调制解调器等)和其控制软件。
存储媒体114是由控制模块来控制,由服务器侧关键字抽出模块IIO读出 信息。存储々某体114具有知识网络数据存储部116,其用于存储表示将词汇和 词汇的读音对应起来的词汇信息、以及词汇间的距离的链接信息。
知识网络数据存储部116包括存储词汇的词汇存储部1161、存储词汇 的读音的词汇读音存储部1162、存储链接信息的链接信息存储部1163、以及 知识网络1164。
关键字抽出服务器107也可以进一步具有输入输出装置115,其用于输入 以语音或文本的方式输入的单词的集合,输出决定了意思的单词的ID,该输 入输出装置115包括输入部1151,其用于输入作为语音识别或自然语言处理 结果的单词的结婚(抽出对象单词信息91);以及输出部1152,其用于接收已 确定了处理结果意思的单词集合。通过具有输入输出装置115,用户不经由通 信模块113也可以直接输入抽出对象单词信息91。因此,可以将关键字抽出
服务器107作为从网络101独立的单独的"同音同写法异义语意思判断装置,, 来使用。
<知识网络的结构>
在图46所示的关键字抽出服务器107中,利用知识网络检查同音或同写 法异义语的多个词汇和同时输入的单词间的距离,选择与同时输入的单词关系 更密切的同音或同写法异语的词汇,由此选择遵循上下文的正确的词汇。
在知识网络中,即^f吏是同音或同写法,如果其意思不同就处理为不同的词 汇,因此可以判断同音或同写法异义语。因此,通过知识网络可以判断某单词 是否为同音异义语或同写法异义语。
另外,知识网络中,即使是同音或同写法,如果其意思不同就处理为不同 的词汇,而且根据同时输入的单词集合与同音或同写法异义语的距离来判断, 因此可以识别正确的意思。因此,可以正确地识别同音异义语或同写法异义语 的意思。
在图46所示的关键字抽出服务器107中,当然可以进行针对不同写法的 处理,但是在同写法异义语的情况下,即使是相同写法,由于按照意思赋予不 同ID来对应,因此针对同写法也可以进行处理。
在知识网络中,节点例如表示词汇,如图48所示,通过链接来连接有关 联的节点(词汇)之间。在图48中表示将ID设定为1、写法为"东西线"、 写法的读音为"S 5 ^V、甘A/'的"东西线"作为词汇的例子。按照各词汇赋 予唯一ID,对于同写法的词汇也按照意思赋予不同ID。
如图49所示,知识网络由词汇信息和连接信息构成。关系密切的词汇通 过连接来连接。在图49的例子中,词汇"东西线"链接到词汇"JR东西线,,, 词汇"JR东西线"链接到词汇"大阪"以及词汇"JR西日本,,,进一步,词 汇"大P反"链接到词汇"关西"以及词汇"章鱼烧",进一步,词汇"JR西日 本"链接到词汇"环状线",词汇"环状线,,链接到词汇"京桥,,以及词汇"难 波"。
在知识网络中,利用知识网络4全查同音或同写法异义语的多个词汇与同时 输入的单词之间的距离,选择与同时输入的单词关系更密切的同音或同写法异 义语的词汇,来选择遵循上下文的正确的词汇。-处理流程的说明-<整体处理流程>
第一实施例的关键字抽出服务器107的处理流程如图50所示。
(a) 在通信模块113通过网络101取得抽出对象单词信息91时,在步骤 S10中,输入输出模块115的输入部1151输入抽出对象单词信息91,并转交 给异义语判断部121。
(b) 转移至步骤Sll,在异义语判断部121中,发行用于调查所输入的 单词的集合内是否含有同音或同写法异义语的查询(query )。
(c) 转移至步骤S12,在知识网络数据存储部116中,执行用于检查所 输入的单词的集合内是否含有同音或同写法异义语的查询,并将结果返回给异 义语判断部121。
(d) 转移至步骤S13,在异义语判断部121中,若存在同音或同写法异 义语,则开始用于确定其意思的处理。
(e) 转移至步骤S14,在意思决定部122中,发行用于检查同音或同写 法异义语的意思的候补和集合内的其他单词是否在规定的hop以内的查询。
(f) 转移至步骤S15,在知识网络数据存储部116中,执行用于检查同音 或同写法异义语的意思的候补和集合内的其他单词是否在规定的hop以内的
查询,并将结果返回给意思决定部122。
(g) 转移至步骤S16,在意思决定部122中,对同音或同写法异义语的 每个意思候补在规定hop内的输入单词集合数进行计数。
(h) 转移至步骤S17,在意思决定部122中,从候补中将计数最大的意 思作为同音或同写法异义语的意思,并返回给输入输出装置115。
(i) 转移至步骤S18,在输入输出装置115中,获得决定了ID的单词集合。
<同音同写法异义语意思判断方法〉
第一实施例的同音同写法异义语意思判断方法包括如下步骤在异义语判 断部121中参照存储知识网络数据存储部116内的词汇信息、以及链接信息; 在异义语判断部121中,判断是否存在同音或同写法异义语;再异义语判断部 121中,存在同音或同写法异义语时,参照词汇信息,取得所有的具有与被判
断为同音或同写法异义语的单词相同的写法或读音的词汇;在意思决定部122 中,比较取得了 ID的各个词汇和单词集合内的同音或同写法异义语以外的词 汇,检查词汇间的距离是否在规定距离内;在意思决定部122中,按照各个词 汇词,对词汇间的距离进行计数;以及在意思决定部122中,将最终计数凄t最 大的词汇决定为同音或同写法异义语的词汇。
或者,在异义语判断部121内的知识网络数据确认部1211中执行参照词 汇信息以及链接信息的步骤,在异义语判断部121内的异义语存在确认部1212 中执行判断是否存在同音或同写法异义语的步骤,在异义语判断部121内的词 汇取得部1213中执行取得所有词汇的步骤。
或者,在意思决定部122内的距离判断部1221中执行检查词汇间的距离 是否在规定距离内的步骤,在意思决定部122内的距离计数部1222中执行对 词汇间的距离进行计数的步骤。
或者,在意思决定部122内的计数数最大值决定部1223中执行将计数数 最大的词汇决定为同音或同写法异义语的词汇。
<同音同写法异义语意思判断算法〉
同音同写法异义以意思判断算法如图51的流程图。 作为前提l,预先准备知识网络。
作为前提2,同写法异义语用别的"关键字"来识别。具体而言,分别ID 而进行判断。
(a) 首先,在步骤SIOI,对输入输出装置115输入包含同音或同写法异 义语的那个关键字。
(b) 转移至步骤S102。在异义语判断部121中,判断N各关键字内是否 存在同音或同写法异义语。
(c) 在步骤S102中,如果是"否",则结束处理。
(d) 在步骤S102中,如果是"是",则转移至步骤S103,判断同音或同 写法异义语和其以外的单词是否在^op内。
(e) 在步骤S103中,如果是"否",则回到步骤S102。
(f) 在步骤S103中,如果是"是",则对同音或同写法异义语的各ID(意 思)赋予得分,选择合计数最多的同音或同写法异义语的ID来作为对应会话 内容的意思。在S103中,将hop数设定为2hop,但不限定于该值,可以按照 词汇网络来变更hop数。
以往,在语音输入或文本输入中,难以正确地识别同音异义语或同写法异 义语的意思,无法判断某单词是否为同音异义语或同写法异义语,或难以正确 地识别同音异义语或同写法异义语的意思。
对此,提出了利用词汇的共现(co-occurrence)的方法,但是在利用词汇
的共现时,同写法异义语被视为相同,对于每一写法只能定义一个意思,无法 对一个单词赋予多个意思。
另外,作为词汇网络,已知如下转换装置保存读音的词汇和写法的词汇 以及写法间的意思上的距离,在文章中出现了同音异义语时,观察文章中的单 词间的距离,在转换候补的上位提示距离更近的意思。但是,在该转换装置中, 对于同音,在该同音为同写法且意思不同时,无法识别正确的意思。
对此,根据第一实施例的关键字抽出服务器107,在语音输入或文本输入 中,可以判断某单词是否为同音异义语或同写法异义语,可以正确地识别同音 异义语或同写法异义语的意思。 (第一实施例的变更例)
如图47所示,第一实施例的变更例的关键字抽出服务器107包括知识 网络数据存储部116,其用于存储将词汇以及词汇的读音对应起来的词汇信息、 以及表示词汇间的距离的链接信息;异义语判断部121,其用于读出单词集合, 并参照词汇信息判断在单词集合内是否存在同音或同写法异义语;意思决定部 122,其用于读出链接信息,并参照链接信息,根据与单词一起输入的其他单 词和该单词之间的距离来决定被判断为同音或同写法异义语的单词的意思;以
及文本解析部124,其用于从文本抽出单词,并生成文本单词集合。
或者,也可以具有语音解析部123,其用于从语音抽出单词,并生成语音 单词集合。
或者,如图47所示,语音解析部123具有语音单词抽出部1231,其用于 从语音抽出单词;以及语音单词集合生成部1232,其用于生成语音单词集合。
或者,具有语音单词集合生成部1241,其用于从文本抽出单词;以及文 本单词集合生成部1242,其用于生成文本单词集合。此外,在将第一实施例
的变更例的关键字抽出服务器107插入到其他装置时,只接收单词集合即可,
语音解析部123以及文本接写部124不是构成的必要条件。
根据第一实施例的变更例的关键字抽出服务器107 (同音同写法异义语意 思判断装置),在语音输入或文本输入中,可以判断某单词是否为同音异义语 或同写法异义语,而且可以正确地识别同音异义语或同写法异义语的意思。 <知识网络>
说明在第一实施例的变更例的关键字抽出服务器107中知识网络数据存 储部116内的知识网络的具体例。各节点(词汇)的ID号码、写法以及读音 如图52所示。
如图53所示,通过知识网络,用ID1表示的词汇"东西线"链接到词汇 "东京地铁东西线,,,词汇"东京地铁东西线,,链接到词汇"高田马厂"、以及 "大街,,,词汇"大街,,链接到词汇"NTT"、"东京站"、以及"KDDI",词汇 "NTT,,链接到词汇"NTTDocomo",词汇"KDDI"链接到词汇"NTTDocomo"、 以及"移动电话",词汇"移动电话"进一步链接到词汇"NTTDocomo"、以 及"网络",词汇"网络"链接到词汇"系统",词汇"系统"进一步链接到词 汇"硬件"、以及"软件"。
同样,用ID2表示的词汇"东西线"链接到词汇"JR东西线",词汇"JR 东西线,,链接到词汇"JR西日本"、以及"关西",词汇"关西,,链接到词汇 "JR西日本"、"日本"、"章鱼烧"、以及"什锦煎饼",词汇"日本"链接到 词汇"东京站",词汇"章鱼烧"、以及词汇"什锦煎饼,,链接到词汇"食物和 饮料",词汇"食物和饮料,,链接到词汇"寿司",词汇"寿司,,链接到词汇"藏 寿司"、以及"旋转寿司,,,词汇"藏寿司"、以及"旋转寿司,,之间也可以链 接。
<输入文本数据>
图54表示在第一实施例的变更例的关键字抽出服务器107中,使用图53 所示的知识网络的具体例从文本解析部124的输入文本数据例以及输入文本 数据例中抽出了单词集合的输入单词集合例。输入文本数据例被输入至文本解 析部124内的语音单词集合生成部1241,抽出单词集合,并在文本单词集合 生成部1242中生成输入单词集合例。输入单词集合例被转交给输入输出装置
115。
如图54所示,输入文本数据例由人A、 B的会话内容构成。"A:今天出 差,去大手町。因为时间充足,想坐东西线走。B:因为有座,可以坐东西线 走。今天为什么去大手町? A:研究使用移动电话的订购系统,并签协议。B: 好像最近在寿司店也^f吏用这种系统。A:对,就是那个。不是有叫藏寿司店的 吗?就是这方面的提案。"。从上述文章抽出单词集合,可以得到由"大手町.东 西线.大手町.移动电话.系统.寿司.系统.藏寿司"构成的输入单词集合 例。
<同音同写法异义语意思判断方法以及判断结果> (例1)
(a) 同音同写法异义语判断
首先,在知识网络凝:据存储部116内存在图52的词汇以及图53的知识网 络的状况下,在异义语判断部121中,使用知识网络判断在输入的单词集合内 是否存在同音同写法异义语。由于存在写法"东西线".读音"S 5 SV、甘A/, 这两个单词,因此判断为"东西线,,为同音同写法异义语。
(b) 意思判断
"东西线"具有两种意思,ID1表示东京地铁东西线,ID2表示JR东西 线。为了判断图54所示的输入文本数据例中的"东西线"为哪一种意思,在 意思决定部122中进行如下处理。
检查ID1和ID2的各"东西线"与单词集合内的其他单词"大街,,."东西 线"."大街"."移动电话"."系统"."寿司,,."系统"."藏寿司"是否分别在 2hop以内。
选择2hop内的到达合计数最多的ID来作为输入单词集合中的同音同写法 异义语的意思。
图55中表示在第一实施例的变更例的关键字抽出服务器107中,使用 图53所示的知识网络的具体例,使用图54所示的输入文本数据例以及从输入 文本数据例抽出了单词集合的输入单词集合例,判断同音同写法异义语的结 果。
在图55中,记载有ID、写法、各ID的属性、集合内的出现单词。在各
ID的东西线和出现单词相交的位置记载有表示是否在2hop以内到达的标志 (flag),在'T,的情况下意味着距离2hop以内,在"0"的情况下意味着距 离3hop以上。
在图55的最右列中,2hop以内的到达合计数表示几个单词在2hop以内。 选择在2hop内的到达合计数最多的ID来作为输入单词集合中的同音同写法异 义语的意思。
最后,将所决定的ID输出至输入输出装置115并结束处理。
此外,成为输入源的资源不限定于如图54所示的输入文本数据例的上下 文,也可以是一般的会话、部分单词集合、语音等。
另外,在意思决定部122中,在检查各词汇间的关系时,并不一定是2hop, 可以按照知识网络的结构适宜选择。 (例2 )
<知识网络>
使用图58说明在第一实施例的变更例的关键字抽出服务器107中知识网 络数据存储部116内的知识网络的其他具体例。知识网络如图58所示。各词 汇的ID号码、写法以及读音语图52相同,因此在这里省略说明。
在图58的知识网络中,词汇"东西线(l)"链接到词汇"JR西日本"以 及"关西,,,词汇"JR西日本"链接到词汇"JR京都线,,,词汇"关西,,链接 到词汇"关西人"。词汇"东西线(2),,链接到词汇"地铁东西线",词汇"地 铁东西线"进一步链接到词汇"京都市营地铁东西线"、"礼幌市营地铁东西线" 以及"地铁东西线"。词汇"东西线(3)"链接到词汇"东京地铁东西线",词 汇"东京地铁东西线,,进一步链接到"总武线"、"早稻田"、"千叶县"、以及 "高田马厂"。同样,词汇"东西线(7)"链接到词汇"铁路"、以及"东西线"。
<输入文本数据>
使用图58所示的知识网络的具体例,在图56中表示输入输出装置115的 输入文本数据例以及从输入文本数据例抽出了单词集合的输入单词集合例。
作为对象的文章是关于7月23日的关东地方的地震的记载,是"17: 30 左右,在早稻田站《东西线的恢复未定。JR也不通。西武线正常》,和朋友一 起徒步移动至高田马场。在警察局得到《在千叶县西北部以外的地方,好像发
生了第二次5级地震》的信息。但是其真伪不明"。
从上述文章抽出单词集合,可以得到输入单词集合"早稻田 东西线 西 武线.高田马场.千叶县"。
(同音同写法异义语意思判断方法以及判断结果)
(a) 首先,在步骤1中,判断各单词是否存在同音或同写法异义语。结
果"东西线"被判断为同音同写法异义语。
(b) 在步骤2中,检查同音或同写法异义语和其以外的单词是否在2hop以内。
(c) 在步骤3中,选择合计数最多的同音同写法异义语的ID。 在图57中表示在第一实施例的变更例的关键字抽出服务107中,使用
图58所示的知识网络的具体例,使用图56所示的输入文本数据例以及从输入 文本数据例抽出了单词集合的输入单词集合例,判断同音同写法异义语的结 果。
在图57中的数值在2hop以内时赋予标志"1",不在2hop以内时赋予标 志"0"。在图57的最右列中,在2h叩内的到达合计数表示几个单词在2hop 以内。选择在2hop内的到达合计数最多的ID来作为输入单词集合中的同音同 写法异义语的意思。
结果,选择意味着"东京地铁东西线,,的ID3。从会话的上下文也可以判 断为关于东京都内的地铁东西线的会话,判断结果正确。
这样,根据第一实施例的关键字抽出服务器107 (同音同写法异义语意思 判断装置),从语音信息或文字信息可以判断同音异义语或同写法异义语,可 以正确地识别同音异义语或同写法异义语的意思。 (第二实施例)
<关键字抽出服务器的整体结构>
如图59所示,第五实施方式的第二实施例的关键字抽出服务器107包括 文本数据取得部751,其用于取得文本数据;单词抽出部752,其用于读出以 网络形式记述了多个单词以及其多个单词间的路径的词典,从文本数据抽出记 述在词典中的多个单词;评价部754,其用于根据抽出的单词,使用词典评价 记述在词典中的多个单词;以及话题抽出部755,其用于从记述在词典中的多
个单词中抽出评^介相对高的单词。文本数据取得部751、单词抽出部752、评 价部754、以及话题抽出部755包含在话题抽出处理才莫块117中。
在关键字抽出服务器107上通过控制模块112连接有输入输出模块115、 主存储装置118、以及程序存储装置119。知识网络数据存储部116包含在存 储媒体114中。
首先,对存^^某体114的知识网络数据存储部116所存储的"词典"进行 说明。"词典"包括记述了多个单词的单词词典(节点)和定义.记述了单词 词典的多个单词间路径(链接)的单词相关度词典。在单词词典中,如图60 所示,分别用1、 2、 3、 4、 5这样的可以唯一识别的ID来表示"单词A"、"单 词B"、"单词C"、"单词D"、以及"单词E"。在单词相关度词典中,如图61 所示,(1, 3)表示在"单词A,,和"单词C"之间存在相关性(意思上的关 系),(2, 5 )表示在"单词B"和"单词E"之间存在相关性(意思上的关系)。
作为单词词典以及单词相关度词典的制作方法, 一般使用多个国语词典等
由单词的定义和其解说构成的文献。例如,可以举出如下顺序将词典的标题 语"A"以及在标题语"A,,的解说中出现的单词"B"作为单词词典的节点, 认为在"A,,和"B"之间存在相关性(意思上的关系)并制作路径(链接)。 如此制作的单词词典以及单词相关度词典可以说是定义了同时利用某单词和 别的单词的共现关系。
在第二实施例中,用记述在如图61所示的单词相关度词典的路径来连接 记述在如图60所示的单词词典中的多个单词间的单词网络结构称为"知识网 络"。在图2表示第二实施例的知识网络的一例。在知识网络中,用节点来表 示单词,用链接来表示单词间的相关性(意思上的关系)。在图62中,用四角 表示的图形表示节点,用线表示的图形表示链接。对于各节点赋予可以唯一识 别的ID。用无向标志来表示链接。
此外,为了简^更说明,使用由少数节点和链接构成的知识网络,但是实际 上单词数(节点数)达到数十万~数百万左右,链接数达到数百万~数千万左 右。在启动话题抽出程序时读出单词词典以及单词相关度词典。
图63是以文件形式存储图62所示的知识网络时的表现例,表示记述了知 识网络的单词群(节点)的单词词典的例子。单词词典具有ID和关键字的栏。
图64表示记述了图62所示的知识网络的链接的单词相关度词典的一例。列举 了构成链接的单词的ID间相关性的(起点,终点)=(1, 2)表示在(铃鹿, Fl)的单词间形成了链接。
通过如下梯:作来制作分别在图63以及图64表示的单词词典以及单词相关 度词典例如,解析"A寿司具有代表性的旋转寿司连锁店。有以'金^r鱼, 为特惠商品的寿司店。本店位置在……"这样的文章,认为"A寿司,,分别与 "旋转寿司"以及"寿司,,有关联(意思上的关系),从"A寿司,,分别向"旋 转寿司,,以及"寿司"扩展链接。这里,不考虑定义.参照,将链接表现为无 向标志。
图59所示的输入部1151例如具有键盘、或按照需要具有图像输入部以及 语音输入部。键盘对文本数据取得部751输入文本数据。键盘还可以进行对关 键字抽出服务器107的操作或对网页的输入、电子邮件创建时的输入。
图^象输入部是将印刷在纸上的图像交换为关键字抽出服务器107上静止 的图像的装置或将影像交换为关键字抽出服务器107上的动画的装置。作为图 像输入部,可以使用扫描仪、照相机、或摄像机等。图像输入部的输出成为文 字识别部173的输入。
作为语音输入部,可以使用麦克风或远程的PC的语音输入等。语音输入 部的输出成为语音识别部174的输入。例如,如图7所示的会话的语音被输入 至语音输入部。
图59所示的关键字抽出服务器107具有网页(Web)浏览器部171、邮件 客户端部172、文字识别部173、语音识别部174以及话题抽出模块175。
网页浏览器部171以HTTP为首,对FTP、 Gopher等各种因特网上的协 议提供用户接口。网页浏览器部171还提供解释作为网页服务器处理结果的 HTML并进行画面的构思图(rendering)的功能。通过利用者的复制和粘贴等 明示的才喿作,将作为构思图结果的、显示在浏览器上的HTML的显示信息输 入至文本数据取得部751。另外,网页浏览器171也可以不通过利用者的明示 的操作而自动地向文本数据取得不751输入显示在浏览器上的文本数据。
置。与一般的邮件客户端相比,邮件客户端部172取得包含在收发的邮件中的
文本数据,并转交给文本数据取得部751。
文字识别部173是识别由图像输入部输入的文字的OCR等装置。文字识 别部173例如由从扫描仪读入的图像取得文本数据,或从电视影像等字幕或反 射式放映机(telop)等取得文本数据,并转交给文本数据取得部751。
语音识别部174识别由语音输入部输入的语音(通话),确定包含在语音 中的文本数据。例如,识别输入至语音输入部的语音,并如图66所示地确定 文本数据。相对于图65所示的实际通话,图66所示的、由语音识别部174 识别的文本数据包含"^吴识别。 一般,在当前的语音识别程序中,由于音响环境 或对会话的语言模型(model)的不足,假设误识别较多。语音识别部174向 文本数据取得部751转交作为语音识别结果的单词信息(单词、词类)。
此外,语音识别部174并不限定于其所有功能都存储在语音影像通信终端 上,也可以功能的一部分存储在计算能力更高的其他终端上。
图59所示的话题抽出模块175具有文本数据取得部751、单词抽出部752、 路径抽出模块753、评价部754以及话题抽出部755。作为文本数据取得部751 的安装方式,可以^i殳以服务器型经由特定的端口来等待文本数据的方式、通 过剪贴板(clipboard)来接收文本数据的方式、通过调用应用程序接口 (API) 来接收文本数据的方式、以及通过文件来接收的方式。
文本数据取得部751从网页浏览器部71、邮件客户端部172、文字识别部 173以及语音识别部174等取得文本数据。文本数据取得部751向单词抽出部 752转交所取得的文本数据。
图59所示的单词抽出部752从文本数据取得部751接收文本数据。单词 抽出部752从知识网络数据存储部116读出单词词典,并在主存储装置118上 进行展开。单词抽出部752使用单词词典,用词素解析等方法来解析文本数据, 并从文本数据抽出包含在单词词典中的单词。所谓"词素解析",是指针对单 词词典检索文本数据,并取得词类信息(词类)、开头可否信息(需要开头)、 前方连接信息(前方连接)、后方连接信息(后方连接)等信息的处理。在图 67表示从图66所示的文本数据抽出的多个单词(单词列)。单词抽出部752 向存储媒体114的单词列存储部163转交抽出的单词列。
在单词列存储部163中,以先进先出(FIFO: First In First Out)型列表结
构积累一定个数的从单词抽出部752输出的单词列。例如,将图67所示的单 词列直接保存为列表(窗口 )。除了 FIFO,也可以不根据单词的个数而输入单 词后保存一定期间。通过设定值可以变更列表的尺寸(以下,称为"窗口尺寸")。 如果使存储在单词列存储部163中的窗口尺寸变长,则就会评价更长的文 章(文本数据),如果使窗口尺寸变短,则最近输入的一定范围内的单词列成 为评价对象,因此可以进行追随话题的形式的评价。例如,相对于输入的单词 列数=9,使窗口尺寸足够大,使窗口尺寸=30 (意思为窗口尺寸=w )。实际 上,按照评价对象的文本数据的长度等,设定适当的窗口尺寸,由此可以缩短 评价对象的单词列的范围。
图59所示的路径抽出部753从存储在单词列存储部163中的窗口内的多 个单词中,以任意的顺序、例如窗口的升序或降序选择两个(窗口内的第j(= 正整数)个单词、第k (=正整数)个单词)单词。其中,不选择同一单词的 组合,并且不选择一旦评价的组合。例如,针对在图67所示的窗口内的单词 列,如果列举任意的第j (=正整数)个单词、第k (=正整数)个单词的组 合,则可以举出"大手町"-"大手町"、"大手町"-"铃鹿"、"大手町"-
"东西线"、"大手町"-"什锦煎饼,,........"铃鹿,,-"大手町,,........
"B寿司"-"B寿司"。其中,"大手町"-"大手町"、"铃鹿,,-"铃鹿"、 "B寿司"-"B寿司"的计算为对象外。另外,在一旦选择了 "大手町,,-"铃鹿"时,相当于其规路的"铃鹿"-"大手町"的计算成为对象外。若用 函数表示,则仅在以下函数(fl)的情况下作为计算对象。 j!=k&&j>k……(fl)
即使计算了同一单词或规路,也不会对本发明的实施方式的话题抽出方法 带来根本的影响,通过省略同一单词间或规路的计算,可以削减计算量。
而且,路径抽出部753从知识网络数据存储部116读出单词词典以及单词 相关度词典,并在主存储装置118上进行展开。路径抽出部753将选择的两个 单词中的一个作为起点节点、另一个作为终点节点,计算在知识网络上连接起 点节点和终点节点间的路径的距离(路径长度),根据路径长度抽出最短路径。 作为路径长度的计算基准,有时考虑链路的权重,这里简单地设所有的链路的 权重都是l。即,最短路径长度=跳数。作为最短路径的抽出方法,可以利用
从起点开始全部4企索、或dijkstra法、Warshall-Floyd法等已知的方法。
路径检索结果,当在一个起点节点和终点节点间存在多个最短路径时,反 馈其所有最短路径。具体而言,假设如下函数(G)。
LisKint口 > getAUShortestPath(Network network,int f,int t) ...... ( f2 )
这里,f:起点节点的ID、 t:终点节点的ID、 int口保存表示最短路径 的节点的ID的排列、List〈nt口〉考虑到在起点节点和终点节点间存在多个 最短路径的情况的最短路径的排列。
例如,在图63所示的知识网络中,在指定起点节点的ID为f=18 (Docomo)、终点节点的ID为t-21 (网络)时,反馈((18, 19, 21), (18, 20, 21))。这表示在"Docomo"-"网络,,间存在路径1 = (Docomo, NTT, 网络)、路径2= (Docomo,移动电话,网络)这两个最短路径。"Docomo" -"网络"间的最短路径长度为2。此外,将计算过的起点节点以及终点节点 间的最短路径信息进行高速緩存,在下次计算时再利用,由此可以进行高速化。
图59所示的评价部754读出通过存储在设定信息存储部161中的设定信 息而定义的阈值(路径判断用阈值)A,判断由路径抽出部753计算的最短路 径是否在路径判断用阈值A以上。在最短路径长度比路径判断用阈值A长时, 认为无关联的单词而作为话题计算的对象外,仅在最短路径长度为路径判断用 阈值A以下时认为有关联的单词,插入到评价对象中。这是因为,在单词间 的距离在知识网络上离一定距离以上时,是相互无关联的单词,只抽出话题密 集的部分。另外,使比路径判断用阈值A长的情况下的最短路径为计算对象 外,由此可以削减计算量。另外,评价部754可以采用不进行一定路径长度以 上的检索的安装来代替将最短路径长度与路径判断用阈值A进行比较。
而且,评价部754计算位于最短路径的端部的起点节点以及终点节点的评 价值。按照距离分配评{介值的方法有各种方法,例如,也可以不特别赋予权重, 作为相同的权重而计算评价值。此时,用式(1)表示起点节点的评价值*、 终点节点的评价值tp。
*=tp =1 ...…(1 )
或者,也可以按照起点节点以及终点节点的各个链路数来计算评价值。此 时,设起点节点的链路数为lj、终点节点的链路数为lk,则用式(2)、 (3)分
别表示起点节点的评价值*、终点节点的评价值tp。
M……(2) tp=lk……(3)
或者,也可以按照起点节点和终点节点间的最短路径长度来计算评价值。 例如,起点节点以及终点节点间的最短路径长度越短,计算出的评价值越高。 此时,在起点节点以及终点节点间的最短路径长度分别为1、 2、 3、 4时,以 及比4大时,分别用式(4) ~ (8)表示起点节点的评价值fj)、终点节点的评 价值tp。
fj =tp=l……(4)
$=tp=0.5……(5)
$=tp=0.25……(6)
Q)=tp=0.125……(7)
fj)=tp=0……(8)
或者,也可以按照起点节点以及终点节点间的路径长度以指数的形式计算 评价值。此时,设起点节点以及终点节点间的距离为D,权重参数为P,则用 式(9)表示起点节点的评价值*、终点节点的评价值tp。
$=tp=l/Dp ... (9)
而且,评价部754按照需要使用起点节点的评价值Q)、终点节点的评价值 tp,对最短路径上存在的所有单词(节点)分别赋予点数(点)。例如,在 "Docomo"-"网络"之间的最短路径上存在的单词(节点)在路径1的情 况下为"Docomo"、 "NTT,,以及"网络",在路径2的情况下为"Docomo"、 "移动电话"以及"网络"。作为点数计算处理,例如对最短路径上存在的所 有单词(节点)同样赋予点数。此时,分别对所有单词(节点)赋予的点数(point) 如式(10)所示。
Point =1……(10)
或者,也可以按照从起点节点以及终点节点到评价对象节点的距离来赋予 点数。设起点节点和终点节点间的最短路径长度(最短跳数)为hop、从起点
节点到评价对象单词(节点)的距离为L,则用起点节点的评价值QD、终点节
点的评价值tp表示的、对单词(节点)赋予的点数point如式(11)所示。
point=(^*(hop - L)/hop+tp*(L/hop))……(11)
此外,在式(11)中,越是离起点节点以及终点节点的距离长的单词(节 点),赋予越低的点数,相反,也可以为越是离起点节点以及终点节点的距离 长的单词(节点),赋予越高的点数。此时,越是位于起点节点和终点节点的 中间的单词(节点),赋予越高的点数。
另外,在起点节点和终点节点间存在多个最短路径的情况下,设最短路径 数为R时,也可以如式(12)所示地按照最短路径数来分割并赋予点数。
point=(Q)*(hop - L)/hop+tp*(L/hop)) /R……(12 )
在第二实施例中,对于单词列中位于任意的起点节点和终点节点之间的最 短路径上的各个单词(节点),利用式(12)来赋予点数。这里,设权重参数 P = 3,用式(13)来计算起点节点的评价值fj)、终点节点的评价值tp。
&=tp=l/D3……(13)
而且,评价部754按照各单词(节点),累计在各最短路径中赋予的点数。 图68表示评价结果。在图68中,纵轴(1 )表示在最短路径上存在的节点, 横轴表示起点节点以及终点节点。横轴在"大手町,,-"大手町"、"大手町"
- "铃鹿"、"大手町"-"东西线"、"大手町"-"什锦煎饼"........"铃
鹿,,-"大手町"........"B寿司,,-"B寿司"这样的任意两个单词的组
合中,分别除去同一单词的组合、去路归路中的归路的组合以及最短路径长度 为5以上的组合。
图68的纵轴(2)表示"大手町,,-"东西线"间的最短路径。由于"大 手町,,-"东西线,,相邻,因此对于"大手町,,以及"东西线"分别赋予点数 1.00。同样,图68的纵轴(3)表示"大手町,,-"移动电话,,间的最短路径。 "大手町,,-"移动电话"间的最短路径长度为3,对在最短路径上存在的"大 手町"、"NTT"、"网络"、"移动电话"赋予点数0.4。
从图68可知,由于纵轴(2)的"大手町"-"东西线,,间在知识网络上 相邻,因此赋予较高的点数,由于纵轴(3)的"大手町"-"移动电话"间 的最短路径长度为3,因此赋予较低的点数。即,越是更密集的单词(距离短 的单词多),赋予越高的点数,因此对确定知识网络上单词集中的区域有用。 纵轴(4)表示按照各节点的各最短路径中赋予的点数的合计。
图59所示的话题抽出部755从记述在词典中的单词中抽出在文本数据中 重要、且评价高的单词,即抽出成为与文本数据的相关度高的话题的单词(以 下称为"话题语")。作为话题语的抽出方法,有各种方法,例如可以举出如下 方法读出用存储在设定信息存储部161中的设定信息来定义的个数B,并抽 出对单词(节点)赋予的合计点数中上位的B个单词(B为正整数)。
图69表示根据图68所示的评价结果,抽出了对单词(节点)赋予的合计 点数^上位B-5个单词的结果。在图69中,最左边的列表示新输入至单词 列存储部163的单词(输入后),剩下的列表示输入了其单词时抽出的话题语。 例如,当输入语为"网络"的行时,抽出"大手町"、"网络"、"移动电话"、
"东西线"、以及"NTT"。此外,表示了每当输入新单词时的话题语,但是在 将文本数据统一评价时,抽出直至输入最末尾的"B寿司"时的"大手町"、
"网络"、"旋转寿司"、"A寿司"、以及"移动电话"。
或者,话题抽出部755也可以读出用存储在设定信息存储部161中的设定 信息来定义的阈值(话题抽出用阈值)C,并抽出点数为话题抽出用阈值C以 上的单词。
图70表示根据图68所示的评价结果,抽出了赋予的合计点数为话题抽出 用阈值C-1.00以上的单词的例子。例如,在输入语为"网络"的行时,抽出 "大手町"、"网络"、"移动电话"、以及"东西线"。
图71表示图69以及图70所示的计算结果的概要示意图。在图71中,对 于节点用O表示的部分是表示图67所示的单词列在知识网络上的位置的部 分。另外,用虚线包围的区域是从单词列存储部163输入的单词密集的区域。 在图67所示的单词列中,从"大手町"、"东西线,,可以类推与场所有关的话 题。可以知道对于成为对象的案件,"移动电话"、"网络"、"旋转寿司"、"A 寿司"成为话题。在图67所示的单词列中,"铃鹿"、"什锦煎饼"是由于语音 输入程序的误识别而导致的单词,与会话没有直接的关联。
图59所示的话题输出部756将由话题抽出部755抽出的话题语显示在输 出部1152上,或输出至在话题存储部166中存储的文件。在输出至文件时, 例如可以用RSS (Rich site summary)等形式来表示。
输出部1152是负责关键字抽出服务器107的输出并可显示话题语的装置。
作为输出部1152,可以使用CRT显示器、液晶显示器等显示装置。
程序存储装置119具有存储话题抽出程序的话题抽出程序存储部195(文 件)、存储网页浏览器的网页浏览器存储部191、存储邮件客户端的邮件客户 端存储部192、存储文字识别程序的文字识别程序存储部193、以及存储语音 识别程序的语音识别程序存储部194。
话题抽出程序是在个人计算机(PC)或工作站(WS)等关键字抽出服务 器107上运行的程序。在将话题抽出程序作为在PC、 WS等专用终端上运行 的独立的进程来执行时,通过图形用户界面(GUI)上的图符的启动或来自命 令总线的命令输入来启动。另外,在作为其他程序的一部分安装在程序库时, 在其他程序的启动的背景下,构成话题抽出程序的程序库被初始化。另外,也 可以是从远程的程序,利用远程过程调用(RPC)等来调用的服务器型的方式。 话题抽出程序是与网页浏览器、邮件客户端、文字识别程序、语音识别程序等 进行组合而使用。
话题抽出程序使关键字抽出服务器107执行如下命令(a)由文本数据取 得部751取得文本数据;(b )使单词抽出部752从文本数据中抽出记述了多个 单词以及多个单词间的关联的词典中所记述的多个单词;(c)使评价部754根 据抽出的单词,使用词典评价在词典中记述的多个单词;(d)使话题抽出部 755从在词典中记述的多个单词中抽出评价高的话题语;以及(e)使话题输 出部156向输出部1152等输出所抽出的话题语、或向存储々某体114的话题存 储部166中存储所抽出的话题语。
网页浏览器是以HTTP协议为首,对FTP、 Gopher (644)等各种因特网 上的协议提供用户接口的客户端程序。使网页浏览器部171执行将显示在浏览 器上的文本数据转交给文本数据取得部751的命令。
邮件客户端是支持POP3以及APOP等邮件用的协议的客户端程序。使邮 件客户端部172执行针对一般的邮件客户端取得收发的邮件中包含的文本数 据并转交给文本数据取得部751的命令。
文字识别程序是使文字识别部173执行如下的命令的程序,该命令为根 据由图像输入部输入的图像信息识别文本数据,并将识别结果(文本数据)转 交给文本数据取得部751。
语音识别程序是使语音识别部174执行如下命令的程序,该命令为根据 从语音输入部取得的语音信息来确定包含在通话中的单词,并将单词信息(单 词、词类)转交给文本数据取得部751。 一般在进行语音识别的基础上,需要 预先插入应识别的单词、语法、语言模型等。在后述的单词词典中保存的单词 是为了也可以用语音识别程序来进行语音识别而预先插入的单词。
存储i某体114包括知识网络数据存储部116,其存储单词词典以及单词 相关度词典;设定信息存储部161,其存储抽出话题时所需要的各种设定信息; 文本数据存储部162,其按照需要适宜存储来自网页浏览器部171、邮件客户 端部172、文字识别部173以及语音识别部174的文本数据;单词列存储部163, 其按照需要适宜存储由单词抽出部752抽出的单词列;路径存储部164,其按 照需要适宜存储由路径抽出部753计算的最短路径;评价结果存储部165,其 按照需要适宜存储由评价部754进行评价的结果、对各节点赋予的点数;以及 话题存储部166,其按照需要适宜存储由话题抽出部755抽出的话题。
主存储装置118暂时存储在计算机中的程序执行处理中利用的数据等,或 发挥作为作业区域来利用的暂时的数据存储器的功能。作为主存储装置118,
例如可以采用半导体存储器、^磁盘、光盘、光^f兹盘或/f兹带等。 -处理流程-
下面,参照图72的流程图,对第二实施例中的使用关键字抽出服务器107 进行的话题抽出方法进行说明。此外,下面叙述的话题抽出方法为一个例子, 当然也可以用其以外的方法来实现。下面,为了说明的简便,说明将话题抽出 程序作为程序库来插入到语音识别程序中的情况。此外,在本发明的实施方式 中,说明将文本数据统一评价的方法。
(a)在步骤S20中,对输入部1151的语音输入部输入图5所示的语音。 语音识别部174如图66所示地识别输入至语音输入部的语音,并将语音识别 结果(文本数据)作为文件转交给文本数据取得部751。在操作系统(OS )的 命令上,将文本数据的文件作为自变量来启动话题抽出程序。在启动话题抽出 程序的背景下进行初始化处理。例如,作为之后的点数计算的初始化,将存储 在评价结果存储部165中的按照单词(节点)的点数清零。文本数据取得部 751将从语音识别部174接收到的文本数据转交给单词抽出部752。
96
(b) 在步骤S21中,单词抽出部752读出存储在知识网络数据存储部116 中的单词词典,使用单词词典来解析从文本数据取得部751接收到的文本数 据,如图67所示从文本数据抽出在单词词典中记述的单词。抽出的单词被保 存在单词列存储部163的窗口内。
(c) 在步骤S22中,路径抽出部753从保存在单词列存储部163的窗口 内的单词中以任意的顺序选择两个单词。其中,不进行双重处理,即不选择同 一单词,不进行评价过的单词间的评价。在选择的两个单词中将一个单词作为 起点节点,将另一个单词作为终点节点。路径抽出部753读出存储在知识网络 数据存储部116中的如图64所示的单词词典、以及如图62所示的单词相关度 词典,使用如图63所示的知识网络来^^索 抽出起点节点和终点节点间的网 络结构上的最短路径。
(d) 在步骤S23中,评价部754从设定信息存储部161中读出路径判断 用阈值A,判断由路径抽出部753计算的起点节点和终点节点间的最短路径是 否比路径判断用阈值A长。在判断为最短路径长度比路径判断用阈值A长时, 进入步骤S28,另一方面,在最短路径长度为路径判断用阈值A以下时,进入 步骤S24。
(e) 在步骤S24中,评价部754使用式(1) ~ (9)等,计算位于最短 路径的端部上的起点节点以及终点节点的各自的评价值。例如,如式(4) ~
(8)所示,起点节点和终点节点间的最短路径长度越短,计算出的评价值越 高。
(f) 在步骤S25中,评价部754按照需要使用起点节点以及终点节点的 各自的评价值,使用式(IO) ~ (13),如图68所示地对于在最短路径上存在 的各个单词(节点)分别赋予点数。此外,在步骤S25中不使用起点节点以及 终点节点的各自的评价值时,通过省略步骤S24的处理来可以缩短计算时间。
(g) 在步骤S26中,评价部754判断是否对于在最短路径上存在的所有 单词(节点)赋予了点数。在判断为对所有单词(节点)赋予了点数时,进入 步骤S27。另一方面,在判断为没有对所有单词(节点)赋予了点数时,回到 步骤S25的处理,对于没有赋予点数的单词(节点)赋予点数。结果,对在最 短路径上存在的所有单词(节点)赋予点数。(h) 在步骤S27中,评价部754判断是否对注目的起点节点和终点节点 间的所有最短路径进行了计算。在判断为对所有最短^各径进行了计算时,进入 步骤S28。另一方面,在注目的起点节点和终点节点间抽出了多个最短路径, 判断为没有对所有最短路径进行了计算时,回到步骤S25的处理,对在未计算 的最短路径上存在的节点赋予点数。结果,对在所有最短路径上存在的单词(节 点)进行处理。
(i) 在步骤S28中,评价部754判断是否对在单词列存储部163的窗口 内保存的单词的所有组合进行了处理。其中,不进行双重处理,即同一单词的 组合、评价过的单词间的组合是对象外。在判断为对所有组合进行了计算时, 进入步骤S29。另一方面,在判断为没有对所有组合进行了计算时,回到步骤 S22的处理,对未计算的两个单词的组合进行处理。结果,对所有的单词的组 合进纟于处理。
(j)在步骤S29中,如图68的纵轴(4)所示,评价部754累计对各单 词(节点)赋予^点数。
(k)在步骤S30中,判断话题抽出部755按照用存储在设定信息存储部 161中的设定信息来定义的设定值,作为话题语的抽出方法是否使用抽出点数 为上位的B个单词。在判断为使用抽出上位B个单词的方法时,进入步骤S31 。 在步骤S31中,话题抽出部755读出用存储在设定信息存储部161中的设定信 息来定义的个数B,如图69所示,抽出上位B ( =5)个单词来作为话题语。
(1)另一方面,在步骤S30中,在判断为不使用抽出上位B个单词的方 法时,进入步骤S32。在步骤S32中,从设定信息存储部161读出话题抽出用 阈值C,并如图70所示,抽出对单词(节点)赋予的合计点数为话题抽出用 阈值C ( =1.00)以上的单词来作为话题语。
(m)在步骤S33中,话题输出部156向输出部1152或文件等输出由话 题抽出部755抽出的、成为话题的单词。
为了有助于对话内容的理解、对话内容的相关信息的检索、以及对话内容 的充实,研究了解释连续发出的声音的语音识别结果、或来自光学式文字读取 装置(OCR)等的图像的文字识别结果等字符串,抽出表示其内容的话题语的 话题语抽出技术。
作为第 一话题语抽出方法,已知使用特定的话题转换语或话题转换规则, 控制话题的变化的方法。在该方法中,预先准备"首先"、"第一"、"接着"等 成为话题转换的契机的单词来作为话题转换语词典,使用话题转换规则从语法 的角度解释接着输入的字符串,并抽出成为话题的单词。
作为第二话题抽出方法,已知使用单词的出现频度或出现间隔的方法。在
该方法中,利用单词的出现频度、出现间隔来抽出输入文献中的重要单词。
作为第三话题抽出方法,已知使用按照专业领域的专业用语词典的方法, 在该方法中,预先选定领域以及对领域的依赖度高的关键字,将在评价区间中 检测到的关键字表示最高的依赖度的领域作为话题。
但是,在使用话题转换语等的第一方法中,需要成为话题转换的契机的单 词的输入,但是在一般的会话等中并不一定说出该单词。另外,在抽出话题语 时使用语法规则,但是并不一定以这种形式说出。另外,忽视预先准备的语法 规则以外的语法规则而动作,因此即使输入了包含误识别的字符串也进行动 作。其中,并不是以对应于误识别为前途,因此在表示话题转换的单词被误识 别或跳过识别等情况下不能巧妙地对应。另外,需要预先准备成为话题转换的 契机的话题转换词典,还需要用于抽出话题的语法定义。
在第二话题抽出方法、即在使用单词的出现频率的方法中,在假定重复出 现的单词为重要的词语的情况下使用单词的出现频度或出现间隔,但没有评价 单词间的关联,所以只要同 一词语没有重复多次出现就不能抽出重要的词语。
另外,在第三话题抽出方法、即利用专业用语词典的方法中,评价对于预 先决定的某话题输入了多少与话题有关的单词,关于误识别没有特别地考虑。
对此,根据第二实施例的关键字抽出服务器107,对于输入的单词列,使 用知识网络赋予按照单词间的距离的点数,因此可以抽出输入的单词列集中的 部分(=若直接地说明的话,是语群的重心)。
而且,知识网络可以不基于启发式(heuristic)的知识,通过国语词典或 网页上的文献等的解析来生成。对于输入的单词列,仅用知识网络来评价,因 此不需要预先决定语法规则等抽出规则。
而且,不从集中部分中抽出较长的一部分,因此如图像识别结果或语音识 别结果等,在文本数据中包含误识别时也可以消除误识别。
(第二实施例的变更例)
在上述的第二实施例中,说明了将语音识别程序的输出暂时输出至文件后 统一评价的方法,但是在第二实施例的变更例中,说明逐次评价语音识别程序 的输出并实时地显示当前的话题的话题抽出方法。
在上述第二实施例中,对所有语音识别部174的输出进行识别后暂时输出 至文件,但在变更例中每次识别文本数据后,将识别的文本数据转交给文本数
据取得部751。文本数据取得部751将接收到的文本数据逐次转交给单词抽出 部752。单词抽出部752使用词素等来解析接收到的文本数据,从文本数据中 逐次抽出包含在单词词典中的单词。将单词逐次转交给单词列存储部163 。
图73表示每次对单词列存储部163输入新单词时的单词列存储部163内 的窗口的情形。在图73中,纵轴表示在某瞬间保存在单词列存储部163中的 单词列。横轴表示每次输入新单词时的时间变化。例如,在图73中,表示在 该瞬间在单词列存储部163内含有"大手町"、"铃鹿"、"东西线"。由于是 FIFO,且窗口尺寸为5,因此从最原始的"大手町,,起从窗口跳出,可知输入 了新的单词"网络"。
路径抽出部753随时抽出保存在图73所示的窗口内的两个单词的最短路 径,评价部754计算最短路径上的单词的点数,话题抽出部755抽出话题语。
图74表示每当输入新的输入语时的、抽出了合计点数为上位B = 2个话 题语的结果。在图74中,最左边的列为新输入至单词列存储部163的单词(输 入语),剩下的列表示输入了其单词时抽出的话题语。从图74可知,当输入的 单词为"铃鹿"时,抽出"铃鹿"以及"大手町",但是当输入了 "东西线"、 "什锦煎饼"、以及"移动电话,,时抽出"大手町"以及"东西线",当输入了 "网络"、以及"旋转寿司,,时抽出"网络"以及"移动电话",当输入了 "A 寿司,,以及"B寿司,,时抽出"A寿司"以及"旋转寿司"。即,可知每次输 入单词时,作为话题的单词随着输入的文本数据而变化。
同样,图75是在同样地进行了计算时显示点数为话题抽出用阈值C = 1.00 以上的单词的例子。从图75也可以知道每次输入单词时,作为话题的单词随 着输入的文本数据而变化。
另外,从图74以及图75可知,抽出图63所示的知识网络中单词密集的
区域的单词,但是难以抽出与输入的其他单词的距离长的"铃鹿"、"什锦煎饼" 等来作为话题(基于阈值评价时不抽出)
根据第二实施例的变更例,逐次解析输入的文本数据,并抽出成为话题的 单词,由此可以抽出成为实时话题的单词。
在后面也会进行^l述,也可以将第二实施例的话题抽出程序插入到因特网
协议(IP)电话终端上。实质的话题计算处理相同,^a是在IP电话终端上进
行发话的语音信息的语音识别,并评价作为其结果的语音识别结果的单词列, 在会话结束时显示"今天的话题"。在IP电话中以会话开始处理为契机将语音 识别结果转交给文本数据取得部751,以会话结束为契机进行评价。从会话开
始到会话结束的期间,在单词列存储部163中积累语音识别结果的文本数据, 其会话结束为契机启动话题抽出部755。
另外,在会话中,也可以逐次启动话题抽出部755,并将话题信息随时显 示在IP电话终端上的显示器上。 (第三实施例)
-关键字抽出服务器的整体结构-
如图76所示,第三实施例的关键字抽出服务器107包括知识网络数据 存储部116,其用于存储知识网络数据;单词抽出部142,其用于从文本数据 中抽出包含在知识网络数据中的单词;以及关键字抽出部143,其使用知识网 络数据,计算抽出的单词间的最短距离,并从评价对象中除去表示一定距离以 上的最短距离数据,由此评价抽出的单词间的相关性,并从评价结果中抽出关
第三实施例中的"知识网络数据,,是指关于多个单词,将用距离来表示两 个单词间的意思上的关系的数据集中起来的数据。例如将图77中例示的节点 属性数据和图78中例示的链路属性数据提供给知识网络。
如图77所示,节点属性数据中包含用于唯一确定单词(节点)的号码(节 点号码)、单词的名字(节点名)、以及与在一般的网络分析中使用的所有节点 平均距离有关的信息。例如,记述了如下值节点号码为"1"的节点名为"大 手町",大手町的所有节点平均距离为"3.478"。作为节点属性数据,除了存 储所有节点平均距离的信息之外,还存储链路数、距离中心性、介质中心性等、 或者表示网络数据中的单词的性质的指标值,由此可以用于关键字和相关语抽 出的顺序决定。
如图78所示,链路属性数据中包含通过指定链路源的节点号码和链路目 的地的节点号码来表现单词和单词的连接关系(链路)的数据。例如,在链路
源节点号码为"1"、链路目的地节点号码为"16"时,表示在图78所示的"大 手町(节点号码1 )"和"东京站(节点号码16),,之间存在链路。
图79以视觉的方式表现图77以及图78中例示的节点属性数据和链路属 性数据的例子。用知识网络数据表现的"单词间的意思上的关系"包含词典上 的关系、概念上的上下关系、同义关系、以及近义关系等,但是在本实施方式 中,不限定意思上的关系的种类。例如,也可以是在图79的同一个知识网 络数据上,大手町和NTT之间存在"地理上的关系",系统和硬件之间存在"概 念上的包含关系"。
此外,第三实施例中的单词间的"最短距离,,表示从知识网络上的某节点 到达某节点时经由的其他节点的数。下面,说明在经由O个节点时的最短距离 为"1"、在经由一个节点时的最短路径为"2"的情况,但是也可以在各节点 的节点属性数据和链路数据中保存按照节点或链路不同的固有值,并经由特定 的节点时加上其固有值。
另外,在第三实施例中,以知识网络数据为无向标志的情况为例进行说明,
但是实际上也可以是有向标志。此时,面向连接关系(链路)而评价最短距离 的计算或相关语的抽出。
单词抽出部142、关键字抽出部143以及相关语抽出部144可以由如图76 所示的关键字抽出服务器107的服务器侧关键字抽出模块110的一部分构成。 服务器侧关键字抽出模块110通过控制模块112与具有输入部1151以及输出 部1152的输入输出部115、以及将在服务器側关键字抽出模块110的处理中 所需要的各种程序或数据等进行存储的存储纟某体114连接。
存4诸i某体114包括知识网络数据存储部116、文本数据存储部181、单词 抽出结果数据存储部182、最短距离数据存储部183、评价结果存储部184、 关键字抽出结果数据存储部185以及文本解析结果数据存储部186。
服务器侧关键字抽出模块110还具有文本输入部141以及相关语抽出部 144。文本输入部141将/人输入部1151输入的文本数据存储到文本数据存储部 181中。文本数据可以是以文件形式提供,也可以是存储到图76所示的关4A 字抽出服务器107外的其他存储装置中。
作为文本数据的内容,包括将网页上的字符串信息、收发邮件的字符串信 息、即时消息的4议信息、如通过电话的通话内容的语音识别结果的语音数据 与文本数据进行交换而得到的信息。另外,作为文本数据,也可以利用通过光 学文字识别功能(OCR)取得的图像上的字符串信息、或者将动画信息与字符 串信息进行交换的信息。文本数据中也可以包含语法上的错误标记或单词的打 字错误、误识别等。
单词抽出部142从存储在文本数据存储部181中的文本数据中抽出包含在 图77~图70中例示的知识网络中的单词,并作为单词抽出结果存储到单词抽 出结果数据存储部182中。
关键字抽出部143包括最短距离计算部231以及关键字评价部232。最短 距离计算部231读出单词抽出部142抽出的单词抽出结果数据,计算抽出的单 词间的最短距离,并将计算结果作为最短距离数据存储到最短距离数据存储部 183中。
关键字评价部232利用最短距离计算部231计算出的最短距离数据的关 系,对评价抽出的单词的相关性的单词评价数据进行计算,并将计算结果作为 单词评价数据存储到评价结果存储部184中。关于本实施方式的相关性的评 价,在后述的第一以及第二文本解析方法中详细说明,可以用如下方法中的任 意一种方法
(1) 使用最短距离计算部231计算出的最短距离数据,计算对不同最短 距离累计了与其他抽出的单词的最短距离的出现次数的"不同最短距离累计次 数,,;
(2) 计算最短距离数据的"平均距离和缩短距离"。
而且,关键字评价部232使用单词评价数据抽出基于抽出单词间的最短距 离数据的关键字,并将关键字抽出结果存储到关键字抽出结果数据存储部185 中。
相关语抽出部144读出关键字抽出部143所抽出的关4建字抽出结果数据,
103
与知识网络数据进行对照,由此抽出与抽出的关键字的距离相对近的相关语, 并将抽出的关键字和抽出的相关语作为文本解析结果来存储到文本解析结果 数据存储部186中。其他实际上与其他实施方式中的关键字抽出服务器107
相同,因此省略"i兌明。
-第一文本解析方法-
使用图80的流程图对第三实施例的第一文本解析方法进行说明。 <文本数据输入处理S41>
在图80的步骤S41中,当启动图76所示的关键字抽出服务器107时,文 本输入部141在文本数据存储部181中存储通过通信模块113取得的抽出对象 单词信息、或者通过输入部1151取得的如图81所示的文本数据。
<单词抽出处理S42>
在图80的步骤S42中,单词抽出部142读出存储在文本数据存储部181 中的、在图81中例示的文本数据,并从文本数据中抽出包含在知识网络数据 存储部116的节点属性数据(参照图77)中的单词。然后,将抽出结果作为 单词抽出结果数据来存储到图76的单词抽出结果数据存储部182中。
按照在图82中例示的单词抽出条件设定数据中的处理执行单位(步骤) 的设定值以及设定信息执行单词抽出部142执行的单词抽出结果数据的输出 以及后述的关键字抽出部143的调用的定时。例如,在包含在文本数据中的单 词为10个、处理执行单位(步骤)的设定值为2时,意味着单词抽出部142 每两个单词执行5次的单词抽出结果数据输出和关键字抽出部143的调用,在 图82的设定数据列中,说明指定'T,来作为设定值的情况。
按照图82的设定数据的情况下,由单词抽出部142从图81的"A:今天 出差,去大手町。因为有时间想坐东西线…"这样的文本数据中一个一个抽出 在图77~图79中例示的知识网络数据中存在的单词。
具体而言,单词抽出部142首先从图81的文本数据中抽出"大手町",并 如图83 (a)所示作为抽出单词节点号码"1"来存储到单词抽出结果数据存 储部182中。同样,单词抽出部142在每一步骤从图81的文本数据中一个一 个抽出"东西线"、"大手町"、"移动电话"、"系统"、"寿司"、"系统"、"藏寿 司",并输出如图83 (b)-图83 (h)所示的单词抽出结果凄史据。
此外,由单词抽出部142进行的单词抽出可以通过使用一般的緩存检索的
文本数据的全文4全索处理来进行,也可以通过对将文本数据进行了词素分析而 得到的结果应用 一致判定处理来进行。
<关键字抽出处理S43>
当每次输出图83 (a) ~图83 (h)所示的单词抽出结果凄史据时,在图80 的步骤S43中,关键字抽出部143调用最短距离计算部231,并计算抽出的单 词间的最短距离。之后,关键字抽出部143调用关键字评价部232,根据抽出 的单词间的最短距离的关系进行关键字的评价以及抽出。然后,将关键字的抽 出结果作为关键字抽出数据来存储到关键字抽出结果数据存储部185中。下 面,对具体的处理例进行说明。
(单词间最短距离计算处理S431 ) 在图80的步骤S431中,最短距离计算部231从存储媒体114中读出在图 84中例示的单词间最短距离计算处理的设定数据。然后,按照处理执行单位 (步骤),计算新抽出的单词和已经抽出的单词间的最短距离,并将计算结果 作为最短距离数据来存储到最短距离数据存储部183中。
在图84例示的设定数据中包含距离计算窗口宽度的设定值及其相关信 息、计算对象最短距离的设定值及其相关信息。距离计算窗口宽度是指将最短 距离数据保存在存储媒体114中的单词的最大数。图85 (a)表示例如在距离 计算窗口宽度的设定值为5时,由最短距离计算部231初次启动时确保的最短 距离数据存储区域的例子。在最短距离数据中包含成为距离计算对象的单词 (节点名)、节点号码以及5个单词中的其中任意两个单词间的最短距离计算 结果。
此外,为了减轻最短距离计算的处理负荷,在不影响后述的关键字评价部 232的处理的范围内,最好指定图84所示的计算对象最短距离的设定值。在 最短距离计算部231指定的最短距离为计算对象最短距离的设定值以上时,最 短距离计算部231中止计算,输出N(不可到达)作为计算结果。由此,在步 骤S43中从后述的单词的相关性评价的对象中除去单词间的最短距离为一定 值以上的最短距离数据,因此即使在文本数据中包含误用单词等,也可以抑制 抽出其误用单词来作为关键字。
具体而言,在单词抽出部142输出图83(a)所示的单词抽出结果数据时, 最短距离计算部231抽出图83 (a)的抽出单词节点号码"1"和抽出单词"大 手町"的信息。然后,参照图77~图79所示的知识网络数据,计算新抽出的 单词和已经抽出的单词间的最短距离。由于在图85 (a)的最短距离数据内没 有已经抽出的单词,因此最短距离计算部231将图85 (a)所示的最短距离数 据存储到最短距离数据存储部183中。
接着,在单词抽出部142输出图83 (b)所示的单词抽出结果数据时,最 短距离计算部231抽出图83 (b)的抽出单词节点号码"2"、抽出单词"东西 线"的信息、以及图85 (a)的最短距离数据。最短距离计算部231通过与图 77~图79所示的知识网络数据进行对照,计算新抽出的单词"东西线"和在 图85 (a)中已经抽出的"大手町"之间的最短距离。如图79所示,从"大 手町"到"东西线"的最短距离为"2",因此最短距离计算部231计算出"2" 的值来作为距离计算结果,并将图85 (b)所示的最短距离数据存储到最短距 离数据存储部183中。
最短距离计算部231对图83 (c)以及图83 (d)所示的单词抽出结果数 据也进行同样的处理,输出图85 (c)以及图85 (d)所示的最短距离数据。
接着,在单词抽出部142输出图83 (e)所示的单词抽出结果数据时,最 短距离计算部231抽出图83 (e)的抽出单词节点号码"5"、抽出单词"系统,, 的信息、以及图85 (d)的最短距离数据。最短距离计算部231通过与图77-图79所示的知识网络数据进行对照,计算新抽出的单词"系统"和在图85(d) 中已经抽出的"大手町"、"东西线"、"大手町"、"移动电话"之间的最短距离。 在图79中,"系统,,和"东西线"之间的最短距离为6。这里,图84所示的 计算对象最短距离的设定值为4,"系统,,和"东西线"之间的最短距离为4 以上,因此最短距离计算部231中止东西线和系统的单词间的最短距离的计 算,输出"N,,的值来作为计算结果,并将图85 (e)所示的最短距离数据存 储到最短距离数据存储部183中。
这样,最短距离计算部231对图83 (f) ~图83 (h)所示的单词抽出结 果数据也进行同样的处理,并输出图85 (f) ~图85 (h)所示的最短距离数 据。此外,在步骤数大于距离计算窗口宽度时,从最原始的最短距离数据开始写入。
最短距离计算算法可以使用已知的Dijkstra法或Warshall-Floyd法。另夕卜, 在不使用这些算法时,也可以根据单词抽出结果数据中的成为计算对象的两个 节点号码,从起点的节点号码和终点的节点号码的两侧起计算链路属性的最短 距离。
(关键字评价处理S432 )
在图80的步骤S432中,关4建字评价部232从存储媒体114读出在图86 中例示的关键字评价处理的设定数据。然后,按照处理执行单位(步骤),读 出最短距离计算部231输出的、图85 (a) ~图85 (h)所示的最短距离数据 以及最短距离计算部231之前输出的、图87 (a) ~图87 (h)所示的单词评 价数据,计算之前输出的单词和新输出的单词间的相关性评价值。
在第一文本解析方法中,说明如下情况使用最短距离计算部231计算出 的最短距离数据来作为用于评价单词的相关性的"相关性评价值",使用对不 同最短距离累积了抽出的单词间的最短距离出现次数的"不同最短距离累积次 数"。
在图86例示的设定数据中包含用于生成图87 (a) ~图87 (h)所示的单 词评价数据的评价窗口宽度的设定值及其相关信息、以及图88(a) ~图88 (h)所示的关键字抽出结果数据的计算中所需要的设定值(抽出对象累积次 数(最短距离0 ~ 2))的信息。此外,关键字评价部232为了参照必要的最短 距离数据,将评价窗口宽度的设定值设为图84的距离计算窗口宽度的设定值 以下。图86所示的设定数据表示评价窗口宽度的设定值为5、抽出对象累积 次数(最短距离0)的设定值为1、抽出对象累积次数(最短距离1)的设定 值为1、抽出对象累积次数(最短距离2)的设定值为2的情况。
图87(a)表示例如在评价窗口宽度的设定值为5时,由关键字评价部232 初次启动时确保的单词评价数据存储区域的例子。作为单词评价数据,包含单 词(节点名)、节点号码、以及按照5个单词中的任意两个单词间的最短距离 的累积次数计算结果。
在单词评价数据中也可以存储所有节点平均距离、链路数、距离中心性、 介质中心性等在一般的网络分析中使用的指标值来作为节点属性数据,并根据
各单词的指标值来切换关键字抽出条件。另夕卜,也可以设置抽出的关键字的个 数的上限,按照指标值的大小顺序抽出关键字。
例如,在最短距离计算部231输出图85 (a)所示的最短距离数据时,关 键字评价部232按照距离来分类新抽出的单词和之前已经抽出的单词间的最 短距离数据。由于在图85(a)的最短距离数据内没有记录最短距离数据的值, 因此关键字评价部232将图87 (a)所示的计算结果作为单词评价数据来存储 到评价结果存储部184中。
接着,关键字评价部232读出图87 (a)所示的单词评价数据,抽出最短 距离数据的累积次数的计算结果的值中的任意一个为图86中例示的抽出对象 累积次数(最短距离0~2)的设定值以上的单词来作为关键字。在图87 (a) 的例子中,由于没有记录最短距离数据,因此如图88(a)所示,关键字评价 部232将"抽出关键字节点号码无"、"抽出关键字无"这样的关键字抽出 结果数据存储到关键字抽出结果数据存储部185中。
在最短距离计算部231输出图85 (b)所示的最短距离数据时,关键字评 价部232读出图85 (b)的单词评价数据,并按照距离来分类新抽出的单词和 之前已经抽出的单词间的最短距离。在图85 (b)的最短距离数据中分别一个 一个地存储有表示节点名"大手町,,和"东西线"之间的最短距离的"2"的 值。因此关键字评价部232在最短距离2的区域分别存储"1"的值来作为节 点名"大手町,,以及"东西线,,的单词评价数据,并作为图87 (b)所示的单 词评价数据来存储到评价结果存储部184中。
接着,关键字评价部232读出图87 (b)所示的单词评价数据,并抽出最 短距离数据的累积次数的计算结果的任意一个值为图86中例示的抽出对象累 积次数(最短距离0~2)的设定值以上的单词来作为关键字。在图87 (b)的 例子中,输入了 "1"的值来作为节点名"大手町,,和"东西线,,之间的最短 距离2的累积次数,但是由于该值比图86的抽出对象累积次数(距离2)的 设定值"2"小,因此不能作为关键字来抽出。结果,如图88 (b)所示,关 键字评价部232将"抽出关键字节点号码无"、"抽出关键字无"这样的关 键字抽出结果存储到关键字抽出结果数据存储部185中。
而且,最短距离计算部231对图87 (c) ~图87 (h)所示的单词抽出结
果数据也进行同样的处理,输出图88 (c) ~图88 (h)所示的关键字抽出结 果数据。此外,在步骤数大于距离计算窗口宽度时,从最原始的最短距离数据 开始写入。
〈相关语抽出处理S44〉
在图80的步骤S44中,相关语抽出部144读出图88 (a) ~ (h)所示的 关键字抽出结果数据中的"抽出关键字节点号码",并检索图77 图79所示 的知识网络数据的节点属性数据和链路属性数据,由此抽出与抽出关键字的距 离相对近的单词来作为相关语。然后,将相关语的抽出结果作为文本解析结果 数据来存储到文本解析结果数据存储部186中。
此外,使相关语抽出部144读入图89中例示的相关语抽出条件设定数据, 由此可以对作为抽出对象的相关语进行限制。作为限制的例子,可以举出表示 离相关语抽出对象的关键字的最大距离的"抽出对象距离数"、以及表示按照 离关键字的每一距离的相关语的输出最大个数的"按距离的相关语输出上限 数,,等。在图89中,表示抽出对象距离数为"2"、距离l相关语输出上限数 为"1"、距离2相关语输出上限数为"1"的情况。
如图卯(a)所示,文本解析数据包括表示关键字和相关语的识别信息的 单词识别、抽出关键字节点号码、抽出关键字名、以及链接目的地节点号码等。 文本解析数据也可以包括各关键字或相关语的链接目的地的节点号码来作为 用输出对象的关键字和抽出相关语来收缩知识网络数据的数据。
另外,也可以存储所有节点平均距离或链路数、距离中心性、介质中心性 等在一般的网络分析中使用的指标值来作为节点属性数据,并按照相关语抽出 优先顺序即指标值的大小顺序来抽出关键字。也可以通过输出部1152以如图 79所示的网络图的形式输出存储在文本解析结果数据存储部186中的文本解 析数据。
例如,在关键字抽出部143输出图88(a)所示的关键字抽出结果数据时, 相关语抽出部144根据图89所示的相关语抽出条件设定数据,抽出关键字以 及相关语的信息,并将如图卯(a)所示的文本解析结果数据存储到文本解析 结果教:据存储部186中。在图88(a)中,由于不存在关键字,因此对单词识 别、抽出关键字节点号码、抽出关键字、链接目的地节点号码不输入任何信息。
在图88 (b)所示的关键字抽出结果数据的情况下,针对图90 (b)所示的文 本解析数据,也不抽出关键字以及相关语。
然后,在关键字抽出部143输出图88(c)所示的关键字抽出结果数据时, 相关语抽出部144从图88 (c)所示的关键字抽出结果数据中抽出关键字节点 号码"1"的抽出关键字"大手町"以及关^:字节点号码"2"的抽出关键字"东 西线,,的信息。成为抽出对象的"大手町"和"东西线,,之间的最大距离为2, 满足图89所示的抽出对象距离数的设定值的条件,因此相关语抽出部144抽 出"大手町"和"东西线"的相关语。这里,说明按照相关语抽出优先顺序即 图77~图79所示的知识网络数据的所有节点平均距离从小到大的顺序作为输 出对象的情况。在图89的相关语抽出条件设定数据中,最短距离为2时的相 关语输出上限数为1,因此相关语抽出部144从图79所示的知识网络中抽出 "东京地铁东西线",并将如图90 (c)所示的文本解析结果数据存储到文本 解析结果数据存储部186中。通过重复进行同样的处理,相关语抽出部144 计算图90(d) ~ (h)所示的文本解析结果数据。 -第二文本解析方法-
使用图80的流程图以及图91 ~图94说明第三实施例的第二文本解析方 法。此外,图80的步骤S41、 S42、 S431的各处理实质上与上述第一文本解 析方法相同,因此这里对步骤S432中的关键字评价处理和步骤S44中的相关 语抽出处理进行说明。
<关键字评价处理S432>
在步骤S432中,关键字评价部232按照处理执行单位(步骤)读出单词 间最短距离计算模块输出的图85 (a) ~图85 (h)所示的最短距离数据以及 已经输出完毕的图92 (a) ~图92 (h)所示的单词评《介数据,根据图91所示 的设定数据,计算新抽出的单词和之前已经抽出的单词间的相关性评价值,并 在每一步骤中将新的单词评价数据存储到评价结果存储部184中。
单词评价数据中也可以存储所有节点平均距离或链路数、距离中心性、介 质中心性等在一般的网络分析中使用的指标值来作为节点属性数据,并根据各 单词的指标值来切换关键字的抽出条件。另夕卜,也可以对抽出的关键字的个数 设置上限值,并按照指标值的大小顺序来抽出关键字。
这里,使用图91 ~图94说明作为相关性评价值计算最短距离计算部231 计算出的最短距离数据的"平均距离"以及基于平均距离的"缩短距离"的情 况。
如图91所示,对设定数据指定了评价窗口宽度的设定值及其相关信息、 使用图85 (a) ~图85 (h)所示的最短距离数据计算最短距离的平均距离时 所需要的"平均对象距离计算结果数,,的设定值、以及后述的关键字抽出中所 需要的"抽出对象平均距离"以及"抽出对象缩短距离,,的设定值。关键字评 价部232在满足图91所示的关键字抽出处理的设定数据中设定的"抽出对象 平均距离"或"抽出对象缩短距离,,时,即"该单词相对于评价窗口内其他单 词的平均距离(最短距离数据的平均距离)足够近,判断为单词的相关性高时,, 或者"该单词相对于评价窗口内其他单词的平均距离以及该单词相对于知识网 络上的所有单词的平均的差值(缩短距离)足够大,判断为评价窗口内的单词 的相关性高时",抽出该单词作为关键字。
在图91所示的例子中,表示评价窗口值为5、平均对象距离计算结果数 为2、抽出对象平均距离为1.5、抽出对象缩短距离为3.0的情况。此外,关键 字评价部232为了参照所需要的最短距离数据,将评价窗口宽度的设定值设为 图84的距离计算窗口宽度的设定值以下。
例如,图92(a)表示在评价窗口宽度的设定值为5时,由关键字评价部 232初次启动时确保的单词评价数据存储区域。单词评价数据包括单词(节点 名)、节点号码、5个单词中的任意两个单词间的平均距离和缩短距离的计算 结果。
在计算最短距离平均时,关键字评价部232读出图91中例示的平均距离 对象距离计算结果数的信息。并且,在评价窗口内存在的最短距离计算结果比 设定值多时,将上位(距离短)的平均对象计算结果数的最短距离计算结果按 照顺序作为平均距离的计算对象。另外,在计算上,将距离计算结果为O的计 算结果作为平均计算对象,从平均计算对象中除去距离计算结果为N的计算 结果。
例如,在最短距离计算部231输出图85 (a)所示的最短距离数据时,关 键字评价部232才艮据图91中例示的平均对象距离计算结果数的设定值,计算
新抽出的单词和之前已经抽出的单词间的最短距离数据的平均值。由于在图
85 (a)的最短距离数据内没有记录最短距离数据的值,因此平均距离为N。 由于作为平均距离存储有N的值,因此不计算缩短距离。结果,关键字评价 部232将图92 (a)所示的单词评价数据存储到评价结果存储部184中。
接着,关键字评价部232读出图92 (a)所示的单词评价数据,并根据图 91所示的抽出对象平均距离以及抽出对象缩短距离的设定值,抽出关键字。 在图92(a)的例子中,平均距离为N,并且没有记录缩短距离,因此如图93 (a)所示,关键字评价部232将"抽出关键字节点号码无"、"抽出关键字 无"这样的关键字抽出结果数据存储到关键字抽出结果数据存储部185中。
在最短距离计算部231输出图85 (b)所示的最短距离数据时,关键字评 价部232读出图91中例示的平均对象距离计算结果数的设定值,并计算新抽 出的单词和之前已经抽出的单词间的最短距离数据的平均值。由于在图85(b) 的最短距离数据内分别存储有节点名"大手町,,和"东西线,,之间的最短距离 数据"2"的值,因此关键字评价部232计算各个平均距离以及缩短距离,并 将图92 (b)所示的单词评价数据存储到评价结果存储部184中,该单词评价 数据中分别存储了 "2.000"以及"1.478"的值来作为节点名"大手町,,的平 均距离以及缩短距离,分别存储了 "2.000"以及"3.217"的值来作为节点名 "东西线,,的平均距离以及缩短距离。
接着,关键字评价部232读出图92 (b)所示的单词评价数据,并根据图 91的抽出对象平均距离以及抽出对象缩短距离的设定值,抽出关键字。在图 92(a)的例子中,节点名"东西线"的缩短距离为"3.127",是图91的抽出 对象缩短距离的设定值3.0以上,因此作为关键字来抽出,如图93(b)所示, 将"抽出关键字节点号码2"、"抽出关键字东西线"这样的关键字抽出结 果数据存储到关键字抽出结果数据存储部185中。
最短距离计算部231在每一步骤中使用图85 (c) ~图85 (h)所示的最 短距离数据而计算平均距离以及缩短距离,之后如图92(c) ~图92(h),计 算单词评价数据,并根据图92 (c) ~图92 (h)所示的单词评价数据,输出 图93 (c) ~图93 (h)所示的关键字抽出结果数据。此外,在步骤数大于距 离计算窗口宽度时,从最原始的最短距离数据开始写入。
〈相关语抽出步骤S44〉
在图80的步骤S44中,相关语抽出部144读出图93 (a) ~图93 (h)所 示的关键字抽出结果数据中的"抽出关键字节点号码",并检索图77~图78 所示的知识网络数据的节点属性数据和链路属性数据,由此将抽出关键字周围 的单词作为相关语来抽出。然后,将相关语的抽出结果作为文本解析结果数据 来存储到文本解析结果数据存储部186中。
例如,在关键字抽出部143输出图93(a)所示的关键字抽出结果数据时, 相关语抽出部144才艮据图89所示的与相关语抽出条件有关的设定数据抽出关 键字以及相关语的信息,并将如图94 (a)所示的文本解析结果数据存储到文 本解析结果数据存储部186中。在图93 (a)中,由于不存在关键字,对单词 识别、抽出关键字节点号码、抽出关键字、链接目的地号码中不输入任何信息。
然后,在关键字抽出部143输出图93(b)所示的关键字抽出结果数据时, 相关语抽出部144从图93 (b)所示的关键字抽出结果数据中抽出关键字节点 号码"2"的抽出关4建字"东西线"的信息。在图93 (b)中,由于关键字只 有一个,因此不抽出相关语。结果,相关语抽出部144将如图94 (b)所示的 文本解析结果存储到文本解析结果数据存储部186中。
然后,在关键字抽出部143输出图93(c)所示的关键字抽出结果数据时, 相关语抽出部144从图93 (c)所示的关键字抽出结果数据中抽出关键字节点 号码"1"的抽出关4建字"大手町"和关键字节点号码"2"的抽出关4建字"东 西线"的信息。成为抽出对象的"大手町"和"东西线,,之间的最大距离为2, 且满足图89所示的抽出对象距离数的设定值的条件,因此相关语抽出部144 抽出"大手町"和"东西线"的相关语。在图89的相关语抽出条件设定数据 中,最短距离为2时的相关语输出上限数为1,因此相关语抽出部144从图79 所示的知识网络中抽出东京地铁东西线,并将如图94 (c)所示的文本解析结 果数据存储到文本解析结果数据存储部186中。通过反复进行同样的处理,相 关语抽出部144计算图94 (d) ~图94 (h)所示的文本解析结果数据。
在使用了电子邮件、即时消息、电话等的通信中帮助对话内容的理解、对 话内容的相关信息的检索、以及对话内容的充实的基础上,(l)包含在收发信 息中的重要单词(关键字)的提示、以及(2)关键字的相关语的提示有效。
另一方面,有时在通信中收发的文本信息或语音的识别结果中包含由于误 用、打字错误或误识别而导致的错误的单词(以下称为"误用单词")。因此, 为了高精度地执行上述(1)以及(2), (3)最好能够抑制抽出误用单词来作 为关键字或相关语。
作为可提示单词的相关语的解析方法中,已知如下技术预先准备存储有 单词和单词间的意思上的关系或共现关系的数据,解析相对于输入单词位于最
短距离、且具有阈值以上的重要度的单词(相关语)。而且,还有如下技术 通过使用两种存储有单词和单词间的意思上的关系和共现关系的数据,来提高 相关语的抽出精度。
另外,预先准备多个用例文,求出构成输入文的单词和构成准备的用例文 的单词之间的最短距离,并评价输入文与用例文之间的类似度,由此选择特定 的用例文。并且,还已知如下技术将选择的特定的用例文的构成单词和对应 的输入文中的单词进行转换,并订正输入文中的误用单词。
然而,在这些信息检索方法中,无法评价输入单词本身的重要度或作为用 语的正确性。因此无法抑制从重要度低的单词或误用单词中抽出相关语。
已知通过比较预先准备的用例文和输入文可以订正包含在输入文中的误 用单词的技术。但是,必须预先准备与输入文对应的用例文,因此难以解析如
用于一般的对话的复杂的信息。另外,由于不具有从输入文中抽出关键字或从 抽出的关键字提示相关语的功能,因此无法从包含在输入文中的庞大的信息中 排除误用单词,无法抽出并提示在对话内容的理解以及检索中所需要的信息。 对此,根据第三实施例,由关键字抽出部143的最短距离计算部231计算
包含在文本数据中的单词间的最短距离,关键字评价部232根据该最短距离的 数据评价单词间的相关性。在该最短距离数据的计算处理中,通过对距离为一
定距离以上的最短距离数据中输入"N(不可到达)"的值,不考虑将意思上 的关系的距离远的单词、即重要度低的单词或误用单词作为单词相关性的评价 对象。由此,从文本数据中可以优先抽出意思上的关系近的单词(重要性高的 单词)来作为关键字,并且可以抑制抽出误用单词来作为关键字。结果,可以 排除包含在文本数据中的误识别、误转换、误用、打字错误,能够构筑可以评 价作为用语的正确性的文本解析系统以及解析方法。
另外,相关语抽出部144根据图88 (a) ~图88 (h)以及图93 (a) ~ 图93 (h)所示的关键字抽出结果,还可以抽出图90 (a) ~图90 (h)以及 图94(a) ~图94 (h)所示的相关语。
而且,根据本发明的第三实施例,使知识网络数据存储部116预先存储知 识网络数据,由此不需要准备用于抽出关键字或相关语的用例文,因此针对使 用了电子邮件、即时消息、电话等的通信中的收发信息,可以提示重要度高、 且作为用语正确的关键字或相关语,有利于对话内容的理解、对话内容的相关 信息的检索、以及对话内容的充实。
(其他实施方式)如上所述,通过第一-第五实施方式记载了本发明,但是应理解为构成本 公开的一部分的论述以及附图并不限定本发明。根据本公开,对于本领域技术 人员来说各种代替实施方式、实施例以及运用技术是显而易见的。
在第五实施方式的第二实施例中例示了包含异义语意思判断模块111和 话题抽出处理模块117的关键字抽出服务器107,在第三实施例中例示了包含 异义语意思判断模块111和相关语抽出处理模块140的关键字抽出服务器107。 但是,不言而喻即使是关键字抽出服务器107只包含话题抽出处理模块117或 只包含相关语抽出处理模块140的结构也可以达到一定的目的。
另夕卜,在第五实施方式的第一~第三实施例的信息通信终端100中,如图 95所示,在关键字抽出模块8中保存异义语意思判断模块111、话题抽出处理 模块117、以及相关语抽出处理模块140。由此在关键字抽出模块8根据关键 字抽出条件设定数据23,在从语音识别模块6取得的单词信息(单词、词类) 中抽出关键字时,通过使用表示多个单词间的意思上的关系的、称为"知识网 络,,的词典,可以抽出更贴近对话内容的话题,可以提示关键字以及相关语。
例如,另外,如图96所示,将执行实质上语图26所示的感情信息处理模 块51相同的处理的感情信息处理服务器108连接到网络101,并在信息通信 终端100中配置感情西向你抽出委托模块99。由此,感情信息抽出委^^莫块 99可以从通过网络101连接的信息处理服务器中抽出感情信息的处理结果。
这样,不言而喻本发明包含在此未记载的各种实施方式。因此本发明的技 术范围根据上述说明仅由权利要求范围的特定事项所限定。
产业上的应用可能性
本发明的信息通信终端、信息通信系统、信息通信方法、信息通信程序、
以及记录的信息通信程序的记录媒体可应用于与如下技术有关的产业:IP电
话、IP电视电话等通信技术、以及取得网络上的服务器所保存的信息和用户 终端上的信息并显示在用户终端画面上的数据处理技术。
权利要求
1.一种与多个信息通信终端至少交换语音信息的信息通信终端,其特征在于,所述信息通信终端包括语音识别模块,其用于识别所述语音信息,并从识别到的语音信息中确定多个单词;存储媒体,其存储设定了用于抽出关键字的条件的关键字抽出条件设定数据;关键字抽出模块,其用于读出所述关键字抽出条件设定数据,并从所述多个单词中抽出多个关键字;相关信息取得模块,其用于取得与所述多个关键字相关的相关信息;以及相关信息输出模块,其用于向监视器输出所述相关信息。
2. 根据权利要求1所述的信息通信终端,其特征在于,还包括关键字输出模块,其用于向所述监视器输出所述多个关键字;以及信息取得条件受理模块,其用于受理从所述多个关键字中所选择的关键字 以及所述相关信息的信息取得条件的输入,相关信息取得模块读出所选择的关键字以及所输入的所述信息取得条件, 并取得所述相关信息。
3. 根据权利要求2所述的信息通信终端,其特征在于, 还包括信息共享模块,其用于与其他信息通信终端共享所述信息取得条件以及所述相关信息中的至少一个。
4. 根据权利要求1 ~3中任意一项所述的信息通信终端,其特征在于, 还包括语音识别结果交换模块,其用于与其他信息通信终端交换语音识别结果,该语音识别结果包含从所述语音信息确定的所述多个单词。
5. 根据权利要求1 ~4中任意一项所述的信息通信终端,其特征在于, 还包括感情识别模块,其用于识别从所述语音信息取得的感情信息; 感情信息发送^f莫块,其用于向其他信息通信终端发送所述感情信息;以及 感情信息接收模块,其用于接收从所述其他信息通信终端发送的感情信台
6. 根据权利要求1 ~5中任意一项所述的信息通信终端,其特征在于, 还包括警告显示模块,其用于比较存储在所述记录媒体中的警告对象关键字集合和抽出的所述多个关键字,并计算包含在所述警告对象关键字集合中的 关键字的出现次数,在所述出现次数为预先设定的次数以上时显示警告。
7. 根据权利要求1~6中任意一项所述的信息通信终端,其特征在于, 还包括通信切断模块,其用于比较存储在所述记录媒体中的警告对象关键字集合和抽出的所述多个关键字,并计算包含在所述警告对象关键字集合中的 关键字的出现次数,在所述出现次数为预先设定的次数以上时切断与所述多个 信息通信终端的通信。
8. 根据权利要求1 7中任意一项所述的信息通信终端,其特征在于, 还包括语音信息录音模块,其用于比较存储在所述记录媒体中的警告对象关键字集合和抽出的所述多个关键字,并计算包含在所述警告对象关键字集合 中的关键字的出现次数,在所述出现次数为预先设定的次数以上时,开始所述 语音信息的录音。
9. 根据权利要求1~8中任意一项所述的信息通信终端,其特征在于, 所述关键字抽出模块具有异义语意思判断模块,该异义语意思判断模块包括异义语判断部,其使用知识网络数据判断在多个单词中是否存在同音或同 写法异义语,所述知识网络数据存储将词汇以及词汇的读音对应起来的词汇信 息、以及表示词汇的距离关系的链路信息;以及意思决定部,其用于根据多个单词间的距离决定判断为异义语的单词的意思。
10. 根据权利要求9所述的信息通信终端,其特征在于, 所述异义语判断部包括知识网络数据确认部,其参照所述词汇信息以及所述链路信息; 异义语存在确认部,其参照所述知识网络数据确认部的确认结果,判断是 否存在同音或同写法异义语;以及词汇取得部,其在存在同音或同写法异义语时,参照所述词汇信息,取得具有与判断为同音或同写法异义语的单词相同的写法或读音的所有词汇。
11. 根据权利要求io所述的信息通信终端,其特征在于,所述意思决定部包括距离判断部,其用于比较所述词汇取得部所取得的各个词汇和单词集合内的同音或同写法异义语以外的词汇,检查词汇间的距离是否在规定的距离内; 距离计数部,其用于按照各个词汇,对词汇间的距离进行计数;以及 计数数最大值决定部,其用于将计数数为最大的词汇决定为同音或同写法异义语的词汇。
12. 根据权利要求1 ~ 11中任意一项所述的信息通信终端,其特征在于, 具有话题抽出处理模块,其将输入至所述关键字抽出模块的所述多个单词和以网络形式记述了多个单词以及多个单词间的路径的知识网络数据对应起 来,对在所述知识网络中的最短路径上存在的单词赋予点数,并抽出所述点数相对高的单词来作为话题语。
13. 根据权利要求12所述的信息通信终端,其特征在于, 在所述单词间存在多个所述最短路径时,所述话题语抽出处理模块对在所述多个最短路径上存在的各个单词赋予所述点数。
14. 根据权利要求12或13所述的信息通信终端,其特征在于, 所述话题语抽出处理模块比较所述最短路径和预先设定的阈值,仅对距离比所述阈值短的所述最短路径上存在的单词赋予所述点数。
15. 根据权利要求12或13所述的信息通信终端,其特征在于,与位于所述最短路径的端部的单词间的距离越短,所述话题抽出处理模块 对所述最短路径上存在的单词赋予越高的点数。
16. 根据权利要求12或13所述的信息通信终端,其特征在于, 所述话题抽出处理才莫块读出预先设定的阈值,抽出所述点数为阈值以上的单词。
17. 根据权利要求15或16所述的信息通信终端,其特征在于, 所述话题抽出处理才莫块读出预先设定的个数,从所述最短路径上存在的单词中抽出所述个数数量的、所述点数为上位的单词。
18. 根据权利要求12或13所述的信息通信终端,其特征在于,所述话题抽出处理模块按照最短路径的距离计算位于最短路径的端部的 单词的评价值,并对所述最短路径上存在的所述单词赋予考虑了所述评价值的 点数。
19. 根据权利要求18所述的信息通信终端,其特征在于, 所述最短路径的距离越短,所述话题抽出处理模块对所述最短距离上存在的单词赋予越高的点数。
20. 根据权利要求18或19所述的信息通信终端,其特征在于,与位于所述最短路径的端部的单词间的距离越短,所述话题抽出处理模块 对所述最短路径上存在的所述单词赋予越高的点数。
21. 根据权利要求1 20中任意一项所述的信息通信终端,其特征在于, 所述关键字抽出模块使用知识网络数据,计算所抽出的单词间的最短距离数据,除去表示一定距离以上的最短距离数据,计算所抽出的单词间的相关性, 并根据所述相关性的计算结果抽出所述关键字,所述知识网络数据为对于多个 单词将用距离来表示两个单词间的意思上的关系的数据集中起来的数据。
22. 根据权利要求21所述的信息通信终端,其特征在于, 所述关键字抽出模块对于抽出的各个单词,对不同最短距离累积与其他抽出的单词间的最短距离的出现次数,由此计算所述单词间的相关性,并抽出最短距离的累积值为设定值以上的单词来作为所述关键字。
23. 根据权利要求21所述的信息通信终端,其特征在于, 所述关键字抽出模块对于抽出的各个单词,计算最短距离数据的平均距离,从而计算所述单词间的相关性,并抽出所述平均距离为设定值以下的单词 来作为所述关键字。
24. 根据权利要求21所述的信息通信终端,其特征在于,所述关键字抽出模块对于抽出的各个单词,计算所述知识网络数据中所表 示的单词间的平均距离和最短距离数据的平均距离的差,从而计算单词间的相关性,并抽出所述差为设定值以上的单词来作为所述关键字。
25. 根据权利要求24所述的信息通信终端,其特征在于,所述关键字抽出模块读出所述关键字,并参照所述知识网络数据,由此抽 出离所述关键字的距离为设定值以下的相关语。
26. 根据权利要求25所述的信息通信终端,其特征在于,所述相关语抽出模块读出所述相关语的抽出个数的上限值,抽出与所述上 限值对应的数量的所述相关语。
27. —种信息通信系统,其通过网络连接了多个信息通信终端,其特征在于,信息通信系统包括语音识别才莫块,其用于至少识别通过所述网络发送的语音信息,并从识别 到的语音信息中确定多个单词;存储媒体,其存储设定了用于抽出关键字的条件的关键字抽出条件设定数据;关键字抽出模块,其用于读出所述关键字抽出条件设定数据,并从所述多 个单词中抽出多个关键字;相关信息取得模块,其用于取得与所述多个关键字相关的相关信息;以及 相关信息输出模块,其用于向监视器输出所述相关信息。
28. 根据权利要求27所述的信息通信系统,其特征在于, 所述信息终端具有警告信息取得模块,该警告信息取得模块用于读出存储在所述记录媒体中的动作条件设定数据,在所述关键字抽出模块抽出的所述多 个关键字中存在特定的关键字时通过网络取得用于显示警告的警告信息。
29. 根据权利要求27所述的信息通信系统,其特征在于, 所述信息终端还具有关键字抽出委托单元,该关键字抽出委托单元读出存储在所述记录媒体中的动作设定条件数据以及所述关键字抽出条件设定数据, 并委托通过所述网络连接的关键字抽出服务器抽出所述关键字。
30. 根据权利要求27 29中任意一项所述的信息通信系统,其特征在于, 所述关键字抽出单元具有异义语意思判断模块, 所述异义语意思判断模块包括异义语判断部,其使用知识网络数据判断从包含通过网络发送的所述语音 信息以及文本数据中的任意一个的信息中抽出的多个单词之中是否存在同音 或同写法异义语,所述知识网络数据为存储将多个词汇和词汇的读音对应起来的词汇信息、以及表示词汇的距离关系的链路信息的数据;以及意思决定部,其用于才艮据多个单词间的距离决定判断为异义语的单词的意田、
31. 根据权利要求27~30中任意一项所述的信息通信系统,其特征在于, 所述关键词抽出单元具有话题抽出处理模块,该话题抽出处理模块用于将从包含通过所述网络发送的所述语音信息以及文本数据中的任意 一个的信息 之中抽出的所述多个单词与所述知识网络数据对应起来,对于在所述知识网络 中的最短路径上存在的单词赋予点数,并抽出所述点数相对高的单词来作为话 题语。
32. 根据权利要求27~31中任意一项所述的信息通信系统,其特征在于, 所述关键字抽出单元使用所述知识网络数据计算抽出的所述多个单词间的最短距离数据,除去表示一定距离以上的最短距离数据,计算抽出的单词间 的相关性,并根据所述相关性的计算结果抽出所述关键字。
33. —种信息通信方法,该方法用于使用信息通信终端与其他信息通信终 端至少交换语音信息,所述信息通信终端具有语音识别模块、记录媒体、关键 字抽出模块、相关信息取得模块、相关信息输出模块以及监视器,所述信息通 信方法的特征在于,包括如下步骤所述语音识别模块从所述语音信息识别多个单词; 所述记录媒体存储包含用于抽出关键字的条件的关键字抽出条件设定数据;所述关键字抽出模块从所述存储媒体中读出所述关键字抽出条件设定数 据,并从所述多个单词中抽出多个关键字;所述相关信息取得模块取得与所述多个关键字相关联的相关信息;以及 所述相关信息输出模块向监视器输出所述相关信息。
34. —种信息通信程序,该程序用于使用信息通信终端与其他信息通信终 端至少交换语音信息,所述信息通信终端具有语音识别模块、记录媒体、关键 字抽出模块、相关信息取得模块、相关信息输出模块以及监视器,所述信息通信程序的特征在于,使计算机执行如下一连串的命令 使所述语音识别模块从所述语音信息识别多个单词; 使所述记录媒体存储包含用于抽出关键字的条件的关键字抽出条件设定 数据;使所述关键字抽出模块从所述存储媒体中读出所述关键字抽出条件设定 数据,并从所述多个单词中抽出多个关键字;使所述相关信息取得模块取得与所述多个关键字相关联的相关信息;以及 使所述相关信息输出模块输出所述相关信息。
35. —种计算机可读取的记录媒体,其存储了用于使用信息通信终端与其 他信息通信终端至少交换语音信息的信息通信程序,所述信息通信终端具有语 音识别模块、记录媒体、关键字抽出模块、相关信息取得模块、相关信息输出 模块以及监视器,所述记录媒体的特征在于,记录有使计算机执行如下命令的程序使所述语音识别模块从语音信息识别多个单词;使所述记录媒体存储包含用于抽出关键字的条件的关键字抽出条件设定 数据;使所述关键字抽出模块从所述存储媒体中读出所述关键字抽出条件设定 数据,并从所述多个单词中抽出多个关键字;使所述相关信息取得模块取得与所述多个关键字相关联的相关信息;以及 使所述相关信息输出模块输出所述相关信息。
全文摘要
本发明提供一种信息通信终端。信息通信终端(100)包括语音识别模块(6),其识别语音信息、并从识别到的语音信息确定多个单词;存储媒体(20),其存储设定了用于抽出关键字的条件的关键字抽出条件设定数据(24);关键字抽出模块(8),其读出关键字抽出条件设定数据(24),并从多个单词中抽出多个关键字;相关信息取得模块(11),其取得与多个关键字相关的相关信息;相关信息输出模块(14),其向监视器(2)输出相关信息。
文档编号G06F17/30GK101112078SQ20068000365
公开日2008年1月23日 申请日期2006年2月8日 优先权日2005年2月8日
发明者向垣内岳弥, 境美树, 新井克也, 村山隆彦, 横关大子郎, 西原琢夫, 酒井理江, 高田慎也 申请人:日本电信电话株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1