用于通过不同语言之间的翻译来支持交流的装置和方法

专利名称：用于通过不同语言之间的翻译来支持交流的装置和方法
技术领域：
本发明涉及一种装置和方法，用于通过不同语言之间的翻译来支持交流。
背景技术：
最近，随着全球化以及计算机网络技术的发展，不同语言之间的交流的机会增加了。另一方面，随着自然语言处理技术的发展，已经开发了用于将以诸如日语的语言书写的文本转换为以诸如英语的另一种语言书写的文本的机器翻译设备，并已投入实际使用。
此外，随着语音处理技术的发展，已经开发并投入使用了语音合成设备和语音输入设备，其中，所述语音合成设备将作为电子数据的自然语言字符串转换为音频输出，所述语音输入设备通过将用户的语音的输入转换为字符串，从而使得能够以语音数据的形式输入自然语言字符串。
如上所述，已经开发了自然语言处理技术和语音处理技术，日益需要集成这些技术以便提供可以支持两个或多个彼此具有不同母语的人之间的交流的交流支持装置。
为了实现可靠的语音翻译设备，必须准备一种语音识别设备，用于高准确度地识别各种类型的语音，以及一种翻译设备，用于准确地翻译各种表达。但是，传统的语音翻译设备常常不能正确地识别或翻译句子。
例如，当交流支持装置将要翻译由英语说话者所说的“We have aroom for 50 dollars a night.”时，交流支持装置可能错误地将它识别为“We have a room for 15 dollars a night.”，并据此将它翻译为日语。在这种情况下，没有语法的或上下文的问题，因此，日语说话者将在假定日语译文正确的情况下说后续的话。结果，将在带有房价为“15dollars”和“50 dollars”的误解下进行会话。
传统上，为解决在说话者之间有误解时继续对话的问题，已有一种将每个源语言句子的识别结果反馈给说话者的方法，并且提出了一种技术，在该技术中，在将作为语音翻译结果的目标语言句子翻译回源语言之后将目标语言句子反馈给源语言说话者，以便确定每个语音识别结果或每个语音翻译结果是否匹配说话者的意图。
例如，日本专利申请特开(JP-A)No.2001-222531公开了一种技术，其中，在语音翻译设备中，将源语言说话者输入的源语言句子的语音翻译结果转换回源语言的合成语音，然后将源语言的合成语音反馈给源语言的说话者。
但是，利用JP-ANo.2001-222531中公开的方法，在对结果确认以及做出修改之后，需要说话者呈现他/她的语音的识别结果或翻译结果。因此，会话经常中断，妨碍了流畅的交流。

发明内容
根据本发明的一个方面，交流支持装置包括规则存储单元，用于存储提取条件和与提取条件相关联的连接方式；输入接收单元，用于接收第一语言的第一语音和第二语言的第二语音；提取单元，用于根据存储在规则存储单元中的提取条件从第一语音提取关键字；翻译单元，用于将第一语音从第一语言翻译为第二语言；输出单元，用于输出第二语言的已翻译的第一语音；以及连接单元，用于将通过提取单元所提取的关键字与第二语音连接，其中，输入接收单元接收紧接着输出已翻译的第一语音之后所说的第二语音，连接单元根据连接方式将所提取的关键字与第二语音连接，其中，所述连接方式用于输出所提取的、与在第一语言的第一语音之后所说的第二语言的第二语音相连的关键字，并且对应于提取条件，翻译单元进一步将与所提取的关键字相连的第二语音从第二语言翻译为第一语言，输出单元进一步输出所提取的、与第二语音相连的第一语言的关键字，以及所翻译的第二语音。
根据本发明的另一个方面，一种交流方法包括接收第一语言的第一语音；根据提取条件从第一语言的第一语音提取关键字；将第一语音从第一语言翻译为第二语言；输出第二语言的已翻译的第一语音；紧接着输出翻译为第二语言的第一语音之后接收第二语言的第二语音；根据相应于提取条件的连接方式将第二语言的第二语音与所提取的第一语言的关键字相连接，连接方式用于输出所提取的、与在第一语言的第一语音之后所说的第二语言的第二语音相连的关键字；将第二语音从第二语言翻译为第一语言；并输出所提取的、与第二语音相连的第一语言关键字，以及所翻译的第二语音。


图1是显示根据本发明的第一实施例的交流支持装置的结构的框图；图2是显示存储在规则存储单元中的关键字规则的数据结构的例子的说明视图；图3是显示存储在语音历史存储单元中的语音历史的数据结构的例子的说明视图；图4是显示存储在替换信息存储单元中的替换信息的数据结构的例子的说明视图；图5是显示根据第一实施例的交流支持操作的整个流程的流程图；图6是显示根据第一实施例的关键字提取处理的整个流程的流程图；图7是显示两个说话者彼此所说的句子的实例的说明视图；图8是显示将存储在语音历史存储单元中的信息的实例的说明视图；图9是显示将由交流支持装置输出的输出句子的实例的说明视图；图10是显示两个说话者彼此所说的句子的实例的说明视图；图11是显示将存储在语音历史存储单元中的信息的实例的说明视图；
图12是显示将由交流支持装置输出的输出句子的实例的说明视图；图13是显示根据第二实施例的交流支持装置的结构的框图；图14是显示存储在添加条件存储单元中的添加条件的数据结构的实例的说明视图；图15是显示存储在语音历史存储单元中的语音历史的数据结构的实例的说明视图；图16是显示根据第二实施例的交流支持操作的整个流程的流程图；图17是显示将存储在语音历史存储单元中的信息的实例的说明视图；图18是显示根据第三实施例的交流支持装置的结构的框图；图19是显示根据第三实施例的交流支持操作的整个流程的流程图；以及图20是显示将由交流支持装置输出的输出句子的实例的说明视图。
具体实施例方式
参照附图，以下是根据本发明的交流支持装置和交流支持方法的优先实施例的详细说明。
通常，当对话中的对话双方无法配备交流支持装置时，尤其是当用户所拥有的交流支持装置不能与对方共享时，对话双方很难检查并改正他/她的语音的识别结果或翻译结果。
此外，还有一个问题，对话方对于陌生人用机器对着他/她会感到别扭。此外，由于机器的用户害怕机器被盗，所以不愿意积极地共享它。此外，与拥有机器的用户相比，讲话对方不习惯于使用机器的概率很高。所以，在开始对话之前，必须使讲话对方理解如何使用机器、每个显示屏的内容以及每个输出的意义。但是，这对于用户和讲话对方来说都是非常麻烦的。所以，在传统的修正每个识别结果或翻译结果的设备的情况下，即使说话者之间有误解，也难以正确地执行修正。
根据本发明的第一实施例的交流支持装置从语音中提取关键字，并输出与所提取的关键字相关联的翻译结果。因此，可以将每个语音中将被确认的内容清楚地呈现给讲话对方，从而可以避免上述问题。
在以下描述中，执行日语和英语之间的翻译操作，但是源语言和目标语言的组合不局限于此。相反地，可以使用各种其它语言的组合。在以下实例中，日语和英语都可以是源语言和目标语言。例如，当日语说话者说话时，源语言句子是日语句子，目标语言句子是英语句子。另一方面，当英语说话者说话时，源语言句子是英语句子，目标语言句子是日语句子。
图1是根据第一实施例的交流支持装置100的结构的框图。如图1所示，交流支持装置100包括输入接收单元101、提取单元102、连接单元103、翻译单元104、单词替换单元105、输出单元106、规则存储单元111、语音历史存储单元112以及替换信息存储单元113。
规则存储单元111存储关键字规则，其包括用于从语音内容中提取关键字的条件以及用于输出所提取的、与语音的翻译结果相连的关键字的添加方法。
图2是显示存储在规则存储单元111中的关键字规则的数据结构的例子的说明视图。如图2所示，关键字规则被指定以连接作为用于唯一标识各个关键字的标识符的ID、用于提取关键字的提取条件、以及用于指定将所提取的关键字与翻译结果相连接的方法的关键字添加方法。但是，ID仅仅是为了便于以下说明而增加的额外元素，只要可以区别每个关键字的规则就不是必需的。
提取条件可以包括关键字条件，用于提取作为包含预定搜索对象单词的关键字的单词或短语，以及例句条件，用于提取作为与包含在语音实例中的预定关键字对应的关键字的单词或短语。
如图2所示的提取条件201是关键字条件的实例。作为关键字条件的提取条件201指定了用于从语音中提取作为与金额相关的表达的的单词或短语来作为关键字的条件。为区别于例句条件，在每个关键字条件的开始附加符号“$”。
如图2所示的提取条件203是例句条件的实例。作为例句条件的提取条件203预先指定了语音的例句中的关键字。在图2中，每个关键字放在括号“◇”内。换句话说，根据提取条件203，当输入类似于“Do you have an invention card？”的语音时，从输入语音中提取相应于“<an invention card>”的单词或短语作为关键字。
在关键字添加方法列，存储具有固定部分和可变部分的句子。每个固定部分将直接添加到翻译结果，不做任何修改。将根据提取条件提取的关键字放进每个可变部分。特别地，将关键字插入句子的可变部分，并在输出之前添加到输入语音。在图2中，每个可变部分显示为[关键字]。
例如，当根据提取条件201提取出关键字时，关键字提取方法202指定输出将所提取的关键字放置在“Did you say”之后的翻译结果的方法。
当根据提取条件203提取出关键字时，关键字提取方法204指定输出将所提取的关键字放置在“I have”之后的翻译结果的方法。
语音历史存储单元112存储由两个说话者通过交流支持装置100所说的语音的历史。当从过去的语音中提取将要添加到最新的语音的关键字时将参考语音历史存储单元112。
图3是显示存储在语音历史存储单元112中的语音历史的数据结构的例子的说明视图。如图3所示，语音历史包括源语言和目标语言的语音的内容、从语音中提取的关键字、以及当提取关键字时采用的关键字规则的ID。语音内容、所提取的关键字、以及ID彼此关联。
在图3中，每个语音以表格形式存储为一个记录，并将新的语音作为新记录添加在最底行。如果没有从语音中提取关键字，则相应的关键字和ID部分保持空白。
例如，语音内容301表示由日语说话者所说的语音，因为没有从语音内容301中提取出关键字，所以相应的关键字和ID部分保持空白。语音内容302表示由英语说话者响应于语音内容301所说的语音，并从语音内容302中提取出“50 dollars”作为关键字304。语音内容303表示由日语说话者响应于语音内容302所说的语音，并且没有从语音内容303中提取出关键字。
替换信息存储单元113存储关于替换单词的信息(替换信息)。每个替换单词是与任意短语具有相同意思，但是以与任意短语不同的形式表达的相同语言的单词或短语。替换信息存储单元113不将从过去的语音提取的关键字直接添加到翻译结果，而是用另一个单词或短语替换所提取的关键字。所以，可以避免说话者之间的误解。
图4是显示存储在替换信息存储单元113中的替换信息的数据结构的例子的说明视图。如图4所示，替换信息包括在替换之前将要替换的单词以及替换之后作为替换结果的单词。使将被替换的单词相应于作为替换结果的单词。
例如，将图4所示的替换前单词401“car”替换为替换后的单词402“automobile”。
规则存储单元111、语音历史存储单元112以及替换信息存储单元113可以由常用的诸如HDD(硬盘驱动器)、光盘、存储卡以及RAM(随机访问存储器)的记录介质形成。
输入接收单元101接收源语言的文本数据的输入，也就是对用户的语音输入执行的语音识别操作的识别结果。这里，输入接收单元101与诸如键盘、定点设备、或手写字符识别设备一起使用或者用它们代替。
语音识别操作可以由利用LPC分析、隐马尔可夫模型(HMM)、动态规划、神经网络、N元语言模型等等的任何常用的语音识别方法来执行。
提取单元102参考存储在规则存储单元111中的提取条件，以从输入语音中提取关键字。
更具体地，提取单元102从输入语音中检测满足作为关键字条件的提取条件的单词或短语，并提取所检测到的单词或短语作为关键字。提取单元102还从作为例句条件的提取条件中检测与输入语音相同的例句或者与输入语音类似的例句，并提取与所检测到的例句中的关键字对应的单词或短语，作为输入语音中的关键字。
为了检测满足作为关键字条件的提取条件的单词或短语，将不仅检测与由关键字条件所定义的单词或短语相同的单词或短语，还要检测类似的单词或短语。类似的单词或短语可以与由关键字条件所定义的单词或短语具有相同的意思，或者具有比预定值更高的结构或表面相似性。
这里，可以执行传统的自然语言分析处理，比如语法分析和语义分析。为计算最大的结构或表面相似性，可以利用各种常规技术，比如动态规划。
当将使用例句条件检测类似的例句时，可以利用各种传统的类似句子搜索技术，比如日本专利No.3135221中公开的方法。
如果有两个或更多的提取条件可以应用于一个语音，那么提取单元102选择具有最高预定优先级的提取条件。例如，因为对每个例句条件给予高于任何关键字条件的优先级，所以将每个例句条件的优先级设置为高于每个关键字条件的优先级。此外，可以在例句条件中选择与更相似于语音内容的例句相对应的例句条件。也可以为较早注册的提取条件或者具有较小ID的提取条件给予优先级。或者，可以集体地应用具有较高优先级的所有的提取条件或者预定数量的提取条件，以便一次提取多个关键字。
连接单元103通过关键字添加方法将从讲话对方的语音中提取的关键字添加到输入语音，所述关键字添加方法对应于在关键字提取时由提取单元102所用的提取条件。
例如，当根据图2所示的提取条件201提取有关金额的表达作为关键字时，应用相应的关键字添加方法202，从而将作为所提取的关键字的有关金额的表达被置于“Did you say”之后的句子添加到输入语音然后输出。
连接单元103会将已经翻译为目标语言的句子添加到输入语音，然后输出该句子。在这种情况下，将以源语言和目标语言书写的句子存储在规则存储单元111的关键字添加方法列，并将关键字插入以与将要输出的语言相同的语言书写的句子中。在这种方式下，可以将已经翻译为目标语言的句子添加到将要输出的句子。
翻译单元104将添加了关键字的语音翻译为目标语言句子。在由翻译单元104执行的翻译处理中，可以将各种用于机器翻译系统的常规方法应用于将要由翻译单元104执行的翻译处理中，比如转换法、基于实例的方法、基于统计的方法或者中间语言方法。
如果连接单元103用于将具有所翻译的关键字的句子添加到每个输出，那么翻译单元104仅仅翻译输入语音。
单词替换单元105参考存储在替换信息存储单元113中的替换信息，并将由连接单元103添加的已翻译的关键字替换为替换单词。
单词替换单元105可以用于将连接到由翻译单元104翻译之前的语音的关键字替换为替换单词。在这种情况下，翻译单元104将具有代替关键字的替换单词的语音翻译为目标语言句子。
输出单元106输出代替由单词替换单元105所替换的关键字的替换单词，以及由翻译单元104执行的翻译的结果。这里，将翻译结果输出为目标语言英语的合成语音数据。在将由输出单元106执行的语音合成运算中，可以使用各种常用的方法，比如语音元素编辑语音合成、共振峰语音合成、基于语音语料库的语音合成以及本文到语音的合成。
由输出单元106输出的语音可以是在显示设备上以目标语言输出的文本，该显示设备在屏幕上显示文本，或者各种其它输出，比如由打印机通过本文打印输出目标语言句子。语音输出可以由输出单元106与显示单元合作执行，或者可以由显示单元代替执行。
接下来，描述由根据具有上述结构的第一实施例的交流支持装置100执行的交流支持操作。图5是根据第一实施例的整个交流支持操作的流程图。
首先，输入接收单元101接收源语言句子Si的输入(步骤S501)。更具体地，输入接收单元101识别源语言的语音，并接收源语言句子Si的输入作为源语言的文本数据，即语音识别的结果。
接下来，提取单元102执行关键字提取处理以从所接收的源语言句子Si中提取关键字(步骤S502)。将在后面详细地描述关键字提取处理。
执行步骤S502的关键字提取处理以从最新的输入语音提取关键字，并将所提取的关键字添加到随后将输入的语音。但是，在步骤S503和随后的步骤中将由连接单元103添加的关键字不是在步骤S502中从最新语音中提取的关键字，而是从过去的语音中提取的关键字。
接下来，连接单元103从语音历史存储单元112中获取比最新语音早的一个语音的记录R(步骤S503)。然后连接单元103确定记录R中是否有关键字(步骤S504)。
如果有关键字(步骤S504“是”)，那么连接单元103通过记录R中的关键字添加方法将关键字添加到源语言句子Si，并输出添加了关键字的源语言句子Si作为翻译对象句子St(步骤S505)。
如果没有关键字(步骤S504“否”)，那么连接单元103输出源语言句子Si作为翻译对象句子St(步骤S506)。
然后翻译单元104将翻译对象句子St进行翻译以输出目标语言句子To(步骤S507)。如果由翻译单元104执行的翻译是转换法，那么将参考在自然语言处理(比如形态分析、语法分析以及语义分析)中使用的各种词典(未显示)。如果该翻译是基于实例的方法，那么将参考存储源语言和目标语言的例句的词典等(未显示)。
接下来，单词替换单元105确定是否已经将关键字添加到翻译对象句子St(步骤S508)。如果已经添加了关键字(步骤S508“是”)，那么单词替换单元105搜索替换信息存储单元113，并确定是否存在将替换关键字的单词(步骤S509)。
如果有替换单词(步骤S509“是”)，那么单词替换单元105输出用所检测到的替换单词替换了关键词的目标语言句子To(步骤S510)。
如果步骤S508中没有添加到翻译对象句子St的关键字(步骤S508“否”)，或者如果没有将替换关键字的单词(步骤S509“否”)，或者在单词替换单元105在步骤S510中输出目标语言句子To之后，输出单元106对目标语言句子To执行目标语言的语音合成，并输出它的结果(步骤S511)。
接下来，将详细地描述步骤S502的关键字提取处理。图6是显示根据第一实施例的关键字提取处理的整个流程的流程图。
首先，提取单元102在规则存储单元111中搜索与源语言句子Si匹配的、作为例句条件的提取条件K(步骤S601)。更具体地，使用相似实例搜索技术，提取单元102搜索描述与源语言句子Si相同的例句或者与源语言句子Si类似的例句的例句条件。
然后，提取单元102确定是否已经检测到提取条件K(步骤S602)。如果提取单元102确定没有检测到提取条件K(步骤S602“否”)，那么提取单元102在规则存储单元111中搜索与源语言句子Si匹配的、作为关键字条件的提取条件K(步骤S603)。
更具体地，提取单元102确定在关键字条件中描述的单词是否包含在源语言句子Si中，如果包含，则提取单元102获取该关键字条件作为与源语言句子Si匹配的提取条件K。
然后，提取单元102确定是否已经检测到关键字条件K(步骤S604)。如果提取单元102确定没有检测到关键字条件K(步骤S604“否”)，那么提取单元102确定源语言句子Si不包含关键字，并终止关键字提取处理。
如果在步骤S602中检测到作为例句条件的提取条件K(步骤S602“是”)，或者如果在步骤S604中检测到作为关键字条件的提取条件K(步骤S604“是”)，则提取单元102根据提取条件K提取关键字I(步骤S605)。
例如，当输入源语言句子Si“Do you have any cards？”时，将检测到图2所示的作为例句条件的提取条件203，作为提取条件K(步骤S601)。此外，将根据提取条件203中的“<an invention card>”从源语言句子Si中提取“cards”作为关键字I(步骤S605)。
然后提取单元102将源语言句子Si、关键字I以及对应于提取条件K的ID存储在语音历史存储单元112中(步骤S606)，并终止关键字提取处理。
通过上述过程，在步骤S505中，将步骤S605中提取的关键字添加到源语言句子Si，并且在步骤S507中将添加了关键字的源语言句子Si进行翻译，并在步骤S511中输出到会话的另一方。因为没有包含用于确定识别结果是否正确的处理，因此会话没有中断，并且可以保持流畅的交流。此外，因为输出到会话中的另一方的翻译结果添加了关键字，所以可以降低当双方存在误解时继续会话的可能性。
接下来，描述根据第一实施例的交流支持操作的具体例子。图7是显示会话中所说的句子的实例的说明视图。图8是显示当说了图7所示的句子时，将存储在语音历史存储单元112中的信息的实例的说明视图。图9是显示将由交流支持装置100输出的句子的实例的说明视图。
以下说明基于下述假设，即，将由日语说话者发出语音，已经输入了图7所示的意为“你们有更便宜的房间吗？”的日语句子701，并且已经在语音历史存储单元112中存储了图8所示的语音内容801中显示的记录。此外，图2所示的信息和图4所示的信息分别存储在规则存储单元111和替换信息存储单元113中。
当英语说话者在这样的条件下说出英语句子702“Well，we have aroom for 50 dollars a night.”时，输入接收单元101接收英语句子702的输入作为源语言句子Si。
在这种情况下，假设输入接收单元101错误地将输入语音识别为“Well，we have a room for 15 dollars a night.”，并将它作为源语言句子Si输出(步骤S501)。
然后执行关键字提取处理(步骤S502)。首先，提取单元102参考规则存储单元111以检测与源语言句子Si相似的例句条件(步骤S601)。因为在如图2所示的规则存储单元111中没有类似的例句(步骤S602“否”)，所以提取单元102然后搜索与源语言句子Si匹配的关键字条件(步骤S603)。
作为有关金额的表达，“15 dollars”包含在此例中的源语言句子Si中，搜索到作为图2中的关键字条件的提取条件201，并提取“15dollars”作为关键字I(步骤S605)。
因此，将源语言句子Si“Well，we have a room for 15 dollars anight.”、关键字I“15 dollars”以及匹配的提取条件的ID“1”存储在语音历史存储单元112中(步骤S606)。这时，语音历史存储单元112的内容变成如图8所示。
然后，连接单元103参考语音历史存储单元112以获取相应于图8所示的语音内容801的记录R作为源语言句子Si之前一个语音的记录(步骤S503)。因为所获取的记录R不包含关键字(步骤S504“否”)，所以输出源语言句子Si作为翻译对象句子St(步骤S506)。
然后翻译单元104将翻译对象句子St进行翻译以输出目标语言句子To(步骤S507)。因为没有添加的关键字(步骤S508“否”)，所以输出单元106对目标语言句子To执行语音合成，并输出该语音(步骤S511)。结果，输出根据源语言句子Si“Well，we have a room for 15dollars a night.”翻译的日语句子。
随后，日语说话者说日语句子703。在这种情况下，输入接收单元101接收日语句子703的输入作为源语言句子Si。
这里，假设输入接收单元101正确地识别输入语音，并将它输出为源语言句子Si(步骤S501)。
然后执行关键字提取处理(步骤S502)。首先，提取单元102参考规则存储单元111以搜索与源语言句子Si相似的例句条件(步骤S601)。因为在如图2所示的规则存储单元111中没有类似的例句(步骤S602“否”)，所以提取单元102然后搜索与源语言句子Si匹配的关键字条件(步骤S603)。
因为没有从如图2所示的规则存储单元111中检测到匹配的关键字条件(步骤S604“否”)，仅仅将源语言句子Si存储在语音历史存储单元112中(步骤S606)。
然后，连接单元103参考语音历史存储单元112以获取与图8所示的语音内容802“Well，we have a room for 15 dollars a night.”对应的记录R作为源语言句子Si之前的一个语音的记录(步骤S503)。因为所获取的记录R包含关键字(步骤S504“是”)，所以通过相应于记录R中的ID“1”的关键字添加方法，输出将句子“Did you say 15dollars？”添加到源语言句子Si的翻译对象句子St(步骤S505)。
然后翻译单元104将翻译对象句子St进行翻译以输出目标语言句子To(步骤S507)。因为所添加的句子“Did you say 15 dollars？”已经用目标语言英语书写，所以翻译单元104不需要翻译所添加的句子。
此外，因为已经将关键字添加到翻译对象句子St(步骤S508“是”)，所以执行替换单词搜索处理(步骤S509)。因为在如图4所示的替换信息存储单元113中不存在关键字(步骤S509“否”)，所以输出单元106对目标语言句子To执行语音合成，并输出该语音(步骤S511)。结果，将如图9所示的输出句子901“Did you say 15 dollars？I′ll take it.”输出，作为从添加了关键字的源语言句子Si翻译出的英语句子。
通过上述操作，即使如同在由英语说话者所说的句子“Well，Ihave a room for 50 dollars a night.”被识别为“Well，I have a room for 15dollars a night.”的情况中一样，错误地识别了重要短语，也要将重要短语(“15 dollars”)的翻译结果添加到日语说话者的语音的翻译结果。
在这种方式下，呈现了关键字的识别结果以便会话的另一方可以确认该结果，并且还可以与翻译每个用户语音的时间同步地呈现识别结果。所以，可以在不影响说话者之间的交流或者用户和交流支持装置100之间的操作的情况下确认操作内容。
接下来，将描述根据第一实施例的交流支持操作的另一个具体例子。图10是显示两个说话者彼此所说的句子的实例的说明视图。图11是显示当说了图10所示的句子时将存储在语音历史存储单元112中的信息的实例的说明视图。图12是显示将由交流支持装置100输出的输出句子的实例的说明视图。
在如下所述的实例情况中，假设保持为空的语音历史存储单元112中没有存储语音内容，此外，图2所示的信息和图4所示的信息分别存储在规则存储单元111和替换信息存储单元113中。
当这种状况下英语说话者说图10所示的英语句子1001“Do youhave any cards？”时，输入接收单元101接收英语句子1001的输入，作为源语言句子Si。
在这个实例中，假设输入接收单元101错误地将输入语音识别为“Do you have any cars？”，并将它输出作为源语言句子Si(步骤S501)。
然后执行关键字提取处理(步骤S502)。首先，提取单元102参考规则存储单元111以搜索与源语言句子Si相似的例句条件(步骤S601)。在这个实例中，从如图2所示的规则存储单元111中搜索作为例句条件的提取条件203(步骤S602“是”)。
此外，提取相应于提取条件203中的关键字的单词“cars”作为关键字I(步骤S605)。
因此，在语音历史存储单元112中存储源语言句子Si“Do youhave any cars？”、关键字I“cars”、以及所匹配的提取条件的ID“4”(步骤S606)。这时，存储在语音历史存储单元112中的内容包括图11所示的英语句子1101、关键字1103、以及ID 1104。
然后，连接单元103参考语音历史存储单元112，但是因为源语言句子Si之前的一个语音的记录不存在，所以不能获取关键字(步骤S504“否”)。所以，输出源语言句子Si作为翻译对象句子St(步骤S506)。
然后翻译单元104将翻译对象句子St进行翻译以输出目标语言句子To(步骤S507)。因为没有添加的关键字(步骤S508“否”)，所以输出单元106对目标语言句子To执行语音合成，并输出该语音(步骤S511)。结果，输出从源语言句子Si(“Do you have any cars？”)翻译的日语句子。
然后，日语说话者说日语句子1002。在这种情况下，输入接收单元101接收日语句子1002的输入作为源语言句子Si。
这里，假设输入接收单元101正确地识别输入语音，并将它输出为源语言句子Si(步骤S501)。
然后执行关键字提取处理(步骤S502)。首先，提取单元102参考规则存储单元111以搜索与源语言句子Si相似的例句条件(步骤S601)。因为如图2所示的规则存储单元111中没有类似的例句(步骤S602“否”)，所以提取单元102然后搜索与源语言句子Si匹配的关键字条件(步骤S603)。
因为没有从如图2所示的规则存储单元111中检测到匹配的关键字条件(步骤S604“否”)，仅仅将源语言句子Si存储在语音历史存储单元112中(步骤S606)。这时，存储在语音历史存储单元112中的内容包括英语句子1101、日语句子1102，如图11所示。
然后，连接单元103参考语音历史存储单元112以获取相应于图11所示的英语句子1101“Do you have any cars？”的记录R，作为源语言句子Si之前一个语音的记录(步骤S503)。因为所获取的记录R包含关键字(步骤S504“是”)，所以根据相应于记录R中的ID“4”的关键字添加方法输出将句子“I have cars.”添加到源语言句子Si的翻译对象句子St(步骤S505)。
然后翻译单元104将翻译对象句子St进行翻译以输出目标语言句子To(步骤S507)。因为所添加的句子“I have cars.”用已经是目标语言的英语书写，所以翻译单元104不需要翻译所添加的句子。
此外，因为已经将关键字添加到翻译对象句子St(步骤S508“是”)，所以执行替换单词搜索处理(步骤S509)。这个实例中，因为如图4所示的替换信息存储单元113中存在单词“automobiles”作为关键字“cars”的替换单词(步骤S509“是”)，所以用该替换单词替换目标语言句子To中的关键字(步骤S510)。
然后输出单元106对目标语言句子To执行语音合成并输出该语音(步骤S511)。结果，输出图12所示的输出句子1201“Yes，I haveautomobiles.”作为从源语言句子Si翻译的，并用替换单词代替关键字的英单词子。
通过上述操作，即使如同在将英语说话者所说的句子“Do youhave cards？”识别为“Do you have cars？”的情况中一样，错误地识别了重要句子，仍然将用替换单词(“automobiles″)替换了关键字的翻译结果添加到日语说话者的语音的翻译结果，。
在这种方式下，不仅重复关键字，而且将关键字翻译为与用于讲话对方所说的语音的语句不同的语句。因此，可以更有效地执行每个语音内容的识别结果的确认。
或者，可以询问用户是否可以添加关键字，然后控制是否应该将关键字添加到将要输出的句子。此外，输出单元106可以用于按照与其他部分不同的方式输出由连接单元103添加的每个关键字以及由单词替换单元105替换的每个关键字。
例如，当将要进行语音合成之后的输出时，可以改变与语音关联的属性，比如音量和语音质量。或者，当在屏幕或者打印机上进行输出时，可以对所添加的部分加下划线，或者可以改变所添加部分的字体大小、样式或者字体颜色。因此，会话中的讲话对方可以迅速识别哪一个是关键字。
在这种方式下，根据第一实施例的交流支持装置提取会话中的关键字，并将与关键字关联的翻译结果呈现给讲话对方。所以，交流支持装置能够方便讲话对方确认会话中的关键字。此外，通过将所提取的关键字翻译为与讲话对方所说的语音中使用的表达不同的表达，交流支持装置能够使用户正确地识别讲话对方的语音，并使用户更准确地确认翻译。因此，不会中断流畅的会话，并且当会话双方之间存在误解时可以防止继续对话。
根据第二实施例的交流支持装置分析每个语音的意图，并且只有在分析结果与语音的预定意图匹配时才执行关键字添加处理。
图13是显示根据第二实施例的交流支持装置1300的结构的框图。如图13所示，交流支持装置1300包括输入接收单元101、提取单元102、关键字添加单元1303、翻译单元104、单词替换单元105、输出单元106、第一分析单元1307、规则存储单元111、语音历史存储单元1312、替换信息存储单元113以及添加条件存储单元1314。
第二实施例与第一实施例的不同在于增加了第一分析单元1307和添加条件存储单元1314，并且关键字添加单元1303的功能与第一实施例的连接单元103的不同。此外，语音历史存储单元1312的数据结构与第一实施例的不同。第二实施例的其它结构和功能与图1的框图中显示的第一实施例的交流支持装置100的相同。与第一实施例相同的部件用与第一实施例中相同的参考标记来表示，这里省略其说明。
添加条件存储单元1314存储作为执行关键字添加处理的条件的添加条件，并且当根据对象语音的意图确定是否能够执行添加处理时参考。
图14是显示存储在添加条件存储单元1314中的添加条件的数据结构的实例的说明视图。如图14所示，每个添加条件具有与表示是否应该执行添加处理的添加处理标志相关联的讲话意图。
在“讲话意图”列中，指定由第一分析单元1307(后面描述)分析的讲话意图或者讲话意图的组合。例如，在图14中，当两个语音分别具有“提问”和“回答”的意图时，讲话意图1401显示讲话意图的组合。讲话意图1403表示当一个语音具有“问候”的讲话意图时的讲话意图。
在添加处理标志列，指定“是”作为实施添加处理的标志，或者“否”作为不实施添加处理的标志。例如，在图14中，添加处理标志1402“是”表示当讲话意图是“提问”和“回答”的组合时将执行添加处理。添加处理标志1404“否”表示当讲话意图是“问候”时将不执行添加处理。
或者，可以从添加条件存储单元1314中移除添加条件的添加处理标志列，可以仅仅指定将执行添加处理的讲话意图。在这种情况下，对于未存储在添加条件存储单元1314中的讲话意图，将不执行添加操作。
语音历史存储单元1312与第一实施例的语音历史存储单元112的不同在于，将每一个存储的语音内容与讲话意图相关联。
图15是显示存储在语音历史存储单元1312中的语音历史的数据结构的实例的说明视图。如图15所示，语音历史将语音内容、关键字、讲话意图以及关键字规则ID彼此关联。
在讲话意图列中，存储由第一分析单元1307(后面描述)分析的每个语音的讲话意图。例如，讲话意图包括提问、回答、接受、请求、以及问候。
例如，使图15中的语音内容1501对应于“提问”的讲话意图1504。使语音内容1502对应于“回答”的讲话意图1505。将语音内容1503与“接受”的讲话意图1506相关联。从语音内容1502中提取关键字1507作为关键字。
第一分析单元1307参考词汇信息和语法规则对每个通过输入接收单元101接收的源语言句子执行自然语言分析处理，比如形态分析、语法分析、依存分析、语义分析以及上下文分析。通过这样做，第一分析单元1307输出作为表示源语言句子的内容的解释的源语言解释。
第一分析单元1307还参考存储在语音历史存储单元1312中的会话历史，分析当前输入的源语言句子的讲话意图以及会话的结构，并输出分析结果。
例如，当输入语音“It′s in front of the post office.”以响应具有讲话意图“提问”的语音“Where is the bus stop？”时，第一分析单元1307将该语音分析为对之前的语音具有“回答”的讲话意图的语音。
这里，由第一分析单元1307进行的自然语言分析处理可以利用各种已知的、广泛流行的技术，比如利用A*算法的形态分析，利用Early算法、Chart算法或通用LR算法的语法分析，基于Shank的脚本或谈话显示理论的上下文分析或谈话分析。
存储形态信息、语法信息以及语义信息的用于自然语言处理的词典记录在通用存储介质上，比如HDD、光盘、存储卡、或RAM。当执行自然语言分析处理时参考词典。
关键字添加单元1303与根据第一实施例的连接单元103的不同在于，关键字添加单元1303确定是否应该对每个通过输入接收单元101接收的语音执行关键字添加处理，同时参考语音历史存储单元1312。
更具体地，关键字添加单元1303从语音历史存储单元1312中获取最新语音的讲话意图以及最新语音之前一个语音的讲话意图，并确定所获取的讲话意图的组合或所获取的最新语音的讲话意图是否与在添加条件存储单元1314的讲话意图列中定义的一个条件相匹配。如果讲话意图列中存在匹配的讲话意图，则关键字添加单元1303从添加条件存储单元1314中获取相应的添加处理标志，并确定是否应该执行添加处理。
接下来，说明将由根据具有上述结构的第二实施例的交流支持装置1300执行的交流支持操作。图16是显示根据第二实施例的交流支持操作的整个流程的流程图。
首先，输入接收单元101接收源语言句子Si的输入(步骤S1601)。这个过程与第一实施例的步骤S501相同。
然后第一分析单元1307分析源语言句子Si，并输出讲话意图INT(步骤S1602)。更具体地，第一分析单元1307参考存储在语音历史存储单元1312中的过去的语音以及输入的源语言句子Si，并通过诸如上下文分析这样的自然语言处理来分析并输出源语言句子Si的讲话意图。
然后提取单元102执行关键字提取处理(步骤S1603)。第二实施例的关键字提取处理与第一实施例的关键字提取处理的不同在于，讲话意图INT也同时在步骤S606存储在语音历史存储单元1312中。关键字提取处理的整个流程的其它部分与图6中的第一实施例的流程图所示的相同，因此这里省略它们的说明。
然后，关键字添加单元1303确定源语言句子Si是不是关键字添加对象(步骤S1604)。例如，当从语音历史存储单元1312中获取“提问”作为最新语音之前一个语音的讲话意图，并且最新语音的讲话意图是“回答”时，该讲话意图与如图14所示的添加条件存储单元1314中的讲话意图1401相匹配。因此，关键字添加单元1303获取相应的添加处理标志1402(是)，并执行添加处理。因此，将源语言句子Si确定为关键字添加对象。
如果源语言句子Si是关键字添加对象(步骤S1604“是”)，那么关键字添加单元1303从语音历史存储单元1312获取最新语音之前一个语音的记录R(步骤S1605)。如果源语言句子Si不是关键字添加对象(步骤S1604“否”)，那么关键字添加单元1303输出源语言句子Si作为翻译对象句子St(步骤S1608)。
在这种方式下，可以在考虑到讲话意图的情况下确定是否应该执行关键字添加处理。因此，不必始终检查关键字，而可以在有效的时机确认关键字。因此，可以在不中断会话流程的情况下执行流畅的交流支持。
步骤S1606到S1613的关键字添加处理、翻译处理、单词替换处理以及输出处理与第一实施例的交流支持装置100中执行的步骤S504到S511的过程相同，因此这里省略它们的说明。
接下来，描述根据第二实施例的交流支持操作的具体例子。图17是显示将存储在语音历史存储单元1312中的信息的实例的说明视图。
应当注意，以下说明基于下述假设，即，图14所示的信息存储在添加条件存储单元1314中。
当这种情况下日语说话者说日语句子1701时，输入接收单元101接收输入的日语句子1701作为源语言句子Si(步骤S1602)。
然后第一分析单元1307分析日语句子1701，以确定日语句子1701具有讲话意图“提问”，并输出分析结果(步骤S1602)。输出的讲话意图(图17中的讲话意图1703)存储在第一分析单元1307中。
然后关键字添加单元1303参考语音历史存储单元1312以确定源语言句子Si是不是关键字添加对象(步骤S1604)。在这个阶段，仅仅日语句子1701存储在语音历史存储单元1312中。对于讲话意图“提问″，添加条件存储单元1314中没有记录。所以，关键字添加单元1303确定源语言句子Si不是关键字添加对象(步骤S1604“否”)。
当英语说话者说英语句子1702“Well，We have a room for 15dollars a night.”以响应日语句子1701时，输入接收单元101接收英语句子1702的输入作为源语言句子Si(步骤S1602)。
然后第一分析单元1307分析英语句子1702，以确定英语句子1702具有讲话意图“回答”，并输出分析结果(步骤S1602)。输出的讲话意图(图17中的讲话意图1704)存储在第一分析单元1307中。在这种情况下，提取图17所示的关键字1705作为关键字(步骤S605)，并存储在第一分析单元1307中(步骤S606)。
关键字添加单元1303参考语音历史存储单元1312以确定源语言句子Si是不是关键字添加对象(步骤S1604)。在这个阶段，仅仅日语句子1701和英语句子1702存储在语音历史存储单元1312中，两个语音的意图的组合是“提问”和“回答”。这个组合与图14中的添加条件存储单元1314中的讲话意图1401匹配。所以，确定源语言句子Si为关键字添加对象(步骤S1604“是”)。
因此，关键字添加单元1303执行步骤S1605到S1607的过程，以执行关键字搜索处理和添加处理。
在这种方式下，在第二实施例的交流支持装置1300中，只有当分析了讲话意图并且讲话意图的分析结果与预定的讲话意图匹配时，才可以执行关键字添加处理。因此，可以在有效的时机确认关键字，并且可以在不中断会话流程的情况下执行流畅的交流支持。
当在语音中检测到由照应表达表示的先行词并且先行词的修饰语或被修饰语包含关键字时，根据本发明的第三实施例的交流支持装置对语音中的照应表达添加包含关键字的修饰语或被修饰语，然后输出得到的句子。
图18是显示根据第三实施例的交流支持装置1800的结构的框图。如图18所示，交流支持装置1800包括输入接收单元101、提取单元102、关键字添加单元1803、翻译单元104、单词替换单元105、输出单元106、第一分析单元1307、第二分析单元1808、规则存储单元111、语音历史存储单元1312、替换信息存储单元113以及添加条件存储单元1314。
第三实施例与第二实施例的不同在于增加了第二分析单元1808，并且关键字添加单元1803的功能与第二实施例的关键字添加单元1303的不同。第三实施例的其它方面和功能与图13的框图所示的第二实施例的交流支持装置1300的相同。与第二实施例相同的部件通过与第二实施例相同的参考标记来表示，这里省略它们的说明。
第二分析单元1808参考存储在语音历史存储单元1312中的过去的语音，并执行照应分析操作以检测包含在源语言语音中的诸如代词的表达与包含在过去的语音中的诸如名词短语的表达是否表示相同的内容或主体。代表检测到的源语言语音中的另一个对象的表达(比如包含在语音中的代词)称为照应表达。此外，由照应表达表示的对象称为先行词。
例如，当输入“This dress is a little bit large in size.”作为第一语音以及后面跟着“I′ll take it.”作为第二语音时，第二分析单元1808为作为第二语音中的代词的照应表达“it”分析先行词，并识别出先行词是第一语音中的“dress″。
将由第二分析单元1808执行的照应分析操作可以利用各种常规方法，比如通过基于缓存模型或中心理论的上下文分析估计代词的先行词的技术。
当第二分析单元1808在输入的源语言句子中检测到照应表达并从过去的语音中检测到相应的先行词时，并且当所检测到的先行词的被修饰语或修饰语包含关键字时，关键字添加单元1803输出将照应表达与先行词的被修饰语或修饰语关联的所输入的源语言句子。
当没有检测到照应表达和先行词时，将要执行的操作与由根据第二实施例的关键字添加单元1303执行的操作相同。
接下来，将说明将由根据具有上述结构的第三实施例的交流支持装置1800执行的交流支持操作。图19是显示根据第三实施例的交流支持操作的整个流程的流程图。
步骤S1901到S1906的输入接收处理、讲话意图分析处理、关键字提取处理以及关键字存在确认处理与根据第二实施例的交流支持装置1300中执行的步骤S1601到S1606相同，因此，这里省略它们的说明。
当在步骤S1906确定源语言句子Si之前的一个语音的记录R中存在关键字时(步骤S1906“是”)，第二分析单元1808对源语言句子Si执行照应分析，并从语音历史存储单元1312获取包含先行词的记录Ra(步骤S1907)。
然后关键字添加单元1803确定是否已经获取了记录Ra，即是否已经检测到照应表达和相应的先行词(步骤S1908)。如果关键字添加单元1803确定已经获取了记录Ra(步骤S1908“是”)，则关键字添加单元1803确定包含在记录Ra中的先行词是否伴随有关键字(步骤S1909)。
这里，“伴随有关键字的先行词”的意思是可以从先行词的修饰语或被修饰语中提取出关键字。关键字提取是按照从源语言句子中提取关键字的方法，通过参考规则存储单元111以搜索匹配的提取条件而执行的。
当在步骤S1909中确定先行词伴随有关键字时(步骤S1909“是”)，关键字添加单元1803输出其中将源语言句子Si中的照应表达与所伴随关键字相关联的翻译对象句子St(步骤S1910)。
这里，“伴随关键字”是包含关键字的修饰语或被修饰语。此外，“与伴随关键字关联的照应表达”的意思是添加包含关键字的修饰语以便修饰照应表达，或者添加包含关键字的被修饰语以便被照应表达修饰。
步骤S1911到S1917的关键字添加处理、翻译处理、单词替换处理以及输出处理与根据第二实施例的交流支持装置1300中执行的步骤S1607到S1613的处理相同，因此这里省略它们的说明。
接下来，描述根据第三实施例的交流支持操作的具体例子。图20是显示将由交流支持装置1800输出的输出句子的实例的说明视图。
以下说明基于下述假设，即，已经输入了如图7所示的由日语说话者所说的意思为“你们有更便宜的房间吗？”的日语句子701以及由英语说话者所说的英语句子702，语音历史存储单元1312保存图8所示的记录。此外，将图2所示的信息和如图4所示的信息分别存储在规则存储单元111和替换信息存储单元113中。
当这种情况下日语说话者说出意思为“I′ll take it.”的日语句子703时，输入接收单元101接收日语句子703的输入作为源语言句子Si。
这里，假设输入接收单元101正确地识别了输入语音，并将它输出为源语言句子Si(步骤S1901)，并且第一分析单元1307确定该语音的意图是“接受″(步骤S1902)。
然后执行关键字提取处理(步骤S1903)。因为没有匹配的提取条件(步骤S604“否”)，所以仅仅将源语言句子Si存储在语音历史存储单元1312中(步骤S606)。
接下来，根据讲话意图之间的关系确定源语言句子Si是否为关键字添加对象(步骤S1904)。因为输入语音的前一个语音的讲话意图是“回答”并且输入语音的讲话意图是“接受”，所以图14中存在讲话意图的匹配条件，因此确定源语言句子Si是关键字添加对象(步骤S1904“是”)。
然后关键字添加单元1803参考语音历史存储单元1312，并获取相应于语音内容802“Well，we have a room for 15 dollars a night.”的记录R作为源语言句子Si的前一个语音的记录(步骤S1905)。因为所获取的记录R包含关键字(步骤S1906“是”)，所以第二分析单元1808执行照应分析处理。通过这个处理，从源语言句子Si中检测到意思为“it”的日语照应表达，并从图8所示的语音内容802获取单词“room”作为相应的先行词。在这种方式下，获取相应于语音内容802的记录作为记录Ra(步骤S1907)。
因为获取了记录Ra(步骤S1908“是”)，所以关键字添加单元1803确定包含在记录Ra中的先行词“room”是否伴随有关键字(步骤S1909)。在这种情况下，先行词“room”伴随有修饰语“for 15dollars”。因为“15 dollars”是有关金额的表达，它也是关键字。因此，确定先行词伴随有关键字(步骤S1909“是”)。
然后关键字添加单元1803输出将源语言句子Si中的照应表达与修饰语相关联的翻译对象句子St(步骤S1910)。在这个实例中，输出将意思为“it”的日语照应表达与修饰语“for 15 dollars”相连接的翻译对象句子St。
然后翻译单元104将翻译对象句子St进行翻译，以输出目标语言句子To(步骤S1913)。
因为将关键字添加到翻译对象句子St(步骤S1914“是”)，所以执行替换单词搜索处理(步骤S1915)。因为如图4所示的替换信息存储单元113中不存在相应的关键字(步骤S1915“否”)，所以输出单元106对目标语言句子To执行语音合成，并输出合成的语音(步骤S1917)。结果，翻译了源语言句子Si，并输出图20所示的输出句子2001“I′ll take it for 15 dollars.”作为添加了关键字的英语句子。
通过上述过程，即使如同在英语说话者所说的句子“Well，wehave a room for 50 dollars a night.”被识别为“Well，we have a room for15 dollars a night.”的情况中一样，错误地识别了重要部份，也仍将重要部份(“15 dollars”)的翻译结果添加到日语说话者的语音的翻译结果并输出得到的句子。
在这种方式下，根据第三实施例的交流支持装置1800在语音中识别由照应表达所表示的先行词。当先行词的修饰语或者被修饰语包含关键字时，将包含关键字的修饰语或者被修饰语添加到语音中的照应表达，并输出得到的句子。所以，当先行词伴随有作为修饰语或者被修饰语的关键字时，可以正确地将关键字添加到相应于先行词的照应表达。
根据第一到第三实施例的每个交流支持装置包括诸如CPU(中央处理单元)的控制设备，诸如ROM(只读存储器)或者RAM(随机访问存储器)的存储设备，诸如HDD(硬盘驱动器)、CD(光盘)或者驱动器设备的外部存储设备，诸如显示屏的显示设备，以及诸如键盘和鼠标的输入设备。这是利用通用计算机的硬件结构。
将在根据第一到第三实施例的每个交流支持装置中执行的交流支持程序预先存储在ROM(只读存储器)等等中。
可以将在根据第一到第三实施例的交流支持装置中执行的交流支持程序以可安装或者可执行文件格式记录在计算机可读记录介质上，例如CD-ROM(光盘只读存储器)、软盘(FD)、CD-R(可记录光盘)或DVD(数字多用途光盘)。
将在根据第一到第三实施例的每个交流支持装置中执行的交流支持程序也可以存储在连接到诸如因特网的网络的计算机中，并可以通过网络下载。将在根据第一到第三实施例的每个交流支持装置中执行的交流支持程序也可以通过诸如因特网的网络提供或分发。
将在根据第一到第三实施例的每个交流支持装置中执行的交流支持程序具有包括上述部件(输入接收单元、提取单元、连接单元、翻译单元、单词替换单元、输出单元、第一分析单元以及第二分析单元)的功能的模块结构。作为实际的硬件，CPU(中央处理单元)从ROM中读取交流支持程序并执行该程序，从而装载上述部件并在主存储器设备中生成。
本领域的技术人员将容易地想到其它的优点和变形。所以，本发明的范围不局限于此处所显示并描述的特定细节和典型实施例。因此，在不脱离由附加的权利要求及其等同物所限定的一般发明原理的精神或范围的情况下，可以进行各种修改。
权利要求
1.一种交流支持装置，包括规则存储单元，用于存储提取条件和与该提取条件关联的连接方式；输入接收单元，用于接收第一语言的第一语音和第二语言的第二语音；提取单元，用于根据存储在所述规则存储单元中的提取条件从所述第一语音中提取关键字；翻译单元，用于将所述第一语音从所述第一语言翻译为所述第二语言；输出单元，用于输出所述第二语言的已翻译的第一语音；以及连接单元，用于将通过所述提取单元所提取的所述关键字与所述第二语音相连接，其中所述输入接收单元接收紧接着输出所述已翻译的第一语音之后所说的第二语音，所述连接单元根据与所述提取条件相对应的连接方式将所述提取的关键字与所述第二语音相连接，其中，所述连接方式用于输出与在所述第一语言的第一语音之后所说的所述第二语言的第二语音相连接的所述提取的关键字，所述翻译单元进一步将与所述提取的关键字连接的第二语音从所述第二语言翻译为所述第一语言，以及所述输出单元进一步输出与所述第二语音相连接的所述第一语言的所述提取的关键字，以及已翻译的第二语音。
2.如权利要求1所述的交流支持装置，其中所述规则存储单元存储所述提取条件和所述连接方式，其中，所述提取条件用于从语音中提取预定的搜索对象单词作为关键字，所述连接方式对应于所述提取条件，所述连接方式用于输出短语，在所述短语中的预定位置具有所述提取的关键字，所述短语与在从中提取了所述关键字的语音之后所说的语音相连接；所述提取单元根据存储在所述规则存储单元中的所述提取条件，从所述第一语音中提取与所述搜索对象单词相同的单词或与所述搜索对象单词类似的单词，作为所述关键字；以及所述连接单元根据与提取所述关键字时使用的提取条件对应的连接方式，将所述第二语音与所述短语相连接，其中，在所述短语中的预定位置具有所述提取的关键字。
3.如权利要求1所述的交流支持装置，其中所述规则存储单元存储所述提取条件以及与所述提取条件相关联的连接方式，所述提取条件用于从语音中提取对应于示例关键字的单词作为关键字，其中所述示例关键字是包含在预定语音的例句中的预定关键字，所述提取条件用于输出短语，在所述短语中的预定位置具有所述提取的关键字，所述短语与在从中提取了所述关键字的语音之后所说的语音相连接；所述提取单元从所述规则存储单元中搜索与所述第一语音相同或相似的例句，并根据存储在所述规则存储单元中的所述提取条件提取与包含在所述检测到的例句中的示例关键字对应的单词，其中，从包含在所述第一语音中的单词中提取所述单词作为所述关键字；以及所述连接单元根据与当提取所述关键字时使用的提取条件相对应的连接方式，将所述第二语音与所述短语相连接，在所述短语的预定位置具有所述提取的关键字。
4.如权利要求1所述的交流支持装置，还包括存储所述第一语音和所述第二语音的语音历史的语音历史存储单元；以及第一分析单元，用于根据存储在所述语音历史存储单元中的语音历史和所述第二语音来分析所述第二语音的讲话意图，其中当所述第二语音的讲话意图与预定的讲话意图匹配时，所述连接单元根据与用于提取所述关键字的提取条件相对应的连接方式，将所述第二语音与所述提取的关键字相连接。
5.如权利要求1所述的交流支持装置，还包括第二分析单元，用于分析所述第二语音的意思，并从存储在所述语音历史存储单元中的语音历史中获取由表示包含在所述第二语音的语音中的另一个对象的照应表达指示的对象，其中当所述指示的对象的被修饰语或修饰语包含所述提取的关键字时，所述连接单元将包含在所述第二语音中的所述照应表达与所述指示的对象的被修饰语或修饰语相连接。
6.如权利要求1所述的交流支持装置，还包括替换信息存储单元，用于存储任意单词以及与所述任意单词相关联的替换单词，其中所述替换单词与所述任意单词具有相同的意思，但是按照与所述任意单词不同的形式来表达；以及单词替换单元，用于从所述替换信息存储单元搜索相应于与所述已翻译的第二语音相连接的所述关键字的替换单词，并且用搜索到的替换单词替换与所述已翻译的第二语音相连接的关键字，其中所述输出单元输出所述已翻译的第一语音、代替所述关键字的所述替换单词以及所述已翻译的第二语音。
7.如权利要求1所述的交流支持装置，还包括语音识别单元，用于接收所述第一语音和所述第二语音的音频输入，并在识别所述接收的语音之后输出语音识别结果，其中所述输入接收单元接收由所述语音识别单元输出的所述语音识别结果，作为所述第一语音或所述第二语音的输入。
8.如权利要求1所述的交流支持装置，还包括字符识别单元，用于接收字符信息形式的第一语音和第二语音的输入，并在识别所述接收的字符信息之后输出字符识别结果，其中所述输入接收单元接收由所述字符识别单元输出的所述字符识别结果，作为所述第一语音和所述第二语音的输入。
9.如权利要求1所述的交流支持装置，还包括显示单元，用于显示所述第二语音，其中所述输出单元将所述已翻译的第二语音输出到所述显示单元。
10.如权利要求1所述的交流支持装置，其中，所述输出单元将所述已翻译的第二语音输出到打印机。
11.如权利要求1所述的交流支持装置，还包括语音合成单元，用于为所述已翻译的第二语音执行所述第二语言的语音合成，其中所述输出单元输出所述第二语言的合成语音。
12.如权利要求11所述的交流支持装置，其中，所述语音合成单元通过改变与包含在所述已翻译的第二语音中的关键字对应的声音的声音属性来执行语音合成，从而将所述声音属性与对应于包含在所述已翻译的第二语音中的除所述关键字以外的部分的声音属性相区别，所述声音属性包括声音的音量和音质。
13.一种交流方法，包括接收第一语言的第一语音；根据提取条件从所述第一语言的第一语音中提取关键字；将所述第一语音从所述第一语言翻译为第二语言；输出所述第二语言的已翻译的第一语音；紧接着输出所述第二语言的已翻译的第一语音之后接收所述第二语言的第二语音；根据与所述提取条件相对应的连接方式将所述第二语言的第二语音与所述第一语言的所提取的关键字相连接，所述连接方式用于输出与在所述第一语言的第一语音之后所说的所述第二语言的第二语音相连接的所述提取的关键字；将所述第二语音从所述第二语言翻译为所述第一语言；以及输出与所述第二语音相连接的所述第一语言的所述提取的关键字，以及所述已翻译的第二语音。
全文摘要
一种交流支持装置，包括规则存储单元，存储用于从语音提取关键字的提取条件和与提取条件相关联的连接方式；输入接收单元，用于接收语音输入；提取单元，用于根据存储在规则存储单元中的提取条件从第一语言的第一语音提取关键字；翻译单元，用于将第一语音从第一语言翻译为第二语言；输出单元，用于输出所翻译的第一语音；以及连接单元，用于根据与提取关键字时使用的提取条件相对应的连接方式，将所提取的关键字与紧接着输出第一语音之后以第二语言所说的第二语音相连接。
文档编号G06F17/30GK101025735SQ200710005310
公开日2007年8月29日 申请日期2007年2月14日 优先权日2006年2月20日
发明者釜谷聪史, 知野哲朗 申请人:株式会社东芝