专利名称：对话支援装置的制作方法
技术领域：
本发明涉及将用语音输入的原语言的语句变换成目标语言以语音或文字输出的便携式对话支援装置。
背景技术：
翻译输入语音的对话支援系统已作为工作站或个人计算机上的软件开发。在实验室环境下，如果将会话的范围限定为旅游会话等用途，则对于熟悉其使用方法的使用者来说，其性能已经达到了实用的水平。但是，从可用性的观点来看，还未达到一般的海外旅行者能够在实际旅行中使用的水平。为了提高可用性，需要能够安装到大小容易携带的硬件中、并且能够容易地学习，实现能够简单地操作的用户界面。
以往，限制在工作站或个人计算机上开发的语音翻译软件的功能或性能后，将其移植到能够用单手握持的PDA(Personal DigitalAssistance，个人数字助理)中，从而提高可用性(例如参照非专利文献1)。
但是，在利用语音输入的基于例句的翻译方式中，为了涵盖一般的旅游会话，需要准备数千个例句，根据语音识别的结果，有时会出现多个作为候补的例句。例如，在从所有例句来看出现频度高的单词(例如“ぁる”或“円”等)通过语音识别能够准确地识别，除此以外的单词不能够准确识别的情况下，作为候补被选择并提示给使用者的例句数量必然会增加。在这种情况下，使用者从例句候补中选择希望的例句并非易事。尤其是，在阅读例句候补一览的显示装置较小、能够同时阅读的例句数量明显少的情况下，从提示的候补中选择希望的例句更加困难。并且，在阅览例句候补的过程中发现了与所希望的例句接近的例句的情况下，多数情况下难以判断是采用该例句还是检索更接近的例句。因此需要对大量例句候补的选择进行辅助的功能。
为此，本申请的申请人提出了一种语音变换装置，根据例句中的单词的依存关系来检索例句，这样使灵活的检索成为可能，并且能够提高关于显示内容的使用性(例如，参照专利文献1)。
但是，例句的检索精度的改善是有限的，尤其是在阅读例句候补的一览的显示装置较小、能够同时阅读的例句数量明显少的情况下，依然是不充分的，难以从提示的候补中选择所希望的例句。
非专利文献1Kenji Matsui et al.“AN EXPERIMENTALMULTILINGUAL SPEECH TRANSLATION SYSTEM”，Workshops onPerceptual/Perceptive User Interface 2001，ACM Digital Library，ISBN1-58113-448-7专利文献1日本特开2003-288339号公报发明内容因此，本发明鉴于上述问题而做出，其目的在于提供一种能够从与输入的语音相对应的例句候补中容易地选择所希望的例句的对话支援装置。
为了达到上述目的，本发明的对话支援装置，识别输入的原语言的语音，根据语音识别结果，提示与上述原语言对应的翻译语言，其具备例句检索单元，根据包含在上述语音识别结果中的关键词，检索原语言的例句；例句比较单元，将上述语音识别结果与检索到的上述例句进行比较；例句显示控制单元，显示检索到的上述例句，并且根据上述语音识别结果与上述例句的比较结果，强调显示上述例句中的上述关键词。
通过以上的说明可以清楚地知道，根据本发明涉及的对话支援装置，能够强调显示包含在多个例句候补中的使用者所希望的例句中的关键词。因此，即使在语音识别结果不充分而得到多个例句候补的情况下，使用者也能够简单且快速地从强调显示或者被排列的例句候补中选择所希望的例句。因此，使用者能够通过语音输入快速地检索所希望的例句，能够不让对话的对象等待，通过对话支援装置顺利地进行对话，需要原语言以外的语言的机会增加，在对话支援装置不断普及的今天其实用价值极高。
本发明的实施方式涉及的对话支援装置，识别输入的原语言的语音，根据语音识别结果，提示与上述原语言对应的翻译语言，其具备例句检索单元，根据包含在上述语音识别结果中的关键词，检索原语言的例旬；例句比较单元，将上述语音识别结果与检索到的上述例句进行比较；例句显示控制单元，显示检索到的上述例句，并且根据上述语音识别结果与上述例句的比较结果，强调显示上述例句中的上述关键词。
由此，能够强调显示包含在多个例句候补中的使用者所希望的例句中的关键词。因此，使用者能够简单并且快速地从与输入的语音相对应的多个例句候补中选择所希望的例句。
这里，优选的是，上述例句比较单元通过对上述语音识别结果中包含的关键词在上述例句中的位置和上述关键词在上述语音识别结果中的位置进行比较，计算出上述关键词的关键词一致程度；上述例句显示控制单元根据上述关键词一致程度强调显示上述例句中的上述关键词。
或者，也可以是，上述例句比较单元根据上述关键词一致度计算出强调显示上述关键词时的显示参数；上述例句显示控制单元根据上述显示参数强调显示上述例句中的上述关键词。
或者，也可以是，上述例句比较单元用读音标记或发音记号在字符串中的出现位置，计算出上述语音识别结果中包含的关键词在上述例句中的位置、和上述关键词在上述语音识别结果中的位置。
这样，同例如通过语音识别进行的、利用自发声开始的经过时间等来计算关键词的位置时相比，能够以短时间进行关键词位置的计算。
而且，也可以是，当上述例句比较单元用读音标记或发音记号在字符串中的出现位置，计算出上述语音识别结果中包含的关键词在上述例句中的位置、和上述关键词在上述语音识别结果中的位置时，使上述读音标记或上述发音记号的字符数根据字符的种类可变地进行计数。
而且，也可以是，当上述原语言为日语时，上述例句比较单元根据上述字符的种类是上述读音标记的短音、长音或促音中的哪一个来变更字符数进行计数。
或者，也可以使，当上述原语言为英语时，上述例句比较单元根据上述字符的种类是上述发音记号的元音、长元音或辅音中的哪一个来变更字符数进行计数。
而且，也可以是，上述例句比较单元将上述语音识别结果中包含的关键词在上述例句中的位置与上述关键词在上述语音识别结果中的位置之差，作为上述关键词的一致度。
而且，也可以是，上述例句比较单元将对上述语音识别结果中包含的关键词在上述例句中的位置与上述关键词在上述语音识别结果中的位置之差进行了规格化的值，作为上述关键词一致度。
而且，也可以是，上述例句比较单元根据上述例句中包含的各关键词的上述关键词一致度，计算出对上述例句的语句一致度。
在此，也可以是，上述例句比较单元计算出上述关键词一致度为规定值以上的上述关键词在上述例句中的数量，作为上述语句一致度。
而且，也可以是，在显示多个上述例句时，上述例句显示控制单元根据上述语句一致度决定上述例句的显示顺序。
由此，能够优先显示多个例句候补中使用者所希望的例句。由此，使用者能够简单且快速地从多个例句候补中选择所希望的例句。
本发明涉及的例句检索装置，检索与输入的语句对应的例句，其具备例句检索单元，根据包含在上述语句中的关键词，检索上述例句；例句比较单元，进行上述语句和检索到的上述例句的比较；例句显示控制单元，显示检索到的上述例句，根据上述语句和上述例句的比较结果，强调显示上述例句中的上述关键词。
由此，能够强调显示包含在多个例句候补中的使用者所希望的例句中的关键词。因此，使用者能够简单且快速地从多个例句候补中选择所希望的例句。
另外，本发明不仅能够实现这样的对话支援装置，还能够作为将这样的对话支援装置所具备的特征单元作为步骤的对话支援方法而实现，或者作为使计算机执行这些步骤的程序而实现。并且，毫无疑问，这样的程序也能够通过CD-ROM等记录介质或因特网等传输介质发送。
图1是表示本发明涉及的对话支援装置的一个实施方式的结构的方框图。
图2是表示本发明涉及的对话支援装置的一个实施方式的例句数据库结构的一例的方框图。
图3是表示本发明涉及的对话支援装置的一个实施方式的分类单词信息结构的一例的方框图。
图4是表示本发明涉及的对话支援装置的一个实施方式的PDA一例的图。
图5是表示本发明涉及的对话支援装置的一个实施方式的除例句比较单元以外的动作流程的流程图。
图6是表示对本发明涉及的对话支援装置的一个实施方式的PDA进行的使用者操作一例的图。
图7是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图8是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图9是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图10是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图11是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图12是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图13是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图14是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图15是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图16是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图17是表示本发明涉及的对话支援装置的一个实施方式的例句数据库结构的一例的方框图。
图18是表示对本发明涉及的对话支援装置的一个实施方式的PDA进行的使用者操作一例的图。
图19是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元的动作流程的流程图。
图20是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元中计算单词出现位置的一个计算例的图，(a)表示对于语音识别结果的单词出现位置的计算结果，(b)表示对于例句的单词出现位置的计算结果。
图21是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元中计算单词分数(score)的一个计算例的图。
图22是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图23是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元的动作流程的流程图。
图24是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元中计算语句分数的一个计算例的图。
图25是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图26是表示本发明涉及的对话支援装置的一个实施方式的例句数据库结构的一例的方框图。
图27是表示对本发明的对话支援装置的一个实施方式的PDA进行的使用者操作的一例的图。
图28是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元中计算单词出现位置的一个计算例的图，(a)是表示对于语音识别结果的单词出现位置的计算结果的图，(b)是表示对于例句的单词出现位置的计算结果的图。
图29是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元中计算单词分数的一个计算例的图。
图30是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
图31是表示本发明涉及的对话支援装置的一个实施方式的例句比较单元中计算语句分数的一个计算例的图。
图32是表示本发明涉及的对话支援装置的一个实施方式的GUI单元的显示内容一例的图。
具体实施例方式
下面，参照
本发明的实施方式。
图1是表示本发明涉及的对话支援装置的一个实施方式的结构的方框图。
对话支援装置100是识别输入的原语言的语音并根据识别出的语音识别结果提示与原语言相对应的翻译语言(目标语言)的对话支援装置，如图1所示，具有控制单元101、GUI(Graphical User Interface，图形用户界面)单元102、语音输入单元103、语音识别单元104、数据库单元115、翻译单元116、语音合成单元113以及语音输出单元114。并且，数据库单元115具备例句数据库105、分类单词信息106和词典107。并且，翻译单元116具备例句选择单元108、例句比较单元112、单词选择单元109、替代单词选择单元110和语言变换单元111。
控制单元101进行对各构成要素的指示，控制各构成要素之间的信息的流动。GUI单元102接受来自使用者的输入并传送给控制单元101，并且根据显示参数显示来自控制单元101的例句等信息。语音输入单元103收集使用者发出的语音。语音识别单元104对从语音输入单元103传送来的使用者的语音进行连续语音识别。例句数据库105将原语言与目标语言的例句对应起来保存。分类单词信息106中保存与在例旬数据库105被分类的单词有关的信息。词典107中保存与在例句数据库105和分类单词信息106中使用的所有单词(关键词)有关的信息。例句选择单元108根据从控制单元101传送来的语音识别结果、或GUI单元102的操作，从例句数据库105中选择一个以上的例句。
例句比较单元112将由例句选择单元108选择的一个以上的例句与由语音识别单元104识别的语音识别结果进行比较，计算单词的出现位置。并且，例句比较单元112用单词的出现位置计算单词的分数(关键字的一致性)，根据该单词的分数计算出各例句中各单词的显示参数。单词选择单元109根据来自控制单元101的指示，对由例句选择单元108选择的例句中的一个例句进行被分类的单词的选择。对于控制单元101指定的被分类的单词，替代单词选择单元110参照分类单词信息106选择替代单词。语言变换单元111通过参照例句数据库105和分类单词信息106将由控制单元101指定的例句变换成目标语言。语音合成单元113将控制单元101指定的目标语言的例句语句变换成合成语音。语音输出单元114将语音合成单元113的输出作为语音提供给使用者。
图2是表示例句数据库105的具体例的图。这里，为了使说明简单，从多个例句中选择了4个例句。例句与1句对话相对应，是在一般的旅游会话中使用频度高的语句。“例句编号”字段是用于在例句数据库中确定1个例句的标识符，不与其他的例句重复。各例句中，“原语言”与“目标语言”字段保持着原语言与目标语言的对应。“原语言的构成要素”和“构成要素的依存关系”是在用语音检索例句时使用的。
“原语言”字段中的斜线“/”记号表示在词典107中管理的单词的分隔。并且，“原语言”字段中带圈的数字是指向被登记在“原语言的构成要素”字段中的单词的指针。例如，在例句203中，”原语言”字段的带圈数字2指“原语言的构成要素”字段的带圈数字2的“かかり”(需要)。因此，例句2003的“原语言”字段在对话支援装置100中被解释为“<日数>かかりますか”(需要<天数>)。
在对话支援装置100中，分类意是指将意思上属于同类或同种的单词建立联系。例如，例句203的“原语言的构成要素”字段的带圈数字1、和例句204的“原语言的构成要素”字段的带圈数字2分别是被分类的单词。被分类的单词可以与由分类单词信息106定义的相同类的单词置换。在本实施方式中，为了方便，对于被分类的单词用尖括号括起来记述。
图3是表示分类单词信息106的具体例301和词典107的具体例302的图。各分类在对话支援装置100中具有唯一的标识符(分类ID)，分类名中分配了“薬”(药)或“果物”(水果)这样的抽象度高的单词。在具体例301中，属于相同的分类ID的“原语言”和“目标语言”的单词组中，起始行是分类代表单词。例如，在分类名<薬>中，“薬”[medicine]是c1的分类代表单词。其他的行是表现分类的具体实体的成员单词。例如，在c1中，“ァスピリン”[aspirin]、“トロ一チ”[troche]等是c1的成员单词。另外，分类单词信息106也可以采用将分类分层的结构。词典107保存并管理包含在分类单词信息106中的所有单词和在例句数据库105的“原语言的构成要素”字段中出现的单词。各单词在本装置内具有唯一的标识符(单词ID)，由标记、读法和指向分类单词信息106的指针构成。例如，具体例302中的单词ID为w2的单词是指其标记为“犬”，读法为“inu”，分类信息为c3，具体例301的分类名为<ペット>(宠物)。另外，虽然在图2所示的例句数据库105的具体例中，“原语言”字段和“原语言的构成要素”字段为了方便而使用单词的标记和分类名，但实际上由单词ID或分类ID构成。
图4是表示将本发明安装到市场上销售的一般的PDA或小型个人计算机中的样子的图。语音输入单元103相当于麦克风401，语音输出单元114相当于扬声器402，使用者对401发出语音，对方听到从扬声器402输出的目标语言的语音。GUI单元102相当于带触摸屏的液晶显示器403，使用者用触针404操作显示在液晶显示器403上的目标。并且，选择单元405是用于显示及选择例句的区域，例句选择结果显示单元406是显示使用者所指定的例句的区域，翻译结果显示单元407是显示语言变换单元111变换成的目标语言的例句的区域。按钮408是在即将开始语音输入之前按压的区域。另外，由于能够容易地想象到并实现而在图4中没有表示，但是，在按钮、键盘等输入设备安装到PDA或个人计算机上的情况下，也可以用这些输入设备来取代触针404，操作GUI单元102。
下面，说明上述结构的对话支援装置100的动作，为了说明的简单，省略了例句比较单元112的动作。
图5是表示对话支援装置100的除了例句比较单元112以外的部分的动作流程的基本流程图，图6到图16是表示GUI单元102的显示内容的一例的图。
首先，如图6所示，当使用者按下按钮408时，控制单元101指示语音输入单元103输入语音。使用者用麦克风401发出例如“ぁの、なにかくすりはぁりませんか”(请问，有什么药吗)的语音。语音输入单元103将输入的语音发送给语音识别单元104(步骤S501)。语音识别单元104进行语音识别，将识别结果输出给控制单元101(步骤S502)。
下面，说明对于“ぁの、なにかくすりはぁりませんか”(请问，有什么药吗)这样的输入，语音识别单元104输出包含错误识别的识别结果“7日薬はぁりますか”(有7天的药吗)时的情况。
控制单元101命令例句选择单元108根据“7日薬はぁりますか”(有7天的药吗)检索例句。例句选择单元108根据“7日薬はぁりますか”(有7天的药吗)检索例句(步骤S503)。即，例句选择单元108根据“7日薬はぁりますか”(有7天的药吗)这样的语音识别结果，抽出在例句数据库105定义的例句的“原语言的构成要素”字段中出现的单词，即重要单词的集合“7日”、“薬”、“ぁり”(有)。另外，对于属于与“原语言的构成要素”字段中出现的分类相同分类的单词，视作在“原语言的构成要素”中出现的单词。例如图3所示，由于“7日”是分类单词<天数>的成员单词，“薬”是分类单词<薬>的成员单词，因此都是在“原语言的构成要素”字段中出现的单词。
例句选择单元108对例句数据库105的各例句扫描“原语言的依存关系”的字段，依次确认依存关系。然后，在一个以上的依存关系成立的例句中，依次选择成立数多的例句。例如，对于图2所示的例句203，由于在重要词集合中不存在“かかり”(需要)，因此，依存关系成立的数量为0。对于例句204，由于在重要词的集合中不存在“何か”(什么)，因此，构成要素的依存关系中带圈数字(1→2)不成立，但带圈数字(2→3)成立。因此，依存关系的成立数为1。
如果设计成例句选择单元108从例句数据库105中选择依存关系成立数为1以上的例句，则例句203不被选择，而选择例句204。在以下的说明中，说明同样地选择“薬ですか”(是药吗)和“薬です”(是药)作为例句数据库105中的其它例句时的情况。
控制单元101将从例句选择单元108发送来的例句发送给GUI单元102。GUI单元102将被选择的例句如图7所示地显示在例句候补显示单元405(步骤S504)。
当使用者如图8所示地选择了被显示在例句候补显示单元405上的一个例句“何か薬はぁりますか”(有什么药吗)时，控制单元101将该例句如图9所示那样设定在例句结果显示单元406(步骤S505)。并且，在使用者选择例句之后，控制单元101命令单词选择单元109从例句中抽出被分类的单词。本例中抽出“薬”。控制单元101向GUI单元102发送单词，GUI单元102对显示在例句结果显示单元406中的“薬”显示下横线，表示是使用者可改变的单词。
接着，控制单元101决定是改变所选择的例句中的单词、还是进行翻译(步骤S506)。即，当使用者如图10所示地点击了例句结果显示单元406的语句以外的显示区域时，控制单元101决定进行翻译。此时，被确定的例句发送给控制单元101，控制单元101将其发送给语言变换单元111。语言变换单元111通过利用例句数据库105抽出当前所选择例句的“目标语言”的字段，变换成“Any medicine？”，将变换结果发送给控制单元101(步骤S512)。控制单元101如图11所示地将变换结果发送给GUI单元102和语音合成单元113。GUI单元102将变换结果显示在翻译结果显示单元407。另一方面，语音合成单元113对变换结果进行语音合成并发送给语音输出单元114，从扬声器402输出(步骤S512)。
另一方面，当使用者如图12所示地点击了例句结果显示单元406的语句的带有下划线的单词区域时，控制单元101决定改变例句中的单词。此时，控制单元101将使用者指定的单词“薬”发送给替代单词选择单元110。替代单词选择单元110参照分类单词信息106抽出与使用者指定的单词“薬”相同分类的成员单词，即“ァスピリン”(阿司匹林)、“かぜ薬”(感冒药)、“トロ一チ”(片剂)、“胃腸薬”(肠胃药)，将它们发送给控制单元101(步骤S507)。
接着，控制单元101向GUI单元102发送替代单词一览表，GUI单元102如图13所示地将替代单词的一览表显示在列表窗1301中(步骤S508)。
当使用者如图14所示那样从显示在列表窗1301中的替代单词一览表中点击并选择所希望的单词即替代单词1401时，GUI单元102取得替代单词“ァスピリン”(阿司匹林)，发送给控制单元101(步骤S509)。
控制单元101利用使用者指定的替代单词“ァスピリン”(阿司匹林)将例句变换成“何かァスピリンはぁりますか”(有阿司匹林吗)。然后，GUI单元102如图15所示地将显示在例句结果显示单元406中的例句变换成“何かァスピリンはぁりますか”(有阿司匹林吗)并显示(步骤S510)。然后，返回到是变更例句中的单词、还是进行翻译的决定处理(步骤S506)。
之后，根据需要重复进行同样的处理(步骤S507到S510)。当使用者在上述决定处理(步骤S506)中确定了例句时，如图16所示地将“何かァスピリンはぁりますか”(有阿司匹林吗)变换成目标语言“Any aspirin？”，并输出合成语音。
接着，说明增加了例句比较单元112时的对话支援装置100的动作。
下面，使用图17所示的例句数据库105的另一具体例进行说明。这里，假设如图18所示地使用者按下按钮408之后发出“ぃむしっ一でぃらょぅゃくゎもらぇませんか(到医务室拿点肠胃药好吗？)”，获得“壳ほしぃ胃腸薬もらぁり(ゥホシィィチョゥャクモラァリ”作为语音识别结果。另外，在未增加例句比较单元112的情况下，对于例句1701到例句1704的所有例句，分别成立一个依存关系。因此，例句选择单元108将4个例句都作为候补输出，使用者必须一边看着显示在例句候补选择单元405中的多个例句，一边决定所希望的例句。
图19是表示例句比较单元112的动作流程的流程图。另外，例句比较单元112的动作在图5中的例句检索处理(步骤S503)与例句显示处理(步骤S504)之间进行。
首先，例旬比较单元112对由例句选择单元108作为候补输出的所有的例句，计算单词在语音识别结果中出现的单词出现位置(步骤S1901)。使用词典107将例句变换成读音字符串，使用该字符串中的位置(文字数)作为该出现位置。例如，例句1701被变换成图20(b)所示的片假名字符串。当“ョ”这样的小写字不能算作一个字符时，出现在语音识别结果中的“胃腸薬”(肠胃药)，在例句1701中出现在例2001所示的位置“0”上，“ほしぃ”(需要)在位置“6”出现。同样，例句比较单元112还计算语音识别结果中的各单词的出现位置。例如，图20(a)所示地包含在语音识别结果中的单词“胃腸薬”的位置是“4”。
接着，例句比较单元112利用读音字符串的长度对单词的出现位置进行规格化(步骤S1902)。例如，例句1701的情况下，读音长度为13字符，“胃腸薬”(肠胃药)和“ほしぃ”(需要)的出现位置分别被规格化为0/13＝0和6/13＝0.46。同样，例句比较单元112还对包含在语音识别结果中的各单词的出现位置也进行规格化。例如，图20(a)所示地包含在语音识别结果中的单词“胃腸薬”(肠胃药)的位置被规格化为4/13＝0.31。
接着，例句比较单元112根据例句中的单词位置和语音识别结果中的单词位置，对各例句的语音识别结果中包含的各单词计算单词分数(步骤S1903)。单词分数用下式计算(单词分数)＝(例句中的位置)-(语音识别结果中的位置)。例如，对于例句1703来说，如图21的例2101所示地“胃腸薬”(肠胃药)的分数为0.29-0.31＝-0.02，“もら”(得到)的分数为0.65-0.69＝-0.04。
接着，例句比较单元112根据计算出的单词分数，对各例句的各单词计算显示参数(步骤S1904)。例如，当单词分数的绝对值为0.1以下时，如果预先设定如添加了下划线那样的参数，则GUI单元102对符合该条件的例句1703的“胃腸薬”(肠胃药)及“もら”(得到)和例句1704的“胃腸薬”(肠胃药)附加下划线，例句的候补如图22所示地显示在例句候补选择单元405。因此，使用者被添加了下划线的例句引导，能够从多个例句候补中简单并快速地选择例句“医務室で胃腸薬をもらぇますか”(到医务室拿点肠胃药好吗？)。
而且，虽然在上述说明中例句比较单元112根据单词分数计算了显示参数，但是，也可以进一步按每个例句计算语句分数(语句一致度)来改变例句的显示顺序。图23是表示此时的例句比较单元112的动作流程的流程图。另外，从出现位置的计算处理(步骤S1901)到显示参数的计算处理(步骤S1904)，是与上述相同的。
例句比较单元112计算例如单词分数的绝对值在0.1以下的单词的数量，作为各例句的语句分数(步骤S2301)。对于图21所示的例，计算图24所示的语句分数2401。按照语句分数的从大到小顺序重新排列例句选择单元108输出的例句，从而如图25所示地显示在例句候补选择单元405中。因此，使用者能够从例句候补选择单元405的先头开始看并被带有下划线的例句所引导，能够从多个例句候补中更简单并快速地选择例句“医務室で胃腸薬をもらぇますか”(到医务室拿点肠胃药好吗？)。
在此，根据语句分数对例句进行了重新排列，但并不限定于此，也可以是，例如对语句分数在规定值以上的例句进行强调整个语句的显示。
接着，说明例句比较单元112将英语作为原语言进行处理时的本实施方式的动作。而且，由于此时的动作流程与上述说明的日语作为原语言时的相同，因此，虽然使用图19所示的流程图进行说明，但各自的动作内容不同。
下面，用图26所示的例句数据库105的其它具体例进行说明。对话支援装置100进行从英语至日语的变换。当使用者如图27所示地按下按钮408后发出“Wmm，can I have medicine in some room？”的语音时，获得“want I have medicine in sell room”作为语音识别结果。另外，在未增加例句比较单元112的情况下，对于例句2601到例句2604的所有例句分别成立一个依存关系。因此，例句选择单元108将4个例句全部作为候补输出，使用者必须一边看着显示在例句候补选择单元405的多个例句、一边决定所希望的例句。
当原语言为英语时，首先，例句比较单元112对由例句选择单元108作为候补输出的所有例句，计算单词在语音识别结果中出现的单词出现位置(步骤S1901)。使用词典107将例句变换成发音记号字符串，使用该字符串中的位置(文字数)作为该出现位置。例如，例句2601如图28(b)所示地被变换成发音标记的字符串。
在此，向发音记号的变换中适用如下规则，即删除用斜体字标记的辅音——即轻声发音的辅音。并且，关于被变换的发音记号的字符数的计数，可以按照以下规则，根据字符的种类可变地计数，即(1)单词之间的空格不计数；(2)辅音计数为0.5个字符；(3)元音(a，i等)计数为1个字符；(4)长元音(a等)计数为2个字符。
通过按照这样的规则计算，出现在语音识别结果中的“want”在例句2801中如例2801所示地出现在位置“2”上，“medicine”出现在位置“4.5”上。同样，例句比较单元112也计算语音识别结果中的各单词的出现位置。例如，图28(a)所示地包含在语音识别结果中的单词“medicine”的位置为“6.5”。
接着，例句比较单元112利用读音字符串的长度对单词出现位置进行规格化(步骤S1902)。例如，例句2601的情况下，读音长度为7.5个字符，“want”和“medicine”的出现位置分别被规格化为2/7.5＝0.27和4.5/7.5＝0.60。同样，例句比较单元112还对语音识别结果中的各单词的出现位置进行规格化。例如，图28(a)所示，包含在语音识别结果中的单词“medicine”的位置被规格化为6.5/16＝0.46。
接着，例句比较单元112根据例句中的单词位置和语音识别结果中的单词位置，对各例句的语音识别结果中包含的各单词计算单词分数(步骤S1903)。单词分数用下式计算(单词分数)＝(例句中的位置)-(语音识别结果中的位置)。例如，对于例句2603来说，图29的例2901所示，“have”的分数为0.24-0.28＝-0.04，“medicine”的分数为0.36-0.46＝-0.10。
接着，例句比较单元112根据计算出的单词分数对各例句的各单词计算显示参数(步骤S1904)。例如，当单词分数的绝对值为0.1以下时，如果预先设定带有下划线那样的参数，则GUI单元102对符合该条件的例句2603的“have”和“medicine”附加下划线，例句的候补如图30所示地显示在例句候补选择单元405。因此，使用者附加了下划线的例句所引导，能够从多个例句候补中简单并快速地选择例句“Can I have medicine in medical room？”。
而且，与上述的从日语至英语的变换一样，例句比较单元112也可以计算出每个例句的语句分数(语句一致度)来改变例句的显示顺序。例如，当用单词分数的绝对值在0.10以下的单词数量来计算语句分数时，对于图29所示的例子，计算图31所示的语句分数3101。通过按照语句分数从大到小的顺序重新排列例句选择单元108输出的例句，如图32所示地显示在例句候补选择单元405。因此，使用者从例句候补选择单元405的开头开始看、并且被附加了下划线的例句所引导，能够从多个例句候补中简单且快速地选择例句“Can I havemedicine in medical room？”。
另外，虽然在以上的说明中将使用者对GUI单元102的输入分别限定为触摸屏输入和按钮输入，但也可以利用语音识别处理用语音来选择决定单词或例句。而且，也可以组合触摸屏、按钮、语音的各输入形式进行操作。并且，虽然举日语和英语作为一个例子，但对于中文等其他语言同样可以实施，本发明不依赖于语种。
而且，语音识别单元102在其内部使用的语言模式是以例句数据库105保持的例句的“原语言”字段的语句为中心构筑的。一般而言，为了构筑语言模式，需要将语句分割成词素等最小单位，语音识别单元104的输出成为其最小单位的系列。向最小单位的分割，也可以利用词典107的信息。而且，也可以进行比词典107更详细的分割来构筑语言模式，作为语音识别单元104的输出，可以变形为登记到词典107中的单词后输出。
而且，例句比较单元112对显示参数的控制，除了对一致的单词附加下划线以外，还可以利用字符颜色的浓淡或字符的闪烁等各种各样的显示方法。而且，关于例句比较单元112利用语句分数进行的例句候补的重新排列，也可以使语句分数低的例句的显示颜色淡等，根据语句分数按例句单位控制显示参数。
而且，虽然在本实施方式中说明了对话支援装置，但并不限定于此，也可以用于检索与输入的语句相对应的例句的例句检索装置。
如上所述，本发明的对话支援装置具有用语音容易地检索所希望的例句的功能，对于提示与例如用便携式电话或便携式终端等输入的原语言相对应的翻译语言是有用的。并且，也可以应用于公共的街头终端或引导终端等的用途。
权利要求
1.一种对话支援装置，识别输入的原语言的语音，根据语音识别结果，提示与上述原语言对应的翻译语言，其特征在于，具备例句检索单元，根据包含在上述语音识别结果中的关键词，检索原语言的例句；例句比较单元，将上述语音识别结果与检索到的上述例句进行比较；例句显示控制单元，显示检索到的上述例句，并且，根据上述语音识别结果与上述例句的比较结果，强调显示上述例句中的上述关键词。
2.如权利要求1所述的对话支援装置，其特征在于，上述例句比较单元通过对上述语音识别结果中包含的关键词在上述例句中的位置和上述关键词在上述语音识别结果中的位置进行比较，计算出上述关键词的关键词一致程度；上述例句显示控制单元根据上述关键词一致程度强调显示上述例句中的上述关键词。
3.如权利要求2所述的对话支援装置，其特征在于，上述例句比较单元根据上述关键词一致度计算出强调显示上述关键词时的显示参数；上述例句显示控制单元根据上述显示参数强调显示上述例句中的上述关键词。
4.如权利要求2所述的对话支援装置，其特征在于，上述例句比较单元用读音标记或发音记号在字符串中的出现位置，计算出上述语音识别结果中包含的关键词在上述例句中的位置、和上述关键词在上述语音识别结果中的位置。
5.如权利要求4所述的对话支援装置，其特征在于，当上述例句比较单元用读音标记或发音记号在字符串中的出现位置，计算出上述语音识别结果中包含的关键词在上述例句中的位置、和上述关键词在上述语音识别结果中的位置时，使上述读音标记或上述发音记号的字符数根据字符的种类可变地进行计数。
6.如权利要求5所述的对话支援装置，其特征在于，当上述原语言为日语时，上述例句比较单元根据上述字符的种类是上述读音标记的短音、长音或促音中的哪一个来变更字符数进行计数。
7.如权利要求5所述的对话支援装置，其特征在于，当上述原语言为英语时，上述例句比较单元根据上述字符的种类是上述发音记号的元音、长元音或辅音中的哪一个来变更字符数进行计数。
8.如权利要求4所述的对话支援装置，其特征在于，上述例句比较单元将上述语音识别结果中包含的关键词在上述例句中的位置与上述关键词在上述语音识别结果中的位置之差，作为上述关键词的一致度。
9.如权利要求4所述的对话支援装置，其特征在于，上述例句比较单元将对上述语音识别结果中包含的关键词在上述例句中的位置与上述关键词在上述语音识别结果中的位置之差进行了规格化的值，作为上述关键词一致度。
10.如权利要求2所述的对话支援装置，其特征在于，上述例句比较单元根据上述例句中包含的各关键词的上述关键词一致度，计算出对上述例句的语句一致度。
11.如权利要求10所述的对话支援装置，其特征在于，上述例句比较单元计算出上述关键词一致度为规定值以上的上述关键词在上述例句中的数量，作为上述语句一致度。
12.如权利要求11所述的对话支援装置，其特征在于，在显示多个上述例句时，上述例句显示控制单元根据上述语句一致度决定上述例句的显示顺序。
13.如权利要求12所述的对话支援装置，其特征在于，在显示多个上述例句时，上述例句显示控制单元按照上述语句一致度从高到低的顺序显示上述例句。
14.如权利要求11所述的对话支援装置，其特征在于，在显示多个上述例句时，上述例句显示控制单元强调显示上述语句一致为规定值以上的上述例句的整个语句。
15.如权利要求14所述的对话支援装置，其特征在于，上述例句比较单元根据上述语句一致度计算强调显示上述例句的整个语句时的显示参数；上述例句显示控制单元根据上述显示参数强调显示上述例句的整个语句。
16.一种例句检索装置，检索与输入的语句对应的例句，其特征在于，具备例句检索单元，根据包含在上述语句中的关键词，检索上述例句；例句比较单元，进行上述语句和检索到的上述例句的比较；例句显示控制单元，显示检索到的上述例句，根据上述语句和上述例句的比较结果，强调显示上述例句中的上述关键词。
17.一种对话支援方法，识别输入的原语言的语音，根据语音识别结果，提示与上述原语言对应的翻译语言，其特征在于，该对话支援方法包括以下步骤例句检索步骤，根据包含在上述语音识别结果中的关键词，检索原语言的例句；例句比较步骤，进行上述语音识别结果和检索到的上述例句的比较；例句显示控制步骤，显示检索到的上述例句，根据上述语音识别结果和上述例句的比较结果，强调显示上述例句中的上述关键词。
18.一种程序，识别输入的原语言的语音，根据语音识别结果，提示与上述原语言对应的翻译语言，其特征在于，使计算机执行以下步骤该对话支援方法包括以下步骤例句检索步骤，根据包含在上述语音识别结果中的关键词，检索原语言的例句；例句比较步骤，进行上述语音识别结果和检索到的上述例句的比较；例句显示控制步骤，显示检索到的上述例句，根据上述语音识别结果和上述例句的比较结果，强调显示上述例句中的上述关键词。
全文摘要
提供一种对话支援装置，从与输入的语音对应的例句候补中，能够容易地选择所希望的例句。对话支援装置(100)包括语音识别单元(104)，对输入的语音进行连续语音识别；数据库单元(115)，具有保存原语言与目标语言的对应关系的例句数据库(105)等；例句选择单元(108)，按照语音识别结果或GUI单元(102)的操作，从例句数据库(105)中选择一个以上的例句；例句比较单元(112)，将例句选择单元(108)选择的一个以上的例句和语音识别结果进行比较，根据单词的出现位置计算单词分数，根据该单词分数，对各例句的各单词计算显示参数；以及GUI单元(102)，根据显示参数进行例句的显示。
文档编号G10L15/00GK1942875SQ20058001099
公开日2007年4月4日 申请日期2005年4月4日 优先权日2004年4月12日
发明者水谷研治, 冲本纯幸, 南部太郎 申请人:松下电器产业株式会社