专利名称：语音识别装置及方法
技术领域：
本发明涉及到一种装置和方法，用来识别语音，并在语音被误识别时， 确定与用户说出所述语音或说出输入句子的方式相关的问题。
背景技术：
近年来，用户能够利用语音来输入句子的语音识别系统已经具有了实 际用途，并开始作为实际系统而用在各种领域中。然而，迄今为止，还没 有一个系统得到用户的支持并具有非常好的销售量。原因之一在于，语音 识别系统有时会对输入语音进行误识别。尽管由于技术的进步，识别性能 在逐年提高，但仍然没有一种语音识别系统，其性能高到足以对所有用户 的各种说话方式进行正确的识别。
为了处理这种情形，提出了各种方法来提高语音识别系统的性能水平。
例如，JP-A 2003-280683 (KOKAI)提出了一种技术，根据每个输入句子 的所属领域，改变语音识别处理中要处理的识别词汇，使得根据每个输入 句子为合适的词汇和合适的同音异义词赋予较高的优先级，从而提高识别 性能。
另夕卜，在目前可用的语音识别系统中，有时通过改善使用方法可以避 免误识别。例如， 一般的说，当用户向语音识别系统输入语音发声时，希 望用户"用恒定的节奏流畅地、慢慢地、仔细地、明白地说话"。另外， 对于要输入语音识别系统中的句子，希望"句子中的许多单词和表达法在 语法上是正确的并且是常用的，，。掌握了这种使用方法的用户与没有掌握 这种使用方法的用户，其正确识别的百分比大大地不同。
此外，由于不同用户具有不同的语音特征，所以，什么类型的语音会
5导致什么类型的误识别会根据用户的不同而变化4艮大。另外，根据语音识 别系统所使用的数据库中所存储的数据的倾向的不同，误识别的倾向也会 变化很大。因此，没有一种使用方法能够适用于所有的用户，并能完全避 免误识别。
另外，在语音识别处理期间，将用户所发出的语音(它是一个模拟信 号)输入到语音识别系统中。因此，即使同一用户在使用语音识别系统， 输入到系统的语音也会根据时间、地点和环境的不同而变化。因此，误识 别的倾向也会变化。最后，只有当用户从经验中明白了机器的倾向和特征 时，才能学会有效地使用语音识别系统。例如，用户需要通过试错来学习 有关如何说话以4更被正确地识别、麦克风到用户嘴部的最佳距离是多少、 以及什么词汇和表达法更可能获得希望的结果等的信息。
然而，像JP-A 2003-280683 (KOKAI)之类所描述的那些常规方法把 注意力集中在主要通过改善语音识别系统内所进行的处理来实现高精度语 音识别处理。因此，即使系统内进行的处理得到改善，但语音识别处理的 精度仍然有可能因系统外部所进行的处理(诸如用户的不适当的使用方法) 而降低。
发明内容
根据本发明的一个方面， 一种语音识别装置包括范句存储单元，该 单元存储有范句；信息存储单元，该单元存储有若干状态和若干条输出信 息，它们彼此对应，所述每个状态基于语音输入和某个所述范句之间的差 异部分和差异内,前被确定，而每条所述输出信息涉及所&目应差异的 产生原因；输入单元，该单元接收语音的输入；第一识别单元，该单元基 于用来确定音素的声学特性的声学才莫型和用来确定词素之间的连接关系的 语言模型将所迷输入的语音识别为词素串；句子获取单元，该单元从所述
范句存储单元中获取一个与所述输入语音相关的范句；句子对应进行单元， 该单元基于所识别出的词素串中所包含的每个第一词素与所获取的范句中 所包含的某个第二词素的匹配程度，将每个第一词素与至少一个第二词素进行对应；差异探查单元，该单元探查一个或多个与相应的所述第二词素 不匹配的第一词素，将其作为所述差异部分；信息获取单元，该单元从所 述信息存储单元中获取与每个探查出的差异部分的状态相对应的 一条输出 信息；以及输出单元，该单元输出所述获得的各条输出信息。
根据本发明的另一方面， 一种语音识别方法包括接收语音的输入； 基于用来确定音素的声学特性的声学模型和用来确定词素之间的连接关系 的语言模型将所述输入的语音识别为词素串；从存储有范句的范句存储单 元中获取一个与所述输入的语音相关的范句；基于所识别出的词素串中所 包含的每个第一词素与所获取的范句中所包含的某个第二词素的匹配程
度，将每个所述笫一词素与至少一个所述第二词素进行对应；探查一个或 多个与相应的 一个所述第二词素不匹配的所述第 一词素，将其作为所述差 异部分；从信息存储单元中获取与每个探查出的差异部分的状态相对应的 一条输出信息，其中所述信息存储单元中存储有若干状态和输出信息，它 们彼此进行了对应，每个所述状态基于差异部分和差异内M前被确定， 而每条所述输出信息涉及差异的产生原因；以及该方法还包括输出所述获 得的输出信息。
图1是根据本发明的第一实施例的语音识别装置的方框图2显示了正确句子存储单元中所存储的正确句子的数据结构的例
子；
图3显示了原因信息存储单元中所存储的原因信息的数据结构的例
子；
图4显示了相连字识别单元所产生的词素串的数据结构的例子； 图5是4艮据第一实施例所述的语音识别处理的全部过程的流程图； 图6是根据第一实施例所述的差异探查处理的全部过程的流程图； 图7显示了由句子对应进行单元进行了对应的词素的例子； 图8示出了显示屏的例子，在该显示屏上显示了若干条建议；
7图9是根据本发明的第二实施例所述的语音识别装置的方框图10显示了样本句子存储单元中所存储的样本句子的数据结构的例
子；
图11是根据第二实施例所述的语音识别处理的全部过程的流程图12是根据第二实施例所述的差异探查处理的全部过程的流程图13显示了由句子对应进行单元进行了对应的词素的例子；
图14示出了显示屏的例子，在显示屏上显示了一条建议；
图15是根据本发明的第三实施例所述的语音识别装置的方框图16显示了已经产生的单音节串的数据结构的例子；
图17是^f艮据第三实施例所述的语音识别处理的全部过程的流程图18是根据笫三实施例所述的差异探查处理的全部过程的流程图19显示了由句子对应进行单元进行了对应的词素的例子；
图20显示了由音节对应进行单元所进行的对应处理的结果的例子；
图21显示了对应处理的各个结果被结合起来的例子；
图22显示了显示屏的例子，在该显示屏上显示了若干条建议；
图23是根据本发明的第四实施例所述的语音识别装置的方框图24显示了声学信息的数据结构的例子；
图25显示了原因信息存储单元中所存储的原因信息的数据结构的例
子；
图26是根据第四实施例所述的语音识别处理的全部过程的流程图； 图27显示了样本句子存储单元中所存储的样本句子的数据结构的例
子；
图28显示了相连字识别单元所产生的词素串的数据结构的例子；
图29显示了由句子对应进行单元进行了对应的词素的例子；
图30显示了由声学对应进行单元所进行的对应处理的结果的例子；
图31显示了对应处理的各结果被结合起来的例子；
图32显示了显示屏的例子，在显示屏上显示了若干条建议；以及
图33显示了根据所述第一到第四实施例所述的语音识别装置的硬件配置。
具体实施例方式
下面将参考附图详细说明根据本发明所述的装置和方法的示范性实施例。
根据本发明的第一实施例所述的语音识别装置将一个正确的句子(它 是提前存储的一个范句)与用户说该正确的句子时所输入的语音的语音识 别处理结果进行比较，探查一个或多个差异部分，确定所述差异的成因(诸 如不恰当的发声、用户的特点、或输入句子的异常部分)，并输出如何正 确地说出该语音以及如何选择要输入的句子，作为建议提供给用户。
如图l所示，语音识别装置100包括麦克风131、显示i殳备132、声学 模型存储单元121、语言模型存储单元122、正确句子存储单元123、原因 信息存储单元124，作为其主要的硬件配置。另外，语音识别装置100包 括输入单元101、相连字识别单元102、句子获取单元103、句子对应进行 单元104、差异探查单元105、原因信息获取单元106、输出单元107，作 为其主要的软件配置。
麦克风131接收用户所发出的语音输入。显示设备132显示进行语音 识别处理所需要的各种屏幕和消息。
声学模型存储单元121中存储有声学模型，在该模型中定义了音素 (phonemes)的声学特征。具体说，声学模型存储单元121中存储有每个 音素的特征量(characteristic amount)的标准模式。例如，声学模型存储 单元121中存储有利用隐马尔科夫模型(hidden Markov model, HMM) 所表示的声学模型。
语言模型存储单元122中存储有语言模型，在该模型中提前定义了各 词素之间的连接关系。例如，语言才莫型存储单元122中存储有利用N元语 法模型(N-gram model)所表示的语言模型。
正确句子存储单元123中存储有正确的句子，每个正确句子都被提前 定义为要输入的语音的范句。例如，根据第一实施例，用户从显示设备132
9上所显示的若干正确句子中指定一个正确句子，并通过说出所述指定的正
确句子而将语音输入到语音识别装置100中。
如图2所示，正确句子存储单元123中存储有正确的句子，使用符号 "I"将每个正确句子分成若干词素(morphemes)。另外，正确句子存储 单元123为每个所述词素存储有一条词素信息，这条信息是由所述词素的 读法和所述词素的词性部分(例如，名词、动词等)等构成的集合，同时 使这些词素和这些条词素信息彼此对应。在图2中显示了一个例子，其中， 若干条词素信息的存储顺序对应着各词素排列的顺序，而每条词素信息使 用"(词素读法)、(词性)"这样的格式来表示。
回到图1的描述中，原因信息存储单元124中存储有多条原因信息， 在每条原因信息中，含有(i)提前为输入语音和所选正确句子之间所能找 出的差异部分的不同模式之一所定义的状态(condition) 、 (ii)所述差异 的原因、以及(iii)要为用户输出的建议，并且以上各项彼此对应。
如图3所示，原因信息存储单元124中存储有多条原因信息，在每条 原因信息中含有该条原因信息的编号、发声位置、有差异的音节/词素、误 识别的产生原因、以及一条建议，它们彼此相对应。
"发声位置"是指相对于整个输入的语音而言与差异部分的位置相关 的状态(即，位置状态)。在图3所示的例子中，指定了 "发声的开始" (是指发声开始处的位置)、"发声的中部，，(是指除了发声的开始和结 尾之外的任何位置)、以及"发声的结尾，，(是指发声结尾处的位置)。 指定发声位置的方法不限于这些例子。只要能够相对于整个输入语音指定 每个差异部分，那么使用任何其它方法都是可以接受的。
"有差异的音节/词素"是指与对输入语音进行的识别处理所得到的 词素串和相应的正确句子中的词素串之间找到了差异的词汇(即，音节和/ 或词素)相关的状态(即，词汇状态)。例如，如果由于加入了一个或多 个辅音和/或元音而^f吏识别处理结果产生了差异，那么相应的状态就是"加 入了辅音/元音"，这个状态由编号1003确定。
原因信息存储单元124中存储有这样的信息，该信息以数据库形式显示了在语音识别处理结果和正确句子之间预期所能找出的差异的不同情形 中的误识别的产生原因。例如，如果从语音识别处理结果发现发声的开始 部分丢失了，那么，就可以认为，原因是开始部分的用户语音没有被输入 语音识别系统中。因此，就将"声音被切断"指定为误识别的产生原因，
在图中用编号1001来指定。作为另一个例子，如果在发声的开始部分加入 了一个或多个不需要的音节(比如"fu，，或"fufu")，那么就可以认为， 原因是因为用户的呼吸进入了麦克风131从而输入了 一个或多个不需要的 音节。因此，就将"由于呼吸而加入了不需要的声音"指定为误识别的产 生原因，在图中用编号1002来指定。
当搜寻差异探查单元105所探查到的差异部分所符合的状态并获取与 所述差异部分相对应的原因信息时，原因信息获取单元106就查阅原因信 息存储单元124。
声学模型存储单元121、语言模型存储单元122、正确句子存储单元 123、以及原因信息存储单元124可以由一个或多个通常使用的任何种类的 存储介质来配置，这些存储介质有，例如，硬盘驱动器(HDD)、光盘、 存储卡、和随机存取存储器(RAM)。
回到图1的描述中，输入单元101对通过麦克风131输入的输入语音 模拟信号进行采样处理，将所^拟信号转换成数字信号(例如，脉冲码 调制(pulse code modulation, PCM)形式的数字信号)，并输出所述数 字信号。输入单元101所进行的处理可以由通常使用的模拟-数字转换 (A/D)技术来实现。也可以这样来配置输入单元101，使得输入单元101 响应于预定操作(诸如，按下语音输入按钮(未显示)的操作)从麦克风 131接收语音输入。此外，另一种配置也是可以接受的，其中，提前对用 户语音的模拟信号单独进行数字化，这样，当使用所述系统时，输入单元 101就可以通过接收直接输入的数字数据来接收语音输入。在这种情形中， 不需要提供麦克风或A/D转换器。
相连字识别单元102使用所述声学模型和语言模型来识别输入的语 音，并由识别处理产生词素串。
ii具体说，首先，相连字识别单元102利用快速傅立叶变换(FFT)分 析方法分析例如频率的时间变化来计算发声中的音频信号的特征量 (characteristic amount)。之后，相连字识别单元102将声学模型存储单 元121中所存储的声学模型与上述处理过程中计算出来的特征量进行比 较，并为所述输入语音产生候选识别结果。
此外，相连字识别单元102利用语言模型基于某个假设从所产生的候 选识别结果中选出最可能的候选结果，从而高精度地对语音进行识别。相 连字识别单元102利用声学模型和语言模型所进行的语音识别处理可以用 常规使用的语音听写技术来实现。
如图4所示，相连字识别单元102产生词素串，其中，识别出的各词 素用符号"/"彼此分开。将每个词素与一条词素信息进行对应，所述一条 词素信息是由语音片段、词素的读法、以及词素的词性(例如，名词、动 词等)构成的集合。所述语音片段是指从发声开始时刻到发声结束时刻的 一段时间，其中^f吏用输入语音的开端作为参考点来表达所述时刻。在图4 中显示了一个例子，其中，各条词素信息的产生顺序对应着词素的排列顺 序，而每条词素信息的格式为"(语音片段)、(词素的读法)、(词性)"。
句子获取单元103从正确句子存储单元123中获取用户已经指定的正 确句子，作为输入源的输入语音的范句。句子获取单元103也从正确句子 存储单元123中获取已经与正确句子进行了对应的词素信息。为了允许用 户指定一个正确句子，可以4吏用通常所用的任何方法，诸如，提醒用户从 通过使用按钮(未显示)而显示出来的正确句子的列表中选择一个句子， 等等。
句子对应进行单元104将所获得的正确句子中的词素串与识别处理结 果中的词素串进行对应。具体说，句子对应进行单元104计算识别处理结
匹配程度，使得这些词素彼此对应，而这种对应的方式能使整个句子的匹 配程度为最大。句子对应进行单元104所进行的处理可以利用例如动态编 程(dynamic programming, DP)匹配方法来实现。差异探查单元105将识别处理结果中的每个词素与进行了对应的正确 句子中的一个词素相比较，探查一个或多个差异部分，其中每个差异部分 都包含至少一个与正确句子中的对应词素不匹配的词素，并输出每个探查 出的差异部分的时间信息。所述时间信息是指示输入语音中的每个差异部 分语音片段的信息。具体说，对于每个差异部分，所述时间信息包括该差 异部分中的第一个词素的起始时间和该差异部分中的最后一个词素的结束 时间。
原因信息获取单元106分析每个探查出的差异部分，并从原因信息存 储单元124中获取与所述差异的产生原因相关的原因信息。具体说，原因 信息获取单元106确定输入语音中的每个差异部分的发声位置，并获得与 正确句子中的对应词素不匹配的一个或多个音节或词素。之后，原因信息 获取单元106在原因信息存储单元124中查找原因信息，在该原因信息中， 所确定的发声位置符合所述位置状态(即，原因信息存储单元124中所存 储的发声位置)，并且，其中所获得的音节或词素符合词汇状态(即，原 因信息存储单元124中所存储的有差异的音节/词素)。此外，对于每个差 异部分，原因信息获取单元106获取包括在所获得的原因信息中的误识别 的产生原因作为所述差异的产生原因，并获取包括在所获得的原因信息中 的建议作为要为用户输出的输出信息。
如果原因信息获取单元106在搜寻期间没有找到与原因信息存储单元 124中的那些状态相匹配的原因信息，那么，原因信息获取单元106就获 取一般的建议作为输出信息。例如，在这种情况中，原因信息获取单元106 获取提前准备好的建议，诸如"识别处理失败。说得更慢更仔细些。"， 作为输出信息。
输出单元107控制向显示设备132等输出各种类型的信息的处理。例 如，输出单元107将所产生的识别处理结果和所获得的输出信息输出到显 示设备132。另一种配置也是可行的，其中，输出单元107包括音频合成 单元(未显示)，该音频合成单元将文本信息合成为音频信号，使得输出 单元107可以向扬声器(未显示)等输出由所述音频合成单元所合成的输
13出信息的音频。
下面将参考图5说明如上配制的根据上述第一实施例的语音识别装置 100所进行的语音识别处理。
首先，输入单元101接收用户所发出的语音输入(步骤S501)。例如， 用户在正确句子存储单元123中所存储的正确句子中提前指定他/她将要说 出的正确句子，并通过读出所指定的正确句子来输入该输入语音。另一种 配置也是可行的，其中，用户读出由语音识别装置IOO所任意指定的一个 正确句子。
接着，相连字识别单元102使用声学模型和语言模型对所述输入语音 进行语音识别处理，并产生词素串作为识别处理的结果(步骤S502)。
之后，句子获取单元103从正确句子存储单元123中获取由用户所指 定的一个正确句子，作为与所述输入语音相对应的正确句子，并获得所述 正确句子的词素串(步骤S503)。
随后，句子对应进行单元104利用所述DP匹配方法或类似方法将识 别处理结果中的词素串里的词素与正确句子中的词素串里的词素进行对 应，并产生进行对应的处理结果M[k] (k: 1到N，其中，N为已经彼此 对应了的词素组的总数)(步骤S504)。进行对应的处理结果M[k包括 识别处理结果中的词素串M[k.R和正确句子中的词素串M[k].E。
之后，差异探查单元105利用所述对应结果M[k]进行差异探查处理， 以便探查一个或多个差异部分，其中，在每个该差异部分中，相对应的词 素串不匹配(步骤S505)。后面将描述差异探查过程的细节。
随后，原因信息获取单元106从原因信息存储单元124中获取一条原 因信息，其中，该条原因信息对应着每个探查出的差异部分所符合的状态 (步骤S506)。之后，输出单元107向显示设备132输出所获得的原因信 息中所包含的建议(步骤S507)，于是，语音识别处理就结束了。
通过进^f亍上述处理，可以确定在输入语音和正确句子之间已经找出的 每个差异部分中的差异的产生原因(即，误识别的产生原因)，并向用户 显示建议，该建议可以用来避免误识别。换言之，通过输出能够使用户改善使用方法的信息，可以有望提高未来进行的识别处理的精度。
下面将参考图6来说明步骤S505中的差异探查过程的细节。
首先，差异探查单元105从句子对应进行单元104所产生的对应处理 的结果中获得还没有被处理过的对应处理的结果M[i(其中l<i<N)(步 骤S601)。之后，差异探查单元105将识别处理结果中的词素串M[i.R 与正确句子中的词素串M[il.E进行比较，其中，M[i.R和M[i.E包含在 M[i内(步骤S602 )。
随后，所述差异探查单元判断是否满足M[i.R= M[i.E，即，它们是 否匹配(步骤S603)。如果差异探查单元105判断出它们是匹配的(步骤 S603:是)，那么，差异探查单元105就获取下一个未处理的对应处理结 果，并重复上述过程(步骤S601)。
如果差异探查单元105判断出它们是不匹配的(步骤S603:否)，那 么，差异探查单元105就将所述已经进行了对应的识别处理结果中的词素 串M[i.R作为差异部分(步骤S604)。另外，差异探查单元105将所述 识别处理结果中的词素串M[i.R中的第一个词素的开始时间和最后一个 词素的结束时间分别指定为所述差异部分的开始时间和结束时间(步骤 S605)。
之后，差异探查单元105判断对应处理的全部结果是否都被处理了(步 骤S606)。如果差异探查单元105判断出不是所有的结果都被处理了 (步 骤S606:否)，那么，差异探查单元105就获取下一个未处理的对应处理 的结果，并重复上述过程(步骤S601)。如果差异探查单元105判断出所 有的结果都净皮处理了 (步骤S606:是)，那么，差异探查单元105就结束 差异探查处理。
下面将说明根据第一实施例所述的语音识别处理的具体例子。在下面 的部分中，将说明一个例子，其中，指定了图2所示的用日语"Takushiini pasupooto o wasure chatta nodesu"(意思是"我将护照丟在出租车中了 ，，) 写成的正确句子，并输入了相应的输入语音。
相连字识别单元102识别所述语音输入，并产生词素串作为识别处理的结果(步骤S502)。在本例中，假设产生了如图4所示的词素串。
句子获取单元103从正确句子存储单元123中获取如图2所示的正确 句子以及与所述正确句子对应的词素串(步骤S503)。
当获取了如图4所示的识别处理结果和如图2所示的正确句子时，句 子对应进行单元104就通过判断这两个词素串之间的匹配程度使它们彼此 对应(步骤S504)。在图7中，符号T指示出进行了对应的每个词素串 的起始和结尾。图4所示的识别处理结果中的词素串显示在图7的顶部， 而图2所示的正确句子则显示在图7的底部。
差异探查单元105将图7所示的进行了对应的各词素作相互比较，并 探查出一个或多个差异部分(步骤S505)。在图7所示的例子中，差异探 查单元105探查出位于发声开始处的差异部分701和位于发声中部的差异 部分702。
之后，原因信息获取单元106分析每个差异部分在输入语音中的发声 位置以及所述差异部分的内容。例如，原因信息获取单元106确定了差异 部分701的发声位置在发声的开始处。另外，对于差异部分701来说，原 因信息获取单元106确定了识别处理结果中的词素串"9C"的读法是 "kushii"，并确定了它与正确句子中的词素"TAKUSHir的读法(即 "takushii)的后半部分(即"kushii，，)部分地匹配(注意，在日语中， 数字"9"的一种读法为"ku，，,字母"C"可以读为"shii")。
作为另一个例子，原因信息获取单元106也确定了差异部分702的发 声位置在发声的中部。另外，对于差异部分702来说，原因信息获取单元 106确定了识别处理结果中的词素"NDESU"的读法是"ndesu"，并确 定了它与正确句子中的词素"NODESU"的读法"nodesu"不同，因为"no" 变成了 "n"。
之后，原因信息获取单元106在原因信息存储单元124中搜寻原因信 息，其中该原因信息对应着每个差异的所确定的发声位置和内容所满足的 状态(S506)。如果原因信息存储单元124中存储有如图3所示的若干条 原因信息，那么原因信息获取单元106就获取由编号1001所指示的差异部
16分701的原因信息，因为，差异部分701的发声位置是在"发声的开始" 处，而且其后半部分的读法与正确句子中的对应词素的读法部分地匹配。
另夕卜，原因信息获取单元106获取由编号1007所指示的差异部分702 的原因信息，因为，差异部分702的发声位置是在"发声的中部"处，而 且，从"no"到"n"的改变对应着标示为"元音丢失"的差异。
于是，原因信息获取单元106就分别为差异部分701和702获取了由 编号1001和1007所指示的建议。随后，输出单元107将所获得的若干条 建议输出到显示设备132中(步骤S507)。
如图8所示，在显示屏800上，显示着输入语音811和相对应的正确 句子812。另外，也显示了所获得的建议801和802。在图8中显示了一个 例子，其中显示了为差异部分701所提供的建i义801和为差异部分702所 提供的建议802。
输出单元107在所述显示屏上显示了由图3中的编号1001所标示的建 议，同时正确句子中的对应词素4皮嵌入图3中的净皮指示为"(正确词素)" 的那个部分中。另外，输出单元107在所述显示屏上显示了由图3中的编 号1007所标示的建议，同时识别处理结果中的对应词素4皮嵌入图3中的 "(识别结果)，，所指示的那个部分中。
另一种配置也是可行的，其中，输出单元107输出误识别的产生原因， 与所述各条建议一起输出，或者替代所述各条建议来输出。还有一种配置 也是可行的，其中，输出单元107以音频形式输出各条建议。
如上所述，才艮据第一实施例所述的语音识别装置通过将正确的句子与 对输入语音进行的识别处理获得的结果进行比较来探查出 一个或多个差异 部分，通过参考存储有提前指定的误识别的产生原因的数据库来确定所述 差异的产生原因，并显示所确定的原因和避免误识别的所确定的方法，一 起显示的还有识别处理的结果。
于是，用户能够知道不恰当的发声以及他/她自身的发声特点。此外， 用户能够在他/她输入其语音之后马上获得与他/她自身发声有关的具有建 议。因此，用户能够很容易地知道如何正确地发声以及如何选择要输入的
17句子，使他/她将来的语音能够被正确地识别。此外，用户能够有效地获知 语音识别装置的误识别的趋势和特征。因此，用户能够在短时间内学会有 效地使用所述语音识别装置。用户改善其使用语音识别装置的方法最终就 会导致改善语音识别处理的精度。
在根据本发明的第二个实施例的语音识别装置中，不使用正确句子， 而使用提前寄存的样本句子作为要输入语音的范句。第二实施例的配置是 为了适合于基于样本的搜寻方法，在这种方法中，利用语音识别处理被用 作前端。换言之，根据第二实施例的语音识别装置在存储单元中搜寻与对 输入语音进行的识别处理的结果完全匹配或类似的样本句子，并利用搜寻 到的样本句子作为识别处理结果。也可以将根据第二实施例的语音识别装 置运用到一种基于样本的翻译装置的语音识别功能中，其中所述翻译装置 还包括能翻译所获得的样本句子的翻译单元。
如图9所示，语音识别装置900包括麦克风131、显示i更备132、声学 模型存储单元121、语言模型存储单元122、样本句子存储单元923、原因 信息存储单元124,作为其主要的硬件配置。另外，语音识别装置900包 括输入单元IOI、相连字识别单元102、句子获取单元卯3、句子对应进行 单元104、差异探查单元卯5、原因信息获取单元106、输出单元107，作 为其主要的硬件配置。
第二实施例不同于第一实施例之处在于，语音识别装置900用样本句 子存储单元923替代了正确句子存储单元123，并且句子获取单元卯3和 差异探查单元905具有不同于第一实施例的功能。其它配置和功能与图1 所示的那些配置和功能相同，其中图1是才艮据第一实施例所述的语音识别 装置100的方框图。因此，相同的配置和功能将用相同的参考字符来表示， 并省略了其说明。
样本句子存储单元923中存储有样本句子，每个样本句子用作要输入 语音的范句。图10说明了样本句子存储单元923中所存储的样本句子的数 据结构的例子。像图2所示的正确句子存储单元123那样，样本句子存储 单元923中存储有样本句子，利用符号T每个样本句子被分成各个词素。另外，样本句子存储单元923中为每个词素存储有一条词素信息，该信息 是由词素的读法和词素的词性(例如，名词、动词等)所构成的集合，同 时使词素和词素信息彼此相对应。
句子获取单元903从样本句子存储单元923中获取一个与对输入语音 进行的识别处理的结果完全匹配或类似的样本句子。识别处理的结果与样 本句子不必包含彼此完全相同的词素串。换言之，为了获取相应的样本句 子，句子获取单元903搜寻具有相同意思的句子，即使该句子中的一些名 词或数字以及该句子结尾处的表达或许会与识别处理结果有轻微的不同。 样本句子的这种搜寻方法可以由例如Makoto NAGAO(编辑)，"Iwanami Kouza Software Kagaku Vol. 15， Shizen Gengo Shori" , 12.8 Jitsurei画gata Kikai Honyaku Houshiki (pp. 502-510 ) ， ISBN 4-00-010355-5中所描述的 方法来实现。
差异探查单元905将识别处理结果中的每个词素与进行了对应的样本 句子中的一个词素进行比较，探查出一个或多个差异部分，其中每个差异 部分包含至少一个与所述样本句子中的相应词素不匹配的词素，并输出每 个探查出的差异部分的时间信息。
当搜寻样本句子时，有可能搜寻出的样本句子作为整句来说类似于识 别处理的结果，但会包含一个或多个根本不与相应词素匹配的词素。如果 这些词素中的字符串彼此完全不同，那么，这些部分就不应该被认为是误 识别部分。因此，除非识别处理结果中的每个词素内的字符串所包含的预
匹配，否则，根据第二实施例所述的差异探查单元905不把所述句子的任 何部分当作差异部分。例如，差异探查单元905可以这样配置，使得如果 词素中不匹配字符的数目与字符总数之比等于或大于某个预定阈值(例如， 80%)，那么，差异探查单元905就不把所述词素确定为差异部分。
下面将参考图11说明根据上述第二实施例所述的语音识别装置900 所进行的语音识别处理。
步骤S1101到S1102中所进行的语音输入过程和词素串产生过程与根
19据第一实施例所述的语音识别装置100在步骤S501到S502中所进行的过 程相同。因此，其说明就省略了。
之后，句子获取单元卯3在样本句子存储单元923中搜寻一个与对输 入语音进行的识别处理的结果中的词素串完全匹配或类似的样本句子，以 及该样本句子的词素信息(步骤S1103)。
步骤S1104中的处理与根据第一实施例所述的语音识别装置100所进 行的步骤S504中的处理相同，只是有一点除外，即在步骤S1104中，使 用样本句子中的词素串来替代正确句子中的词素串。
之后，差异探查单元卯5进行差异探查处理(步骤S1105)。后面将 说明差异探查处理的细节。
在步骤S1106到S1107中进行的原因信息获取处理和输出处理与根据 第一实施例所述的语音识别装置100在步骤S506到S507中所进行的处理 相同。因此，其"^兌明省略。
下面将参考图12来说明在步骤S1105中所进行的差异探查处理的细 节。根据第二实施例，在步骤S1203中所进行处理不同于在图6所示的步 骤S503中所进行的处理，其中图6示出了根据第一实施例所述的差异探查 处理。因为在其它步骤中所进行的处理与第一实施例相同，所以其说明就 省略了。
在步骤S1203中，除了判断M[i].R=M[i.E是否被满足(即它们是否 匹配)的处理之外，差异探查单元905还执行处理以对M[i.R中所包含的 字符串和M[i.E中所包含的字符串进行比较。具体说，差异探查单元905 数出M[i.R中所包含的字符串和M[i.E中所包含的字符串中的不匹配字 符的数目。此外，差异探查单元905计算不匹配字符的数目与字符的总数 之比。之后，差异探查单元905判断所计算出的比例是否等于或大于所述 预定阈值(80%)。
如果M[i.R-M[i.E被满足，或者M[i.R中所包含的字符串和M[i].E 中所包含的字符串彼此有80%以上的不同(步骤S1203:是)，那么，差 异探查单元卯S就不把M[i].R确定为差异部分。在任何其它情形中(步骤S1203:否)，差异探查单元卯5将M[i.R确定为差异部分(步骤S1204 )。
下面将说明根据第二实施例所述的语音识别处理的具体例子。在下面 的部分中，将说明一个例子，其中，输入了日语语音"Takushii ni pas叩ooto o wasure chatta nodesu"(意思是"我将护照丟在出租车中了 ")。
相连字识别单元102识别所述输入语音，并产生词素串作为识别处理 的结果(步骤S1102)。在本例中，假设产生了如图4所示的词素串。另 外假设，句子获取单元卯3从样本句子存储单元923中获取如图10所示的 样本句子，作为与图4所示词素串类似的样本句子(步骤S1103)。
当获得了图4所示的识别处理结果和图10所示的样本句子时，句子对 应进行单元104通过确定这两个词素串之间的匹配程度使词素彼此对应 (步骤S1104)。图13显示了由句子对应进行单元104进行了彼此对应的 词素的例子。图4所示的识别处理结果中的词素串示于图13的顶部，而图 10所示的样本句子示于图13的底部。
在图13所示的例子中，句子对应进行单元104使用符号"-"来分隔 没有对应词素的任何一个词素。另外，如果某个字符串和与其对应的字符 串的不匹配部分等于或超过了某个预定长度，那么句子对应进行单元104 就整个地^f吏一个片段与一个片段进行对应。在图13中，参考数字1302所 指示的片段就这样整个地进行了对应。
差异探查单元905对如图13所示的彼此进行了对应的词素进行比较， 并探查出一个或多个差异部分(步骤S1105)。在图13所示的例子中，差 异探查单元卯5在发声的开始处探查出了差异部分1301。在片段1302中， 由于不匹配字符的比例高于80%，所以，差异探查单元905不把片段1302 确定为差异部分(步骤S1203:是)。
之后，原因信息获取单元106分析差异部分在输入语音中的发声位置 以及差异内容。然后，原因信息获取单元106在原因信息存储单元124中 搜寻一条原因信息，其中该信息对应着分析出的发声位置和差异内容所符 合的状态(步骤S1106)。在图13所示的例子中，原因信息获取单元106 获取了由图3中的数字1001所指示的一条原因信息。于是，原因信息获取单元106就为差异部分1301获得了由数字1001 所指示的一条建议。随后，输出单元107将所获得的这条建议输出到显示 设备132 (步骤S1107)。
如图14所示，在显示屏1400上，显示了输入语音1411和搜寻到的样 本句子1412。另外，也显示了所获得的一条建议1401。
如上所述，尽管运用了基于例子的搜寻方法的语音识别处理，根据第 二实施例所述的语音识别装置也能够获得与第一实施例类似的有利效果。
如前面所述，也可以将第二实施例所述的方法应用到基于例子的翻译 装置中，这种翻译装置通过使用并行翻译样本(parallel translation samples)来翻译输入语音。有一种可能，即，这种基于例子的翻译装置的
用户可以在旅途中携带这种装置，并请不熟悉这种装置的操作以;Sj良声方
法的当地人对着这种装置说话。才艮据第二实施例所述的方法能够处理这种 情形，并输出有关如何改善使用方法的建议。因此，所述语音识别装置能 使用户流畅地进行交流。
根据本发明的第三实施例所述的语音识别装置进一步以音节为单位来 识别输入语音，并将识别处理结果与以词素为单位进行的识别处理结果进 行比较。因此，根据第三实施例所述的语音识别装置能够更精确地探查差 异部分。
如图15所示，语音识别装置1500包括麦克风131、显示设备132、声 学模型存储单元121、语言模型存储单元122、样本句子存储单元923、原 因信息存储单元124，以及单音节词典1525，作为其主要的硬件配置。另 外，语音识别装置1500包括输入单元101、相连字识别单元102、句子获 取单元103、句子对应进行单元104、差异探查单元1505、原因信息获取 单元106、输出单元107、单音节识别单元1508、音节对应进行单元1509、 以及结合单元1510，作为其主要的软件配置。
第三实施例不同于第二实施例之处在于，另外提供了单音节词典、单 音节识别单元1508、音节对应进行单元1509、以及结合单元1510，并且 差异探查单元1505具有与第二实施例不同的功能。其它配置和功能与图9所示的那些配置和功能相同，其中图9是4艮据第二实施例所述的语音识别 装置900的方框图。因此，相同的配置和功能将用相同的参考字符来表示， 并省略了其说明。
单音节词典1525中存储有一部词典，当以单音节为单位来识别语音 时，单音节识别单元1508会参考该词典。
单音节识别单元1508利用声学;f莫型和所述词典来识别输入的语音，并 产生单音节串作为识别处理的结果。单音节识别单元1508以单音节为单位 来识别输入的语音，其中，每个单音节是一个元音或者是一个辅音和元音 构成的集合，在日语中，单音节对应着表音符号，例如一个平假名字符(例 如，与声音'V， 、 "i，， 、 "u" 、 "ka,， 、 "sa" 、 "ta"等相对应的日
语字母)。然后，单音节识别单元1508输出单音节串作为识别处理结果。 如图16所示，单音节识别单元1508产生单音节串，其中，用符号"/" 使识别出的各单音节彼此隔开。另外，使每个单音节与一个语音片段相对 应，该语音片段指示了从发声开始时刻到发声结束时刻的一段时间，并且 使用输入语音的开始作为参考点来表达。
音节对应进行单元1509将单音节识别单元1508所进行的识别处理所 获得的单音节串与相连字识别单元102所进行的识别处理所获得的词素串 进行对应。具体说，音节对应进行单元1509参考每个单音节的开始时刻和 结束时刻以及每个词素的开始时刻和结束时刻，并使各所述时刻相匹配的 那些音节彼此对应，其中，所述开始时刻和结束时刻的表示都以输入语音 的开始作为参考点。
结合单元1510将句子对应进行单元104所进行的对应处理的结果和音 节对应进行单元1509所进行的对应处理的结果相结合。因此，结合单元 1510使单音节串、识别处理结果中的词素串、和样本句子中的词素串彼此 对应起来。
差异探查单元1505通过比较已经进行了对应的所述单音节串、识别处 理结果中的词素串、和样本句子来探查出一个或多个差异部分，并输出所 探查出的差异部分的时间信息。当识别处理以单音节为单位进行时，可以
23只基于用户发出的语音中的信息来以声音为单位精确地识别输入的语音。
因此，差异探查单元105能够通过比较以词素为单位进行的识别处理的结 果和以单音节为单位进行的识别处理的结果来;f艮精确地探查出差异部分。
换言之，根据第三实施例，可以更精确地理解用户是如何发出语音的。 下面将参考图17来说明根据第三实施例的如上配制的语音识别装置
1500所进行的语音识别处理。
步骤S1701到S1704中所进行的语音输入过程、词素串产生过程、样
本句子搜寻过程、和句子对应进行过程与根据第二实施例所述的语音识别
装置卯0在步骤S1101到S1104中所进行的过程相同。因此，其说明就省略了。
之后，单音节识别单元1508利用声学模型和词典对输入语音进行语音 识别处理，并产生单音节串(步骤1705)。随后，通过参考所述时间信息， 音节对应进^f亍单元1509将识别处理结果中的词素串与识别处理结果中的 单音节串进行对应，并产生对应处理的结果(步骤S1706)。
之后，结合单元1510将音节对应进行单元1509所进行的对应处理的
(步骤S1707)。因为所述每个对应处理的结果都包括作为识别处理结果 的词素串，所以，通过使用所述词素串作为参考，结合单元1510能够将两 个对应处理的结果结合起来。
步骤S1703到S1704中进行的处理和步骤S1705到S1706中进行的处 理的顺序不限于上述例子。也可以首先进行步骤S1705到S1706中的处理。 另 一种安排也是可行的，其中，步骤S1703到S1704中的处理和步骤S1705 到S1706中的处理同时进行。换言之，可以以^:何顺序来进行这些处理， 只要当结合单元1510要将这些对应处理的结果结合在一起时，这些对应处 理的结果已经被产生。
之后，差异探查单元1505进行差异探查处理(步骤S1708)。后面将 说明差异探查处理的细节。
在步骤S1709到S1710中进行的原因信息获取处理和输出处理与根据
24第二实施例所述的语音识别装置900在步骤S1106到S1107中所进行的处 理相同。因此，其说明省略。
下面将参考图18说明在步骤S1708中所进行的差异探查处理的细节。
首先，差异探查单元1505从已经结合了的对应处理的各结果中获取还 没有处理过的对应处理的结果M[i(其中l《i<N)(步骤S1801)。之 后，差异探查单元1505获取所述识别处理结果中的词素串内的第一个词素 以及所述第一个词素的开始时间(步骤S1802)。另外，差异探查单元1505 获取所述识别处理结果中的词素串内的最后一个词素以及所述最后一个词 素的结束时间(步骤S1803)。
随后，差异探查单元1505从所述识别处理结果中的词素串内所包含的 音节中获取音节串Rp，该音节串是与从所获得的开始时刻到所获得的结束 时刻这段时间相对应的一系列音节(步骤S1804)。此外，差异探查单元 1505从所述识别处理结果中的单音节串中获取单音节串Tp,该单音节串 对应着从所获得的开始时刻到所获得的结束时刻这段时间(步骤S1805)。
在步骤S1806中进行的词素串比较处理与根据第二实施例所述的语音 识别装置900在步骤S1202中所进行的处理相同。因此，其说明省略。
之后，除了判断M[i].R-M[i.E是否被满足(即它们是否匹配)的处 理外，差异探查单元1505还对在步骤S1804中所获得的音节串Rp和在步 骤S1805中所获得的单音节串Tp进行比较(步骤S1807 )。
如果M[ij.R=M[i,E和Rp=Tp都被满足(步骤S1807:是)，那么， 差异探查单元1505就不把M[i.R确定为差异部分。在任何其它情形中(步 骤S1807:否)，差异探查单元1505将M[i.R确定为差异部^(步骤S1808 )。
在步骤S1809到S1810中进行的时间设置处理和完成判断处理与才艮据 第二实施例所述的语音识别装置900在步骤S1205到S1206中所进行的处 理相同。因此，其说明省略。
下面将说明根据第三实施例所述的语音识别处理的具体例子。在下面 的部分中，将说明一个例子，其中，输入了日语的输入语音"Takushii ni pasupooto o wasure chatta nodesu,，(意思是"我将护照丢在出租车中
25了，，)。
相连字识别单元102识别所述输入语音，并产生词素串作为识别处理 的结果(步骤S1702)。在本例中，假设产生了如图4所示的词素串。另 外假"i殳，句子获取单元903从样本句子存储单元923中获取如图10所示的 样本句子，作为与图4所示词素串类似的样本句子(步骤S1703)。
当获得了如图4所示的识别处理结果和如图IO所示的样本句子时，句 子对应进行单元104通过确定所述两个词素串之间的匹配程度使词素彼此 对应(步骤S1704 )。图19显示了由句子对应进行单元104进行了彼此对 应的各词素的例子。图4所示的识别处理结果中的词素串示于图19的顶部， 而图10所示的样本句子示于图19的底部。
此外，根据第三实施例，单音节识别单元1508对输入语音进行识别， 并产生单音节串作为识别处理结果(步骤S1705)。在本例中，假设单音 节识别单元1508产生了如图16所示的词素串。
当获得了如图16所示的单音节串和如图4所示的词素串作为识别处理 结果时，通过参考所述时间信息，音节对应进行单元1509将所述单音节串 和所述词素串进行相互对应(步骤S1706)。图20示出了音节对应进行单 元1509所进^f亍的对应处理的结果的一个例子。图16所示的单音节串示于 图20的顶部，而图4所示的词素串示于图20的底部。
之后，通过使用所述词素串作为参考，结合单元1510将图19和图20 中的对应处理的各结果结合在一起(步骤S1707)。在图21中，示于图21 的顶部的图20中的对应处理的结果与示于图21底部的图19中的对应处理 的结果结合起来。
对于没有音节或词素可以进行对应的任何部分，句子对应进行单元 104、音节对应进行单元1509、和结合单元1510就用一个空音节或空词素 进行对应。
差异探查单元1505对如图21所示的彼此进行了对应的词素和音节进 行比较，并探查出一个或多个差异部分(步骤S1708)。在图21所示的例 子中，差异探查单元1505能够在发声的开始处探查出差异部分2101，如在第二实施例的例子中那样。
此外，根据第三实施例所述的差异探查单元1505通过以音节为单位对 词素和音节进行比较，能够探查出差异部分2102、 2103、和2104。具体说， 通过比较以单音节为单位所进行的识别处理的结果和以词素为单位所进行 的识别处理的结果，差异探查单元1505不仅能够探查出在识别处理结果中 的词素串和样本句子之间已^嫂现的差异部分2101 ，而且能探查出差异部 分2102到2104，下面详细说明。
例如，尽管识别处理结果中的词素串包含小品词"o"，但在单音节串 中不包含相应的单音节。因此，差异探查单元1505就探查出差异部分2102。 另外，在词素串中所识别出的音节"cha"与以单音节为单位所识别出的音 节"chi"不匹配。因此，差异探查单元1505就探查出差异部分2103。类 似地，在词素串中所识别出的音节"ndesu，，与以单音节为单位所识别出的 音节"nde"不匹配。因此，差异探查单元1505就探查出差异部分2104。
之后，原因信息获取单元106分析输入语音中的每个差异部分的发声 位置以及差异内容。然后，原因信息获取单元106在原因信息存储单元124 中搜寻一条原因信息，该信息对应着与每个差异部分的分析出的发声位置 和内容所满足的状态(步骤S1709)。
在图21所示的例子中，首先，原因信息获取单元106获取由图3中的 编号1001所指示的一条原因信息，作为与差异部分2101相对应的原因信 息。另外，对于差异部分2102，因为位于发声中部的词素中所包含的小品 词"o"没有被识别出来，所以，原因信息获取单元106就获取由图3中的 编号1008所指示的一条原因信息。此外，对应差异部分2103，因为位于 发声中部的词素中所包含的辅音丟失了，所以，原因信息获取单元106就 获取由图3中的编号1007所指示的一条原因信息。另外，对于差异部分 2104，因为只有位于发声结尾处的读音的前一部分与相应词素匹配，所以， 原因信息获取单元106就获取由图3中的编号1009所指示的一条原因信 每
于是，原因信息获取单元106就分别为差异部分2101到2104获取了
27由编号1001、 1008、 1007、和1009所指定的各条建议。之后，输出单元 107将所获得的所述各条建议输出到显示设备132上(步骤S1107)。
如图22所示，在显示屏2200上，显示了输入语音2211和所搜寻到的 样本句子2212。另外，也显示了为差异部分2101到2104所获得的建议2201 到2204。
如上所述，才艮据第三实施例所述的语音识别装置不仅以词素为单位而 且以音节为单位来识别输入语音。因此，通过比较以音节为单位所进行的 识别处理的结果和以词素为单位所进行的识别处理的结果，所述语音识别 装置能够更精确地探查差异部分。
根据本发明的第四实施例所述的语音识别装置能够进一步探查包括输 入语音的音量在内的声学信息，并通过参考所探查出的声学信息进一步详 细确i人误识别的产生原因。
如图23所示，语音识别装置2300包括麦克风131、显示i殳备132、声 学模型存储单元121、语言模型存储单元122、样本句子存储单元923、原 因信息存储单元2324，以及声学信息存储单元2326，作为其主要的硬件配 置。另外，语音识别装置2300包括输入单元101、相连字识别单元102、 句子获取单元卯3、句子对应进行单元104、差异探查单元2305、原因信 息获取单元2306、输出单元107、声学信息探查单元2311、声学对应进行 单元2312、以及结合单元2313，作为其主要的软件配置。
第四实施例不同于第二实施例之处在于，另外提供了声学信息探查单 元2311、声学对应进行单元2312、声学信息存储单元2326、以及结合单 元2313，并且原因信息存储单元2324具有与第二实施例不同的数据结构， 差异探查单元2305和原因信息获取单元2306具有与第二实施例不同的功 能。其它配置和功能与图9所示的那些配置和功能相同，其中图9是才艮据 第二实施例所述的语音识别装置900的方框图。因此，相同的配置和功能 将用相同的参考字符来表示，并省略了其说明。
声学信息探查单元2311探查输入语音的声学信息。例如，声学信息探 查单元2311探查诸如输入语音的功率(即，音量)、停顿长度(即，没有声音的片段的长度)、音调(pitch)(即，语音的速度)、和语调等声学 信息。声学信息探查单元2311为每种不同类型的声学信息输出由所探查出 的一条声学信息的值和时间信息(即，开始时间和结束时间)构成的集合， 其中，所述时间信息指示探查出所述一条声学信息的片段，以输入语音的 开始作为参考点来表示。
声学信息存储单元2326中存储有由声学信息探查单元2311所探查出 的声学信息。如图24所示，声学信息存储单元2326中存储有若干条声学 信息，这些声学信息根据声学信息的类型进行分类，并以"(该条声学信 息的值)(时间信息)"这样的格式来表示。在图24所示的例子中，使 用从0 (低)到10 (高)的数值来表示功率，使用从l (快)到10 (慢) 的数值来表示音调(pitch )。
尽管在图中省略了 ，但如果探查出没有声音的片段作为声学信息的一 部分，那么也将所述没有声音的片段的时间信息(即，开始时刻和结束时 刻)存储在声学信息存储单元2326中。作为另一个例子，如果探查出语调 作为声学信息的一部分，那么就将表明使用了升语调还是降语调的信息以 及时间信息所构成的集合存储在声学信息存储单元2326中。
声学对应进行单元2312将声学信息探查单元"11所探查出的每条声 学信息与相连字识别单元102所进行的识别处理所获得的词素串进行对 应。具体说，通过参考探查出声学信息的每个片段的开始时间和结束时间 以及每个词素的开始时间和结束时间，声学对应进行单元2312将时间相匹 配的各条声学信息和词素串彼此进行对应。
结合单元2313将句子对应进行单元104所进行的对应处理的结果和声 学对应进行单元2312所进行的对应处理的结果结合起来，使得各条所述声 学信息、作为识别处理的结果所获得的词素串、和样本句子中的词素串彼 此对应。
原因信息存储单元2324不同于上述示范性实施例中所述的原因信息 存储单元124之处在于，原因信息存储单元2324中存储有还包括声学信息 和优先级信息的若干条原因信息。在这种情形中，优先级信息显示了基于
29一条声学信息获得的 一条建议是否比基于词素获得的 一条建议具有更高的 优先级。
如图25所示，原因信息存储单元2324中存储有若干条原因信息，在 每条原因信息中包含标示该条原因信息的编号、发声位置、有差异的音节/ 词素、 一条声学信息、误识别的产生原因、 一条建议、和一条优先级信息， 它们被保持为彼此对应。
在图25所示的例子中，只显示了若干条原因信息，在其中的每一条中 都指定了一条声学信息。然而，另一种安排也是可行的，其中，原因信息 存储单元2324中存储有这样的原因信息，在这些原因信息中，指定了有差 异的音节/词素的状态，像根据上述示范性实施例的图3中的原因信息那样。
差异探查单元2305不同于根据第二实施例的差异探查单元905之处在 于，差异探查单元2305输出探查出的差异部分，同时还使差异部分与时间 信息匹配的声学信息彼此对应。
原因信息获取单元2306不同于根据第二实施例的原因信息获取单元 106之处在于，原因信息获取单元2306搜寻这样的原因信息，该原因信息 除了符合与发声位置和有差异的音节/词素相关的状态外，还符合与所述声 学信息相关的状态，而且，不同之处在于，原因信息获取单元2306通过参 考优先级信息来获取被赋予了较高优先级的原因信息。
下面将参考图26来说明根据如上配制的第四实施例所述的语音识别 装置2300所进行的语音识别处理。
步骤S2601到S2604中的处理与根据第二实施例的语音识别装置900 在步骤S1101到步骤S1104中所进行处理相同。因此，其说明省略。
之后，声学信息探查单元2311从输入语音中探查一条或多条声学信息 (步骤S2605)。随后，通过参考所述时间信息，声学对应进行单元2312 使识别处理结果中的词素串与所探查出的*声学信息进行对应，并产生 所述对应处理的结果(步骤S2606)。
之后，结合单元2313将声学对应进行单元2312所进行的对应处理的
.巧口J
30来(步骤S2607)。由于所述对应处理的每个结果都包含识别处理结果中 的词素串，所以，结合单元2313能够使用所述词素串作为参考将对应处理 的两个结果结合起来。
步骤S2603到S2604中的处理和步骤S2605到S2606中的处理进行的 顺序不限于上述例子。也可以首先进^f亍步骤S2605到S2606中的处理。另 一种安排也是可行的，其中，步骤S2603到S2604中的处理和步骤S2605 到S2606中的处理并行进行。换言之，可以以任何顺序来进行这些处理， 只要当结合单元2310要将这些对应处理的结果结合在一起时，这些对应处 理的结果已经产生。
在步骤S2608中进行的差异探查处理与根据第二实施例的语音识别装 置卯0在步骤S1105中进行的处理相同。因此，其说明省略。
之后，原因信息获取单元2306从原因信息存储单元124中获取一条原 因信息，该原因信息对应着每个所探查出的差异部分所符合的状态(步骤 S2609)。通过利用与每个探查出的差异部分相对应的声学信息，根据第四 实施例所述的原因信息获取单元2306考虑与所述声学信息相关的状态来 搜寻所述原因信息。
随后，输出单元107在显示设备132上输出所获得的原因信息中所包 含的建议(步骤S2610)，语音识别处理就结束了。
下面将说明才艮据第四实施例的语音识别处理的具体例子。在下面的部 分中，假i殳样本句子存储单元923中存储有样本句子，包括图27所示的样 本句子。换言之，样本句子存储单元923中存储有日语样本句子"Takushii ni pasupooto o wasureta nodesu"(意思是"我将护照丢在出租车中了 ")。 另外假设，用户说出了同样的样本句子，并将日语语音输入到语音识别装 置2300中。
相连字识别单元102识别所述输入语音，并产生词素串作为识别处理 的结果(步骤S2602)。在本例中，假设相连字识别单元102产生了如图 28所示的词素串。另外假设，句子获取单元卯3从样本句子存储单元923 中获取了如图27所示的样本句子，作为与图28所示词素串类似的样本句子(步骤S2603 )。
当获得了如图28所示的识别处理结果和如图27所示的样本句子时， 句子对应进行单元104通过确定这两个词素串之间的匹配程度使各词素彼 此对应(步骤S2604)。图29显示了由句子对应进行单元104进行了彼此 对应的词素的例子。图28所示的识别处理结果中的词素串示于图29的顶 部，而图27所示的样本句子示于图29的底部。
根据第四实施例，声学信息探查单元2311进一步从输入语音中探查声 学信息(步骤S2605)。在本例中，假设声学信息探查单元1311探查出了 如图24所示的若干条声学信息(关于功率和音调(pitch))。
当获得了如图24所示的若干条声学信息和如图28所示的词素串时， 声学对应进行单元2312通过参考所述时间信息将所述若干条声学信息和 所述词素串进行相互对应(步骤S2606)。图30显示了由声学对应进行单 元2312所进行的对应处理的结果的例子。
图24所示的声学信息示于图30的顶部，而图28所示的词素串示于图 30的底部。另外，在图30中，功率用"v(功率值)"的格式来表示，而 音调(pitch)则用"s (音调值)"的格式来表示。
之后，结合单元2313利用所述词素串作为参考将图29和图30所示的 对应处理的结果结合起来(步骤S2607)。图31显示了这样一个例子，其 中，所述对应处理的结果已经由结合单元2313结*来了。图30所示的 对应处理的结果示于图31的顶部，而图29所示的对应处理的结果示于图 31的底部。
差异探查单元2305将如图31所示进行了对应的词素作比较，并探查 一个或多个差异部分(步骤S2608)。在图31所示的例子中，差异探查单 元2305能够探查出在发声开始处的差异部分3101、在发声中部的差异部 分3102、以及在发声结尾处的差异部分3103。
随后，原因信息获取单元2306除了分析输入语音中的每个差异部分的 发声位置和差异内容外，还分析与每个差异部分进行了对应的声学信息。 然后，原因信息获取单元2306在原因信息存储单元2324中搜寻一条原因信息，该条原因信息对应着所述发声位置、差异内容和声学信息所符合的
状态(步骤S2609)。
在图31所示的例子中，首先，原因信息获取单元2306获取由图3中 的编号1001所指示的原因信息，作为差异部分3101的原因信息。另一方 面，图25所示的原因信息存储单元2324中没有存储如下所述的原因信息， 该原因信息包含差异部分3101进行了对应的功率值8和音调值5所符合的 关于声学信息的状态。因此，原因信息获取单元2306为差异部分3101获 取由编号1001所指示的建议。
另外，对于差异部分3102，由于没有识别出位于发声中部的词素中的 小品词"o"，所以，原因信息获取单元2306获取由图3中的编号1008 所指示的原因信息。图25中的原因信息存储单元2324存储有由编号1101 所指示的原因信息，该原因信息包含差异部分3102进行了对应的功率值6 和音调值2所符合的关于声学信息的状态。另外，这条原因信息没有净皮优 先级信息指定为"祐赋予了优先级"的一条原因信息。因此，原因信息获 取单元2306获取由编号1008和1101所指示的两条建议。
此外，对于差异部分3103，由于发声结尾处的读音只有前一部分与相 应的词素匹配，所以，原因信息获取单元2306获取由图3中的编号1009 所指示的原因信息。图25所示的原因信息存储单元2324中存储有由编号 1104所指示的原因信息，该原因信息包含与差异部分3103进行了对应的 功率值2和音调值4所符合的关于声学信息的状态。另外，这条原因信息 被优先级信息指定为"被赋予了优先级，，的一条原因信息。因此，原因信 息获取单元2306不获取由编号1009所指示的建议，而只获取由编号1104 所指示的建议。
之后，输出单元107在显示设备132上输出所获得的各条建议(步骤 S2610)。
如图32所示，在显示屏3200上，显示了输入语音3211和搜寻到的样 本句子3212。另外，也显示了为差异部分3101、 3102和3103所获得的各 条建议3201、 3202、和3203。
33音识别装置通过参考与例如输入 语音的音量相关的声学信息，能够进一步详细地确认误识别的产生原因。
在第三和第四实施例中，可以使用第一实施例中所述的正确句子存储 单元来替代样本句子存储单元。另外，可以将第三和第四实施例结合起来， 从而可以利用通过以单音节为单位进行识别处理来稿精度地探查差异部分 的功能和通过探查声学信息来详细地确认差异的产生原因的功能。
下面将参考图33来说明根据所述第一到第四实施例所述的语音识别 装置的硬件配置。
根据所述第 一到第四实施例所述的每种语音识别装置都包括控制设备 (如中央处理单元(CPU) Sl)、存储设备(如只读存储器(ROM) 52 和随机存取存储器(RAM) 53)、以及通信接口 (I/F) 54 (建立与网络 的连接并进行通信)和总线61 (使这些组件彼此相连)。
根据第 一到第四实施例的每种语音识别装置所执行的语音识别计算机 程序提前存储在ROM 52或类似存储器中以被提供。
另一种安排也是可行的，其中，由根据第一到第四实施例所述的每种 语音识别装置所执行的语音识别计算机程序被记录在计算机可读记录介质 (诸如，致密光盘只读存储器(CD-ROM )、软盘、可记录致密光盘(CD-R )、 数字通用光盘(DVD)等)上以被提供，并储存在具有可安装格式或可执 行格式的文件中来提供。
此外，还有一种安排是可行的，其中，由才艮据第一到第四实施例所述 的每种语音识别装置所执行的语音识别计算机程序被存储在与网络(例如 互联网)相连的计算机上，并通过网络可以下载。还有一种安排是可行的， 其中，由根据第一到第四实施例所述的每种语音识别装置所执行的语音识 别计算机程序通过网络(例如互联网)来提供或分配。
由根据第 一到第四实施例所述的每种语音识别装置所执行的语音识别 计算机程序具有才莫块化配置，该模块化配置包括上述各功能单元(例如， 输入单元、相连字识别单元、句子获取单元、句子对应进行单元、差异探 查单元、原因信息获取单元、和输出单元)。作为实际的硬件配置，当CPU
3451从ROM 52读取并执行语音识别计算机程序时，这些功能单元就被加栽 到主存储设备中，从而在主存储设备中产生这些功能单元。
权利要求
1. 一种语音识别装置，包括范句存储单元，用于存储范句；信息存储单元，用于存储彼此进行了对应的若干状态和若干条输出信息，每个所述状态基于语音输入和任何所述范句之间的差异部分和差异内容提前被确定，而每条所述输出信息涉及相应差异的产生原因；输入单元，该单元接收语音的输入；第一识别单元，该第一识别单元基于用来确定音素的声学特性的声学模型和用来确定各词素之间的连接关系的语言模型将所输入的语音识别为词素串；句子获取单元，该单元从所述范句存储单元中获取一个与所输入的语音相关的范句；句子对应进行单元，该单元基于所识别出的词素串中所包含的每个第一词素与所获取的范句中所包含的任何第二词素的匹配程度将所述每个第一词素与至少一个所述第二词素进行对应；差异探查单元，该单元探查与相应的一个所述第二词素不匹配的一个或多个所述第一词素，将其作为所述差异部分；信息获取单元，该单元从所述信息存储单元中获取与每个探查出的所述差异部分的状态相对应的一条输出信息；以及输出单元，该单元输出所获取的输出信息。
2. 根据权利要求l所述的装置，还包括第二识别单元，该单元基于所述声学模型以及定义与单音节相对应的 词汇的词典信息，将所述输入的语音识别为单音节串；以及音节对应进行单元，该单元将所识别出的单音节串中所包含的每个单 音节与在所述输入的语音中有匹配的发声片段的所述第 一词素中所包含的 任何音节进^f亍对应，其中，所述差异探查单元还探查一个或多个所含音节与相应的单音节不匹配的所述第一词素，将其作为所述差异部分。
3. 根据权利要求l所述的装置，其中，所述句子获取单元从所述范句 存储单元中获取一个指定的范句，作为与所述输入的语音相关的一个范句。
4. 根据权利要求l所述的装置，其中，所述句子获取单元从所述范句 存储单元中获取与所述输入的语音类似或与所述输入的语音完全匹配的一 个范句。
5. 根据权利要求4所述的装置，其中，所述差异探查单元计算每个所述第一词素中与相应的一个所述第二词素中的字符不匹配的字符的数目， 计算每个所述第一词素中所述字符数目与字符总数的比值，并探查一个或 多个所述比值小于预定阈值的所述第一词素，将其作为差异部分。
6. 根据权利要求l所述的装置，还包括声学信息探查单元，该单元探查若干条声学信息，每条声学信息都显 示了所述输入的语音的声学特性，并且该单元输出彼此对应的若干条片段 信息和所探查出的若干条声学信息，所述多条片段信息中的每一条都显示 了所述输入的语音中的一个语音片段，从中探查出了相应的一条声学信息； 以及声学对应进行单元，该单元将每条所探查出的声学信息与所述第一词 素中所包含的任何所述音节相对应，其在所述输入的语音中的语音片段与 所述声学信息所对应的所述片段信息中所显示的语音片段相匹配，其中，所述信息存储单元存储有相互对应的若干状态和若干条输出信息，其 中每个所述状态与一个所述差异部分中的一条所述声学信息相关，以及所述信息获取单元从所述信息存储单元中获取这样一条输出信息，该 条输出信息对应着与每个所探查出的差异部分相对应的所述声学信息的状 态。
7. 根据权利要求6所述的装置，其中，每条所述声学信息为音量、音 调、无声片段的长度、和语调中的至少一个。
8. 根据权利要求l所述的装置，其中，所述信息存储单元存储有相互对应的位置状态、词汇状态、以及所述若干条输出信息，每个所述位置状态涉及所述输入的语音中的每个差异部 分的发声位置，每个所述词汇状态涉及在与每个所述差异部分进行了对应 的任何第二词素和所述差异部分之间不匹配的词汇，以及所述信息获取单元抽取所述输入的语音中的每个探查出的差异部分的 发声位置，以及在每个探查出的差异部分和与所述差异部分进行了对应的 任何第二词素之间不匹配的词汇，并从所述信息存储单元中获取这样一条输出信息，该输出信息对应着所抽取出的发声位置所符合的一个位置状态 和所抽取出的词汇所符合的 一个词汇状态。
9. 一种i吾音识别方法，包括 接收语音的输入；基于确定音素的声学特性的声学模型和确定各词素之间的连接关系的 语言模型将所述输入的语音识别为词素串；从存储有范句的范句存储单元中获取一个与所述输入的语音相关的范句；基于所识别出的词素串中所包含的每个第 一词素与所获取的范句中所 包含的任何第二词素的匹配程度，将每个所述第 一词素与至少 一个所述第二词素进4于对应；探查一个或多个与相应的一个所述第二词素不匹配的所述第一词素， 将其作为所述差异部分；从信息存储单元中获取与每个探查出的所述差异部分的状态相对应的 一条输出信息，其中所述信息存储单元中存储有彼此对应的若干状态和若 干条输出信息，每个所述状态基于差异部分和差异内^^皮提前确定，而每 条所述输出信息涉及差异的产生原因；以及输出所述获得的若干条输出信息。
全文摘要
本发明涉及语音识别装置及方法。在该装置中，相连字识别单元基于声学模型和语言模型将语音识别为词素串。句子获取单元从正确句子存储单元中获取与所述语音相关的范句。基于匹配程度，句子对应进行单元将所识别出的词素串中所包含的第一词素与所获得的范句中所包含的第二词素进行对应。差异探查单元探查一个或多个与相对应的所述第二词素不匹配的所述第一词素，将其作为差异部分。原因信息获取单元从原因信息存储单元中获取输出信息，该输出信息对应着每个所述差异所符合的状态。输出单元输出所获得的输出信息。
文档编号G10L15/00GK101447187SQ20081017818
公开日2009年6月3日 申请日期2008年11月25日 优先权日2007年11月26日
发明者永江尚义 申请人:株式会社东芝