声音识别装置、声音识别方法及计算机可读存储介质与流程

本申请主张申请日为2016年09月15日、申请号为jp2016-180447的日本申请为优先权，并引用上述申请的内容，通过引用将其公开内容全部结合于此。

本发明的实施例涉及一种声音识别方法及用该方法进行声音识别的声音识别装置以及计算机可读存储介质。

背景技术：

近年来，有装载声音识别装置，并当用户从外部通过声音给予期望的操作内容时，则识别其声音并执行与期望的操作内容对应的动作的电子设备。这样的电子设备通常具有发声按钮，声音识别装置以用户操作了该发声按钮的情况为契机接受声音的输入。不过，因在接受声音输入之前用户已经发声而不能记录声音信号的开头部分，往往引起声音识别装置的误识别。

为了防止这样的问题，公知有在从发声按钮已被操作到可接受声音输入的期间使显示画面显示规定的图像而向用户通知发声开始的时机的技术。不过，存在有能够应用该技术的不仅限定于具有显示画面的电子设备，而且控制电子设备以显示图像的处理器的处理负荷变得较大这样的问题。

技术实现要素：

鉴于上述问题，本发明所要解决的技术问题是，提供一种声音识别装置及声音识别方法、计算机可读存储介质，其不向用户通知发声开始的时机而能够降低因不能记录声音信号的开头部分而导致的误识别。

为解决上述问题，本发明的一实施例，提供了一种声音识别装置，包括：记录部、接受部、识别部、判定部及修正部。记录部记录通过声音输入部已输入的声音信号。接受部接受来自声音输入部的声音输入开始指示。识别部根据在接受到输入开始指示后记录部所记录的声音信号对声音发声进行识别。判定部根据从接受输入开始指示到通过声音输入部声音信号被输入的时间来判定是否对声音发声的识别结果进行修正。修正部对通过判定部判定出为要进行修正的声音发声进行修正。

根据这样的构成，能够不向用户通知发声开始的时机而降低因不能记录声音信号的开头部分而导致的误识别。

对于声音识别装置，在一种可能的实施方式中，所述判定部在所述时间与规定的阈值时间相比短时判定为要进行修正。

根据这样的构成，不仅声音识别装置能够装载在不具有显示画面的电子设备上，而且也不担心声音识别装置的处理负荷变大。

对于声音识别装置，在一种可能的实施方式中，还包括：第一时刻取得部，取得通过所述接受部接受到所述开始指示的第一时刻；以及第二时刻取得部，取得通过所述声音输入部声音信号的输入已被开始了的第二时刻，其中，所述判定部在从所述第一时刻到所述第二时刻的经过时间与所述阈值时间相比短时判定为要进行修正。

根据这样的构成，由于能够正确掌握经过时间，因此通过设定恰当的阈值时间，能够防止实施无用的修正处理于未然。

对于声音识别装置，在一种可能的实施方式中，所述修正部将通过所述识别部识别出的声音发声的开头的单词替换成与所述声音发声的第二个以后的单词有关联的其他单词而进行修正。

根据这样的构成，由于修正处理也比较容易并能够用较短时间执行，所以也没有声音识别装置的处理负荷大幅度地增加而识别速度下降的担心。

对于声音识别装置，在一种可能的实施方式中，还包括：定时器，用于计时所述时间，其中，所述判定部在所述计时时间与规定的阈值时间相比短时判定为要进行修正。

根据这样的构成，通过设置这样的定时器，能够容易地进行计时时间。

本发明的第二实施例，提供一种声音识别方法，包括以下步骤：接受步骤，接受声音输入的开始指示的步骤；识别步骤，根据在通过所述接受步骤接受到所述开始指示后通过声音输入部已输入的声音信号对声音发声进行识别；判定步骤，根据从通过所述接受步骤接受所述开始指示到所述声音信号被输入的时间判定是否对所述声音发声的识别结果进行修正；以及修正步骤，当通过所述判定步骤判定为要进行修正时，对已识别出的声音发声进行修正。

根据这样的声音识别方法，能够不向用户通知发声开始的时机而降低因不能记录声音信号的开头部分而导致的误识别。

对于声音识别方法，在一种可能的实施方式中，在所述判定步骤中，在所述时间与规定的阈值时间相比短时判定为要进行修正。

根据这样的声音识别方法，不仅声音识别装置能够装载在不具有显示画面的电子设备上，而且也不担心声音识别装置的处理负荷变大。

对于声音识别方法，在一种可能的实施方式中，还包括以下步骤：第一时刻取得步骤，取得通过所述接受步骤接受到所述开始指示的第一时刻；以及第二时刻取得步骤，取得通过所述声音输入部声音信号的输入已被开始了的第二时刻，其中，在所述判定步骤中，在从所述第一时刻到所述第二时刻的经过时间与所述阈值时间相比短时判定为要进行修正。

根据这样的声音识别方法，由于能够正确掌握经过时间，因此通过设定恰当的阈值时间，能够防止实施无用的修正处理于未然。

对于声音识别方法，在一种可能的实施方式中，在所述修正步骤中，将通过所述识别步骤识别出的声音发声的开头的单词替换成与所述声音发声的第二个以后的单词有关联的其他单词而进行修正。

根据这样的声音识别方法，由于修正处理也比较容易并能够用较短时间执行，所以也没有声音识别装置的处理负荷大幅度地增加而识别速度下降的担心。

本发明的第三实施例，提供一种计算机可读存储介质，存储声音识别程序，所述声音识别程序使具有连接声音输入部且记录通过所述声音输入部已输入的声音信号的记录部的计算机执行以下功能：接受声音输入的开始指示的功能；根据在接受到所述开始指示后所述记录部所记录的声音信号对声音发声进行识别的功能；根据从接受所述开始指示到通过所述声音输入部声音信号被输入的时间判定是否对所述声音发声的识别结果进行修正的功能；以及对判定出为要进行修正的声音发声进行修正的功能。

根据这样的构成，能够实现能够不向用户通知发声开始的时机而降低因不能记录声音信号的开头部分而导致的误识别的功能。

附图说明

下面，参照附图对实施例所涉及的声音识别装置及声音识别方法、存储声音识别程序的计算机可读存储介质进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是表示作为一实施例的声音识别装置的构成框图；

图2是表示该声音识别装置所具有的单词词库文件的一例的图；

图3(a)及图3(b)是表示该声音识别装置所具有的语言词库文件的一例的图；

图4是表示该声音识别装置的处理器按照声音识别程序执行的信息处理顺序的流程图；

图5是表示声音信号波形的一例的图；

图6是表示声音信号波形的另一例的图；

图7是声音识别所涉及的状态变迁图；以及

图8是声音发声修正所涉及的状态变迁图。

附图标记说明

10声音识别装置11处理器

12主存储器13辅助存储装置

14时钟部19输出部

20话筒30发声按钮

111按下检测部112阈值判定部

113声音识别部114修正部

115输出控制部131、131a单词词库文件

132、132a、132b语言词库文件

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

下面，参照附图，对不向用户通知开始发声的时机(时间)而能够降低因不能记录声音信号的开头部分而导致的误识别的声音识别装置的实施例进行说明。

图1是表示本实施例中的声音识别装置10的要部构成的框图。声音识别装置10当接受声音输入的开始指示时，则根据在接受到开始指示后已输入的声音信号识别声音发声。而且，声音识别装置10根据从接受开始指示到声音信号被输入的时间判定是否对声音发声的识别结果进行修正，当要进行修正时对识别出的声音发声进行修正。这样的声音识别装置10是被装配到诸如在饮食店等中被使用的便携式的订购终端、在工业设备的维修保养工作等中被使用的维修保养记录终端等的电子设备中，起到支援用户的发声的输入的功能作用的装置。

如图1所示，声音识别装置10具有处理器11、主存储器12、辅助存储装置13、时钟部14、数字化部15、输入端口16、多个装置接口17、18及输出部19等。此外，声音识别装置10具有包含地址总线、数据总线等的总线bl，并在该总线bl上连接有处理器11、主存储器12、辅助存储装置13、时钟部14、数字化部15、输入端口16、装置接口17、18及输出部19。

数字化部15连接作为声音输入部的话筒20，并将通过话筒20输入了的模拟的声音信号转换成数字的声音信号。话筒20既可以内置于装载了声音识别装置10的电子设备，又可以装卸自如地进行外部连接。另外，当话筒20是输出数字数据的声音信号的类型的装置时，可以省略数字化部15。

输入端口16连接作为声音输入的开始指示部的发声按钮30，并输入发声按钮30的导通信号。用户在朝向话筒20进行发声的期间按下发声按钮30。发声按钮30在已被按下的期间输出导通信号。发声按钮30也可以是第一次按下输出导通信号，第二次按下停止导通信号的类型的按钮。

装置接口17连接输入装置40，并按照规定的协议从输入装置40取得输入数据。输入装置40是键盘、触摸面板、定点(定位)装置等。装置接口18连接显示装置50，并按照规定协议向显示装置50输出显示数据。显示装置50是液晶显示器、等离子显示器、el(electroluminescent：电致发光)显示器等。另外，与装置接口17、18连接的装置并不限定于输入装置40及显示装置50。例如也可以连接有打印机来替代显示装置50。此外，也可以连接有条码阅读器、rfid读写器、卡读写器等来替代输入装置40。

另外，作为声音输入部的话筒20、作为开始指示部的发声按钮30、输入装置40及显示装置50被设置在装载了声音识别装置10的电子设备中。这时，发声按钮30也可以设置在作为输入装置40的一种的键盘或触摸面板上。

声音识别装置10由处理器11、主存储器12及辅助存储装置13和连接这些的总线bl构成计算机。

处理器11相当于上述计算机的中枢部分。处理器11按照操作系统、应用程序为了实现作为声音识别装置10的功能而控制各部。

主存储器12相当于上述计算机的主存储部分。主存储器12包括非易失性的存储区域和易失性的存储区域。主存储器12在非易失性的存储区域中存储操作系统、应用程序。此外，主存储器12在非易失性或者易失性的存储区域中存储处理器11执行用于控制各部的处理时所需要的数据。

主存储器12将易失性的存储区域作为通过话筒输入了的声音信号的记录部进行使用。也就是说，主存储器12具有将通过数字化部15转换成为数字数据的声音信号以规定缓冲区单位反复覆盖并进行保存的区域。另外，作为该记录部的区域也可以形成在辅助存储装置13中。

辅助存储装置13相当于上述计算机的辅助存储部分。例如eeprom(electricerasableprogrammablereadonlymemory：电可擦除可编程只读存储器)、hdd(harddiscdrive：硬盘驱动器)、ssd(solidstatedrive：固态硬盘)等被用作辅助存储装置13。辅助存储装置213保存处理器11进行各种处理时使用的数据、通过在处理器11中的处理已生成的数据。辅助存储装置13有时存储上述的应用程序。

辅助存储装置13存储声音识别所需的单词词库文件131及语言词库文件132。单词词库文件131如在图2中示出其一例那样是预先记录了各种单词和其注音假名的数据文件。例如，单词词库文件131a针对单词“烧烤”、“秋天”、“肉”、“去”、“柿子”、“盛开”、“瀑布”、“哭泣”、“废弃”、“柴火”、“腋下”分别记录注音假名“yaki”、“aki”、“niku”、“iku”、“kaki”、“saki”、“taki”、“naki”、“haki”、“maki”、“waki”。

语言词库文件132如在图3(a)及图3(b)中示出其一例那样是预先记录了各种单词彼此之间的有关联的概率的数据文件。例如，语言词库文件132a在单词“烧烤”之后作为单词“烧烤”有关联的概率记录“0.1”、作为单词“秋天”有关联的概率记录“0.1”、作为单词“肉”有关联的概率记录“0.5”、作为单词“去”有关联的概率记录“0.1”。同样，语言词库文件132a在单词“秋天”之后，作为单词“烧烤”有关联的概率记录“0.1”、作为单词“秋天”有关联的概率记录“0.1”作为单词“肉”有关联的概率记录“0.1”、作为单词“去”有关联的概率记录“0.2”。

另一方面，语言词库文件132b在单词“去”之前作为单词“柿子”有关联的概率记录“0.2”、作为单词“盛开”有关联的概率记录“0.1”、作为单词“瀑布”有关联的概率记录“0.1”、作为单词“哭泣”有关联的概率记录“0.1”、作为单词“废弃”有关联的概率记录“0.1”、作为单词“柴火”有关联的概率记录“0.1”、作为单词“腋下”有关联的概率记录“0.1”。同样，语言词库文件132b在单词“肉”之前，作为单词“柿子”有关联的概率记录“0.3”、作为单词“哭泣”有关联的概率记录“0.1”、作为单词“瀑布”有关联的概率记录“0.1”、作为单词“哭泣”有关联的概率记录“0.1”、作为单词“废弃”有关联的概率记录“0.1”、作为单词“柴火”有关联的概率记录“0.1”、作为单词“腋下”有关联的概率记录“0.2”。

返回到图1的说明。

时钟部14具有作为声音识别装置10的时刻信息源的功能。处理器11根据通过时钟部14计时的时刻信息，计时当前的日期及时刻。另外，时钟部14也可以兼用装载有声音识别装置10的电子设备所设置的时钟部。

输出部19将作为通过该声音识别装置10识别出的结果的声音发声的数据输出给外部。数据的输出处(目的地)诸如是装载了该声音识别装置10的电子设备的控制装置。

在所涉及的构成的声音识别装置10中，处理器11具有作为按下检测部111、阈值判定部112、声音识别部113、修正部114及输出控制部115的功能。这些功能通过处理器11按照声音识别程序执行信息处理来实现。声音识别程序被存储在主存储器12或辅助存储装置13中。另外，声音识别程序也可以不预先存储在主存储器12或辅助存储装置13中。也可以将与该电子设备单独转让的声音识别程序根据用户等的操作写入到装载了声音识别装置10的电子设备所具有的可写入的存储装置中。声音识别程序的转让可以记录在可移动的存储介质中、或者通过网络的通信来进行。存储介质只要象cd-rom、存储卡等那样能够存储程序且装置可读取，则其形态不限。

图4是表示处理器11按照声音识别程序执行的信息处理顺序的流程图。另外，在图4所示的同时以下说明的处理的内容是一个例子，其只要能够获得同样的结果则该处理顺序及处理内容并不特别地被限定。

当声音识别程序被开始时，则处理器11作为act1等待(待机)接受发声按钮30被按下。当通过输入端口16导通信号被输入时，则处理器11检测发声按钮30已被按下(act1的yes)。而且，处理器11作为act2使通过时钟部14正计时的时刻作为检测时刻p存储在主存储器12的规定区域中(第一时刻取得手段(第一时刻取得部、第一时刻取得步骤))。在这里，处理器11通过执行act1及act2的处理，具有作为按下检测部(接受手段(接受部、接受步骤))111的功能。

在存储了检测时刻p之后，处理器11作为act3等待接受声音信号被输入。当通过数字化部15已被数字化的声音信号所谓的声音数据被输入时(act3的yes)，则处理器11作为act4使在时钟部14中正计时的时刻作为声音开始时刻d存储在主存储器12的规定区域(第二时刻取得手段(第二时刻取得部、第二时刻取得步骤))。此外，处理器11作为act5将声音数据存储在主存储器12的记录部中。

处理器11作为act6进行声音数据的阈值判定。阈值判定是起从识别对象中排除周围平常产生的声音数据，并仅将用户所发出的声音的数据作为识别对象的作用。具体地说，判定记录部所记录的规定的缓冲区单位的声音数据是否是大于等于规定的音量thp，当是大于等于规定的音量thp时将该声音数据视为识别对象。

处理器11作为act7确认阈值判定的结果。作为阈值判定的结果，当将声音数据视为不是识别对象时(act7的no)，处理器11返回到act3的处理。而且，处理器11再次重复act3以后的处理。针对于此，当将声音数据视为识别对象时(act7的yes)，处理器11前进到act8的处理。在这里，处理器11通过执行act6及act7的处理，具有作为阈值判定部112的功能。

在act8中，处理器11进行声音识别。也就是说，处理器11参考记录部所记录的声音数据的频率特性，计算该声音数据的声音特征量。而且，处理器11通过使用单词词库文件131及语言词库文件132的数据进行概率的模式识别处理，来编制根据声音数据识别为声音发声的文字列。已编制的声音发声的文字列被临时存储在主存储器12中。另外，这样的声音识别的方法由于是公知的，所以在这里省略详细的说明。此外，声音识别的方法并不特别限定，也可以使用其他方法根据声音数据识别作为声音发声的文字列。在这里，处理器11通过执行act8的处理，具有作为声音识别部(识别手段(识别部、识别步骤))113的功能。

当声音数据的声音识别结束时，则处理器11作为act9判定是否对声音发声的识别结果进行修正(判定手段(判定部、判定步骤))。具体地说，处理器11检查从在act2的处理中已取得的检测时刻p到在act4的处理中已取得的声音开始时刻d的经过时间(d-p)是否比预设的阈值时间t短。而且，当短时，处理器11判定需要修正。针对于此，当不短时，处理器11判定为无需修正。当判定出为需要时(act9的no)，处理器11在执行了act10的处理后，前进到act11的处理。当判定出为不需要时(act9的yes)，处理器11不执行act10的处理，而前进到act11的处理。

在act10中，处理器11对在act8的处理中已识别出的声音发声进行修正(修正部)。另外，对声音发声的修正方法进行后述。在这里，处理器11通过执行act9及act10的处理，具有作为修正手段(修正部、修正步骤)114的功能。

在act11中，处理器11将在act8的处理中识别出的声音发声或在act10的处理中已修正的声音发声的数据通过输出部19输出给外部。或者，处理器11也可以将声音发声的数据输出给显示装置50从而使识别结果显示在显示装置的画面上。在这里，处理器11通过执行act11的处理，具有作为输出控制部115的功能。

以上，基于声音识别程序的处理器11的处理结束。

图5及图6是用户发声为“烤肉”时的声音信号(模拟数据)的具体例。在图5的例子中，发声按钮30的按下检测时刻p用“p1”示出，声音开始时刻d用“d1”示出。也就是说，在图5的例子中，从按下检测时刻p到声音开始时刻d的经过时间用t1示出。同样，在图6的例子中，发声按钮30的按下检测时刻p用“p2”示出，声音开始时刻d用“d2”示出。也就是说，在图6的例子中，从按下检测时刻p到声音开始时刻d的经过时间用t2示出。

当为图5的例子时，经过时间t1由于充分长，所以在记录部所记录的声音数据的开头部分不会发生遗漏。其结果，声音数据是“ya·ki·ni·ku”，已识别出的声音发声为“烤肉”。针对于此，当为图6的例子时由于经过时间t2较短，所以记录部所记录的声音数据的开头部分遗漏有“y”。其结果，声音数据是“a·ki·ni·ku”，识别出的声音发声根据图7的状态变迁图变成“秋天去”。就是说，根据开头的声音数据“a”和接着的声音数据“ki”被识别单词“秋天”，由于接续该单词“秋天”的声音数据当为“niku”时的概率为0.1，当为“iku”时的概率是0.2，因此，被识别为声音发声“秋天去”。

在这里，本实施例的声音识别装置10，当从按下检测时刻p到声音开始时刻d的经过时间与预设的阈值时间t相比短时，处理器11进行声音发声的修正。现在，假设阈值时间t为“t1>t>t2”的关系。这时，处理器11在图5的例子中不进行修正，而在图6的例子中执行修正。

具体地说，首先，处理器11当声音数据“a·ki·ni·ku”的开头“a”是元音时，在该元音上顺序附加表示辅音的“k、s、t、n、h、m、y、r、w”。也就是说，处理器11编制声音数据“ka·ki·ni·ku”、“sa·ki·ni·ku”、“ta·ki·ni·ku”、“na·ki·ni·ku”、“ha·ki·ni·ku”、“ma·ki·ni·ku”、“ya·ki·ni·ku”、“ra·ki·ni·ku”、“wa·ki·ni·ku”。而且，处理器11关于这些的声音数据的各个数据再次执行使用了单词词库文件131及语言词库文件132的模式识别处理。其结果，当假设为图8所示的状态变迁图已被编制时，则处理器11从该状态变迁图中选出有关联的概率最高的声音数据“ya·ki·ni·ku”。而且，处理器11将声音发声“秋天去”修正为“烤肉”。

这样，根据本实施例的声音识别装置10，即使当因从用户按下发声按钮30到开始发声的时间较短，在记录部所记录的声音信号的开头中发生了遗漏而进行了误识别时，也能够以高的概率来对声音发声进行修正。因此，由于不向用户通知发声开始的时机而能够降低因不能记录声音信号的开头部分而导致的误识别，因此，能够提供识别精度高的声音识别装置。

此外，根据声音识别装置10，无需使显示画面显示规定图像来向用户通知发声开始的时机。因此，不仅能够装载在不具有显示画面的电子设备上，而且也不担心处理器11的处理负荷变大。

此外，声音识别装置10的处理器11在从用户按下发声按钮30到开始发声的时间与规定的阈值时间t相比短时进行修正，在大于等于阈值时间t时不进行修正。因此，由于只要仅在用户从按下发声按钮30开始马上发声了时进行修正处理就可以，所以从这点上也不会大幅度地增加处理器(声音设别装置)11的处理负荷。

此外，处理器11具有取得接受到开始指示的第一时刻的第一时刻取得部和取得声音信号的输入已开始的第二时刻的第二时刻取得部。因此，由于能够正确地掌握用户从按下发声按钮30到开始发声的时间(经过时间)，所以通过设定恰当的阈值时间t，能够防止实施无用的修正处理于未然。

此外，当对识别出的声音发声进行修正时，处理器11将该声音发声的开头的单词替换成与声音发声的第二个以后的单词有关联的其他单词而进行修正。因此，由于修正处理也比较容易并能够用较短时间执行，所以也没有处理器(声音识别装置)11的处理负荷大幅度地增加而识别速度下降的担心。

下面，对其他实施例进行说明。

在上述实施例中，处理器11在图4的act2中存储了检测时刻p，并在act4中存储了声音开始时刻d。在其他实施例中，如果在act1中检测出发声按钮30已被按下，则处理器11使定时器开始计时，如果在act3中检测出声音数据的输入，则处理器11使定时器停止。而且，在act9中，处理器11对定时器的计时时间和阈值时间t进行比较从而判定是否进行修正处理。也就是说，在计时时间与规定的阈值时间相比短时处理器(判定部)11判定为要进行修正。通过设置这样的定时器，能够容易地进行计时时间。即使为这样的构成，也能够取得与上述实施例同样的作用效果。此外，虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

本发明的一个或多个实施例可以被实施为计算机可读存储介质，可以将由计算机执行的诸如程序模块之类的命令或指令记录在该计算机可读存储介质上。计算机可读存储介质可以为能够由计算机访问的任何介质，如易失性介质等。此外，计算机可读记录介质可以为计算机存储介质或可以为任何信息传输媒介的通信介质。

在本发明中，提供了一种计算机可读存储介质，存储声音识别程序，所述声音识别程序使具有连接声音输入部且记录通过所述声音输入部已输入的声音信号的记录部的计算机执行以下功能：接受声音输入的开始指示的功能；根据在接受到所述开始指示后所述记录部所记录的声音信号对声音发声进行识别的功能；根据从接受所述开始指示到通过所述声音输入部声音信号被输入的时间判定是否对所述声音发声的识别结果进行修正的功能；以及对判定出为要进行修正的声音发声进行修正的功能。根据这样的构成，能够实现能够不向用户通知发声开始的时机而降低因不能记录声音信号的开头部分而导致的误识别的功能。