信息处理装置、关键词检测装置以及信息处理方法与流程

信息处理装置、关键词检测装置以及信息处理方法
[0001]
本申请以日本专利申请2019-157158(申请日：8/29/2019)为基础，根据该申请享受优先权。本申请通过参照该申请而包含该申请的全部内容。
技术领域
[0002]
本发明的实施方式涉及信息处理装置、关键词检测装置以及信息处理方法。


背景技术：

[0003]
近年来，对基于语音的操作进行了自适应的智能扬声器急速地普及。智能扬声器例如通过从语音检测也被称为“唤醒词”的特定关键词来启动。用户仅说出关键词，就能够使智能扬声器启动，继续进行各种各样的操作。因此，需要从语音检测关键词的关键词模型。


技术实现要素：

[0004]
本发明要解决的技术课题在于:提供能够从有限的数据高效地使关键词模型进行学习的信息处理装置、关键词检测装置以及信息处理方法。
[0005]
根据实施方式，信息处理装置具备数据取得部、学习部、提取部以及自适应处理部。数据取得部取得包含语音特征量和该语音特征量的正解音素标签的组合的第1学习数据。学习部使用上述第1学习数据，使声学模型进行学习以使得相对于上述语音特征量的输入而输出上述正解音素标签。提取部从上述第1学习数据提取第2学习数据，该第2学习数据包含预先设定的关键词、上述关键词所包含的子词、上述关键词所包含的音节以及上述关键词所包含的音素中的至少一个语音特征量。自适应处理部至少使用上述第2学习数据，使与上述关键词的检测相关的关键词模型对学习完毕的上述声学模型进行自适应。
[0006]
根据上述结构的信息处理装置，能够从有限的数据高效地使关键词模型进行学习。
附图说明
[0007]
图1是表示第1实施方式涉及的信息处理装置的系统结构的例子的框图。
[0008]
图2是表示第1实施方式涉及的信息处理装置的功能结构的例子的框图。
[0009]
图3是表示第1实施方式涉及的信息处理装置进行的处理次序和处理内容的例子的流程图。
[0010]
图4是表示第2实施方式涉及的信息处理装置的功能结构的例子的框图。
[0011]
图5是表示第2实施方式涉及的信息处理装置进行的处理次序和处理内容的例子的流程图。
[0012]
图6是表示第3实施方式涉及的信息处理装置进行的处理次序和处理内容的例子的流程图。
[0013]
图7是表示第4实施方式涉及的信息处理装置进行的处理次序和处理内容的例子
的流程图。
[0014]
图8是表示第5实施方式涉及的信息处理装置进行的处理次序和处理内容的例子的流程图。
[0015]
图9是表示第6实施方式涉及的信息处理装置的功能结构的例子的框图。
[0016]
图10是表示第7实施方式涉及的关键词检测装置的功能结构的例子的框图。
[0017]
图11是表示第7实施方式涉及的关键词检测装置进行的处理次序和处理内容的一个例子的图。
[0018]
图12是表示使用了根据实施方式进行自适应后的关键词检测模型的实验结果的曲线图。
[0019]
附图标记说明
[0020]
1信息处理装置、关键词模型学习装置；2麦克风；3输入设备；4输出设备；10i/f单元；20控制单元；20a硬件处理器；20b程序存储器；21学习数据取得部；22模型学习部；23数据提取部；24关键词模型自适应部；25输出控制部；26关键词发声数据取得部；27关键词设定部；30数据存储器；31学习数据存储部；32关键词模型存储部；33关键词发声数据存储部；100关键词检测装置；101麦克风；102输入设备；103输出设备；110i/f单元；120控制单元；121语音取得部；122关键词检测部；130数据存储器；131关键词模型存储部。
具体实施方式
[0021]
以下，参照附图对本发明涉及的实施方式进行说明。
[0022]
[第1实施方式]
[0023]
(1)关键词模型学习装置
[0024]
(1－1)结构
[0025]
图1是表示作为第1实施方式涉及的信息处理装置的关键词模型学习装置1的一个例子的框图。关键词模型学习装置1例如是服务器计算机或者个人计算机，被用于为了检测关键词所使用的关键词模型的学习。
[0026]
关键词模型学习装置1例如具有cpu(central processing unit，中央处理单元)等的硬件处理器20a。并且，经由总线40对该硬件处理器连接了程序存储器20b、数据存储器30以及接口(i/f)单元10。
[0027]
i/f单元10具有从外部设备接受学习数据、并输出至控制单元20的功能。另外，i/f单元10具有向外部设备输出与从控制单元20输出了的学习完毕模型有关的信息的功能。i/f单元10可以包括通信接口。通信接口例如包括一个以上的有线或者无线的通信接口，能够与外部设备之间进行信息收发。作为有线接口，例如可使用有线lan，另外，作为无线接口，例如可使用采用了无线lan、bluetooth(注册商标)等的小功率无线数据通信标准的接口。
[0028]
另外，在i/f单元10可以连接麦克风2、输入设备3以及输出设备4。例如，i/f单元10具有取入由麦克风2收集到的语音来作为语音信号、并送交给控制单元20的功能。另外，i/f单元10具有取入通过键盘、触摸面板、触摸板、鼠标等输入设备3输入的数据并送交给控制单元20的功能。另外，i/f单元10具有如下功能：向输出设备4输出从控制单元20输出了的输出数据，该输出设备4包括使用了液晶或者有机el(electro luminescence，电致发光)等的显示设备和/或输出语音的扬声器。此外，对于麦克风2、输入设备3以及输出设备4，既可以
使用内置于关键词模型学习装置1的设备，另外，也可以使用能够经由网络进行通信的其他信息终端的麦克风、输入设备以及输出设备。
[0029]
程序存储器20b例如是组合使用了hdd(hard disk drive，硬盘驱动器)、ssd(solid state drive，固态驱动器)等能够随时写入以及读出的非易失性存储器和rom等非易失性存储器来作为存储介质的存储器，保存有为了执行实施方式涉及的各种控制处理所需要的程序。
[0030]
数据存储器30例如是组合使用了hdd或者ssd等能够随时写入以及读出的非易失性存储器和ram(random access memory，随机访问存储器)等易失性存储器来作为存储介质的存储器，被用于存储在进行信息处理的过程中取得以及制作的各种数据。
[0031]
在用于进行关键词检测的关键词模型的学习中，一般需要大量的说话者的关键词发声数据，需要用于其收录的收录成本。例如，也有报告指出为了针对特定关键词来使得关键词模型进行学习，需要4万的发声。
[0032]
本实施方式提供能够从有限的数据高效地进行关键词模型的学习的技术。
[0033]
图2是表示第1实施方式涉及的关键词模型学习装置1的功能结构的框图。
[0034]
在数据存储器30的存储区域设有学习数据存储部31和关键词模型存储部32。
[0035]
学习数据存储部31被用于存储由控制单元20取得的学习数据。学习数据包含语音特征量及其的正解音素标签的组合。
[0036]
关键词模型存储部32被用于存储学习完毕的关键词模型。在此，学习完毕的关键词模型是指进行了学习以检测特定关键词的模型。
[0037]
控制单元20具备上述硬件处理器20a和上述程序存储器20b，具备学习数据取得部21、模型学习部22、数据提取部23、关键词模型自适应部24以及输出控制部25来作为处理功能部。这些处理功能部均通过使上述硬件处理器20a执行保存于程序存储器20b的程序来实现。另外，控制单元20也可以用包括asic(application specific integrated circuit，专用集成电路)、fpga(field-programmable gate array，现场可编程门阵列)等集成电路的其他的多样的形式来实现。另外，上述程序也可以是经由网络来提供的程序。
[0038]
学习数据取得部21作为第1数据取得部，取得包含语音特征量及其的正解音素标签的组合的学习数据(第1学习数据)，并使之存储于学习数据存储部31。
[0039]
模型学习部22作为学习部来进行如下处理：使用从学习数据存储部31读出的学习数据，使声学模型进行学习以使得相对于语音特征量的输入而输出正解音素标签。语音特征量既可以是mfcc(mel frequency cepstral coefficient，梅尔频率倒谱系数)，也可以是梅尔滤波器组(mel filter bank)。或者，也可以使用音调(pitch)特征量、它们的δ成分或δδ成分、或者这些特征量的组合。以下，设为使用mfcc特征量作为语音特征量来进行说明。
[0040]
数据提取部23作为提取部进行如下处理：从自学习数据存储部31读出了的学习数据，提取包含预先设定的关键词、该关键词所包含的子词、该关键词所包含的音节或者该关键词所包含的音素的数据。
[0041]
关键词模型自适应部24作为自适应处理部进行如下处理：至少使用由数据提取部23提取到的数据(第2学习数据)，使与关键词的检测相关的关键词模型对学习完毕的声学模型进行自适应。关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型
存储部32。另外，关键词模型自适应部24也能够读出存储于关键词模型存储部32的关键词模型，使该关键词模型进行再学习而更新。
[0042]
输出控制部25进行如下处理：将控制单元20的处理结果经由i/f单元10输出至外部设备。例如，输出控制部25响应来自外部设备的请求，读出与存储于关键词模型存储部32的关键词模型有关的信息，生成输出数据，并经由i/f单元10而输出至输出设备4或者其他外部设备。
[0043]
(2－2)动作
[0044]
接着，对如以上那样构成的关键词模型学习装置1进行的信息处理动作进行说明。图3是表示其处理次序和处理内容的流程图。
[0045]
在步骤s101中，关键词模型学习装置1在学习数据取得部21的控制下取得学习数据。学习数据包含语音特征量及其的正解音素标签的组合。例如如以下那样提取语音特征量。
[0046]
首先，使用麦克风等收集发声语音，并作为语音波形进行输出。该语音波形的模拟波例如被以16khz进行采样，数字波的1个采样的振幅值由16位表示。并且，该数字波一边每256点采样就错开128点采样，一边被截取。将该256点采样作为1帧，从1帧算出12维的mfcc特征量。并且，将3帧量的mfcc特征量连结而得到的36维被作为语音特征量来使用。
[0047]
正解标签是与语音特征量对应的发音的信息。在此，使用与36维的语音特征量对应的音素的隐马尔可夫模型(hidden markov model，hmm)来作为标签。
[0048]
接着，在步骤s102中，关键词模型学习装置1在模型学习部22的控制下从学习数据存储部31读出上述学习数据，使用该学习数据来进行声学模型(通用模型)的学习。该声学模型是能识别一般的发声的声学模型。以下，为了与用于检测关键词的关键词模型进行区别，将通过模型学习部22学习的声学模型称为通用模型。模型的形式既可以是dnn(deep neuralnetwork，深层神经网络)，也可以是cnn(convolution neural network，卷积神经网络)，还可以是rnn(recurrent neural network,循环神经网络)，也还可以是lstm(long short-term memory,长短期记忆网络)。在此，使用dnn来作为模型的形式。
[0049]
另一方面，在步骤s103中，关键词模型学习装置1在数据提取部23的控制下从学习数据存储部31读出上述学习数据，判定该学习数据是否包含预先设定的关键词或者其要素。在判定为包含的情况下(是)，移至步骤s104。在判定为不包含的情况下(否)，移至步骤s105。在此，“关键词”是关键词检测的对象，可以任意地进行设定。“关键词的要素”包括：关键词所包含的该关键词的一部分的子词、该关键词的一部分的音节或者该关键词的一部分的音素。
[0050]
在步骤s104中，关键词模型学习装置1在数据提取部23的控制下从自学习数据存储部31读出的学习数据中提取包含关键词、其一部分的子词、其一部分的音节、或者其一部分的音素的数据。例如，在关键词为
“でんきつけて”
的情况下，子词为
“でんき”
、
“つけて”
，音节为
“で”
、
“ん”
、
“き”
、
“つ”
、
“け”
、
“て”
，音素为“d”、“e”、“n”、“kk”、“i”、“ts”、“u”、“kk”、“e”、“t”、“e”。
[0051]
更详细而言，数据提取部23在作为关键词进行提取的情况下，从学习数据提取包含
“でんきつけて”
的数据。在作为子词进行提取的情况下，从学习数据提取包含子词的一部分的
“でんき”
或者
“つけて”
的数据。在作为音节进行提取的情况下，从学习数据提取包
含音节的一部分的
“で”
、
“ん”
、
“き”
、
“つ”
、
“け”
、或者
“て”
的数据。在以音素为单位进行提取的情况下，从学习数据提取包含音素的一部分的“d”、“e”、“n”、“kk”、“i”、“ts”、“u”、“kk”、或者“t”的数据。重复的子词、音节或者音素可以省略。在该例子中，音素“e”和“kk”重复了多次，因此，省略重复的部分，不进行重复的数据提取。
[0052]
接着，在步骤s105中，关键词模型学习装置1在数据提取部23的控制下，判定是否关于全部学习数据确认了关键词或者其要素的有无。在判定为对全部数据进行了确认的情况下(是)，移至步骤s106。在判定为未对全部数据进行确认的情况下(否)，返回步骤s103，继续判定学习数据是否包含关键词或者其要素。
[0053]
在步骤s106中，关键词模型学习装置1在关键词模型自适应部24的控制下进行如下处理：使用至少包含所提取的数据的数据，使关键词模型对于学习完毕的通用模型进行自适应。
[0054]
关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型存储部32。然后，输出控制部25能够在适当的时机或者根据例如来自外部设备的请求，读出与存储于关键词模型存储部32的自适应完毕的关键词模型有关的信息，生成并输出所需要的输出数据。
[0055]
(3)效果
[0056]
如以上说明的那样，在第1实施方式中，关键词模型学习装置1取得包含语音特征量及其的正解音素标签的组合的学习数据，使用学习数据使通用模型进行学习，以使得相对于语音特征量的输入而输出正解音素标签。另一方面，从学习数据提取包含预先设定的关键词、所述关键词所包含的子词、所述关键词所包含的音节或者所述关键词所包含的音素的数据，至少使用所提取的数据，使与上述关键词的检测相关的关键词模型对于上述学习完毕的通用模型进行自适应。
[0057]
在此，也可以不使用学习完毕的通用模型，不是自适应，而是使用从学习数据提取的数据来从初始状态起使关键词模型进行学习。但是，根据所提取的数据的量，有可能无法从初始状态起正确地学习关键词模型。
[0058]
根据第1实施方式，关键词模型自适应部24使用从学习数据提取的数据，使关键词模型对于学习完毕的通用模型进行自适应。即，以学习完毕的通用模型为基础，使适于特定关键词的关键词模型进行再学习。由此，即使是根据有限的数据，也能保证关键词模型的制作。另外，在学习数据中也包含许多关键词以外的语音，但所提取的数据仅是包含关键词或者关键词的一部分的数据，因此，能够更高效地使适当的关键词模型进行自适应。
[0059]
[第2实施方式]
[0060]
(1)结构以及动作
[0061]
作为第2实施方式涉及的信息处理装置的关键词模型学习装置1进一步使用包含关键词的发声语音的关键词发声数据来实施关键词模型的自适应。
[0062]
第2实施方式涉及的关键词模型学习装置1可以具备与图1所示的第1实施方式涉及的关键词模型学习装置1同样的系统结构。
[0063]
图4是表示第2实施方式涉及的关键词模型学习装置1的功能结构的框图。在图4中，对与图2所示的第1实施方式涉及的关键词模型学习装置1相同的结构标记相同的附图标记，省略详细的说明。
[0064]
如图4所示，第2实施方式涉及的关键词模型学习装置1与第1实施方式同样地，在控制单元20内具备学习数据取得部21、模型学习部22、数据提取部23、关键词模型自适应部24以及输出控制部25，还具备关键词发声数据取得部26。另外，在数据存储器30的存储区域中，在学习数据存储部31和关键词模型存储部32的基础上，还设有关键词发声数据存储部33。
[0065]
关键词发声数据取得部26作为第2数据取得部而在任意的定时取得能够利用的关键词发声数据。关键词发声数据取得部26也可以取得通过麦克风2输入的关键词发声语音，基于此来生成关键词发声数据。或者，关键词发声数据取得部26也可以从外部设备取得预先准备的关键词发声数据。
[0066]
关键词发声数据存储部33被用于存储由关键词发声数据取得部26取得的关键词发声数据。
[0067]
关键词模型自适应部24从模型学习部22接受与第1实施方式同样地学习后的通用模型，从数据提取部23接受与第1实施方式同样地提取的数据，并且，读出保存于关键词发声数据存储部33的关键词发声数据，使用所提取的数据和关键词发声数据，使关键词模型对学习完毕的通用模型进行自适应。
[0068]
图5表示第2实施方式涉及的关键词模型学习装置1的处理内容和处理次序。在图5中，对与图3所示的第1实施方式涉及的处理相同的处理标记相同的附图标记，省略详细的说明。
[0069]
与第1实施方式同样地，首先，在步骤s101中，关键词模型学习装置1在学习数据取得部21的控制下取得学习数据。在步骤s102中，关键词模型学习装置1在模型学习部22的控制下使用上述学习数据来进行通用模型的学习。在步骤s103中，关键词模型学习装置1在数据提取部23的控制下判定上述学习数据是否包含预先设定的关键词或者其要素。在判定为包含的情况下(是)，移至步骤s104，在判定为不包含的情况下(否)，移至步骤s105。在步骤s104中，数据提取部23从学习数据提取包含关键词或者其要素的数据。在步骤s105中，关键词模型学习装置1在数据提取部23的控制下判定是否对全部学习数据进行了确认。在判定为对全部数据进行了确认的情况下(是)，移至步骤s116，在判定为未对全部数据进行确认的情况下(否)，返回步骤s103，继续判定学习数据是否包含关键词或者其要素。
[0070]
接着，在步骤s116中，关键词模型学习装置1在关键词发声数据取得部26的控制下取得关键词发声数据，并使之存储于关键词发声数据存储部33。此外，该步骤可以在任意的定时进行。
[0071]
在步骤s117中，关键词模型学习装置1在关键词模型自适应部24的控制下进行如下处理：从关键词发声数据存储部33读出关键词发声数据，使用所提取的数据和关键词发声数据，使关键词模型对学习完毕的通用模型进行自适应。然后，关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型存储部32。输出控制部25能够在适当的时机或者根据要求，读出并输出与自适应完毕的关键词模型有关的信息。
[0072]
(2)效果
[0073]
如上所述，在第2实施方式中，关键词模型学习装置1进一步取得发声了特定的关键词的关键词发声数据来实施关键词模型的自适应。
[0074]
在第1实施方式中，对没有关键词发声数据的情况下的关键词模型的学习方法进
行了说明。在第2实施方式中，关键词模型自适应部24基于学习完毕通用模型，使用从学习数据提取到的数据和所取得的关键词发声数据，使关键词模型进行自适应。也能够不使用所提取的数据，而仅使用关键词发声数据来使关键词模型进行自适应，但需要大量说话者的关键词发声数据。
[0075]
根据第2实施方式，从学习数据提取到的数据和关键词发声数据的说话者不同，因此，通过使用从学习数据提取到的数据和关键词发声数据来使关键词模型进行自适应，即使是较少的关键词发声数据也能够适当地进行关键词模型的学习。
[0076]
[第3实施方式]
[0077]
(1)结构以及动作
[0078]
作为第3实施方式涉及的信息处理装置的关键词模型学习装置1从学习数据提取包含关键词的字符数、其一部分的子词的字符数、其一部分的音节数或者其一部分的音素数的比率为预定值以上的数据。
[0079]
第3实施方式涉及的关键词模型学习装置1能够具有与图1以及图2所示的第1实施方式涉及的关键词模型学习装置1同样的系统结构以及功能结构。
[0080]
图6表示第3实施方式涉及的关键词模型学习装置1的处理内容和处理次序。在图6中，对与图3所示的第1实施方式涉及的处理相同的处理标记相同的附图标记，省略详细的说明。
[0081]
与第1实施方式同样地，首先，在步骤s101中，关键词模型学习装置1在学习数据取得部21的控制下取得学习数据。在步骤s102中，关键词模型学习装置1在模型学习部22的控制下使用上述学习数据进行通用模型的学习。在步骤s103中，关键词模型学习装置1在数据提取部23的控制下判定上述学习数据是否包含预先设定的关键词或者其要素。在判定为包含的情况下(是)，移至步骤s124，在判定为不包含的情况下(否)，移至步骤s126。
[0082]
接着，在步骤s124中，关键词模型学习装置1在数据提取部23的控制下，进一步对判定为包含关键词或者其要素的数据是否包含预定比率以上的关键词或者其要素进行判定。在判定为包含的情况下(是)，移至步骤s125，在判定为不包含的情况下(否)，移至步骤s126。在步骤s125中，数据提取部23提取该数据。
[0083]
更详细而言，数据提取部23判定关键词的字符数、其一部分的子词的字符数、其一部分的音节数、或者其一部分的音素数与作为判定对象的数据的字符数、音节数、或者音素数的比率是否为预定的比率阈值以上。并且，在判定为处于预定的比率阈值以上的情况下，从学习数据提取该数据。
[0084]
例如，在使用关键词来进行提取的情况下，假设关键词为
“でんきつけて”
，比率阈值被设定为0.5。在该情况下，关键词的字符数为6。学习数据中，当假设判定对象的数据的发声为
“でんきつけてねる”
时，其发声的字符数为8。关键词的字符数与对象数据的字符数的比率为6/8＝0.75，成为比率阈值以上。因此，数据提取部23从学习数据提取
“でんきつけてねる”
的发声的数据。另一方面，在判定对象的数据的发声为
“なんでくらいへやにいるのはやくでんきつけて”
的情况下，其字符数为21。关键词的字符数与对象数据的字符数的比率为6/21＝0.29，为比率阈值以下。因此，数据提取部23不从学习数据提取
“なんでくらいへやにいるのはやくでんきつけて”
的发声的数据。
[0085]
在使用子词、音节、或者音素来进行提取的情况下，也与使用关键词来进行提取的
情况同样。
[0086]
接着，在步骤s126中，关键词模型学习装置1在数据提取部23的控制下，判定是否对全部学习数据进行了确认。在判定为对全部数据进行了确认的情况下(是)，移至步骤s127，在判定为未对全部数据进行确认的情况下(否)，返回步骤s103，继续判定学习数据是否包含关键词或者其要素。
[0087]
在步骤s127中，关键词模型学习装置1在关键词模型自适应部24的控制下进行如下处理：使用所提取的数据，使关键词模型对学习完毕的通用模型进行自适应。然后，关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型存储部32。输出控制部25能够在适当的时机或者根据要求，读出并输出与自适应完毕的关键词模型有关的信息。
[0088]
(2)效果
[0089]
如上所述，在第3实施方式中，关键词模型学习装置1提取包含预定比率以上的关键词或者关键词的一部分的数据，并用于关键词模型的自适应。由此，能够将除了关键词或者其要素以外的数据被提取的比率抑制得低。
[0090]
假如从学习数据提取的数据包含许多除了关键词或者关键词的一部分以外的发声，就有可能导致进行了自适应的关键词模型的关键词的检测性能降低。
[0091]
但是，根据第3实施方式，仅提取包含一定的比率或者一定的比例以上的关键词或关键词的一部分的数据，因此，能够提高通过关键词模型实现的对关键词和非关键词进行区别的性能，也能够提高关键词的检测性能。
[0092]
[第4实施方式]
[0093]
(1)结构以及动作
[0094]
作为第4实施方式涉及的信息处理装置的关键词模型学习装置1对从学习数据提取的数据数设定上限值。
[0095]
第4实施方式涉及的关键词模型学习装置1能够具备与图1以及图2所示的第1实施方式涉及的关键词模型学习装置1同样的系统结构以及功能结构。
[0096]
图7表示第4实施方式涉及的关键词模型学习装置1的处理内容和处理次序。在图7中，对与图3所示的第1实施方式涉及的处理相同的处理标记相同的附图标记，省略详细的说明。
[0097]
与第1实施方式同样地，首先，在步骤s101中，关键词模型学习装置1在学习数据取得部21的控制下取得学习数据。在步骤s102中，关键词模型学习装置1在模型学习部22的控制下，使用上述学习数据来进行通用模型的学习。在步骤s103中，关键词模型学习装置1在数据提取部23的控制下，判定学习数据是否包含预先设定的关键词或者其要素。在判定为包含的情况下(是)，移至步骤s134，在判定为不包含的情况下(否)，移至步骤s136。
[0098]
接着，在步骤s134中，关键词模型学习装置1在数据提取部23的控制下，进一步对判定为包含特定关键词或者其要素的数据的数量是否为数据数的上限值以下进行判定。在判定为处于上限值以下的情况下(是)，移至步骤s135，在判定为不包含的情况下(否)，移至步骤s136。在步骤s135中，数据提取部23提取该数据。
[0099]
更详细而言，数据提取部23在包含特定关键词、其一部分的子词、其一部分的音节、或者其一部分的音素的数据数为预定的数据数阈值以下的情况下，从学习数据提取数据。例如，假设关键词为
“でんきつけて”
和
“こんにちは”
这两个，数据数阈值为100。在该情
况下，数据提取部23分别提取100个包含
“でんきつけて”
的数据和包含
“こんにちは”
的数据。
[0100]
在步骤s136中，关键词模型学习装置1在数据提取部23的控制下，判定是否对全部学习数据进行了确认。在判定为对全部数据进行了确认的情况下(是)，移至步骤s137，在判定对未对全部数据进行确认的情况下(否)，返回步骤s103，继续判定学习数据是否包含关键词或者其要素。
[0101]
在步骤s137中，关键词模型学习装置1在关键词模型自适应部24的控制下进行如下处理：使用所提取的数据，使关键词模型对学习完毕的通用模型进行自适应。然后，关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型存储部32。输出控制部25能够在适当的时机或者根据要求，读出并输出与自适应完毕的关键词模型有关的信息。
[0102]
(2)效果
[0103]
如上所述，在第4实施方式中，关键词模型学习装置1对从学习数据提取的数据数设定上限值。由此，能够减少从学习数据提取的数据数产生偏差。
[0104]
假如所提取的数据数根据关键词而存在偏差，则有可能导致使用那样的数据来进行了自适应的关键词模型关于一部分的关键词的检测性能会降低。例如，在上述的例子中设为：在学习数据中包含
“でんきつけて”
的数据数有100个，包含
“こんにちは”
的数据数有900个。提取全部的这些包含
“でんきつけて”
的数据和包含
“こんにちは”
的数据、用关键词模型自适应部24对关键词模型进行自适应时，包含
“こんにちは”
的数据数为包含
“でんきつけて”
的数据数的9倍，因此，即使
“こんにちは”
的检测性能良好，但
“でんきつけて”
的检测性能会降低。
[0105]
根据第4实施方式，分别提取100个包含
“でんきつけて”
的数据和包含
“こんにちは”
的数据，因此，能够平衡性良好地提取包含两个关键词的数据数，能够抑制一部分关键词的检测性能的降低。
[0106]
[第5实施方式]
[0107]
(1)结构以及动作
[0108]
作为第5实施方式涉及的信息处理装置的关键词模型学习装置1，使用在上述第3实施方式中说明过的比率阈值和在上述第4实施方式中说明过的数据数阈值这两方来提取数据。
[0109]
第5实施方式涉及的关键词模型学习装置1能够具备与图1以及图2所示的第1实施方式涉及的关键词模型学习装置1同样的系统结构以及功能结构。
[0110]
图8表示第5实施方式涉及的关键词模型学习装置1的处理内容和处理次序。在图8中，对与图3所示的第1实施方式涉及的处理相同的处理标记相同的附图标记，省略详细的说明。
[0111]
与第1实施方式同样地，首先，在步骤s101中，关键词模型学习装置1在学习数据取得部21的控制下取得学习数据。在步骤s102中，关键词模型学习装置1在模型学习部22的控制下，使用上述学习数据来进行通用模型的学习。在步骤s103中，关键词模型学习装置1在数据提取部23的控制下，判定学习数据是否包含预先设定的关键词或者其要素。在判定为包含的情况下(是)，移至步骤s144，在判定为不包含的情况下(否)，移至步骤s147。
[0112]
接着，在步骤s144中，关键词模型学习装置1在数据提取部23的控制下，进一步对
判定为包含关键词或者其要素的数据的数量是否为预定的上限值以下进行判定。在判定为处于上限值以下的情况下(是)，移至步骤s145，在判定为超过上限值的情况下(否)，移至步骤s146。
[0113]
在步骤s145中，数据提取部23提取在步骤s103中判定为包含关键词或者其要素的数据。
[0114]
另一方面，在步骤s146中，数据提取部23针对在步骤s103中判定为包含关键词或者其要素的数据，与在第3实施方式中说明过的同样地计算关键词或者其要素的数量的比率，按关键词或者其要素的数量的比率从高到低的顺序提取数据直到数据数的上限值。此时，数据提取部23也可以进一步使用在第3实施方式中说明过的比率阈值来提取数据。
[0115]
更详细而言，数据提取部23计算关键词的字符数、其一部分的子词的字符数、其一部分的音节数、或者其一部分的音素数与作为判定对象的数据的字符数、音节数、或者音素数的比率，按该比率从高到低的顺序，提取数据直到数据数阈值。或者，数据提取部23能够计算关键词的字符数、其一部分的子词的字符数、其一部分的音节数、或者其一部分的音素数与作为判定对象的数据的字符数、音节数、或者音素数的比率，仅针对该比率为预定的比率阈值以上的数据，按比率从高到低的顺序提取数据直到数据数阈值。
[0116]
例如，假设在使用关键词来进行提取的情况下，将比率阈值设定为0.5，将数据数阈值设定为100。在关键词为
“でんきつけて”
的情况下，当关键词的字符数与对象数据的字符数的比率为0.5以上、且包含
“でんきつけて”
的发声的数据数为100以下时，数据提取部23从学习数据提取这些数据。在关键词的字符数与对象数据的字符数的比率为0.5以上的数据数为100以上的情况下，数据提取部23按上述比率从高到低的顺序进行提取直到100个数据。
[0117]
在使用子词、音节、或者音素来进行提取的情况下，也与使用关键词来进行提取的情况同样。
[0118]
在步骤s147中，关键词模型学习装置1在数据提取部23的控制下判定是否对全部学习数据进行了确认。在判定为对全部数据进行了确认的情况下(是)，移至步骤s148，在判定为未对全部数据进行确认的情况下(否)，返回步骤s103，继续判定学习数据是否包含关键词或者其要素。
[0119]
在步骤s148中，关键词模型学习装置1在关键词模型自适应部24的控制下进行如下处理：使用所提取的数据，使关键词模型对学习完毕的通用模型进行自适应。然后，关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型存储部32。输出控制部25能够在适当的时机或者根据要求，读出并输出与自适应完毕的关键词模型有关的信息。
[0120]
(2)效果
[0121]
如上所述，在第5实施方式中，关键词模型学习装置1对从学习数据提取的数据数设定上限值，在超过上限值的情况下，按数据所包含的关键词或者其要素的数量的比率从大到小的顺序提取数据。另外，此时也能够设为仅提取比率超过预定值的数据。
[0122]
这样，根据第5实施方式，能够抑制按各关键词提取的数据数的偏差并提取包含关键词或者其要素的比率高的数据，因此，能够抑制一部分关键词的检测性能的降低，并使关键词模型高效地进行自适应。
[0123]
[第6实施方式]
[0124]
(1)结构以及动作
[0125]
作为第6实施方式涉及的信息处理装置的关键词模型学习装置1还具备从用户受理关键词的设定的关键词设定部27。
[0126]
第6实施方式涉及的关键词模型学习装置1能够具备与图1所示的第1实施方式涉及的关键词模型学习装置1同样的系统结构。
[0127]
图9是表示第6实施方式涉及的关键词模型学习装置1的功能结构的框图。在图9中，对与图2所示的第1实施方式涉及的关键词模型学习装置1相同的结构标记相同的附图标记，省略详细的说明。
[0128]
如图9所示，第6实施方式涉及的关键词模型学习装置1具备学习数据取得部21、模型学习部22、数据提取部23、关键词模型自适应部24、输出控制部25、学习数据存储部31以及关键词模型存储部32，还具备关键词设定部27。
[0129]
关键词设定部27进行如下处理：经由i/f单元10，接受用户设定的关键词，并移交给数据提取部23。
[0130]
第6实施方式涉及的关键词模型学习装置1能够使用与图3所示的第1实施方式相同的处理流程。
[0131]
第6实施方式涉及的关键词模型学习装置1首先在步骤s101中，在学习数据取得部21的控制下取得学习数据。在步骤s102中，关键词模型学习装置1在模型学习部22的控制下，使用上述学习数据来进行通用模型的学习。
[0132]
关键词设定部27接受用户设定的关键词、并移交给数据提取部23的处理可以在任意的定时进行。既可以是步骤s101之前，也可以是即将进行步骤s103之前。
[0133]
在步骤s103中，关键词模型学习装置1在数据提取部23的控制下，基于从关键词设定部27接受的用户指定的关键词，判定上述学习数据是否包含该关键词或者该关键词的要素。在判定为包含的情况下(是)，移至步骤s104，在判定为不包含的情况下(否)，移至步骤s105。在步骤s104中，数据提取部23提取该数据。在步骤s105中，数据提取部23判定是否对全部学习数据进行了确认，在判定为对全部数据进行了确认的情况下(是)，移至步骤s106，在判定为未对全部数据进行确认的情况下(否)，返回步骤s103，继续判定学习数据是否包含关键词或者其要素。在步骤s106中，关键词模型学习装置1在关键词模型自适应部24的控制下进行如下处理：使用所提取的数据，使关键词模型对学习完毕的通用模型进行自适应。
[0134]
更详细而言，例如当用户经由键盘等输入设备3输入
“でんきつけて”
来作为关键词时，关键词设定部27接受该输入，将
“でんきつけて”
设定为关键词，并移交给数据提取部23。数据提取部23从学习数据提取包含该关键词、其一部分的子词、其一部分的音节、或者其一部分的音素的数据。模型自适应部24基于学习完毕的通用模型，使用至少包含所提取的数据的数据，使关键词模型进行自适应。进行了自适应的关键词模型成为
“でんきつけて”
的关键词模型。然后，关键词模型自适应部24使进行了自适应的关键词模型存储于关键词模型存储部32。输出控制部25能够在适当的时机或者根据要求，读出并输出与自适应完毕的关键词模型有关的信息。
[0135]
(2)效果
[0136]
如上所述，在第6实施方式中，关键词模型学习装置1基于用户任意地设定的关键词，从学习数据提取数据，使检测用户所设定的关键词的关键词模型对学习完毕的通用模
型进行自适应。
[0137]
这样，根据第6实施方式，针对用户所设定的关键词，不需要新收录发声数据，就能够使关键词模型进行自适应。
[0138]
[第7实施方式]
[0139]
(1)结构以及动作
[0140]
第7实施方式涉及使用了按照上述实施方式进行自适应后的关键词模型来进行关键词检测的关键词检测装置。
[0141]
图10是表示第7实施方式涉及的关键词检测装置100的系统结构以及功能结构的图。
[0142]
关键词检测装置100具备i/f单元110、控制单元120以及数据存储器130来作为硬件。
[0143]
i/f单元110可以包括通信接口。通信接口例如包括一个以上的有线或者无线的通信接口，能够与外部设备之间进行信息收发。作为有线接口，例如使用有线lan，另外，作为无线接口，例如使用采用了无线lan、bluetooth(注册商标)等的小功率无线数据通信标准的接口。
[0144]
在i/f单元110可连接麦克风101、输入设备102和输出设备103。例如，i/f单元110具有取入由麦克风101收集的语音来作为语音信号、并移交给控制单元120的功能。另外，i/f单元110具有取入通过键盘、触摸面板、触摸板、鼠标等输入设备102输入的数据、并移交给控制单元120的功能。另外，i/f单元110也具有如下功能：向输出设备4输出从控制单元120输出的输出数据，该输出设备4包括使用了液晶或者有机el(electro luminescence)等的显示设备和/或输出语音的扬声器。此外，对于麦克风101、输入设备102以及输出设备103，既可以使用内置于关键词检测装置100的设备，另外，也可以使用能够经由网络进行通信的其他信息终端的麦克风、输入设备以及输出设备。
[0145]
控制单元120具备cpu等的硬件处理器和程序存储器。程序存储器是组合使用了hdd、ssd等非易失性存储器和rom等非易失性存储器的存储器，保存有为了执行实施方式涉及的各种控制处理所需要的程序。
[0146]
数据存储器130是组合使用了hdd、ssd等非易失性存储器和ram等易失性存储器的存储器，被用于存储在进行信息处理的过程中所取得以及制作的各种数据。
[0147]
在数据存储器130的存储区域设有关键词模型存储部131。关键词模型存储部131被用于存储通过上述实施方式涉及的关键词模型学习装置1进行了自适应的关键词模型。关键词检测装置100和关键词模型学习装置1既可以是一体的装置，也可以是分别的装置。同样地，关键词检测装置100所具备的关键词模型存储部131既可以是与关键词模型学习装置1所具备的关键词模型存储部32相同的部件，也可以是分别的部件。
[0148]
控制单元120如上所述那样具备硬件处理器和程序存储器，具备语音取得部121和关键词检测部122来作为处理功能部。这些处理功能部均通过使上述硬件处理器执行保存于程序存储器的程序来实现。另外，控制单元120也可以用包括asic、fpga等集成电路的其他多样的形式来实现。另外，上述程序也可以是经由网络提供的程序。
[0149]
语音取得部121经由i/f单元110取得由麦克风101收集到的语音信号。语音取得部121进一步进行如下处理：从所取得的语音数据提取语音特征量，并移交给关键词检测部
122。
[0150]
关键词检测部122从关键词模型存储部131读出关键词模型，使用从语音取得部121接受的语音特征量，进行关键词的检测。另外，关键词检测部122能够经由i/f单元110输出检测结果。
[0151]
图11是表示第7实施方式涉及的关键词检测装置100进行的信息处理的处理次序和处理内容的流程图。
[0152]
关键词检测装置100基于来自麦克风101的信号，监视用户有无发声，以检测到发声为触发，开始以下的处理。
[0153]
首先，在步骤s201中，关键词检测装置100在语音取得部121的控制下取得包含多个帧的语音数据。语音取得部121经由i/f单元110取入由麦克风101收集的发声的语音波形(语音数据)。
[0154]
接着，在步骤s202中，关键词检测装置100在语音取得部121的控制下提取语音特征量。语音取得部121例如以16khz对从麦克风101接受到的语音波形的模拟波进行采样，按每一定时间来截取数字波，与在第1实施方式中说明过的同样地提取并输出语音特征量(36维的mfcc特征量)。
[0155]
在步骤s203中，关键词检测装置100在关键词检测部122的控制下从关键词模型存储部131读出关键词模型。例如，在
“でんきつけて”
为关键词的情况下，所读出的关键词模型是按照上述第1实施方式、第2实施方式、第3实施方式、第4实施方式、第5实施方式、或者第6实施方式进行了自适应后的与
“でんきつけて”
有关的关键词模型。
[0156]
在步骤s204中，关键词检测装置100在关键词检测部122的控制下，通过对所读出的关键词模型输入上述特征量来检测关键词。关键词的检测可以使用各种各样的方法，例如可以为：对输入语音的特征量和关键词模型进行比较、计算关键词得分的方法。若关键词得分为预定的阈值以上，则检测为关键词
“でんきつけて”
(例如参照日本特开2018－155957号公报)。
[0157]
在步骤s205中，关键词检测装置100在关键词检测部122的控制下向输出设备103输出检测结果。也可以只限于在检测到关键词的情况下输出表示
“でんきつけて”
的信息。也可以设为：在未检测到关键词的情况下，输出表示该情况的显示。
[0158]
(2)效果
[0159]
如以上那样，在第7实施方式中，按照上述第1实施方式、第2实施方式、第3实施方式、第4实施方式、第5实施方式、或者第6实施方式，实施关键词模型的自适应。并且，使用进行了自适应的关键词模型，进行关键词检测。
[0160]
这样，根据第7实施方式，能够使用不使用大量说话者的关键词发声而进行了自适应后的关键词模型精度良好地进行关键词检测。
[0161]
[实验结果]
[0162]
图12表示利用了使用如以上那样的实施方式进行了自适应的关键词模型的实验结果的一个例子。此外，如上述那样，在关键词的检测方面使用了关键词得分。即，根据语音计算关键词得分，与预先设定的阈值进行比较，在关键词得分为阈值以上的情况下判定为是关键词，在此以外的情况下判定为不是关键词。
[0163]
在图12中，纵轴表示识别精度(accuracy)(％)，表示值越高则识别精度越高。在
此，识别精度表示对100次的关键词(例如
“でんきつけて”
)的发声能够正确地检测出了几次。
[0164]
横轴表示每24小时的误检测数(false acceptance per 24hours)。在此，误检测数表示将不是关键词的发声误检测为关键词的次数。横轴的误检测数“0”、“1”表示由于严格地设定了上述关键词得分的阈值而误检测少的情况。在该情况下，也存在语音实际上是关键词、但却未被检测出来的情形(容易被拒绝)。横轴的误检测数“10”表示如下情况：由于宽松地设定了阈值，因此，关键词容易被识别出来，但有可能导致非关键词的得分也为阈值以上而错误地接受。
[0165]“baseline”表示使用了通用模型的例子。在通用模型中，在误检测数为0次和1次的情况下，识别精度成为了相当低的值。
[0166]“adapt＿spk60”是不进行数据提取、使用自适应说话者为60名的关键词发声数据(例如60名说话者说出了
“でんきつけて”
的数据)来进行了自适应的例子。与通用模型相比，精度提高了一些。
[0167]“adapt＿spk130”是不进行数据提取、使用自适应说话者为130名的关键词发声数据来进行了自适应的例子。与使用60名的发声数据的情况相比，精度提高了一些。
[0168]“adapt＿extract+spk60”表示按照上述实施方式进行数据提取、进一步与说话者为60名的关键词发声数据并用而实施了自适应的例子。关于误检测数0～10的任一个，都能够达成非常高的识别精度。特别是，可知得到了比使用了130名的发声数据的情况还高的精度。
[0169]
[其他实施方式]
[0170]
此外，本发明并不限定于上述实施方式。
[0171]
例如，也可以设为：将关于上述实施方式说明过的关键词模型学习装置1所具备的各功能部分散配置在多个装置(服务器、边缘服务器(edge server)、其他客户终端等)，通过这些装置相互协作来进行处理。另外，各功能部也可以通过使用电路来实现。电路既可以是实现特定功能的专用电路，也可以是如处理器那样的通用电路。
[0172]
进一步，以上说明的各处理的流程并不限定于说明的次序，既可以调换几个步骤的顺序，也可以同时并行地实施几个步骤。另外，以上说明的一系列处理不需要在时间上连续地执行，各步骤可以在任意的定时执行。
[0173]
例如，在关于图3、5、6、7、8说明过的处理流程中，通用模型的学习处理和从学习数据的提取处理不需要一定依次进行。学习处理和提取处理也可以并行地进行。
[0174]
或者，模型学习部22也可以在进行了通用模型的学习后暂时使学习完毕的通用模型存储于设在存储区域内的通用模型存储部(未图示)。同样地，数据提取部23也可以在进行了数据的提取后使所提取的数据暂时存储于设在存储区域内的提取数据存储部(未图示)。由此，关键词模型学习装置1能够在任意的定时在关键词模型自适应部24的控制下进行如下处理：从各存储部读出学习完毕的通用模型和所提取的数据，使关键词模型进行自适应。
[0175]
上述各实施方式的处理的至少一部分例如也可以通过使用搭载于通用的计算机的处理器作为基本硬件来实现。实现上述处理的程序也可以保存于能够由计算机读取的记录介质(存储介质)来进行提供。程序被作为能够安装的形式的文件或者能够执行的形式的
文件存储于记录介质。作为记录介质,为磁盘、光盘(cd－rom、cd－r、dvd等)、光磁盘(mo等)、半导体存储器等。只要能够存储程序、且计算机能够读取，则记录介质可以为任何介质。另外，也可以将实现上述处理的程序保存在与互联网等网络连接着的计算机(服务器)上，经由网络使之下载到计算机(客户端)。
[0176]
另外，关于语音数据的取得、模型的生成等，也可以在不脱离本发明的宗旨的范围内进行各种变形来实施。
[0177]
根据以上描述的至少一个实施方式的信息处理装置、关键词检测装置以及信息处理方法，通过从包含语音特征量和该语音特征量的正解音素标签的组合的学习数据提取包含关键词的一部分的数据并将其用于学习，能够从有限的数据高效地使关键词模型进行学习。
[0178]
对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，并不是意在限定发明的范围。这些新的实施方式能够以其他各种各样的方式来实施，能够在不脱离发明的宗旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨内，并且，包含在技术方案记载的发明及其等同的范围内。
[0179]
此外，可以将上述的实施方式总结为以下的技术方案。
[0180]
技术方案1
[0181]
一种信息处理装置，具备：
[0182]
第1数据取得部，其取得包含语音特征量和该语音特征量的正解音素标签的组合的第1学习数据；
[0183]
学习部，其使用所述第1学习数据，使声学模型进行学习以使得相对于所述语音特征量的输入而输出所述正解音素标签；
[0184]
提取部，其从所述第1学习数据提取第2学习数据，所述第2学习数据包含预先设定的关键词、所述关键词所包含的子词、所述关键词所包含的音节以及所述关键词所包含的音素中的至少一个语音特征量；以及
[0185]
自适应处理部，其使用所述第2学习数据，使与所述关键词的检测相关的关键词模型对学习完毕的所述声学模型进行自适应。
[0186]
技术方案2
[0187]
根据上述技术方案1，还具备第2数据取得部，所述第2数据取得部取得包含所述关键词的发声语音的关键词发声数据，
[0188]
所述自适应处理部使用所述第2学习数据和所述关键词发声数据，使所述关键词模型对所述声学模型进行自适应。
[0189]
技术方案3
[0190]
根据上述技术方案1，所述提取部提取所述关键词的字符数、所述子词的字符数、所述音节数或者所述音素数包含在数据中的比率为预定值以上的数据，来作为所述第2学习数据。
[0191]
技术方案4
[0192]
根据上述技术方案1，所述提取部将预定的数据数作为上限，提取所述第2学习数据。
[0193]
技术方案5
[0194]
根据上述技术方案1，所述提取部将预定的数据数作为上限，按所述关键词的字符数、所述子词的字符数、所述音节数、或者所述音素数包含在数据中的比率从高到低的顺序进行提取，来作为所述第2学习数据。
[0195]
技术方案6
[0196]
根据上述技术方案1，所述提取部将预定的数据数作为上限，对于所述关键词的字符数、所述子词的字符数、所述音节数、或者所述音素数包含在数据中的比率为预定值以上的数据，按所述比率从高到低的顺序进行提取，来作为所述第2学习数据。
[0197]
技术方案7
[0198]
根据上述技术方案1，还具备从用户受理所述关键词的设定的关键词设定部。
[0199]
技术方案8
[0200]
一种关键词检测装置，使用通过上述技术方案1～7中任一项所述的信息处理装置进行了自适应的关键词模型来进行关键词检测。
[0201]
技术方案9
[0202]
一种信息处理方法，是信息处理装置执行的信息处理方法，包括：
[0203]
取得包含语音特征量和该语音特征量的正解音素标签的组合的第1学习数据；
[0204]
使用所述第1学习数据，使声学模型进行学习以使得相对于所述语音特征量的输入而输出所述正解音素标签；
[0205]
从所述第1学习数据提取第2学习数据，所述第2学习数据包含预先设定的关键词、所述关键词所包含的子词、所述关键词所包含的音节以及所述关键词所包含的音素中的至少一个语音特征量；以及
[0206]
使用所述第2学习数据，使与所述关键词的检测相关的关键词模型对学习完毕的所述声学模型进行自适应。
[0207]
技术方案10
[0208]
一种记录介质，记录有程序，所述程序具备使处理器执行技术方案1～7中任一项所述的信息处理装置的各部进行的处理的命令。