语音识别方法、装置、存储介质及电子设备与流程

本发明涉及计算机技术领域，尤其涉及一种语音识别方法、装置、存储介质及电子设备。

背景技术

一般而言，呼叫中心每天有大量的呼叫语音数据，其中有很多是外呼呼叫失败的语音数据。目前运营商给出的失败信令比较笼统，如关机、拒接、空号、停机、无人接听、占线等信令一致，无法区分真正原因，容易造成业务无效的号码被反复拨打，影响效率。因此需要一个策略找出这些呼叫失败语音的失败原因。

目前现有的做法是采用asr(automaticspeechrecognition，自动语音识别)语音识别方法，此方法是基于语义的。像关机、占线、空号和停机这几种的外呼语音，因为每次播报的语音都是相同的，asr可以很好的识别出这几种的失败原因。但asr有两个致命的缺陷，即多语言种类支持有限且成本很高及无法识别语音中带有彩铃和振铃情况。随着业务的拓展，常会遇到很多外文的语音数据和语音中带有彩铃和振铃的语音数据，现有技术已经难以满足需求此种情形下的语音识别需求。

技术实现要素：

针对现有技术中的问题，本发明的目的在于提供一种语音识别方法、装置、电子设备及存储介质，以准确区分多种语言的目标语音数据，特别是带有彩铃或振铃的外呼呼叫失败的语音数据。

根据本发明的一方面提供一种语音识别方法，它包括如下步骤：获取多个样本语音数据；采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取，以得到每个样本语音数据的特征矩阵；按照一预设值构建每个样本语音数据的特征矩阵的大小，以得到归一化的特征矩阵的集合；基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型；通过所述分类模型识别目标语音数据。

在本发明的一实施方式中，所述样本语音数据被划分为第一语音数据和第二语音数据，所述样本语音数据的种类作为所述分类模型的分类输出。

在本发明的一实施方式中，通过对所述第一语音数据和第二语音数据中数量较多的一种语音数据进行采样，以使得所述第一语音数据和第二语音数据的数量相同。

在本发明的一实施方式中，所述第一语音数据和所述第二语音数据被分别标记为拒接语音数据及无人接听语音数据。

在本发明的一实施方式中，所述第一语音数据和第二语音数据包括彩铃或振铃。

在本发明的一实施方式中，所述特征矩阵的集合中的各特征矩阵被构建以指示每一样本语音数据的后n秒语音数据，n为大于等于5小于等于15的整数。

在本发明的一实施方式中，基于n的取值使所说预设值为[1,m]，m为大于等于1的整数，所述按照一预设值构建每个样本语音数据的特征矩阵的大小的步骤包括：

将每个样本语音数据的特征矩阵的大小构建为[1,m],其中m为该特征矩阵的列数。

在本发明的一实施方式中，所述将每个样本语音数据的特征矩阵的大小构建为[1,m]的步骤包括：

若所述样本语音数据的特征矩阵的大小超过[1,m]，则截取该样本语音数据的特征矩阵中的后m列，使其大小为[1,m]；

若所述样本语音数据的特征矩阵的大小小于[1,m]，则用使该样本语音数据的特征矩阵前项填充为0，使其大小为[1,m]。

在本发明的一实施方式中，n为10秒，m为17381。

在本发明的一实施方式中，所述基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型的步骤包括：

将所述归一化的特征矩阵的集合按照一预设比例建立训练数据集、验证数据集和测试数据集；

基于所述训练数据集、验证数据集和测试数据集以支持向量机算法建立所述分类模型；

所述训练数据集用于训练模型或确定模型参数，所述验证数据集用于做模型选择，所述测试数据集用于测试已训练好的模型的分辨能力。

在本发明的一实施方式中，所述训练数据集、验证数据集和测试数据的预设比例为6：2：2。

根据本发明的另一方面，提供一种语音识别装置，它包括：获取模块、特征提取模块、特征构建模块、模型构建模块以及识别模块。所述获取模块用于获取多个样本语音数据。所述特征提取模块用于采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取，以得到每个样本语音数据的特征矩阵。所述特征构建模块用于按照一预设值构建每个样本语音数据的特征矩阵的大小，以得到归一化的特征矩阵的集合。所述模型构建模块用于基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型。所述识别模块用于通过所述分类模型识别目标语音数据。

根据本发明的又一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。

根据本发明的另一方面，提供一种电子设备，所述电子设备包括：处理器和存储介质。所述存储介质上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。

本发明所提出的语音识别方法首先采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取以得到每个样本语音数据的特征矩阵；再按照一预设值构建每个样本语音数据的特征矩阵的大小以得到归一化的特征矩阵的集合；并基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型，便可通过所述分类模型准确区分多种语言的目标语音数据，特别是带有彩铃或振铃的外呼呼叫失败的语音数据。

此外，本发明所提出的语音识别方法还具有良好的拓展性、准确率较高，以及成本较低的优点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例中语音识别方法的流程图。

图2是本发明一实施例中语音识别装置的结构示意图。

图3是本发明一实施例中计算机可读存储介质的结构示意图。

图4是本发明一实施例中电子设备的结构示意图。

图5是本发明一实施例中基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型的流程图。以及

图6是本发明另一实施例中语音识别装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

为了解决现有技术的不足，准确区分多种语言的目标语音数据，特别是带有彩铃或振铃的外呼呼叫失败的语音数据。本发明提供一种语音识别方法、装置、电子设备及存储介质，

图1为本发明一实施例中语音识别方法的流程图。所述语音识别方法包括如下步骤：

s110，获取多个样本语音数据。

本领域技术人员可以理解的是，此处已获取的所述样本语音数据可以是已经过预处理而能直接使用的语音数据。而且为了保证下面所述分类模型的有效性，所述样本语音数据的基数应当足够大。

在本发明的一具体实施方式中，所述样本语音数据可以被划分为第一语音数据和第二语音数据。具体而言，可以在步骤s110对样本语音数据进行标注，以区分第一语音数据和第二语音数据。

进一步而言，由于样本语音数据中所述第一语音数据和第二语音数据的数量可能会有较大差异，那么可以通过对所述第一语音数据和第二语音数据中数量较多的一种语音数据进行采样，以使得所述第一语音数据和第二语音数据的数量相同。也即，抽取所述第一语音数据和第二语音数据中数量较多的一种语音数据的一部分，以使得所述第一语音数据和第二语音数据的数量持平。由此便可解决样本语音数据中各类语音数据的数量不平衡的问题，从而提高后续分类模型的构建的可靠性，进而提高所述语音识别方法的有效性。

s120，采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取，以得到每个样本语音数据的特征矩阵。

常用的语音特征提取方法有很多。本发明采用梅尔频率倒谱系数(简称mfcc)进行样本语音数据的特征提取，可以有效降低后续模式识别系统的复杂度，可以有效用于人声发声原理的高效建模，有着及其广泛的适用性。进一步而言，所述采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取的步骤可以基于python_speech_features开源工具实现。

s130，按照一预设值构建每个样本语音数据的特征矩阵的大小，以得到归一化的特征矩阵的集合。

继续以样本语音数据为无人接听(例如第一语音数据)和拒接(例如第二语音数据)两种语音数据两种类型为例，此时的样本语音数据均包括彩铃或振铃，现有的语音识别方法无法对其进行有效区分。由于所述彩铃或振铃一般出现在样本语音数据的开始部分，所以我们可以通过对样本语音数据的特征矩阵进行构建，剔除出其中所包含的无效部分，以得到归一化的特征矩阵的集合。即截取所述特征矩阵所指示的样本语音数据中所述第一语音数据和第二语音数据的开头的彩铃或振铃部分，保留所述第一语音数据和第二语音数据的后面的可区分部分，以便训练模型。

进一步而言，所述特征矩阵的集合中的各特征矩阵被构建以指示每一样本语音数据的后n秒语音数据，n为大于等于5小于等于15的整数。基于n的取值使所述预设值为[1,m]，m为大于等于1的整数。所述按照一预设值构建每个样本语音数据的特征矩阵的大小的步骤包括：将每个样本语音数据的特征矩阵的大小构建为[1,m],其中m为该特征矩阵的列数(换言之，每个样本语音数据的特征矩阵的大小为1行m列)。所述将每个样本语音数据的特征矩阵的大小构建为[1,m]的步骤进一步包括：若所述样本语音数据的特征矩阵的大小超过[1,m]，则截取该样本语音数据的特征矩阵中的后m列，使其大小为[1,m]。若所述样本语音数据的特征矩阵的大小小于[1,m]，则用使该样本语音数据的特征矩阵前项填充为0，使其大小为[1,m]。

通过对无人接听和拒接两种语音数据的检测发现这些语音数据的长度通常不等，最长的可达70秒，短的也要有3、4秒，而这些语音数据的开始部分都是振铃音或者彩铃音。前述两类语音数据只有在最后的n秒有所区别，拒接类的语音数据在最后的n秒会说出“你所拨打的电话正在通话中，请稍后再拨”，而无人接听类的语音数据在最后的n秒一直都是振铃音或者彩铃音。根据测试、调参模拟出当n＝10时，本发明对上述两种类型的语音数据的区分效果最为理想。当n的数值时确定时所述特征矩阵的列数也就确定了，此时m＝17381，也就意味着需要将每个样本语音数据的特征矩阵的大小构建为[1,17381],若所述样本语音数据的特征矩阵的大小超过[1,17381]，则截取该样本语音数据的特征矩阵中的后17381列，使其大小为[1,17381]。若所述样本语音数据的特征矩阵的大小小于[1,17381]，则用使该样本语音数据的特征矩阵前项填充为0，使其大小为[1,17381]。

s140，基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型。

所述样本语音数据所标记的种类作为所述分类模型的分类输出。也即，此时所述分类模型专门用于识别所述第一语音数据和第二语音数据两种类别的语音数据。当然，本发明并不以此为限，其可以用于识别的目标语音数据的种类与所述样本语音数据的种类一致。

s150，通过所述分类模型识别目标语音数据。

在本发明的一实施方式中，当待识别的语音数据为拒接及无人接听两种类型时，本发明所述语音识别方法尤其适用。具体而言，首先获取足够数量的样本语音数据，其中，所述样本语音数据分为拒接(例如第一语音数据)和无人接听(例如第二语音数据)两种类型，通过mfcc(梅尔频率倒普系数)对所述样本语音数据进行语音特征提取以得到相应的特征矩阵，再对所提取的特征矩阵进行归一化处理以形成预设大小的特征矩阵的集合，并基于所述特征矩阵的集合以svm算法(支持向量机算法)构建分类模型，再通过所述分类模型即可有效区分待识别的拒接语音数据及无人接听语音数据。支持向量机算法是建立在统计学习理论的vc维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(或称泛化能力)，因此，svm算法在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。由于该分类模型是基于机器学习而构建的，因此，只要目标语音数据属于样本语音数据中的种类即可被有效区分，而无需考虑目标语音数据是语言属性。同样的，本发明还可以通过所述分类模型准确区分多种语言的目标语音数据。

此外，本发明所提出的语音识别方法还具有良好的拓展性、准确率较高，以及成本较低的优点。

图5是本发明一实施例中基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型的流程图，如图5所示，所述基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型的步骤包括：s1410,将所述归一化的特征矩阵的集合按照一预设比例建立训练数据集、验证数据集和测试数据集。s1420，基于所述训练数据集、验证数据集和测试数据集以支持向量机算法建立所述分类模型。

具体而言，训练数据集、验证数据集和测试数据集中皆包括多组数据，每组数据包括样本语音数据的特征矩阵及样本语音数据的分类标签。训练数据集用于将其中的样本语音数据的特征矩阵作为分类模型的输入，其中的样本语音数据的分类标签作为分类模型的输出来训练模型或确定模型参数。测试数据集用于将其中的样本语音数据的特征矩阵作为分类模型的输入，根据训练号的分类模型，获得分类模型的输出，将分类模型的输出与测试数据集的样本语音数据的分类标签进行比对，以确定该训练好的分类模型的分辨能力(例如，准确率)。通常而言，当所述训练数据集、验证数据集和测试数据的预设比例为6：2：2时，所述分类模型的对目标语音数据的识别效果较好。

其中，所述训练数据集用于训练模型或确定模型参数，即用于构建模型。所述验证数据集用于做模型的最终优化及确定，辅助模型构建，可以重复使。所述测试数据集只在模型检验时使用，用于评估模型的准确率，不允许用于模型构建过程，否则会导致过渡拟合。

图2是本发明一实施例中语音识别装置的结构示意图。如图2所示，该语音识别装置包括：获取模块201、特征提取模块202、特征构建模块203、模型构建模块204以及识别模块205。所述获取模块201用于获取多个样本语音数据。所述特征提取模块202用于采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取，以得到每个样本语音数据的特征矩阵。所述特征构建模块203用于按照一预设值构建每个样本语音数据的特征矩阵的大小，以得到归一化的特征矩阵的集合。所述模型构建模块204用于基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型。所述识别模块205用于通过所述分类模型识别目标语音数据。其中，各个模块的执行步骤以及原理在上述实施例中均有阐述，因此不再赘述。在不违背本发明构思的前提下，各个模块的拆分和合并皆在本发明的保护范围之内。本发明所提出的语音识别装置具有良好的拓展性、准确率较高及成本较低的优点，可准确区分多种语言的目标语音数据，特别是带有彩铃或振铃的外呼呼叫失败的语音数据。

图6是本发明另一实施例中语音识别装置的结构示意图。如图6所示，该语音识别装置除了包括获取模块201、特征提取模块202、特征构建模块203、模型构建模块204以及识别模块205外，还包括采样模块206。其中，所述特征构建模块203进一步包括第一特征构建模块2031和第二特征构建模块2032。所述模型构建模块204进一步包括数据集构建模块2041。所述获取模块201用于获取多个样本语音数据。所述特征提取模块202用于采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取，以得到每个样本语音数据的特征矩阵。所述特征构建模块203用于按照一预设值构建每个样本语音数据的特征矩阵的大小，以得到归一化的特征矩阵的集合。所述模型构建模块204用于基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型。所述识别模块205用于通过所述分类模型识别目标语音数据。所述采样模块206用于通过对样本语音数据中数量较多的一种语音数据进行采样，以使得样本语音数据中各类语音数据的数量相同或相近。所述第一特征构建模块2031用于对大小超过一预设值的特征矩阵进行构建。所述第二特征构建模块2032用于对大小不足一预设值的特征矩阵进行构建。所述数据集构建模块2041用于将所述归一化的特征矩阵的集合按照一预设比例建立训练数据集、验证数据集和测试数据集。其中，各个模块的执行步骤以及原理在上述实施例中均有阐述，因此不再赘述。在不违背本发明构思的前提下，各个模块的拆分和合并皆在本发明的保护范围之内。

本发明所提出的语音识别装置具有良好的拓展性、准确率较高及成本较低的优点，可准确区分多种语言的目标语音数据，特别是带有彩铃或振铃的外呼呼叫失败的语音数据。

在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被例如处理器执行时可以实现上述任意一个实施例中所述语音识别方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述语音识别方法描述的根据本发明各种示例性实施方式的步骤。本发明使得用户的报修事件可以得到自动处理，从而简化语音识别流程；在减轻后台服务团队的工作压力，同时也可以提升用户体验。

图3是本发明一实施例中计算机可读存储介质的结构示意图。图3描述了根据本发明的实施方式的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本发明的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述语音识别方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图4来描述根据本发明的这种实施方式的电子设备400。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：至少一个处理单元410、至少一个存储单元420、连接不同系统组件(包括存储单元420和处理单元410)的总线430、显示单元440等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述语音识别方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图1中所示的步骤。

所述存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(rom)4203。

所述存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器460可以通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明实施方式的上述语音识别方法。

本发明所提出的语音识别方法首先采用梅尔频率倒普系数对每个样本语音数据进行语音特征提取以得到每个样本语音数据的特征矩阵；再按照一预设值构建每个样本语音数据的特征矩阵的大小以得到归一化的特征矩阵的集合；并基于所述归一化的特征矩阵的集合以支持向量机算法建立一分类模型，便可通过所述分类模型准确区分多种语言的目标语音数据，特别是带有彩铃或振铃的外呼呼叫失败的语音数据。

此外，本发明所提出的语音识别方法还具有良好的拓展性、准确率较高，以及成本较低的优点。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。