一种基于语音的异常检测方法、装置、设备及存储介质与流程

本申请涉及语音处理领域，尤其涉及一种基于语音的异常检测方法、装置、设备及存储介质。

背景技术：

1、随着网络、通讯、计算机技术的发展，企业呈现出电子化、远程化、虚拟化、网络化的特点，更多的线上服务大量涌现。而客户与企业之间的通信与对话，也由面对面的咨询、交涉发展到基于网络、电话等远程手段的交流和沟通。在此背景下，基于电话的客服中心成为企业与用户交互的一个重要途径。客服中心每天都面对着大量的电话语音服务，处理客户多样化的服务需求，包括售前咨询、购买、售后、投诉等。

2、在现实生活中，金融企业的客服中心可能会遇到欺诈分子使用他人的身份信息和语音信息来获取他人的账户资金，即金融业在客服服务中可能存在欺诈问题。目前客服中心会对通话内容进行声纹识别，以确定客户的身份，从而防止欺诈行为的发生，但是传统的声纹识别技术对噪声、语调等方面的变化比较敏感，导致实际应用中声纹识别的准确率难以满足需求，不能准确对客户进行身份认证，进而无法保证客户的资金安全。

技术实现思路

1、有鉴于此，本申请的目的在于提供了一种基于语音的异常检测方法、装置、设备及存储介质，以提高身份识别和欺诈检测能力，提高异常检测效率，保障用户数据安全，其具体技术方案如下：

2、第一方面，本申请提供了一种基于语音的异常检测方法，所述方法包括：

3、对待处理语音进行特征提取，得到待处理声纹特征和待处理情感特征；

4、将所述待处理声纹特征和所述待处理情感特征输入预先训练好的分析模型，得到声纹识别结果和情感分析结果；

5、基于所述声纹识别结果和所述情感分析结果，生成所述待处理语音的异常检测结果。

6、在一种可能的实现方式中，所述分析模型的训练过程，包括：

7、获取语音样本集合，所述语音样本集合中的每个语音样本都携带有声纹和情感标签；

8、对所述语音样本进行特征提取，得到样本声纹特征和样本情感特征；

9、利用所述样本声纹特征和所述样本情感特征对所述分析模型进行训练和测试，得到测试结果；

10、根据所述分析模型对应的测试结果更新所述分析模型，并继续执行所述利用所述样本声纹特征和所述样本情感特征训练所述分析模型，直至所述测试结果达到预设条件。

11、在一种可能的实现方式中，所述将所述待处理声纹特征输入预先训练好的分析模型，得到声纹识别结果，包括：

12、将所述待处理声纹特征输入所述分析模型，使所述分析模型将所述待处理声纹特征与声纹库中的预设声纹特征进行匹配，得到所述声纹识别结果。

13、在一种可能的实现方式中，在所述生成所述待处理语音的异常检测结果之后，所述方法还包括：

14、若所述异常检测结果为正常，获取所述待处理语音的语义信息；

15、基于所述语义信息，生成所述待处理语音的响应信息。

16、在一种可能的实现方式中，在所述对待处理语音进行特征提取之前，所述方法还包括：

17、对所述待处理语音进行预处理，所述预处理包括降噪和/或去除冗余片段；

18、则所述对待处理语音进行特征提取，包括：

19、对预处理后的待处理语音进行特征提取。

20、第二方面，本申请还提供了一种基于语音的异常检测装置，所述装置包括：

21、特征提取模块，用于对待处理语音进行特征提取，得到待处理声纹特征和待处理情感特征；

22、特征分析模块，用于将所述待处理声纹特征和所述待处理情感特征输入预先训练好的分析模型，得到声纹识别结果和情感分析结果；

23、结果生成模块，用于基于所述声纹识别结果和所述情感分析结果，生成所述待处理语音的异常检测结果。

24、在一种可能的实现方式中，所述装置还包括：模型训练模块，所述模型训练模块包括：

25、样本获取单元，用于获取语音样本集合，所述语音样本集合中的每个语音样本都携带有声纹和情感标签；

26、特征提取单元，用于对所述语音样本进行特征提取，得到样本声纹特征和样本情感特征；

27、模型训练单元，用于利用所述样本声纹特征和所述样本情感特征对所述分析模型进行训练和测试，得到测试结果；

28、模型更新单元，用于根据所述分析模型对应的测试结果更新所述分析模型，并继续执行所述利用所述样本声纹特征和所述样本情感特征对所述分析模型进行训练和测试，直至所述测试结果达到预设条件。

29、在一种可能的实现方式中，所述装置还包括：

30、语义获取模块，用于若所述异常检测结果为正常，获取所述待处理语音的语义信息；

31、响应生成模块，用于基于所述语义信息，生成所述待处理语音的响应信息。

32、第三方面，本申请还提供了一种基于语音的异常检测设备，包括：处理器以及存储器；

33、所述存储器用于存储计算机程序；

34、所述处理器用于根据所述计算机程序执行上述第一方面或第一方面任一项所述的方法。

35、第四方面，本申请还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的方法。

36、在本申请实施例中，对待处理语音进行特征提取，得到待处理声纹特征和待处理情感特征；将待处理声纹特征和待处理情感特征输入预先训练好的分析模型，得到声纹识别结果和情感分析结果；基于声纹识别结果和情感分析结果，生成待处理语音的异常检测结果。本申请实施例将声纹识别技术和情感分析技术相结合，通过声纹识别对用户身份进行认证，通过情感分析更好地理解用户的情感状态，提高了身份识别和欺诈检测能力，可以确保用户数据的安全性，提高异常检测的效率。

技术特征：

1.一种基于语音的异常检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述分析模型的训练过程，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述待处理声纹特征输入预先训练好的分析模型，得到声纹识别结果，包括：

4.根据权利要求1所述的方法，其特征在于，在所述生成所述待处理语音的异常检测结果之后，所述方法还包括：

5.根据权利要求1至3任一项所述的方法，其特征在于，在所述对待处理语音进行特征提取之前，所述方法还包括：

6.一种基于语音的异常检测装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：模型训练模块，所述模型训练模块包括：

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

9.一种基于语音的异常检测设备，其特征在于，所述设备包括处理器以及存储器：

10.一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1至5任一项所述的方法。

技术总结
本申请实施例提供了一种基于语音的异常检测方法、装置、设备及存储介质，可应用于金融领域或其他领域，该方法包括：对待处理语音进行特征提取，得到待处理声纹特征和待处理情感特征；将待处理声纹特征和待处理情感特征输入预先训练好的分析模型，得到声纹识别结果和情感分析结果；基于声纹识别结果和情感分析结果，生成待处理语音的异常检测结果。本申请实施例将声纹识别技术和情感分析技术相结合，通过声纹识别对用户身份进行认证，通过情感分析可以更好地理解用户的情感状态，提高了身份识别和欺诈检测能力，可以确保用户数据的安全性，提高异常检测的效率。

技术研发人员：韩朋朋
受保护的技术使用者：中国银行股份有限公司
技术研发日：
技术公布日：2024/1/15