本公开涉及音频检测,尤其涉及一种音频检测方法、装置、电子设备及介质。
背景技术:
1、异常声音检测是一种识别采集到的音频数据为正常音频数据或异常音频数据的技术。异常声音检测可以帮助用户监控电子设备的运行情况,并在产生异常音频数据时及时确定针对该异常音频数据的处理方式。
2、然而,由于异常音频数据具有广泛的音频变化方式,因此,异常声音检测的检测结果的准确度低,从而无法及时对异常音频数据进行处理,导致用户的使用体验感差。
技术实现思路
1、为克服相关技术中存在的问题,本公开提供了一种音频检测方法、装置、电子设备及介质。
2、根据本公开实施例的第一方面,提供了一种音频检测方法,包括:
3、采集当前场景下的目标音频数据;
4、对所述目标音频数据进行音频分离处理,得到所述目标音频数据分离出的多个音频片段,同一音频片段中的声音特征之间的相似度大于预设阈值;
5、分别对每个音频片段进行检测,得到所述每个音频片段的检测结果,所述检测结果用于表征所述音频片段的类型,所述类型包括正常类型或异常类型。
6、在一些实施例中,所述对所述目标音频数据进行音频分离处理,得到所述目标音频数据分离出的多个音频片段,包括:
7、调用目标音频分离模型,对所述目标音频数据进行音频分离处理,得到所述目标音频数据分离出的多个音频片段;所述目标音频分离模型用于基于输入的音频数据进行音频分离,所述目标音频分离模型基于异常音频数据和正常音频数据训练得到;
8、所述分别对每个音频片段进行检测,得到所述每个音频片段的检测结果,包括:
9、调用目标音频检测模型,分别对所述每个音频片段进行检测,得到所述每个音频片段的检测结果;所述目标音频检测模型用于基于输入的音频数据进行音频检测,所述目标音频检测模型基于异常音频数据和正常音频数据训练得到。
10、在一些实施例中,所述目标音频分离模型和所述目标音频检测模型的训练过程包括:
11、获取多个第一训练数据、多个第二训练数据和多个第三训练数据;所述第一训练数据中包括正常音频数据,所述第二训练数据中包括异常音频数据,所述第三训练数据中包括混合音频数据,所述混合音频数据由正常音频数据和异常音频数据混合得到;
12、基于所述多个第一训练数据,分别对待训练的音频分离模型和待训练的音频检测模型进行训练,得到第一音频分离模型和第一音频检测模型;
13、基于所述多个第二训练数据,分别对所述第一音频分离模型和所述第一音频检测模型进行训练,得到第二音频分离模型和第二音频检测模型;
14、基于所述多个第三训练数据,对所述第二音频分离模型和所述第二音频检测模型进行联合训练,得到所述目标音频分离模型和所述目标音频检测模型。
15、在一些实施例中,所述基于所述多个第三训练数据,对所述第二音频分离模型和所述第二音频检测模型进行联合训练,得到所述目标音频分离模型和所述目标音频检测模型,包括:
16、对于每个第三训练数据,调用所述第二音频分离模型,对所述第三训练数据进行音频分离处理,得到所述第三训练数据分离出的多个预测音频片段;
17、调用所述第二音频检测模型,分别对每个预测音频片段进行检测,得到所述每个预测音频片段的预测检测结果;
18、基于多个所述预测检测结果和所述第三训练数据对应的样本检测结果,调整所述第二音频分离模型的模型参数和所述第二音频检测模型的模型参数。
19、在一些实施例中,所述方法还包括:
20、若所述音频片段的检测结果为异常类型,则显示提示信息;所述提示信息用于提示目标对象输入参考信息,所述参考信息用于描述当前场景下产生所述目标音频数据时的情况;
21、获取所述目标对象输入的参考信息,并向所述云端服务器发送所述参考信息。
22、在一些实施例中,所述方法还包括:
23、若所述音频片段的检测结果为异常类型,则获取产生所述目标音频数据时的日志信息,并向所述云端服务器发送所述日志信息。
24、在一些实施例中,所述方法还包括:
25、接收所述云端服务器发送的目标处理方式,所述目标处理方式用于指示停止产生所述音频片段的方式。
26、根据本公开实施例的第二方面,提供了一种音频检测方法,包括:
27、接收电子设备发送的音频片段以及所述音频片段的检测结果;所述音频片段为检测结果为异常类型的音频数据,所述检测结果用于表征所述音频片段的类型,所述类型包括正常类型或异常类型;
28、基于所述音频片段和所述音频片段的检测结果,确定所述音频片段的目标产生原因和目标处理方式;所述目标产生原因用于指示产生所述音频片段的原因,所述目标处理方式用于指示停止产生所述音频片段的方式;
29、向所述电子设备发送所述目标处理方式。
30、在一些实施例中,所述基于所述音频片段和所述音频片段的检测结果,确定所述音频片段的目标产生原因和目标处理方式,包括:
31、基于预设大语言模型,对所述音频片段和所述音频片段的检测结果进行分析,得到所述音频片段的目标产生原因;所述预设大语言模型用于预测异常音频数据产生的原因;
32、基于所述目标产生原因,确定所述目标处理方式。
33、在一些实施例中,所述基于所述目标产生原因,确定所述目标处理方式,包括:
34、基于所述目标产生原因和预设关联关系,确定所述目标处理方式;所述预设关联关系用于表征产生原因和处理方式的对应关系。
35、在一些实施例中,所述基于所述目标产生原因和预设关联关系,确定所述目标处理方式,包括:
36、若预设关联关系中包括所述目标产生原因对应的处理方式,则将所述目标产生原因对应的处理方式确定为所述目标处理方式;
37、若预设关联关系中不包括所述目标产生原因对应的处理方式,则生成参考处理方式,并将所述参考处理方式确定为所述目标处理方式。
38、在一些实施例中,所述方法还包括:
39、接收所述电子设备发送的参考信息;
40、所述基于所述音频片段和所述音频片段的检测结果,确定所述音频片段的目标产生原因和目标处理方式,包括:
41、基于所述音频片段、所述音频片段的检测结果和所述参考信息,确定所述音频片段的目标产生原因和目标处理方式。
42、在一些实施例中,所述方法还包括:
43、接收所述电子设备发送的日志信息;
44、所述基于所述音频片段和所述音频片段的检测结果,确定所述音频片段的目标产生原因和目标处理方式,包括:
45、基于所述音频片段、所述音频片段的检测结果和所述日志信息,确定所述音频片段的目标产生原因和目标处理方式。
46、根据本公开实施例的第三方面,提供了一种音频检测装置,包括:
47、采集模块,被配置为采集当前场景下的目标音频数据;
48、第一处理模块,被配置为对所述目标音频数据进行音频分离处理,得到所述目标音频数据分离出的多个音频片段,同一音频片段中的声音特征之间的相似度大于预设阈值;
49、第二处理模块,被配置为分别对每个音频片段进行检测,得到所述每个音频片段的检测结果,所述检测结果用于表征所述音频片段的类型,所述类型包括正常类型或异常类型。
50、根据本公开实施例的第四方面,提供了一种音频检测装置,其特征在于,包括:
51、接收模块,被配置为接收电子设备发送的音频片段以及所述音频片段的检测结果;所述音频片段为检测结果为异常类型的音频数据,所述检测结果用于表征所述音频片段的类型,所述类型包括异常类型;
52、确定模块,被配置为基于所述音频片段和所述音频片段的检测结果,确定所述音频片段的目标产生原因和目标处理方式;所述目标产生原因用于指示产生所述音频片段的原因,所述目标处理方式用于指示停止产生所述音频片段的方式;
53、发送模块,被配置为向所述电子设备发送所述目标处理方式。
54、根据本公开实施例的第五方面,提供了一种电子设备,包括:
55、处理器;
56、用于存储处理器可执行指令的存储器;
57、其中,所述处理器被配置为执行如本公开第一方面或执行如本公开第二方面所述的音频检测方法。
58、根据本公开实施例的第六方面,提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本公开第一方面或执行如本公开第二方面所述的音频检测方法。
59、采用本公开的上述方法,具有以下有益效果:本公开可以实现对目标音频数据的分离,得到声音特征相似或相同的音频片段,从而可以将大部分的异常音频数据聚类至同一音频片段,以及将大部分的正常音频数据聚类至同一音频片段,初步实现异常音频数据和正常音频数据的分离。如此,在对多个音频片段进行检测时,更加准确地确定出每个音频片段的检测结果,进而提高音频检测的准确度,便于及时对异常音频数据进行处理,提高用户的使用体验。
60、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。