本发明涉及嵌入式设备领域，特别是一种用于异常声音检测的在线更新系统和方法。
背景技术：
声音是一种传递信息的方便、有效和快捷的方式。目前车辆工作的异常检测，压缩机、电机等机械设备的故障检测，房间异常声音的检测，儿童哭声的检测等主要还是基于人为判断，过于依赖人的主观经验，所以导致定位这些异常误差大且消耗的成本高。
近年来有出现一些基于深度学习的异常声音检测方法，可以表现出较好的实际应用效果，但是也存在一些缺陷：
1、系统复杂，计算量大，依赖于复杂的计算单元甚至gpu(graphicprocessunit，视频处理单元)，对于空调，压缩机等设备而言，异常声音检测系统部署困难且成本太高。
2、庞大的检测系统需要部署在服务器，通过使待测音源联网后将工作数据传送至服务器，在服务器上进行检测后再通过网络回传至设备。这样有以下几点问题：
过于依赖网络环境，网络不通时，异常声音检测系统将无法工作。
由于空调，压缩机等待测音源的工作声音频域上跨度大，需要使用48khz作为声音采样频率，因此传送的数据量大，对网络压力大。
网络传输实时音频时极其容易出现掉帧现象，当音频流出现掉帧时其频谱特征可能会随之变化，造成异常声音检测失败。
将检测系统部署到离线环境，也存在问题：大型机器机械等待测音源结构复杂，可能出现的异常种类多，在使用深度学习进行异常声音检测时，当出现检测系统未学习过的未知异常声音时，则不能定位异常声音。因此不能很好的做到异常种类更新，造成异常声音识别效果差。
技术实现要素：
本发明的目的在于提供一种用于异常声音检测的在线更新系统和方法，主要解决上述现有技术存在的问题，它可以在继续保持离线异常声音检测系统对网络依赖小的优点的同时，还增加了离线异常声音检测系统的快速学习和识别新的未知异常声音的能力，提高设备异常声音检测的可靠性。
为了实现上述目的，本发明所采用的技术方案是提供一种用于异常声音检测的在线更新系统的嵌入端系统，运行于待测音源端，其特征在于，包含设备声音采集模块、设备声音音频特征提取模块、神经网络模块和未知异常上报模块；
所述设备声音采集模块将待测音源发出的声音转换成音频数字信号，然后传输给所述设备声音音频特征提取模块；所述设备声音音频特征提取模块在频域上对所述音频数字信号进行处理，得到音频频率采样，作为所述神经网络模块的输入；
所述神经网络模块对所述音频频率采样进行处理，完成异常声音分类，输出的异常种类包含n种异常、未识别异常和无异常；所述异常种类的数量由异常声音检测模型决定；所述神经网络模块的网络结构根据所述异常种类的数量决定，动态可变；所述异常声音检测模型还决定所述神经网络模块的工作参数；
当所述神经网络模块诊断的异常声音检测结果为所述未识别异常时，所述未知异常上报模块收集所述待测音源的mac地址和型号，构成头信息，与对应的所述音频数字信号合并成异常音频后，通过无线传输方式上报。
进一步地，还适于接收训练后异常声音检测模型，完成所述异常声音检测模型的更新。
本发明所采用的技术方案还提供一种用于异常声音检测的在线更新系统的服务器端系统，其特征在于，所述服务器端系统包含在线学习模块、模型训练模块和模型更新模块；
所述在线学习模块接收上报的异常音频，并对所述异常音频进行数据处理，调整所述异常声音检测模型对应的所述神经网络模块的网络结构，将所述异常音频划分为训练集和验证集；所述异常音频包括待测音源的mac地址和型号，以及未识别异常对应的音频数字信号；
所述模型训练模块对所述异常声音检测模型进行模型训练，得到训练后异常声音检测模型；
所述模型更新模块将所述训练后异常声音检测模型下发到所述嵌入端系统，更新所述嵌入式端系统中的所述异常声音检测模型。
进一步地，所述在线学习模块按所述待测音源的所述型号，对所述异常音频进行分类，得到设备关联异常音频，然后针对每一种所述待测音源，利用所述设备关联异常音频建立所述训练集和所述验证集。
进一步地，所述在线学习模块对所述设备关联异常音频进行的所述数据处理，包含数据清洗和异常种类聚类；所述数据处理得到m个聚类类别，作为m个新异常种类；
根据所述m个新异常种类和n个已知异常种类，所述在线学习模块调整所述异常声音检测模型的分类维度为n+m+2，包含：n+m种异常、未识别异常和无异常。
进一步地，所述数据清洗和异常种类聚类的过程，具体包含:
步骤101、将所述设备关联异常音频经过vad判决，删除静音音频，得到异常音频集合；
步骤102、将所述异常音频集合划分成j秒一帧的异常声音采样片段；
步骤103、使用dbscan算法对所述异常声音采样片段进行聚类，丢弃对应噪声的所述异常声音采样片段，得到所述m个聚类类别，作为所述m个新异常种类。
进一步地，所述在线学习模块从所述异常声音采样片段中抽取l分钟的音频作为所述训练后异常声音检测模型的验证集，加入到原始验证集中，构成扩展验证集，并将除去所述验证集后的所述异常声音采样片段，加入到原始训练集中，构成扩展训练集。
进一步地，所述模型训练模块对所述异常声音检测模型进行所述模型训练的过程包含：
步骤201、设置数据迭代次数为0；以k秒为单位，将所述训练集划分为多个batch数据，不足的数据丢弃；
步骤202、从所述训练集中取一个所述batch；
步骤203、所述迭代次数加一；
步骤204、使用快速傅里叶变换求出所述batch数据的频域特征；
步骤205、利用所述batch数据的频域特征进行一轮训练；
步骤206、根据所述迭代次数判断整个所述训练集是否遍历完成；若遍历完成，得到候选异常声音检测模型，进入步骤207，如果未遍历完成，跳转到步骤202；
步骤207、计算所述候选异常声音检测模型在所述验证集上的loss值；
步骤208、若所述loss值为所述模型训练中的最小值，且loss值与上一次所述loss值相比不再下降时，记录当前的所述候选异常声音检测模型为最优异常声音检测模型，跳转到步骤210；否则跳转到步骤209；
步骤209、将所述迭代次数清零，epoch迭代次数加一，跳转到步骤202；
步骤210、训练结束。
进一步地，所述模型更新模块，根据所述头信息中对应的所述待测音源的所述mac地址和所述型号，下发所述训练后异常声音检测模型并完成所述异常声音检测模型的更新，对没有上报错误的所述嵌入端系统不进行所述异常声音检测模型的更新。
本发明所采用的技术方案还提供一种在线更新方法，适用于在线更新系统的嵌入端系统,其特征在于，所述在线更新方法包括：
步骤301、将所述待测音源发出的声音转换成所述音频数字信号；
步骤302、在频域上对所述音频数字信号进行处理，得到所述音频频率采样；
步骤303、对所述音频频率采样进行处理，完成所述异常声音分类，输出的异常种类包含n种异常、未识别异常和无异常；所述异常种类的数量由所述异常声音检测模型决定；
步骤304、当异常声音检测结果为所述未识别异常时，所述未知异常上报模块收集所述待测音源的mac地址和型号，构成所述头信息，与对应的所述音频数字信号合并成所述异常音频后，通过无线传输方式上报。
本发明所采用的技术方案还提供一种在线更新方法，适用于在线更新系统的嵌入端系统,其特征在于，所述在线更新方法包括：
步骤301b、将所述待测音源发出的声音转换成所述音频数字信号；
步骤302b、在频域上对所述音频数字信号进行处理，得到所述音频频率采样；
步骤303b、对所述音频频率采样进行处理，完成所述异常声音分类，输出的异常种类包含n种异常、未识别异常和无异常；所述异常种类的数量由所述异常声音检测模型决定；
步骤304b、当异常声音检测结果为所述未识别异常时，所述未知异常上报模块收集所述待测音源的mac地址和型号，构成所述头信息，与对应的所述音频数字信号合并成所述异常音频后，通过无线传输方式上报；
步骤305b、接收所述训练后异常声音检测模型，完成所述异常声音检测模型的更新。
本发明所采用的技术方案还提供一种在线更新方法，适用于在线更新系统的服务器端系统，其特征在于，所述在线更新方法包括：
步骤401、接收所述异常音频，所述异常音频包括所述待测音源的mac地址和型号，以及未识别异常对应的所述音频数字信号；
步骤402、按所述待测音源的型号，对所述异常音频进行分类，得到所述设备关联异常音频；
步骤403、对所述设备关联异常音频进行数据清洗和异常种类聚类，并根据聚类结果，调整所述异常声音检测模型的结构；
步骤404、将所述异常音频划分为所述训练集和所述验证集；
步骤405、利用所述训练集和所述验证集，对所述异常声音检测模型进行模型训练，得到所述训练后异常声音检测模型；
步骤406、根据所述头信息中的所述mac地址，得到上报所述设备关联异常音频的所述待测音源，将所述训练后异常声音检测模型更新到所述待测音源的在线更新系统的嵌入端系统中。
鉴于上述技术特征，本发明具有如下优点：
1、本发明主要工作模式依然是离线异常声音检测系统，对网络依赖少，性能强工作可靠。
2、本发明利用在线更新系统，可以完成离线异常声音检测系统的神经模型的动态更新，适应变化的异常声音诊断工作环境。
3、本发明通过在上报异常音频同时附加设备信息的方式，做到了定向更新，即：在数据更新后可以仅发送给上报的设备(且仅对应上报的异常进行下发)，节约网络资源。
4、本发明对分帧后的数据引入了聚类操作，以确定对应该设备的新的异常声音类型ln+1,ln+2,...,ln+m，由此可分辨不同的异常声音类型，能够在线处理大量未知异常。
5、本发明采用fft算法代替mfcc算法，最大程度上保留了异常声音的频域特性。因为mfcc算法中采用的mel滤波器为针对人耳听觉的优化，即两个响度不等的声音作用于人耳时，则响度较高的频率成分的存在会影响到对响度较低的频率成分的感受，使其变得不易察觉。但是异常声音检测任务中声音来源不是人声，不符合人声的发音特征和人耳的听觉特征。
附图说明
图1是本发明一个实施例的系统结构示意图；
图2是本发明一个实施例的在线学习模块进行数据清洗和异常种类聚类的流程图；
图3是本发明一个实施例的模型训练模块的工作流程图；
图4是本发明一个实施例的在线更新系统对异常声音检测系统进行更新时，嵌入端的更新流程图；
图5是本发明一个实施例的在线更新系统对异常声音检测系统进行更新时，服务器端的更新流程图。
图中：1–设备声音采集模块，2–音频特征提取和分类系统，3–未知异常上报模块，4–无线网络，5–服务器端系统。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
请参阅图1，本实施例的一种用于异常声音检测的在线更新系统，包含设备声音采集模块1、音频特征提取和分类系统2、未知异常上报模块3、无线网络4和服务器端系统5。
设备声音采集模块1、音频特征提取和分类系统2、未知异常上报模块3组成了在线更新系统的嵌入端系统。
音频特征提取和分类系统2包含设备声音音频特征提取模块和神经网络模块。
设备声音采集模块1将待测音源发出的声音转换成音频数字信号，然后传输给设备声音音频特征提取模块；设备声音音频特征提取模块在频域上对采集到的音频数字信号进行处理，得到音频频率采样，作为神经网络模块的输入。神经网络模块进一步对音频频率采样进行处理，完成异常声音分类，最后输出n+2种异常种类，包含：n种异常、未识别异常和无异常。异常种类的数量由异常声音检测模型决定；神经网络模块的网络结构根据异常种类的数量决定，动态可变；异常声音检测模型还决定神经网络模块的工作参数。
在异常声音检测模型部署的初期，会根据初期的大量已知异常音频来进行模型训练，得到的模型可以保证基本上能够覆盖目前已知的异常声音类型。然后会将初版模型部署到待测音源的音频特征提取和分类系统2上。
在待测音源进入实际运行状态时，设备声音采集模块1采集设备运行时的声音，音频特征提取和分类系统2开始检测，当检测结果出现“未识别异常”时，会利用未知异常上报模块3，通过无线网络4(比如使用wi-fi或蓝牙等无线传输方式)连接服务器端系统5，将采集到的未知异常音频发送至服务器端系统5。同时为了保证音频来源的标注准确，发送时会在第一帧音频前加上设备信息，比如设备的mac地址和产品型号，来构成音频的头信息，从而在服务器端系统5上能对数据进行归类和标注。
服务器端系统5包含在线学习模块、模型训练模块和模型更新模块。当服务器端系统5的在线学习模块收到未知异常音频后，保存未知异常音频信息，然后利用在线学习模块根据设备的型号进行数据清洗和聚类，生成异常声音样本信息，得到样本库和训练库，并根据数据清洗和聚类的结构调整神经网络模块的网络结构。模型训练模块利用样本库和训练库，针对不同型号的设备，分别对神经网络进行训练，训练完成后得到针对不同型号的设备的最新异常声音检测模型。
得到针对不同设备的最新模型后，模型更新模块按照上传时头信息中的设备mac地址和型号进行对应的模型下发：即下发时并非全部更新，对没有上报数据的设备不进行更新。最新模型经过无线网络4(wi-fi或蓝牙等无线传输方式)传送到嵌入式端系统2，完成音频特征提取和分类系统2中的异常声音检测模型的更新，从而使音频特征提取和分类系统2支持新异常声音的检测。
请参阅图2，本实施例的一种用于异常声音检测的在线更新系统中的在线学习模块，收到未知异常音频后，首先会读取异常音频的头信息，来进行设备的型号分类，将分类完成的数据按照型号分为x1,x2,...,xn，n为所有的设备型号的数目。
当拿到不同型号的设备的异常音频后，会首先进行数据清洗和异常种类聚类，具体包含：
步骤101、将设备关联异常音频xn经过vad判决，删除静音音频，得到异常音频集合xn′。
步骤102、进行分帧，将xn′分成10s一帧的小片段xt，作为异常声音采样片段。
步骤103、使用dbscan算法对异常声音采样片段进行聚类，包含：
步骤103-1，从xn′中选取一个数据点，并且将该点的ε邻域作为待求其域；
步骤103-2，如果该点的邻域ε中有足够多的点，则开启聚类过程，并且将当前的数据点标记为聚类1中的第一个点，否则，标记为噪声；
步骤103-3，对于新聚类1中的第一个点，查找其ε距离附近的点属于同一聚类的一部分，即将该点ε邻域附近的点都划分到聚类1，然后重复刚刚所加到聚类1中的所有新点；
步骤103-4，重复步骤203-2和203-3，直到xn′中所有的点都被确定为一个聚类或者是噪声。至此，则将有的异常音频分为了新的异常音频集合x'n_1,x'n_2,...,x'n_m，m为聚类的类别总数，即新异常的总数为m。
完成聚类之后，修改全连接及分类层的网络结构，将模型的laye7-layer9根据最新的分类进行更改，调整异常种类为n+m，输出结果的分类维度为n+m+2：n+m种异常、未识别异常和无异常。
在得到未知异常音频集合x'n_1,x'n_2,...,x'n_m后，将其异常代码记为ln+1,ln+2,...,ln+m，n为之前已知的所有异常种类，然后会从聚类后的异常声音集合x'n_m中抽取30分钟音频作为ln+m的验证集加入原始模型的验证集中。再将去除验证集的集合x'n_1,x'n_2,...,x'n_m加入原始模型的训练集中。
请参阅图3，训练新模型的过程和原始模型的训练过程相同，利用训练集对模型网络进行训练，然后用验证集验证训练结果。原始模型只使用原始训练集和原始验证集。新模型训练的过程中，会利用上报的异常音频扩展原始训练集和原始验证集，然后再开始训练。具体的训练过程包含：
步骤201、设置数据迭代次数为0；以k秒(k＝300)为单位，将训练集划分为多个batch数据，不足的数据丢弃；
步骤202、从训练集中取一个batch；
步骤203、迭代次数加一；
步骤204、求出batch数据的fft特征；
步骤205、利用batch数据的fft特性进行一轮训练；
步骤206、根据迭代次数判断整个训练集是否遍历完成；若遍历完成，得到候选异常声音检测模型，进入步骤207，如果未遍历完成，跳转到步骤202；
步骤207、计算候选异常声音检测模型在验证集上的loss值；
步骤208、若loss值为模型训练中的最小值，且loss值与上一次loss值相比不再下降时，记录当前的候选异常声音检测模型为最优异常声音检测模型，跳转到步骤210；否则跳转到步骤209；
步骤209、将迭代次数清零，epoch次数加一，跳转到步骤202，开启下一个epoch的训练迭代；
步骤210、训练结束。
本实施例还包含一种利用用于异常声音检测的在线更新系统对异常声音检测系统进行更新的方法，其中：
请参阅图4，嵌入端的步骤包含：
步骤301、将待测音源发出的声音转换成所述音频数字信号；
步骤302、在频域上对音频数字信号进行处理，得到音频频率采样；
步骤303、对音频频率采样进行处理，完成异常声音分类，输出的异常种类包含n种异常、未识别异常和无异常；异常种类的数量由异常声音检测模型决定；
步骤304、当异常声音检测结果为未识别异常时，未知异常上报模块收集待测音源的mac地址和型号，构成头信息，与对应的音频数字信号合并成异常音频后，通过无线传输方式上报；
步骤305、接收训练后异常声音检测模型，完成异常声音检测模型的更新。
请参阅图5，服务器端的步骤包含：
步骤401、接收异常音频，异常音频包括待测音源的mac地址和型号，以及未识别异常对应的音频数字信号；
步骤402、按待测音源的型号，对异常音频进行分类，得到设备关联异常音频；
步骤403、对设备关联异常音频进行数据清洗和异常种类聚类，并根据聚类结果，调整异常声音检测模型的结构；
步骤404、将异常音频划分为训练集和验证集；
步骤405、利用训练集和验证集，对异常声音检测模型进行模型训练，得到训练后异常声音检测模型；
步骤406、根据头信息中的所述mac地址，得到上报设备关联异常音频的待测音源，将训练后异常声音检测模型更新到待测音源的在线更新系统的嵌入端系统中。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。