一种声学目标事件监控方法与流程

本发明涉及环境声学监测、人群语音监测、公共安全监测等领域，具体涉及一种声学目标事件监控方法。

背景技术：

目前在针对多种公共或野外环境下的声学监测相关应用中，根据不同的应用目标和领域，形成了多种多样的声学信号采集处理设备或系统，比如雷声监测定位、爆炸声监测、环境噪声污染水平监测等。这些不同的监测目标通常采用不同的声学信号处理方法，比如设置不同的信号采样率、目标信号特征提取方法等。

目前通常是针对某些目标设定信号处理方法、特征提取识别方法等，搜集相应数据进行分类器训练。一旦完成之后就形成固定的目标识别分类器，难以再增加或改变所辨识目标的类型。

技术实现要素：

本发明的目的在于克服上述问题，针对环境噪声监测应用提出了一种统一的信号特征分析提取与识别的方法，为多种采样率信号、不同目标声信号的处理与辨识提供一个统一基于深度学习的技术框架。

为了实现上述目的，本发明提出了一种声学目标事件监控方法，所述方法包括：

步骤1)建立样本集，所述样本集包括训练集和测试集；

步骤2)构建并训练深度神经网络，所述深度神经网络为结合递归网络结构的卷积神经网络，用于提取声学信号的信号特征；

步骤3)构建并训练多个任务辨识网络；

步骤4)利用训练好的深度神经网络和多个任务辨识网络，对实时采集的声学信号进行目标类别辨识；

步骤5)当辨识出的目标属于监控的事件范围内，根据系统设置执行监控策略。

作为上述方法的一种改进，所述步骤1)具体为：

采集已有的或在线监测所得到的大量声信号数据，处理后得到每个信号的傅立叶短时谱；傅立叶短时谱是多帧信号进行傅里叶变换后得到的二维频谱信息，二维分别表示时间和频率，所述样本集包括若干个样本，每个样本包括：声信号的傅立叶短时谱，声信号的标签。

作为上述方法的一种改进，所述步骤2)具体包括：

步骤201)构建深度神经网络；所述深度神经网络是一个改进卷积神经网络，是将传统的卷积神经网络结合递归网络结构，形成可利用历史信息对声信号进行特征分析提取与判别的深度神经网络；

步骤202)使用样本集进行无监督学习，优化所述深度神经网络参数：网络规模、权系数及控制参数。

作为上述方法的一种改进，所述步骤3)具体包括：

步骤301)根据不同任务场景、不同需要和不同任务目标，构建多个任务辨识网络，所述任务辨识网络使用单层或多层网络形式；

步骤302)将深度神经网络提取的样本集的每个声信号的目标特征作为多个任务辨识网络的输入，根据已知的该声学信号的标签进行反向训练，训练出多个任务辨识网络的参数。

作为上述方法的一种改进，所述步骤302)的多个任务辨识网络的输入还可以增加基于信号处理的部分参数：信号短时能量和事件持续时间。

作为上述方法的一种改进，所述步骤4)具体包括：

步骤401)对实时采集的声信号进行处理，得到声信号的傅立叶短时谱；

步骤402)将声信号的傅立叶短时谱输入训练好的深度神经网络，得到网络的输出：信号特征的表征；

步骤403)将深度神经网络输出的信号特征，分别输入多个任务辨识网络；并将任务辨识网络输出的目标类别概率进行排序，取目标类别概率最大值为辨识结果。

作为上述方法的一种改进，所述步骤5)的监控策略包括：系统报警、日志记录和证据记录。

本发明的优势在于：

1、本发明的方法可以解决为智能交通、城市环境监测、特定建筑物内公共区域声学监测等应用，可用于特定目标事件的发现、定位和远距离声信号获取，提高城市的噪声源目标监控技术水平。

2、本发明的方法构建容纳多种目标类型的基于深度学习的目标信号特征分析提取框架，形成适应特定环境(如城市环境)的统一的声学监测体系。

附图说明

图1为本发明的声学目标事件监控方法的示意图。

具体实施方式

本发明采用深度神经网络作为声信号分析、特征提取与目标辨识的基本方法。以卷积神经网络(cnn)方法为基础，构建多任务学习的深度神经网络，以信号频谱特征为基本输入，在神经网络内完成信号特征分析提取与辨识，输出为目标类别的后验概率以及噪声抑制后的信号等。

下面结合附图和具体实施例对本发明进行详细的说明。

如图1所示，一种声学目标事件监控方法，所述方法包括：

步骤1)建立样本集，所述样本集包括训练集和测试集；

采集已有的或在线监测所得到的大量声信号数据，处理后得到信号的傅立叶短时谱；傅立叶短时谱是多帧信号(帧长度、帧重叠可调整)进行傅里叶变换后得到的二维频谱信息，x，y轴分别表示时间和频率，所述样本集包括若干个样本，每个样本包括：声信号的傅立叶短时谱，声信号的标签。

在实际使用中，可根据需要设定要辨识的声学目标，为多种数据采集单元设定不同的采样率。

步骤2)构建并训练深度神经网络；具体包括：

步骤201)构建深度神经网络；

所述识别声学信号的深度神经网络是一个改进卷积神经网络，是将传统的卷积神经网络结合递归网络结构(例如，lstm：长短时记忆模型)，形成可利用历史信息对声信号进行特征分析提取与判别的深度神经网络；

采用卷积神经网络可对二维频谱图像信息进行特征分析和提取。二维表示的短时谱可作为基本输入。在处理过程中，为了兼容不同信号处理需要的采样率，短时谱的频率轴表示的频率范围不同，可在cnn处理过程中利用不同的卷积参数对频率信息进行抽象和降采样，从而使不同采样率信号的短时谱得到同样的表达。

为了适应不同目标信号持续时间的不同，如爆炸声是瞬间的独立声源，强烈的人员语音是持续时间长的间断语音信号，车辆声信号是较强的连续声源，在cnn的基本架构中可引入时间上的反馈控制，形成递归的cnn网络结构。进一步地，可将lstm等rnn网络与cnn网络结合，通过自适应的参数训练，得到可回溯历史信息的声信号特征分析提取的深度神经网络。

步骤202)使用样本集进行无监督学习，优化网络规模、权系数及控制参数等深度神经网络参数；

上述深度神经网络的目标特征提取辨识框架的训练可采用离线学习方式，在专门的服务器上实现，得到优化后的神经网络参数。用户系统中仅使用固定的深度神经网络参数对数据进行实时分析处理，标记背景噪声信号或目标信号的类别。也可以将深度神经网络的训练集成在用户系统中，增加在线学习能力，进一步提高在具体应用场景中的辨识能力。

步骤3)构建和训练多个任务辨识网络；

通过多场景下多个信号采集处理节点的数据来源，针对多种目标，在经过无监督学习后，深度神经网络具备了声学特征提取的基本能力。可进一步使用监督学习方法对多种目标的区分能力进行优化。形成针对多种目标的特征提取分析能力。

进一步地，可根据不同任务场景定义不同学习任务。根据不同需要和任务，建立所需识别的目标类型；如鸣笛监控，识别是否是鸣笛声；如安全监控，辨识是否有爆炸、车祸碰撞以及人的尖叫等。根据不同的任务目标，构建多个任务辨识网络，任务辨识网络使用单层或多层网络形式。比如，训练数据中包含了多种车辆、无人机目标数据，可建立诸如任务1可能辨识不同车辆类型；任务2辨识不同无人机类型；任务3区分车辆与无人机等适合不同应用场景的任务。

根据任务特定需求，使用样本集中经过标记的目标事件数据进行训练，输入的待判决特征对每个具体识别任务的辨识网络进行独立优化，除了深度神经网络提取的目标特征以外，可根据需要增加基于信号处理的部分参数，如信号短时能量、事件持续时间等，从而使每个目标辨识任务都能得到较好辨识能力。

步骤4)利用训练好的深度神经网络和多个任务辨识网络，对实时采集的声学信号进行辨识；

步骤401)对实时采集的声信号进行处理，得到声信号的傅立叶短时谱；

步骤402)将声信号的傅立叶短时谱输入训练好的深度神经网络，得到网络的输出：信号特征的表征；

步骤403)将深度神经网络输出的信号特征，分别输入多个任务辨识网络；将任务辨识网络输出的目标类别概率进行排序，取目标类别概率最大值为辨识结果。

步骤5)当辨识出的目标属于监控的事件范围内，根据系统设置执行监控策略。

所述监控策略包括：系统报警、日志记录和证据记录。

本发明的创新点在于：

1、以图像形式的2-d傅立叶短时谱图为声信号的基本特征，可兼容不同时间长度以及不同采样率的短时谱表示。

2、以cnn为基础，结合递归网络结构，建立可回溯历史信息的声信号特征分析与提取的深度神经网络架构。

3、在目标辨识部分结合深度神经网络的输出和信号处理特征参数，构建多任务的个性化识别网络。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。