基于脑电响应与深度学习模型的声事件检测方法及检测平台

本发明属于脑电信号处理、深度学习、计算机，具体涉及基于脑电响应与深度学习模型的声事件检测方法及检测平台。

背景技术：

1、脑电信号由大量神经元的集体活动形成，并且可以提供有关大脑的时间分辨率较高的信息。经过数百年的研究，科学家们对于脑电信号的特征已经有了相当的掌握。而近年来随着医学、数学和神经科学等学科的发展，脑电信号已成为一种重要的数据资源，具有相当的研究潜力。人脑在感知不同的外界刺激、进行思维活动、产生主观意识时，伴随其神经系统的运行，会产生具有不同特征的脑电信号，这一特点可以应用于脑机接口、个性化识别与交互，但由于人接收到的信息90％来源于视觉，因此，大多数研究更注重于视觉方向或情感识别，在声音事件识别与分类方向的研究较少。

2、传统的信号特征提取与机器学习算法在低信噪比条件下性能较差、难以识别与分离背景噪声与目标环境声事件。而由于人脑具有强大的“滤波”效应，能够过滤多余噪声，且当人脑听取特定的环境声事件时，不同的声事件具有的不同的频率、幅度等会产生不同特征的脑电信号，因此，可以利用深度神经网络模型对特征进行训练、提取、分类和识别，以达到对环境声事件的检测与分类。

3、申请号为2022111324598，发明名称为《一种基于水声信号刺激的脑电响应深度学习分类识别方法》，基于脑电信号，结合深度学习对水声目标信号进行分类识别。该方法充分利用了人主观上对水下噪声和水声信号的敏感程度不同，人的大脑对不同种类的水声信号的快速听觉感知和自觉的信息提取的差异，以脑电信号作为主要的输入信号，对脑电信号进行相应处理后进行水声信号的分类识别。然而，上述发明仅提供了一种基于脑电响应深度学习的水声信号分类方法，没有形成针对不同种类环境声事件进行分类识别的声事件分类识别模型，也没有形成集成多模块的声事件检测平台。

4、在现有的技术中，集成多模块的多功能检测平台多为利用传统机器学习或改进深度学习算法的声事件检测平台或基于脑电响应的情绪、视觉检测平台，少有项目将脑电响应与深度学习结合用于声事件检测并集成为检测平台。

技术实现思路

1、由于现有技术中，利用以信号特征提取和传统机器学习方法为主的检测方法在低信噪比条件下性能较差、难以识别背景噪声与目标环境声事件，且将脑电信号与深度学习结合运用于声事件分类检测方向的研究较少，本发明结合人脑的强大“滤波”特性以及深度学习方法的强大特征提取能力和鲁棒性，建立了一种集成听觉刺激、脑电信号采集、数据预处理以及深度学习网络模型，提出基于脑电响应与深度学习模型的声事件检测方法及检测平台。

2、为实现上述目的，本发明所提供的技术解决方案是：

3、基于脑电响应与深度学习的声事件检测方法，其特征在于，包括训练模式和识别模式；

4、所述训练模式包括以下步骤：

5、步骤1：通过听觉刺激模块，播放不同种类的环境声事件音频，产生脑电信号；

6、步骤2：将步骤1产生的脑电信号，在处理器上显示为脑电信号波形图，并导出含有原始脑电信号数据信息的csv文件；

7、步骤3：对步骤2导出的含有原始脑电信号数据信息的csv文件进行预处理及特征提取，包括以下子步骤：

8、步骤3.1:使用低通滤波器模拟低通滤波，获得剔除噪声信号的脑电信号：

9、x1＝filter(x0) (1)

10、其中，x0为原始脑电信号，x1为低通滤波后得到的脑电信号；

11、步骤3.2:以刺激之前100-200ms的脑电信号的平均值作为基线信号，用刺激之后3s的脑电信号减去基线信号，得到去除基线干扰后的信号，从而将所有分段信号的基准校正到同一水平：

12、x2＝detrend(x1) (2)

13、其中，x2为去除基线干扰后的信号；

14、步骤3.3:对经过低通滤波后的得到的脑电信号利用独立成分分析剔除各类型伪迹，得到相对纯净的脑电信号：

15、x3＝pop_runica(x2) (3)

16、其中，x3为去除伪迹后得到的脑电信号；

17、步骤3.4:对步骤3.3处理后的脑电信号进行小波变换分析，得到初步提取后的脑电信号特征：

18、x4＝wt(x3) (4)

19、其中，x4为初步提取得到的脑电信号特征；

20、步骤4：利用多种深度学习神经网络对步骤3中初步提取得到的脑电信号特征进行训练，根据不同的脑电信号数据，得到当前数据识别准确率最高的分类识别模型，；所述识别模式包括以下步骤：

21、步骤5：利用步骤1中所采用的环境声事件音频再次刺激大脑产生脑电信号，并导出含有脑电信号数据的csv文件，将此csv文件作为权重文件并将文件名命名为如recognize-test-model-mm1，在训练模型选择处选择训练模式下识别准确率最高的模型；

22、步骤6：对步骤5中的权重文件进行识别，最终加载出识别结果。

23、进一步的，所述步骤1中，在训练模式下，包含听觉刺激、数据预处理、神经网络模型三个模块，通过依次进行听觉刺激、数据预处理和神经网络模型训练，实现脑电信号数据生成和脑电信号数据预处理，最终得到识别准确率最高的声事件分类检测模型。

24、进一步的，所述步骤1中，所述步骤4中，选择多种神经网络模型，对初步提取的脑电信号特征训练，利用初步提取的脑电信号特征x4作为输入进行分析，得到多组数据，并进行对比，最后选择识别准确率最高的的神经网络模型用于识别阶段。

25、进一步的，包括人机交互界面和数据处理模块，其中人机交互界面包括数据信息显示界面和脑电信号显示界面，数据处理模块包括听觉刺激模块、预处理模块、深度学习模块、网络选取模块、权重文件模块和结果显示模块。

26、进一步的，所述数据信息显示界面用于显示模型信息及csv信息，脑电信号显示界面用于显示脑电信号流程图。

27、进一步的，所述听觉刺激模块、预处理模块和深度学习模块在训练模式下使用，其中听觉刺激模块用于播放选取的音频，预处理模块用于预处理数据以及初步特征提取。

28、进一步的，所述深度学习模块用于训练、特征提取，对比得到最优模型。

29、进一步的，所述网络选取模块用于选取最优识别模型。

30、进一步的，所述权重文件模块用于放置csv文件。

31、进一步的，所述结果显示模块用于显示分类、识别及检测结果。

32、有益效果

33、本发明的优点是：

34、1.本发明创新性地将脑电信号与深度学习进行结合，应用于环境声事件检测研究，使得分类识别模型相较于传统模型具有较强的鲁棒性，大大提高了环境声事件检测分类识别的准确性和精度。

35、2.本发明创新性地将环境声听觉刺激模块、脑电信号采集模块、数据预处理模块以及深度学习神经网络模型模块集成在一起，构建了环境声事件检测平台，而之前的现有技术多为利用传统机器学习或改进深度学习算法的声事件检测平台或基于脑电响应的情绪、视觉检测平台，很少将脑电响应与深度学习结合用于声事件检测并集成为检测平台。

36、3.本发明将脑电信号与声事件检测进行了关联，后续可将其用于脑机接口领域，即利用脑电响应将大脑活动转化为控制指令，可实现对声音事件的检测、分类、个性化识别并实现脑机交互对机器人、推进器设备进行控制。

37、4.采用本发明的方法进行检测后，参见图3，为在声事件分类模型的深度学习网络模块使用resnet-18和resnet-34网络对声事件进行分类识别的准确率，其中01-08为8位被试的序号，resnet-18和resnet-34分别为深度为18层和34层的残差神经网络，由图可以看出使用基于脑电信号和深度学习网络的声事件分类识别模型，环境声事件检测分类识别的准确性较高。