一种基于对抗式卷积神经网络的事件相关电位识别方法

本发明涉及脑机接口，具体涉及一种基于对抗式卷积神经网络的事件相关电位识别方法。

背景技术：

1、脑机接口(brain-computer interface，bci)可以利用脑部信号与外部设备进行直接连接，实现脑与设备的信息交换。在不同的脑信号中，由于脑电图(electroencephalograph，eeg)信号具有较高的时间分辨率，非侵入性，廉价性，安全性等特性，目前以及被广泛研究。

2、基于eeg信号，事件相关电位(event-related potential，erp)是一种特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。为了提取eeg信号中的erp特征，将多次重复刺激片段截取进行叠加平均。由于作为erp背景的eeg波形与刺激间无固定的关系。而其中所含的erp成份在每次刺激后具有锁时特性并且结构类似，经过叠加，erp波幅与叠加次数成正比例增大。erp反映了认知过程中大脑的神经电生理的变化，也被称为认知电位，也就是指当人们对某课题进行认知加工时，从头颅表面记录到的脑电位。erp技术能够隔离在刺激、反应或其他事件后迅速展开的神经认知操作。目前许多erp成份，如p300，n170，n400等已被识别和验证为感觉、认知、情感和运动过程的度量。近年来，由于开发了相对便宜的脑电记录系统以及用于处理erp数据的商业和开源软件包，erp技术已经被研究人员所使用。尽管bci技术在各方面取的很大进展，但仍有一些问题阻碍了基于脑电的脑机接口的广泛部署和采用。例如，由于eeg信号采取非侵入式技术，信噪比较低。此外erp信号对于每个个体存在较高的特异性，并且随着时间的推移，不同个体间相同信号的差异可能逐渐变大。虽然脑电图记录和处理的某些方面已经变得相对标准化，但是许多其他实验室甚至实验室内的研究差异很大。例如，p3成分已经在数千项研究中使用古怪范式进行了测量，但任务参数，记录设置和数据处理方法在研究中差异很大。随着bci技术发展到新阶段，对稳健特征提取技术的需求只会进一步增加。

3、erp成份对于每个个体存在较高的特异性，并且随着时间的推移，不同个体间相同信号的差异可能逐渐变大。此外，个体内部随着时间推移或注意力等因素影响，不同片段的erp成份也会产生变化。传统的erp成份分析仅能反应特定因素对受试者的整体影响无法对特定时间段进行分析，影响如临床，刑侦领域的实际应用。深度学习算法可以弥补这一点不足，但是现有技术中，针对erp成份设计的网络模型不够充足，且各类模型性能对比尚存在不足，模型稳定性与准确率较为一般。模型在各种不同类型的范式适用情况、在受试者内部及跨受试者模式的模型效果研究不够全面。

技术实现思路

1、为解决上述问题，本发明提供一种基于对抗式卷积神经网络的事件相关电位识别方法，提出了一种针对各种范式条件下，受试者内部及跨受试者通用的深度学习模型。

2、为实现上述目的，本发明提供了如下的技术方案。

3、一种基于对抗式卷积神经网络的事件相关电位识别方法，包括以下步骤：

4、采集待识别的脑电图信号；

5、基于卷积神经网络构建特征提取网络；经过对抗式学习后，通过特征提取网络逐层提取脑电图信号在时间、空间和频率维度上关于事件相关电位的特征向量组；

6、构建分类器，通过分类器对事件相关电位的特征向量组进行识别，获得脑电图信号中的事件相关电位的成份类型；

7、其中，特征提取网络对抗学习时，对每次迭代所提取出的特征向量组进行聚类，计算聚类后错分样本占比，并以敌对的方式进行反向传播到特征提取网络进行学习。

8、优选地，还包括：

9、对脑电图信号经过滤波处理，并经过独立成分分析处理去除伪迹。

10、优选地，所述特征提取网络，包括依次连接的：

11、n1个卷积核大小为(1，64)的2d卷积层，用于提取不同带通频率下的脑电图信号的特征向量组；

12、n1个卷积核大小为(11，1)的2d卷积层，用于提取空间维度上的特征向量组；

13、n2个卷积核大小为(4，4)的2d卷积层，用于综合不同时刻与空间下的特征向量组；

14、深度可分离卷积层，与点态卷积层，用于对之前提取到的所有特征特征组进行总结，并合并成最佳方式输出事件相关电位的特征向量组；

15、其中，所述深度可分离卷积层为n2个，且卷积核大小为(1，1)；所述点态卷积层为n2个，且卷积核大小为(1，1)。

16、优选地，所述分类器的第一层softmax层输出100维特征点，第二层输出2维特征点。

17、优选地，还包括：

18、采用最小化分类交叉熵损失函数，通过adam优化器拟合整个网络模型；

19、通过多次训练迭代并执行验证停止，保存产生最低验证集损失的模型权重。

20、优选地，还包括：

21、通过dropout技术对整个网络模型进行优化；其中，dropout probability设置为0.20，batchsize设为32。

22、本发明的有益效果：

23、本发明提出一种基于对抗式卷积神经网络的事件相关电位识别方法，该方法提升了erp识别的精度，并且具有良好的稳定性。在受试者内部对erp成份具有良好的敏感度，跨受试者对erp成份的敏感度有所降低，减少跨受试识别erp成份的错误率。更适合当前的应用环境与实际要求。

技术特征：

1.一种基于对抗式卷积神经网络的事件相关电位识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于对抗式卷积神经网络的事件相关电位识别方法，其特征在于，还包括：

3.根据权利要求1所述的基于对抗式卷积神经网络的事件相关电位识别方法，其特征在于，所述特征提取网络，包括依次连接的：

4.根据权利要求1所述的基于对抗式卷积神经网络的事件相关电位识别方法，其特征在于，所述分类器的第一层softmax层输出100维特征点，第二层输出2维特征点。

5.根据权利要求1所述的基于对抗式卷积神经网络的事件相关电位识别方法，其特征在于，还包括：

6.根据权利要求1所述的基于对抗式卷积神经网络的事件相关电位识别方法，其特征在于，还包括：

技术总结
本发明提供一种基于对抗式卷积神经网络的事件相关电位识别方法，包括：采集待识别的脑电图信号；构建特征提取网络，包括多层卷积层；经过对抗式学习后，特征提取网络逐层提取脑电图信号在时间、空间和频率维度上关于事件相关电位的特征向量组；构建分类器，包括两层softmax层；通过分类器对事件相关电位的特征向量组进行识别，获得事件相关电位识别结果；其中，特征提取网络对抗学习时，对每次迭代所提取出的特征向量组进行聚类，计算聚类后错分样本占比，并以敌对的方式将这种损失以一定权重反向传播到特征提取网络进行学习。该方法提升了ERP识别的精度，并且具有良好的稳定性。

技术研发人员：闫佳庆,李丹,邓金钊,任国平,陈卫碧,李小俚
受保护的技术使用者：北方工业大学
技术研发日：
技术公布日：2024/1/13