一种RSVP弱隐目标诱发脑电识别方法、装置及存储介质

本发明涉及基于事件相关电位(event-related potential，erp)的脑电识别领域，尤其是涉及一种基于多频带任务相关成分匹配的rsvp弱隐目标诱发脑电识别方法、装置及存储介质。

背景技术：

1、基于计算机视觉的目标检测技术在警务系统的摄像头画面监控、无人自动驾驶的环境辨别、无人机的高空侦察、卫星拍摄的情报分析等高精度快速反应领域有着广泛应用。目前，基于深度学习的目标检测算法在目标识别精度和速度方面有着较强的优势。然而，对一些突发状况下具有复杂背景的、弱小且相似的目标与非目标(即弱隐目标与非目标)，仍然是计算机视觉处理的短板。所以通过结合计算机与人脑的混合智能脑机接口，利用计算机的高效计算和数据分析能力处理海量的背景环境噪声较小的易区分目标，同时利用人脑的高精度分析与理解能力处理弱隐目标，形成计算机与人脑的优势互补，从而实现目标检测领域的全覆盖。其中，基于快速序列视觉呈现(rapid serial visual presentation，rsvp)实验范式的脑机接口技术是实现目标搜索任务的最常用技术，通过对脑电信号的快速解码实现对目标快速准确检测与反应。

2、现有的rsvp诱发脑电信号的解码算法有贝叶斯线性判别分析(bayesian lineardiscriminant analysis，blda)、滤波器组典型相关分析(filter bank canonicalcorrelation analysis，fbcca)、判别典型模式匹配(discriminative canonical patternmatching，dcpm)等基于人工制作特征的算法，主要特点为训练时间较短，但识别精度相对较低，也有基于脑电的神经网络(electroencephalography-based network，eegnet)、基于深度学习的卷积神经网络(deep learning with convolutional neural networks，deepconvnet)、滤波器组卷积神经网络(filter-bank convolutional network，fbcnet)等神经网络算法，主要特点为训练时间较长，但识别精度相对较高。这些算法能够有效辨别背景噪声小且特征较为明显的目标与非目标，却对背景噪声大且相似的目标与非目标不能有效辨别，也很难平衡训练时间与识别精度的关系。

技术实现思路

1、本发明的目的就是为了提供一种基于多频带任务相关成分匹配的rsvp弱隐目标诱发脑电识别方法、装置及存储介质，先通过带通滤波器将脑电信号分解到不同频带上，然后通过任务相关成分分析获取不同频带分量的空间滤波器，再通过集成的空间滤波器组分别获取目标与非目标脑电在不同频带分量的模板并组合，最后进行二维相关性计算进行测试样本识别，通过利用不同频带的任务相关成分有效提高弱隐目标诱发脑电的识别精度和识别速度。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于多频带任务相关成分匹配的rsvp弱隐目标诱发脑电识别方法，包括以下步骤：

4、步骤1)模板生成：

5、步骤1-1)使用nf个带通滤波器分别对rsvp弱隐目标诱发的训练脑电数据xp,p＝{1,2}进行频带分解，得到xp,p＝{1,2}的nf个频带分量其中，nf≥2，p＝1代表目标数据，p＝2代表非目标数据；其中，表示预处理后的训练脑电数据样本集，当p＝1时，即x1表示预处理后的目标脑电数据样本集；当p＝2时，即x2表示预处理后非目标脑电数据样本集；表示单样本测试脑电数据。nc表示通道数、nt表示采样点数和ns表示样本数。

6、步骤1-2)通过任务相关成分分析对xp,p＝{1,2}的频带分量中的每一个频带分量进行计算，得到xp,p＝{1,2}的nf个空间滤波器并通过线性重组一生成nf个空间滤波器组

7、步骤1-3)使用空间滤波器组对进行空间滤波一，得到nf个模板并通过线性重组二生成xp,p＝{1,2}的组合模板tempp,p＝{1,2}；

8、步骤2)模板匹配：

9、步骤2-1)使用nf个带通滤波器对rsvp弱隐目标诱发的测试脑电数据样本y进行频带分解运算，得到y的nf个频带分量

10、步骤2-2)使用空间滤波器组对y的频带分量进行空间滤波二，得到y的nf个模板并通过线性重组三生成测试脑电数据的组合模板tempy；

11、步骤2-3)对组合模板tempp,p＝{1,2}与tempy计算二维相关系数rp,p＝{1,2}，即分别计算目标数据模板temp1与测试数据模板tempy的二维相关系数r1，以及非目标数据模板temp2与测试数据模板tempy的二维相关系数r2，如果r1大于r2，则判定测试脑电数据属于目标脑电数据，否则，判定测试脑电数据属于非目标脑电数据，完成测试数据识别。

12、所述步骤1-1)具体为：

13、设ff表示所述的带通滤波器中的第f个滤波器，ff的分子系数为bf和分母系数为af；设表示训练脑电数据xp,p＝{1,2}的第f个频带分量，nc表示通道数，nt表示采样点数，ns表示样本数；则目标、非目标脑电数据的单个频带分量单个样本的单个通道的频带分解的计算公式为：

14、

15、式中，p＝{1,2},f＝{1,2,…,nf},s＝{1,2,…,ns}，表示训练脑电数据xp,p＝{1,2}的第f个频带分量的第s个样本的第c个通道中的第n个元素；表示训练脑电数据xp,p＝{1,2}的第s个样本的第c个通道中的第n-k个元素；表示训练脑电数据xp,p＝{1,2}的第f个频带分量的第s个样本的第c个通道中的第n-l个元素；na是反馈滤波器阶数，nb是前馈滤波器阶数，为所述分子系数bf的第k个元素，为所述分母系数af的第l个元素；

16、依次用所述的带通滤波器对xp,p＝{1,2}中的目标与非目标脑电数据的每个样本的每个通道进行频带分解，得到xp,p＝{1,2}的nf个频带分量即x1的nf个频带分量和x2的nf个频带分量

17、所述步骤1-2)中的任务相关成分分析的过程为：

18、确定训练脑电数据的频带分量中的第p类样本的第f个频带分量的第s1和s2个样本之间的协方差之和以及样本间任务相关成分的线性模型的方差var(temp(p,f))收敛的约束解：

19、

20、式中，s1、s2表示大于等于1且小于等于ns的正整数，c1、c2表示大于等于1且小于等于nc的正整数，分别表示band(p,f)中的第s1、s2个样本；分别表示所述band(p,f)中第s1样本中第c1个通道分量的第n个元素、第s2样本中第c2通道分量的第n个元素；n表示所述采样点数nt中的第n个点；分别为band(p,f)中所有样本的第c1个通道分量的第n个元素、第c2通道分量的第n个元素；表示所述中第f个空间滤波器w(p,f)的一个解，为的转置矩阵；表示中的第c1、c2个子元素；s为同一类同一频带分量的样本间协方差矩阵；q为同一类同一频带分量的样本导联间协方差矩阵；

21、则第f个空间滤波器w(p,f)的最优解表示为：

22、

23、w(p,f)即为q-1s的特征值降序排列所对应的特征向量；

24、重复上述过程，得到xp,p＝{1,2}的nf个空间滤波器

25、所述步骤1-2)中通过线性重组一生成nf个空间滤波器组的方法为：

26、wf＝[w(1,f),w(2,f)]

27、式中，f＝{1,2,…,nf}；w(1,f)为目标脑电数据的第f个频带分量的空间滤波器，w(2,f)为非目标脑电数据的第f个频带分量的空间滤波器，wf为所述空间滤波器组中的第f个滤波器。

28、所述步骤1-3)中的空间滤波一的过程为：

29、使用空间滤波器组与训练脑电数据的频带分量中的每一个样本进行矩阵计算后求平均，公式如下：

30、

31、式中，temp(p,f)为所述模板中的第f个模板，band(p,f,s)为所述band(p,f)中的第s个样本；wf′为所述中的第f个滤波器wf的转置矩阵。

32、所述步骤1-3)中通过线性重组二生成xp,p＝{1,2}的组合模板tempp,p＝{1,2}的方法为：

33、

34、所述步骤2-1)中的频带分解运算的过程为：

35、使用步骤1-1)中所述的带通滤波器对所述测试脑电数据样本y进行矩阵运算，y的单个频带分量的单个通道的频带分解的计算公式为：

36、

37、式中，f＝{1,2,…,nf}；表示测试脑电数据y的第f个频带分量的第c个通道中的第n个元素；yc(n-k)表示测试脑电数据y的第c个通道中的第n-k个元素；表示测试脑电数据y的第f个频带分量的第c个通道中的第n-l个元素；na是反馈滤波器阶数，nb是前馈滤波器阶数，为所述分子系数bf的第k个元素，为所述分母系数af的第l个元素。

38、依次用所述的带通滤波器对测试脑电数据y的每个通道进行频带分解，最终得到y的f个频带分量

39、所述步骤2-2)中的空间滤波二的过程为：

40、对空间滤波器组与测试脑电数据的频带分量进行矩阵运算求解测试脑电数据的模板，每个频带分量的模板计算公式如下：

41、temp(y,f)＝wf′·band(y,f)

42、式中，f＝{1,2,…,nf}；temp(y,f)为所述模板中的第f个元素；wf′为所述中的第f个滤波器wf的转置矩阵；band(y,f)为所述频带分量中的第f个元素。

43、所述步骤2-2)中通过线性重组三生成测试脑电数据的组合模板tempy的方法为：

44、

45、所述步骤2-3)中对组合模板tempp,p＝{1,2}与tempy计算二维相关系数rp,p＝{1,2}的方法为：

46、

47、式中，i∈[1,2nc],j∈[1,nfnt]；为训练脑电数据的组合模板tempp中的第i行第j个元素，为所述模板tempp中的所有元素的平均；为测试脑电数据的组合模板tempy中的第i行第j个元素，为所述模板tempy中的所有元素的平均；当p＝1时，目标数据模板与测试数据模板二维相关系数为r1，当p＝2时，非目标数据模板与测试数据模板二维相关系数为r2。

48、一种基于多频带任务相关成分匹配的rsvp弱隐目标诱发脑电识别装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

49、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

50、与现有技术相比，本发明具有以下有益效果：

51、(1)本发明采用时频滤波结合时空滤波对rsvp弱隐目标与非目标提取模板，通过模板匹配方法最终实现了提高rsvp弱隐目标整体识别精度以及识别速度。

52、(2)本发明采用多频带任务相关成分提取方法，能够有效提取目标与非目标的在不同频带分量的细微差距，并通过多模板集成方法提高模型的容错性和抗干扰能力，有利于提高最终的识别精度。

53、(3)本发明采用多空间滤波器集成方式，能够在最大程度上提取相同类型数据不同试次之间的任务相关成分，同时又最大程度上增强了不同类型数据各自的特征，有利于进一步提高最终的识别精度。

54、(4)本发明有利于推动基于rsvp弱隐目标诱发脑电的识别技术的发展，完善了基于erp脑电的脑机接口系统，可用于警务系统的精确监控、无人自动驾驶的环境辨别、无人机的高空侦察，卫星拍摄的情报分析等高精度快速反应领域，具有良好的市场应用前景和社会经济效益。