基于张量化频空注意力域适应网络的跨时段脑纹识别方法

本发明属于生物特征识别领域中的脑电信号识别领域，具体涉及一种基于张量化频空注意力域适应网络的跨时段脑纹识别方法，具体是引入一个基于张量化频空注意力的多源域适应网络并提取成对源域目标域间可迁移特征和多个域之间的交互信息，从而挖掘稳定可靠的脑电身份特征进行无监督的分类。

背景技术：

1、生物特征识别依赖于个人特征，在身份认证系统中起着关键作用。尽管物理生物特征识别，如面部识别和指纹识别，已在现实生活中广泛应用，但精心伪造或秘密复制的潜在危险仍然不可避免。除物理生物特征外，脑电信号(eeg)记录的脑活动被提出作为一种新的认知生物特征，满足基本身份识别要求。此外，只有活着的个体才能提供大脑活动的信号，而这些信号不受用户的控制。这意味着用户的身份信息不能被故意泄露或窃取，使得基于脑电图的生物识别技术适用于安全性要求高的应用。

2、可靠稳定的脑电身份特征是基于脑电的生物特征识别的基础。实际上，在大量的研究中采用的是传统的机器学习方法，严重需要专业知识来提取特征，总是不足以具有良好的性能。近年来，由于深度学习能够捕获高层特征和潜在依赖关系，深度学习在解码eeg识别特征方面引起了相当大的关注。通常，各种类型的深度学习方法，如卷积神经网络(cnn)、循环神经网络(rnn)和图卷积神经网络(gcnn)被证明可以从脑电信号中获取时间、频率和空间身份鉴别特征。

3、受阻抗、电极位置微小位移和被试状态变化等因素的影响，不同会话间的脑电信号不稳定。因此，尽管取得了这些重大进展，现实世界场景下基于跨时段的生物识别仍然具有挑战性。以往的研究大多集中在时段或混合多时段数据，忽略了多个训练时段脑电数据之间的分布差异。直观地说，即使在单个源域(训练时段)和目标域(测试时段)数据之间，也不容易消除域不变表示提取的偏移，多个源域的更大程度的不匹配可能会导致不令人满意的性能。

4、为了避免多源域间域偏移的影响，脑电信号多源域自适应方法分别最小化源域和目标域之间的差异。事实上，用不同源域捕获的域不变特征代表了来自多个视图的稳定信息，并将更合适的信息传递到目标域。然而，每个分布对齐计算出的域不变特征会受到涉及的源域的影响，并且无法从多个源域的共同关系中获益。

5、针对这些问题，本发明提出一种基于张量化频空注意力域适应网络的跨时段脑纹识别方法(tsfan)来捕获跨时段稳定的eeg身份特征。具体来说，将每一对源域和目标域数据分别映射到不同的时间特征空间。然后，设计了tsfan的核心思想——基于张量的注意力，对源域和目标域的频空注意力进行张量化，得到域不变的空频特征，这些自然有助于源内可转移信息和复杂的源间交互。考虑到维数灾难，进一步采用低秩tucker格式的张量，使tsfan能够在域的数量上线性扩展。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出基于张量化频空注意力域适应网络的跨时段脑纹识别方法。该方法主要构建基于多源域适应的张量化频空注意力网络，在成对缓解源域和目标域数据分布差异的同时充分利用不同域之间的交互相关性。

2、一种基于张量化频空注意力域适应网络的跨时段脑纹识别方法，包括以下步骤：

3、步骤(1)、预处理原始脑电数据；

4、1-1在相同实验范式下，采集多名被试在不同时间段受外部刺激产生的脑电数据；

5、1-2为除去外部设备及肌电等因素的干扰，利用巴特沃兹滤波器对原始脑电数据进行滤波，再进行快速傅里叶变换(short-time fourier transform，stft)；

6、1-3截取步骤1-2处理得到的脑电数据，对相应的脑电样本数据打上所属被试的标签；

7、1-4将步骤1-3处理后得到的脑电样本数据按比例划分成训练集和测试集，其中训练集数据包含k个时段数据，即k个源域，k≥2；测试集作为目标域；

8、步骤(2)、构建基于张量化频空注意力域适应网络模型，并对其进行训练和测试；

9、基于张量化频空注意力域适应网络模型包括k个结构相同的特定域特征提取网络、1个张量化频空注意力网络，每个特定域特征提取网络包含多尺度一维卷积层、拼接层、最大池化层、融合层、频空卷积层；其中多尺度一维卷积层包括多个并行的不同尺度的一维卷积；频空卷积层包括依次串联的频域一维卷积和空间域一维卷积；

10、所述多尺度一维卷积层的输入为某个源域数据和目标域数据，其输出至拼接层；

11、所述拼接层将接收到的多个不同尺度特征进行拼接，得到源域脑纹时域特征ztsj和目标域脑纹时域特征zttj，j∈[1,k]，然后将上述特征分别输出至最大池化层和融合层；

12、所述最大池化层将接收到的特征在时间维度进行降维处理，然后输出至张量化频空注意力网络；

13、所述张量化频空注意力网络接收到k个特定域特征提取网络的最大池化层输出的特征，将上述特征进行交互处理，得到包含特征间交互相关性的源域频空注意力qsj和目标域频空注意力qtj，然后将上述注意力输出至融合层；具体是：

14、所述张量化频空注意力网络利用两个全连接层对k个特定域特征提取网络输出的特征实现非线性映射，得到源域频空注意力qsj和目标域频空注意力qtj：

15、qsj＝fbj(relu(faj(psj；vj))；uj)    公式(1)

16、qtj＝fbj(relu(faj(ptj；vj))；uj)

17、其中，faj和fbj表示第j个源域空间的两个全连接层，vj和uj表示两个全连接层的参数，relu(.)为激活函数，表示最大池化层输出的源域、目标域空间频率特征；c为原特征脑电通道数，s为原特征频域维度大小；

18、将公式(1)中全连接层参数张量化为(k+1)阶的高阶张量，c’为全连接层faj处理后特征的脑电通道数，s’为全连接层faj处理后特征的频域维度大小，以获取特征间的交互相关性，考虑到随着源域数量的增加可能会造成维度灾难，因此采用低秩的tucker形式表示高阶张量

19、

20、其中{r1...rk+1}为tucker形式的秩，i1＝i2＝...＝ik＝c′s′，ik+1＝cs；c为原特征脑电通道数，s为原特征频域维度大小；

21、所述融合层将接收到的源域脑纹时域特征ztsj和目标域脑纹时域特征zttj分别各自与源域频空注意力qsj和目标域频空注意力qtj进行融合，得到频空增强的源域脑纹时域特征zt’sj和目标域脑纹时域特征zt′tj，并输出至频空卷积层；

22、所述频空卷积层将接收到的时域特征zt’sj，zt’tj通过频域一维卷积和空间域一维卷积操作，提取得到源域时频空脑纹特征zsj和目标域时频空脑纹特征ztj；

23、步骤(3)、构建用于脑纹识别的分类器，并对其进行训练和测试；

24、将步骤2输出的时频空特征zsj,ztj展平，通过全连接层和softmax激活函数，计算样本属于每个类别的概率；

25、步骤(4)、利用训练测试好的基于张量化频空注意力域适应网络模型和用于脑纹识别的分类器实现跨时段脑纹识别。

26、作为优选，步骤1-2利用巴特沃兹滤波器对原始脑电数据进行滤波具体是将脑电数据降采样到250hz，利用巴特沃兹滤波器对原始脑电数据进行0～75hz的滤波处理。

27、作为优选，步骤1-2所述快速傅里叶变换具体是将滤波处理后的信号x进行短时傅里叶变换，以提取时频特征：

28、采用一个时间有限的窗函数h(t)，假定非平稳信号x在一个时间窗内平稳，通过窗函数h(t)在时间轴上的移动，对信号x进行逐段分析得到信号的一组局部“频谱”；信号x(τ)的短时傅里叶变换定义为：

29、

30、其中stft(t，f)表示信号x(τ)在时间t处的短时傅里叶变换，h(τ-t)为窗函数，f表示频率。

31、作为优选，所述融合层具体是：

32、

33、

34、作为优选，所述用于脑纹识别的分类器的损失函数为：

35、

36、其中θy为分类器参数，n为类别个数，θf表示特征提取器参数，表示第i类的交叉熵损失，e()表示交叉熵函数。

37、作为优选，基于张量化频空注意力域适应网络模型和用于脑纹识别的分类器对的总损失函数为：

38、

39、其中表示用于衡量分类器距离损失函数，表示用于衡量源域和目标域数据分布差异损失函数，λ和γ为超参。

40、本发明的另一个目的是提供跨时段脑纹识别装置，包括：

41、脑电数据预处理模块，用于对采集到的不同时段脑电数据进行滤波、快速傅里叶变换；

42、训练测试好的基于张量化频空注意力域适应网络模型，用于对脑电数据预处理模块输出的不同时段脑电数据进行特征提取，获取源域时频空脑纹特征zsj和目标域时频空脑纹特征ztj；

43、训练测试好的用于脑纹识别的分类器，对源域时频空脑纹特征zsj和目标域时频空脑纹特征ztj展平，通过全连接层和softmax激活函数，计算样本属于每个类别的概率，实现跨时段脑纹识别。

44、本发明的又一个目的是提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的方法。

45、本发明的再一个目的是提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述的方法。

46、本发明的有益效果是：

47、本发明提出联合捕获域不变特征的源内可迁移信息和跨源交互，以缓解全局分布对齐引起的判别能力下降，提出了一种基于张量的注意力机制，以低秩tucker格式对特定领域的注意力进行张量化，使其在多源视图之间相互作用，而不受维度灾难的影响。本发明方法有望作为脑纹识别应用在具有高度保密性质的生物识别技术。