脑纹识别方法、装置、电子设备和存储介质与流程

1.本技术属于新一代信息技术领域，特别涉及一种脑纹识别方法、装置、电子设备和存储介质。


背景技术：

2.在当今信息全球化的世界，保证个人信息安全也变得尤为重要，这导致了对身份识别技术的需求。如今的身份识别，往往是采用指纹、虹膜或者人脸识别来完成的并且拥有较高的识别准确率，已经被广泛地用于日常生活中。但这些生物信息技术的问题在于：它们容易被窃取，用户经常不经意之间就泄露了自己的身份信息，因此技术安全性得不到有效的保证。由于采集eeg(electro encephalo gram，脑电图)信号需要专业的采集器和信号放大器，使得窃取eeg变得尤为困难。因此，基于eeg的脑纹识别方法具有独一无二的安全性。
3.相关脑纹识别技术主要包括基于图论的eeg身份识别方法。该方法将一个通道作为图模型的一个节点，通过plv(phase locking value，相锁值)特征来计算图的邻接矩阵，然后使用gcnn(graph convolution neural network，图卷积神经网络)提取图特征，最后通过全连接层来实现身份识别。这种方法主要考虑的是eeg的空域特征，忽略了时域上的信息，无法提取到eeg高维稳定特征，因此在跨状态下的识别准确率不高。


技术实现要素：

4.为了至少解决上述问题中提到的对用户身份识别准确率不高的问题，本技术实施例提供了一种脑纹识别方法、装置、电子设备和存储介质。
5.第一方面，本技术提供了一种脑纹识别方法，其包括：
6.获取目标用户的多导联脑电信号；
7.将多导联脑电信号切割为多个切片信号；
8.提取针对多个切片信号的融合有时域信息和空域信息的融合特征，并对融合特征进行识别，得到目标用户的身份识别结果。
9.第二方面，本技术提供了一种脑纹识别装置，其包括：
10.脑电信号获取模块，用于获取目标用户的多导联脑电信号；
11.切片信号获取模块，用于将多导联脑电信号切割为多个切片信号；
12.身份识别得到模块，用于提取针对多个切片信号的融合有时域信息和空域信息的融合特征，并对融合特征进行识别，得到目标用户的身份识别结果。
13.第三方面，本技术实施例提供了一种电子设备，其包括：
14.存储器和处理器；处理器与存储器连接，被配置为基于存储在存储器中的指令，执行上述脑纹识别方法。
15.第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的脑纹识别方法。
16.本技术实施例提供的技术方案带来的有益效果是：
17.获取目标用户的多导联脑电信号，将多导联脑电信号切割为多个切片信号，提取针对多个切片信号的融合有时域信息和空域信息的融合特征，并对融合特征进行识别，得到目标用户的身份识别结果。由于脑电信号在时间和空间维度上具有丰富信息的特点，针对脑电信号，提取融合有时域信息和空域信息的融合特征，并对融合特征进行识别，使得在对脑电信号进行识别时，既考虑到了时域维度上的信息，又考虑到了空间维度上的信息，进而能够获得脑电信号高阶稳定的特征，从而实现同种状态和不同状态下的目标用户的身份识别，提高了在跨状态下的识别准确率。
附图说明
18.图1为本技术实施例提供的一种脑纹识别方法的流程示意图；
19.图2为本技术实施例提供的一种全脑区64个通道的分布示意图；
20.图3为本技术实施例提供的另一种脑纹识别方法的流程示意图；
21.图4为本技术实施例提供的一种编码块内部算法流程示意图；
22.图5为本技术实施例提供的一种多头注意力模块内部算法流程示意图；
23.图6为本技术实施例提供的一种脑纹识别装置的结构示意图。
具体实施方式
24.下面将参考附图并结合实施例来详细说明本技术。
25.参见图1-图5，本技术实施例提供了一种脑纹识别方法，其包括：
26.步骤101，获取目标用户的多导联脑电信号。
27.通常是通过目标用户佩戴脑机来获取。脑机的使用方式可以是贴覆式，还可以是头戴式脑机，本实施例对此不进行限定。脑机是多通道的，此时采集到的脑电信号可以称为多导联脑电信号。脑机中电极的数量为多个，如大于等于3个，具体地，可以为64个，参见图2所示。多个电极与多通道一一对应。
28.在采集信号的过程中，会遇到很多干扰信号，为了降低干扰信号的影响，对采集的信号进行预处理以去除伪迹，预处理后的信号用于目标用户的身份识别。预处理包括：降采样、滤波、ica(independent components analysis，独立成分分析)中的一种或几种。降采样处理所选取的频率可以是200hz，滤波处理所选取的带通滤波器的频带可以为0.5-42hz。本实施例不对预处理的具体处理过程进行限定，在其他的实施例中，还可以为其他数值或者包括其他不同于上述的处理过程。
29.步骤102，将多导联脑电信号切割为多个切片信号。
30.通常获取的脑电信号时间长度较长，为了便于准确分析和降低计算开销，沿时间轴线按照预设时长对脑电信号进行切片(或称切割)，得到多个切片信号。相邻的两个切片信号之间可以不重叠，也可以重叠一部分，即有交集，本实施例对此不进行限定。此处的多个切片信号与多导联脑电信号一一对应。
31.步骤103，提取针对多个切片信号的融合有时域信息和空域信息的融合特征，并对融合特征进行识别，得到目标用户的身份识别结果。
32.由于脑电信号在时间和空间维度上具有丰富信息的特点，因此针对多个切片信号
进行时域信息和空域信息特征提取，得到融合有时域信息和空域信息的融合特征，然后对该融合特征进行识别，得到识别结果，如此可以提高识别准确率。
33.具体地，预设有多模态特征融合模型和身份识别分类器，将多个切片信号输入至多模态特征融合模型，得到融合有时域信息和空域信息的融合特征，然后利用身份识别分类器对融合特征进行识别，得到身份识别结果。
34.多模态特征融合模型包括：时域编码器和空域编码器，则步骤103将多个切片信号输入至预设的多模态特征融合模型，得到融合有时域信息和空域信息的融合特征，包括：
35.利用时域编码器在时域上对多个切片信号进行自注意力计算，得到多段时域特征，为多段时域特征分别添加位置编码，得到具有位置标记的多段时域特征段，利用空域编码器在空域上对具有位置标记的多段时域特征段进行自注意力计算，得到多段空域特征，对多段空域特征进行降维，得到融合特征以利用身份识别分类器对融合特征进行识别。在进行自注意力计算过程中，会丢失位置信息，因此先由时域编码器进行自注意力计算，然后通过添加位置编码的方式，将在时域编码器计算过程中丢失的位置信息添加进来，再由空域编码器进行自注意力计算，如此使得得到的融合特征既含有时域信息，又含有空域信息，实现了能够有效得到融合特征。
36.时域编码器进行自注意力计算的过程可以如下：利用时域编码器对多个切片信号进行多头注意力计算，得到时域自注意力输出结果，对时域自注意力输出结果依次进行残差连接和层归一化，得到时域隐藏状态，对时域隐藏状态进行多层感知计算，得到时域感知输出结果，对时域感知输出结果依次进行残差连接和层归一化，得到多段时域特征。通过对多个切片信号进行多头注意力计算，使得多段时域特征能够更好地表示多个切片信号的时域信息，有利于提高识别的准确性。
37.添加位置编码的过程可以如下：对多段时域特征进行转置，得到转置后的多段时域特征，然后再进行添加位置编码，得到具有位置标记的多段时域特征段。多导联脑电信号的维度为c
×
t，其中c表示通道数，t表示时间采样点个数，时域编码器的自注意力计算一般是在最后一个维度上进行，因此在进行了自注意力计算之后，需要转置为t
×
c，使得可以在空域上计算自注意力。
38.空域编码器进行自注意力计算的过程可以如下：利用空域编码器对具有位置标记的多段时域特征段进行多头注意力计算，得到空域自注意力输出结果，对空域自注意力输出结果依次进行残差连接和层归一化，得到空域隐藏状态，对空域隐藏状态进行多层感知计算，得到空域感知输出结果，对空域感知输出结果依次进行残差连接和层归一化，得到多段空域特征。通过对具有位置标记的多段时域特征段进行多头注意力计算，使得多段空域特征能够更好地表示多个时域特征的空域信息，有利于提高识别的准确性。
39.在使用多模态特征融合模型和身份识别分类器之前，通过对其进行训练使之收敛，达到预设的识别要求。在训练过程中可以使用adamw梯度下降优化算法进行训练。学习率为余弦函数式下降。本实施例不对优化算法的种类进行限定。
40.具体地，获取样本数据，其包括多个用户各自在多种状态下分别对应的脑电信号，以及多个用户各自在多种状态下分别对应的脑电信号的身份标识。
41.利用transformer模型，构建依次连接的初始特征融合模型和全分类层，初始特征融合模型包括用于在时域上进行自注意力计算的第一transformer编码器和在空域上进行
自注意力计算的第二transformer编码器，第一transformer编码器和第二transformer编码器均包括依次连接的多头注意力模块、第一归一化层、多层感知机和第二归一化层。通过第一transformer编码器和第二transformer编码器各自对应的自注意力的计算，能够将模型的注意力集中在计算域中具有较高影响力的变量上，例如：在空域上进行自注意力计算就可以突出对身份识别更重要的通道的作用。
42.利用样本数据对transformer模型进行训练，直至经初始特征融合模型中第一transformer编码器和第二transformer编码器处理后得到的融合特征使全分类层收敛，以将全分类层收敛条件下的第一transformer编码器确定为时域编码器，第二transformer编码器确定为空域编码器，将全分类层确定为身份识别分类器。
43.第一transformer编码器采用若干个编码块(或称transformer编码块)对脑电信号的时域信息进行建模，其能够考虑脑电信号时域上的长距离依赖性。接收到输入后，在编码块中计算自注意力，以计算不同采样点之间的相似性，并加权求和得到结果，该结果可以是时域编码器的中间变量，此时编码块的数量为多个，还可以是时域编码器的输出结果，此时编码块的数量为一个。
44.自注意力的计算采用公式(1)，具体如下：
[0045][0046]
其中，q、k、v都是表示对输入(即脑电信号)进行线性变换后得到的矩阵，分别是查询线性变换矩阵、键值线性变换矩阵和值线性变换矩阵，dk是放缩因子。需要说明的是：向量之间的点积结果越大，表示这两个向量之间越相似，也可以说越相关。q矩阵与k矩阵进行点积计算相似性，得出一个权重系数，与v矩阵相乘就是加权求和。
[0047]
为了增强自注意力算法，对该输入计算多个自注意力来获得更好的特征表示，即采用多头注意力机制。参见图4，对于每一个编码块，其包含多头注意力模块(或称多头注意力机制)、第一归一化层、多层感知机模块(或称多层感知机)和第二归一化层。多头注意力模块和多层感知机模块都采用了残差连接，并且使用层归一化来提高模型的训练速度和鲁棒性，层归一化是对某一层的所有神经元进行归一化，即多头注意力模块的输出经第一归一化层处理后，输入至多层感知机模块，多层感知机模块的输出经第二归一化层处理后，作为编码块的输出。在本实施例中，就是在c
×
t所有c
·
t个值上进行归一化。
[0048]
编码块的计算可以采用公式(2)、公式(3)和公式(4)，具体如下：
[0049][0050][0051]
l＝1,2,...,l(4)
[0052]
式中，ln(layer normalization)表示进行了层归一化。mha(multi-head attention)表示多头注意力计算。l表示编码块的个数(或称进行mha的次数，即进行了l次多头注意力计算)。h
l
和z
l
都表示与第l次mha对应的中间变量。z
l
表示时域编码器的输出结果。表示时域编码器的输入。t(temporal)表示时域，上标t表示在时域维度上计算了多头注意力。当编码块数量为多个时，多个编码块依次连接，多个编码块可以分别称为：首位编
码块、第二编码块、第三编码块、
……
、末位编码块。当前编码块的输入是上一个编码块的输出，当前编码块的输出是下一个编码块的输入。
[0053]
参见图5，对于某次mha，将若干个自注意力单元的计算结果进行拼接，得到该次mha的输出结果，拼接后，在得到输出结果之前，再经过线性变化层处理。关于自注意力的计算可参见上述公式(1)。自注意力单元之间的线性变换矩阵不同。
[0054]
时域编码器的输入是t个1
×
c的张量，即对t个1
×
c的张量进行自注意力的计算，t为采样点的个数。当采样频率为200hz时，采样周期为1s，采样点个数则为200个，即t＝200。c表示电极(或称通道)的数量。1
×
c表示与同一采样点对应的c个通道的值。在实际应用中，通常采用矩阵运算。
[0055]
与第一transformer编码器类似，在第二transformer编码器中同样采用注意力机制来对不同通道之间的空间信息进行建模。由于自注意力机制的计算方式会丢失掉绝对位置信息，因此增加了基于通道的位置编码，提供空间信息，优化了模型的学习过程。具体地，为了保留空间上的位置信息，在空域编码器中添加了空域的位置编码，采用的公式(5)具体如下：
[0056][0057]
其中，tran代表的是转置操作，表示第一transformer编码器的输出结果，代表的是位置编码。r表示实数域，c是通道数，t是时间采样点数，c
×
t表示了位置编码的形状。脑电信号的维度为c
×
t，注意力计算一般是在最后一个维度上进行，所以在进行了时域自注意力计算之后，需要转置为t
×
c，以在空域上计算自注意力。表示加入了空间位置信息后的中间变量。在本实施例中，采用三角函数绝对位置编码方法，在其他的实施例中，还可以其他编码方法，本实施例对此不进行限定。
[0058]
位置编码所采用的公式如下：
[0059][0060]
其中，pos(position)表示为该通道向量(即1
×
t)在通道中的位置(即是第几个通道)，例如通道总数为c，则pos＝0,1,...,c-1。dmodel就是向量的长度，为t，共有t个元素。需要说明的是：2i和(2i+1)分别为位置编码向量的偶数索引值和奇数索引值，即向量中的第几个元素，0≤i《d
model
/2。
[0061]
在第二transformer编码器中，采用与第一transformer编码器中相似的结构来学习eeg的不同通道上的空域信息，其计算所使用的公式(7)、公式(8)和公式(9)具体如下：
[0062][0063][0064]
l＝1,2,...,l(9)
[0065]
式中，s(spatial)表示空域，上标s表示了在空间维度上计算了多头注意力。l表示第二transformer编码器的编码块的个数(或称进行mha的次数，即进行了l次多头注意力计算)。h
l
和z
l
都表示与第l次mha对应的中间变量。z
l
表示第二transformer编码器的输出结
果。表示第二transformer编码器的输入。
[0066]
第二transformer编码器的输入是c个1
×
t的张量，即对c个1
×
t的张量进行自注意力的计算。1
×
t表示与同一通道对应的t个采样点的值。在实际应用中，通常采用矩阵运算。
[0067]
在分类前，对第二transformer编码器的输出进行降维处理(或称展平操作)，即将c个1
×
t的向量展平为一个1
×c·
t的向量，然后输入至全分类层。为了融合(representation)所学习到的全局信息并用于分类，在本实施例中选用了全连接层分类器。具体地采用了一个简单的仅有一层的全连接层来得到最后的分类输出。在对本全连接层进行优化时，可以采用交叉熵损失函数，其公式(10)，具体如下：
[0068][0069]
其中，n指的是训练批次大小数，c指的是类别数，该类别数通常是指样本数据中用户的数量，例如样本数据来自于109个用户，则类别数为109。是真实的标签(即真实的身份)，是对应类别的预测概率(即预测的身份)。训练过程中，通过需要将样本数据划分为多批进行训练。通过训练使全分类层收敛，将全分类层收敛条件下的第一transformer编码器确定为时域编码器，第二transformer编码器确定为空域编码器，将全分类层确定为身份识别分类器。图3中示意出了采用第一transformer编码器作为时域编码器和第二transformer编码器作为空域编码器对多导联脑电信号进行身份识别的过程。图中，c表示通道数量，tx表示t个时间采样点，lx表示l个编码块，c
×
表示c个通道。下面对图3所示意的识别过程进行详细说明：
[0070]
获得原始eeg信号，对信号进行切割，得到切片信号，该信号可以用cxt表示。然后对切片信号进行预处理，得到预处理信号，此时该信号仍可以用cxt表示，也可以用t个1xc的张量表示。将该预处理信号输入至由l个编码块(或称transformer编码块)构成的第一transformer编码器中，得到多段时域特征，对该多段时域特征进行转置操作，得到转置后的特征，其可以用c个1xt的张量表示，对转置操作后的特征添加位置编码，得到具有位置标记的多段时域特征段，然后将其输入至由l个编码块(或称transformer编码块)构成的第二transformer编码器中，得到多段空域特征，对该多段空域特征进行展平操作得到融合特征。对融合特征进行识别，得到目标用户的身份。在本实施例中，第一transformer编码器和第二transformer编码器所包含的编码块数量相同，在其他的实施例中，两者所包含的编码块数量也可以不相同，本实施例对此不进行限定。
[0071]
表一中展示了不同模型在相同状态eeg数据下训练和测试的身份识别准确率，表二展示了在不同模型在一种状态eeg数据下训练，在不同状态eeg数据下测试的身份识别的准确率，通过表中数据可以得知：无论是哪一种情况，本实施例提供的方法均达到了较高的识别准确率。
[0072]
表一
[0073]
方法eoecphyimaplv+gcnn99.97
±
0.0399.88
±
0.0399.99
±
0.02100.00
±
0.00本方法100.00
±
0.0099.96
±
0.0699.97
±
0.01100.00
±
0.00
[0074]
表二
[0075]
方法phyimaplv+gcnn85.40
±
1.6287.03
±
2.53本方法97.29
±
0.0397.45
±
0.13
[0076]
表中，eo(eyes open)表示眼睛张开时的静息态脑电；
[0077]
ec(eyes close)表示眼睛闭上的静息态脑电；
[0078]
phy(physical motion)表示被试在实际运动的时候的脑电；
[0079]
ima(motion imagination)表示被试在想象自己运动时候的脑电；
[0080]
plv+gcnn为基于图论的eeg身份识别方法。
[0081]
通过获取用户的多导联脑电信号，采用通过时间自主注力机制与通道自注意力机制构建的transformer模型对多导联脑电信号进行识别，得到用户的身份识别结果，使得在对脑电信号进行识别时，既考虑到了时域维度上的信息，又考虑到了空间维度上的信息，进而能够获得脑电信号高阶稳定的特征，从而实现同种状态和不同状态下的目标用户的身份识别，提高了在跨状态下的识别准确率。
[0082]
参见图6，本技术实施例提供了一种脑纹识别装置，其用于执行上述实施例中的脑纹识别方法。该脑纹识别装置包括：脑电信号获取模块201、切片信号获取模块202和身份识别得到模块203。
[0083]
其中，脑电信号获取模块201用于获取目标用户的多导联脑电信号。切片信号获取模块202用于将多导联脑电信号切割为多个切片信号。身份识别得到模块203用于提取针对多个切片信号的融合有时域信息和空域信息的融合特征，并对融合特征进行识别，得到目标用户的身份识别结果。
[0084]
可选地，身份识别得到模块203包括：融合特征确定单元和身份识别得到单元。融合特征确定单元用于将多个切片信号输入至预设的多模态特征融合模型，得到融合有时域信息和空域信息的融合特征。身份识别得到单元用于利用预设的身份识别分类器对融合特征进行识别，得到身份识别结果。
[0085]
可选地，融合特征确定单元包括：时域特征确定子单元、位置特征添加子单元、空域特征确定子单元和融合特征确定子单元。时域特征确定子单元用于利用多模态特征融合模型的时域编码器在时域上对多个切片信号进行自注意力计算，得到多段时域特征。位置特征添加子单元用于为多段时域特征分别添加位置编码，得到具有位置标记的多段时域特征段。空域特征确定子单元用于利用多模态特征融合模型的空域编码器在空域上对具有位置标记的多段时域特征段进行自注意力计算，得到多段空域特征。融合特征确定子单元用于对多段空域特征进行降维，得到融合特征以利用身份识别分类器对融合特征进行识别。
[0086]
可选地，时域特征确定子单元用于：利用时域编码器对多个切片信号进行多头注意力计算，得到时域自注意力输出结果，对时域自注意力输出结果依次进行残差连接和层归一化，得到时域隐藏状态，对时域隐藏状态进行多层感知计算，得到时域感知输出结果，对时域感知输出结果依次进行残差连接和层归一化，得到多段时域特征。
[0087]
可选地，融合特征确定单元在将多个切片信号输入至预设的多模态特征融合模型之前，还包括：样本获取子单元、模型构建子单元和模型训练子单元。样本获取子单元用于获取样本数据，样本数据包括多个用户各自在多种状态下分别对应的脑电信号，以及多个
用户各自在多种状态下分别对应的脑电信号的身份标识。模型构建子单元用于利用transformer模型，构建依次连接的初始特征融合模型和全分类层，初始特征融合模型包括用于在时域上进行自注意力计算的第一transformer编码器和在空域上进行自注意力计算的第二transformer编码器，第一transformer编码器和第二transformer编码器均包括依次连接的多头注意力模块、第一归一化层、多层感知机和第二归一化层。模型训练子单元用于利用样本数据对transformer模型进行训练，直至经初始特征融合模型中第一transformer编码器和第二transformer编码器处理后得到的融合特征使全分类层收敛，以将全分类层收敛条件下的第一transformer编码器确定为时域编码器，第二transformer编码器确定为空域编码器，将全分类层确定为身份识别分类器。
[0088]
可选地，切片信号获取模块202包括：信号预处理单元和信号切片单元。信号预处理单元用于对多导联脑电信号进出预处理，得到多导联预处理信号。信号切片单元用于对多导联预处理信号进行切片，得到多个切片信号。
[0089]
需要说明的是：上述实施例提供的脑纹识别装置在脑纹识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的脑纹识别装置与脑纹识别方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再一一赘述。
[0090]
本技术一实施例提供了一种电子设备，其包括：存储器和处理器。处理器与存储器连接，被配置为基于存储在存储器中的指令，执行上述脑纹识别方法。处理器的数量可以为一个或多个，处理器可以是单核或多核。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器可以是下述的计算机可读介质的示例。
[0091]
本技术一实施例提供了一种计算机可读存储介质，其上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述脑纹识别方法。计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘-只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0092]
由技术常识可知，本技术可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本技术范围内或在等同于本技术的范围内的改变均被本技术包含。