一种基于知识蒸馏的脑电信号隐私保护方法

本发明涉及脑电信号分类领域，具体的说是一种基于知识蒸馏从深度学习模型中删除特定受试者脑电信号信息的隐私保护方法。

背景技术：

1、脑电(eeg)是一种用于记录大脑生理电信号的生理学技术。从头皮和颅内脑电图中观察到的神经活动模式来识别和预测生理和心理状态被广泛应用于情绪识别、运动想象、医疗健康等脑机接口领域。使用传统的机器学习方法手动提取的线性或非线性特征，例如自回归系数和李亚普诺指数等，这些传统的方法在严格控制的实验环境下取得了一定的成功。然而，这些手动提取的特征往往需要研究人员具备丰富的专业知识和进行大量的实验尝试。此外，在被各种伪迹影响的真实的脑电记录中，手动提取的特征往往只涵盖部分脑电信息，导致系统的鲁棒性差。

2、深度学习算法因其出色的泛化能力和强大的自动学习高效特征的能力，使得它在脑电信号分类预测中被广泛应用。目前，大多数用于脑电信号分类的深度学习方法都会先进行特征的预处理，如短时傅里叶变换、公共空间模式等。这些对原始脑电进行的预处理操作虽然可以获得更加“干净”的数据，但同时也可能会丢失一些重要的信息。近几年使用特征预处理和直接使用原始脑电信号的模型通常具有更复杂的架构和更大的核，导致需要更大的内存资源消耗及计算力。

3、目前，大多数的用于脑电信号分类的深度学习算法通常都是作为特征分类器来使用。研究者通过已有的专业知识，从脑电信号中提取时域特征，频域特征或者时频域特征，再使用深度学习算法来进行分类任务。虽然这种方法也取得了不错的分类性能，但是这种做法需要深厚的数理知识来用于提取特征，并且它忽视了深度学习算法强大的数据驱动能力。同时提取的特征虽然在某种程度上是更好的数据表示，但它也丢失了许多存在于原始多通道脑电数据中的空间关联信息和时间关联信息。也有少数使用端到端架构的深度学习算法，但是它们都没能充分的利用存在于多通道脑电信号中的空间关联信息和时间关联信息。由于诸多条件的限制，脑电信号的数据总量严重不足，这极大的限制了脑电信号的分类方法的发展。并且由于不同类别的脑电数据存在这严重的数据不平衡问题，这也使得分类方法的发展受到很大的限制。

4、近年来，人们越来关注隐私保护问题，脑电信号中包含许多可以反映人的生理和心理状态的敏感信息，当脑电信号被用于深度学习算法训练模型时，这些敏感信息会以模型参数的形式记录在模型中。这种以参数形式记录在模型中信息可以被不法分子通过‘模型逆转攻击’方法提取出来。这极大地威胁到用户的隐私安全。

技术实现思路

1、本发明为克服以上不足之处，提出一种基于知识蒸馏的脑电信号隐私保护端到端方法，旨在解决深度学习场景下的脑电信号隐私保护问题，通过构建教师——学生框架，在教师模型的监督下，得到遗忘特定用户的脑电信号信息的学生模型，从而实现对用户脑电信号的隐私保护。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于知识蒸馏的脑电信号隐私保护方法的特点在于，是按如下步骤进行：

4、步骤1、获取带有标注类别信息的k名受试者的脑电信号数据，并对每种类别的脑电信号进行滑动切片处理，得到n段时长为t的脑电信号样本及其对应的类别标签，记为训练样本集其中，表示第k名受试者的脑电信号数据，xk,i∈r1×l×c表示第k名受试者的第i个脑电信号样本，c表示脑电信号样本的通道数，l表示脑电信号样本的长度，yk,i表示xk,i对应的类别标签，n表示受试者的脑电信号数据的样本数；

5、步骤2、建立基于cnn和transformer的联合网络，包含：去冗模块，联合模块，加权分类模块；

6、步骤2.1、所述去冗模块依次包括：第一卷积块和第二卷积块；

7、每个卷积块均依次由一个卷积层、一个标准化层和一个非线性激活层组成；

8、将所述第i个脑电信号样本xk,i输入到所述联合网络，并经过所述去冗模块的处理后，输出第k名受试者的第i个特征图fk,i；

9、步骤2.2、所述联合模块对第i个特征图fk,i进行处理后，得到第k名受试者的第i个局部信道间特征f_ck,i和第i个长程信道内特征f_tk,i；

10、步骤2.3、所述加权分类模块对f_ck,i和f_tk,i进行处理后，得到第k名受试者的第i个脑电信号样本xk,i所属的概率分布；

11、步骤3、模型训练，包含源模型，教师模型和学生模型的训练；

12、步骤3.1、源模型的训练；

13、基于所述训练样本集d，采用交叉熵作为联合网络的损失函数，并利用adam优化器对所述联合网络进行训练，直到达到最大迭代次数或者损失不在下降为止，从而得到训练好的联合网络并作为源模型；

14、步骤3.2、教师网络的训练，包含：记忆教师模型和遗忘教师模型的训练；

15、步骤3.2.1、记忆教师模型；

16、基于所述cnn和transformer的联合网络构建所述记忆教师模型，并将所述源模型的参数权重作为所述记忆教师模型的参数权重；

17、步骤3.2.2、遗忘教师模型；

18、基于所述cnn和transformer联合网络构建所述遗忘教师模型，令遗忘训练样本集是从从所述训练样本集d中选取的一名受试者的脑电信号样本作为遗忘受试者的脑电信号样本其余受试者的脑电信号样本作为保留受试者的脑电信号样本；其中，表示遗忘受试者的的第i个脑电信号样本，表示对应的类别标签；

19、基于遗忘受试者的脑电信号样本df，采用交叉熵作为遗忘教师模型的损失函数，并利用adam优化器对所述遗忘教师模型进行训练，直到达到最大迭代次数或者损失不在下降为止，得到训练好的遗忘教师模型；

20、步骤3.3、学生模型的训练，包含：数据选取和学生模型的训练；

21、步骤3.3.1、数据选取；

22、从保留受试者的脑电信号样本中选取部分脑电信号样本，从遗忘受试者的脑电信号样本df中也选取部分脑电信号样本，并共同构成联合训练样本集；

23、步骤3.3.2、学生模型的训练；

24、步骤a、基于所述cnn和transformer联合网络构建所述学生模型，令所述学生模型的权重参数为所述源模型的权重参数；

25、步骤b、构建学生模型的联合损失函数，包含：保留损失和遗忘损失；保留损失为记忆教师模型与学生模型输出的样本的概率分布之间的kl散度，遗忘损失为遗忘教师模型与学生模型输出的样本的概率分布之间的kl散度的倒数；联合损失函数为记忆损失的遗忘损失的加权和；

26、步骤c、基于所述联合训练样本集，利用adam优化器对所述学生模型进行训练，并计算所述联合损失函数直到达到最大迭代次数或者损失不再下降为止，从而得到去除遗忘受试者数据信息而保留保留受试者数据信息的学生模型，用于对遗忘受试者的脑电数据进行隐私保护。

27、本发明所述的一种基于知识蒸馏的脑电信号隐私保护方法的特点也在于，所述联合模块包括：并行的cnn支链和transformer支链；

28、步骤2.2.1、所述cnn支链基于卷积神经网络，由多个conv模块组成，每个conv模块由六个结构类似的卷积块组成，以第一个conv模块为例其包含的卷积块依次为：第三卷积块、第四卷积块、第五卷积块、第六卷积块、第七卷积块和第八卷积块；

29、其中，第三、第五和第七卷积块中的卷积核尺寸相同，第四、第六和第八卷积块中的卷积核尺寸相同；

30、将所述第i个特征图fk,i输入到所述cnn支链中，并依次进过六个卷积块的处理后，输出第k名受试者的第i个局部信道间特征f_ck,i；

31、步骤2.2.2、所述transformer支链基于自注意力网络，并依次包括：映射模块和自注意力模块；

32、所述映射模块依次由转置层，合并层和全连接子块组成；

33、所述第i个特征图fk,i输入到所述transformer支链中，并经过所述映射模块的处理后，得到第k名受试者的第i个输入词元pk,i；

34、所述自注意力模块由多个结构相同的trans子模块组成；

35、所述第i个输入词元pk,i输入到自注意力模块中进行处理后，输出第k名受试者的第i个长程信道内特征f_tk,i。

36、所述加权分类模块依次包括：特征融合块和分类块；

37、步骤2.3.1、所述特征融合模块包含并行的cnn逻辑分支和transformer逻辑分支以及加权融合层，其中，所述cnn逻辑分支依次包含卷积层，合并层和两个全连接层，所述transformer逻辑分支依次包含分割层和全连接层；

38、将f_ck,i输入到所述cnn逻辑分支中进行处理，并得到第k名受试者的第i个cnn分支的逻辑输出l_ck,i；

39、将f_tk,i输入到所述transformer逻辑分支中进行处理，并得到第k名受试者的第i个transformer分支逻辑输出l_tk,i；

40、将l_ck,i和l_tk,i输入到加权融合层中进行处理，并得到第k名受试者的第i个融合逻辑输出l_rk,i；

41、步骤2.3.2、所述分类块包含：softmax层；

42、将l_rk,i输入到所述分类块中，并经过softmax层处理，得到第k名受试者的第i个脑电信号样本xk,i所属的概率分布表示样本xk,i属于第m类脑电样本的概率，m表示脑电样本的类别数。

43、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述脑电信号隐私保护方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

44、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述脑电信号隐私保护方法的步骤。

45、与现有技术相比，本发明的有益效果在于：

46、1、本发明利用深度神经网络进行脑电信号分类任务，在不需要任何去噪处理和后端处理的情况下，完成脑电信号的端到端分类，并且较以往的脑电分类方法，具有更高的时效性和鲁棒性。

47、2、本发明结合了cnn和transformer的优势，融合cnn支链提取的多通道脑电信号通道间关联和transformer提取的多通道脑电的通道内信息，提高了分类结果的准确性。

48、3、本发明利用知识蒸馏进行用户隐私保护任务，通过构建教师—学生框架，以监督训练的方式删除模型中遗忘受试者脑电信息，同时保持保留受试者的脑电信息，从而实现了对保留患者脑电信号隐私保护。

49、4、本发明利用深度神经网络特征学习的特点，随机选取了受试者小部分的数据用于删除遗忘受试者的脑电信息，相较于重训练方法，本发明只使用了少量的原始数据，不仅较少了模型训练的时间和资源消耗，还为受试者提供更好的隐私保护。