一种基于多领域特征融合和注意力机制的脑病检测系统

本发明属于脑电信号分析，具体涉及一种基于多领域特征融合和注意力机制的脑病检测系统。

背景技术：

1、抑郁症、焦虑症等精神类疾病随着社会生活压力的增大而日益普遍，已经成为全球疾病负担的主要原因之一。如果这类疾病在早期没有得到及时的诊断和治疗，就会进一步恶化，甚至导致自杀。多动症是一种以注意力不集中、多动和冲动为主要特征的神经心理行为疾病，普遍发生在儿童学龄初期，是儿童最常见的九种发育行为问题之一。多动症往往伴有品行障碍、对立违抗障碍、学习障碍等行为疾病。这些临床症状会对儿童的认知和行为功能造成持续不良影响，不仅损害儿童的成长发育，还会给其家庭带来沉重的经济和心理负担。尽管如此，在一些不发达国家和地区，由于缺乏医疗资源和专业医务人员，以及社会对精神障碍的歧视，超过75％的患者没有得到及时有效的诊断和治疗。

2、脑电图(electroencephalogram，eeg)是一种记录和分析人类大脑产生的微弱电流的技术，它可以反映大脑的功能状态和异常状态，可用于检测和诊断各种脑部疾病，包括抑郁症、多动症、阿尔茨海默病、癫痫、新生儿脑损伤和帕金森病等。eeg具有成本低廉、无创无痛、操作简便的优点，使它可以在多种场合和环境中进行检测，增加了诊断的可行性和有效性。同时eeg具有高时间分辨率，可以捕捉大脑对刺激的快速反应。因此，使用脑电图(eeg)来快速可靠的检测抑郁症、多动症等精神类疾病是未来的发展趋势。

3、利用机器学习技术和eeg信号来诊断大脑疾病是近年来的研究热点。传统的方法是从单通道脑电信号中提取时域、频域和非线性特征，然后用机器学习方法进行检测和分类，但这些方法忽略了不同脑电图信号之间的相互通信。研究表明，大脑各个区域之间并不是静态独立的，各个区域不断进行动态交流才使得大脑正常运作起来。大脑连通性可以反映不同大脑区域的功能以及它们之间复杂的皮层交流，这对于研究多动症、抑郁症等大脑疾病有重要意义。因此，综合多个角度的eeg信号信息，并考虑不同领域的特性，将是未来诊断大脑疾病的新趋势；寻求一种有效的多领域特征融合方法，并构建一个高准确度、高鲁棒性的脑病检测模型，是当前的关键问题。

技术实现思路

1、为了克服上述问题，本发明提供一种基于多领域特征融合和注意力机制的脑病检测系统，可以有效的分析脑电信号，提高脑病检测的准确性和鲁棒性。

2、一种基于多领域特征融合和注意力机制的脑病检测系统，包括数据采集和预处理模块、特征提取模块、脑病识别模块，其中：

3、所述数据采集和预处理模块对采集到的eeg脑电信号进行预处理，并按照固定的时间长度对脑电信号进行数据分段，分为不同的独立样本；

4、所述特征提取模块用于提取独立样本的时域特征矩阵、频域特征矩阵和空间域特征矩阵；具体内容如下：

5、步骤1，提取时域特征

6、将每个独立样本按照滑动窗口的方法来提取时间窗口样本，再对时间窗口样本进行时域特征的提取；其中分别对每个时间窗口样本内的所有通道的信号提取六个时域特征，包括均值、方差、平均绝对电压、过零次数、均方根、波形长度；

7、设s(k)表示一个时间窗口样本中一个通道内第k次采样得到的eeg信号值，k表示总采样数，六个时域特征的计算方式如下：

8、均值指在时间窗口样本内一个通道的信号平均值，计算公式为：

9、

10、方差指在时间窗口样本内一个通道的信号偏离平均值的程度，计算公式为：

11、

12、平均绝对电压指在时间窗口样本内一个通道的信号的绝对值的平均值，计算公式为：

13、

14、过零次数指在时间窗口样本内一个通道的信号在一定时间内从正变为负或从负变为正的次数，反映了信号的快慢变化，计算公式为:

15、

16、其中sgn是符号函数，即：

17、

18、均方根指在时间窗口样本内一个通道的信号的平方的平均值的算术平方根，反映信号的能量或有效值，计算公式为：

19、

20、波形长度指在时间窗口样本内一个通道的信号在一定时间内的振幅变化的总和，反映了信号的复杂度和不规则性，计算公式为：

21、

22、分别对每个时间窗口样本的全部通道的信号提取这六个时域特征，再把每个独立样本含有的全部时间窗口样本进行堆叠，得到时域特征矩阵；

23、步骤2，提取频域特征

24、采用短时傅里叶变换计算每个独立样本中全部通道在五个频段的功率谱密度，其中信号在不同频段的功率谱密度，其计算公式为：

25、

26、

27、x(t)是独立样本中一个通道的信号，w(t)是窗函数，ω是频率，τ是窗函数中心位置，t是时间变量，j是一个复数单位，表示虚数部分的系数；

28、分别对每个独立样本中全部通道的信号计算delta(1-4hz)，theta(4-7hz)，alpha(7-12hz)，beta(13-30hz)和gamma(＞30hz)五个频段的功率谱密度，得到频域特征矩阵；

29、步骤3，计算锁相值

30、在计算锁相值之前，需要利用基于hilbert变换的解析信号完成瞬时相位的确定；独立样本中一个通道的信号x(t)，其解析信号为：

31、z(t)＝x(t)+iy(t)

32、其中，y(t)是x(t)的hilbert变换，则瞬时相位为：

33、

34、因此锁相值为：

35、

36、其中，<·>表示期望值，φm(t)-φn(t)表示m和n通道信号的相位差；plv的取值范围是[0，1]，其中1表示完全相位同步，0表示无相位同步；i是虚数单位；

37、遍历每个独立样本中所有通道的信号，分别计算独立样本中每两个通道信号之间的锁相值，得到矩阵，该矩阵作为大脑功能连接矩阵；

38、步骤5，建立无权的大脑功能网络

39、采用密度法将大脑功能连接矩阵转化为二值化网络；

40、步骤6，计算复杂网络特征指标

41、根据建立的大脑连接网络，获取该网络的特征指标，其中该网络中的网络节点特征指标包括度、介数中心性、特征向量中心性、聚类系数和局部效率；网络整体特征指标包括全局效率、传递性、同配性、小世界属性和特征路径长度；这些指标的计算方式如下：

42、1.度：对于给定节点，度就是与它连接的邻居节点个数，第i个节点的度计算公式为：

43、

44、其中cij表示节点i和节点j之间的连接状态，当节点i和节点j之间有连接时，cij＝1，当节点i和节点j之间无连接时，cij＝0；

45、2.介数中心性表示在所有最短路径中经过节点i的路径数目占最短路径总数的占比，计算公式为：

46、

47、其中σst是节点s到节点t的最短路径数量，而σst(i)是节点s到节点t的最短路径中经过节点i的条数；

48、3.特征向量中心性是一种测量节点对网络影响的方式；假设大脑连接网络g＝(v,e),v表示网络节点的集合，e表示网络连接边的集合，xi表示节点i的重要性，则特征向量中心性计算公式为：

49、eci＝xi＝c∑j∈gaijxj

50、其中c为一个比例常数；当且仅当节点i与节点j相连时，aij＝1，否则为0；

51、4.聚类系数是一种测量节点在网络中形成紧密群体的程度的指标；对于节点i，其聚类系数计算公式为：

52、

53、其中ei为节点i与邻居节点之间的边数，网络的传递性也就是平均聚类系数的计算公式为：

54、

55、其中n为大脑功能网络中节点的总数；

56、5.特征路径长度是网络中全部节点两两之间最短距离的平均值，其计算公式为：

57、

58、其中，dij表示节点i和j之间的最短路径长度；

59、6.同配性是指网络中节点的度与其邻居节点的度之间的相关性；如果网络中度大的节点倾向于与度大的节点相连，那么网络是同配的；如果网络中度大的节点倾向于与度小的节点相连，那么网络是异配的；如果网络中节点的连接与其度无关，那么网络是中性的；同配性r计算公式为：

60、

61、其中，ejk是联合度分布，表示网络中随机选取一条边的两个端点的度分别为j和k的概率，qj是余度分布，表示网络中随机选取一个节点其随机邻居节点度为k的概率，是余度分布的方差，r>0代表网络同配，r<0代表网络异配，|r|的大小反映了网络同配或异配的强弱程度；

62、7.小世界系数是一种表征网络是否具有小世界特性的指标，它是由网络的聚类系数和特征路径长度相对于随机网络的比值决定的；随机网络是指在给定节点数和边数的情况下，任意两个节点之间有边相连的概率相等的网络；其计算公式为：

63、

64、其中，和cplreal分别是大脑功能网络的聚类系数和特征路径长度；和cplrand分别是随机网络的聚类系数和特征路径长度，如果swc>1，说明网络具有小世界特性；

65、8.局部效率和全局效率：其中全局效率度量了网络的全局传输能力，被定义为给定网络中所有最短路径长度的逆，局部效率是在单个节点水平上计算，而不是在整个网络水平上计算的；全局效率eglob和局部效率eloc(i)计算公式为：

66、

67、其中，dij是节点i和j之间的最短路径长度；

68、

69、其中，ni是节点i的邻居节点集合，djh是节点j和h之间的最短路径长度，di是节点i的度；

70、分别对大脑连接网络中全部节点提取度、介数中心性、特征向量中心性、聚类系数和局部效率五个节点特征；再分别对大脑连接网络提取全局效率、传递性、同配性、小世界属性和特征路径长度五个网络特征，将两组特征按照第一个维度拼接，得到空间域特征矩阵；

71、所述脑病识别模块通过构建高鲁棒性的深度学习网络模型对eeg信号实现脑病的检测，所述模型是由时域注意力模块、频域注意力模块、图论指标注意力模块和全连接模块组成的基于注意力机制的多维特征融合网络；具体内容如下：

72、1.时域注意力模块

73、将所述特征提取模块所提取的时域特征矩阵输入该模块，该模块采用融合了自注意力机制的lstm网络，实现脑电信号时域特征的进一步提取；

74、所述lstm网络包括遗忘门、输入门和输出门，分别用于控制信息的流入、流出和更新；其计算过程用以下公式表示：

75、

76、其中，xt是第t个时间步的输入向量即t时间的时域特征矩阵，ht是第t个时间步的隐状态向量，ct是第t个时间步的单元状态向量，ft、it、ot、是第t个时间步的遗忘门、输入门、输出门和候选单元状态向量，σ是sigmoid函数，tanh是双曲正切函数，⊙是逐元素乘法，w、u、b都是可学习的参数矩阵或向量；

77、lstm网络包含所有时间步的输出o＝[o1，o2，...，ot]和最后时间步t的隐藏状态ht，其中o＝[o1，o2，...，ot]是提取了特征的时间信息之后在非线性变换tanh之前的矩阵，ht是h矩阵的最后一层，是lstm网络在整合了全部时间信息之后的输出矩阵；

78、鉴于此，通过自注意力机制建立ht与ot的自注意力向量关系，即建立各时间步输出ot对于ht的权重；各时间步的输出ot经线性变换后作为key和value，最后时间步的输出ht乘以矩阵ωq作为query；在时间步t时，keyt、valuet、query、得分et和权重αt的计算公式分别为：

79、

80、其中query表示查询向量，表示想要关注的目标元素；keyt表示t时间步的键向量，表示能够用来匹配查询向量的候选元素；valuet表示t时间步的值向量，表示能够用来生成输出的元素；得分et表示查询向量和键向量之间的匹配程度，这里使用缩放点积来计算；dk为keyt的维度，为缩放因子，防止内积数值过大影响网络的学习；权重αt表示每个值向量对输出的贡献程度，这里用softmax函数来归一化得分；n为时间步的数量；

81、其中，query不随时间步改变，ωq、ωv、ωk是神经网络参数，随反向传播过程改变，将各时间步权重αt与valuet加权求和即得到带有权重的时域特征向量fc1：

82、

83、2.网络频域注意力模块

84、该模块将所述特征提取模块提取的频域特征矩阵作为输入，首先通过通道注意力网络对通道维度的全部通道进行通道注意力权重的训练，输出是维度大小不变的带有通道权重的特征矩阵，接下来通过频段注意力网络对带有通道权重的特征矩阵在频段维度的5个频段进行频段注意力的训练，输出得到维度大小不变的带有通道和频段权重的特征矩阵；即完成对原始特征向量的权重分配，加强对高价值特征的提取；最后将两个特征维度展开为一维，得到频域特征向量fc2；

85、3.图论指标注意力模块

86、该模块将特征提取模块提取的空间域特征矩阵作为输入，该模块对通道维度的全部通道和网络全局特征通道进行通道注意力权重的训练，输出是维度大小不变的带有通道权重的特征矩阵；最后将两个特征维度展开为一维，得到空间域特征输出向量fc3；

87、3.全连接模块

88、基于特征拼接方式对三个并行网络输出的特征向量进行拼接，实现时域、频域、空间域特征的融合，定义公式如下：

89、

90、其中fc为多特征融合网络中全连接模块的输入向量；

91、全连接模块的网络结构由三个全连接层和一个输出层组成；每个全连接层后面都加上了relu激活函数和dropout层来防止过拟合，dropout层参数设置为0.5；输出层使用softmax激活函数来输出二分类的概率；实现多动症患者和对照组的二分类任务。

92、所述脑病识别模块中一种基于注意力机制的多维特征融合网络的训练过程如下：

93、步骤一，选取3657名非多动症患者的eeg脑电信号和4622个多动症患者的eeg脑电信号作为训练集；

94、步骤二，人工将训练集中属于非多动症患者的eeg脑电信号的标签记为0，将训练集中属于多动症患者的eeg脑电信号的标签记为1，得到标注训练集；

95、步骤三，将步骤二中的标注训练集输入到特征提取模块，经特征提取模块处理得到时域特征矩阵、频域特征矩阵和空间域特征矩阵；

96、步骤四，将时域特征矩阵、频域特征矩阵和空间域特征矩阵输入到基于注意力机制的多维特征融合网络中进行训练，直到网络的loss值趋向于收敛时,训练完成。

97、所述数据采集和预处理模块具体包括以下内容：

98、步骤1，采集参与者至少20分钟的静息态eeg脑电信号；

99、步骤2，对采集到的eeg脑电信号进行预处理，预处理内容为：将eeg脑电信号重采样至256hz，剔除a1和a2电极的数据，采用陷波滤波器去除50hz电源线噪声，采用fir滤波器进行0.5-70hz带通滤波，去除眼动伪影；

100、步骤3：将经步骤2预处理后的eeg脑电信号按60秒的固定时间间隔进行分段，每段信号重叠25％，将分段后的每一段脑电信号作为一个独立样本。

101、所述特征提取模块的步骤1提取时域特征中，将每个独立样本按照滑动窗口的方法来提取时间窗口样本，再对时间窗口样本进行时域特征的提取；其中滑动窗口切割部分，选用滑动窗口长度为4s，滑动步长为2s的方式来提取时间窗口样本。

102、所述网络频域注意力模块中通道注意力网络对输入的频域特征矩，首先在全部通道维度h进行全局平均池化，然后通过一个大小为h/2的全连接层进行降维；通过relu函数进行激活后，使用大小为2×h的全连接层升维；使用sigmoid函数进行激活，将计算出的权重与原始特征向量加权求和输出带有权重的向量；最后通过一个残差模块引入一个近路连接，将输入特征和输出特征相加，从而学习输入和输出之间的残差函数，有效防止参数量大造成的过拟合现象；得到维度大小不变的带有通道权重的特征矩阵；

103、频段注意力网络对输入的带有通道权重的特征矩阵中的频段通道进行上述相同操作，即完成在频段维度的5个频段进行频段注意力的训练，输出得到维度大小不变的带有通道和频段权重的特征矩阵。

104、所述图论指标注意力模块对空间域特征矩阵进行与通道注意力网络相同的操作，得到空间域特征输出向量fc3。

105、本发明的有益效果：

106、本发明从三个领域，包括时域、频域和基于复杂网络指标的大脑连接网络，分别对脑电信号进行特征提取；并且构建了一个准确率高、鲁棒性强的多维特征融合网络模型检测各种脑部疾病；本发明的脑电图信号分析方法可以准确描述大脑细节特征和状态，有效度量大脑连接网络的特征指标，为脑病的智能诊断、预警提供了新方案。