一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质的制作方法

本发明涉及一种癫痫脑电识别领域，具体涉及一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质。

背景技术：

当前应用中绝大多数情况下使用脑电波进行对患者的癫痫发作预测。在预测的算法中，主流的技术采用卷积神经网络(包括普通的卷积神经网络，一维卷积神经网络和残差卷积神经网络)，循环神经网络(包括长短期记忆神经网络和双向长短期记忆神经网络)，以及他们的结合体循环卷积神经网络(包括循环卷积神经网络和双向循环卷积神经网络)。

卷积神经网络的核心思想是对二维图像进行卷积，在一个图像中(即欧式空间中)，每个像素都会有其上下左右等等相邻的像素，故使用普通的卷积方法是合适的。在脑电识别系统中，每个电极通道并不会拥有排列规则的相邻通道，即该环境是一个非欧式空间。在一个非欧空间上使用卷积操作是有缺陷的，因此在本专利的环境中，在对某一通道进行卷积时会忽略众多相邻的通道，以及卷积一些非相邻的通道。

循环神经网络的核心思想是利用脑电波中的时间信息来处理特征，即将脑电波信息按时间序列，依次输入到循环神经网络中去，每个时间点下的输入是所有预处理好的脑电波信息，按一维的方式输入。对于每个时间点的特征输入，循环神经网络认为是独立不相关的，因此在本专利的环境中，对于某些特征来自于同一通道这个相关性条件，存在信息丢失的问题。

循环卷积神经网络是将循环神经网络和卷积神经网络结合起来。先用卷积神经网络对每个时间点的输入做一次高层的特征提取，即将一个多维输入的脑电波信息提取成一维信息后，再将高层特征送入循环神经网络中去。循环卷积神经网络没有解决卷积神经网络固有的缺点，即无法在非欧式空间中进行卷积。

因此，现有的癫痫脑电识别系统至少存在以下技术问题：

(1)对于使用卷积神经网络的系统，在一个非欧空间下进行卷积操作，会产生错误的卷积位置的选取，不利于模型的泛化性和鲁棒性，同时降低模型的准确率。

(2)对于使用循环神经网络的系统，忽略了特征间的先验关系，导致降低了模型的准确率。

(3)对于使用循环卷积神经网络的系统，没有解决卷积神经网络中卷积方法的固有缺点，即在一个非欧空间下进行卷积操作，会产生错误的卷积位置的选取，导致降低了模型的准确率。

技术实现要素：

针对现有技术中用于癫痫脑电识别的网络模型由于忽略了众多相邻的通道导致模型准确率较低的缺陷，本发明利用图卷积神经网络来处理非欧空间上的卷积需求，提供了一种基于层次图卷积神经网络的癫痫脑电识别系统，将层次图卷积神经网络应用于癫痫脑电识别系统，对于采集系统中的两种电极间的相邻关系分开进行处理，充分地考虑采集时电极位置间的邻接关系，从而进行特征的提取，切合实际地完成了图结构(即非欧空间)中的卷积运算，为模型的准确率提供了最优的解决方案。

本发明解决其技术问题所采用的技术方案是：

脑电信号采集模块：通过电极采集脑电信号数据；

脑电信号预处理模块：将获取到的脑电信号数据进行分割和归一化预处理；

癫痫状态标注模块：用于对已知癫痫发作时间段的样本数据进行标注，所述的癫痫状态标注模块设有第一控制开关，当系统处于配置模式时，第一控制开关开启，癫痫状态标注模块处于工作状态；当系统处于识别模式时，第一控制开关关闭，癫痫状态标注模块不参与系统工作；

脑电时频分析模块：用于对预处理后的脑电信号进行时域和频域的分析并提取特征，再根据系统的运行模式输出带标签的脑电时频域特征训练样本集或不带标签的脑电时频域特征测试样本集；

层次图卷积神经网络训练模块：配置有将脑电信号的时域特征和频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关，当系统处于配置模式时，第二控制开关开启，层次图卷积神经网络训练模块处于工作状态，读取脑电时频分析模块输出的脑电时频域训练样本集并对层次图卷积神经网络结构进行训练，生成模型文件；当系统处于识别模式时，第二控制开关关闭，层次图卷积神经网络训练模块不参与系统工作；

癫痫状态识别模块：当系统处于识别模式时，用于加载层次图卷积神经网络训练模块输出的模型文件，得到训练好的层次图卷积神经网络模型，并将脑电时频分析模块输出的不带标签的脑电时频域测试样本集作为层次图卷积神经网络模型的输入，输出识别结果；

所述的层次图卷积神经网络包括脑电时频域特征输入层、第一层次图卷积模块、第二层次图卷积模块、融合模块和分类层；

所述脑电时频域特征输入层，用于组织脑电时频分析模块输出的脑电时频域特征为二维结构，其中一维代表安置在受试者头皮上的电极数，另一维代表脑电时频分析模块输出的脑电时频域特征的种类数；

所述的第一层次图卷积模块连接脑电时频域特征输入层，该模块包含两路分支：第一分支依次为具有4f个横向图卷积核的第一横向图卷积层、具有2f个纵向图卷积核的第二纵向图卷积层；第二分支依次为具有4f个纵向图卷积核的第一纵向图卷积层、具有2f个横向图卷积核的第二横向图卷积层，两路分支的输出再经第一拼接层后作为第一层次图卷积模块的输出；

所述的第二层次图卷积模块的输入为第一层次图卷积模块的输出，该模块包含两路分支：第一分支依次为具有2f个横向图卷积核的第三横向图卷积层、具有f个纵向图卷积核的第四纵向图卷积层；第二分支依次为具有2f个纵向图卷积核的第三纵向图卷积层、具有f个横向图卷积核的第四横向图卷积层，两路分支的输出再经第二拼接层后作为第二层次图卷积模块的输出。

所述融合模块用于将第二层次图卷积模块的输出进行汇总，融合，并得到全局信息，其包括形变层和两个全连接层，形变层将第二层次图卷积模块的输出进行汇总，两个全连接层实现融合，得到全局信息。所述的横向图卷积层指通过图的横向邻接矩阵进行图卷积操作的层，纵向图卷积层指通过图的纵向邻接矩阵进行图卷积操作的层；所述的横向图卷积核指在横向图卷积层中的权重参数，纵向图卷积核指在纵向图卷积层中的权重参数。

所述的横向邻接矩阵指一个二维矩阵，两个维度都代表图的节点，该矩阵的意义是图中的两两节点间是否存在横向相邻关系，具体地，两个节点是横向相邻时值为1，横向不相邻时值为0；所述的纵向邻接矩阵是指一个二维矩阵，两个维度都代表图的节点，该矩阵的意义是图中的两两节点间是否存在纵向相邻关系，具体地，两个节点是纵向相邻时值为1，纵向不相邻时值为0。

作为本发明的优选，所述的层次图卷积神经网络的传播公式如下：

h^l＝σ([h^l，1；h^l，2]w^l)

其中，h^l-1和h^l分别是层次图卷积神经网络第l层的输入和输出；h^l，1，和代表了层次图卷积神经网络第l层第一分支中纵向卷积层的输出、纵向邻接矩阵和权重；h^l，1，和代表了层次图卷积神经网络第l层第一分支中横向卷积层的输出、横向邻接矩阵和权重；h^l，2，和代表了层次图卷积神经网络第l层第二分支中横向卷积层的输出、横向邻接矩阵和权重；h^l，2，和代表了层次图卷积神经网络第l层第二分支中纵向卷积层的输出、纵向邻接矩阵和权重；w^l代表了层次图卷积神经网络第l层中拼接两路分支时的权重；σ代表激活函数，s(a)表示邻接矩阵a的传播矩阵，所述传播矩阵指在图卷积时将特征在相邻图节点间进行传播时所用到的矩阵，其通过对图的邻接矩阵进行图的傅里叶变换得到，其计算公式如下：

其中，in表示n个节点的单位阵，d表示图的度矩阵。

本发明的另一目的在于公开了一种终端，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现上述基于层次图卷积神经网络的癫痫脑电识别系统的功能。

本发明的另一目的在于公开了一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述基于层次图卷积神经网络的癫痫脑电识别系统的功能。

由于本发明中的国际10-20脑电位置命名系统的图结构中，节点的纵向相邻关系和横向相邻关系有所区别，故使用层次图卷积神经网络模型进行癫痫发作情况预测时，该模型使用纵向图卷积层和横向图卷积层按层次分开处理特征。

本发明与背景技术相比，具有的有益效果是：

(1)本发明采用了图卷积作为基础的卷积方式，可以实现在非欧式空间上的卷积需求，所以相比于现有技术手段中的卷积神经网络和循环卷积神经网络等，克服了其错误地在非欧式空间上进行卷积操作的问题，相比于现有技术手段中的循环神经网络等，克服了其忽视输入特征本身存在相关性的问题，相较于现有技术大幅度提升了模型的准确率，也加强了模型的鲁棒性和稳健性。

(2)在采集脑电波时，其脑电波以纵向相邻电极间的电压差表示。在此类图结构中，纵向相邻的一对电压差与三个电极相关，而横向相邻的一对电压差与四个电极相关，即该图结构存在纵向和横向两种不同的相邻关系。本发明对于脑电采集系统中的图结构中的纵向和横向两种相邻关系做了特别的处理，设计了层次图卷积模块，克服了仅使用普通的图卷积神经网络时，邻接矩阵中对于所有相邻关系都认为是同种类型的问题，相较于普通的图卷积神经网络，本发明中的层次图卷积神经网络模型明显地提升了准确率和稳健性。

(3)本发明在采集脑电波时使用的是国际10-20脑电位置命名系统，即一公开的国际标准，具有规范化操作的效果，相较于现有技术相比，本发明允许系统从使用同一采集标准的不同数据集进行训练和配置，使模型获得更强的泛化能力。

(4)本发明在提取特征时考虑了多种时域的和频域的特征，相较于现有技术仅提取单一的某种频域特征，本发明客服了提取特征不完备的问题，有效地提升了模型的准确率。

附图说明

图1为本发明的流程图；

图2为图卷积神经的卷积操作示意图；图a表示某个图结构，图b表示对该图结构进行图卷积时，以节点a为最后的目标节点时的卷积路线图；

图3为本发明的脑电波采集系统图；图a表示国际10-20脑电位置命名系统中的节点，图b表示在该系统采集脑电波时，脑电波信息以纵向两个相邻电极间的电压差给出，即图b中的每个节点代表一对相邻的电压差；

图4为本发明中的图卷积神经网络模型图；图a表示简单的图卷积神经网络结构，图b表示本发明中的层次图卷积神经网络结构。

具体实施方式

下面结合附图和实施例对本发明做进一步的说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

如图1所示，一种基于图卷积神经网络的癫痫脑电识别系统，包括脑电信号采集模块、脑电信号预处理模块、癫痫状态标注模块、脑电时频分析模块、层次图卷积神经网络训练模块和癫痫状态识别模块共6个模块；

脑电信号采集模块：通过电极采集脑电信号数据；

脑电信号预处理模块：将获取到的脑电信号数据进行分割和归一化预处理；

癫痫状态标注模块：用于对已知癫痫发作时间段的样本数据进行标注，所述的癫痫状态标注模块设有第一控制开关，当系统处于配置模式时，第一控制开关开启，癫痫状态标注模块处于工作状态；当系统处于识别模式时，第一控制开关关闭，癫痫状态标注模块不参与系统工作；

脑电时频分析模块：用于对预处理后的脑电信号进行时域和频域的分析并提取特征，再根据系统的运行模式输出带标签的脑电时频域训练样本集或不带标签的脑电时频域测试样本集；

层次图卷积神经网络训练模块：配置有将脑电信号的时频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关，当系统处于配置模式时，第二控制开关开启，层次图卷积神经网络训练模块处于工作状态，读取脑电时频分析模块输出的脑电时频域训练样本集并对层次图卷积神经网络模型进行训练，生成模型文件；当系统处于识别模式时，第二控制开关关闭，层次图卷积神经网络训练模块不参与系统工作；

癫痫状态识别模块：当系统处于识别模式时，用于加载层次图卷积神经网络训练模块输出的模型文件，得到训练好的层次图卷积神经网络模型，并将脑电时频分析模块输出的不带标签的脑电时频域测试样本集作为层次图卷积神经网络模型的输入，输出识别结果。

本申请的一个优选实施案展示了脑电采集模块和脑电信号预处理模块的具体实施。

脑电信号采集模块用于采集被试者的脑电信号数据，一般是是在被试者头皮或颅内安置好电极，进行脑电波的读取，其通过国际10-20脑电位置命名系统在患者头皮上安置电极，电极的命名可以采用多种命名系统。

在本实施例中，按照如图3所示的19个位置对电极进行安置，采用的命名系统包括fp1,fp2,f7,f3,fz,f4,f8,t7,c3,cz,c4,t8,p7,p3,pz,p4,p8,o1,o2。其中fp1,fp2在一条横贯线上，f7,f3,fz,f4,f8在一条横贯线上，t7,c3,cz,c4,t8在一条横贯线上，p7,p3,pz,p4,p8在条横贯线上，o1,o2在一条横贯线上；fp1,f7,t7,p8在一条纵贯线上，fp1,f3,c3,p3,o1在一条纵贯线上，fz,cz,pz在一条纵贯线上，fp2,f4,c4,p4,o2在条纵贯线上，fp2,f8,t8,p8,o2在一条纵贯线上。

本实施例在波士顿儿童医院收集的chb-mit数据集上进行，该数据集记录了958小时以上癫痫发作或非癫痫发作过程的脑电波信号，其中包含198次癫痫发作。在脑电波记录的时候，采用了国际10-20脑电位置命名系统在受试患者的头皮上安置了19个电极，并以18个电极对的形式来描述脑电波信号，分别是fp1-f7、f7-t7、t7-p7、p7-o1、fp1-f3、f3-c3、c3-p3、p3-o1、fz-cz、cz-pz、fp2-f4、f4-c4、c4-p4、p4-o2、fp2-f8、f8-t8、t8-p8和p8-o2。数据以每秒256个样本的速度采样，记录电压的分辨率为16比特的浮点型。绝大部分的记录脑电波信号时长为一小时，少数几次记录时长为2小时或4小时。数据集除了给出了脑电波信号，也给出了每份记录文件中是否含有癫痫发作，如果含有癫痫发作则会记录癫痫发作是从何时何分何秒发作到何时何分何秒。

脑电信号预处理模块用于将获取到的脑电信号数据进行分割和归一化预处理。在预处理中根据数据输入的定义进行分割数据，所有输入定义为一个21s长的脑电波信号。对于一个21s长的原始脑电波信号，需要对其再进行归一化处理。由于不同的受试者，在不同的时间段下，不同电极通道内的脑电波信号的幅值最大可以存在十倍的差异，因此，进行归一化后模型将能良好地收敛，并且对于不同的患者具备良好的泛化性能。现有的归一化方法中包括最大最小值归一化，平均值归一化，z-score归一化以及对数归一化等等方法，本专利在经过比较后使用了z-score归一化方法，即对于一个长时间段内的信号减去其平均值后再除以标准差，其公式如下：

其中，μ和σ分别表示x的平均值和标准差，xz代表x经过z-score归一化后得到的结果，具体地，在本实施例中对一个小时时长的采样数据做归一化，即此处的n＝256*60*60。

本申请的一个优选实施案展示了癫痫状态标注模块和脑电时频分析模块的具体实施。

癫痫状态标注模块对用于训练的脑电信号数据进行标注，每一个样本获得一个标签。在用于训练的样本中，数据集给出了癫痫从发作到结束的时间点，根据发作和结束的时间点，对样本进行标注。

本实施例中的癫痫状态标注模块设有第一控制开关，当系统处于配置模式时，第一控制开关开启，癫痫状态标注模块处于工作状态；当系统处于识别模式时，第一控制开关关闭，癫痫状态标注模块不参与系统工作。样本标签包括发作间期、发作前一期、发作前二期、发作前三期和发作期。

所述的发作间期为癫痫发作前或发作后m小时以上的时期，发作前期为癫痫发作前n小时以内的时期，n≤m。其中m用于保证发作间期与发作期的间隔足够长，保证此时受试者处于非发作的状态下，n用于保证发作前期与发作期的间隔足够近，脑电波信号出已经出现波动，但受试者还未癫痫发作。所述的发作前一期、发作前二期和发作前三期分别指发作前期对应的时间段内的前n/3小时、中n/3小时和后n/3小时。

具体的，可以将该数据集的标签分为五类，包括发作间期、发作前一期、发作前二期、发作前三期和发作期。发作间期是指发作期前或发作后4小时以上的时期。发作前期是指癫痫发作前一小时以内的时期。发作前一期、发作前二期和发作前三期分别指发作前期的前二十分钟、中二十分钟和后二十分钟。特别地，引领的癫痫发作定义为如果两次癫痫发作的时间间隔小于一小时(即发作前期的时长)，那么这两次癫痫发作中只将第一次癫痫发作认为是引领的癫痫发作，以此类推，直到下一次癫痫发作与这次癫痫发作的时长间隔大于一小时，才认为下一次癫痫发作是一次新的癫痫发作。实施例中所有的癫痫发作都是引领的癫痫发作。

脑电时频分析模块用于对预处理后的脑电信号进行时域和频域的分析并提取特征，再根据系统的运行模式输出带标签的训练样本特征集或不带标签的测试样本特征集。

常用的特征提取会使用频域的相关特征，包括使用短时傅里叶变换，梅尔倒谱频系数，功率谱密度和小波变换等等。但在以上方法中，使用傅里叶变换的方法都存在着一定的缺陷，傅里叶变换无法既做到时间分辨精确的同时又做到频率分辨精确。同时，仅仅从频域提取特征也是不够全面的，因此本专利中还考虑了时域特征。

本实施例中的脑电时频分析模块用于提取的时域特征包括平均值，整流平均值，峰峰值，标准差，交叉频率，峰度和偏度。所述平均值的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xavg代表了平均值。所述整流平均值的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xarv代表了整流平均值。所述峰峰值的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xp-p代表了峰峰值。所述标准差的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xstd代表了标准差，衡量信号中所有采样点的稳定程度。所述交叉频率的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xcross代表了交叉频率，从时域的角度去整体衡量信号的频率高低。所述峰度的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xkurt代表了峰度，衡量信号中所有采样点在峰值处的尖锐程度。所述偏度的公式如下：

其中n代表了采样点个数，xi代表了归一化后的脑电波信号的采样点，xskew代表了偏度，衡量信号中所有采样点是左偏还是右偏。

本实施例中的脑电时频分析模块用于提取的频域特征包括功率谱密度和小波变换，所述功率谱密度用于计算所有采样信号经过归一化处理后，在每个频率点上的功率。对于从脑电信号中的n个离散的采样点x(n)，对其进行离散傅里叶变换得到：

从而可以得到对应的功率谱密度为：

对于上述公式中的k选取不同的频率点，可以得到不同频率点下的功率。

所述小波变换用于计算所有采样信号经过归一化处理后，在每个频率点上具有的能量。对于一个小波母函数ψ(t)做如下变换：

其中τ用于平移，s用于伸缩频率，用于保证变换前后能量守恒。使用该变换方式，即可动态地调整小波函数的频率，以及有值部分的时间轴。将该变换后的小波函数与原信号做相乘后积分，就得到了小波变换如下：

其中用于变换的母小波采用cgau8函数，其公式表示为：

其中c是用于校正的常量系数，i代表虚数对于上述公式中的s取不同的频率点，可以得到不同频率点下的能量。

在本实施例中，对于2秒长的归一化脑电信息做一次特征提取，即在前文中用于特征提取时脑电信号的采样点个数n＝256*2，在频域特征的提取当中，对于功率谱密度提取出来的特征，令k分别取{0，1，2，...，127}，得到128维特征，再将δ频段(0.5～4hz)、θ频段(4～8hz)、α频段(8～13hz)、β频段(13～30hz)、低γ频段(33～55hz)和高γ频段(65～110hz)下的功率谱密度均值作为新的6个特征。对于小波变换提取出来的特征，令s分别取{2，...，128}，得到127维特征，同样的，再将δ频段(0.5～4hz)、θ频段(4～8hz)、α频段(8～13hz)、β频段(13～30hz)、低γ频段(33～55hz)和高γ频段(65～110hz)下的小波变换能量均值作为新的6个特征。将上述特征拼接起来，可以得到7个时域特征，134个功率谱密度特征和133个小波变换特征，共计274个特征。

本实施例中从时域和频域两个角度去考虑特征的提取。在时域特征提取中，尽量去提取那些在发作期和非发作期有着明显差异的特征，如平均值，整流平均值，峰峰值，标准差和交叉频率，同时也考虑了从波形的层面去提取特征，包括峰度和偏度。在频域特征提取中，首先采用了以傅里叶变换为实现基础的功率谱密度特征，其次注意到其缺陷后，又采用了可以解决这一缺陷的小波变换特征。因此本实施例在特征提取时，从多个角度入手，同时也考虑现有技术中存在的缺点从而进行了弥补。

本申请的一个优选实施案展示了层次图卷积神经网络训练模块的具体实施。

层次图卷积神经网络训练模块是本发明的核心，配置有层次图卷积神经网络结构和第二控制开关，充分考虑了节点的纵向相邻关系和横向相邻关系之间的区别。当系统处于配置模式时，第二控制开关开启，层次图卷积神经网络训练模块处于工作状态，读取脑电时频分析模块输出的训练样本特征集并对层次图卷积神经网络结构进行训练，生成模型文件；当系统处于识别模式时，第二控制开关关闭，层次图卷积神经网络训练模块不参与系统工作。

在识别的算法中，常用的网络模型有卷积神经网络(包括普通的卷积神经网络，一维卷积神经网络和残差卷积神经网络等)，循环神经网络(包括长短期记忆神经网络和双向长短期记忆神经网络等)，以及上述两者的结合体循环卷积神经网络(包括循环卷积神经网络和双向循环卷积神经网络等)。

图卷积神经网络的卷积核正是适合于卷积非欧空间，其卷积核的卷积对象并不是根据当前坐标在欧式空间中找到相邻坐标并对其卷积，而是根据图的邻接矩阵关系，找到当前节点的相邻节点并对其卷积。

如图2a所示，图2a是一个非欧空间的图结构(不是一个二维图像)，图2b表达了以a为最后目标节点的图卷积路线图。a的特征将由其相邻节点b，c，d以及它自己进行卷积得到，同理，节点b，c，d的特征也分别由它们各自的相邻节点卷积得到。图卷积模型在对某个节点进行卷积时，会根据图结构融合其所有相邻节点的特征。而这正是普通的卷积神经网络所做不到的。而图2实际上是图的空域卷积的一个例子，但是基于图的空域卷积在在脑电信号采集和识别应用的场景下存在两方面的问题。一个方面，图的空域卷积缺乏理论性的论证，仅仅是对按照卷积方法进行类似地模仿，在卷积神经网络中的一个卷积核对应着一种特征的提取，而在空域卷积的实现方法里缺少类似的定义；另一个方面，图的空域卷积需要建立在确定的已知图关系上，虽然头皮上的电极因为位置关系，可以人为的根据位置远近定义图结构即图的邻接矩阵，但是这个图结构其实是隐性且不固定的，也可以由其他方法进行设计(包括根据通道的相关性建立相关性矩阵作为图的邻接矩阵等等)。综上，本发明采用了具有严格数学论证的图频域卷积方法，该方法允许图的邻接矩阵能够自适应的调整。

假设图中所有节点记作x，图卷积核记为g，图卷积的操作记为*g，那么最后要完成的运算实际上就是x*gg。这里使用图的傅里叶变换完成这个操作，即对x和g先进行图傅里叶变换并相乘后，在进行图傅里叶逆变换即可。图的傅里叶变换通过分解图的归一化拉普拉斯矩阵可以得到，即图的归一化拉普拉斯矩阵的特征向量就是图的傅里叶变换中的一组基。假设该图结构的邻接矩阵为则度矩阵为图的归一化拉普拉斯矩阵表示为：

对l求其特征向量u有：l＝uλu^t；至此就得到了图的傅里叶变换和图的傅里叶逆变换则x*gg可以被表示为uu^txu^tg；由于求解图的特征向量是一个繁琐的运算，这里使用切比雪夫多项式进行二阶近似(物理意义是图中对某点进行图卷积时仅仅考虑自身节点和一阶相邻节点)，最后可以化简得到图卷积神经网络的传播公式：

h^l＝σ(s(a^l)h^l-1w^l)

其中l代表了层数编号，h代表了图频域卷积层，以及w代表了权重矩阵，即切比雪夫多项式的系数，σ代表了激活函数，作为邻接矩阵a的传播矩阵。可见，如何依据图结构进行图卷积层的特征传播的关键，就在于s(a)。

本实施例采用的脑电波采集系统图如图3所示，图3a是国际10-20脑电位置命名系统，一共包含了19个节点，通过19个节点的位置来指导如何在受试者的头皮上安置电极。在实际给出采样脑电波时，以纵向相邻的电极间的电压差的方式给出。如图3b所示，给出的是18个纵向相邻的电极间的电压差，即图3b中的每个节点，代表了图3a中纵向相邻的电极间的电压差。因此在实际应用的图3b结构中，使用普通的图卷积神经网络就不再合适了。具体如图3b中，可以看到主要存在两种相邻关系，如虚线框出的纵向相邻关系，和实线框出的横向相邻关系。其中纵向相邻关系中包含有3个通道，而横向相邻关系中包含有4个通道，这是两种完全不一致的相邻关系，本发明提出使用纵向图卷积层和横向图卷积层分别处理这两种相邻关系。

所述的横向图卷积层指通过图的横向邻接矩阵进行图卷积操作的层，纵向图卷积层指通过图的纵向邻接矩阵进行图卷积操作的层；横向图卷积核指在横向图卷积层中的权重参数，纵向图卷积核指在纵向图卷积层中的权重参数。

具体的，纵向图卷积层指该图卷积层的邻接矩阵仅仅包含纵向相邻关系，而横向图卷积层指该图卷积层的邻接矩阵仅仅包含横向相邻关系。所述的横向邻接矩阵指一个二维矩阵，两个维度都代表图的节点，该矩阵的意义是图中的两两节点间是否存在横向相邻关系，具体地，两个节点是横向相邻时值为1，横向不相邻时值为0；所述的纵向邻接矩阵是指一个二维矩阵，两个维度都代表图的节点，该矩阵的意义是图中的两两节点间是否存在纵向相邻关系，具体地，两个节点是纵向相邻时值为1，纵向不相邻时值为0。

进一步地再考虑到要完成对于图的所有相邻关系的特征融合，因此分两条传播路径进行特征提取。在一个层次图卷积模块中，一条路径先通过纵向图卷积层再通过横向图卷积层，而另一条路径先通过横向图卷积层再通过纵向图卷积层，最后再将两条路径进行拼接。总的传播公式如下：

h^l＝σ([h^l，1；h^l，2]w^l)

其中，h^l-1和h^l分别是层次图卷积神经网络第l层的输入和输出；h^l，1，和代表了层次图卷积神经网络第l层第一分支中纵向卷积层的输出，纵向邻接矩阵和权重；h^l，1，和代表了层次图卷积神经网络第l层第一分支中横向卷积层的输出，横向邻接矩阵和权重；h^l，2，和代表了层次图卷积神经网络第l层第二分支中横向卷积层的输出，横向邻接矩阵和权重；h^l，2，和代表了层次图卷积神经网络第l层第二分支中纵向卷积层的输出，纵向邻接矩阵和权重；w^l代表了层次图卷积神经网络第l层中拼接两路分支时的权重；σ代表激活函数。

如图4所示，图4a给出了普通图卷积神经网络的结构示意图，在图4a中，先经过输入模块，其形状是18x274，18代表通道对的个数(即图的节点个数)，274代表每个通道对中提取的特征个数(包括时域提取了7种特征和频域提取的)，先经过一层具有128个图卷积核的图卷积层，图卷积之后形状变成了18x128，再经过一层具有64个图卷积核的图卷积层，图卷积之后形状变成了18x64，再将形状拉平至一维得到18*64＝1152个特征，再通过一个512个隐态的全连接层，一个128个隐态的全连接层和一个分类数个隐态的全连接层，形状变为分类数个，得到对于每个类别下的逻辑概率。

图4b给出了具体的本发明中的层次图卷积神经网络结构示意图，包括脑电时频域特征输入层、第一层次图卷积模块、第二层次图卷积模块、融合模块和分类层；

所述的第一层次图卷积模块连接脑电时频域特征输入层，该模块包含两路分支：第一分支依次为具有128个横向图卷积核的第一横向图卷积层、具有64个纵向图卷积核的第二纵向图卷积层；第二分支依次为具有128个纵向图卷积核的第一纵向图卷积层、具有64个横向图卷积核的第二横向图卷积层，两路分支的输出再经第一拼接层后作为第一层次图卷积模块的输出；

所述的第二层次图卷积模块的输入为第一层次图卷积模块的输出，该模块包含两路分支：第一分支依次为具有64个横向图卷积核的第三横向图卷积层、具有32个纵向图卷积核的第四纵向图卷积层；第二分支依次为具有64个纵向图卷积核的第三纵向图卷积层、具有32个横向图卷积核的第四横向图卷积层，两路分支的输出再经第二拼接层后作为第二层次图卷积模块的输出。

在图4b中，先经过输入模块，其形状是18x274，18代表通道对的个数(即图的节点个数)，274代表每个通道对中提取的特征个数(包括时域提取的7种特征，频域中功率谱密度提取的134维特征，频域中小波变换提取的133维特征，总计274维特征)。之后的模型结构由两个层次图卷积模块，和三个与图4a一样的全连接层构成。特征首先由输入模块进入第一个层次图卷积模块，分为两条路径传播。一条路径是先通过一个128个横向图卷积核的横向图卷积层，再通过一个64个纵向图卷积核的纵向图卷积层(形状由18x274变为18x128再变为18x64)，另一条路径是先通过一个128个纵向图卷积核的纵向图卷积层，再通过一个64个横向图卷积核的横向图卷积层(形状由18x274变为18x128再变为18x64)。将两条路径的最后特征再进行拼接，形状变为了18x128。第二个层次图卷积模块与第一个层次图卷积模块类似，只不过每一个图卷积层的特征个数都缩小了一倍，最后输出的形状随之变为了18x64。再经过三个和图4a中一样的全连接层后，形状变为分类数个，得到了对于每个类别下的逻辑概率。

在构建完毕训练时需要的层次图卷积神经网络模型后，针对于训练的样本和对应的标签，本实施例通过以下方法对该模型进行训练，并保存下模型文件到存储介质中。对于所有用于训练的样本，总共27470个样本，进行批梯度下降训练，即每次只送入网络模型一个批次共32个样本进行训练，将一个批次内用于训练的样本记作x，其对应的标签记作训练样本x在通过层次图卷积神经网络模型的识别后，得到模型的识别结果y。在本实施例中，训练的目的就是缩小标签和模型的识别结果y之间的差异，因此选择交叉熵损失函数用于描述和y之间的差异，其交叉熵损失函数如下：

其中代表交叉熵损失函数，n代表训练中识别任务的分类数。代表一个批次中的第i个样本属于第j个类别的概率，yij代表一个批次中的第i个样本在经过层次图卷积神经网络后的识别结果属于第j个类别的概率。本实施例在tensorflow平台上通过批梯度下降方法训练网络模型300个周期后，将模型文件保存至存储介质中去，以供癫痫状态识别模块进行识别任务。所述的一个周期指将所有训练数据都通过批梯度下降方法训练过一次。

本申请的一个优选实施案展示了癫痫状态识别模块的具体实施。

癫痫状态识别模块：当系统处于识别模式时，用于加载层次图卷积神经网络训练模块输出的模型文件，得到训练好的层次图卷积神经网络模型，并将脑电时频分析模块输出的不带标签的测试样本特征集作为层次图卷积神经网络模型的输入，输出识别结果。

常见的识别模块通常是一个癫痫发作二分类的识别任务，即只识别癫痫发作和癫痫非发作这两类。

本实施例中的癫痫状态识别模块具备多种任务识别模式，分别是癫痫发作2分类任务，癫痫预测2分类任务，癫痫发作3分类任务和癫痫发作5分类任务。

癫痫发作2分类任务用于识别非发作期和发作期。其中非发作期样本对应的标签为发作间期标签、发作前一期标签、发作前二期标签或发作前三期标签；发作期样本对应的标签为发作期标签。

癫痫预测2分类任务用于识别发作间期和发作前期。其中发作间期样本对应的标签为发作间期标签；发作前期样本对应的标签为发作前一期标签、发作前二期标签或发作前三期标签。

癫痫发作3分类任务用于识别发作间期、发作前期和发作期。其中发作间期样本对应的标签为发作间期标签；发作前期样本对应的标签为发作前一期标签、发作前二期标签或发作前三期标签；发作期样本对应的标签为发作期标签。

癫痫发作5分类任务用于识别发作间期、发作前一期、发作前二期、发作前三期和发作期。其中发作间期、发作前一期、发作前二期、发作前三期和发作期的样本对应的标签分别为发作间期标签、发作前一期标签、发作前二期标签、发作前三期标签和发作期标签。其中癫痫发作2分类是常用的识别任务，用于识别癫痫的发作；癫痫预测2分类任务时可以应用于临床监控的2分类任务，在识别到癫痫的发作前期时，可以提前报警，通知医生对患者进行防护或者救助；癫痫发作3分类是上述两个分类任务的结合；癫痫发作5分类则特别注重了在癫痫前期这一时间段，可以更好地对于癫痫前期的不同时刻进行报警，用于临床。另外地，这四个任务在模型识别上也是由易到难，其中癫痫发作5分类任务更是可以用于衡量模型的准确率高低，以及是否具有鲁棒性等等。

在本申请的一个实施案中，提供了一种终端和存储介质。

终端，它包括存储器和处理器；

其中存储器，用于存储计算机程序；

处理器，用于当执行所述计算机程序时，实现前述基于层次图卷积神经网络的癫痫脑电识别系统的功能。

需要注意的是，存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。上述的处理器为终端的控制中心，利用各种接口和线路连接终端的各个部分，通过执行存储器中的计算机程序来调用存储器中的数据，以执行终端的功能。处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然，该终端中还应当具有实现程序运行的必要组件，例如电源、通信总线等等。

示例性的，所述的计算机程序可以被分割为多个模块，每一个模块均被存储在存储器中，分割开来的每一个模块都可以完成具备特定功能的计算机程序指令段，该指令段用于描述计算机程序的执行过程。例如，可以将计算机程序分割成以下模块：

脑电信号采集模块：通过电极采集脑电信号数据；

脑电信号预处理模块：将获取到的脑电信号数据进行分割和归一化预处理；

癫痫状态标注模块：用于对已知癫痫发作时间段的样本数据进行标注，所述的癫痫状态标注模块设有第一控制开关，当系统处于配置模式时，第一控制开关开启，癫痫状态标注模块处于工作状态；当系统处于识别模式时，第一控制开关关闭，癫痫状态标注模块不参与系统工作；

脑电时频分析模块：用于对预处理后的脑电信号进行时域和频域的分析并提取特征，再根据系统的运行模式输出带标签的脑电时频域训练样本集或不带标签的脑电时频域测试样本集；

层次图卷积神经网络训练模块：配置有将脑电信号的时频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关，当系统处于配置模式时，第二控制开关开启，层次图卷积神经网络训练模块处于工作状态，读取脑电时频分析模块输出的带标签的脑电时频域特征训练样本集并对层次图卷积神经网络结构进行训练，生成模型文件；当系统处于识别模式时，第二控制开关关闭，层次图卷积神经网络训练模块不参与系统工作；

癫痫状态识别模块：当系统处于识别模式时，用于加载层次图卷积神经网络训练模块输出的模型文件，得到训练好的层次图卷积神经网络模型，并将脑电时频分析模块输出的不带标签的脑电时频域特征测试样本集作为层次图卷积神经网络模型的输入，输出识别结果。

以上模块中的程序在执行时均由处理器进行处理。

另外，在上述终端中，还可以进一步集成脑电信号获取设备，获取诊断对象的初始脑电信号后，可以存储在存储器中，然后通过处理器对其进行识别，直接输出识别结果。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。存储器作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的系统对应的程序指令或模块。处理器通过运行存储在存储器中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的功能。例如，u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。此外，上述存储介质以及终端中的多条指令由处理器加载并执行的具体过程在上述中已经详细说明。

本实施例用于展示一个具体的实施效果。本实施例中的脑电信号采集模块、脑电信号预处理模块、癫痫状态标注模块、脑电时频分析模块、层次图卷积神经网络训练模块、癫痫状态识别模块均采用上述描述的结构及功能，此处不再赘述。

实施过程为：包括配置过程和识别过程。首先设置系统处于配置模式，通过脑电信号采集模块获取脑电信号，然后由脑电信号预处理模块对脑电信号做归一化处理，并由癫痫状态标注模块进行标记，再通过脑电时频分析模块输出带标签的训练样本特征集，最后由层次图卷积神经网络训练模块根据训练样本特征集对图卷积神经网络进行训练，保存为模型文件。

配置结束后，将系统设置为识别模式，首选通过脑电信号采集模块获取被试者的脑电信号，然后由脑电信号预处理模块对脑电信号做归一化处理，再通过脑电时频分析模块输出不带标签的测试样本特征集，最后由癫痫状态识别模块直接加载训练好的模型文件，将测试样本特征集作为输入，得到识别结果。

基于实施例1中的数据集，用于实验的数据按7∶2∶1的比例分为三个部分，分别是训练集，验证集和测试集。其中训练集用于训练模型，验证集用于在训练的同时观测数据集是否过拟合以及是否需要提前终止训练，而测试集用于最终的测试。

所有二分类测试任务中存在四种测试指标，分别是灵敏度，特异度，精确度和准确度；所有多分类测试任务中仅仅测试准确度。假设一个二分类任务中，预测正例中预测正确的个数为tp，预测负例中预测错误的个数为fn，预测正例中预测错误的个数为fp，预测负例中预测正确的个数为tn。那么二分类任务中的灵敏度是指实际正例中预测正确的概率，公式为：

二分类任务中的特异度是指实际负例中预测正确的概率，公式为：

二分类任务中的精确度是指预测正例中预测正确的概率，公式为：

二分类任务中的准确度是指所有样例中预测正确的概率，公式为：

多分类任务中的准确度和二分类任务中的准确度定义相似，是指所有样例中预测正确的概率，公式为：

其中n指任务中的类别个数，ti和fi分别指第i个类别中预测正确和预测错误的样本个数。

在tensorflow基准测试平台上用geforcertx2080ti-nvidiagpu进行了交叉验证。交叉验证指对于所有受试者的数据一起打乱，并从中随机抽取数据组成训练集，验证集和测试集。为了保证抽取数据的随机性，在保证训练集，验证集和测试集的比例是7∶2∶1的条件下，随机生成了5次数据集进行测试后取平均结果进行验证，也叫5折交叉验证。

使用5折验证对多种模型进行了测试，为了公平起见，保证所有模型的特征点个数规模一致的情况下进行测试。所进行对比的模型包括了三个卷积神经网络(分别是普通卷积神经网络，一维卷积神经网络，残差卷积神经网络)，两个循环神经网络(分别是长短期记忆神经网络和双向长短期记忆神经网络)，两个循环卷积神经网络(分别是循环卷积神经网络和双向循环卷积神经网络)，以及图卷积神经网络和层次图卷积神经网络。

在交叉验证中测试任务包括前文提到的四个分类任务，分别是癫痫发作2分类、癫痫预测2分类、癫痫发作3分类和癫痫发作5分类这四个任务。癫痫发作2分类任务将测试灵敏度，特异性，准确度和精确度四个指标，以全方面评估不同指标下的分类能力；癫痫预测2分类任务，癫痫发作3分类和癫痫发作5分类任务仅测试准确度，以评估不同模型鉴别所有类别的综合能力。测试结果如下表1和表2所示：

表1各模型在癫痫发作2分类任务中的5折交叉验证

表2各模型在三个不同任务中的5折交叉验证

可以看到图卷积神经网络远远优于当前应用算法中的卷积神经网络，循环神经网络和循环卷积神经网络。在表1的任务癫痫发作2分类的四个指标下，当前流行的方法得到的结果明显不如本专利提到的方法。在表2更困难的三个任务癫痫预测2分类，癫痫发作3分类，癫痫发作5分类中，图卷积神经网络的方法要超越当前流行的算法至少5％，这是因为正确利用了采样系统中电极之间的图结构信息，使用了可以在非欧式空间上进行卷积的图卷积方法，而卷积神经网络和循环卷积神经网络错误地实现了卷积相邻通道信息的需求，循环神经网络忽略了该需求。在表2最困难的癫痫发作5分类任务中，层次图卷积神经网络比普通的图卷积神经网络在准确率上提高了3.78％，这是因为针对于特殊的图结构采用了纵向和横向两种图卷积层，设计了层次图卷积模块，分别处理了纵向和横向两种相邻的图关系，使得模型获得了更高的准确性和鲁棒性。

以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。