一种EEG信号的表示方法、分类方法、可视化方法及介质与流程

本发明涉及脑电信号分析与识别技术领域，特别涉及一种eeg信号的表示方法、分类方法、可视化方法及介质。

背景技术：

electroencephalogram是一种使用电生理指标记录大脑活动的方法，具有非侵入性，成本低的特点，是用于区分精神分裂症和抑郁症的理想方式。目前，eeg信号的表示方法主要是基于频段功率特性和时间点特性，但是，考虑到精神分裂症与抑郁症患者临床表现上具有相似性且患者的脑电信号的复杂性，为了完整地体现精神分裂症和抑郁症在eeg信号中的隐含信息与差异，需要一种更贴合区分精神分裂症和抑郁症的情形的egg信号的表示方法。

技术实现要素：

本发明的目的在于：提供一种更贴合区分精神分裂症和抑郁症的情形的egg信号的表示方法，能够完整地体现精神分裂症和抑郁症在eeg信号中的隐含信息与差异。

为了实现上述目的，本发明提供了以下技术方案：

一种eeg信号的表示方法，其包括：

对需要表示的多个通道的eeg信号进行预处理；将经过所述预处理后各个通道的eeg信号由时域转换至频域，并根据各个通道的egg信号在不同频率值下对应功率数据，得到需要表示的多个通道的eeg信号对应的灰度图。

根据一种具体的实施方式，本发明eeg信号的表示方法中，所述预处理包括：对需要表示的多个通道的eeg信号进行滤波操作，得到各个通道在相应频率范围的信号；以及对各个通道在该相应频率范围的信号进行伪迹去除操作。

根据一种具体的实施方式，本发明eeg信号的表示方法采用独立成分分析法，对各个通道在该相应频率范围的信号进行伪迹去除操作。

根据一种具体的实施方式，本发明eeg信号的表示方法采用快速傅里叶变换，将经过所述预处理后各个通道的eeg信号由时域转换至频域。

根据一种具体的实施方式，本发明eeg信号的表示方法中，得到所述灰度图的方式为：

i＝p'×255

其中，pmax、pmin分别表示每个通道eeg信号的最大功率和最小功率，p为每个通道对应频率的功率，p'为p归一化后的功率，i为p对应所述灰度图的像素点的灰度值。

基于同一发明构思，本发明还提供一种eeg信号的分类方法，其包括：

采集多个通道的eeg信号，并采用本发明eeg信号的表示方法，对采集的多个通道的eeg信号进行表示，得到相应的灰度图；

将所述灰度图输入至预先训练好的卷积神经网络进行分类识别，得到分类结果。

根据一种具体的实施方式，本发明eeg信号的分类方法采用五折交叉验证对所述卷积神经网络进行训练。而且，还采用包括平移、旋转、翻转和缩放中至少一项的图像处理手段对样本灰度图进行处理，以增加训练样本量。

基于同一发明构思，本发明还提供一种egg信号的可视化方法，其包括：

根据本发明eeg信号的分类方法中采用的卷积神经网络最后卷积层所输出的特征图的梯度，得到多个通道的eeg信号对应的热力图；将各个通道的eeg信号对应的灰度图与热力图叠加在一起，以可视化展示egg信号。

基于同一发明构思，本发明还提供一种计算机可读存储介质，其上存储有一个或多个程序，其特征在于，该一个或多个程序被一个或多个处理器执行时实现本发明eeg信号的表示方法或eeg信号的分类方法。

综上所述，与现有技术相比，本发明的有益效果是：

1、本发明eeg信号的表示方法，通过对需要表示的多个通道的eeg信号进行预处理，再将经过预处理后各个通道的eeg信号由时域转换至频域，并根据各个通道的egg信号在不同频率值下对应功率数据，得到需要表示的多个通道的eeg信号对应的灰度图。因此，本发明能够将杂乱的eeg信号转换成灰度图，从而以灰度图的形式完整地体现精神分裂症和抑郁症在eeg信号中的隐含信息与差异。

2、本发明eeg信号的分类方法，通过采集多个通道的eeg信号，并将采集的多个通道的eeg信号表示为相应的灰度图，然后，将得到的灰度图输入至预先训练好的卷积神经网络进行分类识别，得到分类结果。因此，本发明可避免医务人员手动地选择样本特征，以作为诊断依据，降低医务人员的劳动强度，提高样本的处理效率。

3、本发明egg信号的可视化方法，根据本发明eeg信号的分类方法中采用的卷积神经网络最后卷积层所输出的特征图的梯度，得到多个通道的eeg信号对应的热力图；将各个通道的eeg信号对应的灰度图与热力图叠加在一起，以可视化展示egg信号。因此，本发明能够更加直观地呈现精神分裂症和抑郁症在eeg信号中的隐含信息与差异，方便医务人员以此作为诊断依据。

附图说明：

图1为本发明16导联的脑电信号采集示意图；

图2为本发明eeg信号的表示方法的流程图；

图3为本发明由时域转换至频域时的eeg信号图；

图4为本发明的灰度图的示意图；

图5为本发明eeg信号的分类方法的流程图；

图6为本发明的卷积神经网络的训练流程和可视化流程示意图；

图7为本发明eeg信号的可视化方法的流程图；

图8为本发明可视化方法最终呈现图像的示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

如图1所示的16导联的脑电信号采集示意图，数据采集过程均在患者保持平静的状态下进行，记录患者在相继睁眼和闭眼状态下的16导联的脑电信号，每次状态保持5-10秒。

如图2所示，本发明eeg信号的表示方法，其包括：

对需要表示的16个通道的eeg信号进行预处理，具体的，采用eeglab对eeg信号进行预处理，具体的预处理包括：对需要表示的多个通道的eeg信号进行滤波操作，得到各个通道在相应频率范围的信号；以及对各个通道在该相应频率范围的信号进行伪迹去除操作。其中，滤波操作的目的为截取1～50hz的信号，同时，采用独立成分分析法对各个通道在该相应频率范围的信号进行伪迹去除操作，需要去除的伪迹包括眼电、眼动、头动等。

将经过预处理后16个通道的eeg信号由时域转换至频域，具体的，采用快速傅里叶变换，将经过预处理后16个通道的eeg信号由时域转换至频域，结果如图3所示，其中，将精神分裂症和抑郁症在闭眼状态下的信号样本均转换至频域，可以发现精神分裂症和抑郁症的信号样本在10hz左右所有电极的功率均会出现一个明显的峰值。

将16个通道的eeg信号由时域转换至频域后，在频域下将1-50hz下的数据导出为50行16列的矩阵，其中行数表示频率，列数表示导联数，矩阵中的数据表示导联下对应频率的功率值，再根据各个通道的egg信号在不同频率值下对应功率数据，得到需要表示的16个通道的eeg信号对应的灰度图，其结果如图4所示，图4中包含10个信号样本对应的灰度图。

在实施时，本发明eeg信号的表示方法中，得到灰度图的方式为：

i＝p'×255

其中，pmax、pmin分别表示每个通道eeg信号的最大功率和最小功率，p为每个通道对应频率的功率，p'为p归一化后的功率，i为p对应所述灰度图的像素点的灰度值。

如图5所示，本发明eeg信号的分类方法，其包括：

采集多个通道的eeg信号，具体采集方式如图1所示。

然后，采用本发明eeg信号的表示方法，对采集的多个通道的eeg信号进行表示，得到相应的灰度图。

最后，将得到的灰度图输入至预先训练好的卷积神经网络进行分类识别，得到分类结果。

具体的，本发明eeg信号的分类方法采用五折交叉验证对所述卷积神经网络进行训练，即将训练数据分成五部分，每次拿四部分进行训练，剩下一部分用来验证模型的精度；通过这种方法可以对模型进行五次独立的训练，最后取五次测试模型的精度平均值作为模型最后的验证精度。

在训练时，基于200个精神分裂症的信号样本和200个抑郁症的信号样本，仍然通过本发明eeg信号的表示方法，将信号样本转换为相应的灰度图，共计400张标记有相应分类标签的灰度图，如图4所示的包含10个信号样本对应的灰度图，其中灰度图下方的数字0和1为分类标签，0表示精神分裂症，1表示抑郁症。

然后，构建一个8层的浅层卷积神经网络，具体结构如表1所示。而且，整个卷积网络包含五种不同类型的层，具体为：convolutionlayer,poolinglayer,flattenlayer,dropoutlayer,denselayer。

表1：卷积神经网络的构成详细表

具体的，convolutionlayer：本层由许多的kernel组成。每个kernel是一个matrix，可以对输入的data进行卷积，每次卷积的stride为1。每个kernel卷积后产生一张featuremap。

poolinglayer：本层用于数据的下采样，以减少卷积层输出后的数据维度，可以有效减小计算量，防止过拟合。max-poolinglayer是在2×2的窗口中选择最大的值输入到下一层。

flattenlayer:可以将最后convolutionlayer的输出数据展成一列。

dropoutlayer:可以在训练时暂时隐藏部分神经元，以达到减小过拟合的目的。经过多次试验，本模型将dropoutrate设置为0.5。

denselayer:可以将之前提取的特征全部关联起来，映射到输出空间中。

训练时，其流程如图6所示，而且，本发明的卷积神经网络使用了两种激活函数，分别是relu和sigmoid，其中relu函数可以增加模型的非线性，让模型同时学习输入数据的线性变换和非线性变换，使模型对于输入数据的噪声更加具有鲁棒性。relu函数的计算公式为：

最后一层的激活函数选择sigmoid函数，用于计算最后模型输出某一类别的概率值，其中yc表示模型最后一层对于类别c的output，p表示输出该类别c的概率。sigmoid函数的计算公式为：

构建好卷积神经网络后，开始对模型进行训练，将样本分为320个训练集和80个验证集，经过多次试验，模型训练时的参数设置如下：选择优化器为rmsprop，学习率设置为10^-4，每次输入模型的样本批量为32，损失函数选择二元交叉熵。

此外，对于模型的分类结果一般采用混淆矩阵来表示，具体如表2所示。混淆矩阵是一个m×m的数表，其中m表示类别量，列表的行表示真实的样本类别，列表示预测的样本类别。例如对于一个二分类问题来说，其混淆矩阵则为2×2，通过这个矩阵我们可以得到其sensitivity、specificity、precision、recall等指标，而不是仅仅计算模型的精度，因此，常常利用sensitivity、specificity、f1-score、accuracy等指标来综合考量模型。具体的计算公式如下：

公式中tp表示truepositive，fp表示falsepositive，tn表示truenegative，fn表示falsenegative。

表2：卷积神经网络的构成详细表

为了增加卷积神经网络训练的样本量，避免出现过拟合问题，本发明还通过采用平移、旋转、翻转和缩放中至少一项的图像处理手段对样本灰度图进行处理，生成更多可信图像，以此让卷积神经网络学习到更多训练样本中的局部信息。

虽然，本发明提供的egg信号表示方法，能够以灰度图的形式完整地体现精神分裂症和抑郁症在eeg信号中的隐含信息与差异，但是，灰度图肉眼难以分辨，很难直接作为诊断依据。

因此，本发明还提供一种egg信号的可视化方法，如图7所示，其包括：

根据本发明eeg信号的分类方法中采用的卷积神经网络最后卷积层所输出的特征图的梯度，得到多个通道的eeg信号对应的热力图；将各个通道的eeg信号对应的灰度图与热力图叠加在一起，得到最终呈现的图像，以可视化展示egg信号，如图8所示。

具体流程如图6所示，本发明采用grad-cam(gradientclassactivationmap)对卷积神经网络进行可视化，以找出卷积神经网络最后作出分类决策的依据，换言之，最终得到的可视化图像亦可直接作为医务人员的诊断依据。

其中，为了获得interestingclassc的cam，首先计算对于classc的得分(即输入softmax层之前的值)关于最后一个卷积层输出特征图的梯度值。而这个梯度值可以理解为卷积层最后输出的特征图对于模型最后做出关于classc决策的重要性，即可以计算出特征图对于classc的权重。

其中，y^c为对应interestingclassc的分数(即输入softmax层之前的值)，为k张特征图对应的第(i,j)位置的像素，z为特征图的像素个数，为classc对应的第k张特征图的权重。

将所有权重与其对应的特征图a^k相乘并求和，取正值即得到classc的grad-cam。

其中，采用relu函数提取只对classc有正影响的像素，当cam与原图进行叠加后不会掺杂跟其它类别相关的像素点。

此外，本发明还提供一种可读存储介质，如rom存储设备、移动硬盘、u盘或者光盘等存储器，将一个或多个程序写入存储器中，并一个或多个处理器来执行该存储器中的程序。如此当该存储器中的程序被处理器执行时实现本发明eeg信号的表示方法或本发明eeg信号的分类方法或本发明egg信号的可视化方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。