一种心电信号多分类方法及装置与流程

本发明涉及心电信号分类技术领域，具体涉及一种心电信号多分类方法、装置以及计算机存储介质。

背景技术：

计算机辅助诊断在临床心电工作流程中起着至关重要的作用。近年来，随着可供使用的数字心电图数据越来越多，相比传统的基于规则和手工特征的心电图算法，基于深度学习的心电图算法在准确性和扩展性上的优势已开始慢慢凸显。然而，大部分现有的工作都是仅针对某个或某几个特定的心电图异常类别设计专属的神经网络，且从零开始训练，并没有利用一些成熟领域的已有成果。这种针对具体问题，设计专有网络，从零开始训练的方法，在样本数量充足的情况下尚且可行，无非计算所需的时间多一些。但是当样本数量不足，比如某些罕见疾病，从零开始训练得到的模型往往泛化能力较差。

此外，由于实际中的心电图往往包含多种异常，即多个类别标签，相比单标签(仅包含一种异常)问题，多标签分类的结果更多，难度更大。现有的方法主要包括：(1)基于临床知识和专家意见，构建图来建模各类心电图异常之间的关系，以此来修正最终的分类预测结果；(2)基于计算机视觉中的注意力机制，对心电图的局部图片标签关系建模；(3)基于rnn(循环神经网络)的方法建模。上述针对多标签问题的解决方法，第一种受限于人的先验知识，后面两种受限于方法固有的缺陷，比如第二种——rnn无法处理过长的数据，rnn由于其本身网络结构的原因，存在严重的短期记忆问题，当数据序列过长时，即使是对判断结果起到重要作用的信息，也可能被模型忽略掉，最终使得识别准确度下降。那对于多标签的情况，如果标签序列间隔比较远，它们之间的关系，就可能无法被rnn模型捕捉到。第三种受限于注意力机制无法处理全局关系,注意力机制，简单的理解就是只关注重点，而不关注全局。有点类似人看图片，当给定一张图片时，人实际上并没有看清图片的全部内容，而是将注意力集中在图片的某一些焦点上。这样所带来的缺点也很明显，就是无法捕捉到序列间的相对位置信息。对于给定的一串序列，注意力机制因为只关注局部的一段序列，很显然会遗漏其它不在关注区域的信息，某些细微处的特征也就无法被捕捉到，从而导致多标签分类精度不高。

技术实现要素：

本发明的目的在于克服上述技术不足，提供一种心电信号多分类方法、装置以及计算机存储介质，解决现有技术中分类模型的训练需要从零开始，且分类精度低的技术问题。

为达到上述技术目的，本发明的技术方案提供一种心电信号多分类方法，包括以下步骤：

获取原始心电信号，为所述原始心电信号标注类别标签；

根据原始心电信号生成心电频谱图，建立频谱图样本集；

基于所述频谱图样本集对计算机视觉网络进行迁移学习，提取所述心电频谱图的频谱图特征；

基于所述频谱图特征建立有限图，以所述有限图作为输入，以类别标签作为输出，对图神经网络进行训练，得到心电信号的多分类模型；

根据所述多分类模型对心电信号进行分类得到多分类结果。

本发明还提供一种心电信号多分类装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述心电信号多分类方法。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述心电信号多分类方法。

与现有技术相比，本发明的有益效果包括：本发明利用已经训练到的计算机视觉网络迁移至心电频谱图上，提取到频谱图特征，然后通过图神经网络的训练，融合各频谱图特征，得到多分类模型。由于利用了计算机视觉网络作为基础进行迁移学习，因此不需要从零开始训练，降低了对训练数据的数量要求，且减少了训练时间。同时，在利用计算机视觉网络提取局部频谱图特征的基础上，利用图神经网络对各频谱图特征进行融合，提取全局特征，避免了空间信息的丢失，提高了多分类的精度。

附图说明

图1是本发明提供的心电信号多分类方法一实施方式的流程图；

图2是本发明提供的生成心电频谱图一实施方式的示意图；

图3是本发明提供的图神经网络一实施方式的结构示意图；

图4是本发明提供的多分类模型以及关系分类器一实施方式的训练过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了心电信号多分类方法，包括以下步骤：

s1、获取原始心电信号，为所述原始心电信号标注类别标签；

s2、根据原始心电信号生成心电频谱图，建立频谱图样本集；

s3、基于所述频谱图样本集对计算机视觉网络进行迁移学习，提取所述心电频谱图的频谱图特征；

s4、基于所述频谱图的特征建立有限图，以所述有限图作为输入，以类别标签作为输出，对图神经网络进行训练，得到心电信号的多分类模型；

s5、根据所述多分类模型对心电信号进行分类得到多分类结果。

本实施例收集原始心电信号，并标注类别标签，但是并没有利用原始心电信号直接进行训练建模，而是用原始心电信号生成心电频谱图，得到用于训练的频谱图样本集。将原始心电信号转换成心电频谱图，是为了匹配计算机视觉网络的模型框架，因为计算机视觉网络的输入是图片，可看作二维灰度图像数据，而心电信号是一维的数据，通过生成心电频谱图实现匹配计算机视觉网络的目的。心电频谱图的能量主要集中在0-25hz，因此优选去掉>25hz的部分，这样可降低训练数据的维度，从而降低训练的复杂度，提高模型训练速度。将大型图像数据集上已训练好的计算机视觉网络迁移到心电频谱图上，然后对心电频谱图上的训练过程进行微调，最后通过图神经网络融合频谱图特征，完成对心电信号的多分类。

本实施例通过引入迁移学习，在一定程度上缓解了训练数据样本不足的限制。而使用图神经网络基于提取的频谱图特征进行训练，可自动学习频谱图特征之间的局部和全局关系，避免了空间信息的丢失，克服了传统神经网络易丢失空间信息的不足，既提取了局部特征，又提取了全局特征，在一定程度上提高了分类的效果。

优选的，根据原始心电信号生成心电频谱图，具体为：

将所述原始心电信号的各导联信号分别切割为等长的片段；

对每一所述片段进行快速傅里叶变换，得到所述片段的频谱图；

对同一导联各片段的频谱图进行归一化处理，得到各导联的频谱图；

对各导联的频谱图进行拼接，得到所述心电频谱图。

优选的，对同一导联各片段的频谱图进行归一化处理，得到各导联的频谱图，具体为：

其中，gfi为第i个导联的频谱图，ewiⁿ表示第i个导联的第n个片段，fft()表示快速傅里叶变换，max()表示取最大值，ewi^j表示第i个导联的第j个片段，j＝1,2,…,n,n为第i个导联的片段数量；

快速傅里叶变换使用的窗函数为hamming窗:

由于心电图的能量主要集中在0-25hz范围的低频部分，所有，我们只选用了前25％的频谱系数以降低输入数据的维度。这里，为了计算的方便，每个导联的频谱图设置为维度相同：125*200。

优选的，对各导联的频谱图进行拼接，得到所述心电频谱图，具体为：

按导联进行信号值方向上的拼接，得到多个导联组的频谱图；

对多个导联组的频谱图进行时间轴上的拼接，得到所述心电频谱图。

具体的，如图2所示，以常见的12导联的心电信号为例，首先对各导联分段求fft，得到每个导联的心电频谱图后，再按照如下方法将12个导联的频谱图进行组装集成，心电频谱图包括心电信号值方向(一般为y轴)，还包括时间方向(一般为x轴)：

①分别对以下导联组进行信号值方向上的拼接：

g1＝(i,ii,iii)

g2＝(avl,avr,avf)

g2＝(v1,v2,v3)

g2＝(v4,v5,v6)

其中，g1、g2、g3、g4分别为第一导联组、第二导联组、第三导联组、第四导联组的频谱图，i、ii、iii、avl、avr、avf、v1、v2、v3、v4、v5、v6分别表示i、ii、iii、avl、avr、avf、v1、v2、v3、v4、v5、v6导联的频谱图。

②沿着时间方向将上述导联组进行二次拼接得到心电频谱图，维度为375*800：

gf＝(g1,g2,g3,g4)

其中，gf为心电频谱图。

优选的，基于计算机视觉网络进行迁移学习，提取所述心电频谱图的频谱图特征，具体为：

所述计算机视觉网络为googlenet网络，将所述googlenet网络的softmax层的维度设置为分类类别数量，利用修改后的googlenet网络对所述心电频谱图进行迁移学习，得到所述心电频谱图的频谱图特征。

本发明中计算机视觉网络可以采用vgg、resnet、googlenet等网络。本实施例选用googlenet网络提取频谱图特征，通过保留在大型图像数据集上训练好的googlenet网络全连接层前面的所有网络结构参数，将最后的softmax层的维度更改为对应的心电图的多分类数，进行迁移学习，输出多分类标签。

本实施例所选用的网络为googlenet，结构如下表所示：

表1、googlenet网络结构表

具体的，本实施例选用的图神经网络结构如图3所示，其共包含2个卷积层+池化层组成的结构、1个全连接层、1个激活函数层(relu)。将全连接层的输入修改为计算机视觉网络提取的频谱图特征，即修改为计算机视觉网络的卷积层输出。针对表1中的googlenet网络，可选取inception(4d)层(即卷积层)，大小为14x14x528的特征输出作为图神经网络的输入。

优选的，基于所述频谱图特征建立有限图，具体为：

g＝(v,e)

其中，g为有限图，v为顶点，由频谱图特征向量构成，e为边，表示各顶点之间的关系。

将大小为14x14x528的特征输出重新组合成196个528维的特征向量，以此来构建图谱，表示为g＝(v,e)其中顶点v是维度为1x528的特征向量，边e表示特征向量的邻接关系，当两者邻接时，值为1，不邻接时值为0。经过图神经网络训练后，实现对高级频谱图的特征的融合，完成多分类结果的输出。

优选的，还包括：

以心电频谱图的类别标签作为输入、以标签关系矩阵作为输出，对图卷积网络进行训练，得到多标签关系分类器；

结合所述多分类模型以及所述关系分类器获取待分类信号的多分类结果。

具体的，如图4所示，本优选实施例在已经训练得到的多分类模型，即模块a的基础之上，训练模块b，即关系分类器，模块a将传统计算机视觉网络的全连接层替换为一图神经网络，克服了传统神经网络易丢失空间信息的不足，既提取了局部特征，又提取了全局特征，在一定程度上提高了分类的效果。模块b通过训练多标签之间的关系，进一步改善了多标签分类的准确度。

具体的，模块b通过训练一用于捕获心电图异常类别标签之间关系的图网络模型，改进多分类的效果，避免了对人先验知识的依赖，且其效果要优于手工提取的多标签关系，进一步改善了多标签分类的准确度。

优选的，以心电频谱图的类别标签作为输入、以标签关系矩阵作为输出，对图卷积网络进行训练，得到多标签关系分类器，具体为；

将各心电频谱图的类别标签转换为词嵌入向量；

统计各心电频谱图中两个标签同时出现的概率，得到概率矩阵；

以所述词嵌入向量作为输入，以相应的概率矩阵作为输出，对所述图卷积网络进行训练，得到所述关系分类器。

训练一word2vec网络，完成对每个类别标签的词嵌入向量表示；统计训练样本集的同一心电频谱图中标签两两之间同时出现的次数，以及标签的总数量；根据同时出现的次数、标签总数量确定训练集的概率矩阵，即邻接矩阵；将词嵌入向量和邻接矩阵输入图卷积网络开始训练。当对多标签关系建模训练后，得到一图网络多标签关系分类器。

优选的，结合所述多分类模型以及所述关系分类器获取待分类信号的多分类结果，具体为：

根据所述多分类模型获取所述待分类信号的多分类标签，得到多分类标签矩阵；

根据所述关系分类器获取所述待分类信号的多标签关系矩阵；

对所述多分类标签矩阵与所述多标签关系矩阵进行点乘操作，得到修正后的多分类标签矩阵；

根据修正后的多分类标签矩阵得到最终的多分类结果。

根据模块a得到的修正后的多标签结果，根据模块b得到的多标签关系矩阵后，只需将经过模块a后得到的多分类矩阵，与经过模块b后得到的标签关系矩阵进行点乘操作，就可输出最后的多分类结果。

实施例2

本发明的实施例2提供了心电信号多分类装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的心电信号多分类方法。

本发明实施例提供的心电信号多分类装置，用于实现心电信号多分类方法，因此，心电信号多分类方法所具备的技术效果，心电信号多分类装置同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的心电信号多分类方法。

本发明实施例提供的计算机存储介质，用于实现心电信号多分类方法，因此，心电信号多分类方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。