基于卷积神经网络与注意力机制结合的关键路径识别方法

1.本发明涉及计算机视觉与医学领域，具体涉及一种基于深度模型的关键路径识别方法。


背景技术：

2.近年来，深度神经网络提供了处理非线性模块的便利，然而在处理一些复杂结构和数据依赖方面，仍然需要通过大量的抽象内容里面提取出带有有用信息的表达。而卷积神经网络在处理生物图像信息数据的问题上应用逐渐广泛，有很多生物医学检测，都运用了卷积神经网络方法，比如蛋白-rna绑定引用、预测具体dna、rna绑定蛋白的序列、以及识别非编码变量的功能影响，而许多非卷积神经网络的传统的神经网络则是用于处理一些非网格结构的生物数据。
3.但在处理一些特定功能的数据库数据上，例如数据集gse31210等，传统的卷积神经网络技术仍存在信息冗余、模型复杂度高、处理速度较慢的问题，导致分析结果出现一定偏差，在此基础上，需要通过对其进行改进，创造新的模型，来让此类数据处理有一个更好的提高。


技术实现要素：

4.基于上述原因，本发明需要提供一种方法，既能保留卷积网络并行学习、布局更接近于实际生物神经网络的优势，又能精准筛选重要信息，忽略大多不重要的信息。为实现上述目的，本发明采用以下技术方案。
5.基于卷积神经网络与注意力机制结合的关键路径识别方法，包括以下步骤：
6.(1)数据组织，获取原始数据集，对原始数据集采用交叉验证方式测试；
7.(2)数据预处理，对原始数据集的训练集和测试集进行主成分分析；
8.(3)根据基础网络主体特征提取结构；
9.(4)网络训练，利用基准网络模型，选择损失函数，调整网络超参数，对网络进行优化；
10.(5)通过x-gram技术，计算路径频率相关度，找到相关路径。
11.优选的，步骤(1)所述原始数据集选用数据集gse31210，交叉验证方式采用cross-validation5。
12.优选的，步骤(2)还包括：将训练集进一步分出一部分作为验证集，以控制训练过程。
13.优选的，主成分分析方法(pca)包括步骤：
14.(21)去除平均值；
15.(22)计算协方差矩阵；
16.(23)计算协方差矩阵的特征值和特征向量；
17.(24)将特征值排序；
18.(25)保留前n个最大的特征值对应的特征向量；
19.(26)将原始特征转换到上面得到的n个特征向量构建的新空间中。
20.优选的，损失函数选用triplet loss、identification loss以及center loss相融合的损失函数。
21.优选的，步骤(4)使用att-cnn作为基准网络模型，使用dropout防止过拟合的发生。
22.优选的，步骤(4)还包括：使用adam优化方法自动调节参数。
23.优选的，网络超参数调整包括：训练总周期设置为30，权重衰减参数为0.0001，批量大小为180，卷积核大小为2
×
2，核数量为64；生物数据经过了卷积层提取数据，再通过注意力机制，从通道和空间两个维度计算feature map和attention map，然后将attention map与输入的feature map相乘进一步提取特征。
24.优选的，步骤(5)包括：先将数据放入卷积与注意力层，之后经过全连接层，经过relu激活函数之后，找出热力图，对常见路径进行进一步分析；的路径。找到路径需要计算权值，具体公式如下：
[0025][0026]
有了权值之后，就可以开始进行计算特征图。具体公式如下：
[0027][0028]
其中，f
lk
(x,y)表示网络层第l层第k个特征映射的第x行第y列响应，表示权值，其中c为感兴趣类别，即待可视化的类别，mc表示各个特征映射的线性加权和，sc(f
l
)表示预测的卷积神经网络的预测的c类得分，sc(f
l
\f
lk
)指的是将第k个特征映射置为0后，卷积神经网络预测的c类得分，k为特征映射的总和。
[0029]
本发明的优点在于：
[0030]
传统的关键路径识别方法可解释性不够强，而本方案使用深度学习技术，将卷积神经网络与注意力机制结合，使网络更成熟，性能更好。
[0031]
对数据集进行了pca等预处理操作提取样本，既能够提高数据的利用率，又能够提高模型的泛化能力，提高了数据提取的有效性；将训练集进一步分出验证集，控制训练过程，有效地得到最佳状态；经过网络模型att-cnn模型训练，提升了传统方法的可解释性、auc以及准确性，采用x-gram方法找到关键性热力图，有助于了解一张原始图像的哪一个局部位置让att-cnn模型做出了最终的分类决策。
附图说明
[0032]
图1为本发明实施例的网络整体框图；
[0033]
图2为本发明实施例的测试流程图。
具体实施方式
[0034]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
一种基于卷积神经网络与注意力机制结合的关键路径识别方法，包括以下步骤：
[0036]
s1.对原始数据集采用cross-validation5(五折交叉验证)的方式进行测试，以gse31210数据集为例，将所有数据分为五份，将四份当成训练集，剩下的一份当成测试集，再重新随机分配，继续操作。
[0037]
s2.对原始数据集的训练集和测试集进行pca主成分分析，其目的是为了保证信息量不丢失的情况下，对原始特征进行降维，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大(方差最大)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。pca的具体步骤如下：
[0038]
s21.去除平均值
[0039]
s22.计算协方差矩阵
[0040]
s23.计算协方差矩阵的特征值和特征向量
[0041]
s24.将特征值排序
[0042]
s25.保留前n个最大的特征值对应的特征向量
[0043]
s26.将原始特征转换到上面得到的n个特征向量构建的新空间中，这一步实现了特征压缩。
[0044]
s3.在对数据集进行过相应的组织和上述的主成分分析之后，再对数据进行提取，即对本次实验所使用的基因表达式再次进行特征提取，此时的矩阵会被降解为互不相关的列，然后会组成一个新的矩阵，而此时的每一列即代表之前所提取出来的特征元素，对其进行重组，此时任务所需的矩阵便产生了。
[0045]
s4.数据预处理完之后，使用att-cnn作为基准网络模型，使用dropout防止过拟合的发生，并通过使用adam的方式不断的减小triplet loss、identification loss以及center loss相融合的损失函数，进行权重更新，网络优化。
[0046]
s5.对数据集使用已经训练好的网络进行训练之后，将结果放入grad-cam进行分析，分析结果通过准确率以及绘制受试者工作特征曲线(auc)来表示。
[0047]
将以上技术在gse31210数据集(包含肺癌患者和普通人的数据)上进行测试，相关参数和权重设置如下：
[0048]
网络训练总周期设置为30，权重衰减参数为0.0001，批量大小为180，卷积核大小为2
×
2，核数量为64；生物数据经过了卷积层提取数据，再通过注意力机制，从通道和空间两个维度计算feature map和attention map，然后将attention map与输入的feature map相乘进一步提取特征。
[0049]
如图2所示，通过输入数据，经过了卷积加注意力模块来提取特征，之后经过全连接层再一次提取特征，通过计算梯度来获得权值，求得grad-cam的初始值再进行计算，最后经过relu激活函数之后，找出热力图，将不必要的数据剔除，对常见路径进行进一步分析。
[0050]
找到路径需要计算权值，具体公式如下：
[0051][0052]
有了权值之后，就可以开始进行计算特征图。具体公式如下：
[0053][0054]
其中，f
lk
(x,y)表示网络层第l层第k个特征映射的第x行第y列响应，表示权值，其中c为感兴趣类别，即待可视化的类别，mc表示各个特征映射的线性加权和，sc(f
l
)表示预测的卷积神经网络的预测的c类得分，sc(f
l
\f
lk
)指的是将第k个特征映射置为0后，卷积神经网络预测的c类得分，k为特征映射的总和。
[0055]
最终，测试得到auc为75.1，准确率达到79.5。该方法在其他数据集上也取得了好的实验效果。
[0056]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。