基于端到端三维卷积神经网络预测EGFR基因突变状态方法

基于端到端三维卷积神经网络预测egfr基因突变状态方法
技术领域
1.本发明属于计算机视觉领域，涉及一种基于端到端三维卷积神经网络预测egfr基因突变状态方法，具体涉及一种利用神经网络架构来实现从ct图像中提取特征并进行基因预测的方法。


背景技术：

2.目前，诊断egfr突变状态的常用方法包括组织活检和液体活检，但存在许多局限性，包括：由于肿瘤的异质性，活检可能存在取样缺陷；活检需要满足侵入性活检的要求；活检可能增加癌症转移的潜在风险。其中，组织活检可能由于组织质量不高而失败，且成本相对较高；液体活检能够提取外周血而不是肿瘤组织进行检测，但可能会出现ctdna浓度低或无法浓缩的问题。
3.随着深度学习的发展，也出现了一些基于神经网络的模型，但这些方法大多依赖于经验丰富的医生或放射科医生对肿瘤边界的准确注释，费时费力，而且在注释结果可能伴随引入了一些主观的误差。虽然目前出现的一些方法放宽了对数据注释的要求，但仍需要放射科医生对肺结节进行粗略定位。最重要的是，提取的特征仅来自结节内部和注释肿瘤的边缘，其他重要的信息包括肿瘤的相对位置、肿瘤的大小和不同肺区域之间的相互作用都被忽略了。
4.现有的方法仅考虑结节内部及其边缘信息，依赖专家标注的结果，且无法利用肺部全部有效信息。


技术实现要素：

5.要解决的技术问题
6.为了避免现有技术的不足之处，本发明提出一种基于端到端三维卷积神经网络预测egfr基因突变状态方法，结合了多尺度的空洞卷积与非对称三维卷积的模块提取肺腺癌患者完整的肺部ct特征，将其在高维空间中变换与重组，利用肺部完整有效的信息进行肺腺癌患者egfr基因突变状态的预测。
7.技术方案
8.一种基于端到端三维卷积神经网络预测egfr基因突变状态方法，其特征在于步骤如下：
9.步骤1：对原始的三维肺部ct图像进行预处理，将ct图像中肺区以外的内容清空，并将ct通过样条插值的方式缩放至统一大小，即112
×
112
×
90；
10.步骤1a：通过u-net模型分割肺部，将肺区以外的区域置零；
11.步骤1b：通过样条插值的方式获得预处理结果，即大小为112
×
112
×
90，且位于视野中心的图像，保证x轴，y轴，z轴方向上的每一个切片都能切到肺部，保留肺部的细节特征；
12.步骤2：构建神经网络结构：采用稠密连接的多层卷积神经网络，用于提取目标的
总体特征，融合多尺度的特征；
13.步骤2a：提出的方法基于dense block，搭建四层稠密连接的卷积神经网络，将每一层的输出在通道维度连接，并作为下一层卷积的输入；
14.步骤2b：在层与层的连接过程中，引入了用于通道间特征融合与降维的瓶颈模块，具体是通过批归一化将特征分布改善为均值为0，方差为1的正态分布，再经过线性整流函数与1
×
1的卷积，达到降维的效果；
15.步骤2c：将多尺度多扩张非对称空洞卷积模块，嵌入在基线模型中，用于捕获局部微小特征，关注出现在肺癌病人的肺中不同方向、不同大小、不同角度的肺结节；
16.步骤3：以端到端的方式进行训练对神经网络结构，即将三维肺部ct图像数据集，使用交叉熵损失函数对神经网络结构进行训练，使用随机梯度下降sgd作为模型的优化器，动量为0.9；
17.在训练过程中，将批处理大小设置为6，并将模型的迭代次数设置为300，所有学习速率设置为0.01；将egfr突变型定义为1，egfr野生型定义为0，即模型输出结果越接近1越容易被判定为egfr突变型。对l2正则化系数的权值衰减设置为0.0004，以防止过拟合；
18.步骤4：将三维肺部ct图像数据输入训练后的端到端三维卷积神经网络，输入为全肺的ct图像，输出为预测结果即预测egfr基因突变状态。
19.有益效果
20.本发明提出的一种基于端到端三维卷积神经网络预测egfr基因突变状态方法，基于稠密连接的三维卷积结构为肺部提供端到端的全局特征提取处理，同时利用提出的多尺度空洞非对称模块捕获局部肺结节特征。在小范围内，利用多尺度空洞非对称模块对不同大小、方向、角度的肺结节特征进行处理，搜索输入三维图像中的每一处细节，由小到大将其稠密连接起来。在大范围内，利用密集网络将目标不同阶段、不同尺度的微小特征组合处理，从而提取到肺部全面的特征，利用特征变换与通道融合的思想将其更深层的信息提炼出来，最后经过全连接层和激活函数层得到模型的预测结果。
21.具体来说，所提出的方法有以下贡献：首先，所提出的方法是egfr突变状态预测领域历史上第一次无需任何预标注步骤的方法，大大减轻了医生的压力，避免了人工误差的引入。该模型直接学习完整的三维ct图像的特征，通过端到端的方式预测肺腺癌患者的egfr突变状态。第二，本发明首次使用在三维空间上输入完整的两个肺来预测egfr基因突变状态，并在实验中证明了egfr的突变状态不是仅表现在肺结节，同时也表现在患者的整个肺部。第三，所提出的模型由三维非对称卷积和三维多扩张密集卷积组成的密集连接模块组成，该模块的应用可使网络能够捕获不同方向的肺结节信息，而三维多扩张块的应用支持模型在不损失分辨率的情况下扩大模型的感受野，从而捕获ct的多尺度上下文信息，使得模型的预测性能得到进一步的提升。
22.本发明成功实现了利用神经网络从三维ct图像中端到端的预测肺腺癌病人egfr基因突变状态的功能，其在egfr突变状态领域具有如下优势：
23.本发明提出了一种深度学习模型，即三维密集连通非对称卷积和多扩展密度网来无创预测肺腺癌病人的egfr突变状态。同时也创新性地提出了一个研究egfr突变状态的新视角，即关于egfr状态的信息存在于完整的双肺中，而不仅仅存在于肺结节中。由于深度学习模型要求输入数据的维度是一致的，所以本发明提出了处理ct图像维度不一致问题的方
法。
24.首先，相比于传统的egfr突变状态预测模型，本发明提出的方法无需专业的放射科医生对结节进行边缘标注，甚至无需任何粗略的定位，从而具有更广阔的应用场景。同时，提出的方法巧妙地将目标全局特征处理器和肺结节局部特征提取器结合在一起，嵌入在目标三维预测网络中，将大范围的搜索问题分解成对小范围特征提取的问题，缓解了对三维目标预测时目标局部特征难以精准捕获的问题，并使得提出的三维形状形变模型可以端到端的训练，相比于传统的使用二维切片预测方法，本发明提出的方法基于三维图像，不会丢失深度方向上的信息。
附图说明
25.图1所示为本发明方法流程图。本发明方法旨在无创、快速、精准预测的高质量三维模型，直接通过输入目标的完整的三维ct图像，通过所提出的端到端的卷积神经网络提取特征并预测egfr基因突变状态。
26.图2所示为本发明方法与传统方法对比图。本发明所提出的3ddadd net框架是一个端到端的预测网络，没有任何分支，直接通过完整的肺部特征实现肺腺癌患者的egfr突变状态预测。它以一幅三维ct图像为输入，摒弃了传统方法中以二维肺结节切片序列或二维ct序列的输入方式，解决了人工标注费时费力且丢失肺部特征上下文信息的问题。它在基线稠密连接网络的基础上提出了用于捕获不同方向与多尺度背景下结节的局部特征提取器，能够很好的处理细节特征。
27.图3所示为本发明的模型框架图。模型的输入为一个肺腺癌病人完整的ct切片，每个卷积层网络的输入为前面的网络输出的拼接。密集网络的连通性有利于使用之前每一层学习到的所有特征，无需重复学习。每一层都由一个多扩张非对称卷积模块构成，提高了标准卷积的表达能力，涉及多膨胀卷积，在单个层中有不同的膨胀因子以建模不同的分辨率，避免密集连接的混叠问题。三维非对称卷积拓宽了模型特征提取的路径，提高了模型对肺结节某些变换风格的鲁棒性，如翻转和旋转。
具体实施方式
28.现结合实施例、附图对本发明作进一步描述：
29.从三维肺部ct图像中获取肺腺癌病人egfr基因突变状态的实现方法，其特征在于如下步骤：
30.步骤1：对原始的ct图像进行预处理。为了让模型更加关注患者的肺部，将肺区以外的内容清空，并将ct通过样条插值的方式缩放至统一的大小，即：112
×
112
×
90。
31.步骤1a：将ct输入u-net模型自动分割肺部，将肺区以外的区域置零。使模型在计算的过程中更加关注肺部，同时降低了肺区外的干扰。
32.步骤1b：使用样条插值的方法得到最终的预处理结果，即大小为112
×
112
×
90，位于视野中心的图像。保证x轴，y轴，z轴方向上的每一个切片都能切到肺部，最大程度的保留肺部的细节特征，并最大程度的利用实验室的设备。
33.步骤2：。
34.步骤2a：一般来说，三维整体平均特征反映了该类物体的全局空间结构信息。所提
出的方法基于dense block，搭建了四层稠密连接的卷积神经网络，将每一层的输出在通道维度连接，并作为下一层卷积的输入。这样能够加强特征的传递，更好的利用特征，有效减轻了梯度消失的问题。
35.步骤2b：在层与层的连接过程中，引入了用于通道间特征融合与降维的瓶颈模块，有效的减少了模型的计算量。具体来说，是通过批归一化将特征分布改善为均值为0，方差为1的正态分布，再经过线性整流函数与1
×
1的卷积，达到降维的效果。
36.步骤2c：构建多尺度多扩张非对称空洞卷积模块，嵌入在基线模型中，该模块用于捕获局部微小特征，关注出现在肺癌病人的肺中不同方向、不同大小、不同角度的肺结节。通过将扩张因子分别为1，2，4的三维空洞卷积密集连接起来，结合三维非对称卷积模块，提高了其对不同尺度三维特征的提取能力，对出现在肺部的结节进行地毯式搜索，精准打击。该模块出现在基线网络中的每一层，提高了网络对小特征的处理能力，提高了模型的预测性能。
37.步骤3：数据集来自遵义医科大学附属医院，有173例肺腺癌病人样本，其中119例为egfr突变型，54例为egfr野生型。本发明通过五折交叉验证的方法进行实验，目标是从有限的数据中获得尽可能多的有效信息，减少过拟合，并更好地评价模型的预测性能和泛化能力。在训练过程中，将批处理大小设置为6，并将模型的迭代次数设置为300。所有学习速率设置为0.01。所提出的方法将egfr突变型定义为1，egfr野生型定义为0，即模型输出结果越接近1越容易被判定为egfr突变型。使用交叉熵损失函数来训练上述神经网络，使用随机梯度下降(sgd)作为模型的优化器，动量为0.9。同时，对l2正则化系数的权值衰减设置为0.0004，以防止过拟合。
38.步骤4：根据数据集及以上实验参数设置训练模型。请注意，本发明全程以端到端的方式进行训练，即：输入为全肺的ct图像，输出为预测结果。
39.具体实施例：
40.下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
41.用于实施的计算机硬件环境是：因特尔xeon e5-2600 v3@2.6ghz 8-核cpu处理器，64gb内存，配备geforce gtx titan x gpu。运行的软件环境是：linux 16.0464位操作系统。本发明用python3.6.7以及tensorflow 2.1.0软件实现发明中提出的方法。
42.步骤1：构建数据集。
43.步骤1a：构建预测图像数据集。在获得贵州医科大学伦理委员会的批准后，所提出的方法回顾性分析了2018年10月至2020年11月遵义医科大学(中国贵州)附属医院经病理确诊的肺腺癌患者的数据。
44.在收集患者资料时，所提出的方法遵循的纳入标准如下：(1)患者经ct及组织学检查证实为原发性肺腺癌肿瘤；(2)患者有egfr基因突变检测结果；(3)1个月内获得肿瘤病理标本(4)ct图像资料完整。遵循的排除标准如下：(1)患者术前接受过抗肿瘤治疗(放疗、化疗或放疗)；(2)术后ct成像时间间隔大于1个月；(3)ct图像难以识别肿瘤边界(如肿瘤位于肺门或病变合并肺不张)；(4)肺肿瘤直径小于1cm或ct图像伪影；5)ct图像质量差，影响分割和特征提取。
45.筛查后，173例患者符合要求，其中男性75例，女性98例，年龄31-79岁，平均(58
±
10岁)。在这些患者中有57例吸烟者和116名不吸烟者。临床分期分布：i期80例，ii期9例，iii期21例，iv期63例。并与以往的深度学习方法进行了比较在使用roi图像进行预测时，还收集了两名分别具有5年和10年广泛诊断经验的放射科医生在每个患者的ct图像上的结节注释。不同的通过两名医生的协商，对标注过程中的问题进行解决，随机抽取50例数据进行二次标注，评估观察者间的一致性。
46.步骤1b：在ct图像的预处理阶段，为了有效地利用有限的设备内存，并使模型更加关注肺部，所提出的方法删除了三个轴方向上的空白位置，只留下包含肺的那部分体积，然后通过样条插值将其调整为112
×
112
×
90的大小。
47.步骤2：构建网络结构。
48.步骤2a：构建三维稠密连接的基线网络。所述的网络采用dense net网络，将输入的三维ct图像映射成一个表示egfr突变状态预测结果的向量。第一个卷积层由一个大小为7
×7×
7，膨胀系数为7，步长为1的卷积核构成，后接一个elu激活函数，将90
×
112
×
112的输入特征图转换为80
×
112
×
112的大小；从第二个卷积层开始，就使用了密集连接的多尺度多扩张非对称卷积模块，将其输出稠密连接，并作为下一层的输入；最后，将输出通过平均值池化层，后接全连接层，得到基因预测结果的输出。
49.步骤2b：构建用于捕获局部特征的多扩张非对称卷积模块。特征图首先通过一个三维非对称卷积层，其卷积核包括四种形式：3
×3×
3、1
×1×
3、3
×1×
1、1
×3×
1，特征图同时经过这四种卷积核的计算，输出为四种计算结果的加和；然后经过一个batchnorm3d层和elu层，将输出归一化，使之分布均匀并抑制过拟合；再经过一个多膨胀卷积层，即密集连接的三个膨胀系数分别为1，2，4的卷积层，卷积核大小均为3
×3×
3；然后再经过一个batchnorm3d层和elu层，将输出归一化，使之分布均匀并抑制过拟合；最后，输入变换层，将输出特征图的通道数变换为原来的一半，并通过最大值池化层减小特征图的大小。
50.步骤3：训练三维端到端egfr基因突变状态预测模型。本网络采用步骤1b所述的遵义医科大学提供的肺腺癌ct数据集。使用sgd优化器对网络的参数进行优化，最初的学习速率设置为0.01，每训练150个epoch，此学习率衰减为原来的10％。
51.步骤3a:给定一幅三维输入ct图像，第一层特征提取层对输入图像进行编码，得到大小为80
×
112
×
112的特征图。
52.步骤3b：将步骤3a得到的特征图输入到模型中，得到大小为1
×
2的特征向量，此为模型的预测结果。
53.步骤3c:使用交叉熵损失作为损失函数，将数据库给定的肺腺癌病人对应的组织活检结果和模型预测的egfr基因突变状态输入到损失函数。利用反向传播算法训练神经网络。
54.步骤3d:判断是否停止训练。继续训练则返回步骤3a,停止训练则进入到步骤4。
55.步骤4：训练完成的整体三维预测网络作为检测器，在测试集上预测目标的egfr基因突变状态。
56.步骤4a:将一幅三维ct图像输入到步骤3训练完毕的egfr基因突变状态预测网络，输出为大小为1
×
2的特征向量，此为模型的预测结果，代表突变型与野生型分别对应的概率。
57.步骤5：通过范永东等人在2013年发表的“模型选择中的交叉验证方法综述”中提
到的5折交叉验证法进行5次训练和测试，本发明提出的方法在遵义医科大学173例肺腺癌ct数据集中获得了0.79的auc和0.77的acc。