一种基于注意力机制和迁移学习的COVID-19深度学习诊断系统的制作方法

一种基于注意力机制和迁移学习的covid
‑
19深度学习诊断系统
技术领域
1.本发明属于医学图像处理领域，涉及一种基于注意力机制和深度迁移学习的covid
‑
19早期辅助诊断系统。


背景技术：

2.covid
‑
19的早期诊断途径主要有两种，一种基于核酸检测，另一种基于医学影像识别。虽然核酸检测应用普遍，但是其基于逆转录聚合酶链反应原理检测特定核酸序列，实时性较差且对初始阶段的病毒识别敏感性较低，存在明显的漏诊隐患。相比之下，肺ct等医学影像识别方式具有实时性高、敏感性好、不易漏诊等优点。
3.在当前全球covid
‑
19疫情确诊人数持续快速增长的形势下，传统的ct图像人工判读的方式由于耗时费力、效率低下，已无法满足对covid
‑
19识别的快速响应需求。近年来，以卷积神经网络为代表的深度学习算法在图像识别和分类任务中取得了巨大的成功。本技术方案探究如何将深度学习技术应用于covid
‑
19早期的辅助诊断，以便能够省时省力，提高效率。


技术实现要素：

4.本发明的目的在于提供一种基于注意力机制和迁移学习的covid
‑
19深度学习诊断系统，解决了如何将深度学习技术应用于covid
‑
19早期的辅助诊断的技术问题，省时省力且大大提高了诊断效率。
5.一种基于注意力机制和迁移学习的covid
‑
19深度学习诊断系统，其特征在于，包括数据收集与存储模块，通过多渠道收集肺ct样本，构建动态数据库用于存储和动态更新肺ct样本；数据预处理模块，对所有肺ct样本进行标准化操作，并建立缓冲数据库，将预处理后的样本导入缓冲数据库作为神经网络的输入数据源；深度学习神经网络模型构造模块，通过引入迁移学习技术，并将迁移学习与预训练的深度卷积神经网络相结合，最后在预训练网络的基础上再引入注意力机制；模型训练与验证，按比例将ct图像样本随机分配到训练数据集和测试数据集中，训练数据集中的样本负责模型的训练，测试数据集中的样本负责模型的验证；模型诊断预测，将独立于训练集和测试集中的第三方ct图像输入到保存好的模型中，模型即可输出对该ct样本的诊断结果。
6.所述数据预处理模块的运行步骤包括：（1）将ct样本像素重组，即提取不同数据源ct样本图像像素，转换成像素矩阵，随后对样本像素矩阵规格进行统一，像素规格统一后，对像素大小进行归一化操作，最后再将处理后的像素矩阵转化为ct图像样本；（2）对ct样本进行初步筛选，即将上述处理后的ct样本分为两类，一类是covid
‑
19
阳性，一类是covid
‑
19阴性，对covid
‑
19阳性样本建立“positive”标签，对covid
‑
19阴性样本建立“normal”标签；（3）对ct样本扩展，即应用数据增强技术对样本进行扩展来生成更多样本；（4）建立缓冲数据库，即将上述预处理后的样本导入缓冲数据库，作为神经网络的输入数据源。
7.所述深度学习神经网络模型构造模块的运行步骤包括：（1）引入迁移学习技术，将迁移学习与预训练的深度卷积神经网络相结合，通过在网络中使用微调策略对重构的迁移网络进行微调以克服不同数据域之间的差异性；（2）在上述预训练网络的基础上引入注意力机制，可以自适应地选择关注图片中的关键区域特征信息而忽略其他不重要的信息，从而实现对图片关键区域的自动聚焦，注意力机制基于输入特征的空间关系进行建模，生成与之对应的空间注意力权重系数，使得网络更加关注权重系数较大的区域即局部关键特征。
8.所述迁移学习技术采用vgg
‑
16网络作为预训练网络，该网络的主要技术特征包括：卷积层均采用相同的卷积核；池化层均采用相同的池化尺寸；模型由若干卷积层和池化层以反复串联堆叠的方式构成，在形成较深的网络结构的同时，拥有更少的参数量和更多的非线性变换程式。
9.所述步骤（3）中，数据增强技术的具体操作步骤为：（1）首先对每幅图像样本在
±
15
°
的范围内进行随机旋转；（2）将随机旋转变换后的所有样本以0.5的概率进行随机水平翻转；（3）将随机水平翻转后的所有样本以0.5的概率进行随机垂直翻转；（4）利用直方图修正技术增强每一个图像样本的对比度；（5）统计此时两类样本的数量，若两类样本数量差距悬殊，则进行样本平衡处理，使两类样本的数量达到平衡，若两类样本数量差距较小，则无需进行样本平衡处理。
10.所述vgg
‑
16网络构建的具体操作步骤：（1）保留预训练网络中前2个block卷积组块；（2）分别将block3组块中的conv3
‑
3、block4组块中的conv4
‑
3、block5组块中的conv5
‑
3替换为sam模块，形成ml
‑
sam结构；其中，sam是注意力机制（attention mechanism）的缩写，ml
‑
sam是多级空间注意力机制（multi level spatial attention mechanism）的缩写；（3）在block5组块后加入batchnormalization层，加快模型训练过程的收敛速度；（4）在batchnormalization层后加入flatten层，把多维输入一维化，用于conv卷积层到dense全连接层的过渡；（5）在flatten层后加入dropout层，以缓解过拟合现象的发生；（6）在dropout层后依次加入dense全连接层和包含2个标签的softmax分类。
11.所述模型训练与验证的具体操作步骤：（1）随机选取80％的样本作为训练数据集，剩余20％的样本作为测试数据集；（2）使用多类交叉熵函数作为损失函数；（3）选择adam优化方案；（4）采用自适应的学习率调整策略，其中初始学习率设定为0.001，训练过程的迭
代次数设为100；（5）工作模式设置为gpu模式，该发明工作平台的软硬件配置为：64g内存、两块geforce rtx 2080 ti独立gpu显卡，操作系统为linux ubuntu，程序源码环境为python，深度学习框架为基于tensorflow后端的keras；（6）使用准确率作为衡量本发明中模型性能的指标，准确率是指在所有样本中做出正确预测的比例，或者说正确预测样本数占总预测样本数的比例，其表达式为： ,其中，tp表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；tn表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；p表示实际为正例的样本数；n表示实际为负例的样本数。
12.所述模型诊断预测模块中，诊断结果包括该ct样本所属的类别标签，即positive 或 normal，如果ct被判定为positive类，模型会进一步输出对该样本的诊断依据即病灶区域空间特征提取结果，那么ct样本特征信息最终被系统以可视化形式呈现出来。
13.在特征信息可视化呈现时，在测试集上选取了6幅实际属于positive标签且被诊断系统判定为positive标签的ct图像，将诊断系统提取到的图像特征信息进行可视化操作即绘制特征信息的热力图，为了便于对比，对于每个热力图，均给出相应的原始ct样本图像。
14.本发明基于收集到的肺部ct图像数据将深度学习技术应用于covid
‑
19肺炎的辅助识别和诊断，为了弥补数据样本的不足，本发明使用迁移学习策略，将迁移学习与预训练深度卷积神经网络相结合。在此基础上，通过在预训练主干网络结构中嵌入多级空间注意力机制（ml
‑
sam），实现弱监督条件下（即只需给出每张肺ct图像样本的分类标签属性而无需人为圈定病变区域）对关键特征的有效提取，最终构建了一种高效的基于ml
‑
sam和深度迁移学习卷积神经网络的肺ct自动诊断系统。
15.本发明将图像分类和关键特征提取两种应用场景很好地融合在一起，同时获得了较好的分类效果和较精准的关键特征提取结果。同时，本发明还具有较好的“可解释性”，不仅回答了“图像是什么”的问题，而且还可以通过将关键特征作为判据对分类问题背后的逻辑进行较为精准的解释。本发明在训练时只需给出ct样本的分类标签属性，无需对关键病灶区域进行人为圈定，通过自适应的ml
‑
sam完成关键特征多级聚焦，实现弱监督条件下对关键特征的有效提取，这意味着在实际应用中，本发明能最大限度降低人工干预成本，更加通用与高效。
16.本发明达成以下显著效果：（1）将深度学习技术应用于covid
‑
19早期辅助诊断，诊断过程（预测阶段）中无需人为因素的介入，排除了主观因素的干扰，有助于实现对肺ct快速有效的筛查，可节约大量的时间成本和人力成本。
17.（2）本发明建立了一种covid
‑
19辅助诊断系统，该系统将迁移学习策略和ml
‑
sam引入到深度学习框架中，只需给出ct样本的分类标签属性，无需对关键病灶区域进行人为圈定，通过自适应的ml
‑
sam完成关键特征多级聚焦，实现小样本、弱监督条件下对关键特征的有效提取。该系统在实际应用中将能准确地锁定ct上的关键病变区域，并以此为依据将
ct图像进行精准归类，整个诊断过程无需人为因素的介入，排除了主观因素的干扰，节约了大量的时间成本和人力成本。
附图说明
18.图1为本发明实施例中的深度学习诊断流程图。
19.图2为本发明实施例中数据增强前后部分的样本示意图。
20.图3为本发明实施例中vgg
‑
16的网络结构图。
21.图4 为本发明实施例中ml
‑
sam的结构示意图。
22.图5 为本发明实施例中神经网络模型架构图。
23.图6 为本发明实施例中输出的特征信息可视化热力示意图。
具体实施方式
24.为了能更加清楚说明本方案的技术特点，下面通过具体实施方式，对本方案进行阐述。
25.参见图1，一种基于注意力机制和迁移学习的covid
‑
19深度学习诊断系统，其特征在于，包括数据收集与存储模块，通过多渠道收集肺ct样本，构建动态数据库用于存储和动态更新肺ct样本；数据预处理模块，对所有肺ct样本进行标准化操作，并建立缓冲数据库，将预处理后的样本导入缓冲数据库作为神经网络的输入数据源；深度学习神经网络模型构造模块，通过引入迁移学习技术，并将迁移学习与预训练的深度卷积神经网络相结合，最后在预训练网络的基础上再引入注意力机制；模型训练与验证，按比例将ct图像样本随机分配到训练数据集和测试数据集中，训练数据集中的样本负责模型的训练，测试数据集中的样本负责模型的验证；模型诊断预测，将独立于训练集和测试集中的第三方ct图像输入到保存好的模型中，模型即可输出对该ct样本的诊断结果。
26.参见图2，所述数据预处理模块的运行步骤包括：（1）将ct样本像素重组，即提取不同数据源ct样本图像像素，转换成像素矩阵，随后对样本像素矩阵规格进行统一，像素规格统一后，对像素大小进行归一化操作，最后再将处理后的像素矩阵转化为ct图像样本；（2）对ct样本进行初步筛选，即将上述处理后的ct样本分为两类，一类是covid
‑
19阳性，一类是covid
‑
19阴性，对covid
‑
19阳性样本建立“positive”标签，对covid
‑
19阴性样本建立“normal”标签；（3）对ct样本扩展，即应用数据增强技术对样本进行扩展来生成更多样本；（4）建立缓冲数据库，即将上述预处理后的样本导入缓冲数据库，作为神经网络的输入数据源。
27.所述深度学习神经网络模型构造模块的运行步骤包括：（1）引入迁移学习技术，将迁移学习与预训练的深度卷积神经网络相结合，通过在网络中使用微调策略对重构的迁移网络进行微调以克服不同数据域之间的差异性；（2）在上述预训练网络的基础上引入注意力机制，可以自适应地选择关注图片中
的关键区域特征信息而忽略其他不重要的信息，从而实现对图片关键区域的自动聚焦，注意力机制基于输入特征的空间关系进行建模，生成与之对应的空间注意力权重系数，使得网络更加关注权重系数较大的区域即局部关键特征。
28.参见图3，所述迁移学习技术采用vgg
‑
16网络作为预训练网络，该网络的主要技术特征包括：卷积层均采用相同的卷积核；池化层均采用相同的池化尺寸；模型由若干卷积层和池化层以反复串联堆叠的方式构成，在形成较深的网络结构的同时，拥有更少的参数量和更多的非线性变换程式。
29.所述步骤（3）中，数据增强技术的具体操作步骤为：（1）首先对每幅图像样本在
±
15
°
的范围内进行随机旋转；（2）将随机旋转变换后的所有样本以0.5的概率进行随机水平翻转；（3）将随机水平翻转后的所有样本以0.5的概率进行随机垂直翻转；（4）利用直方图修正技术增强每一个图像样本的对比度；（5）统计此时两类样本的数量，若两类样本数量差距悬殊，则进行样本平衡处理，使两类样本的数量达到平衡，若两类样本数量差距较小，则无需进行样本平衡处理。
30.参见图3、图4和图5，所述vgg
‑
16网络构建的具体操作步骤：（1）保留预训练网络中前2个block卷积组块；（2）分别将block3组块中的conv3
‑
3、block4组块中的conv4
‑
3、block5组块中的conv5
‑
3替换为sam模块，形成ml
‑
sam结构；（3）在block5组块后加入batchnormalization层，加快模型训练过程的收敛速度；（4）在batchnormalization层后加入flatten层，把多维输入一维化，用于conv卷积层到dense全连接层的过渡；（5）在flatten层后加入dropout层，以缓解过拟合现象的发生；（6）在dropout层后依次加入dense全连接层和包含2个标签的softmax分类。
31.所述模型训练与验证的具体操作步骤：（1）随机选取80％的样本作为训练数据集，剩余20％的样本作为测试数据集；（2）使用多类交叉熵函数作为损失函数；（3）选择adam优化方案；（4）采用自适应的学习率调整策略，其中初始学习率设定为0.001，训练过程的迭代次数设为100；（5）工作模式设置为gpu模式，该发明工作平台的软硬件配置为：64g内存、两块geforce rtx 2080 ti独立gpu显卡，操作系统为linux ubuntu，程序源码环境为python，深度学习框架为基于tensorflow后端的keras；（6）使用准确率作为衡量本发明中模型性能的指标，准确率是指在所有样本中做出正确预测的比例，或者说正确预测样本数占总预测样本数的比例，其表达式为： ,其中，tp表示被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；tn表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；p表示实际为正例的样本数；n表示实际为负例的样本数。
32.参见图6，所述模型诊断预测模块中，诊断结果包括该ct样本所属的类别标签，即positive 或 normal，如果ct被判定为positive类，模型会进一步输出对该样本的诊断依据即病灶区域空间特征提取结果，那么ct样本特征信息最终被系统以可视化形式呈现出来。
33.在特征信息可视化呈现时，在测试集上选取了6幅实际属于positive标签且被诊断系统判定为positive标签的ct图像，将诊断系统提取到的图像特征信息进行可视化操作即绘制特征信息的热力图，为了便于对比，对于每个热力图，均给出相应的原始ct样本图像。
34.本发明基于收集到的肺部ct图像数据将深度学习技术应用于covid
‑
19肺炎的辅助识别和诊断，为了弥补数据样本的不足，本发明使用迁移学习策略，将迁移学习与预训练深度卷积神经网络相结合。在此基础上，通过在预训练主干网络结构中嵌入多级空间注意力机制（ml
‑
sam），实现弱监督条件下（即只需给出每张肺ct图像样本的分类标签属性而无需人为圈定病变区域）对关键特征的有效提取，最终构建了一种高效的基于ml
‑
sam和深度迁移学习卷积神经网络的肺ct自动诊断系统。
35.本发明将图像分类和关键特征提取两种应用场景很好地融合在一起，同时获得了较好的分类效果和较精准的关键特征提取结果。同时，本发明还具有较好的“可解释性”，不仅回答了“图像是什么”的问题，而且还可以通过将关键特征作为判据对分类问题背后的逻辑进行较为精准的解释。本发明在训练时只需给出ct样本的分类标签属性，无需对关键病灶区域进行人为圈定，通过自适应的ml
‑
sam完成关键特征多级聚焦，实现弱监督条件下对关键特征的有效提取，这意味着在实际应用中，本发明能最大限度降低人工干预成本，更加通用与高效。
36.本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述，当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。