肺部感染CXR图像自动识别方法、系统、存储介质及终端

肺部感染cxr图像自动识别方法、系统、存储介质及终端
技术领域
1.本发明人工智能医学中的图像分割技术领域，涉及肺炎图像的自动识别，尤其涉及一种肺部感染cxr图像自动识别方法、系统、存储介质及终端。


背景技术：

2.新型冠状病毒感染(covid-19)疾病的迅速传播给许多国家的医疗系统造成了前所未有的压力。针对病毒感染，通常表现为上呼吸道感染或肺炎，也可进一步发展为急性呼吸衰竭、多器官衰竭和死亡。现有的临床诊断与治疗中，胸部x射线（cxr）摄影仍然是筛查、分类以及诊断各种肺炎的主要手段，包括细菌性、病毒性和其他类型的肺炎。人工智能（ai）的最新发展为放射诊断应用的快速增长提供了新的潜在机会，为了基于cxrs诊断常见的肺和心脏疾病，还研究了使用弱监督分类或基于注意的卷积神经网络的ai模型。因此，通过机器学习的方法，自动提取出图像中的相关的病理图像特征，再基于图像特征进行肺炎的判断，满足了临床医生的实际需求。
3.肺炎自动识别方法在这几年有着广泛的研究，这些方法可以分为基于统计学习的传统肺炎识别方法和基于深度学习的肺炎识别方法。但是深度学习方法在许多医学图像分析任务中都优于传统的机器学习方法，包括检测、分类和分割等任务。
4.深度学习在自然图像识别的各项任务中都取得了长足的进步，alexnet（2012）的出现扩展了lenet的深度开启了深度学习做图像处理的先河，深度神经网络得到广泛应用。vggnet（2014）通过增加网络深度，减小卷积核尺寸，进一步提高了深度学习的性能。resne（2015）使用残差模块来组成更复杂的网络，使用标准随机梯度下降法训练。该结构能够减少模型训练过程中的梯度消失。在测试中将imagenet数据集的识别率降低到3.57%。同年，inception增加了网络的深度的同时也增加了网络的宽度，使用不同大小的卷积核提取特征，同时计算不同大小卷积，然后分别把他们的结果连接，然后将这些滤波器的输出沿通道维度堆叠并传递到下一层，可以获得输入图像的不同信息，并行处理这些运算并结合所有结果将获得更好的图像表征。在进一步发展，研究人员对三维图像产生兴趣，三维图像有着更多的空间特征。研究者提出采用三维卷积神经网络应用在三维数据中，从而在三维目标识别任务中取得进步。
5.现有技术中，也有将深度学习方法应用于肺炎识别任务中：chexnet是一个121层密集卷积网络在huast-ray14数据集上训练，有效的提升了肺炎识别的效果；还有使用卷积神经网络（cnn）分析假定早期诊断和更好的病人处理基于肺炎的迹象。
6.此外，申请号为202011184333的发明专利申请就公开了一种基于肺部非均匀池化的新型冠状病毒感染ct图像处理方法，其包括以下步骤：s1、基于fpn的全自动肺分割算法；s2、双肺中心线的识别；s3、肺部池化操作；s4、基于肺部池化的卷积神经网络。其中，在步骤s1中，其构建了基于densenet121的特征金字塔全卷积神经网络，从ct图像中全自动地分割出肺部区域。该特征金字塔全卷积神经网络fpn使用在imagenet中预训练好权重的densenet网络作为基础网络，然后通过特征金字塔的形式从densenet中的每一个dense块
中抽取最后一层卷积层的输出作为多尺度的特征，然后将不同尺度的特征逐级上采样并进行拼接，最后，通过全卷积网络的方式得到分割出的肺区域，即肺部目标区域roi。该分割算法通过构建基于densenet121的特征金字塔全卷积神经网络，在卷积神经网络进行池化时将肺部区域的特征进行放大，对肺外的区域进行压缩，排除冗余特征，强化肺内图像信息，提高了新型冠状病毒感染ct图像处理方法精度，同时不依赖任何人工标注图像，提高了算法的实用性。
7.申请号为202010666696的发明专利申请也公开了基于深度学习的新型冠状病毒感染患者康复时间预测方法及系统，该发方法包括获取新型冠状病毒感染患者的多天的ct序列图像，对多天的ct序列图像进行预处理；分别输入至肺叶分割模型和肺炎分割模型，分别提取多天的肺叶区域面积与病灶区域面积；通过多天的病灶区域面积与肺叶区域面积的比值计算获得多天的病变区域面积比例值；使用多天的病变区域面积比例值r拟合高斯过程模型，预测新型冠状病毒感染患者康复时间。本发明以densenet做backbone的deeplab v3+框架和3d unet架构进行肺叶和肺炎区域的分割，分割快速有效，且高斯过程可以准确预测病人的康复时间，为医疗资源分配作参考。
8.与上述两篇专利文献一样，现有技术中也有基于densenet网络的肺炎图像识别网络。但是，现有技术中，densenet网络通常具有多层稠密块，每层稠密块都会与前面所有层的稠密块连接在一起，作为下一层稠密块的输入。且稠密块与稠密块之间在进行连接时，该连接为单支结构，如图1所示，其包括卷积核为1*1以及卷积核为3*3的两个卷积层，两个卷积核步长分别是4k、k。该结构的densenet网络虽能实现肺炎图像的自动识别，但是由于这种稠密连接网络会造成数据的压缩操作提取的特征不全面，从而提取到的肺炎多尺度特征有限，肺炎图像的自动识别效果较差。


技术实现要素：

9.本发明的目的在于：为了解决上述现有技术中存在稠密连接网络因数据压缩造成肺炎图像自动识别效果较差的技术问题，本发明提供一种肺部感染cxr图像自动识别方法、系统、存储介质及终端。
10.本发明为了实现上述目的具体采用以下技术方案：一种肺部感染cxr图像自动识别方法，包括以下步骤：步骤s1，获取样本数据获取cxr图像样本以及对应的胸部病理标签；步骤s2，搭建稠密连接densenet网络搭建稠密连接densenet网络，稠密连接densenet网络包括多层稠密块，每层稠密块与前面所有层的稠密块通过稠密连接进行连接，下一层稠密块通过反馈连接与前面所有层稠密块进行连接，且每个稠密块抽取最后一层卷积层的输出并沿靠近输入方向逐级上采样、卷积操作后输入至第一层稠密块；稠密块与稠密块之间的稠密连接、反馈连接均包括并列设置的左连接分支、右连接分支，左连接分支包括两个卷积层，右连接分支包括四个卷积层；步骤s3，训练稠密连接densenet网络采用步骤s1中获取的cxr图像样本、胸部病理标签对稠密连接densenet网络进行
训练，得到成熟的稠密连接densenet网络；步骤s4，实时识别将实时获取的cxr图像输入步骤s3得到的成熟的稠密连接densenet网络，输出胸部病理识别结果。
11.进一步地，步骤s1中，cxr图像样本以及对应的胸部病理标签来自于chestx-ray14数据集，其中包括30805名患者的112120张正面x射线图像，并对每张x射线图像标注了最多14种不同的胸部病理标签。
12.进一步地，步骤s2中，左连接分支包括依次设置的卷积核为1*1且步长为2k、卷积核为3*3且步长为k/2的两个卷积层，右连接分支包括依次设置的卷积核为1*1且步长为2k、卷积核为3*3且步长为k/2、卷积核为3*3且步长为k/2、卷积核为3*3且步长为k/2的四个卷积层。
13.进一步地，步骤s3中，在训练稠密连接densenet网络时，采用的加权二值交叉熵损失函数为：为：其中，为网络输入的样本，为网络输出的二进制标签，；为网络分配给标签1的概率，为网络分配给标签0的概率，、分别表示样本中肺炎阳性病例、阴性病例的数量。
14.更进一步地，步骤s3中，在训练稠密连接densenet网络时，使用0.001的初始学习率，每次验证损失在一个时代之后趋于稳定时，它都会衰减10%，并选择验证损失最低的模型；每一次迭代学习之后，网络判断肺炎识别结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
15.一种肺部感染cxr图像自动识别系统，包括：样本数据获取模块，用于获取cxr图像样本以及对应的胸部病理标签；稠密连接densenet网络搭建模块，用于搭建稠密连接densenet网络，稠密连接densenet网络包括多层稠密块，每层稠密块与前面所有层的稠密块通过稠密连接进行连接，下一层稠密块通过反馈连接与前面所有层稠密块进行连接，且每个稠密块抽取最后一层卷积层的输出并沿靠近输入方向逐级上采样、卷积操作后输入至第一层稠密块；稠密块与稠密块之间的稠密连接、反馈连接均包括并列设置的左连接分支、右连接分支，左连接分支包括两个卷积层，右连接分支包括四个卷积层；稠密连接densenet网络训练模块，用于采用样本数据获取模块中获取的cxr图像样本、胸部病理标签对稠密连接densenet网络进行训练，得到成熟的稠密连接densenet网络；实时识别模块，用于将实时获取的cxr图像输入稠密连接densenet网络训练模块得到的成熟的稠密连接densenet网络，输出胸部病理识别结果。
16.一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
17.一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
18.本发明的有益效果如下：1、本发明中，在稠密块与稠密块之间不仅设置有向输出方向进行连接的稠密连接，还沿输入方向进行连接的反馈连接，通过稠密连接以及反馈连接，能够接受自身信息形成有效的环路更加符合生物神经网络结构结合上下文去训练模型共享参数信息;将稠密连接以及反馈连接均设置为采用双分支结构，可以对数据进行无压缩操作，从而提取到肺炎多尺度的特征，加深网络可以获得更好的肺炎识别效果；此外，还对每个稠密块抽取最后一层卷积层的输出并沿靠近输入方向进行逐级上采样、卷积操作后输入至第一层稠密块，其能够提升图像的分辨率同时在上采样时进行连接将底层位置信息与深层语义相融合，最后输入至第一个稠密块，这样再进行训练可以提取更多维度的特征，有助于模型性能的提升。
19.2、本发明中，采用基于稠密连接网络的结构，采用链接的操作可以使任何层学习到的特征图都可以被后续的其它层使用，这使得特征可以再次利用，模型变得更加紧凑，达到参数更少小模型可以显著地节省带宽，降低存储开销，计算更快，抗拟合能力强。
20.3、本发明中，采用优化的加权二值交叉熵损失函数对网络模型进行训练，直接优化目标评价的指标，使得模型可以得到更加充分的训练。
21.4、本发明中，采用训练好的网络可用于肺炎的快速检测与识别，大大节省了初级筛查的人力物力，为后续医护人员提供更加精准的检测结论。
附图说明
22.图1是现有的densenet网络中稠密块与稠密块之间的连接的结构示意图；图2是本发明的流程示意图；图3是本发明中稠密连接densenet网络的结构示意图；图4是本发明的densenet网络中稠密块与稠密块之间的连接的结构示意图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
24.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例1本实施例提供一种肺部感染cxr图像自动识别方法，其通过搭建一个稠密连接densenet网络，并对该网络模型进行训练，训练完成后的网络模型即可实现对肺炎cxr图像的自动识别。该识别方法如图2所示，具体包括以下步骤：步骤s1，获取样本数据
获取cxr图像样本以及对应的胸部病理标签。
26.步骤s1中，cxr图像样本以及对应的胸部病理标签来自于chestx-ray14数据集，其中包括30805名患者的112120张正面x射线图像，并对每张x射线图像标注了最多14种不同的胸部病理标签。
27.将患有肺炎的图像作为一种带注释的病理标记为阳性例子，并将所有其他图像标记为阴性例子。在肺炎检测任务中，将cxr图像样本的数据集随机分为训练训练（28744例患者，98637张图像）、验证（1672例患者，6351张图像）和测试（389例患者，420张图像），相邻两组之间没有重叠。在将cxr图像样本输入网络之前，将cxr图像样本缩小到224
×
224，并根据imagenet训练集中cxr图像样本的均值和标准差进行归一化。
28.步骤s2，搭建稠密连接densenet网络搭建如图3所示的稠密连接densenet网络，稠密连接densenet网络包括多层稠密块，每层稠密块与前面所有层的稠密块通过稠密连接进行连接，下一层稠密块通过反馈连接与前面所有层稠密块进行连接，且每个稠密块抽取最后一层卷积层的输出并沿靠近输入方向逐级上采样、卷积操作后输入至第一层稠密块。
29.且稠密块与稠密块之间的稠密连接、反馈连接如图4所示，其包括并列设置的左连接分支、右连接分支，左连接分支包括两个卷积层，右连接分支包括四个卷积层。
30.左连接分支包括依次设置的卷积核为1*1且步长为2k、卷积核为3*3且步长为k/2的两个卷积层，右连接分支包括依次设置的卷积核为1*1且步长为2k、卷积核为3*3且步长为k/2、卷积核为3*3且步长为k/2、卷积核为3*3且步长为k/2的四个卷积层。
31.上一层的左路依次通过1*1卷积层、3*3卷积层连接至过滤器连接，上一层的右路依次通过1*1卷积层、3个3*3卷积层连接至过滤器连接。该稠密连接densenet网络除了将原本的主干分支（即左连接分支）的filter减半，还添加了一个新的分支（即右连接分支），在新的分支中使用了3个3x3大小的卷积，这个分支感受野就会变得与7x7卷积一样；这样就提取得到的特征就不只是单一尺度，能够同时兼顾小目标和大目标；在稠密连接densenet网络中，过渡层是用于将特征图空间分辨率缩小的，并且过渡层中通道数会小于前一层的通道数：而发现这个操作会减弱网络特征的表达能力，于是在本网络中将过渡层和前一层通道数设置为一样的数值，这样可以更好地获得表达能力。
32.步骤s3，训练稠密连接densenet网络采用步骤s1中获取的cxr图像样本、胸部病理标签对稠密连接densenet网络进行训练，得到成熟的稠密连接densenet网络。
33.步骤s3中，在训练稠密连接densenet网络时，采用的加权二值交叉熵损失函数函数为：为：其中，为网络输入的样本，为网络输出的二进制标签，；为网络分配给标签1的概率，为网络分配给标签0的概率，、分别表示样本中肺炎阳性病例、阴性病例的数量。
34.在训练稠密连接densenet网络时，使用0.001的初始学习率，每次验证损失在一个时代之后趋于稳定时，它都会衰减10%，并选择验证损失最低的模型；每一次迭代学习之后，网络判断肺炎识别结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
35.步骤s4，实时识别将实时获取的cxr图像输入步骤s3得到的成熟的稠密连接densenet网络，输出胸部病理识别结果。
36.实施例2本实施例提供一种肺部感染cxr图像自动识别系统，具体包括：样本数据获取模块，用于获取cxr图像样本以及对应的胸部病理标签。
37.样本数据获取模块中，cxr图像样本以及对应的胸部病理标签来自于chestx-ray14数据集，其中包括30805名患者的112120张正面x射线图像，并对每张x射线图像标注了最多14种不同的胸部病理标签。
38.将患有肺炎的图像作为一种带注释的病理标记为阳性例子，并将所有其他图像标记为阴性例子。在肺炎检测任务中，将cxr图像样本的数据集随机分为训练训练（28744例患者，98637张图像）、验证（1672例患者，6351张图像）和测试（389例患者，420张图像），相邻两组之间没有重叠。在将cxr图像样本输入网络之前，将cxr图像样本缩小到224
×
224，并根据imagenet训练集中cxr图像样本的均值和标准差进行归一化。
39.稠密连接densenet网络搭建模块，用于搭建如图3所示的稠密连接densenet网络，稠密连接densenet网络包括多层稠密块，每层稠密块与前面所有层的稠密块通过稠密连接进行连接，下一层稠密块通过反馈连接与前面所有层稠密块进行连接，且每个稠密块抽取最后一层卷积层的输出并沿靠近输入方向逐级上采样、卷积操作后输入至第一层稠密块。
40.且稠密块与稠密块之间的稠密连接、反馈连接如图4所示，其包括并列设置的左连接分支、右连接分支，左连接分支包括两个卷积层，右连接分支包括四个卷积层；左连接分支包括依次设置的卷积核为1*1且步长为2k、卷积核为3*3且步长为k/2的两个卷积层，右连接分支包括依次设置的卷积核为1*1且步长为2k、卷积核为3*3且步长为k/2、卷积核为3*3且步长为k/2、卷积核为3*3且步长为k/2的四个卷积层。
41.上一层的左路依次通过1*1卷积层、3*3卷积层连接至过滤器连接，上一层的右路依次通过1*1卷积层、3个3*3卷积层连接至过滤器连接。该稠密连接densenet网络除了将原本的主干分支（即左连接分支）的filter减半，还添加了一个新的分支（即右连接分支），在新的分支中使用了3个3x3大小的卷积，这个分支感受野就会变得与7x7卷积一样；这样就提取得到的特征就不只是单一尺度，能够同时兼顾小目标和大目标；在稠密连接densenet网络中，过渡层是用于将特征图空间分辨率缩小的，并且过渡层中通道数会小于前一层的通道数：而发现这个操作会减弱网络特征的表达能力，于是在本网络中将过渡层和前一层通道数设置为一样的数值，这样可以更好地获得表达能力。
42.稠密连接densenet网络训练模块，用于采用样本数据获取模块中获取的cxr图像样本、胸部病理标签对稠密连接densenet网络进行训练，得到成熟的稠密连接densenet网络。
43.稠密连接densenet网络训练模块中，在训练稠密连接densenet网络时，采用的加
权二值交叉熵损失函数函数为：为：其中，为网络输入的样本，为网络输出的二进制标签，；为网络分配给标签1的概率，为网络分配给标签0的概率，、分别表示样本中肺炎阳性病例、阴性病例的数量。
44.在训练稠密连接densenet网络时，使用0.001的初始学习率，每次验证损失在一个时代之后趋于稳定时，它都会衰减10%，并选择验证损失最低的模型；每一次迭代学习之后，网络判断肺炎识别结果的总误差大小，如果当前误差小于上一个迭代的误差，就保存当前模型，然后继续训练，直到达到最大迭代次数。
45.实时识别模块，用于将实时获取的cxr图像输入稠密连接densenet网络训练模块得到的成熟的稠密连接densenet网络，输出胸部病理识别结果。
46.实施例3本实施例提供一种存储介质，该存储介质为计算机可读存储介质，该存储介质中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述肺部感染cxr图像自动识别方法的步骤。
47.其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述肺部感染cxr图像自动识别方法的步骤。
48.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本技术实施例所述肺部感染cxr图像自动识别方法。
49.实施例4本实施例提供一种终端，该终端可以是计算机设备，该终端包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述肺部感染cxr图像自动识别方法的步骤。
50.其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
51.所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d界面显示存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器
也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述肺部感染cxr图像自动识别方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
52.所述处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述肺部感染cxr图像自动识别方法的程序代码。