肺炎的分类分割方法及系统与流程

1.本发明涉及图像处理技术领域，尤其涉及一种肺炎的分类分割方法及系统。


背景技术：

2.目前，在病毒性肺炎分类与分割的项目中，通常使用卷积神经网络算法来完成该项任务。通过将肺部区域从ct图像中提取出来，作为模型的输入数据，然后利用一个深度卷积神经网络(cnn)对输入数据进行降采样特征提取，降采样后分成两个分支，一个分支用cnn做上采样特征提取完成分割任务，另一个分支先后用cnn和fc完成进一步的特征提取，然后完成病毒性肺炎的分类任务。
3.然而，卷积神经网络的训练过程为一个黑盒的过程，即最终所呈现的结果并没有很强的解释性，这导致在训练的过程中，很难通过一些硬编码的手段对网络进行指导，导致的对肺炎种类的判断准确率不高。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供一种肺炎的分类分割方法及系统。
5.本发明解决上述技术问题的技术方案如下：
6.一种肺炎的分类分割方法，包括：
7.获取预设数量的包含肺炎的肺部ct图像并构建训练集；
8.通过所述训练集对预设的卷积神经网络进行训练，并通过损失函数对训练得到的输出结果进行迭代优化，所述卷积神经网络的输入为肺部ct图像，输出为肺炎区域、肺炎类别和肺炎征象；
9.获取待处理的肺部ct图像，将所述待处理的肺部ct图像输入到优化后的所述卷积神经网络中，得到所述待处理的肺部ct图像的肺炎区域和肺炎类别。
10.本发明解决上述技术问题的另一种技术方案如下：
11.一种肺炎的分类分割系统，包括：获取单元、卷积神经网络和迭代优化单元，其中：
12.所述获取单元用于获取预设数量的包含肺炎的肺部ct图像并构建训练集；
13.所述迭代优化单元用于通过所述训练集对预设的所述卷积神经网络进行训练，并通过损失函数对训练得到的输出结果进行迭代优化；
14.所述卷积神经网络的输入为肺部ct图像，输出为肺炎区域、肺炎类别和肺炎征象；
15.所述获取单元还用于获取待处理的肺部ct图像，将所述待处理的肺部ct图像输入到优化后的所述卷积神经网络中，得到所述待处理的肺部ct图像的肺炎区域和肺炎类别。
16.本发明的有益效果是：本发明提供的分类分割方法及系统，除了对肺炎类别本身对模型的监督外，还添加了对肺炎分类影响权重非常高的肺炎病灶征象特征进行辅助的监督，即在原有两个识别分支的基础上再加一个分支，新加的分支用来做n个是否存在特定征象的二分类任务，通过这个分支来对三个分支共享的网络结构进行辅助优化。通过这种辅
助监督的方式，让网络模型在学习的过程中更有方向性，从而提升了模型的准确性以及学习效率，进而提升分类与分割的准确度。
17.本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
18.图1为本发明分类分割方法的实施例提供的流程示意图；
19.图2为本发明分类分割方法的实施例提供的分类模型示意图；
20.图3为本发明分类分割方法的其他实施例提供的卷积模块示意图；
21.图4为本发明分类分割系统的实施例提供的结构框架示意图。
具体实施方式
22.以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
23.如图1所示，为本发明分类分割方法的实施例提供的流程示意图，该分类分割方法用于肺炎的分类分割，该方法包括：
24.s1，获取预设数量的包含肺炎的肺部ct图像并构建训练集。
25.需要说明的是，可以预先对包含肺炎的肺部ct图像的病灶进行标记，例如，可以标记为新冠肺炎、其他肺炎和健康肺部。
26.此外，为了通过肺炎征象对卷积神经网络进行优化，还需要提前对肺炎征象进行标记。
27.应理解，肺炎征象指的是用于确定肺炎所属类别的直观图像特征，例如，可以包括实变影、斑片影、磨玻璃影和条索影等。
28.以磨玻璃影为例，指的是肺炎的病灶区域出现了磨玻璃状的模糊区域，可以用于辅助肺炎的分类。
29.s2，通过训练集对预设的卷积神经网络进行训练，并通过损失函数对训练得到的输出结果进行迭代优化，卷积神经网络的输入为肺部ct图像，输出为肺炎区域、肺炎类别和肺炎征象。
30.需要说明的是，预设的卷积神经网络可以根据实际需求选择和设置，例如，resnet、vggnet或densenet等均可作为特征提取的深度卷积网络。
31.如图2所示，提供了一种示例性的分类模型示意图，包括cnn和损失函数，输入的训练集图像21经过cnn下采样层22下采样后，一路分别经过cnn上采样层23上采样输出分割结果，即肺炎区域25，另一路经过下采样层24和fc层输出分类结果，即肺炎类别26，又一路经过下采样层24和n个并行的fc层输出肺炎征象的判断结果，即肺炎征象27，然后通过3个损失函数28分别进行迭代优化，对以上分类模型进行训练，直到损失函数收敛后停止训练。
32.需要说明的是，n个并行的fc层中，每个fc层做的是判断图像中是否存在某一类征象的二分类任务，得到的最终结果是输入的图像中是否存在某肺炎征象的判断结果。
33.例如，假设肺炎征象包括实变影、斑片影、磨玻璃影和条索影，那么可以设置4个并行的fc层，得到4个判断结果，分别是实变影、斑片影、磨玻璃影和条索影的有无。
34.应理解，本领域技术人员可以根据实际需求选择损失函数，例如，可以为绝对值损失函数、log对数损失函数、平方损失函数或0
‑
1损失函数等。
35.s3，获取待处理的肺部ct图像，将待处理的肺部ct图像输入到优化后的卷积神经网络中，得到待处理的肺部ct图像的肺炎区域和肺炎类别。
36.在现有的技术中，使用神经网络进行病毒性肺炎的分类，仅从最终结果的方向对网络模型进行了监督，而本实施例提供的分类分割方法及系统，除了对肺炎类别本身对模型的监督外，还添加了对肺炎分类影响权重非常高的肺炎病灶征象特征进行辅助的监督，即在原有两个识别分支的基础上再加一个分支，新加的分支用来做n个是否存在特定征象的二分类任务，通过这个分支来对三个分支共享的网络结构进行辅助优化。通过这种辅助监督的方式，让网络模型在学习的过程中更有方向性，从而提升了模型的准确性以及学习效率，进而提升分类与分割的准确度。
37.可选地，在一些可能的实施方式中，获取预设数量的包含肺炎的肺部ct图像并构建训练集，具体包括：
38.获取预设数量的包含肺炎的肺部ct图像，对每张肺部ct图像中的肺炎区域进行标注，并对肺炎区域的肺炎类别和肺炎征象进行标注；
39.将标注后的预设数量的肺部ct图像作为训练集。
40.可选地，在一些可能的实施方式中，通过训练集对预设的卷积神经网络进行训练，具体包括：
41.通过卷积神经网络提取训练集中肺部ct图像的图像特征；
42.可选地，可以采用resblock与空间注意力和通道注意力相结合的方式作为基础block，即resblock+cbam，进行下采样提取图像特征，这样可以比一般的cnn在通道和空间两个层面上提取更加高质量的特征值。
43.基于图像特征，分别进行：
44.处理一：上采样，确定图像特征的肺炎区域预测；
45.处理二：下采样、全连接和激活函数处理，确定图像特征的肺炎类别；
46.处理三：下采样，并通过预设的n个全连接层确定图像特征是否存在对应的肺炎征象；
47.其中，n为肺炎征象的数量。
48.需要说明，本领域技术人员可以根据实际需求设置卷积神经网络的结构，例如，可以通过如图2的结构实现图像特征的提取和识别。
49.可选地，下采样层22可以为cnn
‑
cbam下采样层，实现提取图像特征，在进行处理一至处理三的特征处理过程之前，需要先经过下采样层22对图像进行特征提取。
50.经过下采样层22处理后的图像特征，其中一路通上采样层23进行二类别的mask预测，判断是否存在肺炎病灶区域；
51.另一路通过下采样层24降低特征维度，然后分为两路，其中一路进行处理二，通过fc层和激活函数来做肺炎的分类预测，例如，可以进行三分类的预测，分别是新冠病毒肺炎、其他病毒肺炎和无肺炎；另一路进行处理三，分别通过n个并行的fc层执行判断图像中是否存在某一类征象的二分类任务。
52.应理解，处理二及处理三的下采样处理可以共同使用下采样层24实现，
53.可选地，在一些可能的实施方式中，通过卷积神经网络提取训练集中肺部ct图像的图像特征，具体包括：
54.通过至少一个依次连接的卷积模块提取训练集中肺部ct图像的图像特征，其中，每个卷积模块根据以下步骤提取肺部ct图像的图像特征：
55.通过卷积层提取训练集中肺部ct图像的第一图像特征；
56.通过通道注意力层对第一图像特征进行处理，得到第二图像特征；
57.通过空间注意力层对第二图像特征进行处理，得到第三图像特征；
58.将第三图像特征与第一图像特征进行结合，得到当前卷积模块输出的图像特征。
59.需要说明的是，卷积模块的数量可以根据实际需求设置，通过使用一个深度卷积神经网络(cnn)进行downsample提取图像特征，这部分采用resblock与空间注意力和通道注意力相结合的方式作为基础block，即resblock+cbam，这样可以比一般的cnn在通道和空间两个层面上提取更加高质量的特征值。
60.如图3所示提供了一种示例性的卷积模块示意图，多个卷积模块彼此首尾相连，每个卷积模块包括：依次连接的卷积层100、通道注意力层200和空间注意层300和卷积层400。
61.卷积层100对图像进行卷积操作，得到特征f，通道注意力层200对特征f进行处理，得到特征f
′
，空间注意层300对特征f
′
进行处理，得到特征f
″
，然后卷积层400对和特征f
″
和特征f进行卷积操作，得到当前卷积模块的输出。
62.通过两种注意力机制的使用，能够提升特征提取质量，进一步提升模型预测准确性。
63.可选地，在一些可能的实施方式中，通过损失函数对训练得到的输出结果进行迭代优化，具体包括：
64.分别通过预设的损失函数计算肺炎区域、肺炎类别和肺炎征象的损失值，然后通过预设权重对损失值进行处理，根据得到的处理结果调整预设权重，直到得到的处理结果符合预设条件或达到预设迭代次数。
65.可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
66.如图4所示，为本发明分类分割系统的实施例提供的结构框架示意图，该分类分割系统用于肺炎的分类分割，包括：获取单元10、卷积神经网络20和迭代优化单元30，其中：
67.获取单元10用于获取预设数量的包含肺炎的肺部ct图像并构建训练集；
68.迭代优化单元30用于通过训练集对预设的卷积神经网络20进行训练，并通过损失函数对训练得到的输出结果进行迭代优化；
69.卷积神经网络20的输入为肺部ct图像，输出为肺炎区域、肺炎类别和肺炎征象；
70.获取单元10还用于获取待处理的肺部ct图像，将待处理的肺部ct图像输入到优化后的卷积神经网络20中，得到待处理的肺部ct图像的肺炎区域和肺炎类别。
71.本实施例提供的分类分割方法及系统，除了对肺炎类别本身对模型的监督外，还添加了对肺炎分类影响权重非常高的肺炎病灶征象特征进行辅助的监督，即在原有两个识别分支的基础上再加一个分支，新加的分支用来做n个是否存在特定征象的二分类任务，通过这个分支来对三个分支共享的网络结构进行辅助优化。通过这种辅助监督的方式，让网络模型在学习的过程中更有方向性，从而提升了模型的准确性以及学习效率，进而提升分类与分割的准确度。
72.可选地，在一些可能的实施方式中，获取单元10具体用于获取预设数量的包含肺炎的肺部ct图像，对每张肺部ct图像中的肺炎区域进行标注，并对肺炎区域的肺炎类别和肺炎征象进行标注；将标注后的预设数量的肺部ct图像作为训练集。
73.可选地，在一些可能的实施方式中，卷积神经网络20用于提取训练集中肺部ct图像的图像特征；基于图像特征，分别进行：
74.处理一：上采样，确定图像特征的肺炎区域预测；
75.处理二：下采样、全连接和激活函数处理，确定图像特征的肺炎类别；
76.处理三：下采样，并通过预设的n个全连接层确定图像特征是否存在对应的肺炎征象；
77.其中，n为肺炎征象的数量。
78.可选地，在一些可能的实施方式中，卷积神经网络20具体用于通过至少一个依次连接的卷积模块提取训练集中肺部ct图像的图像特征，其中，每个卷积模块根据以下步骤提取肺部ct图像的图像特征：
79.通过卷积层提取训练集中肺部ct图像的第一图像特征；
80.通过通道注意力层对第一图像特征进行处理，得到第二图像特征；
81.通过空间注意力层对第二图像特征进行处理，得到第三图像特征；
82.将第三图像特征与第一图像特征进行结合，得到当前卷积模块输出的图像特征。
83.可选地，在一些可能的实施方式中，迭代优化单元30具体用于分别通过预设的损失函数计算肺炎区域、肺炎类别和肺炎征象的损失值，然后通过预设权重对损失值进行处理，根据得到的处理结果调整预设权重，直到得到的处理结果符合预设条件或达到预设迭代次数。
84.可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
85.需要说明的是，上述各实施方式是与在先方法实施例对应的产品实施例，对于产品实施方式的说明可以参考上述各方法实施方式中的对应说明，在此不再赘述。
86.读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
87.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
88.上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可
以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
89.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。