一种肺癌放疗危及器官肺和心脏的自动分割方法与流程

1.本发明涉及图像处理技术领域，具体为一种肺癌放疗危及器官肺和心脏的自动分割方法。


背景技术：

2.肺癌起源于肺部支气管黏膜或腺体的恶性肿瘤，发病率和死亡率增长最快，是对人群健康和生命威胁最大的恶性肿瘤之一，目前关于肺癌等恶性肿瘤的治疗方案中，放射治疗发挥了不可替代的作用，其中有七成左右的肺癌患者需要接受放射治疗，放射治疗的根本目的是利用高能量的放射线杀死体内癌细胞，并且在照射过程中最大限度的将照射剂量集中到靶区以杀灭肿瘤细胞，同时使周围的危及器官少受或免受不必要的照射，由于肺部区域临近心脏等重要器官，所以高剂量的放射线可能会损伤心脏等重要器官，因此肺癌放疗计划中要准确分割危及器官。
3.为实现肺癌的精准放疗，医生需要在放疗前根据患者的ct影像分割出危及器官并制定放疗计划，传统的分割方式是经验丰富的专家手工逐一对成百上千张ct影像进行危及器官分割工作，这种高强度的工作会导致医生在分割危及器官过程中疲劳、走神，影响分割的准确度，且危及器官的分割结果依赖医生的临床经验，分割质量存在不确定性。


技术实现要素：

4.本发明的目的在于提供一种肺癌放疗危及器官肺和心脏的自动分割方法，具备自动精准分割肺部ct影像中危及器官优点，解决了目前肺癌放疗危及器官分割中过分依赖医生经验，且医生工作量大容易导致分割质量不确定性的问题。
5.为实现上述目的，本发明提供如下技术方案：一种肺癌放疗危及器官肺和心脏的自动分割方法，所述方法包括：
6.步骤一、将肺器官ct影像数据集和心脏器官ct影像数据集输入数据预处理模块；
7.步骤二、数据预处理模块对肺器官ct影像数据集和心脏器官ct影像数据集进行数据清洗，将清洗后的肺器官ct影像数据集分为训练集和验证集，将清洗后的心脏器官ct影像数据集分为训练集和验证集；
8.步骤三、构建ralp-net算法模块，搭建cbr模块和maxpool层，对ct影像进行下采样，搭建encoder group模块，提取ct影像中的全局特征信息，搭建rspp模块，融合ct影像中多尺度特征信息，搭建decoder group模块，所述decoder group模块包括ddl解码模块和decoder1模块，所述ddl解码模块包括decoder解码模块、dam模块和alck模块，decoder解码模块对ct影像的特征信息进行解码，dam模块融合编码和解码阶段的特征信息，dam模块输出的特征信息与alck模块输出的特征信息进行点乘融合后输出，搭建decoder1模块解码特征信息，搭建deconv反卷积层用于还原图像尺寸，最后搭建激活函数relu层和conv卷积层输出处理后的影像；
9.步骤四、使用肺器官训练集结合ralp-net算法模块构建肺器官分割模型，用于对
患者的肺器官进行自动分割工作，使用心脏器官训练集结合ralp-net算法模块构建心脏器官分割模型，用于对患者的心脏器官进行自动分割工作；
10.步骤五、使用肺器官验证集和心脏器官验证集分别验证步骤四训练得到的肺器官分割模型和心脏器官分割模型，保存最优肺器官分割模型和最优心脏器官分割模型；
11.步骤六、若训练迭代次数未完成，则继续调用心脏器官训练集和肺器官训练集训练心脏器官分割模型和肺器官分割模型，并验证、保存最优模型，当训练迭代次数完成时，进入部署模型阶段；
12.步骤七、将得到的最优心脏器官分割模型和最优肺器官分割模型分别部署在cpu服务器上；
13.步骤八、将患者胸腔ct影像输入影像预处理模块，再将处理之后的胸腔ct影像分别输入肺器官分割模型和心脏器官分割模型，肺器官分割模型自动分割胸腔ct影像中的肺器官，得到肺器官分割结果，心脏器官分割模型自动分割胸腔ct影像中的心脏器官，得到心脏器官分割结果，将肺器官分割结果和心脏器官分割结果输入模型结果融合模块进行融合输出，得到危及器官分割结果。
14.优选的，所述cbr模块包括conv卷积层、bn层和激活函数relu层，用于下采样提取ct影像的特征信息，所述bn层用于标准化模型训练参数，所述maxpool层用于保留ct影像中的强特征信息，所述encoder group模块包括encoder1模块、encoder2模块、encoder3模块和encoder4模块，以上模块均由cbr模块和cb模块组成，cb模块包括conv卷积层和bn层，所述decoder group模块包括ddl4、ddl3、ddl2和decoder1模块，所述ddl4、ddl3、ddl2模块均由decoder模块、dam模块、alck模块组成，所述decoder模块由cbr模块、deconv层、bn层和cb模块组成，decoder group模块对ct影像的特征信息进行上采样，恢复从encoder group模块和rspp模块提取的全局语义特征图，且encoder group模块中的全局信息通过skip connection与decoder group模块中的特征信息进行融合，弥补由于连续卷积和池化导致的信息丢失，所述deconv层利用反卷积上采样ct影像特征信息，还原ct影像分辨率，所述激活函数relu层用于增加模型的非线性泛化能力，所述conv卷积层用于提取ct影像特征信息，确定特征信息输出的通道数。
15.优选的，所述rspp模块采用残差金字塔池化结构，分为并行layer1、layer2、layer3和layer4四层，依靠多个有效感受野来检测不同尺寸的图像，layer1、layer2、layer3、layer4层分别由不同参数量的maxpool层和conv卷积层、upsample层组成，maxpool层分别采用2*2、3*3、5*5和6*6的参数形式对上下文的信息进行编码，rspp模块采用conv卷积层压缩特征信息的通道数，采用upsample双线性插值对低维度的特征图进行上采样，获得和原始影像相同尺寸的影像，最后将不同尺度的特征信息按通道维度拼接在一起输出。
16.优选的，所述ddl模块中的decoder模块、dam模块和alck模块依次串行组合，dam模块将encoder group模块和decoder模块的信息相加融合，然后分别在空间和通道维度上捕获上下文信息，将空间和通道维度上产生的特征信息和原输入的特征信息利用相加和相乘的操作融合输出到alck模块中，经过alck模块处理后输出的特征信息与dam输出的特征信息利用skip connection进行点乘融合后输出。
17.优选的，所述dam是双注意力机制模块，包括channel attention模块和spatial attention模块，所述channel attention模块首先将输入的特征信息在空间维度分别通过
avgpool池化和maxpool池化操作，来压缩输入特征图的空间信息，然后将生成的两组特征信息转发到一组由多层感知器组成的conv卷积层处理，最后将两组特征信息相加融合输出，从而产生通道注意力映射，公式如下：
18.ca＝conv[avgpool(input)]+conv[maxpool(input)]
[0019]
input是输入的ct影像特征信息，conv表示将特征信息进行卷积层处理，avgpool表示将特征信息进行平均池化层处理，maxpool表示将特征信息进行最大池化层处理；
[0020]
所述spatial attention模块首先将输入的特征信息在通道维度分别通过求均值和极值的操作，来压缩输入特征图的通道信息，然后将生成的两组特征信息在通道维度进行拼接融合，最后经过一个卷积层再将通道信息进行压缩，生成空间注意力映射，公式如下：
[0021]
sa＝conv{concate[mean(input),max(input)|}
[0022]
input是输入的ct影像特征信息，conv表示将特征信息进行卷积层处理，concate表示将特征信息在通道维度上进行拼接处理，mean表示将ct影像的特征信息在通道维度上进行求均值处理，max表示将ct影像的特征信息在通道维度上进行求最大值处理；
[0023]
所述dam模块将channel attention模块和spatial attention模块进行融合，公式如下：
[0024]
sum12＝sum(input1,input2)
[0025]
dam＝sum[ca(sum12),sum12]+mul[sa(sum12),sum12]
[0026]
input1和input2分别是从ralp-net算法模块的编码器环节和解码环节输入的两组特征信息，sum表示将两组特征信息相加融合，mul表示将两组特征信息相乘融合，ca表示经过channel attention模块处理，sa表示经过spatial attention模块处理。
[0027]
优选的，所述alck是非对称大卷积核模块，卷积核大小由k参数调整，通过增大k值来扩大感受野，alck采用了非对称卷积设计，用于减小因扩大感受野增加的参数量。
[0028]
与现有技术相比，本发明的有益效果如下：
[0029]
1、本发明提出的深度学习ralp-net分割算法通过加入encoder编码和decoder解码技术，对ct影像的全局信息和局部信息进行融合，具有自动精准分割肺部ct影像中危及器官的优点，可以在肺癌放疗工作过程中，辅助医生进行危及器官肺和心脏的分割工作，不仅提高了分割的准确性，而且提高了医生的工作效率，使得危及器官分割更加客观、准确，解决了目前肺癌放疗危及器官分割中过分依赖医生主观经验，且医生工作量大容易导致分割质量不确定性的问题。
[0030]
2、本发明提出的分割算法ralp-net采用深度学习方法训练，相比传统的机器学习分割算法，ralp-net分割算法无需专家手工提取患者ct影像中的特征，ralp-net能够自动学习到ct影像中的判别性特征，且端到端的输出分割结果，极大简化了模型的训练和测试过程。
[0031]
3、本发明提供的ralp-net分割算法通过双注意力机制dam和非对称大卷积核alck模块的设置，在减少模型参数的同时，保证了分割精度，仅需使用少量的数据集就可以训练出效果较好的模型，大大降低计算成本，有效提高了分割的效率。
[0032]
4、本发明在放疗过程中实施危及器官自动分割方法，在放疗需求不断增加的背景下，对医疗资源缺乏的地区更具公平性，并且ralp-net算法模块可以修改内部参数，训练成
为除肺和心脏外其他危及器官的分割模型，具有一定的工程实践价值和理论研究价值。
附图说明
[0033]
图1为本发明的总体架构图；
[0034]
图2a为本发明中ralp-net算法模块的结构图；
[0035]
图2b为本发明ralp-net算法模块中rspp模块的结构图；
[0036]
图2c为本发明ralp-net算法模块中ddl模块和alck模块结构图；
[0037]
图2d为本发明中ralp-net算法模块中dam模块的结构图；
[0038]
图3为本发明的总体流程图；
[0039]
图4为本发明肺器官分割模型效果图；
[0040]
图5为本发明心脏器官分割模型效果图；
[0041]
图6为本发明危及器官肺和心脏分割结果融合效果图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
请参阅图1-6，本发明提供一种技术方案：一种肺癌放疗危及器官肺和心脏的自动分割方法，方法包括：
[0044]
步骤一、将肺器官ct影像数据集和心脏器官ct影像数据集输入数据预处理模块；
[0045]
步骤二、数据预处理模块对肺器官ct影像数据集和心脏器官ct影像数据集进行数据清洗，将清洗后的肺器官ct影像数据集分为训练集和验证集，将清洗后的心脏器官ct影像数据集分为训练集和验证集，数据清洗是将肺器官数据集和心脏器官数据集都按照一定的比率筛选，过滤出含有待分割器官的若干阳性切片以及不含待分割器官的若干阴性切片；
[0046]
步骤三、构建ralp-net算法模块，搭建cbr模块和maxpool层，对ct影像进行下采样，搭建encoder group模块，提取ct影像中的全局特征信息，搭建rspp模块，融合ct影像中多尺度特征信息，搭建decoder group模块，decoder group模块包括ddl解码模块和decoder1模块，ddl解码模块包括decoder解码模块、dam模块和alck模块，decoder解码模块对ct影像的特征信息进行解码，dam模块融合编码和解码阶段的特征信息，dam模块输出的特征信息与alck模块输出的特征信息进行点乘融合后输出，搭建decoder1模块解码特征信息，搭建deconv反卷积层用于还原图像尺寸，最后搭建激活函数relu层和conv卷积层输出处理后的影像，分割算法ralp-net采用深度学习方法训练，相比传统的机器学习分割算法，ralp-net分割算法无需专家手工提取患者ct影像中的特征，ralp-net能够自动学习到ct影像中的判别性特征，且端到端的输出分割结果，极大简化了模型的训练和测试过程；
[0047]
步骤四、使用肺器官训练集结合ralp-net算法模块构建肺器官分割模型，用于对患者的肺器官进行自动分割工作，使用心脏器官训练集结合ralp-net算法模块构建心脏器官分割模型，用于对患者的心脏器官进行自动分割工作，ralp-net分割算法通过双注意力
机制dam和非对称大卷积核alck模块的设置，在减少模型参数的同时，保证了分割精度，仅需使用少量的数据集就可以训练出效果较好的模型，大大降低计算成本，有效提高了分割的效率；
[0048]
步骤五、使用肺器官验证集和心脏器官验证集分别验证步骤四训练得到的肺器官分割模型和心脏器官分割模型，保存最优肺器官分割模型和最优心脏器官分割模型；
[0049]
步骤六、若训练迭代次数未完成，则继续调用心脏器官训练集和肺器官训练集训练心脏器官分割模型和肺器官分割模型，并验证、保存最优模型，当训练迭代次数完成时，进入部署模型阶段；
[0050]
步骤七、将得到的最优心脏器官分割模型和最优肺器官分割模型分别部署在cpu服务器上；
[0051]
步骤八、将患者胸腔ct影像输入影像预处理模块，影像预处理模块用于将患者的dicom格式ct影像转换为统一大小的png格式保存，再将处理之后的胸腔ct影像分别输入肺器官分割模型和心脏器官分割模型，肺器官分割模型自动分割胸腔ct影像中的肺器官，得到肺器官分割结果，心脏器官分割模型自动分割胸腔ct影像中的心脏器官，得到心脏器官分割结果，将肺器官分割结果和心脏器官分割结果输入模型结果融合模块进行融合输出，得到危及器官分割结果；
[0052]
如图2a所示，cbr模块包括conv卷积层、bn层和激活函数relu层，用于下采样提取ct影像的特征信息，bn层用于标准化模型训练参数，加快模型收敛速度，增强模型稳定性，避免梯度爆炸和梯度消失，maxpool层用于保留ct影像中的强特征信息，减少模型参数数量，避免过拟合，encoder group模块包括encoder1模块、encoder2模块、encoder3模块和encoder4模块，以上模块均由cbr模块和cb模块组成，cb模块包括conv卷积层和bn层，有利于从ct影像中识别到危及器官肺和心脏，decoder group模块包括ddl4、ddl3、ddl2和decoder1模块，ddl4、ddl3、ddl2模块均由decoder模块、dam模块、alck模块组成，decoder模块由cbr模块、deconv层、bn层和cb模块组成，decoder group模块对ct影像的特征信息进行上采样，恢复从encoder group模块和rspp模块提取的全局语义特征图，且encoder group模块中的全局信息通过skip connection与decoder group模块中的特征信息进行融合，弥补由于连续卷积和池化导致的信息丢失，deconv层利用反卷积上采样ct影像特征信息，还原ct影像分辨率，激活函数relu层用于增加模型的非线性泛化能力，conv卷积层用于提取ct影像特征信息，确定特征信息输出的通道数；
[0053]
如图2b所示，rspp模块采用残差金字塔池化结构，分为并行layer1、layer2、layer3和layer4四层，依靠多个有效感受野来检测不同尺寸的图像，提高模型性能，layer1、layer2、layer3、layer4层分别由不同参数量的maxpool层和conv卷积层、upsample层组成，maxpool层分别采用2*2、3*3、5*5和6*6的参数形式对上下文的信息进行编码，为了减小计算成本，rspp模块采用conv卷积层压缩特征信息的通道数，采用upsample双线性插值对低维度的特征图进行上采样，获得和原始影像相同尺寸的影像，最后将不同尺度的特征信息按通道维度拼接在一起输出；
[0054]
如图2c所示，ddl模块中的decoder模块、dam模块和alck模块依次串行组合，dam模块将encoder group模块和decoder模块的信息相加融合，然后分别在空间和通道维度上捕获上下文信息，将空间和通道维度上产生的特征信息和原输入的特征信息利用相加和相乘
的操作融合输出到alck模块中，经过alck模块处理后输出的特征信息与dam输出的特征信息利用skip connection进行点乘融合后输出，图2a、2b、2c中模块内k、s、p参数代表卷积核的大小，步长和填充值；
[0055]
如图2d所示，dam是双注意力机制模块，包括channel attention模块和spatial attention模块，channel attention模块首先将输入的特征信息在空间维度分别通过avgpool池化和maxpool池化操作，来压缩输入特征图的空间信息，然后将生成的两组特征信息转发到一组由多层感知器组成的conv卷积层处理，最后将两组特征信息相加融合输出，从而产生通道注意力映射，公式如下：
[0056]
ca＝conv[avgpool(input)]+conv[maxpool(input)]
[0057]
input是输入的ct影像特征信息，conv表示将特征信息进行卷积层处理，avgpool表示将特征信息进行平均池化层处理，maxpool表示将特征信息进行最大池化层处理；
[0058]
spatial attention模块首先将输入的特征信息在通道维度分别通过求均值和极值的操作，来压缩输入特征图的通道信息，然后将生成的两组特征信息在通道维度进行拼接融合，最后经过一个卷积层再将通道信息进行压缩，生成空间注意力映射，公式如下：
[0059]
sa＝conv{concate[mean(input),max(input)]}
[0060]
input是输入的ct影像特征信息，conv表示将特征信息进行卷积层处理，concate表示将特征信息在通道维度上进行拼接处理，mean表示将ct影像的特征信息在通道维度上进行求均值处理，max表示将ct影像的特征信息在通道维度上进行求最大值处理；
[0061]
dam模块将channel attention模块和spatial attention模块进行融合，公式如下：
[0062]
sum12＝sum(input1,input2)
[0063]
dam＝sum[ca(sum12),sum12]+mul[sa(sum12),sum12]
[0064]
input1和input2分别是从ralp-net算法模块的编码器环节和解码环节输入的两组特征信息，sum表示将两组特征信息相加融合，mil表示将两组特征信息相乘融合，ca表示经过channel attention模块处理，sa表示经过spatial attention模块处理；
[0065]
alck是非对称大卷积核模块，卷积核大小由k参数调整，通过增大k值来扩大感受野，alck采用了非对称卷积设计，将原本的一步卷积拆成两步去完成，用于减小因扩大感受野增加的参数量；
[0066]
如图4-6所示，展示了3组不同算法分割同一张ct影像的效果图，图4展示了肺器官的分割效果，图5展示了心脏器官的分割效果，图6将分割后的肺器官和心脏器官融合后展示，orignal image为原始输入影像，target image为专家手工分割的目标影像，unet、deeplabv3p、gcn、fcn、ralp-net分别为不同的分割算法，本发明在放疗过程中实施危及器官自动分割方法，在放疗需求不断增加的背景下，对医疗资源缺乏的地区更具公平性，并且ralp-net算法模块可以修改内部参数，训练成为除肺和心脏外其他危及器官的分割模型，具有一定的工程实践价值和理论研究价值。
[0067]
本发明中肺器官分割模型和心脏器官分割模型均采用dice loss和bce loss的相结合作为损失函数，损失函数如下所示：
[0068][0069]
上式为bce损失函数，bce损失函数能够保证背景被正确的分割，
[0070][0071]
上式为dice损失函数，dice损失函数有助于解决分割中类别不均衡问题，上述两个式子中，n为待分割ct影像中像素点的集合，l为金标准标签像素点集合，g
ij
为第i个像素点和第j个金标准像素点的真实类别，p
ij
为第i个像素点和第j个金标准像素点的预测类别；
[0072]
本发明混合两种损失函数的优点，将交叉熵损失函数和dice损失函数结合，作为训练的混合损失函数可表达为：
[0073]
loss＝w1loss
bce
+w2loss
dice
[0074]
其中w1和w2为两个损失函数结合的权重系数，可以自行调节。
[0075]
本发明中肺器官和心脏器官分割模型的构建过程是采用随机梯度下降算法对ralp-net算法模块的权重参数进行更新的过程，步骤是，1)ct影像数据经过数据预处理阶段，划分成训练集、验证集；2)将训练集输入ralp-net算法模块，得到一个和输入影像特征信息尺寸相同的预测概率矩阵；3)通过损失函数计算该预测矩阵和待分割器官的金标准之间的差异值；4)基于损失函数对模型的权重参数进行迭代更新，逐渐降低差异值；5)通过验证集对训练得到的器官分割模型进行验证，挑选出最优模型，保存模型训练的权重参数，完成器官分割模型的构建。
[0076]
本发明中，表1和表2分别列出了自动分割的肺器官和心脏器官在不同分割算法中分割效果，具体指标精度如下表所示，dice similarity coefficient(dsc)衡量预测图像和真实分割图像之间的相似程度；intersection over union(iou)衡量预测图像和真实分割图像之间的交集面积比并集面积；precision(pre)衡量分割的精确率；accuracy(acc)分割的准确率；specificity(spec)衡量分割的负样本占真实负样本的概率；sensitivity(sens)衡量分割的灵敏度；
[0077]
本发明中，表3将ralp-net与其他分割算法的运算效率进行了比较，flops表示计算量，用来衡量算法的复杂度，params表示分割算法的参数量，fps表示分割算法完成单张ct影像分割所需的时间。
[0078]
表1肺器官在不同分割算法中的分割效果
[0079][0080]
表2心脏器官在不同分割算法中的分割效果
[0081][0082]
表3运算效率
[0083][0084][0085]
工作原理：本发明使用时，首先要将肺器官ct影像数据集和心脏器官ct影像数据集输入数据预处理模块清洗，再分别将清洗后的肺器官ct影像数据集和心脏器官ct影像数据集分为训练集和验证集，然后将肺器官训练集结合ralp-net算法模块训练出肺器官分割模型，用肺器官验证集验证模型性能，并保存最优模型，同样，用心脏器官训练集结合ralp-net算法模块训练出心脏器官分割模型，用心脏器官验证集验证模型性能，保存最优模型；
[0086]
将患者的胸腔ct影像先输入影像预处理模块，ct影像会转换成png格式并被剪裁成适合模型输入的尺寸，再将处理后的胸腔ct影像分别传入肺器官分割模型和心脏器官分割模型，得到肺器官分割结果和心脏器官分割结果，最后将肺器官分割结果和心脏器官分割结果输入模型结果融合模块，融合输出后，得到危及器官肺和心脏的分割结果。
[0087]
综上所述：该肺癌放疗危及器官肺和心脏的自动分割方法，在深度学习ralp-net分割算法中加入encoder编码和decoder解码技术，对ct影像的全局信息和局部信息进行融合，达到了自动精准分割肺部ct影像中危及器官的目的，可以在肺癌放疗工作过程中，辅助医生进行危及器官肺和心脏的分割工作，不仅提高了分割的准确性，而且提高了医生的工作效率，使得危及器官分割更加客观、准确，解决了目前肺癌放疗危及器官分割中过分依赖医生主观经验，且医生工作量大容易导致分割质量不确定性的问题。
[0088]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0089]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。