一种基于PET和CT模态融合的肺部病灶识别方法

本发明属于图像识别，特别是涉及一种基于pet和ct模态融合的肺部病灶识别方法。

背景技术：

1、ct检测是判断肺部疾病的常规检测方法。基于大数据处理方案，可以利用各个医院中产生了的肺部ct图像样本数据经过数据筛选，可以实现对肺部异常的检测识别。利用医院数据库中的肺部ct图像数据，可以通过基于深度学习的图像处理，筛查出结果为具有异常的ct图像。

2、现有的肺部ct图像识别算法通常是利用基于阈值寻找图像中所有高ct值区域，无法精准识别肺部图像中的病变位置。另外还有基于深度学习的卷积神经网络的方法，但是大部分是以2d卷积为主，会丢失深度信息，使检测结果误差较大；且单从ct图像进行识别，病灶识别精准度较差。常规的检测模型中会采用多次下采样，由于肺病灶一般体积较小(≤3mm3)，多次下采样可能导致信息损失，影响模型性能。

技术实现思路

1、为了解决上述问题，本发明提出了一种基于pet和ct模态融合的肺部病灶识别方法，能够有效提高肺部图像的病灶识别精准度。

2、为达到上述目的，本发明采用的技术方案是：一种基于pet和ct模态融合的肺部病灶识别方法，包括步骤：

3、s10,对pet和ct采集图像进行肺部目标区域剪裁；

4、s20,对pet图像进行suv转换处理，对ct图像进行归一化处理，将ct和pet图像在通道维度上堆叠，作为肺病灶分割模型的输入；

5、s30,由肺病灶分割模型，进行病灶点位分割；

6、s40,对分割后对图像进行剪裁，获得病灶图像；

7、s50,将病灶图像输入到肺病灶分类模型，得到病灶类别结果。

8、进一步的是，肺部剪裁：对ct图像中的肺组织进行分割，根据分割结果生成一个能包含整个肺部的矩形方框，将ct图像及pet图像的肺部裁切出来，保留肺内的气囊、肿瘤和积液。

9、进一步的是，ct图像pet图像配准：以pet图像为参照，将ct图像重采样至与pet图像的尺寸、间隔、原点和方向完全一致。

10、进一步的是，对pet图像进行suv转换处理：根据pet图像计算suvbw值，从而将pet图像转化为suv参数图。

11、进一步的是，所述肺病灶分割模型采用3d unet模型，将suv和ct图像在通道上堆叠，作为模型输入，共进行3次下采样，共得到四个尺度的特征图，分别为e0、e1、e2、e3，其通道数分别为32、64、128、256；随后进行3次上采样，并将下采样与上采样端的同样尺度特征图进行拼接，以建立跳转连接，得到d3、d2、d1、d0，其通道数同下采样过程；分割模型的目的是分离前景与背景，故类别数num_classes为2。

12、进一步的是，所示肺病灶分类模型采用改进的3d resnet18，resnet的conv层的stride设置为1，即在conv层不进行下采样；

13、随后使用自适应平均池化将特征图分辨率下采样，将特征图展平，经两个全连接层后得到各类别的概率，得到分类结果。

14、进一步的是，建立两个不同医院的数据集包括数据集一和数据集二；

15、基于数据集一进行病灶分割模型预训练，在数据集一上进行训练，使病灶分割模型学习肺部pet和ct图像的基本特征，使其能够捕捉pet和ct数据中的基本特征和结构；基于数据集二进行病灶分割模型的微调，在数据集二上进行微调，使网络模型根据目标任务以及数据集一与数据集二的细微差别调整学习到的特征。

16、进一步的是，基于数据集二以及第二次训练的分割模型的结果进行肺病灶分类模型的训练：使用改进后的三维resnet-18模型，在经分割模型剪裁后的数据集二上进行训练；超参数设置同第一次训练；损失函数选择交叉熵损失。

17、采用本技术方案的有益效果：

18、本发明通过pet和ct的融合处理识别，利用3d分割模型和分类模型进行病灶识别和分类，能够精准的提取出肺部图片中病灶的点位和类别。本发明减少了分割模型的下采样次数，可降低前景在下采样过程中消失的风险。

技术特征：

1.一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，肺部剪裁：对ct图像中的肺组织进行分割，根据分割结果生成一个能包含整个肺部的矩形方框，将ct图像及pet图像的肺部裁切出来，保留肺内的气囊、肿瘤和积液。

3.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，ct图像pet图像配准：以pet图像为参照，将ct图像重采样至与pet图像的尺寸、间隔、原点和方向完全一致。

4.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，对pet图像进行suv转换处理：根据pet图像计算suvbw值，从而将pet图像转化为suv参数图。

5.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，所述肺病灶分割模型采用3d unet模型，将suv和ct图像在通道上堆叠，作为模型输入，共进行3次下采样，共得到四个尺度的特征图，分别为e0、e1、e2、e3，其通道数分别为32、64、128、256；随后进行3次上采样，并将下采样与上采样端的同样尺度特征图进行拼接，以建立跳转连接，得到d3、d2、d1、d0，其通道数同下采样过程；分割模型的目的是分离前景与背景，故类别数num_classes为2。

6.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，所示肺病灶分类模型采用改进的3d resnet18，resnet的conv层的stride设置为1，即在conv层不进行下采样；

7.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，建立两个不同医院的数据集包括数据集一和数据集二；

8.根据权利要求1所述的一种基于pet和ct模态融合的肺部病灶识别方法，其特征在于，基于数据集二以及第二次训练的分割模型的结果进行肺病灶分类模型的训练：使用改进后的三维resnet-18模型，在经分割模型剪裁后的数据集二上进行训练；超参数设置同第一次训练；损失函数选择交叉熵损失。

技术总结
本发明公开一种基于PET和CT模态融合的肺部病灶识别方法，包括步骤：S10,对PET和CT采集图像进行肺部目标区域剪裁；S20,对PET图像进行SUV转换处理，对CT图像进行归一化处理，将CT和PET图像在通道维度上堆叠，作为肺病灶分割模型的输入；S30,由肺病灶分割模型，进行病灶点位分割；S40,对分割后对图像在进行剪裁，获得病灶图像；S50,将病灶图像输入到肺病灶分类模型，得到病灶类别结果。本发明通过PET和CT的融合处理识别，利用3D分割模型和分类模型进行病灶识别和分类，能够精准的提取出肺部图片中病灶的点位和类别。本发明减少了分割模型的下采样次数，可降低前景在下采样过程中消失的风险。

技术研发人员：胡佳佳,程然,彭瑶,温宁,全美霖,李彪
受保护的技术使用者：上海交通大学医学院附属瑞金医院
技术研发日：
技术公布日：2024/1/15