基于Transformer的PET/CT瘤周特征提取系统及提取方法

本发明涉及一种图像处理方法，具体地说是一种基于transformer的pet/ct瘤周特征提取系统及提取方法。

背景技术：

1、目前，18f-fdg（18氟标记的葡萄糖类似物）是在pet/ct扫描中普遍使用的一种示踪剂，这种示踪剂可以根据恶性肿瘤的异常增殖，在需要增加葡萄糖摄取和糖酵解时，维持细胞的能量供应，从而使得不同类型的肿瘤在糖代谢显像图像上表现出葡萄糖摄取程度的不同。示踪剂在患者体内不断衰变至湮灭时，可产生一对发射方向基本相反的511kev伽马光子，检测器采集这些伽马光子达到晶体的位置和时间信息，并通过使用图像重构建算法，对采集的信息进行重构建和后处理，从而获得反应示踪剂在患者体内代谢和摄取的情况。因此，通过pet显像，能够早期、定量地反映这种代谢异质性特征，为临床诊断提供帮助。

2、在pet/ct图像上，用肉眼观测到的明显的高亮区就是肿瘤的异常区，而从异常区到正常组织区之间还存在一个渐变的过渡区。这个过渡区又被称为肿瘤亚异常区。直接观察影像，肿瘤亚异常区并不明显地表现出异常特性，但却能够在统计学中表现出一些异常特征。

3、亚异常区是一个界限模糊的过渡区，其图像数据值处于正常区和异常区的图像数据值之间，所以，从可视化的图像形态上，是难以区分亚异常区域的真边界的。用肉眼直接从图像上观测，很难确定其归属。然而，亚异常区在图像所存储的像素数据中，却存在着较大的差别，并呈现出一定的变化规律。但是，这种变化规律通过肉眼是难以观察到的。

技术实现思路

1、本发明的目的是提供一种基于transformer的pet/ct瘤周特征提取系统及提取方法，以解决在pet/ct图像上难以观察到肿瘤亚异常区的问题。

2、本发明的目的是这样实现的：

3、一种基于transformer的pet/ct瘤周特征提取系统，包括：

4、数据预处理模块，用于对pet/ct图像样本数据集中的样本图像进行包括匿名化、数据清洗、数据集标注和数据增强在内的预处理操作；

5、肿瘤边缘渐变特征提取模块，用于将从样本图像中裁剪出的窄边图像中提取图像的切向特征，从样本图像中裁剪出的长边图像中提取图像的纵向特征，并整合样本图像中肿瘤组织的变化特征；

6、肿瘤区域性特征加权模块，用于通过卷积的方法添加区域特征加权系数，整合图像当中区域性较强的肿瘤特征，并将肿瘤边缘渐变特征提取模块提取的特征作为增加特征整合到主干网络中；以及

7、模型训练及验证优化模块，用于对关注肿瘤内部不同亚区域特征的模型的性能进行测试和验证，以得到最终优化的模型。

8、进一步地，所述肿瘤边缘渐变特征提取模块包括：

9、1×3卷积提取特征模块，用于从裁剪出来的窄边图像中提取图像的切向特征；以及

10、self-attention特征提取模块，用于从裁剪出来的长边图像中提取图像的纵向特征。

11、进一步地，所述肿瘤区域性特征加权模块包括：

12、并行支路特征融合模块，用于将从肿瘤边缘渐变特征提取模块提取的特征融入到主干网络当中；

13、卷积区域特征提取模块，用于整合肿瘤当中区域性较强的肿瘤特征；以及

14、注意力加权计算模块，用于将区域特征提取模块提取的肿瘤特征转换成区域权重，作用到注意力计算的过程当中。

15、本发明的目的还可这样实现：

16、一种基于transformer的pet/ct瘤周特征提取方法，包括以下步骤：

17、s0、设置本发明pet/ct瘤周特征提取系统。

18、s1、利用数据预处理模块，对pet/ct图像样本数据集中的样本图像进行包括匿名化、数据清洗、数据集标注和数据增强在内的预处理操作。

19、s2、利用肿瘤边缘渐变特征提取模块，将从样本图像中裁剪出的窄边图像中提取图像的切向特征，从样本图像中裁剪出的长边图像中提取图像的纵向特征，并整合样本图像中肿瘤组织的变化特征。

20、s3、利用肿瘤区域性特征加权模块，通过卷积的方法添加区域特征加权系数，整合图像当中区域性较强的肿瘤特征，并将肿瘤边缘渐变特征提取模块提取的特征作为增加特征整合到主干网络中。

21、s4、利用模型训练及验证优化模块，采用梯度下降法，对关注肿瘤内部不同亚区域特征的模型进行训练。

22、s5、利用模型训练及验证优化模块，在内部测试集上对训练好的模型的性能进行内部评估及优化。

23、s6、利用模型训练及验证优化模块，对经内部评估及优化的模型进行验证和优化，得到最终的优化模型。

24、进一步地，所述肿瘤边缘渐变特征提取模块包括1×3卷积提取特征模块和self-attention特征提取模块；所述1×3卷积提取特征模块用于从裁剪出来的窄边图像中提取图像的切向特征；所述self-attention特征提取模块用于从裁剪出来的长边图像中提取图像的纵向特征。

25、进一步地，步骤s5的内部评估及优化操作所采用的参数包括：分类准确率、精确率、召回率、f1分数、受试者工作曲线的面积以及混淆矩阵。

26、进一步地，步骤s6的验证和优化操作是收集不同医院的pet/ct样本图像作为测试样本，对模型进行验证，以确定模型的准确率、查全率、精确率、roc曲线性能指标，分析模型在不同医院数据上表现的分类差异，从而对模型进行优化。

27、本发明使用注意力和卷积结合的方法，通过肿瘤中不同亚异常区之间的变化关系，挖掘图像中容易被忽视的肿瘤边缘特征，从而更有效的利用在pet/ct图像上不同肿瘤亚异常区所存在的特征，较好地解决了在pet/ct图像上难以观察到肿瘤亚异常区的问题。

技术特征：

1.一种基于transformer的pet/ct瘤周特征提取系统，其特征是，包括：

2.根据权利要求1所述的pet/ct瘤周特征提取系统，其特征是，所述肿瘤边缘渐变特征提取模块包括：

3.根据权利要求1所述的pet/ct瘤周特征提取系统，其特征是，所述肿瘤区域性特征加权模块包括：

4.一种基于transformer的pet/ct瘤周特征提取方法，其特征是，包括以下步骤：

5.根据权利要求4所述的pet/ct瘤周特征提取方法，其特征是，所述肿瘤边缘渐变特征提取模块包括1×3卷积提取特征模块和self-attention特征提取模块；所述1×3卷积提取特征模块用于从裁剪出来的窄边图像中提取图像的切向特征；所述self-attention特征提取模块用于从裁剪出来的长边图像中提取图像的纵向特征。

6.根据权利要求4所述的pet/ct瘤周特征提取方法，其特征是，步骤s5的内部评估及优化操作所采用的参数包括：分类准确率、精确率、召回率、f1分数、受试者工作曲线的面积以及混淆矩阵。

7.根据权利要求4所述的pet/ct瘤周特征提取方法，其特征是，步骤s6的验证和优化操作是收集不同医院的pet/ct样本图像作为测试样本，对模型进行验证，以确定模型的准确率、查全率、精确率、roc曲线性能指标，分析模型在不同医院数据上表现的分类差异，从而对模型进行优化。

技术总结
本发明公开了一种基于Transformer的PET/CT瘤周特征提取系统及提取方法。所述提取系统包括数据预处理模块、肿瘤边缘渐变特征提取模块、肿瘤区域性特征加权模块、模型训练及验证优化模块；数据预处理模块对样本图像进行预处理；肿瘤边缘渐变特征提取模块将从样本图像中裁剪出的长边和窄边图像中提取图像的纵向特征和切向特征，整合样本图像中肿瘤组织的变化特征；肿瘤区域性特征加权模块通过卷积的方法添加区域特征加权系数，并将肿瘤边缘渐变特征提取模块提取的特征作为增加特征整合到主干网络中；模型训练及验证优化模块对模型的性能进行测试和验证，以得到最终优化的模型。本发明有效解决了在PET/CT图像上对肿瘤亚异常区难以观察的问题。

技术研发人员：杨昆,宋杰,刘琨,刘爽,薛林雁,于海韵,李乐华,魏韵珂
受保护的技术使用者：河北大学
技术研发日：
技术公布日：2024/1/15