一种基于PVT的息肉图像分割方法和系统

本发明属于医学图像处理，特别是涉及一种基于pvt的息肉图像分割方法和系统。

背景技术：

1、医学图像分割是分割领域的一个重要分支，通常涉及皮肤、息肉、眼球等图像的分割处理。医学图像多是用医学仪器拍摄，受运动模糊、光线反射等影响，医学图像经常出现模糊、反光严重的图像。并且由于仪器限制，导致医学图像的数量较少，导致医生没办法快速准确判断图片中的病变情况。随着计算机视觉和深度学习技术的不断进步，医学图像分割技术也在不断发展，通过人工智能模型快速分割目标图像可以辅助医生判断。

2、目前，息肉分割仍然是一个具有挑战性的任务，主要原因在于息肉的大小、颜色、形状、纹理都具有差异性，并且息肉图像复杂的空间环境对分割性能影响很大。此外，由于息肉图像是通过肠镜产生，由于运动模糊和光照反射导致获取到的息肉图像存在大量反光区域以及模糊区域，这给息肉分割带来了很大的挑战。因此，息肉分割的主要难点主要在于如何从息肉图像中提取出鲁棒的目标特征。在近期的工作中，研究者们开始引入transformer来提取健壮的特征图，但仅通过transformer网络往往会忽略息肉图像中的细节信息，对于息肉分割的性能提升比较有限。

技术实现思路

1、为了解决背景技术中存在的问题，本发明提供一种基于pvt的息肉图像分割方法和系统，通过提取息肉的边缘特征信息和位置特征信息作为辅助，细化图像得到较好的息肉分割图像解决息肉图像分割中息肉定位不准确和息肉边缘分割不清晰问题。

2、为了达到上述技术目的，本发明的一方面提供一种基于pvt的息肉图像分割方法，包括：

3、s1：采用基于pvt的骨干网络对息肉图像进行特征提取得到4个不同尺度的浅层特征，其中，尺度最大的浅层特征为低级特征，其余浅层特征为高级特征；

4、s2：根据所有的高级特征利用边缘特征提取模块提取息肉的边缘特征信息；

5、s3：根据所有的高级特征利用息肉定位模块捕获息肉的位置特征信息；

6、s4：将低级特征输入依次串联的cfp模块1和cbam注意力模块进行特征增强处理，得到息肉的增强特征；

7、s5：将息肉的增强特征、息肉的边缘特征信息和息肉的位置特征信息输入信息引导模块计算得到息肉分割图。

8、优选地，所述基于pvt的骨干网络包括：采用imagenet公开数据集对pyramidvision transformerv2进行预训练得到基于pvt的骨干网络。

9、优选地，所述步骤s2包括；按高级特征的尺度大到小定义为t2～t4，则边缘特征提取模块提取息肉的边缘特征信息的过程如下所示：

10、s21：将特征t2输入cfp模块2进行特征处理得到特征图将特征t3输入cfp模块3进行特征处理得到特征图将特征t4输入cfp模块4进行特征处理得到特征图

11、s22：将特征图输入卷积模块1进行特征处理得到特征图将特征图输入上采样层1进行2倍的上采样处理得到特征图将特征图输入卷积模块2进行特征处理得到特征图

12、s23：将特征图输入参数为2的平均池化层1进行特征处理得到特征图将特征图输入卷积模块3进行特征处理得到特征图将特征输入卷积模块4进行特征处理得到特征图

13、s24：将特征图和特征图进行特征相加得到特征图将特征图输入上采样层2进行2倍的上采样处理得到特征图将特征图输入卷积模块5进行特征处理得到特征图将特征图和特征图进行特征相加得到特征图将特征图输入卷积模块6进行特征处理得到特征图将特征图和特征图进行特征相加得到特征图

14、s25：将特征图输入cfp模块5进行特征处理得到特征图将特征图输入卷积模块7进行特征处理得到特征图将特征图输入上采样层3进行2倍的上采样处理得到特征图将特征图输入卷积模块8进行特征处理得到特征图

15、s25：将特征图输入参数为2的平均池化层2进行处理得到特征图将特征图输入卷积模块9进行特征处理得到特征图将特征图输入卷积模块10进行特征处理得到特征图

16、s26：将特征图和特征图进行特征相加得到特征图将特征图和特征图进行特征相加得到特征图

17、s27：将输入上采样层4进行2倍的上采样处理得到特征图将特征图输入卷积模块11进行特征处理得到特征图将特征图输入卷积模块12进行特征处理得到特征图

18、s28：将特征图和特征图进行特征相加处理得到息肉的边缘特征信息。

19、优选地，所述卷积模块1～12采用相同的网络结构，均包括：依次串联的3*3卷积层、bn归一化层、以及relu激活函数。

20、优选地，所述cfp模块1～5采用相同的网络结构，每个cfp模块对输入特征的处理过程如下所示：

21、步骤1：将cfp模块的输入特征图f1输入1*1的第一卷积层进行特征处理得到特征图f2；

22、步骤2：将特征图f2输入rate为1的3*3空洞卷积层进行特征处理得到特征图f3；

23、步骤3：将特征图f2输入依次串联的1*3卷积层、3*1卷积层、以及rate为3的空洞卷积层进行特征处理得到特征图f4；

24、步骤4：将特征图f2输入依次串联的1*5卷积层、5*1卷积层、以及rate为5的空洞卷积层进行特征处理得到特征图f5；

25、步骤5：将特征图f2输入依次串联的1*7卷积层、7*1卷积层、以及rate为7的空洞卷积层进行特征处理得到特征图f6；

26、步骤6：将特征图f3、特征图f4、特征图f5、以及特征图f6利用concat函数进行拼接得到特征图f7；

27、步骤7：将特征图f7输入1*1的第二卷积层进行特征处理得到特征图f8；将特征图f8和特征图f2利用concat函数进行拼接得到cfp模块的输出特征图。

28、优选地，所述步骤s3包括：

29、s31：将高级特征t4输入cipm模块3进行跨层级信息处理得到第一中间特征；

30、s32：将第一中间特征和高级特征t3输入cipm模块2进行跨层级信息处理得到第二中间特征；

31、s33：将第二中间特征和高级特征t2输入cipm模块1进行跨层级信息处理得到第三中间特征；

32、s34：将第第一中间特征、第二中间特征、以及第三中间特征利用concat函数进行拼接得到息肉的位置特征信息。

33、优选地，所述cipm模块1～3采用相同的网络结构，每个cipm模块对输入特征的处理过程如下所示：

34、步骤1：将高级特征tl，l∈{2，3，4}输入金字塔池化层进行处理之后得到不同尺度的层级特征；

35、步骤2：将不同尺度的层级特征利用reshape函数进行形状调整和级联操作得到第一过度特征；

36、步骤3：利用reshape函数将高级特征tl的形状调整为与第一过度特征相同得到第二过度特征；

37、步骤4：将第二过度特征作为q值，将第一过度特征作为v值，将第一过度特征的转置作为k值进行自注意力运算得到第三过度特征；

38、步骤5：将第三过度特征与第二过度特征进行特征相加得到第四过度特征；

39、步骤6：当l等于4时，则利用reshape函数将第四过度特征的形状调整为与高级特征t3相同，得到第一中间特征；

40、当l等于3时，则利用reshape函数将第四过度特征的形状调整为与第一中间特征相同，得到第五过度特征，将第五过度特征和第一中间特征进行特征相加得到第二中间特征；

41、当l等于2时，则将利用reshape函数将第四过度特征的形状调整为与第二中间特征相同，得到第六过度特征，将第六过度特征和第二中间特征进行特征相加得到第三中间特征。

42、优选地，所述步骤s5包括：

43、s51：将息肉的边缘特征信息输入sigmoid激活函数1进行处理得到第一综合特征图，将第一综合特征图利用reverce函数进行前景和背景的翻转操作得到第二综合特征；

44、s52：将第二综合特征和息肉的增强特征进行克罗内克积运算得到第三综合特征；将第三综合特征与息肉的位置特征信息进行特征相加得到第四综合特征；

45、s53：将第四综合特征输入依次串联的maxpool池化层、1*1的第三卷积层、以及sigmoid激活函数2进行特征处理得到第五综合特征；

46、s54：将第四综合特征输入依次串联的avgpool池化层、1*1的第四卷积层、以及sigmoid激活函数3进行特征处理得到第六综合特征；

47、s55：将第五综合特征和第六综合特征进行特征相加得到第七综合特征；

48、s56：将第七综合特征与息肉的位置特征信息进行克罗内克积运算得到息肉分割图。

49、本发明的另一方面提供一种基于pvt的息肉图像分割系统，所述系统应用于所述的一种基于pvt的息肉图像分割方法，包括：

50、数据获取模块，用于获取息肉图像；

51、特征提取模块，用于采用基于pvt的骨干网络对息肉图像进行特征提取得到4个不同尺度的浅层特征，其中，尺度最大的浅层特征为低级特征，其余浅层特征为高级特征；

52、边缘特征提取模块，用于根据所有的高级特征提取息肉的边缘特征信息；

53、息肉定位模块，用于根据所有的高级特征捕获息肉的位置特征信息；

54、特征增强模块，用于对低级特征进行特征增强处理，得到息肉的增强特征；

55、信息引导模块，用于根据息肉的增强特征、息肉的边缘特征信息和息肉的位置特征信息计算得到息肉分割图。

56、本发明的再一方面提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的一种基于pvt的息肉图像分割方法。

57、本发明至少具有以下有益效果

58、本发明通过边缘特征提取模块提取息肉的边缘特征信息，重点关注息肉的边界信息，提取有效息肉的边缘特征信息，通过息肉定位模块捕获息肉的位置特征信息，综合不同层级特征图之间的信息；信息引导模块有效聚合息肉的边缘特征信息和位置特征信息，有效的定位息肉并且将息肉清晰的分割出来。