基于纹理感知和细粒度特征补偿的肠镜病灶检测方法

文档序号:36387795发布日期:2023-12-15 03:00阅读:22来源:国知局
本发明属于计算机,涉及医疗图像分析,特别涉及一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法。
背景技术
::1、在利用结肠镜检查进行结直肠癌筛查的实际操作中,病灶因前景背景相似度高、病灶形态不一、位置随机化且患者个体差异大等因素而被漏检、误检。计算机辅助诊断技术(computer aided diagnosis,cad)可辅助医师进行内镜检查,减少人为失误及人为负担,改善由于主观客观因素导致的息肉漏诊、误检现状。2、随着深度学习(deep learning,dl)的发展,利用神经网络(convolutionalneural networks,cnn)实现肠道息肉自动检测,能实现较好的肠镜图像目标分类。但在实际应用中,对于背景复杂或小/中型息肉,首先,目标可利用信息较少,现有技术难以在相似肠壁背景中精确提取可鉴别信息。其次,由于小尺度目标的特征信息较少,因此需要更多的细粒度信息进行可鉴别区分,而现有的模型中,多尺度特征学习可辅助模型获得更加精确的定位及可鉴别性信息,但在获得多尺度特征时,极易导致细粒度特征在深层丢失,这使的网络无法获得可鉴别信息,导致最终产生错误判断。技术实现思路1、为了克服上述现有技术的缺点,本发明的目的在于提供一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,通过引入浅层纹理信息保留目标的细粒度特征,解决由于cnn操作导致细微差距在深层丢失的问题,从而提高小目标息肉检测精度。2、为了实现上述目的,本发明采用的技术方案是:3、一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,包括如下步骤:4、步骤1,将获取的肠镜图像输入主干网络提取多级特征cj,2≤j≤m;5、步骤2,从特征c2挖掘纹理特征,并与特征cm中的语义特征整合,通过特征cm对背景信息进行抑制,捕获细粒度纹理特征;6、步骤3,将所述细粒度纹理特征进行增强;7、步骤4,将特征c3~cm-1分别卷积,之后分别与步骤3增强后的特征融合,得到m-2个融合特征p3~pm-1;8、步骤5,将特征cm经注意力机制和空间金字塔池化得到特征pm;9、步骤6,对步骤4和步骤5所得特征进行自上至下和自下至上的多尺度特征融合,并在其中至少一个融合过程中引入金字塔可拆分注意力模块,以平衡跳跃链接中的通道信息,捕获通道之间的相互作用;10、步骤7,基于多尺度融合结果,进行目标检测。11、与现有技术相比,本发明的有益效果为:12、首先,为弥补细微差距在深层消失的问题,设计纹理感知模块(texturalawareness module,tam),该模块将底层丰富的纹理信息进行挖掘并利用高层语义信息进行背景抑制,从而捕获更纯净的纹理信息。其次,设计纹理增强模块(textural featureenhancement module,tfem),将来自tam的底层纹理信息进行增强。最后,提出残差金字塔可拆分注意力模块(the residual pyramid splittable attention module,rpsa),平衡跳跃连接中的通道信息,提高整体网络的检测性能。13、总之,本发明通过挖掘细粒度纹理特征,并引入浅层纹理信息保留目标的细粒度特征,进行增强后与多级特征融合,同时引入金字塔可拆分注意力模块,一方面获取更多的特征信息,另一方面捕获通道之间的相互作用,从而大幅提高融合效果,并最终提高目标检测的精度,尤其适用于肠镜图像中的小目标息肉识别检测。14、在四个公开数据集上验证所提方法的有效性,实验结果表明,相较于主流的检测算法,fgfcn通过挖掘细粒度特征来提高模型的检测性能,检测精度优于现有方法,因此更具有临床应用价值。技术特征:1.一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,包括如下步骤:2.根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述主干网络为darknet53主干网络,取m=5。3.根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述步骤2,首先使用两个1×1卷积层分别将c2和cm的通道更改为256和1024,然后对特征进行上采样,随后进行拼接运算,再通过两个3×3的卷积和一个1×1的卷积,最后进行sigmoid函数运算。4.根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述步骤3,采用至少3个具有不同扩张率d的平行残余分支和一个主干分支,首先,每一个分支中第一个卷积层利用1×1卷积运算将通道大小减少到32;其次,自第2个残余分支起,第i个残余分支bi进行(2i-1)×(2i-1)卷积操作和具有扩张率(2i-1)的膨胀卷积操作;然后,将第1~3个残余分支分别通过3×3卷积运算将通道均转化为c;最后,将各残余分支得到的多尺度特征进行concat拼接后再与主干分支进行融合,随后将融合后的结果输入到relu函数中,得到增强后的最终特征fk'。5.根据权利要求4所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述残余分支的数量为4,所述(2i-1)×(2i-1)卷积操作分解为两个步骤的序列,即(2i-1)×1和1×(2i-1)内核,其中:6.根据权利要求1所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述步骤4,将特征pm~p3进行自上至下的多尺度特征融合,得到特征fm~f3,将特征f3~fm进行自下至上的多尺度特征融合,得到特征e3~em,金字塔可拆分注意力模块引入在自下至上的某一个或者多个融合过程中。7.根据权利要求6所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述金字塔可拆分注意力模块引入在所述特征em的输出位置。8.根据权利要求1或5或6或7所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述金字塔可拆分注意力模块执行如下步骤:9.根据权利要求8所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,所述spc模块,以多分支的方式提取输入特征映射的空间信息,每个分支的输入通道维度为c,并通过压缩输入张量的通道维数;对于每个分支,独立学习多尺度空间信息并以局部方式建立跨通道交互;10.根据权利要求9所述基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,其特征在于,全局平均池化算子计算方式如下式所示:技术总结一种基于纹理感知和细粒度特征补偿的肠镜病灶检测方法,将获取的肠镜图像输入主干网络提取多级特征,从特征C<subgt;2</subgt;挖掘纹理特征,并与特征C<subgt;m</subgt;中的语义特征整合,通过C<subgt;m</subgt;对背景信息进行抑制,捕获细粒度纹理特征并进行增强;将特征C<subgt;3</subgt;~C<subgt;m</subgt;分别卷积,之后分别与增强后的特征融合,得到m‑2个融合特征;将特征C<subgt;m</subgt;经注意力机制和空间金字塔池化得到特征;对所得特征进行自上至下和自下至上的多尺度特征融合,并在其中至少一个融合过程中引入金字塔可拆分注意力模块,以平衡跳跃链接中的通道信息,捕获通道之间的相互作用,基于多尺度融合结果,实现高精度的目标检测。技术研发人员:潘晓英,穆亚亚,王昊受保护的技术使用者:西安邮电大学技术研发日:技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1