内窥镜图像中息肉的目标预测方法、模型及存储介质与流程

本发明涉及图像处理，特别是视频图像的图形预测处理，尤其涉及一种内窥镜图像中息肉的目标预测方法、模型及存储介质。

背景技术：

1、近年来，随着爆发式的数据量增长和硬件水平的极大提升，深度学习模型被大量的应用到不同的领域，尤其是生命健康领域的辅助病变识别，尤其是实时的辅助式视频分析与预测等细分领域。

2、在临床需求的驱动下，基于深度学习的通用物体预测模型越来越多的被应用到医疗图像领域。然而现阶段的通用物体预测模型通常都是针对自然图像中的物体和特征分布来进行设计的，因此在针对医疗图像复杂的环境下，通用的模型通常表现不佳。

3、具体的，现有的通用单阶段物体预测模型，例如，fcos，retinanet和yolo，在预测基于时序的连续肠道内窥镜帧时易出现大量的单帧或多帧连续误报，误报种类包括光斑，气泡，消化道食物残渣，异物和肠壁等类别，为此wang等人提出了afp-net和apf-mask等模型针对肠镜下的息肉预测进行了了优化。不同于传统的图像处理方法，深度学习模型调用了大规模的卷积神经网络cnn来提取图像特征信息，用更多的特征来分辨容易混淆的息肉形态特征和正常肠壁的形态特征。

4、然而上述预测模型并未针对基于时序的帧做优化，导致帧中易产生单帧误报。因此如何利用多帧之间的时序信息，并以此来辅助模型压制单帧误报的方法就显得非常必要。除此之外，如何对网络特征进行设计，并且针对误报进行合理的压制也称为一个越来越重要的研究方向。比如fcos和yolo都使用一个额外的质量预测分支产生针对每个预测框的质量分数，通过引入额外的监督信号来优化预测结果。但是在具体应用到包含息肉的内窥镜图像的预测领域时，大量的误报往往产生于不可靠的质量预测分支的预测结果，即：预测框质量分数高于预测框类别分数，因此需要针对该应用设计一个可靠的预测框质量分支。过多的误报会严重影响预测结果对于内窥镜操作者的可参考性，因此需要开发一个能够准应用简单时序信息并且通过可靠的预测分支来降低误报来有效提升内窥镜操作者的使用体验和图像预测的质量。

技术实现思路

1、针对现有技术的不足，本发明的目的在于提供一种内窥镜图像中息肉的目标预测方法、模型及存储介质。

2、为实现前述发明目的，本发明采用的技术方案包括：

3、第一方面，本发明提供一种内窥镜图像中息肉的目标预测方法，包括：

4、1)对内窥镜图像进行特征提取，获得特征信息；

5、2)基于所述特征信息获取语义信息；

6、3)基于所述语义信息获取分类分支特征和回归分支特征，并基于所述分类分支特征和回归分支特征获取用于指示息肉的预测框的初始分类分数和位置信息；

7、4)基于自注意力方法对分类分支特征和回归分支特征给予动态权重并进行融合，获得预测框质量分数，所述预测框质量分数用于指示预测框的初始分类分数的置信度，并至少基于所述预测框质量分数对所述初始分类分数进行修正，获得修正分类分数，用于指示所述预测框内是否包含息肉目标。

8、在一些优选的实施方案中，步骤4)具体包括：

9、基于所述分类分支特征和回归分支特征进行特征融合，获得融合特征；

10、对所述融合特征进行通道归一化，获得归一化特征；

11、使所述归一化特征通过全连接层，获得全连接特征；

12、分别基于所述分类分支特征和回归分支特征对所述全连接特征进行压缩扩张，获得分类全局语义信息和回归全局语义信息；

13、分别对所述分类全局语义信息和回归全局语义信息进行指数归一化，获得分类自适应注意力分数和回归自适应注意力分数；

14、融合所述分类自适应注意力分数和分类分支特征的乘积以及回归自适应注意力分数和回归分支特征的乘积，获得融合结果，将所述融合结果作为所述置信度，用于计算所述修正分类分数。

15、第二方面，本发明还提供一种内窥镜图像中息肉的目标预测模型，用于执行上述目标预测方法，包括骨干网络、语义提取模块以及预测模块；

16、所述骨干网络用于对内窥镜图像进行特征提取，获得特征信息，所述语义提取模块用于基于所述特征信息获取语义信息；

17、所述预测模块包括分类分支、回归分支以及预测框质量分支；

18、所述分类分支用于基于所述语义信息获取分类分支特征，并基于所述分类分支特征获取用于指示息肉的预测框的初始分类分数；所述回归分支用于基于所述语义信息获取回归分支特征，并基于所述回归分支特征获取用于指示息肉的预测框的位置信息；

19、所述预测框质量分支用于基于自注意力方法对分类分支特征和回归分支特征给予动态权重并进行融合，获得预测框质量分数，所述预测框质量分数用于指示预测框的初始分类分数的置信度，并至少基于所述预测框质量分数对所述初始分类分数进行修正，获得修正分类分数用于指示所述预测框内是否包含息肉目标。

20、在一些优选实施方案中，所述预测框质量分支包括交叉通道自注意力融合单元，所述交叉通道自注意力融合单元包括：

21、特征融合子单元，用于基于所述分类分支特征和回归分支特征进行特征融合，获得融合特征；

22、通道归一化子单元，用于对所述融合特征进行通道归一化，获得归一化特征；

23、全连接子单元，用于使所述归一化特征通过全连接层，获得全连接特征；

24、全局语义子单元，用于分别基于所述分类分支特征和回归分支特征对所述全连接特征进行压缩扩张，获得分类全局语义信息和回归全局语义信息；

25、自适应注意力分数子单元，用于分别对所述分类全局语义信息和回归全局语义信息进行指数归一化，获得分类自适应注意力分数和回归自适应注意力分数；

26、融合结果子单元，用于融合所述分类自适应注意力分数和分类分支特征的乘积以及回归自适应注意力分数和回归分支特征的乘积，获得融合结果，所述融合结果作为置信度用于计算所述修正分类分数。

27、第三方面，本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序和/或上述目标预测模型，所述计算机程序被运行时执行上述目标预测方法的步骤。

28、基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：

29、本发明所提供的本发明所述交叉通道自注意力融合单元能有自适应的选择分类分支与回归分支的最合适特征来有效的提高预测框质量分支的预测结果，并且减少由于质量预测分支的预测分数过高导致的误报，由此带来显著更低的误报率，提高了图像预测的质量以及预测结果的可参考性。

30、上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合详细附图说明如后。

技术特征：

1.一种内窥镜图像中息肉的目标预测方法，其特征在于，包括：

2.根据权利要求1所述的目标预测方法，其特征在于，步骤4)具体包括：

3.根据权利要求2所述的目标预测方法，其特征在于，步骤4)还包括：

4.根据权利要求3所述的目标预测方法，其特征在于，步骤4)表示为：

5.根据权利要求4所述的目标预测方法，其特征在于，所述预测框质量分数的计算方法为：

6.根据权利要求1所述的目标预测方法，其特征在于，所述内窥镜图像为视频图像，包括前序帧和当前帧，所述前序帧在当前帧之前；

7.一种内窥镜图像中息肉的目标预测模型，用于执行权利要求1-6中任意一项所述的目标预测方法，其特征在于，包括骨干网络、语义提取模块以及预测模块；

8.根据权利要求7所述的目标预测模型，其特征在于，所述预测框质量分支包括交叉通道自注意力融合单元，所述交叉通道自注意力融合单元包括：

9.根据权利要求7-8中任意一项所述的目标预测模型，其特征在于，所述目标预测模型通过如下的方法训练获得：

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序和/或权利要求7-8中任意一项所述的目标预测模型，所述计算机程序被运行时执行权利要求1-6中任意一项所述的目标预测方法的步骤。

技术总结
本发明公开了一种内窥镜图像中息肉的目标预测方法、模型及存储介质。所述目标预测方法，包括：进行特征提取，获得特征信息；获取语义信息；获取分类分支特征和回归分支特征，并获取初始分类分数和位置信息；基于自注意力方法给予动态权重并进行融合，获得预测框质量分数，用于指示预测框的分类分数的置信度，并对所述分类分数进行修正，获得修正分类分数。本发明所述交叉通道自注意力融合单元采用自适应的选择分类分支与回归分支的最合适特征来有效的提高预测框质量分支的预测结果，并且减少由于质量预测分支的预测分数过高导致的误报，由此带来显著更低的误报率，提高了目标检测的质量以及检测结果的可参考性。

技术研发人员：曹鱼,王德纯,陈齐磊,刘本渊
受保护的技术使用者：苏州慧维智能医疗科技有限公司
技术研发日：
技术公布日：2024/1/12