一种共聚焦内窥镜图像处理的方法及相关设备与流程

本说明书涉及图像处理领域，更具体地说，本技术涉及一种共聚焦内窥镜图像处理的方法及相关设备。

背景技术：

1、共聚焦内窥镜是一种可以借助胃镜、结肠镜等通道伸入人体，获取局部组织学图像来实现微小病灶、胃肠道病变及早期胃肠道癌变的精准诊断的医疗设备。根据公开的资料，共聚焦内窥镜产品帧频可达18fps。据此可以计算出，使用共聚焦内窥镜进行10分钟的临床检查过程，会产生10800帧图像。如果医师回顾检查图像时，每帧耗时0.5秒，则要花1.5小时才能回顾完这次检查的所有图像，这是非常耗时的操作。

2、实际上，共聚焦图像由于放大倍数高且视野较小的特点，产生的图像中有很多过暗、过亮、模糊、包含了运动伪影的无效图像，这些图像不能提供诊断信息。公开资料显示，约有一半的图像是不包含诊断信息的。如果能从中筛选出这些无效图像，剩下的有效图像交由医师回顾，可以极大减轻医师的工作量，提高医疗机构的效率。

技术实现思路

1、在
技术实现要素：
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本技术的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

2、第一方面，本技术提出一种共聚焦内窥镜图像处理的方法，上述方法包括：

3、将待处理图片输入至inception v3网络和ssp结构，以获取第一特征、第二特征和第三特征；

4、分别提取上述第一特征、上述第二特征和上述第三特征对应的第一空间域注意力图、第一通道域注意力图和第一混合域注意力图；

5、对上述第一空间域注意力图、上述第一通道域注意力图和上述第一混合域注意力图进行非最大抑制操作以获取第二空间域注意力图、第二通道域注意力图和第二混合域注意力图；

6、对上述第二空间域注意力图、上述第二通道域注意力图和上述第二混合域注意力图进行融合操作以获取融合特征；

7、基于上述融合特征和目标分类器进行识别以获取有效图像。

8、在一种实施方式中，上述将待处理图片输入至inception v3网络和ssp结构，以获取第一特征、第二特征和第三特征，包括

9、将上述待处理图片输入至上述inception v3网络中，以提取不同层级中的上述第一特征和上述第二特征；

10、在上述inception v3网络后得到的信息输入至上述ssp结构，以获取上述第三特征。

11、在一种实施方式中，上述第一特征为在上述inceptionv3网络中经过3个inception a模块后输出的特征，上述第二特征为在上述inceptionv3网络中inception c模块后输出的特征。

12、在一种实施方式中，分别提取上述第一特征、上述第二特征和上述第三特征对应的第一空间域注意力图、第一通道域注意力图和第一混合域注意力图，包括：

13、对上述第一特征进行降维卷积操作以获取上述第一空间域注意力图；

14、对上述第二特征进行特征提取以获取上述第一通道域注意力图；

15、对上述第三特征进行特征提取以获取上述第一混合域注意力图。

16、在一种实施方式中，上述对上述第二特征进行特征提取以获取上述第一通道域注意力图，包括：

17、使用se模块对上述第二特征进行特征提取以获取上述第一通道域注意力图。

18、在一种实施方式中，上述对上述第三特征进行特征提取以获取上述第一混合域注意力图，包括：

19、使用sgnet混合域注意力网络对上述第三特征进行特征提取以获取上述第一混合域注意力图。

20、在一种实施方式中，对上述第二空间域注意力图、上述第二通道域注意力图和上述第二混合域注意力图进行融合操作以获取融合特征；

21、对上述第一特征和上述第二空间域注意力图进行点乘融合操作获取第一点乘特征；

22、对上述第二特征和上述第二通道域注意力图进行点乘融合操作获取第二点乘特征；

23、对上述第三特征和上述第二混合域注意力图进行点乘融合操作获取第三点乘特征；

24、对上述第一点乘特征、上述第二点乘特征和上述第三点乘特征进行全局平均池化操作和降维拼接操作以获取上述融合特征。

25、第二方面，本技术还提出一种共聚焦内窥镜图像处理装置，包括：

26、第一获取单元，用于将待处理图片输入至inception v3网络和ssp结构，以获取第一特征、第二特征和第三特征；

27、提取单元，用于分别提取上述第一特征、上述第二特征和上述第三特征对应的第一空间域注意力图、第一通道域注意力图和第一混合域注意力图；

28、第二获取单元，用于对上述第一空间域注意力图、上述第一通道域注意力图和上述第一混合域注意力图进行非最大抑制操作以获取第二空间域注意力图、第二通道域注意力图和第二混合域注意力图；

29、融合单元，用于对上述第二空间域注意力图、上述第二通道域注意力图和上述第二混合域注意力图进行融合操作以获取融合特征；

30、识别单元，用于基于上述融合特征和目标分类器进行识别以获取有效图像。

31、第三方面，一种电子设备，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器用于执行存储器中存储的计算机程序时实现如上述的第一方面任一项的共聚焦内窥镜图像处理的方法的步骤。

32、第四方面，本技术还提出一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现第一方面上述任一项的共聚焦内窥镜图像处理的方法。

33、综上，本技术实施例的共聚焦内窥镜图像处理的方法包括：将待处理图片输入至inception v3网络和ssp结构，以获取第一特征、第二特征和第三特征；分别提取上述第一特征、上述第二特征和上述第三特征对应的第一空间域注意力图、第一通道域注意力图和第一混合域注意力图；对上述第一空间域注意力图、上述第一通道域注意力图和上述第一混合域注意力图进行非最大抑制操作以获取第二空间域注意力图、第二通道域注意力图和第二混合域注意力图；对上述第二空间域注意力图、上述第二通道域注意力图和上述第二混合域注意力图进行融合操作以获取融合特征；基于上述融合特征和目标分类器进行识别以获取有效图像。本技术提出的共聚焦内窥镜图像处理方法，通过在inception v3网络中使用不同层级的特征提取，结合ssp结构，能够综合多尺度的特征信息能够更好地捕捉图像中的细节和上下文信息。在特征提取过程中引入了空间域、通道域和混合域的注意力机制，可以使模型更好地关注重要的图像区域和通道，从而提高了特征的质量。采用自适应非最大抑制可以减少冗余的区域框，从多个注意力图中选择最相关的部分，有助于提高目标检测的准确性。通过融合不同的注意力图和特征，能够生成更加强大和信息丰富的特征表示，有助于后续的图像识别任务。使用融合特征和经过训练的目标分类器进行图像识别，能够提高图像识别的准确性，筛选出真正有效的图像。通过本方法在医学影像领域，有效图像的提取有效图像，可以帮助医生更准确地分析病变和异常，从而提高医学诊断的准确性。

34、本技术提出的共聚焦内窥镜图像处理的方法，本技术的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本技术的研究和实践而为本领域的技术人员所理解。