超声内镜辅助监测系统及方法

本技术涉及超声内镜领域，且更为具体地，涉及一种超声内镜辅助监测系统及方法。

背景技术：

1、超声内镜是一种结合了内镜和超声技术的医疗设备，可以在内镜的视野下对人体内部的器官和组织进行超声成像，广泛应用于消化道、胰腺和胆道等器官的检查和治疗，提高了对病变的诊断和治疗的效率和准确性。

2、然而，传统的超声内镜检测系统通常需要依赖医生的经验和技能来手动标记病变区域，这可能导致标记的主观性和不一致性，因为不同医生可能有不同的标记标准和判断。同时，手动标记病变区域需要医生花费大量的时间和精力，医生需要仔细观察超声图像，并使用标记工具手动绘制病变的边界。这使得病变标记过程变得耗时且劳动密集，影响医生的工作效率。此外，传统的超声内镜检测系统的手动标记过程通常是离线进行的，即在超声图像采集后才进行标记，这限制了实时性，因为医生无法立即获得病变标记的结果，从而可能延迟了诊断和治疗的决策。

3、因此，期望一种优化的超声内镜辅助监测系统。

技术实现思路

1、有鉴于此，本技术提出了一种超声内镜辅助监测系统及方法，其可以自动识别和分割病变器官、肿瘤等结构，并提供更精确的图像分析结果以生成病变标记超声图像，从而有助于医生进行病变的检测和诊断。

2、根据本技术的一方面，提供了一种超声内镜辅助监测系统，其包括：

3、超声图像采集模块，用于获取由部署于内镜上的超声探头采集的超声图像；

4、超声图像分块模块，用于将所述超声图像进行图像分块处理以得到超声图像块的序列；

5、超声图像多尺度特征分析模块，用于分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；

6、超声图像特征强化模块，用于分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；

7、超声语义残差融合模块，用于对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及

8、病变标记模块，用于基于所述超声图像语义融合特征，生成病变标记超声图像。

9、进一步地，所述超声图像多尺度特征分析模块，用于：

10、将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

11、进一步地，所述超声图像特征强化模块，用于：

12、将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

13、进一步地，所述超声语义残差融合模块，包括：

14、超声图像浅层特征聚合单元，用于将所述强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到全局超声图像浅层特征图；

15、超声图像深层特征聚合单元，用于将所述强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到全局超声图像深层特征图；

16、超声图像深浅特征嵌入融合强化单元，用于使用残差信息增强融合模块融合所述全局超声图像浅层特征图和所述全局超声图像深层特征图以得到语义强化超声图像浅层特征图作为所述超声图像语义融合特征。

17、进一步地，所述病变标记模块，用于：

18、将所述语义强化超声图像浅层特征图通过基于解码器的病变标记图像生成器以得到病变标记超声图像。

19、进一步地，所述超声内镜辅助监测系统还包括用于对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练的训练模块。

20、进一步地，所述训练模块，包括：

21、训练数据采集单元，用于获取训练数据，所述训练数据包括由部署于内镜上的超声探头采集的训练超声图像；

22、训练超声图像分块单元，用于将所述训练超声图像进行图像分块处理以得到训练超声图像块的序列；

23、训练超声图像多尺度特征分析单元，用于分别对所述训练超声图像块的序列进行多尺度特征分析以得到训练超声图像局部区域浅层特征图的序列和训练超声图像局部区域深层特征图的序列；

24、训练超声图像特征强化单元，用于分别对所述训练超声图像局部区域浅层特征图的序列和所述训练超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到训练强化超声图像局部区域浅层特征图的序列和训练强化超声图像局部区域深层特征图的序列；

25、训练超声语义残差融合单元，用于将所述训练强化超声图像局部区域浅层特征图的序列沿通道维度进行聚合以得到训练全局超声图像浅层特征图，将所述训练强化超声图像局部区域深层特征图的序列沿通道维度进行聚合以得到训练全局超声图像深层特征图，并使用残差信息增强融合模块融合所述训练全局超声图像浅层特征图和所述训练全局超声图像深层特征图以得到训练语义强化超声图像浅层特征图；

26、训练优化单元，用于对所述训练语义强化超声图像浅层特征图进行优化以得到优化训练语义强化超声图像浅层特征图；

27、训练解码单元，用于将所述优化训练语义强化超声图像浅层特征图通过所述基于解码器的病变标记图像生成器以得到解码损失函数值；

28、损失训练单元，用于基于所述解码损失函数值对所述基于金字塔网络的超声图像局部特征提取器、所述特征自相关关联强化模块、所述残差信息增强融合模块和所述基于解码器的病变标记图像生成器进行训练。

29、根据本技术的另一方面，提供了一种超声内镜辅助监测方法，其包括：

30、获取由部署于内镜上的超声探头采集的超声图像；

31、将所述超声图像进行图像分块处理以得到超声图像块的序列；

32、分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列；

33、分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列；

34、对所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列进行全局语义残差信息融合以得到超声图像语义融合特征；以及

35、基于所述超声图像语义融合特征，生成病变标记超声图像。

36、进一步地，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，包括：

37、将所述超声图像块的序列分别通过基于金字塔网络的超声图像局部特征提取器以得到所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列。

38、进一步地，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码以得到强化超声图像局部区域浅层特征图的序列和强化超声图像局部区域深层特征图的序列，包括：

39、将所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列分别通过特征自相关关联强化模块以得到所述强化超声图像局部区域浅层特征图的序列和所述强化超声图像局部区域深层特征图的序列。

40、本发明的有益效果：

41、本技术首先将获取的超声图像进行图像分块处理以得到超声图像块的序列，接着，分别对所述超声图像块的序列进行多尺度特征分析以得到超声图像局部区域浅层特征图的序列和超声图像局部区域深层特征图的序列，然后，分别对所述超声图像局部区域浅层特征图的序列和所述超声图像局部区域深层特征图的序列进行特征自强化关联编码和全局语义残差信息融合以得到超声图像语义融合特征，最后，基于所述超声图像语义融合特征，生成病变标记超声图像。这样，可以有助于医生进行病变的检测和诊断。

42、根据下面参考附图对示例性实施例的详细说明，本技术的其它特征及方面将变得清楚。