基于局部特征和全局特征融合的膀胱镜图像分类方法

本发明涉及计算机视觉领域，特别涉及图像分类技术，具体涉及一种基于局部特征和全局特征融合的膀胱镜图像分类方法。

背景技术：

1、用于膀胱疾病诊断的传统临床方法是活检。医学专家使用显微镜分析这些活检样本，以检查任何癌细胞或异常细胞存在的可能性。这种方法的缺点是侵入性的，并且需要高度熟练的医生。相比之下，内窥镜成像是一种用于可视化膀胱的低侵入性技术。内窥镜成像技术帮助医生在初始阶段识别和诊断膀胱异常。因此，内窥镜检查对于显着降低医疗并发症，治疗成本和死亡率非常有益。

2、尽管内窥镜检查有许多优点，但它带来了特定的权衡取舍。例如，在膀胱筛选过程中产生的大量视频帧。这些帧中的大多数都是多余的，没有价值，只有少数图像可能有一些异常病变。此外，有时泌尿外科专家可能会根本没有注意到异常病变区域，这可能导致误诊。因此，这些医学专家要求自动化方案，可以通过分析整个内窥镜图像自动确定可能存在的恶性肿瘤，提高医生诊断的工作效率，避免出现误诊漏诊。

3、近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于膀胱镜图像分类任务中，如残差网络(resnet)、密集卷积网络(densenet)，但它们仅仅利用神经网络提取单张图像的局部特征，忽略了膀胱镜图像的全局特征，从而难以较好地解决膀胱病变类内差异大和类间相似性高的问题。

技术实现思路

1、本发明为克服现有技术的不足之处，提出一种基于局部特征和全局特征融合的膀胱镜图像分类方法，以期能够融合膀胱镜图像的局部特征和全局特征，并降低局部特征与全局特征之间的差异性，从而提高对膀胱镜图像分类的准确率。

2、本发明通过以下技术方案来实现上述目的：

3、一种基于局部特征和全局特征融合的膀胱镜图像分类方法，包括以下步骤：

4、步骤1、获取带有图像标签的膀胱镜图像获得样本数据集，每张图像及其相应类别记为其中，xi∈rc×h×w表示第i个膀胱镜图像，c表示图像通道数，h表示图像高度，w表示图像宽度，yi表示第i个膀胱镜图像xi对应的类别；i＝1,2,...,n；n表示膀胱镜图像的数量；

5、步骤2、建立融合局部和全局特征的三分支网络，利用残差神经网络对所述膀胱镜图像的样本数据集进行处理后输出利用多尺度特征嵌入和transformer网络对所述膀胱镜图像的样本数据集进行处理后输出

6、步骤3、将所述和输入至预先构建的局部全局特征融合模块中，进行维度转换处理后输出交叉升维特征和交叉特征

7、步骤4、基于所述和所述交叉升维特征获得局部特征提取模块输出的最终表征基于所述和所述交叉特征获得全局特征提取模块输出的最终表征通过对所述和所述进行线性变换后，获得所述局部特征提取模块和全局特征提取模块的分类结果；

8、步骤5、建立交叉熵损失函数，并将训练样本集输入所述三分支网络进行训练后，对总损失函数进行优化求解，以调整所述三分支网络模型的参数，并获得最优网络模型，将待分析膀胱镜图像输入到最优网络模型中以输出分类结果。

9、进一步的，所述步骤2具体包括：

10、步骤2.1、建立三分支网络，所述三分支网络包括：局部特征提取模块、全局特征提取模块、局部全局特征融合模块；

11、步骤2.2、构建局部特征提取模块：

12、步骤2.2.1、所述局部特征提取模块包含1个预处理模块和4个卷积块；

13、预处理模块包含1个卷积层1个最大池化层，第一卷积块包含2个残差块，第二卷积块包含2个残差块，第三卷积块包含6个残差块，第四卷积块包含2个残差块，每个残差块包含2个1×1的卷积核和1个3×3的卷积核；

14、步骤2.2.2、将第i个图像xi输入所述局部特征提取模块中，首先利用式(1)得出预处理模块的输出，然后利用式(2)得出第k个残差块的输出

15、

16、

17、式(1),(2)中conv()代表卷积操作；maxpooling()代表最大池化操作；代表预处理模块的输出；代表第k-1个残差块的输出；

18、步骤2.3、构建全局特征提取模块

19、步骤2.3.1、所述全局特征提取模块包含图像块嵌入模块、4个编码器模块：

20、第一编码器模块包含2个transformer模块，第二编码器模块包含2个transformer模块，第三编码器模块包含6个transformer模块，第四编码器模块包含2个transformer模块，图像块嵌入模块将图像分为一个个图像块，每个trabsformer模块包括：2个归一化层、1个多头注意力机制层以及1个多层感知层；

21、步骤2.3.2、图像块嵌入模块对第i个图像xi进行分块处理，得到包含m个图像块的序列其中表示第i个图像xi的第j个图像块；p×p表示每个图像块的维度，图像块的长为p个像素，宽为p个像素，且m＝(h×w)/p2；

22、步骤2.3.3、设置两个可学习的分类标记xcls和蒸馏标记xdis,并利用式(3)得到m个图像块和分类标记xcls和蒸馏标记xdis的d维嵌入表示并作为第一个transformer模块的输入；

23、

24、式(3)中

25、步骤2.3.4、利用式(4)得到m个图像块以及分类标记xcls和蒸馏标记xdis在第k个transformer模块的多头注意力机制层的输出

26、

27、式(4)中，ln()表示归一化层的处理，mhsa表示多头注意力机制层的处理，表示第k-1个transformer模块的输出。

28、进一步的，所述步骤3具体包括：

29、步骤3.1、所述局部全局特征融合模块包含1个fall操作和1个rise操作、2个交叉注意力模块，其中fall操作代表降维，rise操作代表升维；

30、步骤3.2、fall操作利用式(5)将特征进行维度转换得到以便进行交叉注意力计算；

31、

32、式(5)中flatten()代表展平操作；avgpooling()代表平均池化操作；

33、步骤3.3、将特征和分别输入到局部全局特征融合模块中，设置两组可训练的参数矩阵(wlq,wlk,wlv)，(wgq,wgk,wgv)分别与和进行矩阵相乘得到(ql,kl,vl)，(qg,kg,vg)；wlq，ql,kl,vl,qg,kg,vg∈rd×(m+2)；利用式(6),式(7)得到

34、

35、

36、式(6)，(7)中softmax()表示归一化指数函数；

37、步骤3.4、rise操作利用式(8)将特征进行维度转换得到交叉升维特征

38、

39、式(8)中interpolate()代表插值操作；reshape()代表维数转换操作；

40、进一步的，所述步骤4具体包括：

41、步骤4.1、结合式(8)获得的第k个局部全局特征融合模块的交叉升维特征和步骤2.2.2输出的然后利用式(9)获得局部特征提取模块的最终表征

42、

43、步骤4.2、结合式(7)获得第k个局部全局特征融合模块的交叉特征结合步骤2.3.4输出的然后利用式(10)经过第k个transformer模块的多层感知机获得全局特征提取模块的最终表征

44、

45、式(10)中mlp()表示多层感机的处理；

46、步骤4.3、利用式(11)对局部特征提取模块的最终表征进行线性变换，得到局部特征提取模块的分类结果；

47、

48、式(11)中表示样本xi的预测类别，s代表膀胱镜数据集类别数；linear()代表线性分类函数，将特征的维数映射到s维；

49、步骤4.4、提取特征中classtoken对应的特征性向量xcls，利用式(12)对全局特征提取模块的最终表征的classtoken进行线性变换，得到全局特征提取模块的分类标记的分类结果；

50、

51、式(12)中表示样本xi的预测类别，

52、步骤4.5、提取特征中distoken对应的特征性向量xdis，利用式(13)对全局特征提取模块的最终表征的distoken进行线性变换，得到全局特征提取模块的蒸馏标记的分类结果；

53、

54、式(13)中表示样本xi的预测类别，

55、进一步的，所述步骤5中建立交叉熵损失函数具体为：

56、步骤5.1、利用式(14)计算出局部特征提取模块的分类交叉熵损失：

57、

58、式(14)中yi表示样本xi的真实类别，n代表膀胱镜数据集图像总数；

59、步骤5.2、利用式(15)计算出全局特征提取模块的分类交叉熵损失：

60、

61、式(15)中yi表示样本xi的真实类别；n代表胱镜镜数据集图像总数；

62、步骤5.3、利用式(16)计算出全局特征提取模块的蒸馏交叉熵损失：

63、

64、式(16)中表示通过获取最大值对应的类别作为xi的伪真实类别；

65、步骤5.4、利用式(17)建立总的损失函数；

66、ltotal＝αll+βlg+γldis                       (17)

67、式(17)中α,β,γ均为超参数，且α设为0.45，β设为0.45，γ设为0.1。本发明使用一种基于局部特征和全局特征融合的膀胱镜图像分类方法，构建了膀胱镜图像分类模型，有益效果如下：

68、1、本发明利用局部特征提取模块对膀胱镜图像进行特征学习，提取图像局部空间的上下文特征，同时利用全局特征提取模块对膀胱镜图像进行特征学习，提取图像的全局语义信息；

69、2、本发明利用cnn和transformer将膀胱镜图像局部上下文特征与全局语义信息进行整合，得到了一组鉴别能力更强的膀胱镜图像特征信息，优于传统的卷积神经网络所提取到的特征；

70、3、本发明利用增强后的局部特征和增强后的全局特征进行知识蒸馏，反向优化局部特征提取模块和全局特征提取模块的性能，提高了分类的准确率。