一种基于深度学习的支气管镜图像良恶性病灶分类装置

本发明涉及生物学，具体涉及一种基于深度学习的支气管镜图像良恶性病灶分类装置。

背景技术：

1、由于肺癌早期的症状缺乏特异性，多数患者在发现时已经进入晚期，这也是导致肺癌死亡率居高不下的重要原因。因此，提高肺癌的检出率和完善肺癌的检查手段，有助于早期诊断和治疗，从而有效地降低死亡率。

2、当前，针对支气管镜图像进行良恶性分类的相关算法数量较少，并且主要基于传统的机器学习方法。该类方法通过手动方式提取特征并进行特征筛选，最后通过机器学习算法建模进行分类。方法流程较为复杂，并且无法提取支气管镜图像的高级抽象特征，导致模型分类准确性有限。为了在临床上辅助医生更好地识别出肺癌患者，需要一种流程简单便捷且准确率较高的支气管镜图像良恶性病灶分类方法。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的支气管镜图像良恶性病灶分类装置，该装置以深度学习为基础，针对模型编码器进行自监督预训练，使其能够充分提取支气管镜图像的深层次抽象特征，并通过融入临床信息提升分类效果；这种先进的网络架构能够充分利用多种类型数据，达到比传统方法更优的效果，并且简化传统方法复杂的流程，为支气管镜图像良恶性病灶分类提供了新思路，预测结果准确度高，能够在临床上为医生快速区分支气管镜图像良恶性病灶提供参考。

2、为实现上述目的，本发明采用以下技术方案：

3、一种基于深度学习的支气管镜图像良恶性病灶分类装置，包括：

4、图像获取模块，用于获取数据，并对数据进行预处理；

5、图像处理模块，用于对模型图像编码器进行自监督预训练，提升模型提取深层次抽象特征的能力；

6、图像特征提取模块，用于通过预训练后的编码器提取图像特征，并对临床数据进行维度转换；

7、图像分类模块，用于通过多模态空间注意力机制模块融合图像特征与临床特征，并进行良恶性病灶分类。

8、优选地，所述图像获取模块用于实现如下步骤：

9、s11、获取患者的支气管镜图像以及相应的临床数据；

10、s12、针对患者支气管镜图像进行中心裁剪，统一转换成224×224大小的图像，再对数据进行归一化，将像素值映射到0和1之间，得到预处理后的支气管镜图像；

11、s13、针对临床信息，选取患者年龄、性别、淋巴结情况、胸腔积液情况，将同一患者的不同临床信息拼接为向量形式，得到预处理后的临床信息。

12、优选地，所述图像处理模块用于实现如下步骤：

13、s21、将训练集中的支气管镜图像数据传入自监督学习模型simclr-v1；

14、s22、对输入模型的支气管镜图像进行不同方式的数据增强，将其转化为两张不同的图像，分别为xi与xj；

15、s23、将图像传入分类模型的编码器中进行特征提取，分别得到图像特征hi与hj，其中，hi为图像xi对应的特征，hj为图像xj对应的特征；

16、s24、将模型图像特征hi与hj分别传入模型的映射头当中进行非变换，令图像的不变信息得到增强；

17、s25、通过损失函数计算两个图像特征的损失值，以此评估图像之间的相似性，并尽可能最小化该损失值，对应损失函数为：

18、

19、其中，si,j表示向量的余弦相似度，n表示批次大小， l(i,j) 为同类特征向量的相似概率，表示不包含k等于i的情况，l为第2k张图像与第2k-1张图像经过位置调换计算相似概率，求得的平均损失，k为一个批次中的第k张图像。

20、优选地，所述图像特征提取模块用于实现如下步骤：

21、s31、将预处理后的支气管镜图像输入深度学习模型resnet18中，经过卷积层、批标准化层、激活函数层，得到基本图像特征f1；

22、s32、将基本图像特征f1传入四个残差模块，进行图像特征编码，得到深层次图像特征f2；

23、s33、将临床数据通过全连接层转换为临床特征c1，以匹配图像特征的维度。

24、优选地，所述图像分类模块用于实现如下步骤：

25、s41、将图像特征中沿通道维度的每个向量与临床特征c1进行余弦相似度计算，得到注意力特征图；

26、s42、将注意力特征图与深层次图像特征f2，在每个通道相乘并求和，得到图像数据与临床数据的融合特征r1；

27、s43、通过softmax函数与全连接层对融合特征r1进行转化，得到模型分类概率，利用交叉熵损失函数计算预测模型输出结果与真实标签的差距，从而优化模型，该损失函数为：其中， l ce表示计算出的损失值，i表示第i个维度，k表示向量维度总数，表示标签第i个维度值，表示第i个维度预测值；

28、s44、通过优化后的预测模型进行支气管镜图像良恶性病灶分类。

29、采用上述技术方案后，本发明具有如下有益效果：本发明的预测模型通过深度学习方法提取支气管镜图像特征，能够提取比传统方法更丰富的图像特征，且比传统方法更加高效。而且本发明的预测模型能够融合图像特征与多种临床信息，与传统的单模态分类模型相比，该装置充分融合了两种模态数据的互补信息，能够提升模型分类效果。使用该装置，能够在临床上为医生快速区分支气管镜图像良恶性病灶提供参考，准确性高。

技术特征：

1.一种基于深度学习的支气管镜图像良恶性病灶分类装置，其特征在于，包括：

2.如权利要求1所述的一种基于深度学习的支气管镜图像良恶性病灶分类装置，其特征在于，所述图像获取模块用于实现如下步骤：

3.如权利要求2所述的一种基于深度学习的支气管镜图像良恶性病灶分类装置，其特征在于，所述图像处理模块用于实现如下步骤：

4.如权利要求3所述的一种基于深度学习的支气管镜图像良恶性病灶分类装置，其特征在于，所述图像特征提取模块用于实现如下步骤：

5.如权利要求4所述的一种基于深度学习的支气管镜图像良恶性病灶分类装置，其特征在于，所述图像分类模块用于实现如下步骤：

技术总结
本发明公开了一种基于深度学习的支气管镜图像良恶性病灶分类装置，包括步骤：图像获取模块，用于获取数据，并对数据进行预处理；图像处理模块，用于对模型图像编码器进行自监督预训练，提升模型提取深层次抽象特征的能力；图像特征提取模块，用于通过预训练后的编码器提取图像特征，并对临床数据进行维度转换；图像分类模块，用于通过多模态空间注意力机制模块融合图像特征与临床特征，并进行良恶性病灶分类；该装置能够融合图像特征与临床信息，与传统影像组学方法相比，该装置较为高效且分类准确性较高，能够在临床上为医生快速区分支气管镜图像良恶性病灶提供参考。

技术研发人员：陈源,王连生
受保护的技术使用者：厦门大学
技术研发日：
技术公布日：2024/1/12