一种基于自监督学习的肺结节特征提取及数据库建立方法

本发明属于医学影像，具体涉及一种基于自监督学习的肺结节特征提取及数据库建立方法。

背景技术：

1、肺癌是发病率最高最高的癌症之一，同时也是死亡率最高的癌症。肺结节是小于30毫米的肺部病灶。近年来，随着医学影像技术的提高与肺癌早期筛查的普及，肺结节筛查工作给放射科医生带来的工作负担极大地增加，也相应增加了对更高性能的肺结节算法模型的需求。以往的研究集中于肺结节检测和诊断方面，用于帮助医生找到更多潜在的肺结节，有利于进行良恶性判断。但在临床实践中，医生更希望能通过以往的病例影像找到当前病例的相似患者，从而找到潜在管理方法。因此，有必要建立一种由从患者影像中提取的肺结节特征组成的数据库，通过相似性检索，从所述数据库中检索出与待查询图像相似或相关的肺结节特征。目前，基于医学影像的特征提取一般是通过构建人工神经网络模型实现。所述模型的训练方法分为无监督学习和有监督学习两种方式，无监督方式代价小，但精度稍差；有监督方式需要大量人工标注，成本高，效果也更好。

2、有鉴于此，本发明提出一种基于自监督学习的肺结节特征提取方法，可避免有监督学习需要的大量人工标注，而且效果优于现有的无监督学习方式，在临床实践中有很强的实用性。

技术实现思路

1、为了解决现有技术中存在的上述问题，本发明提供一种基于自监督学习的肺结节特征提取及数据库建立方法。

2、为了实现上述目的，本发明采用以下技术方案。

3、第一方面，本发明提供一种基于自监督学习的肺结节特征提取方法，包括以下步骤：

4、获取包括肺结节的肺部医学影像及肺结节位置坐标；

5、对所述影像进行随机遮挡后输入深度神经网络模型，以影像重构误差最小为目标对所述模型进行第一阶段训练，得到影像的全局特征；

6、从所述肺部医学影像中分割出肺结节图像，对所述图像进行变换后输入至经第一阶段训练后的模型，以图像重构误差最小为目标对所述模型进行第二阶段训练，得到肺结节的局部特征；

7、对所述全局特征和局部特征进行拼接，得到肺结节特征。

8、进一步地，所述肺部医学影像为ct或x-ray图像。

9、进一步地，所述模型包括卷积神经网络cnn和变压器网络transformer。

10、进一步地，所述对所述影像进行随机遮挡包括：从所述影像中随机选取一个矩形区域，用与所述矩形区域全等的一黑色矩形框替换所述矩形区域；其中，所述矩形区域的长、宽分别小于所述影像长、宽的一半。

11、进一步地，所述对所述图像进行变换包括以下方式的一种或多种：遮挡，加入噪声，旋转，翻转，改变对比度。

12、进一步地，所述模型在进行第二阶段训练时，只对所述模型最后一层的全连接层网络参数进行优化。

13、进一步地，第一阶段训练的损失函数l1为：

14、

15、式中，||·||表示范数运算，a1、分别为第一阶段训练时所述模型的输入图像和重构图像；

16、第二阶段训练的损失函数l2为：

17、

18、式中，a2、分别为第二阶段训练时所述模型的输入图像和重构图像。

19、第二方面，本发明提供一种数据库建立方法，包括以下步骤：

20、获取肺癌患者的肺部医学影像；

21、基于所述医学影像利用前述方法进行肺结节特征提取；

22、建立由提取的肺结节特征组成的数据库。

23、第三方面，本发明提供一种数据库查询方法，包括以下步骤：

24、获取利用前述方法得到的患者的肺结节特征；

25、计算所述肺结节特征与所述数据库中每条肺结节特征的相似度；

26、计算最大相似度，若最大相似度超过设定的阈值，获取所述最大相似度对应的肺结节特征。

27、进一步地，两条肺结节特征相似度的计算公式为：

28、

29、或：

30、

31、式中，d1、d2分别为用欧氏距离和余弦距离表示的相似度，x{xi}、y{yi}分别为两条肺结节特征的向量表示，其中，i＝1,2,...,n，n为向量维度。

32、与现有技术相比，本发明具有以下有益效果。

33、本发明通过获取包括肺结节的肺部医学影像，对所述影像进行随机遮挡后输入深度神经网络模型，对所述模型进行第一阶段训练，得到影像的全局特征，从所述肺部医学影像中分割出肺结节图像，对所述图像进行变换后输入至经第一阶段训练后的模型，进行第二阶段训练，得到肺结节的局部特征，对所述全局特征和局部特征进行拼接得到肺结节特征，实现了基于自监督学习的肺结节特征提取。本发明通过采用自监督学习，可解决传统无监督学习精度低和有监督学习标注成本高等问题。

技术特征：

1.一种基于自监督学习的肺结节特征提取方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于自监督学习的肺结节特征提取方法，其特征在于，所述肺部医学影像为ct或x-ray图像。

3.根据权利要求1所述的基于自监督学习的肺结节特征提取方法，其特征在于，所述模型包括卷积神经网络cnn和变压器网络transformer。

4.根据权利要求1所述的基于自监督学习的肺结节特征提取方法，其特征在于，所述对所述影像进行随机遮挡包括：从所述影像中随机选取一个矩形区域，用与所述矩形区域全等的一黑色矩形框替换所述矩形区域；其中，所述矩形区域的长、宽分别小于所述影像长、宽的一半。

5.根据权利要求1所述的基于自监督学习的肺结节特征提取方法，其特征在于，所述对所述图像进行变换包括以下方式的一种或多种：遮挡，加入噪声，旋转，翻转，改变对比度。

6.根据权利要求1所述的基于自监督学习的肺结节特征提取方法，其特征在于，所述模型在进行第二阶段训练时，只对所述模型最后一层的全连接层网络参数进行优化。

7.根据权利要求1所述的基于自监督学习的肺结节特征提取方法，其特征在于，第一阶段训练的损失函数l1为：

8.一种数据库建立方法，其特征在于，包括以下步骤：

9.一种数据库查询方法，其特征在于，包括以下步骤：

10.根据权利要求9所述的数据库查询方法，其特征在于，两条肺结节特征相似度的计算公式为：

技术总结
本发明提供一种基于自监督学习的肺结节特征提取及数据库建立方法。肺结节特征提取方法包括：获取包括肺结节的肺部医学影像及肺结节位置坐标；对所述影像进行随机遮挡后输入深度神经网络模型，以影像重构误差最小为目标对所述模型进行第一阶段训练，得到影像的全局特征；从所述肺部医学影像中分割出肺结节图像，对所述图像进行变换后输入至经第一阶段训练后的模型，以图像重构误差最小为目标对所述模型进行第二阶段训练，得到肺结节的局部特征；对所述全局特征和局部特征进行拼接，得到肺结节特征。本发明通过采用自监督学习，可解决传统无监督学习精度低和有监督学习标注成本高等问题。

技术研发人员：李为民,王成弟,刘丹,邵俊,周振,俞益洲,乔昕,李嘉悦
受保护的技术使用者：四川大学华西医院
技术研发日：
技术公布日：2024/3/27