基于多视图多任务特征学习的肺部CT图像分类方法

本发明属于病理图像分析，尤其涉及一种多视图多任务特征学习的肺部ct图像分类方法。

背景技术：

1、肺部ct图像分类任务的目标是通过ct图像结合人工智能实现对患者的ct图像的分析。通过明确患者的图像分类结果，帮助医生制定针对的治疗方案，具有广泛的临床应用价值。早期的肺部ct图像分类主要采用传统的机器学习方法，其核心原理是将人工提取的ct图像特征输入到机器学习模型中，从而实现分类目的。然而，由于这些方法高度依赖专家经验知识，提取过程繁琐复杂，且难以全面反映ct图像信息，导致传统机器学习方法存在明显的局限性。

2、近年来，随着深度学习的快速发展，在ct图像的临床分析中取得了很大的进展，为解决上述问题提供了全新的机遇。例如，chaunzwa等人利用vgg-16深度卷积神经网络模型对肺部ct图像进行分类(chaunzwa t l,hosnya,xu y,et al.deep learningclassification oflung cancer histology using ct images[j].scientific reports,2021,11(1):5471.)：通过将预处理后的ct图像输入到vgg-16模型中，利用其自动学习特征的能力，提取图像中的肺部特征，并将肺部特征输入到后续的分类器进行结果输出。实验结果表明，深度学习方法可以取得不错的分类结果。然而上述方法只考虑了单视图，忽略了ct图像丰富的肺部空间信息。针对上述问题，guo等人设计了一种3d深度神经网络pronet(guoy,song q,jiang m,et al.histological subtypes classification of lung cancerson ct images using 3d deep learning and radiomics[j].academic radiology,2021,28(9):e258-e266.)：通过将ct图像输入3d深度神经网络中，挖掘肺部的三位空间信息，进而有效增强肺部ct图像分类效果。尽管上述方法捕获了丰富的空间信息，但需要昂贵的计算资源，并且存在严重的过拟合问题。为了缓解上述问题，利用多视图表示学习方法是很自然和直观的。li等人设计了一种基于注意力的端到端的多视图分类方法(li c,xu j,liuq,et al.multi-view mammographic density classification by dilated andattention-guided residual learning[j].ieee/acm transactions on computationalbiology andbioinformatics,2020,18(3):1003-1013.)：通过将ct图像的轴向视图，冠状视图和矢状视图输入到多视图融合模型中，分别提取每个视图的特征，并将其融合后用于下游分类任务。

3、然而，现有的多视图分类方法在学习判别力的视图公共特征时，存在一致性学习任务与重建任务之间的冲突，即现有方法依赖潜在特征上的一致性学习任务来充分探索视图公共信息，同时引入重建任务来使相同的潜在特征全面地提取视图特异信息和视图公共信息以避免因医学影像数据稀缺而引起的过拟合问题。此外，现有多视图方法通常只采用通用编码器来学习视图公共特征，忽略了其不可避免地编码一些与肺部ct图像分类无关的噪声信息，使得其在真实场景中的预测性能不理想。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出一种基于多视图多任务特征学习的肺部ct图像分类方法，以期能剔除与肺部ct图像分类无关的噪声信息，同时充分探索多视图之间的公共信息，从而能以高准确度、高效率的方式实现对肺部ct图像的分类。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于多视图多任务特征学习的肺部ct图像分类方法的特点在于，包括如下步骤：

4、步骤1、数据收集及预处理：

5、获取带有肺部ct图像分类标签的n个病例的数据，并使用三线性插值算法将所有肺部ct图像数据进行重采样以统一体素尺寸，从而得到每个病例的肺部ct切片集合及其对应类别标签，记为其中，xi表示第i个病例的一张肺部ct切片，yi表示第i个病例的肺部ct切片xi对应的肺部ct图像分类标签；i＝1，2，...，n；n表示病例的数量；

6、以xi的异常位置中心为原点，分别沿轴向视图方向av、冠状视图方向cv、矢状视图方向sv裁剪维度为h×w像素的图像块，从而得到第i个病例在轴向视图方向av上的肺部ct图像ii，av、冠状视图方向cv上的肺部ct图像ii，cv、矢状视图方向sv上的肺部ct图像ii，sv；

7、将第i个病例的轴向肺部ct图像ii，av、冠状肺部ct图像ii，cv和矢状肺部ct图像ii，sv组成第i个病例的多视图数据{ii，n|n＝av，cv，sv}；其中，ii，n表示第i个病例在视图方向n上的肺部ct图像；

8、步骤2、构建肺部ct图像分类网络，包括：通用编码器uen、一致性感知非局部模块canb、重建模块、分类模块；

9、步骤2.1、构建基于resnet的通用编码器uen，是由c个卷积层、d个池化层和l个全连接层构成，设置所有卷积层的步长为k，设置所有卷积层和前l-1个全连接层的激活函数均采用relu函数，第l个全连接层的激活函数采用softmax函数；

10、所述第i个病例的多视图数据{ii，n|n＝av，cv，sv}输入所述肺部ct图像分类网络中，并经过所述通用编码器uen的处理后，得到包含语义信息的低级特征{li，n|n＝av，cv，sv}，li，n表示第i个病例在视图方向n上的低级特征；

11、步骤2.2、所述一致性感知非局部模块canb对低级特征进行处理，得到视图公共特征和视图特异特征

12、步骤2.3、重建模块对低级特征{li,n|n＝av,cv,sv}进行处理，得到图像重建数据

13、步骤2.4、分类模块对肺部ct图像ii,n进行分类；

14、步骤2.4.1、利用式(1)得到第i个病例的联合特征

15、

16、式(1)中，表示拼接操作，

17、步骤2.4.2、利用全局平均池化层对联合特征进行处理，得到池化后特征的结果再输入第一个全连接层后，使用relu激活函数进行非线性处理，得到特征向量后，再通过第二个全连接层中，并使用softmax函数输出ii,n的肺部ct图像分类预测概率pi；

18、步骤3、构建损失函数；

19、步骤3.1、利用式(2)构建多视图重建的损失函数lrec：

20、

21、式(2)中，表示l2范数。

22、步骤3.2、利用式(3)构建视图一致性的损失函数lcon：

23、

24、式(3)中，1[j≠i]表示一种指示函数，如果j≠i时，则令1[j≠i]为1，否则，令1[j≠i]为0；表示第j个病例在视图方向n上的视图特异特征；d表示余弦相似度；

25、步骤3.3、利用式(4)构建正交损失函数lorth：

26、

27、式(4)中，表示frobenius范数，(·)t表示矩阵的转置操作；

28、步骤3.4、利用式(5)构建干扰损失函数lia：

29、

30、式(5)中，kl表示kl散度，yunif表示均匀分布；

31、步骤3.5利用式(6)构建二元交叉熵分类损失函数lcla：

32、lcla＝-yilog(pi)-(1-yi)log(1-pi) (6)

33、步骤3.6、利用式(7)得到总损失函数ltotal：

34、ltotal＝lcla+αlrec+βlcon+γlorth+ηlia (7)

35、式(7)中，α、β、γ和η是4个权重系数；

36、步骤4、采用adam优化器对肺部ct图像分类网络进行训练，计算所述总损失函数ltotal以更新网络参数，并在训练过程中采用线性衰减策略调整学习率，直到达到最大训练次数或总损失函数ltotal收敛为止，从而得到训练好的肺部ct图像分类模型，用于对肺部ct图像数据进行处理，从而得到分类结果。

37、本发明所述的基于多视图多任务特征学习的肺部ct图像分类方法的特点也在于，所述步骤2.2包括如下步骤：

38、步骤2.2.1、所述一致性感知非局部模块canb包括：query分支，key分支和value分支；

39、将低级特征{li，n|n＝av，cv，sv}输入所述一致性感知非局部模块canb中，并分别经过三个分支的卷积处理，相应得到降维后的查询特征{fiq，n|n＝av，cv，sv}，降维后的键特征{fik，n|n＝av，cv，sv}以及降维后的值特征{fiv，n|n＝av，cv，sv}，其中，fiq，n表示第i个病例在视图方向n上的查询特征，fik，n表示第i个病例在视图方向n上的键特征，fiv，n表示第i个病例在视图方向n上的值特征；

40、步骤2.2.2、所述key分支对{fik，n|n＝av，cv，sv}进行空间金字塔池化操作，得到池化后的键特征其中，表示第i个病例在视图方向n上池化后的键特征；

41、所述value分支将对{fiv，n|n＝av，cv，sv}进行空间金字塔池化操作，得到池化后的值特征其中，表示第i个病例在视图方向n上池化后的值特征；

42、计算{fiq，n|n＝av，cv，sv}和之间的相关性矩阵其中，表示示第i个病例在视图方向n上的相关性矩阵；

43、步骤2.2.3、使用softmax函数对上述的相关性矩阵进行归一化操作，从而得到视图公共特征的权重向量{vi，n|n＝av，cv，sv}，其中，vi，n表示第i个病例在视图方向n上的权重向量；

44、步骤2.2.4、将{vi，n|n＝av，cv，sv}与相乘后，得到第i个病例的视图公共特征其中，表示第i个病例在视图方向n上的视图公共特征；

45、步骤2.2.5、将低级特征{li,n|n＝av,cv,sv}减去视图公共特征后，得到第i个病例的视图特异特征其中，表示第i个病例在视图方向n上的视图特异特征。

46、所述步骤2.3包括如下步骤：

47、所述重建模块利用c1层卷积神经网络对{li,n|n＝av,cv,sv}进行处理，得到卷积特征向量{fi,n|n＝av,cv,sv}，再采用k1尺寸的卷积核对{fi,n|n＝av,cv,sv}进行上采样处理，生成上采样特征向量{f'i,n|n＝av,cv,sv}，然后将{f'i,n|n＝av,cv,sv}依次输入两层卷积神经网络以及一层上采样神经网络中进行处理，并得到二次上采样特征向量{f”i,n|n＝av,cv,sv}，最后对{f”i,n|n＝av,cv,sv}进行卷积操作后，得到第i个病例重建后的多视图数据其中，fi,n表示第i个病例在视图方向n上的卷积特征，f'i,n表示第i个病例在视图方向n上的上采样特征，f”i,n表示第i个病例在视图方向n上的二次上采样特征，表示第i个病例在视图方向n上的重建多视图数据。

48、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述肺部ct图像分类方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

49、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述肺部ct图像分类方法的步骤。

50、与现有技术相比，本发明的积极效果如下：

51、1、本发明提出了一个分层特征学习网络；该网络为每个视图先后生成低级特征和高级特征，低级特征可以全面地学习视图公共信息和视图特异信息以便更好地完成重建任务；同时，从低级特征中灵活选取的高级视图公共特征完成一致性学习任务；这样可以有效地解决了一致性学习任务和重建任务之间的冲突，提高了视图公共表征的学习效率，从而有效地提高了对肺部ct图像分类的准确性。

52、2、本发明提出了一个一致性感知非局部模块canb；该模块可以利用特征选择的方式从低级特征中充分学习视图公共信息，并且滤除包含噪声以及其它干扰信息的视图特异特征以完成干扰去除任务，从而缓解了因ct图像数据中存在的大量背景噪声而造成的干扰，同时提高了肺部ct图像分类的预测性能。