图像分类方法、计算机设备和存储介质与流程

1.本技术涉及医学影像技术领域，特别是涉及一种图像分类方法、计算机设备和存储介质。


背景技术：

2.随着人工智能技术的发展，越来越多的神经网络模型应用到了医学影像的辅助诊断上，例如，可以利用分类网络对医学影像进行分类，利用分类结果辅助医生进行病灶的诊断，或者，可以利用分割网络对医学影像进行分割，利用分割结果辅助医生对病灶区域进行分析等。
3.但是，目前的神经网络模型在应用时存在一定的局限性，例如，训练得到的模型存在难以适用于不同病灶类型的医学影像。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够使得训练得到的模型适用于不同病灶类型的医学影像的图像分类方法、计算机设备和存储介质。
5.第一方面，本技术提供了一种图像分类方法，所述方法包括：
6.获取医学影像的感兴趣区域的不同分辨率的图像；
7.将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
8.在其中一个实施例中，所述将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果，包括：
9.对各所述图像进行特征提取，得到各所述图像的特征；
10.对各所述图像的特征进行特征融合，得到第一融合特征；
11.根据所述第一融合特征，确定所述分类结果。
12.在其中一个实施例中，所述对各所述图像的特征进行特征融合，得到第一融合特征，包括：
13.对各所述图像的特征进行相关性计算，得到各所述图像间的相关性矩阵；
14.对各所述图像间的相关性矩阵进行归一化处理，得到归一化权重矩阵；
15.根据所述归一化权重矩阵和任一所述图像的特征，得到所述第一融合特征。
16.在其中一个实施例中，所述分类结果包括阴阳性分类结果和阳性类别的类型；所述根据所述第一融合特征，确定所述分类结果，包括：
17.根据所述第一融合特征，确定所述感兴趣区域的第一分类结果；所述第一分类结果用于表征所述感兴趣区域为阳性类别或阴性类别；
18.在所述第一分类结果为阳性类别时，根据所述第一融合特征，确定所述感兴趣区域的第二分类结果；所述第二分类结果用于表征所述感兴趣区域所属的类型，所述感兴趣区域所属的类型包括阴性以及所述感兴趣区域为阳性类别时所属的阳性类别的类型。
19.在其中一个实施例中，所述方法还包括：
20.获取所述医学影像的临床信息；
21.将所述临床信息输入预设的第一神经网络中，获取所述临床信息对应的临床特征；
22.采用预设的融合方法对所述第一融合特征和所述临床特征进行融合处理，得到第二融合特征；
23.根据所述第二融合特征，确定所述分类结果。
24.在其中一个实施例中，所述方法还包括：
25.获取所述医学影像的影像征象信息；
26.将所述影像征象信息输入预设的第二神经网络中，获取所述影像征象信息对应的影像征象特征；
27.采用预设的融合方法对所述第一融合特征和所述影像征象特征进行融合处理，得到第三融合特征；
28.根据所述第三融合特征，确定所述分类结果。
29.在其中一个实施例中，所述预设的融合方法包括双线性池化法或者串联法。
30.在其中一个实施例中，所述分类网络的训练过程包括：
31.获取样本感兴趣区域的不同分辨率的样本图像以及所述样本感兴趣区域的第一标签和第二标签；所述第一标签用于表征所述样本感兴趣区域为阳性类别或阴性类别；所述第二标签用于表征所述样本感兴趣区域所属的类型，所述样本感兴趣区域所属的类型包括阴性以及所述样本感兴趣区域为阳性类别时所属的阳性类别的类型；
32.将各所述样本图像输入预设的初始分类网络中，得到所述样本感兴趣区域的第一样本分类结果和第二样本分类结果；所述第一样本分类结果用于表征所述样本感兴趣区域为阳性类别或阴性类别；所述第二样本分类结果用于表征所述样本感兴趣区域所属的类型，所述样本感兴趣区域所属的类型包括阴性以及所述样本感兴趣区域为阳性类别时所属的阳性类别的类型；
33.利用所述第一标签对所述第二标签进行加权处理，得到所述第二标签对应的加权标签，利用第一样本分类结果对第二样本分类结果进行加权处理，得到所述第二样本分类结果对应的加权分类结果；其中，所述加权标签中的阴性类别与所述第一标签中的阴性类别一致，所述加权分类结果中的阴性类别与所述第一样本分类结果中的阴性类别一致；
34.根据所述第一标签和所述第一样本分类结果得到第一损失函数，根据所述加权标签和所述加权分类结果得到第二损失函数；
35.根据所述第一损失函数和所述第二损失函数对所述初始分类网络进行训练，得到所述分类网络。
36.第二方面，本技术还提供了一种图像分类装置，所述装置包括：
37.第一获取模块，用于获取医学影像的感兴趣区域的不同分辨率的图像；
38.分类模块，用于将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
39.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
40.获取医学影像的感兴趣区域的不同分辨率的图像；
41.将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
42.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
43.获取医学影像的感兴趣区域的不同分辨率的图像；
44.将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
45.第五方面，本技术还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
46.获取医学影像的感兴趣区域的不同分辨率的图像；
47.将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
48.上述图像分类方法、计算机设备和存储介质，通过获取医学影像的感兴趣区域的不同分辨率的图像，将感兴趣区域的不同分辨率的图像输入预设的分类网络中，能够通过分类网络对感兴趣区域不同分辨率的图像进行处理，使得分类网络能够适用于不同病灶类型的医学影像，从而能够通过分类网络对感兴趣区域不同分辨率的图像进行处理，得到表征感兴趣区域所属的类别的分类结果。
附图说明
49.图1为一个实施例中图像分类方法的应用环境图；
50.图2为一个实施例中图像分类方法的流程示意图；
51.图3为另一个实施例中图像分类方法的流程示意图；
52.图4为一个实施例中图像特征的融合过程示意图；
53.图5为另一个实施例中图像分类方法的流程示意图；
54.图6为一个实施例中图像特征的融合过程示意图；
55.图7为另一个实施例中图像分类方法的流程示意图；
56.图8为一个实施例中图像特征的融合过程示意图；
57.图9为一个实施例中分类网络的训练过程示意图；
58.图10为一个实施例中图像分类方法的流程示意图；
59.图11为一个实施例中图像分类装置的结构框图。
具体实施方式
60.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
61.本技术实施例提供的图像分类方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包括网
络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本技术实施例对计算机设备的具体形式并不做限定。
62.当前，对于放射科医生来说，游览由数百个切片组成的医学影像图像需要很长时间和大量的精力。近年来，随着人工智能技术在图像识别上的发展，人工智能与医学的联系越来越紧密，越来越多的技术应用于医学影象的识别。本技术提供的图像分类方法：(1)针对在模型训练过程中，一个固定大小的输入图像很难适用于所有病灶目标的问题，提出了多尺度特征联合注意力模块，即采样双线性融合的方式，交互多尺度特征通道，增强多尺度特征之间的共性，同时又可以达到适应各种范围大小的病灶特征学习的目的；(2)在医学影像识别的任务中，有些任务的识别目标具有某种程度的重合度，比如在良恶性的基础上，进一步将恶性识别为不典型腺瘤样增生、原位癌、微浸润、浸润，浸润建议手术，不典型腺瘤样增生建议随访观察，这对与医生来说，具有更重要的临床意义，针对这种分层多任务需求，本技术引入了一致性损失函数(consistency loss)，用于引导多任务分类器模块能够做出一致性的决策；(3)由于深度学习对于数据量的要求，导致一个好的有效的疾病辅助诊断模型往往需要一大批具有较高质量的标注数据来训练，然而在临床中这种有金标准的数据大概率都是不平衡，针对这种数据不平衡问题，本技术在基本的分类损失函数的基础上进一步加入auc损失函数，抑制网络的偏向性；(4)在临床应用中，医生不仅要看医学影像，还要同时分析一些临床指标，比如血检指标，基因检测指标，病史等等，将这些指标综合影像做出临床判断具有一定的临床价值，为了分析这种多模态信息，本技术提出了针对临床的多模态网络，支持加入临床特征进行综合分析；(5)对于一些医生经常采用的影像特征，如病灶密度，可以进行编码加入分类模块，辅助模型做出判别。
63.在一个实施例中，如图2所示，提供了一种图像分类方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
64.s201，获取医学影像的感兴趣区域的不同分辨率的图像。
65.可选的，计算机设备可以先从医学影像中分割出医学影像的感兴趣区域，再对医学影像的感兴趣区域的分辨率进行不同的处理，得到医学影像的感兴趣区域的不同分辨率的图像，或者，计算机设备可以先对医学影像的感兴趣区域的分辨率进行不同的处理，再对处理后的不同分辨率的感兴趣区域进行分割，得到医学影像的感兴趣区域的不同分辨率的图像。
66.可选的，医学影像可以为电子计算机断层扫描(computed tomography，ct)影像，也可以为磁共振成像(magnetic resonance imaging，mri)影像，或者，可以为正电子发射断层扫描(pet)影像，又或者，可以为x-ray影像等等。可选的，医学影像的感兴趣区域可以为医学影像中的肺部区域，也可以为医学影像中的心肝脏区域，也可以为医学影像中的淋巴区域等等。
67.可以理解的是，医学影像的分辨率是指医学影像中存储的信息量，是每英寸医学
影像内有多少个像素点，在本实施例中，感兴趣区域的不同分辨率的图像是指存储有不同信息量的感兴趣区域图像。
68.s202，将各图像输入预设的分类网络中，得到感兴趣区域的分类结果；其中，分类结果用于表征感兴趣区域所属的类别。
69.其中，预设的分类网络包括但不限于卷积神经网络(convolutional neural network，cnn)、resnet网络、dense net网络等神经网络。可选的，感兴趣区域所属的类别可以为阴阳性分类结果，进一步地，感兴趣区域所属的类别为阳性时，感兴趣区域所属的类别也可以为感兴趣区域为阳性类别的类型。可选的，计算机设备可以将感兴趣区域的不同分辨率的图像依次输入分类网络中，得到感兴趣区域的分类结果，也可以将感兴趣区域的不同分辨率的图像进行融合后将融合图像输入分类网络中，得到感兴趣区域的分类结果。例如，计算机设备可以将感兴趣区域的三幅不同分辨率的图像依次输入分类网络中，得到感兴趣区域的分类结果，也可以将感兴趣区域的三幅不同分辨率的图像进行融合后将融合图像输入分类网络中，得到感兴趣区域的分类结果。
70.上述图像分类方法中，通过获取医学影像的感兴趣区域的不同分辨率的图像，将感兴趣区域的不同分辨率的图像输入预设的分类网络中，能够通过分类网络对感兴趣区域不同分辨率的图像进行处理，使得分类网络能够适用于不同病灶类型的医学影像，从而能够通过分类网络对感兴趣区域不同分辨率的图像进行处理，得到表征感兴趣区域所属的类别的分类结果。
71.在上述将感兴趣区域的不同分辨率的图像输入预设的分类网络中，得到感兴趣区域的分类结果的场景中，在一个实施例中，如图3所示，上述s202，包括：
72.s301，对各图像进行特征提取，得到各图像的特征。
73.可选的，分类网络中可以包括特征提取层，将感兴趣区域的不同分辨率的图像输入分类网络后，可以通过分类网络的特征提取层对感兴趣区域的不同分辨率的图像进行特征提取，得到感兴趣区域不同分辨率的图像的特征。可选的，分类网络中可以包括至少一个特征提取层，例如，分类网络中包括的特征提取层的数量可以与感兴趣区域不同分辨率的图像数量一致，通过各特征提取层分别对感兴趣区域不同分辨率的图像进行特征提取，得到各图像的特征；或者，分类网络中可以只包括一个特征提取层，通过这一个特征提取层依次对感兴趣区域不同分辨率的图像进行特征提取，得到各图像的特征。
74.s302，对各图像的特征进行特征融合，得到第一融合特征。
75.可选的，分类网络中还可以包括特征融合层，通过分类网络得到感兴趣区域不同分辨率的图像的特征后，可以通过分类网络的特征融合层对感兴趣区域不同分辨率的图像的特征进行特征融合，得到第一融合特征。可选的，可以对感兴趣区域不同分辨率的图像的特征进行串联，得到上述第一融合特征。或者，作为一种可选的实施方式，可以通过以下步骤得到上述第一融合特征，该过程的示意图如图4所示：
76.步骤a，对各图像的特征进行相关性计算，得到各图像间的相关性矩阵。
77.可选的，计算机设备可以通过双线性操作对感兴趣区域不同分辨率的图像的特征进行相关性计算，得到感兴趣区域不同分辨率的图像间的相关性矩阵。以感兴趣区域三个不同分辨率的图像为例，对这三个不同分辨率的图像进行特征提取得到特征为f1、f2、f3，其中，f1,f2,f3∈rc×d×h×w，c表示特征通道数，d,h,w表示特征的长宽高大小，将三个不同分辨
率的图像的特征f1、f2、f3展开得到f1',f2',f3'∈rc×
l
，l＝d
×h×
w，用双线性操作得到特征之间维度上的相关性矩阵其中，相关性矩阵的上标代表不同分辨率的特征序号。
78.步骤b，对各图像间的相关性矩阵进行归一化处理，得到归一化权重矩阵。
79.继续以上述感兴趣区域三个不同分辨率的图像为例，得到的各图像间的相关性矩阵为m
12
，m
13
，对相关性矩阵m
12
，m
13
进行归一化处理，得到的归一化权值矩阵为式中，下标i表示第一个特征的第i通道，下标j表示第二个特征的第j通道。
80.步骤c，根据归一化权重矩阵和任一图像的特征，得到第一融合特征。
81.可选的，计算机设备可以将归一化权值矩阵作用到任一分辨率的感兴趣图像的特征，得到第一融合特征。继续以上述感兴趣区域三个不同分辨率的图像为例，得到的归一化权重矩阵为和可选的，计算机设备可以将归一化权值矩阵作用到第一特征f1，得到第一融合特征，即，计算机设备可以通过下述公式得到第一融合特征：式中，f
w1
表示第一融合特征。
82.s303，根据第一融合特征，确定分类结果。
83.可选的，计算机设备可以通过分类器对第一融合特征做分类，确定感兴趣区域的分类结果。或者，可选的，上述分类结果可以包括阴阳性分类结果和阳性类别的类型，在一个实施例中，可以通过下述步骤确定上述分类结果：
84.步骤d，根据第一融合特征，确定感兴趣区域的第一分类结果；第一分类结果用于表征感兴趣区域为阳性类别或阴性类别。
85.可选的，计算机设备可以将第一融合特征输入分类器中，确定表征感兴趣区域为阳性类别或阴性类别的第一分类结果。可选的，感兴趣区域的第一分类结果可以为阳性类别，也可以为阴性类别。示例性地，以感兴趣区域为肺结节为例，则得到的第一分类结果可以为肺结节为阳性，或者，肺结节为阴性。
86.步骤e，在第一分类结果为阳性类别时，根据第一融合特征，确定感兴趣区域的第二分类结果；第二分类结果用于表征感兴趣区域所属的类型，感兴趣区域所属的类型包括阴性以及感兴趣为阳性类别时所属的阳性类别的类型。
87.可选的，在上述第一分类结果为阳性类别时，计算机设备还可以根据上述第一融合特征，确定感兴趣区域的第二分类结果，其中，感兴趣区域的第二分类结果用于表征感兴趣区域所属的类型，感兴趣区域所属的类型可以包括阴性以及感兴趣区域为阳性类别时所属的阳性类别的类型。继续以上述感兴趣区域为肺结节为例，若上述第一分类结果为阳性类别，则计算机设备还可以进一步根据第一融合特征，确定肺结节的第二分类结果，例如，确定的第二分类结果可以为不典型腺瘤样增生、原位癌、微浸润、浸润中的任意一种。
88.本实施例中，将感兴趣区域不同分辨率的图像输入预设的分类网络中，能够通过分类网络对感兴趣区域不同分辨率的图像进行特征提取，得到各图像的特征，从而可以对各图像的特征进行特征融合得到第一融合特征，根据第一融合特征对感兴趣区域进行分
类，确定感兴趣区域的分类结果，使得分类网络能够适用于不同病灶类型的医学影像，根据感兴趣区域不同分辨率的图像能够得到感兴趣区域的分类结果。
89.在一些场景中，还可以结合医学影像的临床信息对感兴趣区域进行分类，得到感兴趣区域的分类结果。在一个实施例中，如图5所示，上述方法还包括：
90.s401，获取医学影像的临床信息。
91.可选的，医学影像的临床信息可以包括医学影像的血检信息、基因检测信息等。可选的，计算机设备可以从存储医学影像的数据库中获取医学影像对应的临床信息，或者，计算机设备可以通过识别医学影像上的标识信息，获取医学影像的临床信息。
92.s402，将临床信息输入预设的第一神经网络中，获取临床信息对应的临床特征。
93.可选的，预设的第一神经网络可以为多层感知器(mlp)，也可以为长短期记忆网络(long-short term memory networks，lstm)，或者，也可以为神经网络中的全连接层(fully connected layer)等等。可选的，计算机设备将临床信息输入预设的第一神经网络中，可以通过第一神经网络对临床信息进行编码得到临床特征。
94.s403，采用预设的融合方法对第一融合特征和临床特征进行融合处理，得到第二融合特征。
95.可选的，预设的融合方法可以包括双线性池化法或者串联法，也就是说，计算机设备可以通过双线性池化法或者串联法对上述第一融合特征和临床特征进行融合处理，得到第二融合特征。示例性地，以fi∈rm×1(m为影像特征通道)为上述第一融合特征，fc∈rs×1(s为临床特征通道)为临床特征为例，得到第二融合特征的过程可以为如图6所示意的过程，如图6所示，可以采用双线性池化模块(bilinear pooling)对影像特征fi和临床特征fc进行融合，具体操作过程可以通过下式表示：式中，fi表示影像特征，fc表示临床特征，ff表示第二融合特征。
96.s404，根据第二融合特征，确定分类结果。
97.可选的，计算机设备可以通过分类器对第二融合特征做分类，确定感兴趣区域的分类结果。或者，作为一种可选的实施方式，计算机设备可以通过上述s303中步骤d和步骤e中的描述确定感兴趣区域的分类结果，其实现原理和技术效果类似，在此不再赘述。
98.本实施例中，通过获取医学影像的临床信息，能够将医学影像的临床信息输入预设的第一神经网络中，获取临床信息对应的临床特征，从而可以采用预设的融合方法对第一融合特征和临床特征进行融合处理，得到第二融合特征，由于第二融合特征中包括有临床特征和感兴趣区域不同分辨率图像的第一融合特征，因此，可以结合临床特征和感兴趣区域不同分辨率图像的第一融合特征对感兴趣区域进行分类，通过临床特征辅助得到感兴趣区域的分类结果，使得得到的感兴趣区域的分类结果更加准确。
99.在一些场景中，还可以结合医学影像的影像征象信息对感兴趣区域进行分类，得到感兴趣区域的分类结果。在一个实施例中，如图7所示，上述方法还包括：
100.s501，获取医学影像的影像征象信息。
101.其中，医学影像的影像征象信息可以为医学影像中感兴趣区域的密度征象和感兴趣区域的大小等，以感兴趣区域为肺结节为例，肺结节的密度征象可以包括实性、磨玻璃、混合磨玻璃、钙化等。可选的，计算机设备可以将医学影像输入密度网络(density net)中，
得到医学影像的影像征象信息。
102.s502，将影像征象信息输入预设的第二神经网络中，获取影像征象信息对应的影像征象特征。
103.可选的，预设的第二神经网络可以为多层感知器(mlp)，也可以为长短期记忆网络(long-short term memory networks，lstm)，或者，也可以为神经网络中的全连接层(fully connected layer)等等。可选的，计算机设备将医学影像的影像征象信息输入预设的第二神经网络中，可以通过第二神经网络对影像征象信息进行编码得到影像征象信息对应的影像征象特征。
104.s503，采用预设的融合方法对第一融合特征和影像征象特征进行融合处理，得到第三融合特征。
105.可选的，预设的融合方法可以包括双线性池化法或者串联法，也就是说，计算机设备可以通过双线性池化法或者串联法对上述第一融合特征和影像征象特征进行融合处理，得到第三融合特征。可选的，计算机设备可以对影像征象特征进行编码，将影像征象特征的维度编码为与感兴趣区域不同分辨率的图像数量相同的维度，再将影像征象特征和第二融合特征进行融合处理，得到第三融合特征。示例性地，以fd为影像征象特征，fi∈rm×1(m为影像特征通道)为上述第一融合特征为例，得到第三融合特征的过程可以为如图8所示意的过程，如图8所示，可以将影像征象特征fd和第一融合特征fi∈rm×1进行串联，得到第三融合特征。
106.s504，根据第三融合特征，确定分类结果。
107.可选的，计算机设备可以通过分类器对第三融合特征做分类，确定感兴趣区域的分类结果。或者，作为一种可选的实施方式，计算机设备可以通过上述s303中步骤d和步骤e中的描述确定感兴趣区域的分类结果，其实现原理和技术效果类似，在此不再赘述。
108.本实施例中，通过获取医学影像的影像征象信息，能够将医学影像的影像征象信息输入预设的第二神经网络中，获取影像征象信息对应的影像征象特征，从而可以采用预设的融合方法对第一融合特征和影像征象特征进行融合处理，得到第三融合特征，由于第三融合特征中包括有影像征象特征和感兴趣区域不同分辨率图像的第一融合特征，因此，可以结合影像征象特征和感兴趣区域不同分辨率图像的第一融合特征对感兴趣区域进行分类，通过影像征象特征辅助得到感兴趣区域的分类结果，使得得到的感兴趣区域的分类结果更加准确。
109.在上述将感兴趣区域不同分辨率的图像输入预设的分类网络中，得到感兴趣区域的分类结果的场景中，分类网络为预先训练好的网络，在一个实施例中，如图9所示，上述分类网络的训练过程包括：
110.s601，获取样本感兴趣区域的不同分辨率的样本图像以及样本感兴趣区域的第一标签和第二标签；第一标签用于表征样本感兴趣区域为阳性类别或阴性类别；第二标签用于表征样本感兴趣区域所属的类型，样本感兴趣区域所属的类型包括阴性以及样本感兴趣区域为阳性类别时所属的阳性类别的类型。
111.可选的，计算机设备可以先从样本医学影像中分割出样本医学影像的样本感兴趣区域，再对样本医学影像的样本感兴趣区域的分辨率进行不同的处理，得到样本医学影像的样本感兴趣区域的不同分辨率的样本图像，或者，计算机设备可以先对样本医学影像的
∈{0,1,2,3,4}表示上述第二标签，其中，第一标签中0表示肺结节为阴性，1表示肺结节为阳性，第二标签中为1,2,3,4的标签在第一标签中都为1，定义c1为第一样本分类结果，c2为第二样本分类结果，其中，c2是个五维数组，每维数组的值对应每个类别的预测概率，且各类别的预测概率和为1，则在阴阳性分类中优化目标为c1(x)
→
y1，在对样本感兴趣区域所属的类型进行分类时，将第二标签y2进行加权处理变换为加权标签，将第二样本分类结果进行加权处理变换为加权分类结果，可选的，可以利用第一标签对第二标签进行one-hot编码，得到第二标签对应的加权标签，利用第一样本分类结果对第二样本分类结果进行one-hot编码，得到第二样本分类结果对应的加权分类结果，可选的，对分类结果进行one-hot编码的编码过程可以为将概率最高位置置1，其他位置置0，例如，可以将第二标签y2进行one-hot编码变换为标签y2'，其中，y2'∈{[1,0,0,0,0],[0,1,0,0,0],[0,0,1,0,0],[0,0,0,1,0],[0,0,0,0,1]}，进一步地，可以定义加权标签y”＝y'
×
[1-c1(x),c1(x),c1(x),c1(x),c1(x)]，式中，y'∈y2'，在对样本感兴趣区域所属的类型分类中优化目标为c2(x)
→y2”，y”∈y
2”，同样地，计算机设备可以采用同样的方式将第二样本分类结果c2进行one-hot编码变换为c'2，其中，c'2∈{[1,0,0,0,0],[0,1,0,0,0],[0,0,1,0,0],[0,0,0,1,0],[0,0,0,0,1]}，进一步地，可以定义加权分类结果c'2'＝c'2×
c2，式中，c'2∈c'2。
[0116]
s604，根据第一标签和第一样本分类结果得到第一损失函数，根据加权标签和加权分类结果得到第二损失函数。
[0117]
在本实施例中，请继续参见上述示例，由于在阴阳性分类中优化目标为c1(x)
→
y1，在对样本感兴趣区域所属的类型分类中优化目标为c2(x)
→y2”，由此可以得到第一损失函数式中crossentropyloss表示第一损失函数，n为样本数量，x表示样本图像，y表示第一标签，c1表示第一样本分类结果，同样地，可以得到第二损失函数式中，softcrossentropyloss表示第二损失函数，y”表示加权标签，c2表示第二样本分类结果。
[0118]
s605，根据第一损失函数和第二损失函数对初始分类网络进行训练，得到分类网络。
[0119]
可选的，计算机设备可以对第一损失函数的值和第二损失函数的值进行求加和，利用两者的加和对初始分类网络进行训练，得到上述分类网络。进一步地，为了避免对初始分类网络训练过程中的数据不平衡问题，在对初始分类网络进行训练时还可以加入auc损失函数，在对样本感兴趣区域的阴阳性类别进行分类时，假设x-代表输入负样本集，x
+
代表输入正样本集，由此可以根据该假设定义其中，n
+
和n-分别为正样本集和负样本集的数量，在对样本感兴趣区域所属的类型进行分类时，可以将auc损失函数拆分为多个，最终将多个auc损失函数进行加和作为在对样本感兴趣区域所属的类型进行分类时的auc损失函数，即multi aucloss(c2,x)＝aucloss(c2,x0,～x0)+aucloss(c2,x1,～x1)+aucloss(c2,x2,～x2)式中，
xk表示第k类样本集，k∈{0,1,2}，～xk表示非k类样本集，n为总样本数量，表示非k类样本集，n为总样本数量，和表示取第k通道的值，即预测为第k类的概率，计算机设备在根据第一损失函数和第二损失函数对初始分类网络进行训练时，还可以加入上述两个auc损失函数，可选的，计算机设备可以根据第一损失函数、第二损失函数和上述两个auc损失函数的加和，对初始分类网络进行训练，得到上述分类网络。
[0120]
本实施例中，通过将样本感兴趣区域的不同分辨率的样本图像输入预设的初始分类网络中，能够得到样本感兴趣区域的第一样本分类结果和第二样本分类结果，并利用第一标签对第二标签进行加权处理，能够得到第二标签对应的加权标签，利用第一样本分类结果对第二样本分类结果进行加权处理，能够得到第二样本分类结果对应的加权分类结果，这样使得在两次分类中阴阳性的分类结果能保持一致，从而可以根据第一标签和第一样本分类结果得到第一损失函数，根据加权标签和加权分类结果得到第二损失函数，进而可以根据第一损失函数和第二损失函数对初始分类网络进行训练，准确地得到分类网络，提高了得到的分类网络的准确度。
[0121]
为了便于本领域技术人员的理解，以下对本技术提供的图像分类方法进行详细介绍，请参考图10，该方法可以包括：
[0122]
s1，获取样本感兴趣区域的不同分辨率的样本图像以及样本感兴趣区域的第一标签和第二标签；第一标签用于表征样本感兴趣区域为阳性类别或阴性类别；第二标签用于表征样本感兴趣区域所属的类型，样本感兴趣区域所属的类型包括阴性以及样本感兴趣区域为阳性类别时所属的阳性类别的类型。
[0123]
s2，将各样本图像输入预设的初始分类网络中，得到样本感兴趣区域的第一样本分类结果和第二样本分类结果；第一样本分类结果用于表征样本感兴趣区域为阳性类别或阴性类别；第二样本分类结果用于表征样本感兴趣区域所属的类型，样本感兴趣区域所属的类型包括阴性以及样本感兴趣区域为阳性类别时所属的阳性类别的类型。
[0124]
s3，利用第一标签对第二标签进行加权处理，得到第二标签对应的加权标签，利用第一样本分类结果对第二样本分类结果进行加权处理，得到第二样本分类结果对应的加权分类结果；其中，加权标签中的阴性类别与第一标签中的阴性类别一致，加权分类结果中的阴性类别与第一样本分类结果中的阴性类别一致。
[0125]
s4，根据第一标签和第一样本分类结果得到第一损失函数，根据加权标签和加权分类结果得到第二损失函数。
[0126]
s5，根据第一损失函数和第二损失函数对初始分类网络进行训练，得到分类网络。
[0127]
s6，获取医学影像的感兴趣区域的不同分辨率的图像。
[0128]
s7，将各图像输入预设的分类网络中，对各图像进行特征提取，得到各图像的特征。
[0129]
s8，对各图像的特征进行相关性计算，得到各图像间的相关性矩阵。
[0130]
s9，对各图像间的相关性矩阵进行归一化处理，得到归一化权重矩阵。
[0131]
s10，根据归一化权重矩阵和任一图像的特征，得到第一融合特征，执行s11-s12，
或者，执行s13-s14。
[0132]
s11，获取医学影像的临床信息；将临床信息输入预设的第一神经网络中，获取临床信息对应的临床特征；采用预设的融合方法对第一融合特征和临床特征进行融合处理，得到第二融合特征。
[0133]
s12，根据第二融合特征，确定感兴趣区域的第一分类结果；第一分类结果用于表征感兴趣区域为阳性类别或阴性类别；在第一分类结果为阳性类别时，根据第二融合特征，确定感兴趣区域的第二分类结果；第二分类结果用于表征感兴趣区域所属的类型，感兴趣区域所属的类型包括阴性以及感兴趣区域为阳性类别时所属的阳性类别的类型。
[0134]
s13，获取医学影像的影像征象信息；将影像征象信息输入预设的第二神经网络中，获取影像征象信息对应的影像征象特征；采用预设的融合方法对第一融合特征和影像征象特征进行融合处理，得到第三融合特征。
[0135]
s14，根据第三融合特征，确定感兴趣区域的第一分类结果；第一分类结果用于表征感兴趣区域为阳性类别或阴性类别；在第一分类结果为阳性类别时，根据第三融合特征，确定感兴趣区域的第二分类结果；第二分类结果用于表征感兴趣区域所属的类型，感兴趣区域所属的类型包括阴性以及感兴趣区域为阳性类别时所属的阳性类别的类型。
[0136]
需要说明的是，针对上述s1-s14中的描述可以参见上述实施例中相关的描述，且其效果类似，本实施例在此不再赘述。
[0137]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0138]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像分类方法的图像分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像分类装置实施例中的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。
[0139]
在一个实施例中，如图11所示，提供了一种图像分类装置，包括：第一获取模块和分类模块，其中：
[0140]
第一获取模块，用于获取医学影像的感兴趣区域的不同分辨率的图像。
[0141]
分类模块，用于将各图像输入预设的分类网络中，得到感兴趣区域的分类结果；其中，分类结果用于表征感兴趣区域所属的类别。
[0142]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0143]
在上述实施例的基础上，可选的，上述分类模块，包括：提取单元、融合单元和确定单元，其中：
[0144]
提取单元，用于对各图像进行特征提取，得到各图像的特征。
[0145]
融合单元，用于对各图像的特征进行特征融合，得到第一融合特征。
[0146]
确定单元，用于根据第一融合特征，确定分类结果。
[0147]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0148]
在上述实施例的基础上，可选的，上述融合单元，用于对各图像的特征进行相关性计算，得到各图像间的相关性矩阵；对各图像间的相关性矩阵进行归一化处理，得到归一化权重矩阵；根据归一化权重矩阵和任一图像的特征，得到第一融合特征。
[0149]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0150]
在上述实施例的基础上，可选的，上述分类结果包括阴阳性分类结果和阳性类别的类型；上述确定单元，用于根据第一融合特征，确定感兴趣区域的第一分类结果；第一分类结果用于表征感兴趣区域为阳性类别或阴性类别；在第一分类结果为阳性类别时，根据第一融合特征，确定感兴趣区域的第二分类结果；第二分类结果用于表征感兴趣区域所属的类型，感兴趣区域所属的类型包括阴性以及感兴趣区域为阳性类别时所属的阳性类别的类型。
[0151]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0152]
在上述实施例的基础上，可选的，上述装置还包括：第二获取模块、第三获取模块、第一融合模块和第一确定模块，其中：
[0153]
第二获取模块，用于获取医学影像的临床信息。
[0154]
第三获取模块，用于将临床信息输入预设的第一神经网络中，获取临床信息对应的临床特征。
[0155]
第一融合模块，用于采用预设的融合方法对第一融合特征和临床特征进行融合处理，得到第二融合特征。
[0156]
第一确定模块，用于根据第二融合特征，确定分类结果。
[0157]
可选的，预设的融合方法包括双线性池化法或者串联法。
[0158]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0159]
在上述实施例的基础上，可选的，上述装置还包括：第四获取模块、第五获取模块、第二融合模块和第二确定模块，其中：
[0160]
第四获取模块，用于获取医学影像的影像征象信息。
[0161]
第五获取模块，用于将影像征象信息输入预设的第二神经网络中，获取影像征象信息对应的影像征象特征。
[0162]
第二融合模块，用于采用预设的融合方法对第一融合特征和影像征象特征进行融合处理，得到第三融合特征。
[0163]
第二确定模块，用于根据第三融合特征，确定分类结果。
[0164]
可选的，预设的融合方法包括双线性池化法或者串联法。
[0165]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0166]
在上述实施例的基础上，可选的，上述装置还包括：第六获取模块、第七获取模块、
第八获取模块、第九获取模块和训练模块，其中：
[0167]
第六获取模块，用于获取样本感兴趣区域的不同分辨率的样本图像以及样本感兴趣区域的第一标签和第二标签；第一标签用于表征样本感兴趣区域为阳性类别或阴性类别；第二标签用于表征样本感兴趣区域所属的类型，样本感兴趣区域所属的类型包括阴性以及样本感兴趣区域为阳性类别时所属的阳性类别的类型。
[0168]
第七获取模块，用于将各样本图像输入预设的初始分类网络中，得到样本感兴趣区域的第一样本分类结果和第二样本分类结果；第一样本分类结果用于表征样本感兴趣区域为阳性类别或阴性类别；第二样本分类结果用于表征样本感兴趣区域所属的类型，样本感兴趣区域所属的类型包括阴性以及样本感兴趣区域为阳性类别时所属的阳性类别的类型。
[0169]
第八获取模块，用于利用第一标签对第二标签进行加权处理，得到第二标签对应的加权标签，利用第一样本分类结果对第二样本分类结果进行加权处理，得到第二样本分类结果对应的加权分类结果；其中，加权标签中的阴性类别与第一标签中的阴性类别一致，加权分类结果中的阴性类别与第一样本分类结果中的阴性类别一致。
[0170]
第九获取模块，用于根据第一标签和第一样本分类结果得到第一损失函数，根据加权标签和加权分类结果得到第二损失函数。
[0171]
训练模块，用于根据第一损失函数和第二损失函数对初始分类网络进行训练，得到分类网络。
[0172]
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0173]
上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0174]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0175]
获取医学影像的感兴趣区域的不同分辨率的图像；
[0176]
将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
[0177]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0178]
获取医学影像的感兴趣区域的不同分辨率的图像；
[0179]
将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
[0180]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0181]
获取医学影像的感兴趣区域的不同分辨率的图像；
[0182]
将各所述图像输入预设的分类网络中，得到所述感兴趣区域的分类结果；其中，所述分类结果用于表征所述感兴趣区域所属的类别。
[0183]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人
信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0184]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0185]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0186]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。