一种基于多时相融合的多任务分类系统及方法

本发明涉及深度学习
技术领域：
，尤其涉及一种基于多时相融合的多任务分类系统及方法。
背景技术：
：乳腺癌是全世界妇女中最常见的癌症，已成为癌症相关死亡的第二大原因。医学影像多种时相的融合可以为其进行分类时提供一个整体的视角。其中动态对比增强磁共振成像(dce-mri)是在快速成像序列基础上进行动态扫描，在乳腺癌预测方面能提供较高的灵敏度。在动态对比增强磁共振成像中包含八个时相数据。第一时相是未注射造影剂情况下的影像，第二个时相和第八个时相是注射造影剂后每隔一段时间的一个成像情况。在临床上第一时相和第三时相相对来说比较有意义，故dce影像的第一时相和第三时相进行特征融合。特征融合，来自不同时相的特征的结合，在现代网络结构中占据重要地位。通常通过简单的加权和连接这样的操作进行融合。融合操作可以在输入层，中间层和决策层进行。早期融合多数表现为影像融合，中间层融合表现为中间层的特征之间混合融合，机器学习的研究表明中间层的融合效果较好。但是不同时相的中间层特征融合有不同或无序的空间维度使融合具有一定的挑战。医学影像融合之后，在样本个数有限的情况下，结合多任务学习的机制联合预测多个指标。大多数机器学习模型都是独立进行学习的，即单任务学习，也就是说针对一个特定任务设计一个模型，然后进行迭代优化。对于复杂一点的任务，将其拆解成多个任务，多任务的每部分进行建模。但是在对子任务进行建模的时候，很容易忽略任务之间的关联和约束关系，导致整个任务的整体效果不够理想。多任务学习的目的是利用不同任务中包含的知识来提高多个相关任务的泛化性能。相较单任务学习来说，多任务学习在训练阶段存在两个主要的挑战。一是如何共享网络参数，分别是硬参数共享和软参数共享两种方法。第二个是如何平衡不同任务的学习过程。假如有n个学习任务，在这些任务中，任务之间是相互关联的，多任务学习旨在从所有任务中提取相关信息，挖掘尽可能多的信息，任务之间共享这些共同的信息，平衡每一个任务，从而可以提升总体任务的分类效果。多个任务可以共享一个模型，占用内存量较少；关联任务通过共享信息，相互补充，提升彼此的表现。技术实现要素：为解决上述技术问题，本发明提出一种基于多时相融合的多任务分类系统及方法，利用多时相影像融合进行多任务联合预测，为不同的任务赋予相应的权值。一种基于多时相融合的多任务分类系统，包括：输入模块、神经网络模块、特征融合模块以及输出模块；所述输入模块，用于接收用户输入的dce影像的第一时相和第三时相的数据，然后将其输入到神经网络中；所述神经网络模块包括卷积层，池化层以及全连接层，卷积层对输入的图像进行更深入的分析从而得到抽象程度更高的特征；池化层进一步缩小特征节点，从而达到减少整个神经网络中的参数的目的；全连接层用于进行多任务分类；所述特征融合模块，在特征融合模块对特征进行拼接；所述输出模块用于对任务分类结果进行输出显示。另一方面，一种基于多时相融合的多任务分类方法，通过前述一种基于多时相融合的多任务分类系统实现，包括以下步骤：步骤1：将核磁共振影像的动态对比增强(dce)影像的第一时相和第三时相进行预处理，将数据转换成统一的jpg格式；步骤2：将第一时相和第三时相的dce影像在特征融合模块进行特征融合，分别将第一时相和第三时相的特征进行相加、相乘、取最大值，然后将相加，相乘和最大值得到的结果进行拼接；步骤3：按照多任务中每个任务的相关性以及学习能力，计算任务的权重信息，更改任务的权重信息，在任务的运行过程中，权重随着迭代次数的变化而变化，通过权重调整策略来平衡不同任务之间的学习进度；所述多任务具体包括淋巴结(lymphnode)是否转移，组织学分级(histologicalgrading)，分子分型(moleculartyping)和ki67(肿瘤标志物，是一种免疫组织化学标记物)表达水平；其中淋巴结是否转移分为是和否两种情况，是用1来表示，否用0来表示；组织学分级分为大于2和小于等于2两种情况，大于2用1来表示，小于等于2用0来表示；分子分型分为管腔上皮a型，管腔上皮b型，三阴型和her2过表达型，分别用0，1，2，3来表示；ki67表达水平分为高水平(大于14％)和低水平(小于14％)，高水平用1来表达，低水平用0来表达；步骤3.1：采用pearson相关系数法来衡量任务之间的线性相关性，计算公式如下：cov(x,y)＝e{[x-e(x)[y-e(y)]]}(1)公式(1)中e{[x-e(x)[y-e(y)]]}称为随机变量x与y的协方差，记为cov(x,y)，公式(2)ρxy称为随机变量x与y的相关系数，d(x)、d(y)分别为x、y的方差，e(x)、e(y)分别为x、y的期望；步骤3.2：通过对任务相关系数设计重新平衡加权策略，任务n中正相关的任务相关系数之和记为负相关的任务相关系数之和记为通过计算上述二者的比值r并将其作为加权系数加入加入到训练，来权衡不同任务的重要程度；所述正相关的任务包括组织学分级，分子分型和ki67表达水平，其正相关的任务相关系数之和为：式中，z为正任务的个数，i为其中第i个任务；所述负相关的任务为淋巴结是否转移，其负相关的任务相关系数之和为：式中，f为负任务的个数；通过计算公式(3)，(4)的比值并以其作为加权系数加入到训练，来权衡不同任务的重要程度：步骤4：训练设计的神经网络，其中在网络训练中学习率设置为0.001，每次训练批样本数batch_size大小设置为30，对于淋巴结是否转移分类任务、组织学分级分类任务和ki-67高低水平表达分类使用二元交叉熵损失函数，分子分型分类任务使用多分类交叉熵损失函数，所有的任务训练中均使用adam优化器，训练60个epoch网络趋于收敛。步骤5：使用卷积神经网络对测试集进行测试，测试集包含dce影像的第一个和第三个时相的数据，输出组织学分级，分子分型，淋巴结是否转移和ki-67高低水平的分类预测结果。本发明所产生的有益效果在于：本技术方案提供了一种基于多时相融合的多任务分类系统及方法，通过动态的更新每个任务的权重来提高多个临床指标的预测准确性。将mri放射组学映射到相关的临床指标上可以提高多个任务的预测性能。结合放射组学的相关性，通过多任务学习联合预测指标，对肿瘤的最佳治疗是重要的，还可根据多个临床指标进行临床决策，实现医学图像信息互补以及联合预测多个临床指标，并提升临床指标的预测准确性，附图说明图1是本发明实施例的特征融合模块示意图；图2是本发明实施例的整体流程图。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。一种基于多时相融合的多任务分类系统，包括输入模块、神经网络模块、特征融合模块以及输出模块；所述输入模块，用于接收用户输入的dce影像的第一时相和第三时相的数据，然后将其输入到神经网络中；所述神经网络模块包括卷积层，池化层以及全连接层，卷积层对输入的图像进行更深入的分析从而得到抽象程度更高的特征；池化层进一步缩小特征节点，从而达到减少整个神经网络中的参数的目的；全连接层用于进行多任务分类；所述特征融合模块，在特征融合模块对特征进行拼接；图1为特征融合模块，其中f+代表的是两个时相的特征相加，f*代表的是两个时相的特征相乘，fm代表的是取两个时相的特征的最大值，concat代表的是特征相加，相乘和最大值三部分融合，fc代表全连接层。所述输出模块用于对任务分类结果进行输出显示。另一方面，一种基于多时相融合的多任务分类方法，通过前述一种基于多时相融合的多任务分类系统实现，如图2所示，包括以下步骤：步骤1：将核磁共振影像的动态对比增强(dce)影像的第一时相和第三时相进行预处理，将数据转换成统一的jpg格式；以resnet18预训练模型为基础网络，通过卷积层对dce影像的第一时相和第三时相进行特征提取。步骤2：将第一时相和第三时相的dce影像在特征融合模块进行特征融合，分别将第一时相和第三时相的特征进行相加、相乘、取最大值，然后将相加，相乘和最大值得到的结果进行拼接；步骤3：按照多任务中每个任务的相关性以及学习能力，计算任务的权重信息，更改任务的权重信息，在任务的运行过程中，权重随着迭代次数的变化而变化，通过权重调整策略来平衡不同任务之间的学习进度；所述多任务具体包括淋巴结(lymphnode)是否转移，组织学分级(histologicalgrading)，分子分型(moleculartyping)和ki67(肿瘤标志物，是一种免疫组织化学标记物)表达水平；其中淋巴结是否转移分为是和否两种情况，是用1来表示，否用0来表示；组织学分级分为大于2和小于等于2两种情况，大于2用1来表示，小于等于2用0来表示；分子分型分为管腔上皮a型，管腔上皮b型，三阴型和her2过表达型，分别用0，1，2，3来表示；ki67表达水平分为高水平(大于14％)和低水平(小于14％)，高水平用1来表达，低水平用0来表达；步骤3.1：采用pearson相关系数法来衡量任务之间的线性相关性，计算公式如下：cov(x,y)＝e{[x-e(x)[y-e(y)]]}(1)公式(1)中e{[x-e(x)[y-e(y)]]}称为随机变量x与y的协方差，记为cov(x,y)，公式(2)ρxy称为随机变量x与y的相关系数，d(x)、d(y)分别为x、y的方差，e(x)、e(y)分别为x、y的期望；本实施例中得出如下相关系数矩阵表，如表1所示，，lymphnode代表淋巴结是否转移，hisologicalgrading代表组织学分级，moleculartyping代表分子分型和ki-67代表ki-67表达水平。从表中可以看出：组织学分级、分子分型、ki67三者之间存在一定的正相关性，淋巴结是否转移与其它三个任务呈负相关性。故利用任务之间的相关性进行任务的权重设计，进而可以提升多任务联合预测准确率。表1相关系数矩阵表多个任务相辅相成，在样本较少的情况下，可以充分地挖掘医疗图像所蕴含的信息，在训练的时候，多个任务根据权重值同时对网络进行调优。不同任务的学习拥有不同的学习能力，学习程度也是不同的，而且，不同任务可能处于不同的学习阶段，比如任务a还没训练好，任务b已经接近收敛。所以说对每个loss进行固定加权的方法在某个阶段会限制了任务的学习。所以在多任务学习中更好的加权方式应该是动态的，根据不同任务的学习能力，任务学习的阶段，学习的难易程度，甚至是学习效果等综合条件来进行调整。步骤3.2：通过对任务相关系数设计重新平衡加权策略，任务n中正相关的任务相关系数之和记为负相关的任务相关系数之和记为通过计算上述二者的比值r并将其作为加权系数加入加入到训练，来权衡不同任务的重要程度；所述正相关的任务包括组织学分级，分子分型和ki67表达水平，其正相关的任务相关系数之和为：式中，z为正任务的个数，i为其中第i个任务；所述负相关的任务为淋巴结是否转移，其负相关的任务相关系数之和为：式中，f为负任务的个数；通过计算公式(3)，(4)的比值并以其作为加权系数加入到训练，来权衡不同任务的重要程度：在训练时，有的任务的权重可能明显大于其他任务的情况，可能导致有些任务的训练效果较差，给不同的任务分配不同的权重值，动态调节每个任务的权重，使任务的训练效果尽可能达到最好。步骤4：训练设计的神经网络，其中在网络训练中学习率设置为0.001，每次训练批样本数batch_size大小设置为30，对于淋巴结是否转移分类任务、组织学分级分类任务和ki-67高低水平表达分类使用二元交叉熵损失函数，分子分型分类任务使用多分类交叉熵损失函数，所有的任务训练中均使用adam优化器，训练60个epoch网络趋于收敛。步骤5：使用卷积神经网络对测试集进行测试，测试集包含dce影像的第一个和第三个时相的数据，输出组织学分级，分子分型，淋巴结是否转移和ki-67高低水平的分类预测结果。本实施例中提出的多模态融合方法来联合预测乳腺癌组织学分级，淋巴结转移，分子分型和ki67等指标，组织学分级，淋巴结转移和ki67表达水平为二分类，分子分型为四分类，根据任务之间的相关性为每个任务设定不同的权重值。通过一组dce小样本数据集，进行多任务联合预测实验，影像样本数为674，使用五折验证，评价指标准确率(acc)为0.597，评价指标recall和f1-score，结果如下表2：表2加权后的各个任务的测试结果recallf1-score淋巴结转移0.3860.516组织学分级0.7540.654分子分型0.4500.53ki67表达0.9000.900最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。当前第1页12