1.一种基于多时相融合的多任务分类系统,其特征在于,包括输入模块、神经网络模块、特征融合模块以及输出模块;
所述输入模块,用于接收用户输入的核磁共振影像的动态对比增强(dce)影像的第一时相和第三时相的数据,然后将其输入到神经网络模块中;
所述神经网络模块包括卷积层,池化层以及全连接层,其中卷积层对输入的图像进行分析;池化层进一步缩小特征节点,全连接层用于进行多任务分类;
所述特征融合模块对特征进行拼接;
所述输出模块用于对任务分类结果进行输出显示。
2.一种基于多时相融合的多任务分类方法,基于权利要求1所述的一种基于多时相融合的多任务分类系统实现,其特征在于,具体包括以下步骤:
步骤1:将核磁共振影像的动态对比增强(dce)影像的第一时相和第三时相进行预处理,将数据转换成统一的jpg格式;
步骤2:将第一时相和第三时相的dce影像在特征融合模块进行特征融合,分别将第一时相和第三时相的特征进行相加、相乘、取最大值,然后将相加,相乘和最大值得到的结果进行拼接;
步骤3:按照多任务中每个任务的相关性以及学习能力,计算任务的权重信息,更改任务的权重信息,在任务的运行过程中,权重随着迭代次数的变化而变化,通过权重调整策略来平衡不同任务之间的学习进度;
步骤4:对神经网络进行训练;
步骤5:使用卷积神经网络对测试集进行测试,测试集包含dce影像的第一个和第三个时相的数据,输出组织学分级,分子分型,淋巴结是否转移和ki-67高低水平的分类预测结果。
3.根据权利要求2所述的一种基于多时相融合的多任务分类方法,其特征在于,步骤3中所述多任务具体包括淋巴结(lymphnode)是否转移,组织学分级(histologicalgrading),分子分型(moleculartyping)和ki67(肿瘤标志物,是一种免疫组织化学标记物)表达水平;其中淋巴结是否转移分为是和否两种情况,是用1来表示,否用0来表示;组织学分级分为大于2和小于等于2两种情况,大于2用1来表示,小于等于2用0来表示;分子分型分为管腔上皮a型,管腔上皮b型,三阴型和her2过表达型,分别用0,1,2,3来表示;ki67表达水平分为高水平(大于14%)和低水平(小于14%),高水平用1来表达,低水平用0来表达。
4.根据权利要求2所述的一种基于多时相融合的多任务分类方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1:采用pearson相关系数法来衡量任务之间的线性相关性,计算公式如下:
cov(x,y)=e{[x-e(x)[y-e(y)]]}(1)
公式(1)中e{[x-e(x)[y-e(y)]]}称为随机变量x与y的协方差,记为cov(x,y),公式(2)ρxy称为随机变量x与y的相关系数,d(x)、d(y)分别为x、y的方差,e(x)、e(y)分别为x、y的期望;
步骤3.2:通过对任务相关系数设计重新平衡加权策略,任务n中正相关的任务相关系数之和记为
所述正相关的任务包括组织学分级,分子分型和ki67表达水平,其正相关的任务相关系数之和为:
式中,z为正任务的个数,i为其中第i个任务;
所述负相关的任务为淋巴结是否转移,其负相关的任务相关系数之和为:
式中,f为负任务的个数;
通过计算公式(3),(4)的比值并以其作为加权系数加入到训练,来权衡不同任务的重要程度:
5.根据权利要求2所述的一种基于多时相融合的多任务分类方法,其特征在于,步骤4中所述神经网络的训练为,学习率设置为0.001,每次训练批样本数batch_size大小设置为30,对于淋巴结是否转移分类任务、组织学分级分类任务和ki-67高低水平表达分类使用二元交叉熵损失函数,分子分型分类任务使用多分类交叉熵损失函数,所有的任务训练中均使用adam优化器,训练60个epoch网络趋于收敛。