一种基于多时相融合的多任务分类系统及方法

文档序号:26141485发布日期:2021-08-03 14:26阅读:来源:国知局

技术特征:

1.一种基于多时相融合的多任务分类系统,其特征在于,包括输入模块、神经网络模块、特征融合模块以及输出模块;

所述输入模块,用于接收用户输入的核磁共振影像的动态对比增强(dce)影像的第一时相和第三时相的数据,然后将其输入到神经网络模块中;

所述神经网络模块包括卷积层,池化层以及全连接层,其中卷积层对输入的图像进行分析;池化层进一步缩小特征节点,全连接层用于进行多任务分类;

所述特征融合模块对特征进行拼接;

所述输出模块用于对任务分类结果进行输出显示。

2.一种基于多时相融合的多任务分类方法,基于权利要求1所述的一种基于多时相融合的多任务分类系统实现,其特征在于,具体包括以下步骤:

步骤1:将核磁共振影像的动态对比增强(dce)影像的第一时相和第三时相进行预处理,将数据转换成统一的jpg格式;

步骤2:将第一时相和第三时相的dce影像在特征融合模块进行特征融合,分别将第一时相和第三时相的特征进行相加、相乘、取最大值,然后将相加,相乘和最大值得到的结果进行拼接;

步骤3:按照多任务中每个任务的相关性以及学习能力,计算任务的权重信息,更改任务的权重信息,在任务的运行过程中,权重随着迭代次数的变化而变化,通过权重调整策略来平衡不同任务之间的学习进度;

步骤4:对神经网络进行训练;

步骤5:使用卷积神经网络对测试集进行测试,测试集包含dce影像的第一个和第三个时相的数据,输出组织学分级,分子分型,淋巴结是否转移和ki-67高低水平的分类预测结果。

3.根据权利要求2所述的一种基于多时相融合的多任务分类方法,其特征在于,步骤3中所述多任务具体包括淋巴结(lymphnode)是否转移,组织学分级(histologicalgrading),分子分型(moleculartyping)和ki67(肿瘤标志物,是一种免疫组织化学标记物)表达水平;其中淋巴结是否转移分为是和否两种情况,是用1来表示,否用0来表示;组织学分级分为大于2和小于等于2两种情况,大于2用1来表示,小于等于2用0来表示;分子分型分为管腔上皮a型,管腔上皮b型,三阴型和her2过表达型,分别用0,1,2,3来表示;ki67表达水平分为高水平(大于14%)和低水平(小于14%),高水平用1来表达,低水平用0来表达。

4.根据权利要求2所述的一种基于多时相融合的多任务分类方法,其特征在于,所述步骤3具体包括以下步骤:

步骤3.1:采用pearson相关系数法来衡量任务之间的线性相关性,计算公式如下:

cov(x,y)=e{[x-e(x)[y-e(y)]]}(1)

公式(1)中e{[x-e(x)[y-e(y)]]}称为随机变量x与y的协方差,记为cov(x,y),公式(2)ρxy称为随机变量x与y的相关系数,d(x)、d(y)分别为x、y的方差,e(x)、e(y)分别为x、y的期望;

步骤3.2:通过对任务相关系数设计重新平衡加权策略,任务n中正相关的任务相关系数之和记为负相关的任务相关系数之和记为通过计算上述二者的比值r并将其作为加权系数加入加入到训练,来权衡不同任务的重要程度;

所述正相关的任务包括组织学分级,分子分型和ki67表达水平,其正相关的任务相关系数之和为:

式中,z为正任务的个数,i为其中第i个任务;

所述负相关的任务为淋巴结是否转移,其负相关的任务相关系数之和为:

式中,f为负任务的个数;

通过计算公式(3),(4)的比值并以其作为加权系数加入到训练,来权衡不同任务的重要程度:

5.根据权利要求2所述的一种基于多时相融合的多任务分类方法,其特征在于,步骤4中所述神经网络的训练为,学习率设置为0.001,每次训练批样本数batch_size大小设置为30,对于淋巴结是否转移分类任务、组织学分级分类任务和ki-67高低水平表达分类使用二元交叉熵损失函数,分子分型分类任务使用多分类交叉熵损失函数,所有的任务训练中均使用adam优化器,训练60个epoch网络趋于收敛。


技术总结
本发明提供一种基于多时相融合的多任务分类系统及方法,涉及深度学习技术领域。本发明通过动态的更新每个任务的权重来提高多个临床指标的预测准确性。将MRI放射组学映射到相关的临床指标上可以提高多个任务的预测性能。结合放射组学的相关性,通过多任务学习联合预测指标,对肿瘤的最佳治疗是重要的,还可根据多个临床指标进行临床决策。

技术研发人员:栗伟;王珊珊;刘佳叶;冯朝路
受保护的技术使用者:东北大学
技术研发日:2021.05.21
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1