动态增强磁共振成像处理方法、系统、存储介质、终端与流程

文档序号:21699843发布日期:2020-07-31 23:03阅读:来源:国知局

技术特征:

1.一种动态增强磁共振成像处理方法,其特征在于,所述动态增强磁共振成像处理方法在获取的乳腺癌dce-mri的多期图像中,对原发肿瘤区域进行全自动分割和处理;对分割后的结果做掩模处理,并以得到的最大肿块的几何中心为准,通过下采样的方式划取三种尺度的感兴趣区域;同时将三种尺度下的多期感兴趣区域图像送入三个结合了卷积神经网络与长短期记性网络的连接结构,用于特征的提取与融合;将三种尺度下得到的多期融合特征送入软聚合模型中,用于整体特征的聚合,并使用一个可变的softmax层得到不同任务的预测结果。

2.如权利要求1所述的动态增强磁共振成像处理方法,其特征在于,所述动态增强磁共振成像处理方法包括:

第一步,肿瘤区域的全自动分割和处理,将乳腺癌dce-mri中肿瘤对比度最强的单期图像送入三维全卷积神经网络中,进行以三维像素块为单位的像素级分割;对初步的分割结果使用全连接的条件随机场作后处理,得到更为连续的分割输出;将单期的分割结果同步应用到dce-mri的多期图像中,从而完成对乳腺癌肿瘤区域的全自动分割;

第二步,多尺度感兴趣区域的划取,以分割结果为基础,对所有图像做掩模处理,使得图像中只保留肿瘤信息,去除瘤周信息;根据处理后的肿块区域图像,找到所有图像中肿瘤区域最大的数据信息;将二维切片图像中肿块的几何中心定位,以最大肿瘤的尺寸为准构建第一个尺度的感兴趣区域;对已得到的第一个尺寸进行下采样,得到第二个尺度的感兴趣区域;同理,再对第二个尺寸进行下采样,构建第三个尺度的感兴趣区域;将这三个尺度应用到所有数据中,即可完成多尺度感兴趣区域的划取;

第三步,多期图像特征的提取与融合,三种不同尺度下的感兴趣区域都是具有多期图像的,将其作为输入,同时送入三个结合了卷积神经网络与长短期记性网络的连接结构,其中卷积神经网络用于提取多期图像的特征,长短期记性网络则能将同一尺度下的多期图像特征融合;输入的感兴趣区域图像通过这三个相同的结构可得到三个融合特征图;

第四步,多尺度聚合神经网络的训练与预测,将三种尺度下得到的三个多期融合特征图送入软聚合模型中,得到整体特征的聚合结果;软聚合模型是一个门控循环单元,通过得到聚合了多尺度数据的整体特征图,随后使用一个可变的softmax层,得到不同任务的预测结果,构建了整个多尺度聚合诊断系统;在训练模型时使用迁移学习的思想,并通过验证集确定模型的最优参数,最终将测试数据输入模型中,即可完成对乳腺癌肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。

3.如权利要求2所述的动态增强磁共振成像处理方法,其特征在于,所述第一步在获取的dce-mri的多期图像中,对乳腺癌肿瘤区域进行全自动分割和处理包括:

(1)找出dce-mri多期图像中肿瘤对比度最强的单期图像;

(2)以该单期图像建立训练样本集,对样本集中的图像进行规范化和标准化处理;

(3)将处理后的图像送入三维全卷积神经网络中,训练分割模型,使用的全卷积神经网络包含多个卷积层,每层l∈[1,l]包含了cl个特征图,每个特征图即是一组用于抽取特定特征的神经元,特征则由每个特征图对应的权重定义,第l层的第m个特征图经过激活之后构成了此层的输出图像:

其中为三维卷积核,为偏置,表示第l层的第m个特征图经过激活之后的输出图像,最后一个卷积层输出经过激活函数后被送入softmax函数,得到每个像素属于类别c的后验概率:

其中x表示三维的像素块,pc(x)代表x属于类别c的概率,最终即完成像素块级别三维的分割;

(4)将网络得到的初步分割结果送入全连接的条件随机场中作后处理,条件随机场可以根据当前像素点及其邻域像素点的分类结果综合判断当前像素点的最终类别,得到更为连续的分割输出;

(5)使用训练好的分割模型,将单期图像的分割结果同步应用到dce-mri的多期图像中,完成对乳腺癌肿瘤区域的全自动分割。

4.如权利要求2所述的动态增强磁共振成像处理方法,其特征在于,所述第二步多尺度感兴趣区域的划取包括:

(1)以分割结果为基础,对所有图像做掩模处理,使得图像中只保留肿瘤信息,去除瘤周信息;

(2)根据处理后的肿块区域图像,找到所有图像中肿瘤区域最大的数据信息;

(3)定位二维切片图像中肿瘤区域的几何中心c;

(4)以最大肿瘤区域的几何中心c为准,构建第一个尺度为l1×l1的感兴趣区,该尺度涵盖所有肿瘤的细节信息;

(5)对第一个尺度为l1×l1的感兴趣区域进行s倍的下采样,可得到尺寸为(l1/s)×(l1/s)的分辨率图像,记为第二个尺度为l2×l2的感兴趣区域,把第一个感兴趣区域s×s窗口内的图像变成一个像素,像素点的值就是窗口内所有像素的均值;

(6)将第二个尺度为l2×l2的感兴趣区域进行s倍的下采样,可得到尺寸为(l2/s)×(l2/s)的分辨率图像,记为第三个尺度为l3×l3的感兴趣区域;

(7)将三个尺度信息应用到所有数据中,完成多尺度感兴趣区域的划取。

5.如权利要求2所述的动态增强磁共振成像处理方法,其特征在于,所述第三步多期图像特征的提取与融合包括:

(1)将同一尺度下的多期感兴趣区域送入卷积神经网络中,用于特征的提取,得到多个特征图d;

(2)将卷积神经网络提取到的多个特征图d送入长短期记性网络中,用于多期特征的融合,得到一个融合特征图m;

(3)三种尺度下的多期感兴趣区域通过结合卷积神经网络与长短期记性网络的连接结构,得到三个融合特征图m1、m2、m3。

6.如权利要求2所述的动态增强磁共振成像处理方法,其特征在于,所述第四步多尺度聚合深度网络的训练与预测包括:

(1)将三个融合特征图m1、m2、m3送入软聚合模型中;

(2)软聚合模型采用的是一个门控循环单元,通过其聚合得到一个整体特征图n;

(3)将特征图n送入一个可变的softmax层,根据不同的训练任务,可得到不同预测结果的输出,整个多尺度聚合网络在训练时使用交叉熵作为损失函数:

其中ik和ck分别表示第k张感兴趣区域图像及其对应的标签,θ表示模型中要估计的所有权重和偏差,k是训练样本的总数;

(4)训练整个多尺度聚合模型时首先将模型在imagenet公开数据集上进行预训练,之后再使用构建好的训练集样本对模型进行微调;

(5)将验证数据集送入训练模型中,评估模型性能,选出效果最佳的模型参数作为最终使用的模型;

(6)将测试数据送入最终得到的多尺度聚合网络中,即可用于预测乳腺癌dce-mri图像中肿瘤的相关信息。

7.一种接收用户输入程序存储介质,所存储的计算机程序使电子设备执行权利要求任意一项所述包括下列步骤:在获取的乳腺癌dce-mri的多期图像中,对原发肿瘤区域进行全自动分割和处理;对分割后的结果做掩模处理,并以得到的最大肿块的几何中心为准,通过下采样的方式划取三种尺度的感兴趣区域;同时将三种尺度下的多期感兴趣区域图像送入三个结合了卷积神经网络与长短期记性网络的连接结构,用于特征的提取与融合;将三种尺度下得到的多期融合特征送入软聚合模型中,用于整体特征的聚合,并使用一个可变的softmax层得到不同任务的预测结果。

8.一种实施权利要求1~6任意一项所述动态增强磁共振成像处理方法的动态增强磁共振成像处理系统,其特征在于,所述动态增强磁共振成像处理系统包括:

数据获取模块,用于乳腺癌dce-mri数据的获取,纳入符合标准的病人数据信息;

肿瘤区域图像处理模块,用于肿瘤区域的全自动分割和处理,使用三维全卷积神经网络自动分割乳腺癌肿瘤区域,并用全连接的条件随机场作后处理;

感兴趣区域图像构建模块,用于多尺度感兴趣区域的划取,对分割后的结果做掩模处理,并以得到的最大肿块的几何中心为准,通过下采样的方式构建三种尺度的感兴趣区域;

特征提取与融合模块,用于多期图像特征的提取与融合,使用结合了卷积神经网络与长短期记性网络的连接结构,对同一尺度下的多期感兴趣区域进行特征的提取与融合;

融合特征图聚合模块,用于多尺度聚合神经网络的训练与预测,使用软聚合策略将多个尺度的融合特征图进行聚合,并用可变的softmax层得到不同任务的预测结果;完成对乳腺癌dce-mri图像中肿瘤良恶性、分子分型情况以及前哨淋巴结转移特性的诊断。

9.一种终端,其特征在于,所述终端搭载权利要求8所述的动态增强磁共振成像处理系统。

10.一种如权利要求1~6任意一项所述动态增强磁共振成像处理方法的动态增强磁共振成像的图像分割和检测中的应用。


技术总结
本发明属于医学图像处理、计算机辅助诊断技术领域,公开了一种动态增强磁共振成像处理方法、系统、存储介质、终端,在获取的乳腺癌DCE‑MRI的多期图像中,对原发肿瘤区域进行全自动分割和处理;对分割后的结果做掩模处理,并以得到的最大肿块的几何中心为准,划取三种尺度的感兴趣区域;同时将三种尺度下的多期感兴趣区域图像送入三个结合了卷积神经网络与长短期记性网络的连接结构,用于特征的提取与融合;将三种尺度下得到的多期融合特征送入软聚合模型中,用于整体特征的聚合,得到不同任务的预测结果。本发明克服了浅层架构的局限性,极大地提升了预测精度;可以直观地为乳腺癌患者的手术治疗提供完善的术前参考信息。

技术研发人员:侯榆青;邓鹏飞;赵凤军;陈吉新;董迪迪;周昊文;陈欣;贺小伟
受保护的技术使用者:西北大学
技术研发日:2020.03.10
技术公布日:2020.07.31
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1