乳腺癌新辅助化疗后MRI影像生成及疗效预测方法

乳腺癌新辅助化疗后mri影像生成及疗效预测方法
技术领域
1.本发明涉及到深度学习图像处理技术与机器视觉技术领域，具体指一种乳腺癌新辅助化疗后mri影像生成及疗效预测方法。


背景技术：

2.在医学影像领域当中，肿瘤病灶在影像学上的变化模式与肿瘤化疗疗效密切相关，在实际的化疗过程中病灶的变化模式的信息当中包含了丰富的化疗疗效信息，本发明就时在此基础之上研究得到的，为此我们提出了一种基于深度生成对抗网络的乳腺癌早期新辅助化疗后的病灶影像生成以及疗效预测方法。目前，在深度学习机器视觉领域针对癌症医学影像的研究工作中，一方面是利用深度卷积神经网络对医学癌症影像进行深度特征提取来学习预测病灶良恶性类别，学习预测病灶生长的变化方式以及在化疗过程中针对性的疗效如何；另一方面，则是通过对抗生成网络技术实现医学影像的跨域转换，例如利用mri(核磁共振影像)生成ct(计算机断层扫描影像)等等，却少有将在化疗过程中病灶在医学影像上的变化模式信息与化疗疗效相结合起来研究的。
3.传统实现新辅助化疗疗效评价预测的技术通常采用的是有创性的病理组织穿刺数据进行机器或深度学习预测的研究方法，穿刺的方法对穿刺部位的准确性要求较高，同时会对患者的皮肤造成有创性的伤害，还增加了患者的支出成本，且无法对新辅助化疗后的病灶变化趋势进行准确的预测。
4.而直观的病灶影像特征上的变化却能够很好的反映新辅助化疗过程的有效性，且影像数据的获取相对于利用组织穿刺分析获取的数据而言更加容易取得且对患者更加友好。但是，多次进行核磁共振影像的拍摄过程本身也会对患者的身体造成一定的影响。
5.因此，亟需寻找替代性的方案，能够减少影像的拍摄次数，在已拍摄的影像基础之上对新辅助化疗后影像进行准确的生成性预测则变得极具实际意义。


技术实现要素：

6.现有疗效预测技术大多是直接从影像特征上直接针对最终化疗疗效进行研究学习，而少有考虑到化疗过程中的中间病灶变化形态对结果的影响，以及如何自动预测中间化疗结果影响。本发明根据现有技术的不足，提出一种乳腺癌新辅助化疗后mri影像生成及疗效预测方法，不仅能够直观的反映病灶在影像上的变化，并可以根据其变化来对最终的新辅助化疗疗效进行准确的推测。因此，本发明在针对实际减轻患者负担，同时为医生提供在患者病灶影像上的变化趋势的直观参考，有助于医生针对患者实施更加精准的治疗方案，以提高治疗效果，本发明有着重要的实用价值和意义。
7.为了解决上述技术问题，本发明的技术方案为：
8.一种乳腺癌新辅助化疗后mri影像生成及疗效预测方法，包括如下步骤：
9.s1、获取病例数据，所述病例数据包括文本数据和影像数据；
10.s2、对病例数据进行预处理，并制作数据集；
11.s3、搭建深度对抗神经网络模型，并实施影像生成及疗效预测训练任务，
12.所述深度对抗神经网络模型为输入非匹配的循环对抗神经网络模型，主要包含两套生成器与判别器组合，分别用于完成从正向化疗前至化疗后影像的生成以及由化疗后向化疗前影像的恢复生成；
13.s4、将最终学习训练完成的对抗生成神经网络模型迁移至用于实际应用的影像生成及疗效评价预测模块，进行最终疗效预测及化疗后影像生成任务。
14.作为优选，所述文本数据包括新辅助化疗前后过程中具有mri影像拍摄记录病例的病历、病程及化疗诊断数据，所述影像数据包括原始mri影像拍摄数据。
15.作为优选，所述步骤s2包括如下子步骤：
16.s2a、对文本数据的预处理
17.s2a-1、对所有文本数据进行汇总分类处理，其中诊断数据利用数据清洗方法对杂乱的文本数据进行清洗筛选；数据清洗采用python正则表达式对文本信息进行模糊匹配出关键字符串信息，包括疗程用药给量，影像拍摄时间，化疗疗效，免疫组化。
18.s2a-2、对清洗筛选完成的诊断数据利用数据挖掘技术提取出关键的诊断信息、免疫组化数据以及化疗疗效数据；针对提取出的数据进行筛选出有效病例样本，并针对化疗疗效标签进行数据集制作。
19.作为优选，所述步骤s2包括如下子步骤：
20.s2b、对影像数据的预处理
21.s2b-1、将处理后的所有的mri影像拍摄数据按照病例号、影像拍摄时间及增强序列号进行影像编排划分；
22.s2b-2、对每个病例的mri影像拍摄数据进行病灶区域及位置标注，获取有效的病灶区域；
23.s2b-3、将有效病灶区域内的mri影像拍摄数据通过深度学习语义分割算法进行去除皮肤胸腔处理，保留最大roi区域；深度学习语义分割算法为常用医学影像分割方法，近几年来各种模型的提出不断提高优化了分割效果。
24.s2b-4、将经过语义分割完毕的dce-mri影像拍摄数据按照病例号进行标号制作原始序列成影像数据集a；
25.s2b-5、将得到的原始影像数据集a中的每个影像样本数据，进行序列减影操作，所述序列减影操作是将原始增强序列中增强程度高的影像数据按照像素位减去增强程度低的影像数据，以德奥减影处理的减影序列影像数据集b。
26.作为优选，所述循环对抗神经网络模型具体如下：
27.循环对抗神经网络对抗损失：
28.l
gan
(g，dy，x，y)＝e
y～pdata(y)
[log dy(y)]+e
x～pdata(x)
[log(1-dy(g(x))]
[0029]
l
gan
(f，d
x
，x，y)＝e
x～pdata(x)
[log d
x
(x)]+e
y～pdata(y)
[log(1-d
x
(g(y))]
[0030]
其中x代表真实化疗前影像；y代表为真实化疗后影像；l
gan
代表生成对抗损失，即损失名称；e表示数学期望；d代表判别器函数，dy表示判别由x正向生成fakey即生成化疗后影像的正向判别函数，d
x
表示由y反向生成fakex即生成化疗前影像的反向判别函数；g代表正向生成器函数；f代表反向生成器函数；
[0031]
循环对抗神经网络保证生成结果与原始影像一致性损失：
[0032]
l
cyc
(g，f)＝e
x～pdata(x)
[||f(g(x))-x||1]+e
y～pdata(y)
[||g(f(y))-y||1]
[0033]
其中l
cyc
代表生成一致性损失；
[0034]
正确进行疗效预测分类的交叉熵损失：
[0035][0036]
其中l
cross
代表二值交叉熵损失，p为分类为0的概率；
[0037]
生成结果与真实结果之间的深度感知性损失：
[0038][0039]
其中l
p
代表真实结果与生成结果之间的深度感知性损失，其中φ代表深度特征提取函数，其实现由深度特征提取神经网络构成，代表生成结果，表示真实图像。
[0040]
作为优选，所述步骤s3中，所述影像生成及疗效预测训练任务的方法如下：
[0041]
在模型训练过程当中首先使用步骤s2b获得的原始序列影像数据集a进行模型的预训练操作；
[0042]
将经过使用原始序列影像数据集a的训练模型，然后在此之上使用减影序列影像数据集b进一步进行影像生成与预测训练，并输出最终模型；
[0043]
作为优选，所述步骤s3中，所述循环对抗神经网络模型的正向的生成器当中包含了一个针对化疗疗效进行分类预测的分类器神经网络模型。
[0044]
作为优选，所述步骤s3中，所述循环对抗神经网络的生成器主体下采样特征编码器模块所使用的为深度残差神经网络结构。
[0045]
作为优选，所述步骤s3中，所述循环对抗神经网络结构生成器下采样模块的深度残差神经网络模块当中使用了注意力机制模块。
[0046]
本发明具有以下的特点和有益效果：
[0047]
采用上述技术方案，利用深度生成对抗网络模型，通过生成对抗网络的训练学习，得到乳腺癌患者化疗前后所拍摄的dce-mri影像在新辅助化疗的过程当中的变化模式信息，与最终化疗疗效结果之间的联系方式。进而，可以由该生成网络利用患者化疗前所拍摄的单次dce-mri影像信息生成得到首次化疗后的dce-mri影像数据，并给出相应的最终疗效评价。从而可以为医生提供直观的化疗前后的病灶影像变化方式，即医生可在实施化疗治疗之前了解到病灶经过治疗后在影像上的一个初步变化结果，并可以根据模型所得出的疗效评价得到一个综合性的治疗预期。在有了这些数据参考之后，医生即可针对患者的情况更加精确的采取治疗措施以取得更好的治疗效果。本发明不仅为医生施加治疗手段提供了重要的预期价值，同时也减小了患者负担成本，增强了患者的信心。本发明价值意义非凡。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明实施方案示出的总体结构框图。
[0050]
图2为本发明实施方案所使用的训练模型结构图。
[0051]
图3为本发明实施方案所使用的最终神经网络模型结构图。
[0052]
图4为本发明实施方案生成器的深度残差神经网络结构结构图。
[0053]
图5为本发明实施方案预测结果roc曲线图。
[0054]
图6为本发明实施方案化疗后影像生成效果对比图。
具体实施方式
[0055]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0056]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0057]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
[0058]
本发明提供了一种乳腺癌新辅助化疗后mri影像生成及疗效预测方法，如图1所示，包括如下步骤：
[0059]
s1、获取病例数据，所述病例数据包括文本数据和影像数据，其中所述文本数据包括新辅助化疗前后过程中具有mri影像拍摄记录病例的病历、病程及化疗诊断数据，所述影像数据包括原始mri影像拍摄数据，
[0060]
s2、对病例数据进行预处理，并制作数据集
[0061]
s2a、对文本数据的预处理
[0062]
s2a-1、对所有文本数据进行汇总分类处理，其中诊断数据利用数据清洗技术对杂乱的文本数据进行清洗；数据清洗采用python正则表达式对文本信息进行模糊匹配出关键字符串信息，包括疗程用药给量，影像拍摄时间，化疗疗效，免疫组化，
[0063]
s2a-2、对清洗完成的诊断数据利用数据挖掘技术提取出关键的诊断信息、免疫组化数据以及化疗疗效数据；针对提取出的数据进行筛选出有效病例样本，并针对化疗疗效标签进行数据集制作。
[0064]
进一步的，所述步骤s2包括如下子步骤：
[0065]
s2b、对影像数据的预处理
[0066]
s2b-1、将处理后的所有的mri影像拍摄数据按照病例号、影像拍摄时间及增强序
列号进行影像编排划分；
[0067]
s2b-2、对每个病例的mri影像拍摄数据进行病灶区域及位置标注，获取有效的病灶区域；
[0068]
s2b-3、将有效病灶区域内的mri影像拍摄数据通过深度学习语义分割算法进行去除皮肤胸腔处理，保留最大roi区域；
[0069]
需要说明的是，深度学习语义分割算法为常见医学影像分割方式，近几年来各种模型的提出不断提高优化了分割效果；
[0070]
s2b-4、将经过语义分割完毕的dce-mri影像拍摄数据按照病例号进行标号制作原始序列成影像数据集a；
[0071]
s2b-5、将得到的原始影像数据集a中的每个影像样本数据，进行序列减影操作，所述序列减影操作是将原始增强序列中增强程度高的影像数据按照像素位减去增强程度低的影像数据，以得到减影处理的减影序列影像数据集b。
[0072]
具体的，影像数据处理阶段主要采用的是机器视觉图像处理技术将患者各个时间段拍摄的dce-mri影像数据进行格式转换，并从中标记出患病区域及病灶最大径的位置所在，同时将原始的dicom文件图像转换为可处理的矩阵数据存储。将乳腺部位外侧皮肤及下侧胸腔部位影像数据通过深度学习语义分割技术进行去除，得到关键roi区域数据。然后，按照所标注的患病区域进行关键影像数据提取，为提高模型训练准确性，进一步将健康侧乳房影像进行图像分割处理以扩大模型感知区域，同时对dce-mri多个序列之间进行减影操作，将增强度高的序列影像数据通过矩阵按元素相减的方式减去增强度低的序列影像数据，以突出病灶部位的影像特征。
[0073]
需要说明的是，本实施例中所使用的模型训练影像数据主要包括两个部分，患者在进行首次新辅助化疗前后所拍摄的影像数据，将这俩部分部分影像数据按照上述处理方案分别处理，并按照病灶位置对应处的前后影像进行配对产生一个样本数据，将所有患者的前后影像数据对进行整合成最终的样本数据集。最终根据机器学习原则将获取的数据进行数据集的划分，形成模型训练数据集，模型验证数据集，以及最终测试用数据集。
[0074]
s3、搭建深度对抗神经网络模型，并实施影像生成及疗效预测训练任务， s3-1、搭建深度对抗神经网络模型
[0075]
如图2所示，所述深度对抗神经网络模型为输入非匹配的循环对抗神经网络模型，主要包含两套生成器与判别器组合，分别用于完成从正向化疗前至化疗后影像的生成以及由化疗后向化疗前影像的恢复生成；
[0076]
具体的，其中生成器主要由输入特征编码器模块，残差网络深度特征提取块，输出生成影像特征解码块，以及疗效评估预测分类模块。
[0077]
判别器是采用patch-gan模式的卷积神经网络。patch-gan的优势在于缩小了输出层节点的神经元对于整个图像的感受区域，相比于传统的gan结构而言提高了对整张图像的判别能力，同时有助于提高生成对抗网络模型训练的稳定性，使得输出结果更加稳定减少产生模式崩塌的可能性。
[0078]
整个网络模型的重点在于生成器模型模块，为了兼顾模型对于从化疗前影像到化疗后影像的模式转换的准确性以及对于最终化疗疗效的预测效果的准确性，也就是意味着分类生成器模型需要同时具有良好的分类效果和良好的影像生成效果。通常而言，图像的
分类预测的准确性和卷积神经网络的模型深度复杂性有着一定的正相关性，而在对抗生成网络当中模型复杂性的提高将对模型训练过程的中的稳定性有着一定的挑战。为了同时满足这两种需求就需要在模型复杂度与结果的好坏之间进行均衡。在研究当中，降低模型复杂度的基础上任然保留模型对分类效果的方法是在深度卷积神经网络中引入注意力机制。注意力机制是机器视觉研究中仿照人眼关注事物的模式所提出的概念，人眼在观察事物的过程中总是会将注意力集中到所感兴趣的区域从而忽视其他次要信息的区域。而在人工智能领域则是让人工神经网络能够快速关注有效区域的信息从而提升人工神经网络对于问题解决的效果。
[0079]
因此所提出的整个分类生成器模块主要有上述几个部分组成之外还在卷积下采样神经网络之中引入的注意力机制以兼顾生成效果以及影像生成效果。其中分类生成器整个特征下采样模块采用的是经典的resnet残差网络结构，该结构是由何凯明等人于2016年所提出的卷积神经网络模型，已经被广泛的用于各种机器视觉领域的任务当中。与原始的resnet结构不同的是本发明在自定义的残差结构当中加入了注意力机制模块，其结构如图4所示。
[0080]
所述循环对抗神经网络模型具体如下：
[0081]
循环对抗神经网络对抗损失：
[0082]
l
gan
(g，dy，x，y)＝e
y～pdata(y)
[log dy(y)]+e
x～pdata(x)
[log(1-dy(g(x))]
[0083]
l
gan
(f，d
x
，x，y)＝e
x～pdata(x)
[log d
x
(x)]+e
y～pdata(y)
[log(1-d
x
(g(y))]
[0084]
其中x代表真实化疗前影像；y代表为真实化疗后影像；l
gan
代表生成对抗损失，即损失名称；e表示数学期望；d代表判别器函数，dy表示判别由x正向生成fakey即生成化疗后影像的正向判别函数，d
x
表示由y反向生成fakex即生成化疗前影像的反向判别函数；g代表正向生成器函数；f代表反向生成器函数；
[0085]
循环对抗神经网络保证生成结果与原始影像一致性损失：
[0086]
l
cyc
(g，f)＝e
x～pdata(x)
[||f(g(x))-x||1]+e
y～pdata(y)
[||g(f(y))-y||1]
[0087]
其中l
cyc
代表生成一致性损失；
[0088]
正确进行疗效预测分类的交叉熵损失：
[0089][0090]
其中l
cross
代表二值交叉熵损失，p为分类为0时的概率；
[0091]
生成结果与真实结果之间的深度感知性损失：
[0092][0093]
其中l
p
代表真实结果与生成结果之间的深度感知性损失，其中φ代表深度特征提取函数，其实现由深度特征提取神经网络构成，代表生成结果，表示真实图像。
[0094]
s3-2实施影像生成及疗效预测训练任务
[0095]
在模型训练过程当中首先使用步骤s2b获得的原始序列影像数据集a进行模型的预训练操作；
[0096]
将经过使用原始序列影像数据集a的训练模型，然后在此之上使用减影序列影像
数据集b进一步进行影像生成与预测训练，并输出最终模型。
[0097]
具体的，将处理好的样本数据放入所设计的循环对抗神经网络模型进行训练评估，使模型能够同时学习到新辅助化疗过程中的影像变化模式以及所对应的最终化疗疗效是否有效的映射关系。整体循环对抗神经网络模型的训练策略采取cyclegan的训练策略设计。以化疗前影像生成化疗后影像作为正向生成，同时增加对称的反向gan网络结构作为以化疗后影像向化疗前影像的恢复训练，通过增加反向恢复训练以保证对生成结果的正确域的约束，防止随机生成。因此整个训练网络包含两部分gan结构，即由化疗前影像向化疗后影像的正向生成训练及正向过程中的分类预测训练网络，和由化疗后影像恢复到化疗后影像的反向约束训练网络。两部分生成网络互为阴阳，共同训练共同约束。
[0098]
在正向生成器当中包含一个针对通过化疗前影像进行新辅助化疗疗效预测的分类器模块，这部分在反向恢复训练的生成器当中不参与模型训练，其结果只参与正向生成器的反馈训练。在经过大量数据的学习基础之上整体正向生成器结构会完成从化疗前影像到化疗后影像之间的模式转换学习，同时根据gan 模型的反馈以及真实疗效结果的预测反馈可以学习到化疗影像上的特征与新辅助化疗后的疗效评价之间的联系，从而达到从化疗前影像数据中直接判断该患者经过新辅助化疗是否能够改善病情，以供医生参考。
[0099]
其中判别器的参数表如下表所示：
[0100][0101]
其中生成器下采样部分及分类器参数设置表如下表所示：
[0102]
[0103][0104]
上述技术方案中，循环对抗神经网络模型在实际应用中，会根据病例数据处理模块以及影像数据处理模块输出结果进行训练与验证数据的划分，通常按照 4:1比例或9:1进行划分；训练验证数据集划分完成在之后，模型会首先根据每个病例首次化疗前后影像进行预训练学习，初步学习到新辅助化疗过程中病灶在mri影像上的变化模式；
[0105]
待初步学习到化疗前后影像之间的映射关系之后，循环对抗神经网络模型会使用dce增强影像序列按照不同增强强度序列进行影像的减影处理后的影像数据进行二次迁移训练，减影过程的工作模式是将dce中增强强度较大的影像矩阵数据按元素减的方式减去未进行增强处理的影像矩阵数据，以进一步提取病灶的感兴趣区域，使得模型训练过程中进一步关注病灶区域的变化模式；
[0106]
在得到减影序列数据之后，模型会根据预训练得到的权重进行初始化，并以此作为基础将减影序列作为训练数据进一步训练学习，在此过程中模型会进一步关注化疗前后影像数据的病灶区域在化疗过程中的变化模式；
[0107]
经过不断的迭代训练与模型参数的调整，模型最终会得到一个最佳权重模型，该
模型可预知乳腺癌患者mri影像中病灶区域在预先设置的化疗方案下，会发生什么样的变化。
[0108]
s4、将最终学习训练完成的对抗生成神经网络模型迁移至用于实际应用的影像生成及疗效评价预测模块，进行最终疗效预测及化疗后影像生成任务。
[0109]
根据前后影像的变化模式特征与化疗疗效之间的间接联系，经过不断的训练学习从而能够通过单次拍摄的化疗前影像数据来预测出最终病人经过新辅助化疗的疗效评价以及初次化疗后的病灶区域在影像学上的变化模式，进而为医生提供参考数据以增加治愈患者的可能性。
[0110]
具体的，通过步骤s3的学习，网络模型已经能够充分学习到在新辅助化疗过程中乳腺癌患者患病部位在dce-mri影像上病灶区域的模式变化特征，从而可以准确预测处化疗后病灶区域在影像上的变化形式，并可以根据化疗过程中病灶的变化模式对最终完成整个新辅助化疗流程的疗效评估进行推断预测。最后可将训练完成的模型，即如附图3所示模型迁移部署至实际临床诊断平台，在实际应用中为临床从业者提供有益参考。
[0111]
为了验证本发明乳腺癌新辅助化疗纵向时间序列dce-mri影像生成与疗效预测方法的具体效果，用独立的数据集分别进行了实验验证，其中实际化疗疗效预测效果以及测试相关数据如附图5所示，实际化疗后影像生成与真实化疗后影像对比效果如附图6所示。
[0112]
本发明采用深度学习模型的gan结构，结合迁移学习，通过模型的训练自动学习得到新辅助化疗过程中乳腺癌dce-mri影像的深度特征，并结对抗生成策略，从而实现由新辅助化疗前影像到新辅助化疗后影像预测生成并针对最终新辅助化疗疗效进行预测，从而为临床诊断提供有益帮助以及减轻患者负担和提高治愈水平，形成更高效、精准的诊断模式。
[0113]
上述技术方案中，在实际运用中，循环对抗神经网络模型中的影像生成及疗效评价预测模块会根据训练数据中的化疗前以及化疗后影像数据以及样本的疗效评价标签进行疗效预测的学习训练，联合分类器神经网络模型首先会在真实数据的基础上学习到化疗前后影像与最终新辅助化疗的疗效评价之间的联系；
[0114]
其次，待联合分类器神经网络模型能够准确学习到单次新辅助化疗前后的影像与最终疗效之间的准确映射关系时，本发明的全部预训练工作基本完成，本发明当中两个重要的预测功能模块已经学习完成；
[0115]
最终，将两个模块进行结合起来进可仅使用化疗前单次拍摄影像完成对病灶单次化疗后影像的影像的生成预测，同时可将预测结果与化疗前影像联合起来输入到联合影像疗效评价预测模块预测得出最终患者可通过新辅助化疗取得的疗效效果评价。
[0116]
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。