一种基于深度学习的多模态肝脏磁共振影像配准系统的制作方法

本发明属于磁共振图像配准技术领域，具体涉及不同对比度，即不同模态之间的肝脏磁共振影像配准方系统。

背景技术：

肝癌是我国常见的肿瘤，是全球第六大常见的癌症，也是亚洲致死率排名第二的癌症，早期、准确诊断肝脏病变具有重要的意义。在对肝脏病变进行诊断的过程中，通常会结合多个模态的影像信息，根据不同影像的特点及优势，进行综合全面的判断。例如磁共振动态增强扫描（dynamiccontrastenhancedmri,dce-mri）可以对肿瘤血管渗透性进行定量分析，不仅可以提供肝脏病变形态学上的特征，还可以反映病变的血供状态；弥散加权成像（diffusionweightedimaging,dwi）能对肝脏细胞特征和组织结构进行定量分析，提供比常规mri更多的信息，对明确病变部位的病理变化和生理活动有重大的意义；近年来以脱氧血红蛋白为内源性对比剂的血氧水平依赖功能磁共振成像(bloodoxygenleveldependentfunctionalmagneticresonanceimaging,bold-fmri)能够反映血流动力学和血氧含量变化,可以用于肝脏疾病的诊断和严重程度评估。而图像配准的目的即为在空间上或时间上将不同模态的影像对齐，以更精确地定位病灶。

传统的多模态配准方法多采用线性变换模型和非线性变换模型。线性变换模型通过对线性变化矩阵和平移向量的调整，包含了刚性配准，相似性配准和仿射配准，但该方法无法考虑源图像和目标图像之间的局部差异。在非线性变换中基于形变场的样条函数，例如薄板样条法和b样条法较为常用，其通过求出目标图像和参考图像对应控制点的映射关系，得到最优光滑位移场，然而随着控制点数量的增加，系数矩阵也会越来越大，计算准确性和稳定性会有所降低。

对于多模态磁共振影像配准而言，其配准难度主要在于不同模态影像之间的对比度差异，以及由于获取不同模态影像的时间点不同，从而导致相应器官的解剖学结构上的差异，这都给特征空间的提取造成了较大难度。故直接使用传统配准方法进行多模态配准通常无法达到较高准确度，而且在速度上也有待提升。

技术实现要素：

本发明的目的在于提供一种可以降低对多模态影像间特征提取的难度、实现更准确更快速配准的多模态肝脏磁共振影像配准系统。

本发明提供的多模态肝脏磁共振影像配准系统，利用预训练的gan网络将源模态图像转化为目标模态图像，降低提取特征空间的难度，进而使辅助传统配准方法进行更准确更快速的配准。

本发明提出的多模态肝脏磁共振影像配准系统，是基于深度学习的，具体包括如下模块。

图像预处理模块，用于对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；

所述图像预处理模块中，预处理方式主要有三种：

（1）由于有些图像在采集的过程中存在首尾数层图像不完整的问题，故剔除每个3d图像样本的始末3-10层；

（2）喂入网络的所有2d图像，重采样至分辨率128×128到1024×1024；

（3）根据图像对的像素点取值范围以及网络结构的激活函数的输出范围，对2d图像进行归一化处理，将像素值归一化至[0,1]或[-1,1]或[-1,0]范围内。

训练样本筛选模块，用于对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为gan网络的训练样本。

gan网络模块，经过训练，用于对多模态肝脏磁共振影像配准；所述gan网络采用但不局限于pix2pix架构搭建；搭建的gan网络主要包括鉴别器网络和生成器网络；其中：

所述生成器网络架构，如图4所示，采用类似u-net的结构，生成器网络包括：5-12层卷积层，5-15层反卷积层；每个卷积层选取合适的激活函数，包括但不局限于relu函数、tanh函数等。

所述鉴别网络结构，如图5所示，采用patch-gan结构，即将一张图像通过多层卷积后得到尺寸较小的特征矩阵，经过sigmoid激活函数处理后得到矩阵中每个特征值相应介于0和1之间的概率值，其平均值即为鉴别网络输出的判别结果；鉴别网络包括：卷积层，5-10层跨步卷积层，以及最终卷积层。

本发明系统的工作流程如下：

（一）由图像预处理模块，对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；

（二）由训练样本筛选模块，对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为gan网络的训练样本；这里的筛选可采用人工筛选；

（三）用筛选的训练样本，对gan网络进行训练；

在训练过程中，对比训练结果，调整图像预处理方法、网络训练方法及数据增强方法，达到最好的训练效果。

所述调整图像预处理方法，包括三种方式：

（1）由于有些图像在采集的过程中存在首尾数层图像不完整的问题，故剔除每个3d图像样本的始末3-10层；

（2）喂入网络的所有2d图像重采样至分辨率128×128到1024×1024；

（3）根据图像对的像素点取值范围以及网络结构的激活函数的输出范围，对2d图像进行归一化处理，将像素值归一化至[0,1]或[-1,1]或[-1,0]范围内。

所述调整数据增强方法，具体使用但不局限于翻折、旋转、仿射变换，增加噪声，裁切，颜色扰动和缩放等方法，本发明具体增强方式如下：

翻折：翻折方式有水平翻折、垂直翻折、对角翻折三种，随机选取三种翻折方式的一种进行数据增强；

旋转：选择角度阈值θ（θ的范围为120°至180°之间），在-θ度至θ度随机角度旋转；

仿射变换：分别在以图像的四个端点为圆心、直径为n个像素的圆形区域内随机取四点，作为仿射变换的变换顶点，进行仿射变换；

缩放变换：在图像尺寸的一定百分比范围（通常为10%-15%）内随机取值，进行图像缩放。

所述调整网络训练方法，使用但不局限于采用共轭梯度法、交替方向乘子法、随机梯度法等训练方法，设定合适的批量大小及学习率，训练一定轮数后网络收敛。

（四）进行gan网络的辅助配准，具体流程为：

（1）将待配准的三维源模态图像切片，以二维图像的形式输入经过训练的gan网络，输出对应的二维目标模态仿真图像，将二维仿真图像整合为三维仿真图像；

（2）对上一步得到的目标模态仿真图像与待配准目标模态图像进行传统配准，即依次进行刚性配准、仿射配准和非线性配准，得到对应像素映射关系，即形变场；

（3）将上一步得到的形变场与待配准源图像融合，完成gan网络辅助配准。

与现有技术相比，本发明系统具有如下优点：

（1）提供了一种全新的基于深度学习的辅助配准系统。传统的多模态配准方法多用互信息作为损失函数，而互信息能否实现精确配准在很大程度上取决于是否有一个好的初始化过程，即优化开始时能否已知数量足够多的正确配对关系。本发明通过gan网络生成目标模态图像，通过模态的转换，给传统配准方法提供了良好的初始化过程，提高了配准精度；

（2）缩短了传统配准方法的配准时间。由于使用gan网络将源模态转化为目标模态输入传统配准方法，更易提取图像特征，从而缩短了配准时间，经过对数例样本配准时间的统计，平均配准时间缩短了14秒；

（3）gan网络对于多种模态影像的学习效果都十分优秀，不局限于dwi,dce,fmri，甚至ct等图像，故只需喂入对应模态的图像进行训练，即可得到不同功能的gan网络，用以辅助针对不同模态之间的配准；

（4）网络训练数据容易获得。gan网络对训练数据的要求较低，只需要输入的源图像与目标图像层级对应程度好，组织轮廓清晰即可。通过改变gan网络的结构（例如cycle-gan），即使使用不配对的数据集也能完成训练。

附图说明

图1为gan训练流程图示。

图2为gan辅助配准流程流程图示。

图3为传统方法预配准结果。

图4为本发明中生成器网络结构图示。

图5为本发明中鉴别器网络结构图示。

图6为gan网络生成仿真dce效果图示。

图7为ants配准后生成形变场。

图8为gan辅助配准与ants配准结果对比。其中，（a）、（b）、（c）为三个病例。

具体实现方式

下面，以一批进行过病灶标注的100余位患者的样本为例进行分析，样本包括dce-mri图像和dwi图像，结合附图对本发明在进一步说明。在不脱离本发明构思的前提下，对以下过程的若干变形和改进，都属于本发明范围。本发明系统的具体工作流程如下。

（一）首先将训练样本原始dwi和dce数据进行预处理，并利用传统方法进行预配准，即依次进行刚性配准，仿射配准和非线性配准。

（二）对经过传统预配准后的样本进行筛选（可人工筛选），筛选出层级对应关系良好，例如图3所示，器官组织清晰的样本，作为gan网络的训练样本。最终将样本分为两组，92%的样本用于网络训练，8%的样本用于最终结果验证。

（三）搭建基于pix2pix架构的gan网络，其中gan网络的生成器网络架构如图4所示，采用类似u-net的结构，包括下采样与上采样两个阶段；在下采样阶段，通过卷积层进行图像特征提取；在上采样阶段，网络使用“跳跃连接”，即将前一层的dropout输出与该层对称的下采样卷积层的输出相连接作为该反卷积层的输入，从而保证下采样提取到的信息在上采样时可以不断地被重新记忆，使得生成的图像尽可能保留原图像的一些信息。网络下采样阶段包括3个步长为2，卷积核分别为64、128、256的跨步卷积层，将（256,256,1）的输入图像特征提取为（32,32,256），再经过5个步长为2，卷积核为512的卷积层继续将特征提取至（1,1,512）；在上采样阶段,首先通过4个步长为2，卷积核为512的反卷积层将特征矩阵上采样至（16,16,256），再通过4个步长为2，卷积核为256,128,64,1的跨步反卷积层，将特征矩阵重新还原为（256,256,1），即输出与原图像相同尺寸的图像。除了最后一个卷积层外，其余每个卷积层都包含实则正则化和relu激活，并在生成器最末尾采用tanh激活函数进行最后激活。在上采样阶段，每个反卷积层的dropout比率设置为0.5。

鉴别网络结构如图5所示。为了能对图像的局部做出更精确的判断，pix2pix鉴别网络采用了patch-gan结构，即将一张图像通过多层卷积后得到尺寸较小的特征矩阵，经过sigmoid激活函数处理后得到矩阵中每个特征值对应的介于0和1之间的概率值，其平均值即为鉴别网络输出的判别结果。具体实现过程为：原始dwi图像与原始dce或仿真dce图像成对输入鉴别器网络，首先经过4层步长为2，卷积核分别为64、128、256、512的跨步卷积层后，得到（16,16,512）的特征图，再经过步长为1，卷积核为1的卷积层，得到（16,16,1）的特征矩阵。接下来对该特征矩阵中的每个特征值进行sigmoid激活函数处理得到相应概率值，对概率值取平均后即为鉴别网络最终输出。

（四）通过多次调整，本发明最终采用的预处理方式有以下三种：

（1）由于有些图像在采集的过程中存在首尾数层图像不完整的问题，故剔除每个3d图像样本的起始3层和末尾3层；

（2）喂入网络的所有2d图像重采样为256×256；

（3）每一张图片的像素点取值范围为[0,255]，由于生成器最后采用了输出为（-1,1）的tanh激活函数，故对每一张2d图像进行归一化处理，将像素值归一化至[-1,1]范围内。

采用在线数据增强，分别采用了翻折、旋转、仿射变换和缩放四种方法，具体参数如下：

翻折：翻折方式有水平翻折，垂直翻折，对角翻折三种，随机选取三种翻折方式的一种进行数据增强；

旋转：-180度至180度随机角度旋转；

透视变换：以图像的四个端点分别为圆心，直径22像素的圆形区域，即总像素的5%范围内随机取四点，作为仿射变换的变换顶点，进行仿射变换；

缩放变换：在图像尺寸的10%-15%范围内随机取值，进行图像放缩。

网络在teslav100gpu中进行训练，批量（batchsize）设定为80，学习率为2e-4，训练轮数20000，得到最佳效果，如图6所示。

（五）将7例待配准的三维dwi图像切片，以二维图像的形式输入gan网络，输出对应的二维仿真dce模态图像，将二维图像整合为三维仿真dce图像，并做三维像素归一化，消除层级之间的像素跳变。

（六）用传统方法对仿真dce图像和目标dce图像进行配准，即依次进行刚性配准，仿射配准和非线性配准，得到对应像素映射关系，即形变场，如图7所示。

（七）将上一步得到的形变场与待配准dwi图像融合，完成gan网络辅助配准流程。

（八）仅使用传统方法对7例样本进行配准，并与使用gan网络辅助的配准结果做直观对比，取7例病例中3例效果明显的样本展示，如图8所示。在结果图中，mask层为医生在dce影响上标注的病灶位置，gan+ants和ants分别表示使用gan辅助配准与仅使用传统方法配准的结果，黄框区域即为病灶所在区域。观察这三例样本的配准结果，gan+ants的配准方法相比于仅用ants进行配准，均可以将dwi上的病灶配准到同一层中，而且病灶位置与医生在dce影像上标注的病灶位置都达到了70%以上重合；而ants配准的结果中均无法观察到病灶，且层级也无法准确对应。

（九）结果分析：将通过两种方法配准后的dwi图像肿瘤位置分别标出，并与医生标注的肿瘤位置作比较，分别计算相似性测度，本例中采用了dice指标进行相似度分析。并计算两种配准方法耗费的时间，从速度性角度做评估。7例验证样本的具体分析结果如表1所示。

由表1可见，dice值非零的这5例样本（6个病灶）中，基于gan网络的辅助配准方法均对配准结果有一定程度的优化，其中dice值提高范围在0.04至0.45之间；并且对于三个仅使用ants无法配准病灶的样本（其dice值为0），也可以做到配准后病灶区域与金标准小部分重合。在配准时间上，5例样本中，其中有3例样本配准时间得到提升，从整体分析基于gan网络的平均配准时间为742.88秒，传统配准方法平均配准时间为756.16秒，有少许提升。

故从直观图像和dice指标分析上看，利用gan网络生成的图像与dce共同作为ants配准输入，得到的配准效果可以做到提高绝大部分病例准确度，并且在配准时间上有明显缩减。

表1六例样本中两种方法dice指标与配准时间对比

。