一种基于全卷积网络的三维腹部CT图像多器官配准方法与流程

本发明涉及医学图像处理领域，具体涉及一种基于全卷积网络的三维腹部ct图像多器官配准方法。

背景技术：

图像配准是计算机辅助疾病诊断、手术和治疗的关键步骤，其目的是寻求一种空间变换，通过映射使两个图像的对应点在空间上保持一致。配准技术能对源于相同或不同模态医学图像的腹部器官、组织的形状和大小进行匹配，因此对辅助医生治疗计划、手术导航和疗效评估至关重要。腹部的组织和器官柔软、边缘模糊、器官形态个体差异较大且易受呼吸运动的影响，因此腹部图像配准具有挑战性。目前腹部图像配准方法运算量大、计算复杂度高、缺乏鲁棒性，且在临床应用中难以同时满足配准的实时性和准确性。因此，研究一种快速、精准、鲁棒的腹部ct图像配准方法对于计算机辅助诊断和精准医疗都非常重要。

现有的腹部图像形变配准方法通常可分为基于强度的和基于特征的两大类。基于强度的配准方法直接利用灰度信息构建固定图像和浮动图像之间的相似性度量，主要包括误差平方和、互信息、相关系数和序列相似度检测算法等。该类方法对每个像素点求其位移，无需预处理，配准精度高，但运算量大，计算复杂度高。基于特征的配准方法主要是提取图像的点特征、边缘特征和区域特征等，进行特征匹配。该类方法仅需提取少量重要特征信息，可极大地减少配准过程中的噪声干扰、时耗和计算复杂度，但对特征提取和匹配位置的误差敏感度高，从而降低了配准精度。

技术实现要素：

本发明的目的在于针对腹部ct图像中组织结构纹理复杂、器官轮廓边缘灰度差异小、配准算法时耗长、计算复杂度高等问题，采用先分割腹部ct图像多器官区域再配准的两步法策略，提出了一种快速、精准、鲁棒性强的基于全卷积网络的三维腹部ct图像多器官配准方法。

本发明提出的基于全卷积网络的三维腹部ct图像多器官配准方法包括以下步骤：

(1)获取三维腹部ct图像数据集：

在公开数据库sliver07、lits和btcv中随机读取n个腹部ct序列分类标签信息，获取并补齐相应的肝、左肾、右肾和脾的分割掩膜，组成样本训练集和测试集；

(2)提取三维腹部ct序列多器官区域，具体包括以下步骤：

(2-a)引入注意力机制模块，构建基于全卷积网络的分割模型：

改进的全卷积网络共包含四个部分，其中第一部分包含下采样、密集卷积块、注意力机制模块各1个，激活函数3个；第二部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数3个；第三部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数2个；第四部分包含融合、卷积层、激活函数、上采样各1个；其中第一至第四部分上、下采样操作主要是对图像进行缩放，并通过缩放比s来控制感受野的大小，以获得图像在不同分辨率下的特征信息；第一至第三部分注意力机制模块通过压缩比r来减少特征学习的通道数量，使之成为轻量级模块；第一、第二、第三部分分别提取不同分辨率层的特征信息后并行输出作为第四部分的输入，密集卷积块由多个密集卷积层组成，每个卷积层的输入由前面所有层的输出拼接而成；

(2-b)训练网络模型，获得三维腹部多器官分割掩膜：

采用步骤(2-a)构建的网络模型对步骤(1)所得的样本训练集进行训练，以获得样本测试集的腹部ct序列多器官分割掩膜结果；

(2-c)优化步骤(2-b)所得分割结果，实现腹部ct序列多器官区域的最终提取；

(3)构建腹部ct序列多器官区域图像对(浮动图像与固定图像)：

根据样本测试集中每个序列相应的多器官提取结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部ct序列多器官区域图像对；

(4)构建配准相似性度量函数：

其中，i0为固定图像(参考图像)，i1为浮动图像，t为形变向量场，sim为配准数据项，reg为空间正则化项，λ为平衡数据项和正则化项之间误差的常数；

(5)采用交替方向乘子法最小化相似性度量函数，实现腹部多器官区域ct图像对的配准。

在上述步骤(2-c)中，采用全连接条件随机场优化分割结果，满足：

其中，xi、xj分别为体素点i、j的图像标签；ψ(xi)代表单点势能函数ψ(xi)＝-logp(xi|i)，p(xi|i)为体素点对应网络模型的输出结果；ψij(xi,xj)代表成对点势能函数，且λ^m为权重参数，μ(xi,xj)＝[xi≠xj]为标签兼容性函数，以确保体素的能量只能在相同标签属性下相互传递，k^m(·)为高斯核能量函数，fi和fj为成对体素点的特征向量。

在上述步骤(4)中，考虑到腹部各器官之间的形变相对独立，该情况下采用全局相似度度量，计算量大且易引起形变场的错误估计，逐一以每个体素为中心，将输入图像分割成小块，引入局部相关系数(localcorrelationcoefficient,lcc)，构建配准数据项sim：

每小块的局部相关系数的计算为：

其中，[x]表示以x为中心体素点的图像块，v为像素体积，为浮动图像i1在形变向量场t作用下的空间变换，×代表逐个元素相乘；表示卷积操作，wgaussian为高斯核滑窗函数，为i0与之间的局部相关性，且

在上述步骤(4)中，为了避免配准形变场过光滑问题，对配准数据项sim进行合理约束，构建空间正则化项reg：

其中，k为图像的总像素点个数，d为图像的维度，×代表逐个元素相乘。

步骤(1)数据集相关参数设置中，优选n为30～200之间的整数。

步骤(2-a)分割模型相关参数设置中，优选s为0～20之间的正实数，优选r为2～32之间的整数。

步骤(4)相似性度量函数相关参数设置中，优选λ为大于0小于1的常数。

步骤(5)交替方向乘子法相关参数设置中，优选迭代次数为50～150之间的整数。

本发明具有如下优点：

(1)本发明采用的基于全卷积网络的三维腹部ct图像多器官配准方法，引入了轻量级注意力机制模块，通过在各分辨率层添加该模块，调节特征图中目标器官区域的权重，对网络模型进行优化，提高了网络模型的分割精度；

(2)本发明针对基于全卷积网络模型将特征图还原为原始图像大小时，其上采样操作会丢失部分特征信息从而影响分割精度，引入全连接条件随机场，对上采样后的分割掩膜进行校准和优化，从而进一步提高腹部多器官分割的精度；

(3)本发明通过提取腹部多器官区域，消除了围绕腹部目标器官轮廓附近的灰度信息干扰，降低了计算复杂度，避免了基于强度的腹部配准方法运算量大、时耗长的缺点；

(4)本发明针对全局相似度度量计算量大、易引起形变场的错误估计的问题，采用基于局部相关系数的相似性度量函数，引入空间正则化项对其加以约束，提高了腹部多器官配准精度，鲁棒性强。

附图说明

图1本发明实施方式的基于全卷积网络的三维腹部ct图像多器官配准流程图；

图2本发明实施方式的改进的全卷积网络框架图；

图3本发明实施方式的腹部ct序列多器官区域分割结果图；

图4本发明实施方式的腹部ct序列原始图像对及其多器官区域图像对配准差分图。

具体实施方式

下面说明本发明具体实施方式：

实施例1

图1为本发明所实施的基于全卷积网络的三维腹部ct图像多器官配准方法流程图。首先，获取三维腹部ct图像数据集。然后，为了增强目标器官区域的权重，引入轻量级注意力机制，构建基于全卷积网络的分割模型，对该网络模型进行训练并获得腹部多器官分割掩膜，再引入全连接条件随机场，进一步优化分割掩膜，实现腹部ct序列多器官区域的提取。接着，构建腹部ct序列多器官区域图像对以及基于局部相关系数数据项和空间正则化项的相似性度量函数，以避免配准形变场过光滑问题。最后，采用交替方向乘子法最小化相似性度量函数，实现腹部多器官区域ct图像对的配准。

如图1所示，本发明的一种基于全卷积网络的三维腹部ct图像多器官配准方法包括以下步骤：

(1)获取三维腹部ct图像数据集：

从公开数据库sliver07、lits和btcv中随机读取n个腹部ct序列分类标签信息，获取并补齐相应的肝、左肾、右肾和脾的分割掩膜，组成样本训练集和测试集，n取值为71；

(2)提取三维腹部ct序列多器官区域，具体包括以下步骤：

(2-a)引入注意力机制，构建基于全卷积网络的分割模型：

如图2所示，改进的全卷积网络共包含四个部分，其中第一部分包含下采样、密集卷积块、注意力机制模块各1个，激活函数3个；第二部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数3个；第三部分包含下采样、密集卷积块、注意力机制模块、上采样各1个，激活函数2个；第四部分包含融合、卷积层、激活函数、上采样各1个；其中第一至第四部分上、下采样操作主要是对图像进行缩放，并通过缩放比s来控制感受野的大小，以获得图像在不同分辨率下的特征信息；第一至第三部分注意力机制模块通过压缩比r来减少特征学习的通道数量，使之成为轻量级模块；第一、第二、第三部分分别提取不同分辨率层的特征信息后并行输出作为第四部分的输入，本实施例第一、第二、第三部分下采样的缩放比s均取值为0.5，第二部分上采样的缩放比s取值为4，第三、四部分上采样的缩放比s均取值为2，注意力机制优选挤压-激励网络模块，该模块中的压缩比r取值为8；

(2-b)训练网络模型，获得三维腹部多器官分割掩膜：

采用步骤(2-a)构建的网络模型对步骤(1)所得的样本训练集进行训练，以获得样本测试集的腹部ct序列多器官分割掩膜结果；

(2-c)采用全连接条件随机场优化步骤(2-b)所得分割结果，实现腹部ct序列多器官区域的最终提取：

其中，xi、xj分别为体素点i、j的图像标签；ψ(xi)代表单点势能函数ψ(xi)＝-logp(xi|i)，p(xi|i)为体素点对应网络模型的输出结果；ψij(xi,xj)代表成对点势能函数，且λ^m为权重参数，μ(xi,xj)＝[xi≠xj]为标签兼容性函数，以确保体素的能量只能在相同标签属性下相互传递，以确保体素的能量只能在相同标签属性下相互传递，k^m(·)为高斯核能量函数，fi和fj为成对体素点的特征向量。

(3)构建腹部ct序列多器官区域图像对(浮动图像与固定图像)：

根据样本测试集中每个序列相应的多器官提取结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部ct序列多器官区域图像对；

(4)构建配准相似性度量函数：

其中，i0为固定图像(参考图像)，i1为浮动图像，t为形变向量场，sim为配准数据项，reg为空间正则化项，λ为平衡数据项和正则化项之间误差的常数，λ在本实施例中取值为0.005，相似性度量函数的构建具体包括以下步骤：

(4-a)考虑到腹部各器官之间的形变相对独立，该情况下采用全局相似度度量，计算量大且易引起形变场的错误估计，逐一以每个体素为中心，将输入图像分割成小块，引入局部相关系数(localcorrelationcoefficient,lcc)，构建配准数据项sim：

每小块的局部相关系数的计算为：

其中，[x]表示以x为中心体素点的图像块，v为像素体积，为浮动图像i1在形变向量场t作用下的空间变换，×代表逐个元素相乘；表示卷积操作，wgaussian为高斯核滑窗函数，为i0与之间的局部相关性，且

(4-b)为了避免配准形变场过光滑问题，对配准数据项sim进行合理约束，构建空间正则化项reg：

其中，k为图像的总像素点个数，d为图像的维度，×代表逐个元素相乘。

(5)采用交替方向乘子法最小化相似性度量函数，即采用迭代的方式分别最小化配准数据项sim和空间正则化项reg以获得相似性度量函数的最优解，实现腹部多器官区域ct图像对的配准；本实施例迭代次数取值为100。

实施例2

为了验证本发明中分割方法的有效性，采用实施例1中的方法，从公开的数据库sliver07、lits和btcv中随机选取71个腹部ct序列，通过读取原始数据库的nii文件给定的标签信息，获取并补齐肝、左肾、右肾和脾的分割掩膜，组成统一尺寸为144×144×144的样本训练集55例和测试集16例，其中测试集中随机选取1例与其余15例逐一配对组成腹部ct原始图像对。

图3给出了随机抽取的一个腹部ct序列多器官区域分割结果图，其中(a)为原始腹部ct序列，(b-1)和(c-1)分别为专家手动分割结果的二维和三维展示图，(b-2)和(c-2)分别为densevnet网络分割结果的二维和三维展示图，(b-3)和(c-3)分别为densevnet+gcblock网络分割结果的二维和三维展示图，(b-4)和(c-4)分别为本发明分割结果的二维和三维展示图。可以看出，本发明方法的分割精度比其他两种方法的分割精度有一定提高。

为了定量分析本发明中分割方法的有效性，采用dice指标对densevnet网络、densevnet+gcblock网络和本发明的分割性能进行评价，其中测试对象为数据库测试集16例腹部ct序列图像，结果如表1所示。可以看出本发明的dice值最高，表明了本发明方法对腹部ct序列图像多器官分割的结果较精确。

表1本发明与其他两种方法对腹部ct序列多器官分割的平均dice指标对比

实施例3

为了验证本发明配准方法的有效性，采用实施例1中的方法，从实施例2获得15组腹部ct序列原始图像对及其多器官区域图像对进行测试。

图4给出了随机抽取的1组腹部ct序列原始图像对及其多器官区域图像对配准差分图，其中第(a)列为腹部ct序列原始图像对及其多器官区域图像对之间配准前的差分结果，第(b)列为采用demons方法对腹部ct序列原始图像对及其多器官区域图像对进行配准后的差分结果，第(c)列为采用hybrid方法对腹部ct序列原始图像对及其多器官区域图像对进行配准后的差分结果，第(d)列为采用msi方法对腹部ct序列原始图像对及其多器官区域图像对进行配准后的差分结果，第(e)列为本发明对腹部ct序列原始图像对及其多器官区域图像对进行配准后的差分结果。可以明显看出，本发明方法配准误差小，配准精度得到了大大提高。

表2给出了本发明和其他三种方法所得15组腹部ct序列图像对配准结果的性能评价。可以看出，先分割再配准的两步法策略大大提高了本发明及其他方法的配准性能，且本发明的腹部ct序列多器官区域图像对的配准结果均方误差小、峰值信噪比高、结构相似性好，且速度快，时耗短。结果表明，本发明方法能获得快速、精准的腹部ct序列图像多器官配准效果，且鲁棒性好。

表2本发明和其他三种方法对15组腹部ct序列图像对配准结果的性能评价

以上所述，只是本发明的实施例而已，本发明并不局限于上述实施方式，只要以相同的手段达到本发明的技术效果，都属于本发明的保护范围。