基于自动分割和骨盆对齐的前列腺图像配准系统及方法与流程

本发明属于图像处理技术领域，更进一步涉及一种图像配准系统及方法，可用于观察前列腺肿瘤解剖部位的形状和位置变化，实现对病变部位的跟踪和调整放疗计划。

背景技术：

图像配准是指将两幅图像对齐至一个共同的坐标系中，以便监视两者之间的变化。基于特征点的配准是最常用的图像配准方法之一。特征点需要能够与相邻的图像点区分开来。如若不满足该条件，就不可能用另一个图像中的对应点唯一匹配它。因此，一个特征邻域应该与经过小位移后得到的邻域有充分的不同。图像中容易识别和提取的特征点包括线与线间的交点、图像边缘点、角点、闭合区域的质心等。特征点可以通过手动或自动的方式提取。基于相似性度量的图像配准方法有基于特征的、基于区域的以及与信息熵相关的度量等。与信息熵相关的度量方式是目前多模态图像配准的最常用方法，对两幅图像数据集间的统计相关性进行测量，不需要预先对图像进行分割，适用于多模图像的配准。

福州大学在其申请的专利“一种多模态医学图像配准与可视化方法”，(专利申请号：cn201610419404.3，申请公开号：cn106097347a)中提出一种多模态医学图像配准与可视化方法。该方法基于快速光工具包fltk、可视化工具包vtk、图像实时动态irtk技术,提供友好操作界面以及可视化功能,简化复杂的算法参数配置过程,方便配准操作,实现多模态医学图像配准工作；提供图像去噪声预处理,以提高图像质量,减少噪声对配准精度的影响；针对目标图像与源图像存在较大坐标位置差异的情况,提供点集配准方法完成坐标位置粗配准,为后续刚性、仿射以及非线性配准的实施做初始化；采用多线程编程技术,实现配准的中间过程实时动态显示,方便了解和监测配准过程；配准结果自动输出并保存；利用所述配准结果的变换矩阵并加上平滑限制项,可实现微分同胚变换和快速分割功能。该方法由于是通过多种医学平台共同支持完成配准，虽说提高了配准精度，但时间复杂度变高，影响配准效率。

西安电子科技大学在其申请的专利文献“基于混合模型的前列腺多模态图像非刚性配准方法”，(专利申请号：cn201610517790.x，申请公开号：cn106204561a)中提出一种本发明公开了一种基于混合模型的前列腺多模态图像非刚性配准方法,主要解决现有技术对前列腺电子计算机断层扫描ct和磁共振成像mri图像的配准不佳问题。其实现方案是：

1)输入前列腺ct和mri图像,分别对其分割出前列腺器官；2)将分割后的ct和mri图像分别作为参考图像和浮动图像,对这两种图像作金字塔分层；3)对浮动图像进行偏移和逐层迭代,得到初配准图像；4)将参考图像和初配准图像划分控制点网格,移动初配准图像的控制点,根据其位移量得到变换后的图像，计算变换后的图像和参考图像相似性；5)重复步骤3)和4),直到变换后的图像和参考图像相似性最大,得到最终位移量；6)根据最终位移量对浮动图像进行变换得到配准图像。该方法由于仅针对前列腺器官进行配准，忽略了盆部图像的其它信息，配准结果不准确，难以为临床应用提供可靠的依据。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种基于自动分割和骨盆对齐的前

列腺图像配准系统及方法提高配准精度，为临床应用提供可靠的依据。

实现本发明的思路是，将前列腺ct图像与mri图像分别输入训练好的u-net网络，

得到对应模态的分割图像；将归一化互信息值最大作为相似度度量准则，以ct分割图像作为参考图，以mri分割图像作为浮动图，进行初配准，得到配准变换矩阵以及初配准图像；

利用demons方法对初配准图像进行再次配准得到形变场及配准图像；将配准图像与参考图像融合，得到最终的配准图像。

根据上述思路，本发明配准系统，包括：

图像预处理模块(1)，用于将前列腺ct图像与前列腺mri图像根据图像生成的时间依次配对，得到前列腺多模态图像配对数据集，并按6：4的比例划分为前列腺多模态图像训练样本集和测试样本集，然后利用滑窗匹配的方法生成前列腺多模态图像序列标签；

多模态图像训练模块(2)，用于利用输入模块(1)得到的前列腺多模态图像样本训练集，对自动分割网络u-net训练，得到训练好的自动分割网络u-net；

多模态图像分割模块(3)，用于将多模态前列腺图像中骨盆区域的刚性结构信息和前列腺器官的非刚性结构信息作为先验约束，利用训练好的自动分割网络u-net分别对测试样本集中的前列腺ct图像序列和前列腺mri图像序列进行联合分割，得到前列腺器官和骨盆区域，并将分割后的结果输入到多模态图像配准模块(4)；

多模态图像配准模块(4)，用于利用两阶段配准法对前列腺ct图像序列和前列腺mri图像序列的分割结果进行配准，得到前列腺配准图像序列，并将前列腺配准图像序列输入到图像显示模块(5)；

图像显示模块(5)，用于将前列腺配准图像序列与多模态图像分割模块(3)中的前列腺ct图像序列分割结果进行融合，得到前列腺融合图像序列。

2.一种基于自动分割和骨盆对齐的前列腺图像配准方法，其特征在于，包括：

1)根据图像生成的时间将前列腺ct图像与前列腺mri图像依次配对，得到配对数据集，分别在配对数据集中的前列腺ct图像集和前列腺mri图像集中随机选取60％的图像组成前列腺ct图像训练样本集和前列腺mri图像训练样本集，40％组成前列腺ct图像测试样本集和前列腺mri图像测试样本集；

2)生成前列腺ct图像序列标签和前列腺mri图像序列标签：

2a)分别将前列腺mri的图像训练样本集和测试样本集中每幅图像由中心点向外裁剪，得到分辨率为256*256的前列腺mri图像序列；

2b)对前列腺ct图像的训练样本集和测试样本集中每幅图像使用滑窗方法找到与前列腺mri图像序列内容一致的图像块，并对这些图像块依次进行平移、缩放、小角度旋转和双线性插值变换，得到前列腺ct图像序列；

2c)分别对前列腺ct图像序列和前列腺mri图像序列人工勾画出前列腺器官及骨盆区域，再进行二值化处理，得到前列腺ct图像序列的标签序列gc和前列腺mri图像序列的标签序列gm；

3)搭建一个由五个卷积块网络和四个反卷积块网络组成的前列腺多模态图像自动分割网络u-net；

4)从前列腺ct图像训练样本集中随机选取一幅图像，对自动分割网络u-net进行训练，得到前列腺ct图像自动分割网络u1；

5)从前列腺mri图像训练样本集中随机选取一幅图像，对自动分割网络u-net进行训

练，得到前列腺mri图像自动分割网络u2：

6)联合分割得到前列腺ct测试样本集的分割结果图像集c和前列腺mri测试样本集的分割结果图像集m：

6a)将前列腺ct测试样本集输入到训练好的前列腺ct图像自动分割网络u1中，将前列腺ct测试样本集中骨盆区域的刚性结构信息和前列腺器官的非刚性结构信息作为先验约束，通过u1中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列lc，并对lc进行二值化处理，得到包含前列腺器官和骨盆区域两部分的前列腺ct测试样本集的分割结果图像集c；

6b)将前列腺mri测试样本集输入训练好的前列腺mri图像自动分割网络u2中，将前列腺mri测试样本集中骨盆区域的刚性结构信息和前列腺器官的非刚性结构信息作为先验约束，通过u2中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列lm，并对lm进行二值化处理，得到包含前列腺器官和骨盆区域两部分的前列腺mri测试样本集的分割结果图像集m；

7)基于两阶段配准法的前列腺多模态图像配准：

7a)第1阶段：以前列腺ct测试样本集的分割结果图像集c作为参考图像集，前列腺mri测试样本集的分割结果图像集m作为待配准图像集，利用图像集c和图像集m中骨盆的刚性结构信息，进行最大化归一化互信息的初配准，得到配准变换矩阵p和初配准图像集f；

7b)第2阶段：以前列腺ct测试样本集的分割结果图像集c作为参考图像集，以初配准图像集f作为待配准图像集，利用图像集c和图像集f中前列腺器官的结构信息，进行基于demons算法的非刚性配准，得到配准形变场t和最终配准图像集l；

8)将最终配准图像集l与参考图像集c对应的每幅图像进行叠加，得到融合图像集s并显示。

本发明与现有技术相比具有以下优点：

第一，由于本发明系统中的图像预处理模块可用于对不同模态图像进行匹配处理，能够有效利用到多模态图像集中的所有图像，克服了现有配准技术配准时需要通过前列腺时序操作获取参考图像的问题，以及当待配准图像集与参考图像集为不同扫描周期时，配准精度低的问题，使得本发明能显著提高多模态的前列腺图像配准的精度。

第二，本发明由于采用对多模态前列腺图像先自动分割出前列腺器官和骨盆区域，再利用两阶段配准法进行配准的一体化方法，克服了现有配准技术在图像配准时需要人工交互的问题，简化了多模态前列腺图像配准的繁琐步骤，提高了多模态前列腺图像配准的效率。

第三，本发明由于对前列腺ct图像序列与前列腺mri图像序列采用了基于骨盆刚性结构特征的第1阶段配准和基于前列腺非刚性特征的第2阶段配准的两阶段配准方法，解决了前列腺ct图像序列与前列腺mri图像序列配准时图像模态差异较大的问题，实现了前列腺ct图像序列和前列腺mri图像序列精确配准。

附图说明

图1是本发明基于自动分割和骨盆对齐的前列腺图像配准系统的示意图；

图2是本发明基于自动分割和骨盆对齐的前列腺图像配准方法的实现流程图；

图3是用本发明对前列腺ct图像序列与前列腺mri图像序列配准的仿真图。

具体实施方式

下面结合附图对本发明的实施例和效果做进一步描述。

参照图1，本发明的系统模块包括图像预处理模块1；多模态图像训练模块2；多模态图像分割模块3；多模态图像配准模块4；图像显示模块5；其中：

图像预处理模块1，用于将前列腺ct图像与前列腺mri图像根据图像生成的时间依次配对，得到前列腺多模态图像配对数据集，并按6：4的比例划分为前列腺多模态图像训练样本集和测试样本集，然后利用滑窗匹配的方法生成前列腺多模态图像序列标签；

多模态图像训练模块2，用于利用输入图像预处理模块1得到的前列腺多模态图像样本训练集，对自动分割网络u-net训练，得到训练好的自动分割网络u-net；

多模态图像分割模块3，用于将多模态前列腺图像中骨盆区域的刚性结构信息和前列腺器官的非刚性结构信息作为先验约束，利用训练好的自动分割网络u-net分别对测试样本集中的前列腺ct图像序列和前列腺mri图像序列进行联合分割，得到前列腺器官和骨盆区域，并将分割后的结果输入到多模态图像配准模块4；

多模态图像配准模块4，用于利用两阶段配准法对前列腺ct图像序列和前列腺mri图像序列的分割结果进行配准，得到前列腺配准图像序列，并将前列腺配准图像序列输入到图像显示模块5；

图像显示模块5，用于将前列腺配准图像序列与多模态图像分割模块3中的前列腺ct图像序列分割结果进行融合，得到前列腺融合图像序列。

参照图2，对本发明的方法做进一步描述。

步骤1，获取样本集。

1.1)根据图像生成的时间将前列腺ct图像与前列腺mri图像依次配对，得到配对数据集；在配对数据集中的前列腺ct图像集和前列腺mri图像集中随机选取60％的图像组成前列腺ct图像训练样本集和前列腺mri图像训练样本集；

1.2)在配对数据集中的前列腺ct图像集和前列腺mri图像集中随机选40％图像组成前列腺ct图像测试样本集和前列腺mri图像测试样本集。

步骤2，生成前列腺ct图像序列标签和前列腺mri图像序列标签。

2.1)分别将前列腺mri的图像训练样本集和测试样本集中每幅图像由中心点向外裁剪，得到分辨率为256*256的前列腺mri图像序列；

2.2)对前列腺ct图像的训练样本集和测试样本集中每幅图像使用滑窗方法找到与前列腺mri图像序列内容一致的图像块，并对这些图像块依次进行平移、缩放、小角度旋转和双线性插值变换，得到前列腺ct图像序列；

2.3)分别对前列腺ct图像序列和前列腺mri图像序列人工勾画出前列腺器官及骨盆区域，再进行二值化处理，得到前列腺ct图像序列的标签序列gc和前列腺mri图像序列的标签序列gm。

步骤3，搭建前列腺多模态图像自动分割网络u-net。

3.1)搭建一个由5个卷积块串联组成的卷积网络，其中：

前三个卷积块均采用三层结构，即“卷积层-卷积层-池化层”，第一个卷积块的卷积核数目为32，第二个卷积块的卷积核数目为64，第三个卷积块的卷积核数目为128，每个卷积块中的卷积核的大小均为3×3个像素；

第四个卷积块采用四层结构，即“卷积层-卷积层-dropout层-池化层”，卷积核数目为256，dropout层的随机连接比率为0.5；

第五个卷积块采用三层结构，即“卷积层-卷积层-dropout层”，卷积核数目为512；

5个卷积块中所有卷积核的步长均为1个像素，前4个卷积块中池化层的大小均为2×2个像素；

3.2)搭建一个由四个反卷积块串联组成的反卷积网络，其中：

前三个反卷积块均采用四层结构，即“反卷积层-融合层-卷积层-卷积层”，第一个反卷积块的卷积核数目为256，第二个反卷积块的卷积核数目为128，第三个反卷积块的卷积核数目为64，每个反卷积块中的卷积核大小均为3×3个像素；

第四个反卷积块采用六层结构，即“反卷积层-融合层-卷积层-卷积层-卷积层-卷积层”，该六层结构中的第一层反卷积层、第三层卷积层和第四层卷阶层的卷积核数目均为32，卷积核大小均为3×3个像素；第五层卷积层的卷积核的数目为3，卷积核大小为2×2个像素；第六层卷积层的卷积核数目为1个，卷积核大小为1×1个像素；

3.3)将卷积网络和反卷积网络串联组成多模态图像自动分割网络u-net。

步骤4，训练前列腺ct图像自动分割网络u1。

4.1)从前列腺ct图像训练样本集中随机选取的一幅图像，将其置于自动分割网络u1网络中进行前向传播，得到这幅图像的预测值ac；

4.2)利用前列腺ct图像的预测值与标签序列gc，通过交叉熵计算公式，计算得到前列腺ct图像自动分割网络u1的交叉熵损失函数：其中xc为前列腺ct图像中每个像素点，nc为该图像像素点总数，yc为标签序列中对应像素点的值；

4.3)利用adam优化算法对交叉熵损失函数q(c)进行优化，再通过反向传播计算并更新前列腺ct图像自动分割网络u1的连接权值；

4.4)判断前列腺ct图像自动分割网络u1是否收敛，若是，则退出训练过程，得到训练好的前列腺ct图像自动分割网络u1，否则，返回4.1)。

步骤5，训练前列腺mri图像自动分割网络u2。

5.1)从前列腺mri图像训练样本集中随机选取一幅图像，将其置于列腺mri图像自动分割网络u2，络中进行前向传播，得到这幅图像的预测值am；

5.2)利用前列腺mri图像的预测值与标签序列gm，通过交叉熵计算公式，计算得到前列腺mri图像自动分割网络u2的交叉熵损失函数：其中xm为前列腺mri图像中每个像素点，nm为该图像像素点总数，ym为标签序列中对应像素点的值；

5.3)利用adam优化算法对交叉熵损失函数q(m)进行优化，再通过反向传播计算并更新前列腺mri图像自动分割网络u2的连接权值；

5.4)判断前列腺mri图像自动分割网络u2是否收敛，若是，则退出训练过程，得到训练好的前列腺mri图像自动分割网络u2，否则，返回5.1)。

步骤6，联合分割得到前列腺ct测试样本集的分割结果图像集c和前列腺mri测试样本集的分割结果图像集m。

6.1)将前列腺ct测试样本集输入到训练好的前列腺ct图像自动分割网络u1中，将前列腺ct测试样本集中骨盆区域的刚性结构信息和前列腺器官的非刚性结构信息作为先验约束，通过u1中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列lc，并对lc进行二值化处理，得到包含前列腺器官和骨盆区域两部分的前列腺ct测试样本集的分割结果图像集c；

6.2)将前列腺mri测试样本集输入训练好的前列腺mri图像自动分割网络u2中，将前列腺mri测试样本集中骨盆区域的刚性结构信息和前列腺器官的非刚性结构信息作为先验约束，通过u2中的权值进行图像前向传播计算，联合分割得到测试样本集的预测标签序列lm，并对lm进行二值化处理，得到m包含前列腺器官和骨盆区域两部分的前列腺mri测试样本集的分割结果图像集。

步骤7，基于两阶段配准法的前列腺多模态图像配准。

7.1)第1阶段：以前列腺ct测试样本集的分割结果图像集c作为参考图像集，前列腺mri测试样本集的分割结果图像集m作为待配准图像集，利用图像集c和图像集m中骨盆的刚性结构信息，进行最大化归一化互信息n(c,t(f))的初配准，得到配准变换矩阵p和初配准图像集f，其中n(c,t(f))表示t(f)的归一化互信息，t(f)是将参考图像集c与待配准图像集f进行配准后得到的配准图像集，h(c)表示参考图像集c的香农熵，h(t(f))表示配准图像集t(m)的香农熵，h(c,t(f))表示配准图像t(f)的联合熵；

7.2)第2阶段：以前列腺ct测试样本集的分割结果图像集c作为参考图像集，以初配准图像集f作为待配准图像集，利用图像集c和图像集f中前列腺器官的结构信息，进行基于demons算法的非刚性配准，得到配准形变场t和最终配准图像集。

步骤8，将最终配准图像集l与参考图像集c对应的整幅图像叠加，得到l融合图像s，并显示。

本发明的效果可通过以下仿真进一步说明。

1.仿真条件：

本发明的仿真试验平台是intelcorei7-6900kcpu3.2ghz，内存为64gb显卡为nvidiatitanxpascal的pc机，计算机软件配置为python3.6，tensorflow1.1.0。

利用philipss7-3t设备采集900幅mri图像序列，该设备为荷兰阿姆斯特丹飞利浦医疗系统技术有限公司制造。使用siemenssomatomdefinition设备采集900幅前列腺ct图像序列，该设备为德国forcheim西门子医疗制造；

2.仿真内容与结果分析：

用本发明方法对采集的图像进行预处理，得到分辨率均为256×256个像素的前列腺ct图像序列和前列腺mri图像序列；对预处理后的前列腺ct图像序列与前列腺mri图像序列按图像生成的时间依次配对，得到900对前列腺多模态图像数据集；随机选取540对配对前列腺ct图像序列和前列腺mri图像序列分别训练前列腺多模态图像自动分割网络u-net，将剩余的360幅前列腺ct图像序列输入训练好的前列腺ct图像自动分割网络u1，同时将剩余的360幅前列腺mri图像序列输入到训练好的前列腺mri图像自动分割网络u2进行前列腺多模态图像分割仿真，结果如图3，其中：

图3(a)是从前列腺ct图像测试样本集中随机挑选的一幅前列腺ct图像；

图3(b)是从前列腺mri图像测试样本集中随机挑选的一幅前列腺mri图像；

图3(c)为利用本发明对图3(a)进行分割后得到的结果；

图3(d)为利用本发明对图3(b)进行分割后得到的结果；

图3(e)为将前列腺ct图像分割结果3(c)与前列腺mri图像分割结果3(d)进行配准后得到的配准结果；

图3(f)为配准结果3(e)与前列腺ct图像分割结果3(c)的融合图像。

从图3可见本发明可以实现在前列腺图像模态差异较大的情况下，得到精确的前列腺多模态图像配准效果。