基于混合监督学习的超声和核磁图像配准融合方法及装置与流程

本发明涉及医学图像处理的技术领域，尤其涉及一种基于混合监督学习的超声和核磁图像配准融合方法，以及基于混合监督学习的超声和核磁图像配准融合装置。

背景技术：

磁共振mr(即，磁共振共像，magneticresonanceimaging)和超声us(即，超声波扫描，ultrasoundscan)肝脏图像的配准和融合可以为肝脏消融手术提供高质量的指导。然而，准确的mr-us配准仍然是一项具有挑战性的任务，主要困难来自于不同物理原理成像时组织或器官外观的巨大变化，包括：两种形态之间的灰度变化，超声较低的成像质量，和由于超声探头的压迫而引起的肝脏大规模的形变，以及患者呼吸的影响。

在过去的几十年中已经提出了许多配准算法。这些多模态配准方法可分为两类。一类是根据图像灰度。根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括mi，nmi，cc，ncc等。但是这些相似性测度在面临us和mr的配准任务时却往往失败，由于这两种模态图像截然不同的表观。此外，慢速的迭代优化过程也阻碍该图像配准方法在临床中的应用。另一类配准方法基于特征。当自动提取特征时，它将面临与基于图像灰度的方法相似的挑战。人工手动选择解剖学特征是比较稳定的，但比较费时而且昂贵，有时甚至是不可行的。

最近，基于深度学习的方法，尤其是利用卷积神经网络，在配准领域展现了很好的前景。

之前人们提出以传统算法得到形变场作为金标准，通过回归网络学习形变场与成对图像表观差异之间的关系，以及基于人工相似性测度作为损失函数的无监督学习。这两类方法并不太适用于us、mr这两种模态差异如此之大的图像，因为目前并没有一个足够鲁棒的相似性测度可以完成us、mr的配准。

有学者认为基于解剖知识的高层次对应结构作为标签更实用并且可靠。通过标出同一对图像中相同的器官以及它们的边界，病理区域和一些其它的解剖结构，形态或生理特征作为弱标签来训练低级体素之间的对应关系。通过这个方法，他们成功实现前列腺的us和mr图像的配准。但是，对于面临的肝脏mr与us的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3dus图像中手动标注。

技术实现要素：

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于混合监督学习的超声和核磁图像配准融合方法，其既满足了任务的需求又大大降低了训练的难度和时间成本，并降低了对人工标签的数量以及精度的要求。

本发明的技术方案是：这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：

(1)通过一个全局刚性配准网络与局部b样条配准网络串接，刚性形变作为全局形变模型，b样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。

(2)非刚性配准网络使用由血管标签和mind相似性度量共同监督训练来预测mr和3d超声图像之间的变形关系，其中以mind相似性度量为主，人工分割的血管标签作为辅助监督。

本发明通过一个全局刚性配准网络与局部b样条配准网络串接，简化的架构降低了网络的参数数量，因此既满足了任务的需求又大大降低了训练的难度和时间成本；使用由血管标签和mind相似性度量共同监督的b样条配准网络的训练来预测mr和3d超声图像之间的弹性变形关系，其中以mind相似性度量为主，人工分割的血管标签作为辅助监督，从而降低了对人工标签的数量以及精度的要求。

本发明提供了基于混合监督学习的超声和核磁图像配准融合装置，其包括：

刚性对准模块，通过血管标签驱动的刚性网络以确保超声和核磁图像在空间上刚性对准。

非刚性配准模块，其使用由血管标签和mind相似性度量共同监督的b样条配准网络的训练来预测mr和3d超声图像之间的弹性变形关系，其中以mind相似性度量为主，人工分割的血管标签作为辅助监督。

附图说明

图1是根据本发明的基于混合监督学习的超声和核磁图像配准融合方法的配准网络的整体架构。

图2是根据本发明的基于混合监督学习的超声和核磁图像配准融合方法的配准网络的训练策略。

图3示出了刚性配准的网络架构和弹性配准网络结构的区别，其中虚线上部分展示了刚性配准的网络架构，虚线下部分描述了弹性配准网络结构。

图4是根据本发明的基于混合监督学习的超声和核磁图像配准融合方法的流程图。

具体实施方式

对于面临的肝脏mr与us的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3dus图像中手动标注。幸运的是，隔膜通常是超声图像中最亮的部分，并且具有较强的梯度响应，因此一些高级相似性测度也可以用来处理这些区域的配准。

受这些想法的启发，申请人提出了基于混合监督的配准网络。首先，通过血管标签驱动的刚性网络以确保两个图像在空间上刚性对准，然后我们使用由血管标签和mind相似性度量共同监督的弹性配准网络的训练来预测mr和3d超声图像之间的变形关系。实验表明，该方法大大提高了性能。

如图4所示，这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：

(1)通过一个全局刚性配准网络与局部b样条配准网络串接，刚性形变作为全局形变模型，b样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。

(2)使用由血管标签和mind相似性度量共同监督的弹性配准网络来预测mr和3d超声图像之间的变形关系，其中以mind相似性度量为主，人工分割的血管标签作为辅助监督。

本发明通过一个全局刚性配准网络与局部b样条配准网络串接，刚性形变作为全局形变模型，b样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准；使用由血管标签和mind相似性度量共同监督的弹性配准网络来预测mr和3d超声图像之间的变形关系，其中以mind相似性度量为主，人工分割的血管标签作为辅助监督，从而降低了对人工标签的数量以及精度的要求。

优选地，该方法还包括步骤(3)，将这个配准网络应用到针对单独病人的mr与3d超声序列的配准上，在手术过程中通过训练好的模型实时地得到mr与3dus的配准融合结果。

优选地，所述步骤(1)中，所有图像都被下采样到128*128*128体素；将固定图像mr和浮动图像us先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像mr一同输入到基于b样条的弹性配准网络，得到弹性形变后的图像。

优选地，对于刚性配准网络，用双通道网络结构，由五个卷积层和四个向下采样层组成，这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3；最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。

优选地，对于弹性配准网络，用双通道网络结构，将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道，选择了b样条的网格插值间隔为9，在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3；将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*32³大小的特征；经过一次反卷积，padding为0，得到特征大小为batch-size*32*34³，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的b样条网格形变场；对该网络形变场进行b样条插值，得到稠密形变场，对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，padding为1，下采样参数为2，激活层为leakyrelu。

优选地，所述步骤(2)中，将浮动3dus图像和固定图像mr堆叠在一起为双通道网络的输入；输入的大小为128×128×128×2，将网络输出转换为密集变形场，其大小为128×128×128×3，使用空间变换函数将密集变形场作用到us图像上，然后通过双线性插值对us图像进行重采样；在得到扭曲的超声图像之后，计算它与固定的mr图像之间的相似性测度，并将结果用作网络训练的第一个监督项；将该密集变形场用于分割出的血管标签图像，然后将形变后的标签和固定图像标签之间的差异作为网络训练的第二个监督项。

优选地，对于用于训练的浮动图像和固定图像，分别为i^m和i^f,浮动图像和固定图像标签为l^m和l^f，这些标签代表着固定图像以及浮动图像中对应的解剖结构，包括肝脏重要的门静脉血管以及下腔静脉；将损失函数用公式表达如下：

标签损失为公式(1)：

其中代表平均灰度，ωf

代表l^f的图像空间，|ωf|代表像素的个数，ncc代表着固定标签l^f和形变后标签计算得到的归一化互相关系数，其中u是网络预测出的形变场；

图像损失为公式(2)：

使用基于图像梯度的相似性测度来监督隔膜和其他难以手动标注的细血管区域的配准，选择模态独立邻域描述符mind作为相似性度量

其中i代表磁共振或者超声图像，x代表图像中的一点，n为归一化常数，r∈r代表搜索半径，dp为距离度量，vp为对方差的估计，通过使用mind，图像将由在每个位置x，大小为|r|的向量表示，固定图像i^f和变形图像之间的图像相似性损失表示为公式(3)：

其中r＝1；

总体损失为公式(4)：

其中r(u)为对形变场平滑项，α＝0.01,β＝100,γ＝1。

优选地，在所述步骤(1)之前还包括数据预处理，获取两位病人的术前mr以及包含其半个呼吸周期的14例3dus图像，对于mr及每一例3dus，人工的标注出肝脏中心最明显的血管以及穿过肝脏部位的下腔静脉；将肝脏区域从腹部mr图像中分割了出来以降低误匹配的概率；离散并且均匀地在半个呼吸周期中取8例作为训练，另外7例作为测试；选择呼气末节点的3dus图像与术前病人的3dmr图像通过简单地人工选点进行初始的刚性配准，将所有的3dus粗略地刚性配准到mr；所有的图像重采样到1mmx1mmx1mm,并且下采样到128x128x128vox。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于混合监督学习的超声和核磁图像配准融合装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：

刚性对准模块，其通过血管标签驱动的刚性网络以确保超声和核磁图像在空间上刚性对准，通过一个全局刚性配准网络与局部b样条配准网络串接，刚性形变作为全局形变模型，b样条作为弹性形变模型；网络训练模块，其使用由血管标签和mind相似性度量共同监督的弹性配准网络的训练来预测mr和3d超声图像之间的变形关系，其中以mind相似性度量为主，人工分割的血管标签作为辅助监督。

优选地，其还包括实时配准融合模块，其将这个配准网络应用到针对单独病人的mr与3d超声序列的配准上，在手术过程中通过训练好的模型实时地得到mr与3dus的配准融合结果。

以下更详细地说明本发明。

图像配准的目标就是找到一个将浮动图像i^m扭曲到固定图像i^f的形变场μ，使得变形图像相似于i^f。经典配准方法可以用公式表述如下：

第一项计算固定图像和变形图像之间的距离，s表示相似性度量。第二项r(u)使形变场更为平滑。β和γ是权重参数，通常设定为β＝γ＝1。

在配准方法中，通常是先进行全局配准再进行复杂的局部弹性配准。在本文中将继续沿用这个思路。由于肝脏的形变主要是由呼吸和腹压而造成的，形变主要由一部分的滑动加上平滑的弹性形变构成。选择刚性形变作为全局形变模型，b样条作为弹性形变模型。在满足精度的条件下降低了训练的时间和调参难度。如图1所示，训练和测试过程中，所有图像都被下采样到128*128*128体素。将固定图像mr和浮动图像us先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像mr一同输入到基于b样条的弹性配准网络，得到弹性形变后的图像。

图2表明了所提出的混合监督配准网络的训练策略，为了节省布局，将刚性网络和弹性配准网络一起绘制，由虚线分开。它们的训练策略是相似的，在弹性配准网络中使用图像测度和分割标签测度，但对于刚性配准网络，分割标签测度就足够了。在训练之后，配准网络仅需要成对的固定图像和浮动图像便可预测输出的稠密形变场，通过该形变场可以将浮动图像配准到固定图像。

借鉴huetal.的网络框架，如图2所示，将浮动3dus图像和固定图像mr堆叠在一起为双通道网络的输入。在实验中，输入的大小为128×128×128×2。虽然刚性配准网络和弹性配准网络的输出不同，但将它们都转换为密集变形场，其大小为128×128×128×3。使用空间变换函数将密集变形场作用到us图像上，然后通过双线性插值对us图像进行重采样。在得到扭曲的超声图像之后，计算它与固定的mr图像之间的相似性测度，并将结果用作网络训练监督项之一。同时，将该密集变形场用于分割出的血管标签图像，然后将形变后的标签和固定图像标签之间的差异作为网络训练的第二个监督项。

对于用于训练的浮动图像和固定图像，分别为i^m和i^f,浮动图像和固定图像标签为l^m和l^f，这些标签代表着固定图像以及浮动图像中对应的解剖结构包括肝脏重要的门静脉血管以及下腔静脉。将损失函数用公式表达出来如下：

标签损失：

其中代表平均灰度，ωf代表l^f的图像空间，|ωf|代表像素的个数。

在这项工作中，ncc代表着固定标签l^f和形变后标签计算得到的归一化互相关系数，其中u是网络预测出的形变场。

图像损失：

使用基于图像梯度的相似性测度来监督隔膜和其他难以手动标注的细血管区域的配准。在本文中，选择mind(模态独立邻域描述符)作为相似性度量，其优点是对跨模态图像可以有效的提取特征。

其中i代表磁共振或者超声图像，x代表图像中的一点。n为归一化常数，r∈r代表搜索半径。其中dp为距离度量，vp为对方差的估计，通过使用mind，图像将由在每个位置x，大小为|r|的向量表示。最后，固定图像i^f和变形图像之间的图像相似性损失可表示为：

为了计算简便，这里选择r＝1。

总体损失：

最后总损失函数为标签损失与图像损失以一定的权重相加，再加入对形变场的平滑项r(u),选择最后的损失函数为

在这项任务中，选择α＝0.01,β＝100,γ＝1。

图3示出了刚性配准的网络架构和非刚性配准网络结构的区别，其中虚线上部分展示了刚性配准的网络架构，虚线下部分描述了非刚性配准网络结构。

对于刚性配准网络，用双通道网络结构。它由五个卷积层和四个向下采样层组成。这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3。最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。

对于弹性配准网络，同样用双通道网络结构。将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道。由于对每一个病人都训练一个网络模型，网络训练的速度也是值得重视的。选择参数较少的b样条弹性配准模型。在经过一系列在传统算法上的测试后选择了bspline的网格插值间隔为9。在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3。将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*32³大小的特征。在这之后，经过一次反卷积(padding为0)，得到特征大小为batch-size*32*34³，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的b样条网格形变场。对该网络形变场进行b样条插值，得到稠密形变场，(实现b样条插值的方法可以参考airlab[9])。对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，没有特别说明的padding为1。下采样参数为2。激活层为leakyrelu。

数据预处理

获取两位病人的术前mr以及包含其半个呼吸周期的14例3dus图像，志愿者a和b。对于mr及每一例3dus，人工的标注出肝脏中心最明显的血管以及穿过肝脏部位的下腔静脉。除此之外，将肝脏区域从腹部mr图像中分割了出来以降低误匹配的概率。离散并且均匀地在半个呼吸周期中取8例作为训练，另外7例作为测试。选择呼气末节点的3dus图像与术前病人的3dmr图像通过简单地人工选点进行初始的刚性配准，将所有的3dus粗略地刚性配准到mr。之后所有的图像重采样到1mmx1mmx1mm,并且下采样到128x128x128vox，来减少内存的使用。

本文展示了一种基于深度学习配准框架，用于学习mr和3dus序列图像的外观差异与变形场之间的对应关系。该方法在手术过程中可以快速获得配准融合结果，并且在肝脏的血管和隔膜的配准上都得到了良好的效果。本方法使用顺序连接全局刚性配准网络和局部弹性配准网络来一次性生成刚性和弹性配准的变换参数。该方法完成文中配准任务中一例数据用时0.403s，而gpu加速的传统算法仍然需要35s。将来，如果提供足够的数据，可以尝试更复杂的网络来学习更普遍适用的模型。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。