一种基于Siamese网络的异尺寸图像配准方法

一种基于siamese网络的异尺寸图像配准方法
技术领域
1.本发明属于图像处理领域，涉及一种利用siamese网络进行异尺寸医学图像配准的方法。


背景技术：

2.医学图像配准通过寻找一些空间变换建立空间位置与解剖结构之间的非线性或线性对应关系，是图像分割和融合的前提；医学图像可以从不同的扫描系统中获得多模态图像，不同模态的医学图像可以提供各种互补信息，有助于从不同的扫描中关联临床相关信息，进而为诊断提供更可靠的分析数据。由于不同模态图像存在组织结构上的偏差，需要通过图像配准技术来获得两图像间的偏差关系，进而获得对齐的模态图像序列，因此，多模态医学图像的配准在多模态诊断和计算机辅助手术中具有重要意义。
3.然而，在实际当中，由于不同图像采集设备的系统参数设置不一致，获得的多模态图像数据大多存在一些尺寸大小不一致的问题。在大多数情况下，我们利用图像重采样，裁剪等预处理工作可以解决该问题，然而利用预处理的方式存在一些缺陷和问题，一方面，由于要保持不多模态之间的大小一致，那么在裁剪过程一些医学图像可能会裁剪掉一些关键区域，而不利于医生读取图片信息，影响诊断结果。另一方面，增加了图像处理的步骤，加大了图像处理的工作量。最后，由于同一尺寸训练的配准模型，只能配准统一尺寸的图像，使得在这种情况下训练出来的配准模型很难应用于实际应用当中。


技术实现要素：

4.为了克服现有技术的缺陷，本发明提供了一种基于siamese网络的颈动脉可变尺寸图像配准方法，该网络利用弱监督学习的方法，在siamese神经网络上进行训练，网络输出位移矢量场；利用siamese网络结构构建了一个可以实现不同尺寸图像之间的图像配准网络，该方法可以实现不同尺寸的图像进行配准；同时，为了提高配准效果，引入了高斯平滑下的多尺度损失函数进行训练优化，该方法克服了图像配准需要信息完整性的问题，并利用弱监督学习的配准方法实现了快速实时的配准，输入一对不同尺寸的图像就可以在网络中输出待配准图像所对应的位移矢量场。
5.为了解决上述技术问题本发明采用的技术方案是：
6.一种基于siamese网络的异尺寸图像配准方法，所述方法包括以下步骤：
7.(1)对选取的医学图像进行预处理操作，获得符合实验目的的图像数据；
8.(2)根据步骤(1)中所获得的实验数据，依据siamese网络设计配准网络模型，搭建网络配准架构，配准框架用于实现网络模型的训练，形成实现异尺寸的基本结构；
9.(3)根据步骤(2)所搭建的网络配准框架，依据所选取的数据集，选取均衡化的训练集和测试集，在搭建好的网络模型中进行训练，并将训练之后的模型进行测试，来验证网络的配准效果。
10.进一步，在所述步骤(1)中，所述图像预处理步骤用于获得所需实验数据包括以下
步骤：
11.(1.1)为了解决不同图像之间的强度不均匀性，我们应用n4偏置场校正来校正所选配准图像；
12.(1.2)利用线性重采样对所有序列图像进行插值，统一所有序列图像的体素大小，依据待配准结构的图像位置信息，通过去除图像的外部边界，将同一模态的图像调整并裁剪成均匀的大小，值得注意的是不同模态图像之间的尺寸是不一致的，以便验证所搭建模型的有效性；
13.(1.3)将所有配准图像对依据中心轴切成两半，用来扩大训练数据量，作为训练之外的数据增强手段。
14.再进一步，在所述步骤(2)中，所述基于异尺寸图像配准的网络框架的搭建包括以下步骤：
15.(2.1)下采样提取特征，siamese网络的两个分支输入分别是待配准图像的固定图像和浮动图像，分别通过两个网络的特征提取获得对应的特征，分支网络都是下采样网络结构，用于提取底层特征；
16.(2.2)异特征融合，在步骤(2.1)中，下采样卷积神经网络的卷积操作中，卷积层的输出形状由输入的形状和卷积核的形状确定，在某一层卷积层，我们假设输入的特征形状大小为n
h
×
n
w
，卷积和大小为k
h
×
k
w
，那么输出的特征形状大小(n
h
‑
k
h
+1)
×
(n
w
‑
k
w
+1)，所以在这种情况下，如果应用了许多连续的卷积之后，我们会得到比我们的输入小得多的输出，并消除了原始图像边界上的任何有趣信息。利用填充处理此问题是最有效的方法，填充是与卷积神经网络相关的术语，它是指当cnn卷积核对输入进行处理时添加到图像的像素量。例如，如果cnn 中的填充设置为零，那么添加的每个像素值将为零，但是，如果将零填充设置为1，则会在图像上添加一个像素边界，其中像素值为1，卷积神经网络的卷积操作通常默认需要填充。而siamese u
‑
net结构由于分支网络具有相同的结构参数，所以输入图像不同，那么对于两个输出也必然会得到不同的特征大小，我们依据卷积神经网络的卷积层填充方法，对两个特征进行必要的填充，使得特征尺寸大小一致，方便后面的拼接操作。现有的填充方式有多种，分别为补零、边界复制、镜像和块复制。在医学图像配准中，我们的方法主要针对图像中某一部位进行有效的配准，而需要配准的解剖部位很少存在图像边界的情况，所以这些图像的角落和边界的信息很少发挥作用，同时考虑到需要尽可能的维持原始特征的信息，减少填充造成的特征误差影响，只利用了补零的填充方式对图像进行边界补充；
17.(2.3)端到端位移场输出，除了网络结构含有下采样之外，还需要上采样结构输出同等大小的可变形位移场，以实现端到端的网络配准，在网络中加入上采样结构，形成了类似u
‑
net结构的模型，这种模型和原始用于识别和分类的 siamese网络有很大不同，用于识别和分类的siamese网络往往在下采样结构后计算损失函数，用于预测，分类；而加入上采样后，则是为了实现端到端的图像配准，称作siamese u
‑
net，上采样用于底层特征的恢复，并形成相应的位移矢量场，值得注意的是，网络的跳连接只连接浮动图像输入对应的分支网络和上采样，而不连接固定图像和上采样，因为对于网络输出的位移矢量场来说，位移矢量场是与浮动图像作用的，浮动图像的特征信息和固定图像相比更加重要，也就是说固定图像类似于输入网络的参考信息，而浮动图像则是输入网络的主要信息，这和其他图像任
务有很大的不同。
18.在所述步骤(2.2)中，利用填充实现异特征融合包括以下计算过程：
19.(2.2.1)我们假设各个方向需要的填充量为np
x
，np
y
，np
z
，那么获得这些值有如下关系式：
20.np
x
＝[max(a
i
)
‑
min(a
i
)]
×
min(b
i
)
×
min(c
i
)
[0021]
np
y
＝[max(b
i
)
‑
min(b
i
)]
×
min(a
i
)
×
min(c
i
)
[0022]
np
z
＝[max(c
i
)
‑
min(c
i
)]
×
min(a
i
)
×
min(b
i
)
[0023]
(2.2.2)对于三位特征空间，除了直接填充x，y，z三个方向之外，还需要填充斜对空间，设斜对空间的填充量为np
xyz
，则有以下关系：
[0024]
np
xyz
＝[max(a
i
)
‑
min(a
i
)]
×
[max(b
i
)
‑
min(b
i
)]
×
[0025]
[max(c
i
)
‑
min(c
i
)]
[0026]
(2.2.3)最终通过上述运算获得了需填充总量：
[0027]
np
all
＝np
x
+np
y
+np
z
+np
xyz
[0028]
式中i＝1，2通过计算我们可以获得各个图像不同得填充量，值得注意的是，我们提出得填充模块放置于下采样和上采样结构之间并没有放置于上采样网络输入之前进行填充。
[0029]
更进一步，在所述步骤(3)中，所述网络模型的训练和测试过程包括以下步骤：
[0030]
(3.1)数据输入，输入网络中的数据主要以配准图像对为主，除此之外，我们在网络输入中加入固定图像和浮动图像所对应的标签，作为一种辅助信息用以获得多模态图像中待配准解剖结构的位置，提高网络预测的准确性；
[0031]
(3.2)损失函数计算，我们设计的基于siamese网络的配准结构是一种弱监督配准框架，基于弱监督学习的配准框架损失函数由两部分组成：标签相似性 l
ls
和正则项l
smooth
；
[0032]
标签相似性用于测量固定图像标签和扭曲图像标签之间的相似性，一般使用 dice相似系数作为损失函数计算标签之间的相似度，作为优化目标训练网络模型， dice系数的损失函数如下：
[0033][0034]
其中p代表预测的分割像素对应的二值标签，g代表ground truth像素对应的二值标签。该公式相当于将网络预测的分割区域结和ground truth的交集和并集的比值，是将前景区域的同一类别所用像素作为一个集合关系去计算损失函数；
[0035]
l
smooth
是位移矢量场的平滑度正则项，用于在训练中约束位移矢量场，使得网络获得合理的输出，公式如下：
[0036][0037]
公式中，ω代表了位移矢量场空间域，为ω中每个体素p所对应的位移矢量，所以正则项本质是对矢量场的每一点进行梯度运算，最终，获得了损失函数如下：
[0038]
l＝l
ls
+αl
smooth
[0039]
其中，α是正则化参数，用以调整正则项的影响程度；
[0040]
(3.3)调用模型配准，虽然训练图像需要手动注释的解剖结构标签，然而在配准测
试阶段，只需要待配准图像对即可，通过输入待配准图像对，用于激活训练好的模型参数，就可以用来预测两图像的位移矢量场，这在技术上也被称为建立密集的对应映射关系，利用位移矢量场将浮动图像通过空间重采样来获得所需的扭曲图像，获得已经配准好的图像，这意味着相同的解剖结构在相同的空间位置，通过网络输出映射作用下进行了对齐。
[0041]
本发明与现有的技术相比，有益效果为：本发明主要针对卷积神经网络中常用的医学图像处理网络u
‑
net网络框架上进行了创新，提出了基于多模态异尺寸图像的配准框架，该配准框架则是基于siamese网络的多模态图像配准框架，将配准图像输入到siamese u
‑
net的子网络中，分别提取对应输入图像的特征，在该框架里面设计了一个填充模块，该模块可以使得不同尺寸的配准图像输入到网络中也可以实现训练，达到不同尺寸图像配准的效果。并且siamese的子网络是权值共享的，这样，即使引入了一条下采样结构，网络的参数也并没有增加。两个配准框架均采用弱监督的学习形式，我们只需要对配准结构进行标注，获得的解剖标签用于训练过程中的损失函数计算，实现了特定组织部位的有效配准。
附图说明
[0042]
图1为本发明的siamese u
‑
net网络配准模型示意图；
[0043]
图2为本发明设计的基于siamese u
‑
ne异尺寸配准框架示意图；
[0044]
图3为本发明提供的填充模块示意图。
具体实施方式
[0045]
为使本发明的目的、技术细节和优点更加清楚，下面将结合附图对本发明作进一步的详细描述。
[0046]
参照图1
‑
图3，一种基于siamese网络的异尺寸图像配准方法，包括以下步骤：
[0047]
(1)选取颈动脉多模态图像进行实验，对图像进行预处理操作，获得符合实验目的的图像数据；
[0048]
在所述步骤(1)中，所述图像预处理步骤用于获得所需实验数据包括以下步骤：
[0049]
(1.1)为了解决不同图像之间的强度不均匀性，我们应用n4偏置场校正来校正所选配准图像；
[0050]
(1.2)利用线性重采样对所有序列图像进行插值，统一所有序列图像的体素大小。依据待配准结构的图像位置信息，通过去除图像的外部边界，将同一模态的图像调整并裁剪成均匀的大小，如图1所示，值得注意的是不同模态图像之间的尺寸是不一致的，以便验证所搭建模型的有效性；
[0051]
(1.3)将所有配准图像对依据中心轴切成两半，用来扩大训练数据量，作为训练之外的数据增强手段。
[0052]
(2)根据步骤(1)中所获得的实验数据，依据siamese网络设计配准网络模型，搭建网络配准架构，配准框架用于实现网络模型的训练，形成实现异尺寸的基本结构；
[0053]
在所述步骤(2)中，所述基于异尺寸图像配准的网络框架的搭建包括以下步骤：
[0054]
(2.1)下采样提取特征，如图2所示，siamese网络的两个分支输入分别是待配准图像的固定图像和浮动图像，分别通过两个网络的特征提取获得对应的特征，分支网络都是下采样网络结构，用于提取底层特征；
[0055]
(2.2)异特征融合，在步骤(2.1)中，下采样卷积神经网络的卷积操作中，卷积层的输出形状由输入的形状和卷积核的形状确定，在某一层卷积层，我们假设输入的特征形状大小为n
h
×
n
w
，卷积和大小为k
h
×
k
w
，那么输出的特征形状大小(n
h
‑
k
h
+1)
×
(n
w
‑
k
w
+1)，所以在这种情况下，如果应用了许多连续的卷积之后，我们会得到比我们的输入小得多的输出，并消除了原始图像边界上的任何有趣信息，利用填充处理此问题是最有效的方法，填充是与卷积神经网络相关的术语，它是指当cnn卷积核对输入进行处理时添加到图像的像素量；例如，如果cnn 中的填充设置为零，那么添加的每个像素值将为零，但是，如果将零填充设置为 1，则会在图像上添加一个像素边界，其中像素值为1，卷积神经网络的卷积操作通常默认需要填充。而siamese u
‑
net结构由于分支网络具有相同的结构参数，所以输入图像不同，那么对于两个输出也必然会得到不同的特征大小，对此，如图3所示，我们依据卷积神经网络的卷积层填充方法，使得特征尺寸大小一致，方便后面的拼接操作，现有的填充方式有多种，分别为补零、边界复制、镜像和块复制；在医学图像配准中，主要针对图像中某一部位进行有效的配准，而需要配准的解剖部位很少存在图像边界的情况，所以这些图像的角落和边界的信息很少发挥作用，同时考虑到需要尽可能的维持原始特征的信息，减少填充造成的特征误差影响，只利用了补零的填充方式对图像进行边界补充。
[0056]
在步骤(2.2)中，其中所述利用填充实现异特征融合包含以下计算过程：
[0057]
(2.2.1)假设各个方向需要的填充量为np
x
，np
y
，np
z
，那么获得这些值有如下关系式：
[0058]
np
x
＝[max(a
i
)
‑
min(a
i
)]
×
min(b
i
)
×
min(c
i
)
[0059]
np
y
＝[max(b
i
)
‑
min(b
i
)]
×
min(a
i
)
×
min(c
i
)
[0060]
np
z
＝[max(c
i
)
‑
min(c
i
)]
×
min(a
i
)
×
min(b
i
)
[0061]
(2.2.2)对于三位特征空间，除了直接填充x，y，z三个方向之外，还需要填充斜对空间，设斜对空间的填充量为np
xyz
，则有以下关系：
[0062]
np
xyz
＝[max(a
i
)
‑
min(a
i
)]
×
[max(b
i
)
‑
min(b
i
)]
×
[0063]
[max(c
i
)
‑
min(c
i
)]
[0064]
(2.2.3)最终通过上述运算获得了需填充总量：
[0065]
np
all
＝np
x
+np
y
+np
z
+np
xyz
[0066]
式中i＝1，2通过计算我们可以获得各个图像不同得填充量，值得注意的是，我们提出得填充模块放置于下采样和上采样结构之间并没有放置于上采样网络输入之前进行填充。
[0067]
(2.3)端到端位移场输出，除了网络结构含有下采样之外，还需要上采样结构输出同等大小的可变形位移场，以实现端到端的网络配准，在网络中加入上采样结构，形成了类似u
‑
net结构的模型，所用配准整体框架如图3所示，这种模型和原始用于识别和分类的siamese网络有很大不同，用于识别和分类的 siamese网络往往在下采样结构后计算损失函数，用于预测，分类，而加入上采样后，则是为了实现端到端的图像配准，我们称作siamese u
‑
net，上采样用于底层特征的恢复，并形成相应的位移矢量场，值得注意的是，网络的跳连接只连接浮动图像输入对应的分支网络和上采样，而不连接固定图像和上采样，因为对于网络输出的位移矢量场来说，位移矢量场是与浮动图像作用的，浮动图像的特征信息和固定图像相比更加重要，也就是说固定图像类似于输入网络的参考信息，而浮动图
像则是输入网络的主要信息，这和其他图像任务有很大的不同。
[0068]
(3)根据步骤(2)所搭建的网络配准框架，依据所选取的数据集，选取均衡化的训练集和测试集，在搭建好的网络模型中进行训练，并将训练之后的模型进行测试，来验证网络的配准效果。
[0069]
在步骤(3)中，所述网络模型的训练和测试过程包括以下步骤：
[0070]
(3.1)数据输入，输入网络中的数据主要以配准图像对为主，除此之外，我们在网络输入中加入固定图像和浮动图像所对应的标签，作为一种辅助信息用以获得多模态图像中待配准解剖结构的位置，提高网络预测的准确性；
[0071]
(3.2)损失函数计算，我们设计的基于siamese网络的配准结构是一种弱监督配准框架，基于弱监督学习的配准框架损失函数由两部分组成：标签相似性 l
ls
和正则项l
smooth
；
[0072]
标签相似性用于测量固定图像标签和扭曲图像标签之间的相似性，一般使用 dice相似系数作为损失函数计算标签之间的相似度，作为优化目标训练网络模型， dice系数的损失函数如下：
[0073][0074]
其中p代表预测的分割像素对应的二值标签，g代表ground truth像素对应的二值标签，该公式相当于将网络预测的分割区域结和ground truth的交集和并集的比值，是将前景区域的同一类别所用像素作为一个集合关系去计算损失函数；
[0075]
l
smooth
是位移矢量场的平滑度正则项，用于在训练中约束位移矢量场，使得网络获得合理的输出，公式如下：
[0076][0077]
公式中，ω代表了位移矢量场空间域，为ω中每个体素p所对应的位移矢量，所以正则项本质是对矢量场的每一点进行梯度运算，最终，获得了损失函数如下：
[0078]
l＝l
ls
+αl
smooth
[0079]
其中，α是正则化参数，用以调整正则项的影响程度；
[0080]
(3.3)调用模型配准，虽然训练图像需要手动注释的解剖结构标签，然而在配准测试阶段，只需要待配准图像对即可，通过输入待配准图像对，用于激活训练好的模型参数，就可以用来预测两图像的位移矢量场，这在技术上也被称为建立密集的对应映射关系，利用位移矢量场将浮动图像通过空间重采样来获得所需的扭曲图像，获得已经配准好的图像，这意味着相同的解剖结构在相同的空间位置，通过网络输出映射作用下进行了对齐。
[0081]
为了分析配准的有效性，本实施例以11例颈动脉粥样硬化患者的三维颈动脉mri图像上进行验证，该图像颈含有三个主要模态，t1加权序列(t1)，利用gd的造影剂cube序列(t1gd)，三维tof序列。我们选取t1gd和tof序列进行图像配准的实验，t1gd序列为固定图像，tof序列为浮动图像。
[0082]
表1为在不同网络下的颈动脉数据集的配准表现的实验数据结果：
[0083][0084]
表1
[0085]
利用了dsc系数和lm.dist和配准运行时间time作为配准效能度量，依据表中数据，siamese网络结构配准框架对数据是否裁剪得到的配准效果大致相同，而配准网络siam attentionunet相比较于其他网络效果更好。
[0086]
从配准前后的效果来看，该数据用配准后dsc值为0.889的分叉部位，图中所用标签为图像的颈动脉血管标注，从中可以看到颈动脉部位有了较好的对齐效果。
[0087]
以上所述的实施案例为本发明的优选实施案例，对于本领域而言，在不脱离本发明原理和宗旨的前提下，还可以对本发明的技术方案进行合理的改进，这些改进也被视为本发明的保护范围之内。