技术特征：
1.一种基于siamese网络的异尺寸图像配准方法，其特征在于，所述方法包括以下步骤：(1)对选取的医学图像进行预处理操作，获得符合实验目的的图像数据；(2)根据步骤(1)中所获得的实验数据，依据siamese网络设计配准网络模型，搭建网络配准架构，配准框架用于实现网络模型的训练，形成实现异尺寸的基本结构；(3)根据步骤(2)所搭建的网络配准框架，依据所选取的数据集，选取均衡化的训练集和测试集，在搭建好的网络模型中进行训练，并将训练之后的模型进行测试，来验证网络的配准效果。2.根据权利要求1所述的一种基于siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤(1)中，所述图像预处理步骤用于获得所需实验数据包括以下步骤：(1.1)为了解决不同图像之间的强度不均匀性，应用n4偏置场校正来校正所选配准图像；(1.2)利用线性重采样对所有序列图像进行插值，统一所有序列图像的体素大小。依据待配准结构的图像位置信息，通过去除图像的外部边界，将同一模态的图像调整并裁剪成均匀的大小，值得注意的是不同模态图像之间的尺寸是不一致的，以便验证所搭建模型的有效性；(1.3)将所有配准图像对依据中心轴切成两半，用来扩大训练数据量，作为训练之外的数据增强手段。3.根据权利要求1或2所述的一种基于siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤2中，所述基于异尺寸图像配准的网络框架的搭建包括以下步骤：(2.1)下采样提取特征，siamese网络的两个分支输入分别是待配准图像的固定图像和浮动图像，分别通过两个网络的特征提取获得对应的特征，分支网络都是下采样网络结构，用于提取底层特征；(2.2)异特征融合，在步骤(2.1)中，下采样卷积神经网络的卷积操作中，卷积层的输出形状由输入的形状和卷积核的形状确定，在某一层卷积层，假设输入的特征形状大小为n
h
×
n
w
，卷积和大小为k
h
×
k
w
，那么输出的特征形状大小(n
h
‑
k
h
+1)
×
(n
w
‑
k
w
+1)，所以在这种情况下，如果应用了许多连续的卷积之后，得到比输入小得多的输出，并消除了原始图像边界上的任何有趣信息；siamese u
‑
net结构由于分支网络具有相同的结构参数，所以输入图像不同，那么对于两个输出也必然会得到不同的特征大小，依据卷积神经网络的卷积层填充方法，对两个特征进行必要的填充，使得特征尺寸大小一致，方便后面的拼接操作，采用了补零的填充方式对图像进行边界补充；(2.3)端到端位移场输出，除了网络结构含有下采样之外，还需要上采样结构输出同等大小的可变形位移场，以实现端到端的网络配准，在网络中加入上采样结构，形成了类似u
‑
net结构的模型，这种模型和原始用于识别和分类的siamese网络有很大不同，用于识别和分类的siamese网络往往在下采样结构后计算损失函数，用于预测，分类；而加入上采样后，则是为了实现端到端的图像配准，称作siamese u
‑
net，上采样用于底层特征的恢复，并形成相应的位移矢量场，值得注意的是，网络的跳连接只连接浮动图像输入对应的分支网络和上采样，而不连接固定图像和上采样，因为对于网络输出的位移矢量场来说，位移矢量场是与浮动图像作用的，浮动图像的特征信息和固定图像相比更加重要，也就是说固定图像
类似于输入网络的参考信息，而浮动图像则是输入网络的主要信息，这和其他图像任务有很大的不同。4.根据权利要求3所述的一种基于siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤(2.2)中，其中所述利用填充实现异特征融合包含以下计算过程：(2.2.1)假设各个方向需要的填充量为np
x
，np
y
，np
z
，那么获得这些值有如下关系式：np
x
＝[max(a
i
)
‑
min(a
i
)]
×
min(b
i
)
×
min(c
i
)np
y
＝[max(b
i
)
‑
min(b
i
)]
×
min(a
i
)
×
min(c
i
)np
z
＝[max(c
i
)
‑
min(c
i
)]
×
min(a
i
)
×
min(b
i
)(2.2.2)对于三位特征空间，除了直接填充x，y，z三个方向之外，还需要填充斜对空间，设斜对空间的填充量为np
xyz
，则有以下关系：np
xyz
＝[max(a
i
)
‑
min(a
i
)]
×
[max(b
i
)
‑
min(b
i
)]
×
[max(c
i
)
‑
min(c
i
)](2.2.3)最终通过上述运算获得了需填充总量：np
all
＝np
x
+np
y
+np
z
+np
xyz
式中i＝1，2通过计算我们可以获得各个图像不同得填充量，值得注意的是，我们提出得填充模块放置于下采样和上采样结构之间并没有放置于上采样网络输入之前进行填充。5.根据权利要求1所述的一种基于siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤3中，所述网络模型的训练和测试过程包括以下步骤：(3.1)数据输入，输入网络中的数据主要以配准图像对为主，除此之外，我们在网络输入中加入固定图像和浮动图像所对应的标签，作为一种辅助信息用以获得多模态图像中待配准解剖结构的位置，提高网络预测的准确性；(3.2)损失函数计算，设计的基于siamese网络的配准结构是一种弱监督配准框架，基于弱监督学习的配准框架损失函数由两部分组成：标签相似性l
ls
和正则项l
smooth
；标签相似性用于测量固定图像标签和扭曲图像标签之间的相似性，一般使用dice相似系数作为损失函数计算标签之间的相似度，作为优化目标训练网络模型，dice系数的损失函数如下：其中p代表预测的分割像素对应的二值标签，g代表ground truth像素对应的二值标签，该公式相当于将网络预测的分割区域结和ground truth的交集和并集的比值，是将前景区域的同一类别所用像素作为一个集合关系去计算损失函数；l
smooth
是位移矢量场的平滑度正则项，用于在训练中约束位移矢量场，使得网络获得合理的输出，公式如下：公式中，ω代表了位移矢量场空间域，为ω中每个体素p所对应的位移矢量，所以正则项本质是对矢量场的每一点进行梯度运算，最终获得了损失函数如下：l＝l
ls
+αl
smooth
其中，α是正则化参数，用以调整正则项的影响程度；(3.3)调用模型配准，虽然训练图像需要手动注释的解剖结构标签，然而在配准测试阶
段，只需要待配准图像对即可，通过输入待配准图像对，用于激活训练好的模型参数，就可以用来预测两图像的位移矢量场，这在技术上也被称为建立密集的对应映射关系，利用位移矢量场将浮动图像通过空间重采样来获得所需的扭曲图像，获得已经配准好的图像，这意味着相同的解剖结构在相同的空间位置，通过网络输出映射作用下进行了对齐。
技术总结
一种基于Siamese网络的异尺寸图像配准方法，该方法利将配准图像输入到Siamese的子网络中，分别提取对应输入图像的特征，在该框架里面设计了一个填充模块，该模块可以使得不同尺寸的配准图像输入到网络中也可以实现训练，达到不同尺寸图像配准的效果；并且Siamese的子网络是权值共享的，这样，即使引入了一条下采样结构，网络的参数也并没有增加。配准框架均采用弱监督的学习形式，只需要对配准结构进行标注，获得的解剖标签用于训练过程中的损失函数计算，实现了特定组织部位异尺寸的有效配准。准。准。
技术研发人员：汪晓妍 毛立朝 黄晓洁 夏明 张榜泽 邵明瀚
受保护的技术使用者：浙江工业大学
技术研发日：2021.05.19
技术公布日：2021/9/27