多模态医学图像配准模型训练方法、配准方法、系统及设备与流程

1.本技术涉及医学图像配准的技术领域，尤其是涉及一种多模态医学图像配准模型训练方法、配准方法、系统及设备。


背景技术：

2.医学图像配准是将不同时间、不同医学设备采集的图像转换到统一的空间坐标系下，使相同空间位置上的图像信息对应于相同的解剖结构，从而融合不同时间、设备采集的信息，完成监测病灶变化，融合多模态信息辅助诊断等等，因此在医学图像处理中有广泛的应用。典型配准应用有辅助诊断、手术规划、手术导航、放疗靶区勾画、病灶形变监测、剂量映射与剂量累积、图像引导放射治疗、自适应放疗等应用。多模态图像配准是配准在不同时间，由不同类型设备采集的同一病人多幅图像的技术，它用于综合不同类型图像过的优势，为诊断和治疗提供更多的信息，因此具有重要的研究意义和应用价值。
3.与处理同一设备采集的多幅图像的单模态图像配准相比，多模态图像配准面临更多的技术挑战。由于不同模态成像方式与原理的差异，相同解剖结构在不同模态图像中存在明显的差异。例如ct图像分辨率高，成像范围大，可提供明显的解剖结构信息，但是无法精细区分不同类型软组织；而mr图像序对软组织差异敏感，可以区分脑白质和脑灰质等不同的软组织列，而且序列变化多，但每次采集的图像范围相对较小；pet图像分辨率低，但可呈现代谢功能情况，对肿瘤诊断非常有帮助。除了由于成像技术引起的图像像素值对比差异外，由于不同时间采集图像时病人的呼吸运动，体位变化，肠胃蠕动，膀胱充盈程度等原因，图像中脏器大小、形态也存在明显的差异。探索适合描述多模态图像匹配程度地相似性指标，以及解决过大的局部形变情况、符合实际解剖变化的形变场约束，是多模态医学图像配准技术亟待解决地难题。


技术实现要素：

4.为了提高配准结果的稳定性，本技术提供一种多模态医学图像配准模型训练方法、配准方法、系统及设备。
5.第一方面，本技术提供一种多模态医学图像配准模型训练方法，采用如下的技术方案：一种多模态医学图像配准模型训练方法，包括：对医学数据图像样本进行预处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列，其中，所述数据图像样本包括多组成对的参考图像和移动图像；将所述参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列输入所述图像配准网络模型，生成形变场；基于所述形变场和损失函数计算网络损失；基于误差反向传播算法调整所述图像配准网络模型的参数；
重复执行输入图像样本、计算网络损失和调整模型参数的过程，直至所述损失函数不再减小时完成训练，得到训练好的图像配准网络模型。
6.通过采用上述技术方案，无需经过刚体配准处理，可直接用于不同模态，不同尺寸的图像进行配准，可在更大的范围内搜索匹配位置，避免了cnn中感受野限制，从而提高配准结果的稳定性。
7.可选的，所述对所述医学数据图像样本进行图像预处理的步骤包括：将所述参考图像和所述移动图像分别进行各向同性重采样处理，生成各向同性的3d参考图像和3d移动图像；将所述参考图像、所述移动图像、所述3d参考图像和所述3d移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列。
8.可选的，所述将所述参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列输入所述图像配准网络模型，生成形变场包括：将所述参考图像矢量序列作为交叉注意力模块中查询向量输入，将所述3d参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述参考图像矢量序列和所述3d参考图像矢量序列的输入计算编码器交叉注意力模块的第一级别参考图像特征矢量序列；将第n-1级别的所述参考图像矢量序列和所述3d参考图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第n级别的参考图像数量序列和第n级别的3d参考图像矢量序列，其中，n＝2，
……
，n；将所述第n级别的参考图像数量序列作为交叉注意力模块中查询向量输入，将所述第n级别的3d参考图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述第n级别的参考图像矢量序列和所述第n级别的3d参考图像矢量序列的输入计算编码器交叉注意力模块的第n级别参考图像特征矢量序列；将所述移动图像矢量序列作为交叉注意力模块中查询向量输入，将所述3d移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述移动图像矢量序列和所述3d移动图像矢量序列的输入计算编码器交叉注意力模块的第一级别移动图像特征矢量序列；将第n-1级别的所述移动图像矢量序列和所述3d移动图像矢量序列复原为复原医学数据图像，将所述复原医学数据图像经过降采样操作，生成第n级别的移动图像数量序列和第n级别的3d移动图像矢量序列，其中，n＝2，
……
，n；将所述第n级别的移动图像数量序列作为交叉注意力模块中查询向量输入，将所述第n级别的3d移动图像矢量序列作为所述交叉注意力模块中键向量和值向量输入；基于所述第n级别的移动图像矢量序列和所述第n级别的3d移动图像矢量序列的输入计算编码器交叉注意力模块的第n级别移动图像特征矢量序列；将全部级别的参考图像特征矢量序列和全部级别的移动图像特征矢量序列输入解码器交叉注意力模块进行解码，获取所述解码器输出的形变场。
9.可选的，所述将所述参考图像特征矢量序列和所述移动图像特征矢量序列输入解码器交叉注意力模块进行解码包括：
将每一级别的参考图像特征矢量序列作为当前级别交叉注意力模块中查询向量输入，将每一级别的移动图像特征矢量序列作为所述当前级别交叉注意力模块中键向量和值向量输入，生成多个级别的输出结果；将所述多个级别的输出结果复原为所述复原医学数据图像，将当前级别的所述复原医学数据图像上采样后与上一级别的所述复原医学数据图像进行连接操作；将链接后的全部级别的所述复原医学数据图像经过卷积操作和gelu激活，经过前向传播与叠加归一化处理。
10.可选的，所述基于所述形变场和损失函数计算网络损失包括：获取多个医学形变图像，其中所述医学形变图像为对所述参考图像和/或所述移动图像进行扩增处理的图像；基于所述医学形变图像和所述医学数据图像样本生成训练样本；对所述参考图像和/或所述移动图像进行扩增处理，生成多个医学形变图像；将所述训练样本送入所述图像配准网络模型，两两进行配准得到多个形变场；基于所述多个形变场确定复合自约束损失和配准损失，其中，所述配准损失包括连续性损失、相似性损失和轮廓重合度损失；基于所述复合自约束损失和所述配准损失得到所述损失函数。
11.可选的，所述基于所述复合自约束损失和所述配准损失得到所述损失函数包括：将所述复合自约束损失和所述配准损失输入到所述损失函数的损失函数公式；所述损失函数公式为：loss＝loss
deformation
+αloss
similarity
+βloss
contour
+γloss
continuous
；其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，loss
deformation
为形变场复合自约束条件，loss
similarity
为相似性损失，loss
contour
为轮廓约束条件，loss
continuous
为形变场连续性约束条件。
12.第二方面，本技术提供一种多模态医学图像配准方法，采用如下的技术方案：一种多模态医学图像配准方法，包括：对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3d参考图像和3d移动图像；将所述参考图像、所述移动图像、所述3d参考图像和所述3d移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列；将所述参考图像矢量序列、所述移动图像矢量序列、所述3d参考图像矢量序列和所述3d移动图像矢量序列像输入至第一方面所述的多模态医学图像配准模型训练方法所建立的所述图像配准网络模型，生成配准后的移动图像。
13.通过采用上述技术方案，无需经过刚体配准处理，可直接用于不同模态，不同尺寸的图像进行配准，可在更大的范围内搜索匹配位置，避免了cnn中感受野限制，从而提高配准结果的稳定性。
14.第三方面，本技术提供一种多模态医学图像配准系统，采用如下的技术方案：一种多模态医学图像配准系统，包括：各向各向同性采集模块，用于对参考图像和移动图像分别进行各向同性重采样处
理，生成各向同性的3d参考图像和3d移动图像；子块划分及位置编码模块，用于将所述参考图像、所述移动图像、所述3d参考图像和所述3d移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列；图像配准网络模型，用于根据所述参考图像矢量序列、所述移动图像矢量序列、所述3d参考图像矢量序列和所述3d移动图像矢量序列生成形变场；形变配准模块，用于根据所述形变场对所述移动图像进行配准，生成配准后的移动图像；训练模块，用于对所述图像配准网络模型进行训练。
15.通过采用上述技术方案，无需经过刚体配准处理，可直接用于不同模态，不同尺寸的图像进行配准，可在更大的范围内搜索匹配位置，避免了cnn中感受野限制，从而提高配准结果的稳定性。
16.第四方面，本技术提供一种电子设备，采用如下的技术方案：一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的多模态医学图像配准模型训练方法的计算机程序。
17.第五方面，本技术提供一种计算机可读存储设备，采用如下的技术方案：一种计算机可读存储设备，存储有能够被处理器加载并执行第一方面任一项所述的多模态医学图像配准模型训练方法的计算机程序。
附图说明
18.图1是本技术实施例提供的一种多模态医学图像配准模型训练方法的流程示意图。
19.图2是本技术实施例提供的一种多模态医学图像配准模型训练方法的结构框图。
20.图3是本技术实施例提供的参考图像编码过程的结构框图。
21.图4是本技术实施例提供的移动图像编码过程的结构框图。
22.图5是本技术实施例提供的解码过程的结构框图。
23.图6是本技术实施例提供的并行交叉注意力模块的结构框图。
24.图7是本技术实施例提供的并行交叉注意力模块计算过程的结构框图。
25.图8是本技术实施例提供的整体勾画区域和勾画轮廓的结构示意图。
26.图9是本技术实施例提供的一种多模态医学图像配准方法的流程示意图。
27.图10是本技术实施例提供的一种多模态医学图像配准系统的流程示意图。
28.图11是本技术实施例提供的电子设备的结构框图。
具体实施方式
29.以下结合附图对本技术作进一步详细说明。
30.图1为本技术实施例提供的一种多模态医学图像配准模型训练方法的流程示意图，图2为本技术实施例提供的一种多模态医学图像配准模型训练方法的结构框图。
31.如图1和图2所示，该方法主要流程描述如下(步骤s101～s105)：步骤s101，对医学数据图像样本进行预处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列，其中，数据图像样本包括多组成对的
参考图像和移动图像；在本实施例中，医学数据图像样本的类型包括但不限于ct图像、mr图像以及pet图像。其中，每组中的参考图像和移动图像均为不同模态的图像，例如，参考图像为ct图像，移动图像为mr图像，或者参考图像为ct图像，移动图像为pet图像等。
32.需要说明的是，医学数据图像样本中每组成对的参考图像和移动图像为同一病人同一解析部位的两张医学数据图像，在本实施例中，对两种不同模的医学数据图像进行图像配准时，医学数据图像样本中会存在多组参考图像和移动图像，例如，多组不同部位的ct图像和mr图像的参考图像和移动图像。
33.针对步骤s101，将参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3d参考图像和3d移动图像；将参考图像、移动图像、3d参考图像和3d移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列。
34.在本实施例中，针对同一病人在不同时间使用不同医学设备采集的不同模态医学数据图像，除了不同模态医学数据图像之间的明暗对比存在明显差异外，医学数据图像呈现的所检查的身体范围、分辨率以及尺寸都存在差异。在对医学数据图像样本进行配准之前，将待处理的参考图像和移动图像按照统一的采样间隔对参考图像和移动图像沿着相同病人坐标系方向重新采样，生成各向同性的3d参考图像和3d移动图像。其中，待处理的移动图像和参考图像通常为等间隔的2d图像，将移动图像和参考图像均经过各个方向等间隔采样，得到由同样尺寸立体块组成的体数据。
35.在本实施例中，在进行子块划分时，transformer处理的是一组长度为c的矢量构成的矢量序列，其输出也是同样个数长度不变的矢量序列。一般的基于transformer的配准网络是将图像划分为p
×
p
×
p个相邻但是无重叠的小子块，将每个子块中图像信息按照指定方式生成一个矢量。由于整幅图被划分为个子块，则生成了个矢量。对矢量进行线性变换，叠加位置编码后，作为transformer的多头注意力机制的输入。由于配准过程中只关心原有输入的参考图像上各个像素的在移动图像上匹配位置，而不需要获取各向同性图像3d参考图像上各个像素点位置，因此，输入图像配准网络模型中的查询向量query以及键向量key和值向量value是由不同的矢量序列的。
36.由于提供查询向量的矢量序列决定了注意力机制输出的矢量的个数，而配准只关心原始的参考图像上各个像素匹配的位置，因此本提案是在原始输入的图像的各个像素位置周围，采样出按照同一分辨率采样获得的大小为p
×
p
×
p的子图子块，其中，p通常设置为5，将子图经过线性变换后获得指定长度为c的医学数据图像信息矢量；再计算这个子块的对应的位置编码，该编码长度是3；将位置编码前置载图像信息矢量的方式合并生成长度为c+3的子块对应的矢量，从而完成了对应于编码网络查询向量矢量的子块划分与位置编码的处理。原始输入图像如果是w
×h×
n大小，则生成查询向量的矢量序列则包含w
×h×
n个矢量。由于最顶层和最底层的一层图像，无法以该层图像上像素位置为中心生成子块，须将该层上像素位置设置为子块最顶端或者最底端，完成同一分辨率的p
×
p
×
p的子图子块的生成，中间部分均以图像上像素为中心，生成p
×
p
×
p的子图子块。
37.用于提供键向量和值向量的矢量序列是由按照同一分辨率重采样后的各向同性
的体数据生成的，将重采样后的各向同性数据划分为相邻但是没有重叠部分的子块，如果各向同性数据尺寸为w
iso
×hiso
×niso
，可将其划分为个p
×
p
×
p的子图，其中，符号表示向下取整，符号表示向上取整。重采样后的各向同性数据存在无法划分为整数个标准尺寸的子块的可能，从而可以舍去不包含感兴趣区域的最边缘的不完整子块，所以和向下取整，当不完整子块包含感兴趣区域时候，需要向上补齐，通过复制最邻近位置信息补齐子块，完成后面线性变换与位置编码，生成提供键向量和值向量的矢量序列。
38.在本实施例中，参考图像用f表示，移动图像用m表示，3d参考图像用f
iso
表示，3d移动图像用m
iso
表示，采样间隔用ps表示，在进行位置编码时，3d参考图像的各向同性数据的尺寸为w
fiso
×hfiso
×nfiso
，将其感兴趣区域的中心点位置编码为(0，0，0)，将每个子块左上角点的位置偏离中心点位置的偏移矢量，以w
fiso
×
ps长度视为单位1，归一化偏移矢量即为位置编码。按照此规则，对应3d参考图像最顶端左上角点子块的位置编码设置为按照此规则，参考图上生成查询向量的矢量序列的子块进行位置编码，将医学数据图像覆盖体数据中心点的位置编码设置为(0，0，0)，计算子块左上角点距离中心点的偏移量，然后按照w
fiso
×
ps长度视为单位1的方式，归一化偏移矢量，即获得位置编码。对3d移动图像数据上的子块的位置编码，计算其覆盖体数据中心点的位置编码设置为(0，0，0)，计算子块左上角点相对于中心点的偏移量，按照w
fiso
×
ps长度视为单位1的方式，归一化偏移矢量得到位置编码。
39.步骤s102，将参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列输入图像配准网络模型，生成形变场；针对步骤s102，图像配准网络模型包括编码器和解码器，基于编码器和解码器生成形变场，在进行编码时，将参考图像矢量序列作为交叉注意力模块中查询向量输入，将3d参考图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于参考图像矢量序列和3d参考图像矢量序列的输入计算编码器交叉注意力模块的第一级别参考特征输出矢量序列；将第n-1级别的参考图像矢量序列和3d参考图像矢量序列复原为复原医学数据图像，将复原医学数据图像经过降采样操作，生成第n级别的参考图像数量序列和第n级别的3d参考图像矢量序列，其中，n＝2，
……
，n；将第n级别的参考图像数量序列作为交叉注意力模块中查询向量输入，将第n级别的3d参考图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于第n级别的参考图像矢量序列和第n级别的3d参考图像矢量序列的输入计算编码器交叉注意力模块的第n级别参考特征输出矢量序列；将移动图像矢量序列作为交叉注意力模块中查询向量输入，将3d移动图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于移动图像矢量序列和3d移动图像矢量序列的输入计算编码器交叉注意力模块的第一级别移动特征输出矢量序列；将第n-1级别的移动图像矢量序列和3d移动图像矢量序列复原为复原医学数据图像，将复原医学数据图像经过降采样操作，生成第n级别的移动图像数量序列和第n级别的3d移动图像矢量序列，其中，n＝2，
……
，n；将第n级别的移动图像数量序列作为交叉注意力模块中查询向量输入，将第n级别的3d移动图像矢量序列作为交叉注意力模块中键向量和值向量输入；基于第n级别的移动图像矢量序列和第n级别的3d移动
图像矢量序列的输入计算编码器交叉注意力模块的第n级别移动特征输出矢量序列；将全部级别的参考特征输出矢量序列和全部级别的移动特征输出矢量序列输入解码器交叉注意力模块进行解码，获取解码器输出的形变场。
40.在本实施例中，由于参考图像和移动图像的模态、尺寸不同，因此将参考图像和移动图像分别进行编码。
41.参考图像矢量序列提供编码器的计算交叉注意力模块中的查询向量矢量序列，3d参考图像矢量序列用于提供注意力模块中的键向量和值向量矢量序列，经过至少一遍并行交叉注意力模块的处理后，获得第一级别参考特征输出矢量序列xf1，第一级别参考特征输出矢量序列xf1为后续并行交叉注意力模块提供键向量和值向量矢量序列，同一级别中提供查询向量矢量序列的来源是一致的。为了获得不同尺度的信息，需要将当前级别的上一级别的矢量序列复原为复原医学数据图像，即构成矢量的元素作为该位置的不同特征，按照原来排布方式生成复原医学数据图像。例如，第一级别的参考图像序列可以复原为(c+3)
×w×h×
n的特征。经过stride＝2的3*3*3的3d卷积进行降采样操作，获得的特征后，将其矢量化，构成个矢量，每个矢量长度为(c+3)的矢量，由参考图像特征降采样获得矢量序列为第n级别的并行交叉注意力模块提供查询向量矢量序列，而3d参考图像特征降采样的特征矢量用于提供键向量和值向量矢量序列。依次获得不同尺度的参考特征矢量序列xf1、xf2、
……
xfn，完成参考图像的编码过程。
42.在本实施例中，以n最大为3进行举例说明，参照图3，参考图像矢量序列提供查询向量矢量序列，3d参考图像矢量序列提供键向量个值向量矢量序列输入至每一个并行交叉注意力模块，经过至少一个交叉注意力模块处理后，生成第一级别参考特征输出矢量序列xf1，第一级别参考特征输出矢量序列中的将参考图像矢量序列和3d参考图像矢量序列分别复原为第二级别复原医学数据图像，将第二级别的复原医学数据图像经过stride＝2的3*3*3的3d卷积进行降采样操作后，生成第二级别参考图像矢量序列和第二级别3d参考图像矢量序列，第二级别参考图像矢量序列同样提供查询向量矢量序列，第二级别3d参考图像矢量序列同样提供键向量和值向量矢量序列，将第二级别的查询向量、键向量和值向量输入第二级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第二级别参考特征输出矢量序列xf2，将第二级别的经过stride＝2的3*3*3的3d卷积进行降采样操作后复原医学数据图像直接复原为第三级别的复原医学数据图像，将第三级别的复原医学数据图像经过stride＝2的3*3*3的3d卷积进行降采样操作后，生成第三级别参考图像矢量序列和第三级别3d参考图像矢量序列，第三级别参考图像矢量序列同样提供查询向量矢量序列，第三级别3d参考图像矢量序列同样提供键向量和值向量矢量序列，将第三级别的查询向量、键向量和值向量输入第三级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第三级别参考特征输出矢量序列xf3。
43.需要说明的是，参考特征输出矢量序列的级数需要根据实际需求设定，可以设置为一级或者多级，当设置为一级时，则无需将参考图像矢量序列和3d参考图像矢量序列复原为复原医学数据图像。
44.相似的，移动图像编码过程与参考图像编码过程一致，移动图像矢量序列提供编码器的计算交叉注意力模块中的查询向量矢量序列，3d移动图像矢量序列用于提供注意力
模块中的键向量和值向量矢量序列，经过至少一遍并行交叉注意力模块的处理后，获得第一级别移动特征输出矢量序列xf1，第一级别移动特征输出矢量序列xf1为后续并行交叉注意力模块提供键向量和值向量矢量序列，同一级别中提供查询向量矢量序列的来源是一致的。为了获得不同尺度的信息，需要将当前级别的上一级别的矢量序列复原为复原医学数据图像，即构成矢量的元素作为该位置的不同特征，按照原来排布方式生成复原医学数据图像。例如，第一级别的移动图像序列可以复原为(c+3)
×w×h×
n的特征。经过stride＝2的3*3*3的3d卷积进行降采样操作，获得的特征后，将其矢量化，构成个矢量，每个矢量长度为(c+3)的矢量，由移动图像特征降采样获得矢量序列为第n级别的并行交叉注意力模块提供查询向量矢量序列，而3d移动图像特征降采样的特征矢量用于提供键向量和值向量矢量序列。依次获得不同尺度的移动特征矢量序列xm1、xm2、
……
xmn，完成移动图像的编码过程。
45.在本实施例中，以n最大为3进行举例说明，参照图4，移动图像矢量序列提供查询向量矢量序列，3d移动图像矢量序列提供键向量个值向量矢量序列输入至每一个并行交叉注意力模块，经过至少一个交叉注意力模块处理后，生成第一级别移动特征输出矢量序列xm1，第一级别移动特征输出矢量序列中的将移动图像矢量序列和3d移动图像矢量序列分别复原为第二级别复原医学数据图像，将第二级别的复原医学数据图像经过stride＝2的3*3*3的3d卷积进行降采样操作后，生成第二级别移动图像矢量序列和第二级别3d移动图像矢量序列，第二级别移动图像矢量序列同样提供查询向量矢量序列，第二级别3d移动图像矢量序列同样提供键向量和值向量矢量序列，将第二级别的查询向量、键向量和值向量输入第二级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第二级别移动特征输出矢量序列xm2，将第二级别的经过stride＝2的3*3*3的3d卷积进行降采样操作后复原医学数据图像直接复原为第三级别的复原医学数据图像，将第三级别的复原医学数据图像经过stride＝2的3*3*3的3d卷积进行降采样操作后，生成第三级别移动图像矢量序列和第三级别3d移动图像矢量序列，第三级别移动图像矢量序列同样提供查询向量矢量序列，第三级别3d移动图像矢量序列同样提供键向量和值向量矢量序列，将第三级别的查询向量、键向量和值向量输入第三级别中的每一个并行交叉注意力模块，进过至少一个交叉注意力模块处理后，生成第三级别移动特征输出矢量序列xm3。
46.需要说明的是，移动特征输出矢量序列的级数需要根据实际需求设定，可以设置为一级或者多级，当设置为一级时，则无需将移动图像矢量序列和3d移动图像矢量序列复原为复原医学数据图像。
47.需要说明的是，由于参考图像和移动图像的尺寸不同，同一级别的参考特征矢量序列与移动图像特征矢量序列包含的矢量的个数可以是相同的还可以是不同的，但每个矢量的长度一致均为(c+3)。
48.在本实施例中，在进行解码时，将每一级别的参考特征输出矢量序列作为当前级别交叉注意力模块中查询向量输入，将每一级别的移动特征输出矢量序列作为当前级别交叉注意力模块中键向量和值向量输入，生成多个级别的输出结果；将多个级别的输出结果复原为复原医学数据图像，将当前级别的复原医学数据图像上采样后与上一级别的复原医学数据图像进行连接操作；将链接后的全部级别的复原医学数据图像经过卷积操作和gelu
激活，经过前向传播与叠加归一化处理。
49.解码器中的transformer根据参考图像特征矢量与移动特征矢量之间的匹配程度，进行注意力加权，进而逐步获取参考图像匹配位置的信息。每一级别的参考特征矢量序列为后续并行交叉注意力模块提供查询向量，而移动特征矢量序列负责提供键向量和值向量。经过至少一遍并行交叉注意力模块的处理后，需要将每一级别的并行交叉注意力模块输出结果复原为复原医学数据图像，为了融合不同尺度获取的信息，由最低级别的复原医学数据图像上采样后与上一级别的复原医学数据图像进行连接操作，经过3*3*3的卷积操作和gelu激活后，继续与上一级别的复原医学数据图像继续经过3*3*3的卷积操作和gelu激活直至链接全部级别的复原医学数据图像，完成解码过程。由于位置编码过程将w
fiso
×
ps视为1进行归一化，因此解码网络提供的3d形变场结果是归一化的形变场，需要乘以w
fiso
×
ps生成真实形变场。
50.在本实施例中，以上述级别为三举例说明，参照图5，第三级别参考特征矢量序列xf3提供查询向量矢量序列，第三级别移动特征矢量序列xm3提供键向量和值向量数量序列，经过至少一个平行交叉注意力模块处理后，复原为第三级别的复原医学数据图像，将第三级别的复原医学数据图像上采样与第二级别的复原医学数据图像进行连接操作，经过3*3*3的卷积操作和gelu激活后，继续与第一级别的复原医学数据图像连接操作，再次经过3*3*3的卷积操作和gelu激活，再经过1*1*1的卷积操作和gelu激活后，进行故意划形变场进行归一化处理生成真实形变场。
51.需要说明的是，在进行解码处理时，由最低级别开始向上一级别逐层进行上采样处理，当只有第一级别时，则无需进行上采样处理，直接由第一级别的复原医学数据图像经过3*3*3的卷积操作和gelu激活，再经过1*1*1的卷积操作和gelu激活后，进行故意划形变场进行归一化处理生成真实形变场。
52.在本实施例中，由于提供查询向量序列的矢量个数与提供键向量和值向量的矢量序列个数不一致，所以对原有多头注意力机制进行了修改。
53.如图所示6，采用了多个基本的交叉注意力模块并行处理，获取不同的特征，经过合并各个交叉注意力模块的特征矢量后，通过前向传播的方式将特征矢量的尺度同一为(c+3)，再经过前向传播与叠加归一化处理，获得了交叉注意力模块输出矢量。
54.如图7所示，提供查询向量query序列的输入矢量序列设为x，提供键向量key和值向量value的输入矢量序列设置为y。首先，将待学习的线性变换矩阵wq作用于序列x中的所有矢量，获得查询向量序列：q1＝wq×
x1，q2＝wq×
x2，
……
，q
nx
＝wq×
x
nx
；再将线性变换矩阵wk作用于序列y中的所有的矢量，获得键向量序列：k1＝wk×
y1，k2＝wk×
y2，
……
，k
ny
＝wk×yny
；接着将变换矩阵wv作用于序列y中的所有的矢量，获得值向量序列：v1＝wv×
y1，v2＝wv×
y2，
……
，v
ny
＝wv×yny
；接着，计算第i个查询向量与所有键向量的点积结果，获得与注意力相关的参数：α
i，j
＝qi×
kj，i＝1，2，
……
，nx，j＝1，2，
……
，ny；将注意力得分利用softmax进行归一化处理，得到注意力得分：
最后利用注意力得分作为权重，加权平均值向量序列，获得输出矢量序列：输出矢量序列与输入矢量序列中包含的矢量个数相同，矢量的长度均为(c+3)。
55.步骤s103，基于形变场和损失函数计算网络损失；步骤s104，基于误差反向传播算法调整图像配准网络模型的参数；针对步骤s103，获取多个医学形变图像，其中医学形变图像为对参考图像和/或移动图像进行扩增处理的图像；基于医学形变图像和医学数据图像样本生成训练样本；对参考图像和/或移动图像进行扩增处理，生成多个医学形变图像；将训练样本送入图像配准网络模型，两两进行配准得到多个形变场；基于多个形变场确定复合自约束损失和配准损失，其中，配准损失包括连续性损失、相似性损失和轮廓重合度损失；基于复合自约束损失和配准损失得到损失函数。
56.在对图像配准网络模型进行训练时，每次只加载一组参考图像和移动图像，但是会对每组参考图像和移动图像进行处理，得到多张医学数据图像，并将多张医学数据图像组成一组训练样本。
57.在本实施例中，可以仅对参考图像或者移动图像中的其中一项进行扩增处理，还可以同时对参考图像和移动图像两项均进行扩增处理，在进行扩增处理时，可以只将参考图像和/或移动图像进行一次扩增处理，还可以对参考图像和/或移动图像进行多次扩增处理，对此不做具体限定。
58.其中，扩增处理包括对参考图像或移动图像进行随机的旋转平移和拉伸操作，从而到多张医学数据图像，进而增加每组训练样本中图像数据的多样性，确保图像配准网络模型能够获取对旋转、平移和拉伸不变性的稳定的配准密切相关的特征，指导图像配准网络模型的训练优化过程，确保图像配准网络模型可以处理大的形变、拉伸的情况。
59.下面对参考图像和移动图像进行说明：当将图像a配准到图像b时，那么a图像为移动图像，b图像为参考图像；当将图像b配准到图像a时，那么b图像为移动图像，a图像为参考图像。
60.在本实施例中分别针对训练样本包含一张扩增图像和多张扩增图像的情况对形变场进行说明。
61.(一)训练样本包含一张扩增图像当训练样本包括一张扩增图像时，将医学数据图像两两组合形成一个第一图像组和一个第二图像组，其中，第二图像组包括一个参考图像和一个移动图像组应的扩增图像或一个移动图像和一个参考图像组应的扩增图像；将第一图像组和第二图像组输入图像配准网络模型中，生成一个第一图像组对应的形变场和一个第二图像组对应的形变场；在本实施例中，扩增图像以移动图像组应的扩增图像为例进行说明，此时训练样本包括一张参考图像、一张移动图像和一张移动图像组应的扩增图像，移动图像组应的扩
增图像用a1(m)表示，训练样本中存在一个第一图像组{m，f}，一个第二图像组{a1(m)，f}，将第一图像组输入图像配准网络中得到一个形变场φ1，将第二图像组输入图像配准网络模型中得到一个形变场φ2。
62.(二)训练样本包含多张扩增图像当训练样本包括多张扩增图像时，将训练样本中的所有医学数据图像两两组合形成一个第一图像组和多个第二图像组，其中，每个第二图像组均包括一个参考图像和一个移动图像，其中，每个第二图像组中的参考图像和移动图像至少一个为扩增图像；将第一图像组和多个第二图像组输入图像配准网络模型中，生成一个第一图像组对应的形变场和每个第二图像组对应的形变场。
63.在本实施例中，以两个扩增图像为例进行说明，其中一个扩增图像为参考图像组应的扩增图像，另一个扩增图像为移动图像组应的扩增图像，此时训练样本包括一张参考图像、一张移动图像和两张扩增图像，其中，参考图像用f表示，移动图像用m表示，移动图像组应的扩增图像用a1(m)表示，参考图像组应的扩增图像为a2f,训练样本中存在一个第一图像组{m，f}，三个第二图像组{a1(m)，f}、{m，a2(f)}和{a1(m)，a2(f)}，将第一图像组输入图像配准网络中得到一个形变场φ1，将第二图像组分别输入图像配准网络模型中得到三个形变场φ2、φ3和φ4。
64.需要说明的是，多组训练样本中第二图像组的数量可以相同，还可以不同，对此不做具体限定。
65.步骤s104，基于每个训练样本中的多个形变场计算每个训练样本中的形变场复合自约束条件和配准损失，配准损失包括相似损失、形变场连续性的约束条件以及轮廓约束条件；下面分别针对计算每组训练样本的形变场复合自约束条件，相似损失、形变场连续性的约束条件以及轮廓约束条件进行说明：关于形变场复合自约束条件，在本实施例中以训练样本包含一个第二图像组和多个第二图像组的情况进行说明。
66.(一)训练样本包含一个第二图像组当训练样本包括一个第二图像组时，将每组训练样本中的第一图像组中的形变场作用于第一图像组中的移动图像，生成配准后的移动图像；将配准后的移动图像与第一图像组中的参考图像进行匹配得到第一配准等式；将第二图像组对应的形变场作用于第二图像组的移动图像，生成配准后的移动图像；将配准后的移动图像与第二图像组中的参考图像进行匹配，得到第二图像组对应的第二配准等式；将每个第二配准等式与第一配准等式结合，得到第二图像组与第一图像组之间的形变场的关系；基于第二图像组与第一图像组之间的形变场的关系确定每组训练样本的自约束条件，将自约束条件作为形变场复合自约束条件loss
deformation
。
67.在本实施例中，例如，第一图像组对应的形变场为φ1，参考图像为f,移动图像为m，将形变场φ1作用于移动图像m，生成配准后的移动图像为φ1(m)，第一配准等式为φ1(m)＝f。
68.第二图像组对应的形变场为φ2,第二图像组中的移动图像为扩增图像a1(m)，参考图像为f,将形变场φ2作用于移动图像a1(m)生成配准后的移动图像为φ2(a1(m))，生成的第二配准等式为φ2(a1(m))＝f。
69.对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为φ2(a1)＝φ1，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖φ2(a1)-φ1‖2,由于本组训练样本只有一个第二图像组，所以本组的训练样本的形变场复合自约束条件loss
deformation
为‖φ2(a1)-φ1‖2。
70.(二)训练样本包含多个第二图像组当训练样本包括多个第二图像组时，将每组训练样本中的第一图像组中的形变场作用于第一图像组中的移动图像，生成配准后的移动图像；将配准后的移动图像与第一图像组中的参考图像进行匹配得到第一配准等式；将每个第二图像组对应的形变场作用于每个第二图像组的移动图像，生成配准后的移动图像；将每个配准后的移动图像与每个第二图像组中的参考图像进行匹配，得到第二图像组对应的第二配准等式；将每个第二配准等式与第一配准等式结合，得到每个第二图像组与第一图像组之间的形变场的关系；基于每个第二图像组与第一图像组之间的形变场的关系确定多个自约束条件，将多个自约束条件进行叠加，得到总的自约条件；将总的自约束条件作为形变场复合自约束条件loss
deformation
。
71.在本实施例中，例如，第一图像组对应的形变场为φ1，参考图像为f，移动图像为m，将形变场φ1作用于移动图像m，生成配准后的移动图像为φ1(m)，第一配准等式为φ1(m)＝f。
72.形变场φ2对应的参考图像为f，移动图像为a1(m)，将形变场φ2作用于移动图像a1(m)，生成配准后的移动图像为φ2(a1(m))，第一配准等式为φ2(a1(m))＝f，对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为φ2(a1)＝φ1，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖φ2(a1)-φ1‖2,由于本组训练样本只有一个第二图像组，所以本组的训练样本的形变场复合自约束条件loss
deformation
为‖φ2(a1)-φ1‖2。
73.形变场φ3对应的参考图像为a2f，移动图像为m，将形变场φ3作用于移动图像m，生成配准后的移动图像为φ3(m)，第二配准等式为φ3(m)＝a2(f)，对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为a2(φ1(m))＝φ3(m)，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖a2(φ1)-φ3‖2。
74.形变场φ4对应的参考图像为a2f，移动图像为a1(m)，将形变场φ4作用于移动图像a1(m)，生成配准后的移动图像为φ4(a1(m))，第二配准等式为φ4(a1(m))＝a2(f)，对第一配准等式和第二配准等式进行处理得到第二图像组与第一图像组之间的形变场的关系为a2(φ1(m))＝a2(φ1(m))，基于第二图像组与第一图像组之间的形变场的关系确定本组训练样本的自约束条件为‖φ4(a1)-a2(φ1)‖2。
75.将所有的自约束条件相加得到本组训练样本的复合自约束条件loss
deformation
为‖φ2(a1)-φ1‖2+‖a2(φ1)-φ3‖2+‖φ4(a1)-a2(φ1)‖2。
76.特别说明的是，当训练样本中包含多个第二图像组时，按照上述方法计算每对第二图像组的自约束条件，将第一图像组的自约束条件和所有第二图像组的自约束条件相加，得到本组训练样本的复合自约束条件loss
deformation
。
77.关于轮廓约束条件loss
contour
的计算具体如下：
基于第一图像组中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算dsc系数；基于dice系数确定第一轮廓约束loss
contour
1；基于每个第二图像组中的参考图像勾画区域的mask以及配准后的移动图像勾画区域的mask计算dsc系数；基于dice系数确定第二轮廓约束loss
contour
2；对第一轮廓约束loss
contour
1和所有的第二轮廓约束loss
contour
2进行求和，得到总的轮廓约束；将总的轮廓约束作为轮廓约束条件loss
contour
；loss
contour
在形变比较大的勾画区域内，采用形变前后轮廓dice损失计算，而在相对稳定区域采用整理勾画区域的dice损失计算，也可以采用二者叠加的结果作为结构约束损失。
78.在具备某些器官或者组织标注信息的基础上，基于整体勾画区域的轮廓损失是指利用如图a所示的参考图像勾画的区域的mask与形变后移动图像勾画区域mask计算dsc(dice系数)，其对应的结构损失为1-dsc。图b为图像勾画区域边界mask信息，它是由勾画区域mask向外扩3mm后的结果mask1与勾画区域向内缩3mm后获得的mask2，进行非运算后得到的。利用参考图像勾画区域边界mask与形变后的移动图像勾画区域边界mask信息计算其dsc，对应的结构损失为1-dsc。
79.其中，dsc(dice similarity coefficient)也叫做dice系数，用于衡量两个二值化图a，b的重合程度dsc(a,b)。在本实施例中，a表示参考图像上某一个危及器官的标注的二值图，危及器官部分标注为1，其他部分标注为0；b表示再移动图像熵标记同一危及器官，经过形变场变形后的二值化图，其中危及器官标注为1，其他部分标注为0，mask即为参考图像或移动图像勾画部分的二值化图。
80.dsc其计算公式如下所示：就是做出正确分割部分所占比例，分割越好，则dsc越大。
81.如果将其作为loss，需要loss
contour
＝1-dsc(a,b)；为了强调对标注区域轮廓的变化的跟随能力，在使用危及器官标注的计算dice loss基础上，还可以引入对轮廓dice组成部分：border(a)＝dilate(a，3)∩(～dilate(a，-3))其中border是提取轮廓mask的操作，以border(a)为例说明，是将轮廓a首先外扩3mm得到dilate(a，3)，然后将轮廓内缩3mm得到dilate(a，-3)，然后对dilate(a，-3)求反(～dilate(a，-3))，将外扩和内缩求反的结果进行与操作，就能获得危及器官标注的轮廓mask信息，进而可按照公式border(a)＝dilate(a，3)∩(～dilate(a，-3))计算轮廓约束损失。
82.需要说明的是，每组训练样本的轮廓约束条件loss
contour
是将第一图像组和所有第二图像组的轮廓约束条件相加得到的。
83.关于形变场连续性约束条件loss
continuous
的计算具体如下：基于第一图像组的形变场计算各个像素位置的的第一雅可比行列式；基
于第一雅可比行列式确定第一形变场连续性约束loss
continuous
1；基于每个第二图像组的形变场计算各个像素位置的的第二雅可比行列式；基于第二雅可比行列式确定第二形变场连续性约束loss
continuous
2；对第一形变场连续性约束loss
continuous
1和所有的第二形变场连续性约束loss
continuous
2进行求和，得到形变场连续性约束条件loss
continuous
；loss
continuous
主要用于约束刚性结构比较好的勾画范围点的形变场的不能出现折叠。
84.利用形变场φ计算各个像素位置处的形变场的的jacobian矩阵即雅可比行列式：若要形变场没有折叠现象发生，需要让jacobian行列式的值大于0，即即
85.为了确保形变场不出现折叠现象，需要考察每个像素位置的jacobian行列式的值，如果该值大于零，行列式损失s最小为零；如果行列式的值小于等于零则损失s最大值为1，形变场整体的loss是所有点行列式损失的平均值。
86.其计算公式如下：其计算公式如下：需要说明的是，每组训练样本的形变场连续性约束条件loss
continuous
是将第一图像组和所有第二图像组的形变场连续性约束相加得到的。
87.关于相似性损失loss
similarity
的计算具体如下：基于互信息计算公式计算第一图像对中的参考图像和移动图形的第一互信息，基于第一互信息计算第一相似性损失loss
similarity
1；基于互信息计算公式计算每个第二图像对中的参考图像和移动图形的第二互信息，基于第二互信息计算第二相似性损失loss
similarity
2；对第一相似性损失loss
similarity
1和所有的第二相似性损失loss
similarity
2求和，得到总体相似性损失loss
similarity
。
88.互信息i(a,b)是衡量两个随机变量相关程度，也可以用于计算图像相似性。其中a是参考图像，b是利用形变场变形后得移动图像，互信息计算公式为：
loss
similarity
(a，b)＝2-i(a，b)；由于互信息是在[0,2)之间分布的，因此在本实施例中互信息参数为2，将相似性损失loss
similarity
表示为2-i(a，b)，来满足相似性损失越小，图像越相似。
[0089]
其中，h(a)表示参考图像的熵，h(b)表示形变场变形后得移动图像的熵，他们分别是由图像的单边概率密度pa(a)，pb(b)计算获得。h(a，b)是交叉熵，由两者的联合概率密度p
ab
(a，b)计算获得，单边概率密度pa(a)是利用统计直方图计算获得，p
ab
(a，b)是联合统计直方图计算获的。如果想要获得对形变场连续可导的互信息，再计算统计直方图的时候可以加入parzen窗，就是当前位置x处像素值为b(x)，b(x)不仅对落入的bin有贡献，还对相邻的几个bin也有贡献，具体贡献值可利用n阶b样条函数确定，进行联合直方图计算，然后再计算单边的统计直方图。
[0090]
需要说明的是，每组训练样本的相似性损失loss
similarity
是将第一图像组和所有第二图像组的互信息损失相加得到的。
[0091]
具体的，将形变场复合自约束条件和配准损失输入损失函数：loss＝loss
deformation
+αloss
similarity
+βloss
contour
+γloss
continuous
中，计算每组训练样本的网络损失，其中，α、β和γ是指定的超参数，用于控制不同损失占总体损失的权重，loss
deformation
为形变场复合自约束条件，loss
similarity
为相似性损失，loss
contour
为轮廓约束条件，loss
continuous
为形变场连续性约束条件。
[0092]
步骤s105，重复执行输入图像样本、计算网络损失和调整模型参数的过程，直至损失函数不再减小时完成训练，得到训练好的图像配准网络模型。
[0093]
在本实施例中，在训练时，每次配准结束后均对当前配准计算一次损失函数，利用误差反向传播算法修改损失函数，直至配准结束后的损失函数再次利用反向传播进行修改无法再减小时停止训练，从而得到训练好的图像配准网络模型。
[0094]
图9为本技术实施例提供的一种多模态医学图像配准方法的流程示意图。
[0095]
如图9所示，该方法主要流程描述如下(步骤s201～s203)：步骤s201，对参考图像和移动图像分别进行各向同性重采样处理，生成各向同性的3d参考图像和3d移动图像；在本实施例中，参考图像和移动图像的预处理方式与上述多模态医学图像配准模型训练方法中的预处理方式相同，均为将参考图像和移动图像按照统一的采样间隔沿着相同病人坐标系方向重采样，生成各向同性的3d参考图形和3d移动图像，将参考图像、移动图像、3d参考图像和3d移动图像分别进行子块划分和位置编码生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列，具体图像预处理方式在此不做进一步赘述。
[0096]
步骤s202，将参考图像、移动图像、3d参考图像和3d移动图像分别进行子块划分和位置编码处理，生成参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列。
[0097]
步骤s203，将参考图像矢量序列、移动图像矢量序列、3d参考图像矢量序列和3d移动图像矢量序列像输入至由权利要求1至5任一项的多模态医学图像配准模型训练方法所建立的图像配准网络模型，生成配准后的移动图像。
[0098]
在本实施例中，将待配准的参考图像矢量序列、移动图像矢量序列、3d参考图像矢
量序列和3d移动图像矢量序列送入训练好的图像配准网络模型中，进过训练好的图像配准网络模型处理输出配准图像。
[0099]
需要说明的是，待配准的参考图像和移动图像的图像类型需要与图像配准网络模型支持的配准图像的图像类型一致，例如图像配准网络模型支持的配准图像为ct图像和mr图像，则待配准的参考图像和移动图像需要分别为ct图像和mr图像。
[0100]
图10为本技术实施例提供的一种多模态医学图像配准系统的流程示意图。
[0101]
如图10所示，多模态医学图像配准系统包括：各向同性采集模块，子块划分及位置编码模块，图像配准网络模型和形变配准模块。各向同性采集模块，用于参考图像和移动图像分别进行各向同性重采样处理；子块划分及位置编码模块，用于将参考图像、移动图像、3d参考图像和3d移动图像分别进行子块划分和位置编码处理；图像配准网络模型，用于对待配准的医学图像进行配准并输出配准图像；形变配准模块，用于计算损失函数，利用损失函数对图像配准网络模型进行训练。
[0102]
图11为本技术实施例提供的电子设备300的结构框图。
[0103]
如图11所示，电子设备300包括处理器301和存储器302，还可以进一步包括信息输入/信息输出(i/o)接口303、通信组件304中的一种或多种以及通信总线305。
[0104]
其中，处理器301用于控制电子设备300的整体操作，以完成上述的多模态医学数据图像配准模型建立方法的全部或部分步骤；存储器302用于存储各种类型的数据以支持在电子设备300的操作，这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，sram)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、可编程只读存储器(programmable read-only memory，prom)、只读存储器(read-only memory，rom)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。
[0105]
i/o接口303为处理器301和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件304用于电子设备300与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件104可以包括：wi-fi部件，蓝牙部件，nfc部件。
[0106]
电子设备300可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的多模态医学数据图像配准模型建立方法。
[0107]
通信总线305可包括一通路，在上述组件之间传送信息。通信总线305可以是pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。通信总线305可以分为地址总线、数据总线、控制总线等。
[0108]
电子设备300可以包括但不限于移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端，还可以为服务器等。
[0109]
本技术还提供一种计算机可读存储设备，计算机可读存储设备上存储有计算机程序，计算机程序被处理器执行时实现上述的多模态医学数据图像配准模型建立方法的步骤。
[0110]
该计算机可读存储设备可以包括：u盘、移动硬盘、只读存储器(r ead-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的设备。
[0111]
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0112]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。