图像配准模型的训练方法、装置、设备及存储介质与流程

本申请实施例涉及图像处理，特别涉及图像配准模型的训练方法、装置、设备及存储介质。

背景技术：

1、随着医学影像技术的不断发展，利用医学影像技术来对肿瘤进行检测和诊断，已经成为医生临床诊断的主要辅助手段。为了获取到准确的诊断结果，常常需要进行医学图像配准。传统的医学图像配准方法利用自动检测算法提取图像的关键特征，提取出关键特征后，生成特征描述子，通过匹配特征描述子完成图像配准。然而，医学图像种类多样、特征复杂，致使传统的医学图像配准方法配准效果较差。

技术实现思路

1、本申请实施例提供了图像配准模型的训练方法、装置、设备及存储介质，在生成对抗网络模型的基础上，引入空洞卷积层，有效增加感受野大小，并且使得相同层级的编码结构和解码结构拼接的特征信息尽可能相似，有效提升配准效果。技术方案如下：

2、一方面，本申请实施例提供一种图像配准模型的训练方法，所述方法包括：

3、获取浮动医学图像和固定医学图像；

4、将所述浮动医学图像和所述固定医学图像输入生成器，得到配准医学图像，所述生成器包括u形结构的生成网络，所述u形结构的一侧为编码结构，所述u形结构的另一侧为解码结构；所述编码结构u形底层输出的第一特征图通过空洞卷积层后输入所述解码结构u形底层；针对所述编码结构u形底层外的每一层级，所述层级输出的第二特征图经过空洞卷积层后与所述解码结构处于相同u形层级的第三特征图进行拼接，得到拼接结果；所述解码结构u形首层外的每一拼接结果用于获取上一u形层级的第三特征图，所述解码结构u形首层的拼接结果用于获取所述配准医学图像；

5、将所述配准医学图像和所述固定医学图像，以及所述浮动医学图像和所述固定医学图像输入判别器，得到判别结果；

6、根据所述判别结果和预设标签数据，采用目标损失函数对所述判别器和所述生成器进行交替训练，得到符合预设训练结束条件的图像配准模型。

7、另一方面，本申请实施例提供一种图像配准模型的训练装置，所述装置包括：

8、图像获取模块，用于获取浮动医学图像和固定医学图像；

9、配准处理模块，用于将所述浮动医学图像和所述固定医学图像输入生成器，得到配准医学图像，所述生成器包括u形结构的生成网络，所述u形结构的一侧为编码结构，所述u形结构的另一侧为解码结构，所述编码结构u形底层输出的第一特征图通过空洞卷积层后输入所述解码结构u形底层；针对所述编码结构u形底层外的每一层级，所述层级输出的第二特征图经过空洞卷积层后与所述解码结构处于相同u形层级的第三特征图进行拼接，得到拼接结果；所述解码结构u形首层外的每一拼接结果用于获取上一u形层级的第三特征图，所述解码结构u形首层的拼接结果用于获取所述配准医学图像；

10、判别处理模块，用于将所述配准医学图像和所述固定医学图像，以及所述浮动医学图像和所述固定医学图像输入判别器，得到判别结果；

11、训练处理模块，用于根据所述判别结果和预设标签数据，采用目标损失函数对所述判别器和所述生成器进行交替训练，得到符合预设训练结束条件的图像配准模型。

12、再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的方法。

13、又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的方法。

14、又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述方面所述的方法。

15、本申请实施例提供的技术方案中，获取浮动医学图像和固定医学图像，浮动医学图像用于进行图像变换，固定医学图像用于提供参考数据。将浮动医学图像和固定医学图像输入生成器进行生成处理，得到配准医学图像，其中该生成器包括u形结构的生成网络，该生成网络包括编码结构和解码结构，编码结构和解码结构分别为u形结构的两侧，在编码结构u形底层输出的特征图被记为第一特征图，将该第一特征图通过空洞卷积层后输入到解码结构u形底层，空洞卷积层的引入，可以有效增加感受野的大小，保证输入到解码结构特征的多样性。进一步地，针对编码结构u形底层外的每一层级，该层级输出的特征图被记为第二特征图，将第二特征图通过空洞卷积层后与解码结构处于相同u形层级的第三特征图进行拼接，得到拼接结果，解码结构u形首层外的每一拼接结果用于获取上一u形层级的第三特征图，解码结构u形首层的拼接结果用于获取所述配准医学图像，在层级拼接时引入空洞卷积层，可以使得拼接的特征尽可能相似，避免因拼接的特征差异过大对配准医学图像的不利影响。在获取到准确的配准医学图像后，将配准医学图像和固定医学图像作为一图像对，浮动医学图像和固定医学图像作为一图像对均输入至判别器进行判别处理，得到判别结果。并根据判别结果和预设标签数据，采用目标损失函数对判别器和生成器进行交替训练，得到符合预设训练结束条件的图像配准模型，该图像配准模型在生成对抗网络模型的基础上与空洞卷积层进行结合，充分考虑层级连接结构特征的差异性，有利于实现精准配准，配置效果较好。

技术特征：

1.一种图像配准模型的训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述编码结构包括多次下采样操作和多次带有外部注意力机制的卷积操作；所述解码结构包括多次上采样操作和多次带有外部注意力机制的卷积操作。

3.根据权利要求2所述的方法，其特征在于，所述生成器还包括空间变换网络，所述将所述浮动医学图像和所述固定医学图像输入生成器，得到配准医学图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述目标损失函数包括对抗性损失项、相似性损失项和平滑性损失项；所述对抗性损失项用于指示所述判别结果与所述预设标签数据间的差异，所述相似性损失项用于指示配准医学图像和固定医学图像间的差异，所述平滑性损失项用于约束所述配准医学图像的局部扭曲程度。

5.根据权利要求1所述的方法，其特征在于，所述根据所述判别结果和预设标签数据，采用目标损失函数对所述判别器和所述生成器进行交替训练，包括：

6.根据权利要求5所述的方法，其特征在于，在一个交替轮次中，所述生产器的训练次数大于所述判别器的训练次数，且所述生成器的学习率大于所述判别器的学习率。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种图像配准模型的训练装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的方法。

技术总结
本申请实施例公开了图像配准模型的训练方法、装置、设备及介质，方法包括：将浮动医学图像和固定医学图像输入生成器，生成器包括U形结构的生成网络，编码结构和解码结构为U形结构两侧；编码结构U形底层输出的第一特征图通过空洞卷积层后输入解码结构U形底层；针对编码结构U形底层外的每一层级，层级输出的第二特征图经过空洞卷积层后与解码结构处于相同U形层级的第三特征图进行拼接，解码结构U形首层外的拼接结果用于获取上一U形层级的第三特征图，首层的拼接结果用于获取配准医学图像；将配准医学图像和固定医学图像，浮动医学图像和固定医学图像输入判别器，得到判别结果；根据判别结果和预设标签数据进行训练，得到图像配准模型。

技术研发人员：孔令宇
受保护的技术使用者：北京奥思维科技有限公司
技术研发日：
技术公布日：2024/1/14