图像配准模型训练方法及装置、图像处理方法与流程

本公开属于图像处理，具体涉及一种图像配准模型训练方法及装置、图像处理方法。

背景技术：

1、医学眼底图像已经广泛用于记录和检查多种疾病的临床表现，眼底图像配准是眼底图像处理与分析的基本的手段之一。眼底图像配准能够使得两幅或多幅眼底图像在空间上对齐，从而辅助医生进行眼科诊断和治疗，因此，眼底图像配准具有重要的临床应用价值。

2、由于单一模态眼底图像信息单一，临床应用上通常会对普通眼底相机图像、眼底荧光血管造影图像以及光学相干断层扫描血管成像(optical coherence tomographyangiography，octa)图像等不同模态的眼底图像进行综合分析，然而，传统的图像配准方法无法适配多模态的眼底图像配准，导致多模态眼底图像的配准结果精度低，极大的限制了眼底图像在临床应用的发展。

技术实现思路

1、有鉴于此，本公开提供一种图像配准模型训练方法及装置、图像处理方法、计算机可读存储介质及电子设备，以解决传统眼底图配准方法无法适配多模态眼底图像配准，导致多模态眼底图像的配准结果精度低的问题。

2、第一方面，本公开一实施例提供了一种图像配准模型训练方法，包括：利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；基于第一损失值，调整形变学习子模型的参数；利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；基于逆形变参考样本和待配准眼底样本，获得第二损失值；利用第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。

3、结合第一方面，在第一方面的某些实现方式中，形变学习子模型包括第一卷积神经网络层、第二卷积神经网络层、第三卷积神经网络层、第一transformer层和第二transformer层，形变处理包括第一形变处理和第二形变处理，利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，包括：利用第一卷积神经网络层，基于待配准眼底图像样本和参考图像样本，确定第一形变场；利用第二卷积神经网络层，提取待配准眼底图像样本的局部特征；利用第三卷积神经网络层，基于第一形变场对待配准眼底图像样本的局部特征进行第一形变处理，确定待配准眼底图像样本的局部特征形变结果；利用第一transformer层，基于待配准眼底图像样本，提取待配准眼底图像样本的全局特征；利用第二transformer层，基于第一形变场、待配准眼底图像样本的局部特征形变结果和待配准眼底图像样本的全局特征，进行第二形变处理，获得形变图像样本。

4、结合第一方面，在第一方面的某些实现方式中，基于逆形变参考样本和待配准眼底样本，确定第二损失值，包括：利用第二特征点提取子模型，提取逆形变参考图像样本的关键点，获得逆形变参考图像关键点信息；利用第二特征点提取子模型，提取待配准眼底图像样本的关键点，获得待配准眼底图像关键点信息；基于逆形变参考图像关键点信息和待配准眼底图像关键点信息，利用第二损失函数，进行损失计算，获得第二损失值。

5、结合第一方面，在第一方面的某些实现方式中，该方法还包括：利用逆形变学习子模型，基于形变图像样本和待配准眼底图像样本，并对形变图像样本进行逆形变处理，获得逆形变图像样本；基于逆形变图像样本和待配准眼底图像样本，利用第三损失函数，进行损失计算，获得第三损失值；基于第三损失值，调整形变学习子模型的参数；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型。

6、结合第一方面，在第一方面的某些实现方式中，该方法还包括：利用形变学习子模型，基于逆形变参考图像样本与参考图像样本，对逆形变参考图像样本进行形变处理，获得形变参考图像样本；基于形变参考图像样本与参考图像样本，利用第四损失函数，进行损失计算，获得第四损失值；基于第四损失值，调整形变学习子模型的参数；循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足第三收敛条件，获得训练好的形变学习子模型，包括：循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，且第三损失值满足所述第三收敛条件，且第四损失值满足第四收敛条件，获得训练好的形变学习子模型。

7、结合第一方面，在第一方面的某些实现方式中，在利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本之前，该方法还包括：基于初始参考图像样本和待配准眼底图像样本，利用区域定位子模型，对初始参考图像样本进行裁剪，获得参考图像样本，其中，初始参考图像样本的拍摄视野与待配准眼底图像样本的拍摄视野不一致，参考图像样本包括的眼底图像区域与待配准眼底图像样本包括的眼底图像区域相对应。

8、第二方面，本公开一实施例提供了一种图像处理方法，包括：获取不同模态的多幅眼底图像；将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像，其中，图像配准模型基于上述第一方面所提及的图像配准模型训练方法确定。

9、第三方面，本公开一实施例提供了一种图像配准模型训练装置，包括：形变模块，用于利用形变学习子模型，基于待配准眼底图像样本和参考图像样本，对待配准眼底图像样本进行处理，获得形变图像样本，待配准眼底图像样本的模态和参考图像样本的模态不同；第一特征提取模块，用于利用第一特征点提取子模型，提取形变图像样本的关键点，获得形变图像关键点信息；第一特征提取模块，还用于利用第一特征点提取子模型，提取参考图像样本的关键点，获得参考图像关键点信息；损失计算模块，用于基于形变图像关键点信息和参考图像关键点信息，利用第一损失函数，进行损失计算，获得第一损失值；调整模块，用于基于第一损失值，调整形变学习子模型的参数；逆形变处理模块，用于利用逆形变学习子模型，基于待配准眼底图像样本和参考图像样本，对参考图像样本进行逆形变处理，获得逆形变参考图像样本；损失计算模块，还用于基于逆形变参考样本和待配准眼底样本，获得第二损失值；调整模块，还用于利用所述第二损失值，调整逆形变学习子模型的参数，并循环迭代逆形变学习子模型；确定模块，用于循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件获得训练好的形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型，图像配准模型用于基于待配准眼底图像和参考图像，对待配准眼底图像进行形变，得到形变图像，并将形变图像确定为待配准眼底图像对应的配准图像。

10、第四方面，本公开一实施例提供了一种图像处理装置，包括：获取模块，用于获取不同模态的多幅眼底图像；图像确定模块，用于将不同模态的多幅眼底图像中的一幅眼底图像确定为参考图像，将不同模态的多幅眼底图像中除参考图像之外的眼底图像确定为至少一幅待配准眼底图像；配准模块，用于基于参考图像和至少一幅待配准眼底图像，利用图像配准模型，对至少一幅待配准眼底图像进行配准，得到至少一幅待配准眼底图像各自的配准图像，其中，图像配准模型基于上述第一方面所提及的图像配准模型训练方法确定。

11、第五方面，本公开一实施例提供了一种电子设备，该电子设备包括：处理器，用于存储处理器可执行计算机程序的存储器，其中，处理器记载并执行该计算机程序用于执行上述提及的方法。

12、第六方面，本公开一实施例提供了一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器加载时用于执行上述提及的方法。

13、本公开提供的图像配准模型训练方法通过形变学习子模型、特征点提取子模型，确定形变图像样本和形变图像关键点信息，并结合参考图像样本的关键点信息，训练形变学习子模型，并将训练好的形变学习子模型确定为图像配准模型。由于训练过程中，待配准图像样本和参考图像样本的模态不同，训练好的图像配准模型可以针对不同模态图像进行配准，从而实现了对多模态眼底图像的配准的目的，提高了多模态眼底图像配准结果的精度。此外，本公开实施例通过调整逆形变学习子模型的参数，并通过循环迭代形变学习子模型，直到第一损失值满足第一收敛条件，且第二损失值满足第二收敛条件，获得训练好的形变学习子模型，能够以参考图像样本逆形变到待配准眼底图像样本的形变场，确定形变过程的精确度。逆形变学习子模型迭代过程越短，逆形变学习子模型迭代结果越精确，使得形变学习子模型迭代时间越短，获得的图像配准结果越精确，在缩短训练时间的同时，能够进一步提高图像配准结果的精度。