图像配准方法及装置、图像处理方法与流程

本公开涉及图像处理，具体涉及一种图像配准方法及装置、图像处理方法。

背景技术：

1、图像配准能够使得多幅眼底图像在空间域中的几何位置达到完全对应，通过患者在不同时期的眼底图像的配准，使得医生能够确定患者的眼底变化的情况，了解患者的病情发展情况。传统的图像配准方法包括：基于灰度信息的配准方法、基于边缘的配准方法、基于轮廓的配准方法等配准方法。

2、但是，由于传统的配准方法需要眼底图像是线性光照变化和刚体变换或者对比度在一定范围内，才能实现精确的配准。但由于眼底图像中的病灶往往具有特殊性，眼底图像可能会存在遮掩、几何畸变、模糊、严重非线性光照变化等干扰，传统的配准方法的结果精确度降低。因此，亟需一种图像配准方法，解决在眼底图像进行配准时，传统的配准方法精确度低的问题。

技术实现思路

1、有鉴于此，本公开提供一种图像配准方法及装置、图像处理方法，以解决眼底图像进行配准时，传统的配准方法精确度低的问题。

2、第一方面，本公开一实施例提供的一种图像配准方法，包括：基于待校正眼底图像和参考眼底图像，利用包括可变形卷积层和全连接层的深度学习模型，确定待校正眼底图像和参考眼底图像的匹配关系数据，其中，可变形卷积层用于提取待校正眼底图像和参考眼底图像各自的特征点，全连接层用于基于待校正眼底图像和参考眼底图像各自的特征点，生成待校正眼底图像和参考眼底图像的匹配关系数据；基于待校正眼底图像和参考眼底图像的匹配关系数据，将待校正眼底图像与参考眼底图像进行融合，得到待校正眼底图像对应的配准图像。

3、结合第一方面，在第一方面的某些实现方式中，基于待校正眼底图像和参考眼底图像，利用包括可变形卷积层和全连接层的深度学习模型，确定待校正眼底图像和参考眼底图像的匹配关系数据，包括：利用可变形卷积层，分别对待校正眼底图像和参考眼底图像进行特征提取，确定待校正眼底图像和参考眼底图像各自的特征点；利用全连接层，分别对待校正眼底图像和参考眼底图像各自的特征点进行单应性映射变换，确定单应性矩阵，并将单应性矩阵确定为待校正眼底图像和参考眼底图像的匹配关系数据。

4、结合第一方面，在第一方面的某些实现方式中，在利用所述可变形卷积层，分别对待校正眼底图像和参考眼底图像进行特征提取，确定待校正眼底图像和参考眼底图像各自的特征点之前，该图像配准方法还包括：获取原始待校正眼底图像和原始参考眼底图像；分别对原始待校正眼底图像和原始参考眼底图像进行血管提取处理，确定待校正眼底和参考眼底图像，其中，待校正眼底和参考眼底图像均包括血管图像区域；其中，利用可变形卷积层，分别对待校正眼底图像和参考眼底图像进行特征提取，确定待校正眼底图像和参考眼底图像各自的特征点，包括：利用可变形卷积层，分别对待校正眼底图像中的血管图像区域和参考眼底图像中的血管图像区域进行特征提取，确定待校正眼底图像和参考眼底图像各自的特征点。

5、结合第一方面，在第一方面的某些实现方式中，分别对原始待校正眼底图像和原始参考眼底图像进行血管提取处理，确定待校正眼底和参考眼底图像，包括：分别对原始待校正眼底图像和原始参考眼底图像进行血管提取，获得原始待校正血管图像和原始参考血管图像；分别对原始待校正血管图像和原始参考血管图像进行二值化处理，得到原始待校正眼底二值化图像和原始参考二值化图像；基于原始待校正二值化图像和原始参考二值化图像、原始待校正眼底图像和原始参考眼底图像，确定待校正眼底和参考眼底图像。

6、结合第一方面，在第一方面的某些实现方式中，所述基于原始待校正二值化图像和原始参考二值化图像、原始待校正眼底图像和原始参考眼底图像，确定待校正眼底和参考眼底图像，包括：分别对原始待校正二值化图像和原始参考二值化图像进行腐蚀处理，确定原始待校正二值化图像的血管中心线和原始参考二值化图像的原始血管区域的血管中心线；分别对原始待校正二值化图像的血管中心线和原始参考二值化图像的血管中心线进行膨胀处理，确定原始待校正二值化图像的血管膨胀区域和原始参考二值化图像的血管膨胀区域；在原始待校正眼底图像中，提取与原始待校正二值化图像的血管膨胀区域对应的区域，得到待校正眼底图像；在原始参考眼底图像中，提取与原始参考二值化图像的血管膨胀区域对应的区域，得到参考眼底图像。

7、结合第一方面，在第一方面的某些实现方式中，在基于待校正眼底图像和参考眼底图像，利用包括可变形卷积层和全连接层的深度学习模型，确定待校正眼底图像和参考眼底图像的匹配关系数据之前，该方法还包括：确定眼底图像样本和眼底图像样本对应的参考眼底图像样本；基于眼底图像样本和眼底图像样本对应的参考眼底图像样本训练包括初始可变形卷积层和初始全连接层的初始网络模型，得到深度学习模型。

8、第二方面，本公开一实施例提供的一种图像处理方法，包括：获取依照拍摄时间排列的多幅眼底图像；将多幅眼底图像中的一幅眼底图像确定为参考眼底图像，将多幅眼底图像中除参考眼底图像之外的眼底图像确定为多幅待校正眼底图像；基于参考眼底图像和多幅待校正眼底图像，利用上述第一方面提及的图像配准方法，对多幅待校正眼底图像进行配准，得到多幅待校正眼底图像各自的配准图像；对多幅待校正眼底图像各自的配准图像进行比对，确定多幅待校正眼底图像的图像差异。

9、第三方面，本公开一实施例提供的一种图像配准装置，包括：确定模块，用于基于待校正眼底图像和参考眼底图像，利用包括可变形卷积层和全连接层的深度学习模型，确定待校正眼底图像和参考眼底图像的匹配关系数据，其中，可变形卷积层用于提取待校正眼底图像和参考眼底图像各自的特征点，全连接层用于基于待校正眼底图像和参考眼底图像各自的特征点，生成待校正眼底图像和所述参考眼底图像的匹配关系数据；配准模块，用于基于待校正眼底图像和参考眼底图像的匹配关系数据，将待校正眼底图像与参考眼底图像进行融合，得到待校正眼底图像对应的配准图像。

10、第四方面，本公开一实施例提供的一种图像处理装置，包括：获取模块，用于获取依照拍摄时间排列的多幅眼底图像；参考图像确定模块，用于将多幅眼底图像中的一幅眼底图像确定为参考眼底图像，将多幅眼底图像中除参考眼底图像之外的眼底图像确定为多幅待校正眼底图像；确定配准模块，用于基于参考眼底图像和多幅待校正眼底图像，利用上述第一方面提及的图像配准方法，对多幅待校正眼底图像进行配准，得到多幅待校正眼底图像各自的配准图像；对比模块，用于对多幅待校正眼底图像各自的配准图像进行比对，确定多幅待校正眼底图像的图像差异。

11、第五方面，本公开一实施例提供的一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所提及的方法。

12、第六方面，本公开一实施例提供一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序用于执行上述第一方面所提及的方法。

13、本公开实施例提供的图像配准方法，通过包含可形变卷积和全连接层的深度学习模型，确定待校正眼底图像和参考眼底图像的匹配关系数据，通过待校正眼底图像和参考眼底图像的匹配关系数据，确定待校正图像的配准图像。由于可形变卷积能够通过提取待校正眼底图像和参考眼底图像各自的特征点来捕捉待校正眼底图像和参考眼底图像之间的微小变形，降低了待校正眼底图像和参考眼底图像之间存在分辨率不同、尺寸不同、几何畸变等干扰以及待校正图像中存在遮挡、模糊等干扰的影响，提高了图像配准的精确度。