一种大幅度旋转图像的匹配方法、装置及存储介质

本发明涉及图像处理，尤其是涉及一种大幅度旋转图像的匹配方法、装置及存储介质。

背景技术：

1、基于深度学习的图像匹配方法已经成为许多计算机视觉和机器人应用中的主流技术，因为它们对大的照明和视点变化具有鲁棒性，普遍应用于相机运动估计、多视图三维重建、遥感图像拼接等领域。然而，传统的卷积神经网络很难提取旋转等变局部特征。最近的研究表明，即使当图像旋转幅度很大时，群等变神经网络在图像匹配方面也非常有效。然而，卷积核的固有形状(正方形)导致了这种旋转等变神经网络的性能瓶颈，只能在几个固定角度表现较好，在0到360°之间呈现出波峰和波谷交替的性能表现。因此，如何有效利用等变神经网络，根据图像匹配方法的应用特点，设计合理的解决方案，使得算法能够抵消波谷情况的性能损失，达到在0～360°都有很好的性能表现，就成了问题的关键，而现有技术中并未给出有效的解决方案。

技术实现思路

1、本发明的目的就是为了提供一种大幅度旋转图像的匹配方法、装置及存储介质，利用旋转等变神经网络实现所有角度下旋转的图像高精度匹配，并可以克服大幅度光照变化。

2、本发明的目的可以通过以下技术方案来实现：

3、一种大幅度旋转图像的匹配方法，包括以下步骤：

4、s1：输入参考图像和目标图像；

5、s2：对图像进行均值化和标准化预处理；

6、s3：根据卷积神经网络固有的平移不变性，将旋转图像的匹配问题简化为使用基于平面旋转群so2的群等变神经网络建模对应点匹配问题；

7、s4：构建旋转等变图像特征提取器并训练，用于分别提取参考图像、目标图像和45°旋转参考图像的图像特征；

8、s5：建立2条匹配路线，分别对每一条匹配路线中图像的图像特征应用最近邻匹配算法进行匹配，其中，第一条匹配路线为参考图像和目标图像的匹配，第二条匹配路线为45°旋转参考图像和目标图像的匹配；

9、s6：基于双旋转等变激励混合器对2条匹配路线的匹配结果进行一次滤波、反投影、合并、二次滤波处理，输出参考图像和目标图像中稠密对应点的匹配关系。

10、针对旋转图像匹配方法应用于数字图像的特点，考虑卷积神经网络卷积核为正方形的特点，所述平面旋转群采用4次旋转构成的纯旋转群。

11、所述旋转等变图像特征提取器对输入图像进行提升操作后输入旋转等变骨干网络，得到旋转等变特征图，并采用群最大池化操作将旋转等变特征图转化为旋转不变特征图，将旋转不变特征图分别经过逐像素的二范数和二次幂运算，得到描述子和新的特征图，新的特征图再经过通道维度的全连接运算，分别得到可靠性图和可重复性图。

12、所述提升操作将二维欧式空间的输入图像提升到旋转群空间。

13、所述旋转等变骨干网络采用5层卷积层实现，其中，每一层都包含卷积、批归一化和非线性激活的操作，前4层卷积核大小为3×3，最后一层根据实际应用灵活调整感受野，第3层和第4层使用空洞卷积，在不增加参数量和计算量的同时有效扩张感受野。

14、当输入的图像旋转90°之后，旋转等变骨干网络输出的旋转等变特征图也会在空间上进行90°的旋转，并且，在旋转等变的通道维度上，表现为通道顺序的置换。

15、所述步骤s6包括以下步骤：

16、s61：分别对2条匹配路线的匹配结果基于随机采样一致性(random sampleconsensus,ransac)算法进行一次滤波，滤除离群点；

17、s62：对一次滤波后的第二条匹配路线的匹配结果进行反投影操作后，与一次滤波后的第一条匹配路线的匹配结果进行合并；

18、s63：基于ransac算法对合并结果进行二次滤波处理，再次滤除离群点，输出参考图像和目标图像中稠密对应点的匹配关系。

19、基于所述匹配方法输出的参考图像和目标图像中稠密对应点的匹配关系，结合相机内参，计算得到图像之间的位姿变换关系，应用于计算机视觉的各个领域。

20、一种大幅度旋转图像的匹配装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

21、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

22、与现有技术相比，本发明具有以下有益效果：

23、(1)本发明提出了一种基于群等变神经网络的统一框架，克服传统卷积神经网络在大幅度旋转下性能大大降低的情况，实现了高精度的旋转匹配。

24、(2)本发明设计了一种双旋转等变激励混合器，能有效解决群等变神经网络在图像匹配问题上表现周期化的情况(即只能在几个固定角度附近达到优异表现，在这之外的角度上表现非常差)，在各个角度下都表现优异，能够适应大幅度光照变化，适用范围广。

技术特征：

1.一种大幅度旋转图像的匹配方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种大幅度旋转图像的匹配方法，其特征在于，针对旋转图像匹配方法应用于数字图像的特点，考虑卷积神经网络卷积核为正方形的特点，所述平面旋转群采用4次旋转构成的纯旋转群。

3.根据权利要求1所述的一种大幅度旋转图像的匹配方法，其特征在于，所述旋转等变图像特征提取器对输入图像进行提升操作后输入旋转等变骨干网络，得到旋转等变特征图，并采用群最大池化操作将旋转等变特征图转化为旋转不变特征图，将旋转不变特征图分别经过逐像素的二范数和二次幂运算，得到描述子和新的特征图，新的特征图再经过通道维度的全连接运算，分别得到可靠性图和可重复性图。

4.根据权利要求3所述的一种大幅度旋转图像的匹配方法，其特征在于，所述提升操作将二维欧式空间的输入图像提升到旋转群空间。

5.根据权利要求3所述的一种大幅度旋转图像的匹配方法，其特征在于，所述旋转等变骨干网络采用5层卷积层实现，其中，每一层都包含卷积、批归一化和非线性激活的操作，前4层卷积核大小为3×3，最后一层根据实际应用灵活调整感受野，第3层和第4层使用空洞卷积，在不增加参数量和计算量的同时有效扩张感受野。

6.根据权利要求3所述的一种大幅度旋转图像的匹配方法，其特征在于，当输入的图像旋转90°之后，旋转等变骨干网络输出的旋转等变特征图也会在空间上进行90°的旋转，并且，在旋转等变的通道维度上，表现为通道顺序的置换。

7.根据权利要求1所述的一种大幅度旋转图像的匹配方法，其特征在于，所述步骤s6包括以下步骤：

8.根据权利要求1所述的一种大幅度旋转图像的匹配方法，其特征在于，基于所述匹配方法输出的参考图像和目标图像中稠密对应点的匹配关系，结合相机内参，计算得到图像之间的位姿变换关系，应用于计算机视觉的各个领域。

9.一种大幅度旋转图像的匹配装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。

技术总结
本发明涉及一种大幅度旋转图像的匹配方法、装置及存储介质，其中方法包括以下步骤：输入参考图像和目标图像并进行预处理；根据卷积神经网络固有的平移不变性，将旋转图像的匹配问题简化为使用基于平面旋转群SO2的群等变神经网络建模对应点匹配问题；构建旋转等变图像特征提取器并训练；建立2条匹配路线，分别对每一条匹配路线中图像的图像特征应用最近邻匹配算法进行匹配；基于双旋转等变激励混合器对2条匹配路线的匹配结果进行一次滤波、反投影、合并、二次滤波处理，输出参考图像和目标图像中稠密对应点的匹配关系。与现有技术相比，本发明既可以克服大幅度光照变化影响又可以实现所有角度下旋转的图像匹配。

技术研发人员：范睿,苏帅,陈启军,刘成菊
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/1/13