一种全景图像与点云图像匹配方法、装置、设备及介质与流程

本发明涉及点云数据处理，尤其涉及一种全景图像与点云图像匹配方法、装置、设备及介质。

背景技术：

1、激光扫描仪能够获取密集的点云数据，数码相机能够获取颜色纹理信息，激光点云数据单独不具有颜色信息，在后续的处理过程中不符合目视解译的习惯，而数码影像不方便直接进行量测，两者结合可以更加精确而直观的描述地物。彩色点云是点云数据与影像数据融合的直观产物，在可视化显示、物体分类、物体建模等方面具有很大的优势。

2、影像数据中，全景影像最大的特点是水平方向视场角达到360度，以全景方式查看，三维可视效果好。但是，若想将全景影像与点云数据融合，需要解决两个图像中各个点的匹配问题。两种数据直接融合会产生像素点错位问题，进而导致得到的从彩色点云失真。

技术实现思路

1、本发明实施例提供一种全景图像与点云图像匹配方法、装置、设备及介质，建立全景图像与点云图像匹配准确的匹配关系，避免两者融合时出现失真现象。

2、为实现上述目的，本申请一实施例的第一方面提供一种全景图像与点云图像匹配方法，包括：

3、在点云图像和全景图像分区域选出对应的同名点形成同名点对集合；各个同名点的坐标均用三维坐标表示；

4、根据所述同名点对集合中各个同名点对的坐标确认损失函数；

5、将所述损失函数的自变量转换为三维变量；

6、不断根据所述损失函数的偏导结果改变偏移变量，按照所述偏移变量的值对所述点云图像上所有的点进行偏移，代入所述同名点对集合的坐标数据求取所述损失函数的值，直至所述损失函数的值最小；所述偏移变量的初始值是预设的；

7、根据所述偏移变量的值对所述点云图像和所述全景图像建立匹配关系。

8、在第一方面的一种可能的实现方式中，所述在点云图像和全景图像分区域选出对应的同名点形成同名点对集合，具体包括：

9、在每个区域中选出多于预设数量的对应的同名点形成同名点对集合。

10、在第一方面的一种可能的实现方式中，所述根据所述同名点对集合中各个同名点对的坐标确认损失函数，具体包括：

11、对各个同名点对的天顶角差值的平方与方位角差值的平方之和进行累加，得到损失函数。

12、在第一方面的一种可能的实现方式中，所述将所述损失函数的自变量转换为三维变量，具体包括：

13、根据球面坐标与三位坐标的转换方程，用三位变量替代所述损失函数中天顶角变量与方位角变量。

14、第一方面的一种可能的实现方式中，所述不断根据所述损失函数的偏导结果改变偏移变量，按照所述偏移变量的值对所述点云图像上所有的点进行偏移，代入所述同名点对集合的坐标数据求取所述损失函数的值，直至所述损失函数的值最小，具体包括：

15、不断根据所述损失函数的偏导结果确认所述损失函数的偏导方向，在所述偏导方向上按照预设学习率对偏移变量的值进行调整；

16、不断按照所述偏移变量的值对所述点云图像上所有的点进行偏移，代入所述同名点对集合的坐标数据求取所述损失函数的值；

17、当所述损失函数的值不在减少时，保留此时对应的偏移变量的值。

18、第一方面的一种可能的实现方式中，所述不断根据所述损失函数的偏导结果确认所述损失函数的偏导方向，具体包括：

19、分别对所述损失函数在三维变量的三个方向上求偏导；

20、根据三个偏导结果确认所述损失函数的偏导方向。

21、第一方面的一种可能的实现方式中，所述根据所述偏移变量的值对所述点云图像和所述全景图像建立匹配关系，具体包括：

22、根据所述偏移变量的值建立所述点云图像和所述全景图像之间三维坐标的匹配方程；所述匹配方程包括三种变量的转换关系。

23、本申请实施例的第二方面提供一种全景图像与点云图像匹配装置，包括：

24、同名点对筛选模块，用于在点云图像和全景图像分区域选出对应的同名点形成同名点对集合；各个同名点的坐标均用三维坐标表示；

25、损失函数确认模块，根据所述同名点对集合中各个同名点对的坐标确认损失函数；

26、转换模块，用于将所述损失函数的自变量转换为三维变量；

27、偏移变量迭代模块，用于不断根据所述损失函数的偏导结果改变偏移变量，按照所述偏移变量的值对所述点云图像上所有的点进行偏移，代入所述同名点对集合的坐标数据求取所述损失函数的值，直至所述损失函数的值最小；所述偏移变量的初始值是预设的；

28、匹配模块，用于根据所述偏移变量的值对所述点云图像和所述全景图像建立匹配关系。

29、本申请实施例的第三方面提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述全景图像与点云图像匹配方法。

30、本申请实施例的第四方面提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述全景图像与点云图像匹配方法。

31、相比于现有技术，本发明实施例提供的一种全景图像与点云图像匹配方法、装置、设备及介质，根据同名点对的球坐标差值确认损失函数，根据损失函数的值不断调整偏移变量的值，直至损失函数的值不再减少。由于损失函数的值反映了同名点对之间的差异，与匹配准确度成正相关。因此，迭代后偏移变量的值反映了点云图像和全景图像的一种准确的匹配关系，根据这种匹配进行匹配可以使得全景图像与点云图像进行融合时造成的失真最小化。

技术特征：

1.一种全景图像与点云图像匹配方法，其特征在于，包括：

2.如权利要求1所述全景图像与点云图像匹配方法，其特征在于，所述在点云图像和全景图像分区域选出对应的同名点形成同名点对集合，具体包括：

3.如权利要求1所述全景图像与点云图像匹配方法，其特征在于，所述根据所述同名点对集合中各个同名点对的坐标确认损失函数，具体包括：

4.如权利要求1所述全景图像与点云图像匹配方法，其特征在于，所述将所述损失函数的自变量转换为三维变量，具体包括：

5.如权利要求1所述全景图像与点云图像匹配方法，其特征在于，所述不断根据所述损失函数的偏导结果改变偏移变量，按照所述偏移变量的值对所述点云图像上所有的点进行偏移，代入所述同名点对集合的坐标数据求取所述损失函数的值，直至所述损失函数的值最小，具体包括：

6.如权利要求5所述全景图像与点云图像匹配方法，其特征在于，所述不断根据所述损失函数的偏导结果确认所述损失函数的偏导方向，具体包括：

7.如权利要求1所述全景图像与点云图像匹配方法，其特征在于，所述根据所述偏移变量的值对所述点云图像和所述全景图像建立匹配关系，具体包括：

8.一种全景图像与点云图像匹配装置，其特征在于，包括：

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述全景图像与点云图像匹配方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述全景图像与点云图像匹配方法。

技术总结
本发明公开一种全景图像与点云图像匹配方法、装置、设备及介质，所述方法包括：在点云图像和全景图像分区域选出对应的同名点形成同名点对集合；根据所述同名点对集合中各个同名点对的坐标确认损失函数；将所述损失函数的自变量转换为三维变量；不断根据所述损失函数的偏导结果改变偏移变量，按照所述偏移变量的值对所述点云图像上所有的点进行偏移，代入所述同名点对集合的坐标数据求取所述损失函数的值，直至所述损失函数的值最小；所述偏移变量的初始值是预设的；根据所述偏移变量的值对所述点云图像和所述全景图像建立匹配关系。采用本发明，建立全景图像与点云图像匹配准确的匹配关系，避免两者融合时出现点对匹配错位现象。

技术研发人员：周佛灵,邹朝军
受保护的技术使用者：广东维美家科技有限公司
技术研发日：
技术公布日：2024/1/15