一种选择MVS稠密重建的首张参考图像的方法及系统

本发明涉及三维重建领域，尤其涉及一种选择mvs稠密重建的首张参考图像的方法及系统。

背景技术：

1、随着对于三维重建的需求的出现，传统多视点立体视觉(mvs)方法应运而生。mvs方法旨在从多个视角的图像中恢复出场景的三维结构。它的主要目标是通过分析和处理多个视角的图像数据，恢复出场景的几何结构和深度信息。该方法的背景可以追溯到计算机视觉和计算机图形学的研究领域。传统mvs方法的发展始于对图像处理、特征提取和匹配技术的探索。随着数字图像处理技术的进步，人们能够更准确地提取和匹配图像中的特征点，从而实现了图像对齐的能力。使用mvs进行稠密重建，是在sfm稀疏重建的基础上进一步对点云进行扩张，从而得到更好的重建效果。

2、首张参考图片用于mvs的首次重建，是整个重建的基础，首次重建的效果对最终重建的效果有着举足轻重的影响，在这种情况下，mvs存在许多缺陷。比如：(1)由于首张参考图片与关联图片的匹配点很少，导致首次重建失败；(2)由于首张参考图片的关联图片很少，可能造成首张深度图的精度欠佳，在后续的重建中需要花费更多的时间进行补点，使得效率降低；(3)由于首张参考图片并非最好的参考图片，致使后续的重建中把更精度更高的点丢弃。

技术实现思路

1、本发明的目的在于克服现有多视点立体视觉方法中首张参考图片选取存在的问题，提供了一种选择mvs重建的首张参考图像的方法及系统。

2、本发明的目的是通过以下技术方案来实现的：

3、第一方面，提供一种选择mvs稠密重建的首张参考图像的方法，包括以下步骤：

4、s1、输入源图像数据；

5、s2、遍历计算源图像的入射角，在每个循环中，计算其他源图像相对于当前源图像的入射角，得到相对于每个源图像的入射角在一定阈值内的其他源图像数量；

6、s3、对每个源图像对应的其他源图像数量进行归一化，得到衡量该指标的第一参数；

7、s4、对所有源图像进行特征检测；

8、s5、进行特征匹配，记录每张源图像的特征点匹配对总和；

9、s6、对每个源图像的特征点匹配对总和进行归一化，得到衡量该指标的第二参数；

10、s7、计算每张源图像的第一参数和第二参数的乘积，选择乘积结果最大的源图像作为首张参考图像。

11、优选地，通过以下公式计算其他源图像相对于当前源图像的入射角：

12、

13、其中m为其他源图像，l为当前源图像的像素，p为当前源图像在增量式sfm中得到的三维点，c为其他源图像的投影中心，p-c为从点到相机的光线方向，n为法线方向。

14、优选地，所述入射角的阈值为45°。

15、优选地，由以下公式计算第一参数：

16、

17、其中，omax为其他源图像数量的最大值，omin为其他源图像数量的最小值。

18、优选地，通过sift特征提取算法对所有源图像进行特征检测，得到每个源图像对应的特征描述子。

19、优选地，所述步骤s5具体包括：

20、使用特征描述子之间的欧氏距离来匹配图像中的特征，得到匹配对的信息。

21、优选地，由以下公式计算第二参数：

22、

23、其中，mmax为特征点匹配对总和的最大值，mmin为特征点匹配对总和的最小值。

24、第二方面，提供一种选择mvs稠密重建的首张参考图像的系统，包括：

25、图像输入模块，配置为输入源图像数据；

26、入射角计算模块，配置为遍历计算源图像的入射角，在每个循环中，计算其他源图像相对于当前源图像的入射角，得到相对于每个源图像的入射角在一定阈值内的其他源图像数量；

27、第一参数计算模块，配置为对每个源图像对应的其他源图像数量进行归一化，得到衡量该指标的第一参数；

28、体征提取及匹配模块，配置为对所有源图像进行特征检测，并进行特征匹配，记录每张源图像的特征点匹配对总和；

29、第一参数计算模块，配置为对每个源图像的特征点匹配对总和进行归一化，得到衡量该指标的第二参数；

30、参考图像选取模块，配置为计算每张源图像的第一参数和第二参数的乘积，选择乘积结果最大的源图像作为首张参考图像。

31、需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

32、与现有技术相比，本发明有益效果是：

33、本发明通过综合对比对于某一图像的其他源图像的入射角在一定阈值的数量和对比特征点匹配对总和的数量，可以判断出哪一张图像有更多的相关图像可以用于重建，从而选择一个最合适的视角的图像进行重建，得到更完整更准确的点云深度信息，获得更多数量三维点的首张参考图像，从而在mvs中获得精度更高的重建，并提高重建的效率。

技术特征：

1.一种选择mvs稠密重建的首张参考图像的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种选择mvs稠密重建的首张参考图像的方法，其特征在于，通过以下公式计算其他源图像相对于当前源图像的入射角：

3.根据权利要求1所述的一种选择mvs稠密重建的首张参考图像的方法，其特征在于，所述入射角的阈值为45°。

4.根据权利要求1所述的一种选择mvs稠密重建的首张参考图像的方法，其特征在于，由以下公式计算第一参数：

5.根据权利要求1所述的一种选择mvs稠密重建的首张参考图像的方法，其特征在于，通过sift特征提取算法对所有源图像进行特征检测，得到每个源图像对应的特征描述子。

6.根据权利要求5所述的一种选择mvs稠密重建的首张参考图像的方法，其特征在于，所述步骤s5具体包括：

7.根据权利要求1所述的一种选择mvs稠密重建的首张参考图像的方法，其特征在于，由以下公式计算第二参数：

8.一种选择mvs稠密重建的首张参考图像的系统，其特征在于，包括：

技术总结
本发明公开了一种选择MVS稠密重建的首张参考图像的方法及系统，属于三维重建领域，包括：输入源图像数据；遍历计算源图像的入射角，在每个循环中，计算其他源图像相对于当前源图像的入射角，得到相对于每个源图像的入射角在一定阈值内的其他源图像数量；对每个源图像对应的其他源图像数量进行归一化，得到衡量该指标的第一参数；对所有源图像进行特征检测；进行特征匹配，记录每张源图像的特征点匹配对总和；对每个源图像的特征点匹配对总和进行归一化，得到衡量该指标的第二参数；计算每张源图像的第一参数和第二参数的乘积，选择乘积结果最大的源图像作为首张参考图像。本发明可以获得能重建更多数量三维点的首张参考图像，从而在MVS中获得精度更高的重建，并提高重建的效率。

技术研发人员：何明耘,赵安琦,匡平
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/3/31