一种多视影像三维线段重建方法、系统、电子设备及介质

本发明属于三维重建，具体涉及一种多视影像三维线段重建方法、系统、电子设备及介质。

背景技术：

1、基于影像密集匹配点云重建的三维网格模型往往存在明显的局部几何变形与边缘扭曲、缺失等问题，给后续的精细三维建模带来了巨大的人工编辑工作量。在人工场景中，三维线段包含比三维点云更丰富的几何和结构信息，这有利于提供约束以改进基于点云的网格模型或构建精确的线框。然而，从多视影像中高效重建具有高场景覆盖度的三维线段仍然十分具有挑战性。近年来，许多三维线段重建方法被提出，根据重建过程中是否需要一一对应的二维匹配线段，现有的三维线段重建方法可以分为以下两类：

2、（1）基于二维线段匹配结果的三维线段重建方法

3、此类方法通常是先进行影像线段匹配得到一一对应的二维线段对应关系，然后合并对应于同一条三维线段的二维匹配或者选择其中具有代表性的二维匹配线段进行交会得到最终的三维线段。上述方法的关键在于有效地获得可靠的二维线段匹配关系。目前，许多二维线段匹配方法被提出，大致可分为基于单线段的方法和基于线段组的方法。

4、其中，基于单线段的匹配方法一般利用单个线段周围的几何和灰度信息来构造描述符，基于描述符的相似性来度量这些线段的相似性。然而这些方法要求对应的线段有足够的重叠和一致的光照或颜色来提取相似的描述符。基于线段组的方法通常基于相邻线段有可能共面的假设对两条或多条线段进行分组，然后，它们使用线段组作为匹配基元来构造特征描述符或几何约束以进行二维线段匹配。基于线段组的方法通常比基于单线段的方法产生更好的匹配结果，因为可以根据线段组中线段之间的关系构造更多的消歧约束。但是，算法的复杂度会随着组成线段组的线段数量的增加而显著增加。

5、在获得一一对应的二维线段匹配结果后，它们可以输入到运动恢复结构算法中同时重建三维线段和解算影像相机姿态。在已知相机姿态的情况下，一些方法基于平面单应性假设重建三维线段。基于平面单应性对匹配的二维线段进行分组，然后在三维空间中估计平面并将二维线段投影到估计的平面上。虽然这个过程产生了视觉上令人满意的重建结果，但它的运行时间随着数据集中影像数量的增加而显著增加。为了提高重建效率，可以利用在运动恢复结构过程中计算的三维点来约束线段匹配和重建过程。通过三角交会得到每对影像上匹配线段对应的三维估计结果，然后从多视影像获得的冗余三维估计结果中选择最优三维线段作为重建结果。这种方法的效率较高，但重建的三维线段的定位精度可能不如通过多视聚类获得的那样准确。此外，由于运动恢复结构过程获得的三维点在某些场景中非常稀疏，特别是在弱纹理区域，许多线段的邻域不存在三维点，导致重建的三维线段的空间覆盖率较低。

6、（2）无需一一对应的二维线段匹配结果的三维线段重建方法

7、由于建立一对一的二维线段对应关系非常耗时，并且难以提高匹配的召回率和精度，因此一些线段三维重建方法不试图在三维线段重建之前获得一对一的二维线段对应关系，甚至其中一些方法连粗略的二维线段对应关系都不需要。这些方法通过最小化相邻视图之间的重投影误差来确定三维空间中二维线段端点的位置，然后通过合并对应于同一三维实体的三维线段来获得重建结果。然而，这种方法的一个明显缺点是，由于没有利用任何二维线段对应关系，因此需要评估所有潜在的三维坐标，这个过程非常耗时。

8、另一种策略是既不确定一一对应的线段匹配关系，也不完全放弃粗略的线段对应关系。这类方法使用弱几何约束（例如，基于极线的约束）来为每条二维线段确定多条候选二维匹配线段，并生成多个三维估计结果。再使用多视影像进行验证这些三维估计结果，以确定每个二维线段的唯一三维估计结果。最后，通过多视影像聚类操作来获得最终的三维线段重建结果。

9、尽管近年来三维线段重建的研究取得了长足的进步，但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：

10、a.对于要求一一对应的二维匹配线段的方法，二维线段匹配过程非常耗时，难以获得召回率和精度高的匹配结果，因此降低了重建过程的效率和重建的三维线段的空间覆盖度。

11、b.虽然上述问题可以在无需一一对应的二维匹配线段的基于三维估计结果的方法中得到缓解，但由于这些方法为每个二维线段生成三维估计结果所利用的约束非常弱，正确的三维估计结果在所有三维估计结果中所占的比例极低，这使得确定正确三维估计结果变得困难且效率低下。此外，一些不准确的三维估计结果将参与三维线段聚类，这将降低重建的三维线段的精度。

技术实现思路

1、本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种多视影像三维线段重建方法、系统、电子设备及介质。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种多视影像三维线段重建方法，包括：

4、提取多视影像集中每幅影像的二维线段；

5、获取多视影像集中每幅影像的先验信息，并根据每幅影像的先验信息为多视影像集中每幅影像确定相邻影像，得到多视影像集中所有需要进行二维线段匹配的待匹配影像对；

6、对所述待匹配影像对进行二维线段匹配，得到多视影像集中每对待匹配影像对之间的二维线段匹配结果；

7、根据每对待匹配影像对之间的二维线段匹配结果，得到三维估计结果；

8、基于所述三维估计结果得到三维线段重建结果。

9、本发明能够高效地重建高场景覆盖度的三维线段，不仅可以用于构建准确的线框模型，还能用于构建约束来优化基于点云的三维网格模型。具体地，在进行二维线段匹配时，本发明通过利用先验信息来减小二维线段匹配的搜索范围，将候选线段匹配的搜索范围大大缩小，有助于提高二维线段匹配的效率、精度和召回率，从而提高三维线段的重建效率和空间覆盖率；然后为每个二维线段确定唯一的三维估计结果；最后生成三维线段。本发明避免了多视影像中一些不可靠、不准确的冗余候选匹配对重建三维线段精度的影响，同时保证了三维线段重建的可靠性。

10、在一个可能的设计中，所述先验信息包括三维点云；任一幅影像的相邻影像为多视影像集中与当前影像的相似度最高的k个影像；其中，影像 x和影像 y的相似度为：

11、 s( x, y)=2| w( x)∩ w( y)|/(| w( x)|+| w( y)|)；式（1）

12、式（1）中， w( x)为影像 x的先验信息中三维点云上可见的三维点的数量， w( y)为影像 y的先验信息中三维点云上可见的三维点的数量。

13、在一个可能的设计中，所述先验信息包括深度图；在所述待匹配影像对中，将正在进行遍历的影像称为参考影像，将寻找匹配线段的影像称为搜索影像，将从任一待匹配影像对（ ir， is）的参考影像 ir上提取的线段集称为 lr，将从当前待匹配影像对（ ir， is）的搜索影像 is上提取的线段集称为 ls，则对当前待匹配影像对（ ir， is）进行二维线段匹配，得到当前待匹配影像对（ ir， is）之间的二维线段匹配结果，包括：

14、根据式（2）和式（3），将当前待匹配影像对（ ir， is）的参考影像 ir的线段集 lr中的任一参考线段基于深度图投影至当前待匹配影像对（ ir， is）的搜索影像 is上，并得到与参考线段对应的虚拟线段；

15、；式（2）

16、；式（3）

17、式（2）和式（3）中，和分别为参考影像和搜索影像对应的相机内参矩阵；和分别为参考影像和搜索影像对应的旋转矩阵；和分别为参考影像和搜索影像对应的相机中心的世界坐标；、和分别为参考线段的端点的影像坐标、世界坐标和深度图对应位置的深度值；和分别为虚拟线段的端点坐标和深度图对应位置的深度值；

18、在虚拟线段的邻域内获取参考线段的匹配线段，遍历参考影像 ir的线段集 lr中的其他参考线段，直到得到当前待匹配影像对（ ir， is）的参考影像 ir中所有参考线段的匹配线段，参考影像 ir中所有参考线段与对应的匹配线段构成当前待匹配影像对（ ir， is）之间的二维线段匹配结果。

19、在一个可能的设计中，根据式（2）和式（3），将当前待匹配影像对（ ir， is）的参考影像 ir的线段集 lr中的任一参考线段基于深度图投影至当前待匹配影像对（ ir， is）的搜索影像 is上，并得到与参考线段对应的虚拟线段，包括：

20、将当前待匹配影像对（ ir， is）的参考影像 ir的线段集 lr中的任一参考线段进行等间隔采样，得到指定数量的采样点；

21、根据式（2）和式（3），将参考线段上的采样点投影至搜索影像 is上，并得到参考线段上的采样点对应的虚拟点，基于其中任意两个虚拟点得到一条与参考线段对应的候选虚拟线段；

22、对于每一条候选虚拟线段，计算其他虚拟点到其的垂直距离，若垂直距离小于距离阈值 tfit，则认为该虚拟点支持当前候选虚拟线段，并根据支持当前候选虚拟线段的虚拟点的个数得到当前候选虚拟线段的支持度；其中，当前候选虚拟线段的支持度为支持当前候选虚拟线段的虚拟点的个数；

23、遍历参考线段上的所有采样点后，得到所有候选虚拟线段中支持度最高的一条候选虚拟线段，并将该候选虚拟线段作为与参考线段对应的虚拟线段。

24、在一个可能的设计中，在虚拟线段的邻域内获取参考线段的匹配线段，包括：

25、以虚拟线段为基准，扩展参数为 r建立矩形搜索区域，并将矩形搜索区域作为参考线段在搜索影像 is上的匹配线段的搜索范围；其中，所有与矩形搜索区域相交的线段被认为是参考线段的候选匹配线段集；

26、根据式（4）和式（5），计算候选匹配线段集中每条候选匹配线段与虚拟线段的相似度，并将具有最高相似度的候选匹配线段作为参考线段的匹配线段，并将该最高相似度视为参考线段与其匹配线段的相似度；

27、式（4）

28、式（5）

29、式（4）和式（5）中，为虚拟线段和任一候选匹配线段的相似度；为虚拟线段和该候选匹配线段的夹角；和分别为该候选匹配线段两个端点到虚拟线段的垂距；为虚拟线段和该候选匹配线段重叠的长度；为虚拟线段和该候选匹配线段中较短的线段的长度； tα为角度阈值； td为距离阈值； to为重叠度阈值。

30、在一个可能的设计中，根据每对待匹配影像对之间的二维线段匹配结果，得到三维估计结果，包括：

31、假设参考影像 ir有n-1个相邻影像，对于参考影像 ir上的线段集 lr中的二维线段 lr，根据其与其他n-1个相邻影像的二维匹配线段，确定二维线段 lr最可靠的二维匹配线段；其中，二维线段 lr最可靠的二维匹配线段为：

32、；式（6）

33、式（6）中，为二维线段 lr与参考影像 ir的第 t幅相邻影像上的二维匹配线的相似度；表示求取所有n-1个相邻影像的二维匹配线段中相似度达到最大值的一条二维匹配线段；

34、由二维匹配线段（ lr，）三角交会得到二维线段 lr的三维估计结果，遍历所有待匹配影像对之间的二维线段匹配结果，得到所有的三维估计结果。

35、在一个可能的设计中，基于所述三维估计结果得到三维线段重建结果，包括：

36、根据式（7）计算所有二维线段匹配结果的稀疏全局亲和性矩阵 w；其中，任一二维线段匹配结果的稀疏全局亲和性矩阵 w为：

37、式（7）

38、式（7）中，为参考线段的三维估计结果和候选匹配线段的三维估计结果间的角度相似性，为参考线段的三维估计结果和候选匹配线段的三维估计结果间的位置相似性，和为：

39、式（8）

40、式（8）中，表示计算两条三维线段之间的角度； d( p, x)表示计算预设采样点 p到三维线段 x的垂直距离，三维线段 x表示或； di( p)为图像 i的相机中心到预设采样点 p的欧氏距离，图像 i表示参考影像 ir或搜索影像 is；、和均为预设的正则化参数；

41、根据所有二维线段匹配结果的稀疏全局亲和性矩阵 w得到三维线段重建结果。

42、第二方面，本发明提供了一种多视影像三维线段重建系统，用于实现如上述任一项所述的多视影像三维线段重建方法；所述多视影像三维线段重建系统包括：

43、二维线段提取模块，用于提取多视影像集中每幅影像的二维线段；

44、待匹配影像对获取模块，与所述二维线段提取模块通信连接，用于获取多视影像集中每幅影像的先验信息，并根据每幅影像的先验信息为多视影像集中每幅影像确定相邻影像，得到多视影像集中所有需要进行二维线段匹配的待匹配影像对；

45、二维线段匹配模块，与所述待匹配影像对获取模块通信连接，用于对所述待匹配影像对进行二维线段匹配，得到多视影像集中每对待匹配影像对之间的二维线段匹配结果；

46、三维估计模块，与所述二维线段匹配模块通信连接，用于根据每对待匹配影像对之间的二维线段匹配结果，得到三维估计结果；

47、三维线段重建模块，与所述三维估计模块通信连接，用于基于所述三维估计结果得到三维线段重建结果。

48、第三方面，本发明提供了一种电子设备，包括：

49、存储器，用于存储计算机程序指令；以及，

50、处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的多视影像三维线段重建方法的操作。

51、第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的多视影像三维线段重建方法的操作。