一种基于镜面辅助的多视角三维激光扫描系统及复杂表面全景测量方法

本发明涉及光学测量领域，具体地说，是一种基于镜面辅助的多视角三维激光扫描系统及复杂表面全景测量方法。

背景技术：

1、光学三维形状测量技术被广泛应用于机械制造、工业质量控制、物体识别、虚拟现实、文物保护、医疗整形等领域。作为一种非接触和高精度三维轮廓测量技术，激光扫描技术已经被证明了可以用于复杂纹理及表面材质的复杂表面的重建。同时，全景测量对于正确描述测试样品的完整特性至关重要。

2、近年来，一些学者通过从不同的视角进行多次测量来实现对具有复杂表面的物体进行360度的全表面三维形状测量。一种方法是使用三个或更多的同步相机从不同的角度同时观察物体的表面，然后使用复杂而耗时的点云匹配算法将各个相机的数据点合并到同一坐标系中。另一种很好的解决方案是采用镜面辅助的多视角测量系统来实现全景三维轮廓测量，这种方法相当于三组测量装置(即一组实际测量装置和两个由平面镜成像的虚拟测量装置)以“环绕”配置排列，同时从三个角度捕获物体表面数据，但实际上仅需一组测量装置及两面平面镜。epstein等人将平面镜引入传统的流苏投影轮廓仪(fpp)系统,实现了高速的全景三维形状测量[1]。(chen和pan，2019a)等人构建了平面镜辅助的多视角数字图像关联(dic)系统，实现了全景人类皮肤形状与变形测量[2]。

3、然而传统的激光扫描系统由于其有限且被遮挡的视场，不足以对整个感兴趣区域的360度全表面进行三维重建。同时基于时空复用的方法需要使用多台摄像机，导致成本很高，系统设置复杂，而且相机数据之间的匹配工作需要较高的计算成本。上述基于fpp系统与dic系统的平面镜辅助的方法其图像易受目标物表面纹理和表面材质的影响，对于纹理丰富或者高反表面测量效果不佳。此外，三个感兴趣区域(roi)，包括真实物体和两个平面镜中的虚拟物体被定位在不同的深度。当待测物体体积较大时，受限于镜头的景深，三个roi可能无法同时清晰成像。roi的模糊可能导致重建表面的误差。

技术实现思路

1、为解决现有技术的不足，本发明的目的在于提供一种基于镜面辅助的多视角三维激光扫描仪及复杂表面全景测量方法，通过引入平面镜的辅助，激光扫描系统(tls)可以同时从三个不同的视角对物体进行成像，通过前期对两个平面镜进行精准标定，由两个虚拟系统重建的三维数据可以转换到真实系统的坐标系中，从而实现对物体360度全表面三维轮廓重建。解决了传统多视角测量系统设置复杂，需要较高计算成本的问题。另外，由于激光扫描过程中，激光图案仅由物体表面轮廓决定，对物体表面的纹理和材质并不敏感，同时由于散焦引起激光线条展宽对激光线条中心线提取影响不大，这意味我们可以在更大的景深范围内对物体进行三维测量，这允许我们可以对更大体积的，拥有更加复杂的材质和表面纹理的物体进行三维全景重建，本发明的技术方案可以应用于更多种类型的测量场景。

2、本发明技术方案的系统包括一个三维激光扫描仪和两个放置在样品后面的平面镜。通过两个平面镜的帮助，可以实现对物体360度全表面三维轮廓重建。由于激光扫描过程中，激光图案仅由物体表面轮廓决定，对物体表面的纹理和材质并不敏感，同时由于散焦引起激光线条展宽对激光线条中心线提取影响不大，这允许可以对更大体积的物体进行三维全景重建，可以应用于多种类型的测量场合。

3、为了实现上述目标，本发明采用的技术方法具体如下：

4、本发明公开了一种基于镜面辅助的多视角三维激光扫描系统，包括相机、线激光器、线性位移台、控制器、与相机和控制器相连的用于处理数据的计算机，用于实现相机和线性位移台的同步控制、两个用于采集全景图像的平面镜，相机和线激光器通过固定于滑动支架上，滑动支架相对于线性位移台上下滑动，激光器与相机之间存在高度差以产生三维重建所需的视差，两面平面镜放置在待测物体后面，并形成夹角，线性位移台与控制器相连。

5、作为进一步地改进，本发明激光平面与两个平面镜垂直。为了保证投影到物体上的激光条纹连续，需保持激光平面与两个平面镜尽量垂直，这种配置保证立体扫描系统可以同时捕捉物体前表面和两个后表面的视图，在这种配置下，物体所有三个表面部分可以被激光立体扫描系统在一次拍摄中捕获。

6、作为进一步地改进，本发明所述的两面平面镜之间的角度在90度至180度之间。

7、作为进一步地改进，本发明所述的两面镜子的相对位置，角度为120度。考虑到相机视场及相机景深之间的平衡，选择120度作为两面平面镜之间的最佳角度。

8、本发明还公开了一种基于镜面辅助的多视角三维激光扫描系统的复杂表面全景测量方法，包括：

9、标定板摆置至少15个不同姿态，获得开激光器情况下n张标定板图片和对应姿态下关闭激光器的情况下n张标定板图片；

10、对关闭激光器的情况下拍摄的n张标定板图片提取角点，然后使用经典的张氏校准方法计算获得相机的内参与外参；

11、对开激光器情况下拍摄的n张标定板图片，使用steger算法提取激光中心线像素坐标，利用计算得到的相机的内参与外参，求解获得激光线坐标对应的三维坐标，最后使用求解的n个位姿下的激光线三维坐标解计算获得激光平面的平面方程；

12、在保持线性位移台匀速运动的情况下，使用固定在线性位移台上的相机对固定位姿的标定板进行连续拍摄，获得至少10张图片；

13、使用得到的相机内参计算不同位置处相机捕获的标定板的在棋盘格角点的三维坐标，最后通过计算每个棋盘格角点在不同相机位置处三维坐标差异的平均值获得平移台的方向向量；

14、使用相机在初始位置同时拍摄标定板，获得至少10张高精度标定板及其在镜中的虚拟图片；

15、使用拍摄的高精度标定板及其在镜中的虚拟图像获得多个三维特征点对(分别为和)，随后使用带有束调整策略的levenberg-marquardt算法，获得相机初始位置处平面镜的反射矩阵；

16、在物体表面投影线激光，获得物体表面变形的激光条纹图像；

17、使用获得的相机内参与激光平面的平面方程结合获得的激光条纹图像，获得一个真实视角和两个虚拟视角下的物体线轮廓的三维数据；

18、使用获得的相机在初始位置处的平面镜的反射矩阵与平移台的方向向量计算当前位置的平面镜的反射矩阵；

19、随后使用反射矩阵将虚拟视角的物体线轮廓的三维数据转换到其真实位置，实现与真实视角的三维数据合并，获得的物体该位置下的全景线轮廓数据；

20、随着线性位移台的滑动，相机在不同位置处采集物体的线轮廓信息，合并重建的所有位置的物体全景线轮廓数据，实现物体全景三维形状测量。

21、作为进一步地改进，本发所述的相机在初始位置处的平面镜的反射矩阵标定，包括：

22、在获取了n组特征点对(包括实点和虚点)后，使用了一种采用捆绑调整策略的levenberg-marquardt非线性优化算法进行平面镜的反射矩阵的精确计算，

23、令g＝{am,bm,cm,d}，得：

24、

25、g1(g)＝[1-2(am)2]xv-2ambmyv-2amcmzv+2amd-xr

26、g2(g)＝-2ambmxv+[1-2(bm)2]yv-2bmcmzv+2bmd-yr

27、g3(g)＝-2amcmxv-2bmcmyv+[1-2(cm)2]zv+2cmd-zr

28、其中g1(g)，g2(g)，g3(g)是残余误差，n为三维点对的数量；但是受限于平面镜制作质量，虚拟点的精度不能得到保证，这会对最终的校准结果引入系统误差。因此，为了克服这一缺点，引入了束状调整策略，将虚拟点的坐标作为变量一起优化，即为：

29、

30、将上述公式最小化是一个非线性最小化问题，可以通过levenberg-marquardt算法来解决。

31、作为进一步地改进，本发明所述的计算当前位置的平面镜的反射矩阵包括：由于在所提系统中，相机位置是随时间变化的。因此我们将扫描初始位置处的相机坐标系作为系统的全局坐标系(x0,y0,z0)，在第i个扫描位置处的相机坐标系作为第i个局部坐标系(xi,yi,zi)。因为直线位移滑台的运动是刚性运动，且仅包括平移运动而不包括旋转运动，所以全局坐标系与第i个局部坐标系之间的变换关系可以表示为：

32、

33、其中step为位移台每次移动的距离。

34、因为相机与平面镜的相对位置是不断变化的，所以在每个局部坐标系下的平面镜的反射矩阵是随之变化的。在全局坐标系下，平面镜的平面方程可以被描述：

35、其中

36、则在第i个局部坐标系下平面镜的方程可以表示为

37、

38、即

39、可以发现在不同的局部坐标系下，平面镜的法向量相同的，发生变化的仅仅是平面镜与坐标系原点的距离，即

40、

41、在下文中，统一使用来描述第i个局部坐标系下的平面镜单位法向量，在第i个局部坐标系下的平面镜与到原点的距离可以被描述为：

42、

43、则在局部坐标系下平面镜的反射矩阵可以表示为：

44、

45、作为进一步地改进，本发明所述的将虚拟视角的物体线轮廓的三维数据转换到其真实位置包括：

46、为了重建物体360度全表面，物体表面各个部分应该在其真实位置上进行重建。通过平面镜所捕获的图像为虚拟图像，需要平面镜与相机之间的位置关系，将重建的虚拟表面通过反射变换转换到其真实位置，进而计算点在实际空间中的世界坐标。使用反射矩阵可以将虚拟

47、与现有技术相比，本发明所达到的有益效果：

48、1,设置简单，成本低：仅需一个激光扫描系统和两面镜子就可以实现360度全景测量，与传统的需要多套同步激光立体扫描系统的多视角全景表面测量系统相比，所需成本和空间都大大降低。

49、2.易于实施：传统的全景测量系统或者需要进行复杂的校准工作，或者需要进行复杂的点云注册算法(例如，迭代最接近点(icp))，所提方法仅需校准一个激光扫描系统和两面平面镜，即可合并多个角度获得的的三维扫描数据，进而实现直接的全表面360度的三维表面测量。

50、3.更多的应用场景:在使用平面镜辅助进行多视角成像时，平面镜应与被测样品保持一定距离，以使样品的背面清晰可见，这将使真实表面与虚拟表面之间存在明显的深度差异，使得所有感兴趣区域不能同时清晰成像。这一现象在被测样品体积较大时更加明显。得益于tls重建算法的特性与激光线条中心线提取算法的成熟，既使在散焦引起的激光线条展宽的情况下依然可以实现对中心线的准确提取，这使得所提系统可以在更大的深度范围内采集样品表面的三维数据，即实现对更大的样品的全景三维重建。同时由于激光具有能量集中且稳定的特性，所提系统不易受外界光照条件的影响，也可以避免由于样品表面丰富纹理引起的表面反射率差异或者高反表面引起的局部像素饱和而引起测量误差。所以本发明的技术方案具有更大的应用范围，体积更大，表面纹理更丰富与材质种类更多的样品的也可以使用基于平面镜辅助的方式实现全景测量。