一种针对多视角三维成像设备的光学参数迭代优化方法与流程

本发明属于三维成像设备领域，具体涉及一种针对多视角三维成像设备的光学参数迭代优化方法。

背景技术：

1、现有的多视角三维成像设备由多个双目设备组成，多视角三维成像设备在使用时有两个常规关键阶段，首先对设备的所有光学参数进行标定,即光学标定阶段，然后再基于标定的光学参数进行目标物体的三维数据重建,即三维重建阶段。其中三维重建阶段每个双目设备都会对同一物体生成一组独立双目数据，然后多组双目数据被融合生成一份最终数据以消除光学遮挡等问题。由于光学标定阶段(不限于任何标定方法)需要高精度的标定目标(包括但不限于平面标定板，三维标定块等等)同时被所有光学设备清晰捕获，光学标定的空间操作范围会小于三维重建阶段的工作操作范围，从而导致在非标定操作范围内，三维重建阶段中不同组的双目数据间产生一致性偏差,即同一个目标点被不同的双目设备重建时，获取的三维数据不一致。针对保证三维重建阶段工作操作范围内所有双目设备输出数据的一致性，有以下两大类方法，一是在标定时尽量考虑多设备的一致性问题，二是在重建时通过后期约束的方法。

2、qingyang wu等人在标定阶段设计了一个闭环的多系统误差控制方法，即将系统中每个设备的光学参数正向和反向各标定一次，然后在三维重建阶段每个双目设备利用正向标定和反向标定结果生成两组数据，然后通过加权的方式将这两组设备融合，从而消除多双目设备造成的一致性偏差。该方法虽然关注了一致性偏差问题在多视角三维成像设备中的影响，但是依然没有关注到非标定操作空间外的一致性误差优化，同时标定阶段和重建阶段的计算复杂度增加不少。(论文题目q.wu,b.zhang,j.huang,z.wu,and z.zeng,“flexible 3dreconstruction method based on phase-matching in multi-sensorsystem,”optics express,vol.24,no.7,pp.7299-7318,2016.)

3、xiangyang ju等人在重建阶段将每个双目数据的深度图转换成网格图，然后用置信矩阵将所有深度图有效区域分割出来。最后用迭代方式将网格图的每一个顶点对应到有效的深度图的对应位置上，再用深度图的对应位置更新网格图。该方法总结的就是在后期得到的多个双目数据，虽然多个双目数据不一致，但是通过匹配转换算法将多个双目数据重新对齐，从而达到一致性的要求。该方法需要在后期重建阶段引入了大量的计算，从而不适用于实时性的工业检测需求(论文题目x.ju，j.p.siebert，b.s.khambay，anda.f.ayoub，″self-correction of3d reconstruction from multi-view stereoimages.″pp.1606-1613.)

4、zhixiang jia等人在重建阶段利用对极线约束的方式对多个双目数据进行约束，从而保证一致性。但是依然会在重建阶段引入大量的计算，从而影响实时性。(论文题目z.jia，h.sun，w.liu，x.yu，j.yu，j.j.rodriguez-andina，and h.gao，“3d reconstructionmethod for a multi-view system based on global consistency，”ieee transactionson instrumentation and measurement，2023)

5、kejing he等人也是在重建阶段引入置信图的方式，对多个双目数据进行重新对齐，依然受限于实时性的要求，需要大量的计算保证一致性。(论文题目k.he，c.sui，c.lyu，z.wang，and y.liu.“3d reconstruction of objects with occlusion and surfacereflection using a dual monocular structured light system，”applied optics，vol.59，no.29，pp.9259-9271，2020.)

6、因此需要提供一种能够在后期重建阶段减少大量计算以及降低复杂度，且满足实时性要求的优化方法，以保证三维重建阶段工作操作范围内所有双目设备输出数据的一致性。

技术实现思路

1、本发明的目的之一在于提供一种针对多视角三维成像设备的光学参数迭代优化方法，以解决上述技术问题，通过在传统的光学标定阶段以及三维重建阶段之间增加一步在基于多设备重建结果误差反馈基础上的参数再优化阶段，从而使得该优化方法只是进一步优化正投设备的光学参数，不增加任何后端的三维重建计算负担，可以保证三维重建计算的效率。

2、为实现上述发明目的，本发明采取的技术方案如下：

3、一种针对多视角三维成像设备的光学参数迭代优化方法，包括如下步骤：

4、步骤s1.对多视角三维重建设备进行光学标定，不限于任何标定方法，以获取多视角三维重建设备中的所有双目设备初始的光学参数；

5、步骤s2.用步骤s1最新获取的初始光学参数对一个任意的失焦平面进行重建，此时，在重建过程中，每个双目设备都会对该失焦平面生成一组独立双目数据，以使每个双目设备都可以得到一个独立的点云平面；

6、步骤s3.对步骤s2中的每一个点云平面进行拟合并获取对应点云平面的平面参数和交点pi＝1，..，n，所述交点pi＝1，..，n为每个所述双目设备的点云平面wi和三维重建设备中的正投设备的光轴的交点，其中，所述点云平面参数中的为平面的法向量，di代表截距，截距为平面到坐标原点的距离；是正投设备光轴的射线空间表达式，其中单位方向向量，0是坐标原点；根据和di计算得到两个点云平面形成的几何度量误差，几何度量误差包括距离误差dij和角度误差

7、步骤s4.根据步骤s3计算出来的距离误差dij和角度误差来判断距离dij和角度是否在预设的误差范围内，如果不在预设的误差范围内，则执行步骤s5；如果在预设的误差范围内，则执行步骤s6；

8、步骤s5.根据步骤s3计算的几何度量误差dij和的结果，结合所述正投设备的光学参数与在重建失焦平面时的度量误差结果存在对应的关系，通过度量误差反向调整所述正投设备的光学参数，此时不限于任何参数更新方法，并在正投设备的内参值更新后，继续执行步骤s2；

9、步骤s6.保存当前优化更新后的光学参数值，并给后期的三维重建阶段使用，最终实现基于优化更新后的光学参数进行目标物体的三维数据重建。

10、优选的，所述步骤s3中几何度量误差的计算方法如下：

11、利用求线面交点的方法通过和di计算pi，然后根据pi＝1，..，n和计算得到两个点云平面形成的几何度量误差，所述几何度量误差包括距离误差dij＝||pi-pj||2和角度误差其中，dij为第i个双目设备形成的点云平面与所述正投设备光轴的交点pi和第i个双目设备形成的点云平面与所述正投设备光轴的交点pj差值的欧几里得距离，角度为i个双目设备形成的点云平面与第j个双目设备形成的点云平面的空间夹角。

12、优选的，所述三维重建设备包括多个双目设备，每个所述双目设备包括一个斜投设备和一个正投设备，多个所述双目设备共用一个所述正投设备。

13、优选的，其特征在于，每个双目设备中的所述斜投设备和所述正投设备的至少一者为成像设备相机，即每个双目设备中必须有一个成像设备相机。

14、更优选的，所述双目设备中的斜投设备和正投设备均为相机；或所述双目设备中的斜投设备为相机，所述正投设备为投影；或所述双目设备中的斜投设备为投影，所述正投设备为相机。

15、优选的，所述步骤s5中所述正投设备的光学参数与重建失焦平面的度量误差结果存在对应关系的建立过程包括如下步骤：

16、步骤a1.基于相位高度模型，建立由多个双目设备形成的光学模型，且多个双目设备包括一个正投设备和多个斜投设备，根据相似三角形原理，所述光学模型中目标物体的某一测量点b处的真实高度h计算公式为：

17、

18、其中，b是目标物体高度为h处的测量点，oci(xci，yci)是第i个双目设备中的斜投设备-i在光学模型坐标系下的真实光学中心，fi是oci沿水平x方向在所述正投设备的真实光学中心op延伸出来的光轴上的投影点，e(xe，0)是所述正投设备的真实光学中心op(xp，yp)延伸出来的光轴将测量点b投影到参考平面上的投影点，di是所述第i个双目设备-i中的斜投设备-i的真实光学中心oci延伸出来的光轴将测量点b投影到参考平面上的投影点；

19、步骤a2.根据相似三角形原理，利用正投设备的真实光学中心op沿垂直于所述参考平面方向的投影点h，以及与连线ocifi的交点gi，建立δfiopgi与δeoph的相似关系，并计算ocifi的长度：

20、

21、步骤a3.获取所述正投设备因标定误差导致的错误光学中心o′p(xp′，yp′)坐标点，所述错误光学中心o′p延伸出来的光轴与第i个双目设备-i中的斜投设备-i的真实光学中心oci朝b点延伸出来的光轴的交点pi为该第i个双目设备-i获取的目标物体错误测量点，然后计算第i个双目设备-i测量的错误测量点pi处的高度hi，并计算高度hi和h的差值，以获取第i个双目设备-i的测量高度误差δhi；

22、步骤a4.根据步骤a3中获取的所述正投设备的错误光学中心o′p(xp′，yp′)坐标点，利用oci沿水平x方向在正投设备的错误光学中心o′p(xp′，yp′)延伸出来的光轴上的投影点fi′，来计算和的差值，该差值可以分析第i个双目设备-i测量误差的分布；

23、步骤a5.根据步骤a4计算出来的测量误差的分布，分别分析所述正投设备的错误光学中心o′p坐标中的x′p和y′p对重建的失焦平面的距离和角度的影响。

24、优选的，在所述步骤a3中，获取第i个双目设备-i的测量高度误差δhi的计算公式为：

25、其中，公式(3)中的相似性等号操作基于以下三点：首先，第i个双目设备中的斜投设备-i在光学模型坐标系下的真实光学中心oci的坐标点中的常量yci远大于测量点b处的真实高度常量h；其次，的值在1附近变化，以使δhi的计算结果相似等于最后，这个相似性等号操作不会改变误差的符号。

26、优选的，在所述步骤a4中，计算和的差值公式为：

27、

28、优选的，所述公式(3)中δhi是关于参数x′p、y′p和xe的函数，x′p为所述正投设备的在光学模型中的像偏c，y′p即为所述正投设备的在光学模型中的像距v；且b点从左到右的移动相当于xe的增加。

29、优选的，在所述步骤a5中，x′p和y′p的变化被用来分别分析对重建的失焦平面的距离和角度的影响，其x′p和y′p分别用来对两个双目设备在重建的失焦平面下的影响过程如下：

30、

31、

32、其中，两个双目设备分别为双目设备-1和双目设备-3，双目设备-1的斜投设备的真实光学中心坐标点为oc1(xc1，yc1)，双目设备-3的斜投设备的真实光学中心坐标点为oc3(xc3，yc3)，δh1为双目设备-1的测量高度误差，δh3为双目设备-3的测量高度误差，d1为和的差值，d3为和的差值；

33、由于在方程(5)中xe被消除掉了，错误的光学参数x′p导致误差δh1和δh3成为不同符号的常数，相反的，如方程(6)所示，错误的光学参数y′p会导致δh1和δh3在xe＝x′p处为零，并且随着xe的增加，δh1和δh3会沿着不同方向增加，因此正投设备的光学参数x′p和y′p分别影响重建的失焦平面的距离和角度。

34、优选的，所述正投设备的光学参数包括x方向像距vx，y方向像距vy，x方向像偏cx，y方向像偏cy，通过度量误差反向调整所述正投设备的光学参数，来更新三维重建设备中的正投设备的光学参数内参值{vx，vy，cx，cy}。

35、优选的，所述步骤s4中距离dij和角度预设的误差范围为：dij≤±10μm，

36、有益效果：

37、本技术通过简单的操作方法，只需要成像任意一个在工作操作范围边缘的失焦平面，工程上非常容易实现；

38、相对于其他方法，本技术在三维成像设备的标定阶段和三维重建阶段之间增加了一个全新参数优化方法，且该优化方法是基于重建结果误差反馈的方式进一步优化双目设备的光学参数，可以最大程度的保证工作操作范围内多个双目设备输出数据的一致性，进而达到更好的重建结果一致性；

39、且本技术的优化方法只是进一步优化光学参数，不增加任何后端的三维重建计算负担，可以保证三维重建计算的效率。