一种基于数值模拟的船行波三维重构中的相机布局方法

1.本发明涉及船舶海洋工程领域，具体而言，尤其涉及一种基于数值模拟的船行波三维重构中的相机布局方法。


背景技术：

2.在三维重构的过程中，相机布局反映了单个相机拍摄目标物体时的位置姿态以及多个相机之间的相对姿态。相机布局是影响三维重构的关键因素，相同条件下，合理的相机布局可以得到准确度更高的重构结果。
3.现有的技术对船行波数值模拟得到的图像进行了与相机拍摄顺序无关的稀疏重构以及计算深度图并融合成整体的稠密重构，得到了较逼真的重构结果，还原了船行波的波形特征。
4.但是，目前并未运用参数化的数学模型描述相机布局并进行优化，因此容易出现在同样的相机数量下由于拍摄方式不固定而导致难以稳定地控制三维重构的质量，或者由于相机的位姿不合理而导致特征匹配数量过少难以执行准确的三角测量等情况。


技术实现要素：

5.有鉴于此，本发明的目的在于提出一种基于数值模拟的船行波三维重构中的相机布局方法，通过在物理引擎中搭建立体视觉仿真环境，对粘流cfd数值模拟得到的船行波三维波面进行了船行波多视角稀疏重构以及基于深度图融合的船行波稠密重构，在此基础上，研究了不同的相机布局对船行波三维重构的影响。解决了现有技术下船行波三维重构中缺乏对相机布局方案的研究，实现了相机布局参数化，对不同相机布局进行了横向对比，明显地提高了相机布局的合理性以及船行波三维重构的准确性。
6.本发明采用的技术手段如下：
7.一种基于数值模拟的船行波三维重构中的相机布局方法，包括如下步骤：
8.通过对物理引擎中的虚拟相机进行参数化定义，得到单个虚拟相机位姿的数学模型，将单个虚拟相机位姿的数学模型为多架相机进行统一定义，得到参数化的相机布局数学模型；
9.针对所述相机布局的数学模型，结合改变视差角时相机布局对船行波稀疏重构以及稠密重构的影响，得到最优视差角；
10.针对所述相机布局的数学模型以及机布局视差角，结合改变视距时相机布局对船行波稀疏重构以及稠密重构的影响，得到相机布局方案。
11.进一步地，所述相机布局数学模型的获取步骤为：
12.参数化定义，针对物理引擎中的一个虚拟相机，选用动态欧拉角数学模型，定义局部坐标系，所述虚拟相机位于局部坐标系原点为球心的球面上，所述虚拟相机的主光轴通过原点，所述虚拟相机的位置用坐标轴的动态欧拉旋转角表示，得到单个虚拟相机位姿的数学模型；
13.对所有虚拟相机进行参数化定义，得到所有虚拟相机的位姿数学模型，在所有虚拟相机的位姿数学模型中使多架虚拟相机在同一球面上较均匀地分布，视差角以及视距来表示相机布局，得到参数化的相机布局数学模型。
14.进一步地，所述相机布局视差角的获取步骤为：
15.改变所述相机布局数学模型的视差角，得到变视差角时相机布局对船行波稀疏重构的影响结果；
16.通过视差角判定法，对所述视差角对船行波稀疏重构的影响结果进行判定，得到稀疏重构的视差角变化范围；
17.对所述视差角变化范围进行进一步稠密重构，对比分析稠密重构时场景的完整性以及杂点的分布，得到最优视差角。
18.进一步地，所述相机布局视距的获取步骤为：
19.针对所述相机布局数学模型以及最优视差角，不断改变所述相机布局数学模型的视距，得到变视距时相机布局对船行波稀疏重构的影响结果；
20.通过视距判定法，对所述变视距对船行波稀疏重构的影响结果进行判定，得到稀疏重构的视距变化范围；
21.对所述视距变化范围进行进一步稠密重构，对比分析稠密重构时场景完整性以及杂点的分布，得到最优视距，结合所述最优视差角，输出最终的相机布局方案。
22.进一步地，所述视差角判定法为：选取空间点多的同时重投影误差少的视差角作为视差角变化范围。
23.进一步地，所述视距判定法为：选取空间点多的同时重投影误差少的视距作为视距变化范围。
24.较现有技术相比，本发明具有以下优点：
25.本发明提供了一种基于数值模拟的船行波三维重构中的相机布局方法。通过研究不同的相机布局对船行波三维重构的影响。解决了现有技术下船行波三维重构中缺乏对相机布局方案的研究，实现了相机布局参数化，将多架相机均匀地布局于球面上且相机主光轴通过球心，以球面的半径为视距并且以主光轴之间的夹角为视差角，通过视距与视差角两个主要参数的配合实现相机布局的调整并从中寻找优质的相机布局方案，对不同相机布局进行了横向对比，明显地提高了相机布局的合理性以及船行波三维重构的准确性。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明方法流程图。
28.图2为相机位姿的数学模型图。
29.图3为参数化的相机布局图。
30.图4为改变视差角对稀疏重构空间点数量的影响图。
31.图5为改变视差角对稀疏重构重投影误差的影响图。
32.图6为改变视差角对稠密重构的影响图。
33.图7为视差角为6度的稠密重构结果图。
34.图8为视差角为7度的稠密重构结果图。
35.图9为视差角为8度的稠密重构结果图。
36.图10为改变视距对稀疏重构空间点数量的影响图。
37.图11为改变视距对稀疏重构重投影误差的影响图。
38.图12为改变视距对稠密重构的影响图。
39.图13为视距为9m的稠密重构结果图。
40.图14为视距为10m的稠密重构结果图。
41.图15为视距为11m的稠密重构结果图。
具体实施方式
42.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
43.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
44.本发明提供了一种技术方案：一种基于数值模拟的船行波三维重构中的相机布局方法，具体如下：
45.(1)参数化的相机布局数学模型
46.合理地布置相机的方位，可以明显提高稀疏重构的精度。稀疏重构是后续工作的基础，为了更好地完成船行波三维重构，本发明对相机布局进行了研究。
47.在理想的虚拟环境下研究相机布局，通过多架虚拟相机观察船行波，为了让各个虚拟相机位姿有统一的参数化表达，本发明选用了动态欧拉角数学模型对相机位姿进行了描述，如图2所示。
48.图2中r为相机光心与局部坐标系原点的距离；相机的主光轴通过局部坐标系的原点；∠1为相机绕y轴旋转的角度(
°
)；∠2为相机绕x1轴旋转的角度(
°
)；x1轴由x轴绕y轴旋转∠1得到。
49.相机方阵中的各个相机的位姿参数如表1所示。
50.表1相机布局参数
[0051] 距离(m)∠1(
°
)∠2(
°
) 距离(m)∠1(
°
)∠2(
°
)视角1r2θ2θ视角14r-1θ0
视角2r1θ2θ视角15r-2θ0视角3r02θ视角16r2θ-1θ视角4r-1θ2θ视角17r1θ-1θ视角5r-2θ2θ视角18r0-1θ视角6r2θ1θ视角19r-1θ-1θ视角7r1θ1θ视角20r-2θ-1θ视角8r01θ视角21r2θ-2θ视角9r-1θ1θ视角22r1θ-2θ视角10r-2θ1θ视角23r0-2θ视角11r2θ0视角24r-1θ-2θ视角12r1θ0视角25r-2θ-2θ视角13r00
ꢀꢀꢀꢀ
[0052]
在表1的布局情况下，仿真环境中的相机方阵如图3所示。
[0053]
在这种布局下，虚拟相机较均匀地布局于同一球面上，改变角度θ与半径r，就可以改变整体的相机布局情况。球面半径r相同时，角度θ越大，相机之间的视差角就越大，因此角度θ的变化情况可以反映相机之间视差角对稀疏重构结果的影响；角度θ相同时，半径r越大，相机与船行波之间的视距就越大，因此r可以反映视距对稀疏重构结果的影响。
[0054]
(2)船行波数值模拟的稠密重构
[0055]
在稀疏重构的基础上，通过全局视角选择算法，为每个视角计算全局邻域视角；以稀疏重构过程中得到的稀疏空间点为种子点，构建面片，执行面片的深度值优化算法，得到种子点的深度图；通过区域生长法，对种子点的深度图进行扩张，将邻域范围内的像素点加入到优化队列中，得到完整的深度图；将所有的深度图融合成整体，得到最终的稠密空间点。
[0056]
稠密重构可以得到更加丰富的空间点信息，逼真地依据二维图像还原得到三维空间点，直观地计算出船行波的波形起伏特征。但稠密重构以稀疏重构为基础，而且相机布局对稀疏重构以及稠密重构的质量都有非常明显的影响。
[0057]
(3)相机布局视差角
[0058]
通过改变θ的方式研究视差角变化对船行波三维重构结果的影响。本发明首先研究了0
°
～25
°
范围内间隔为1
°
时θ的变化对稀疏重构的影响，结果如图4、图5所示。
[0059]
在5
°
～15
°
范围内，空间点较多的同时重投影误差也相对较少，而范围之外θ较小或者较大时空间点数量均较少。
[0060]
视差角增大时，双目相机模型之间图像采集的差异性增大，导致特征匹配的配对点数量降低从而空间点数量降低；同时，视差角增大会增加相机之间的基线长度从而减少三角测量时的射影误差，使得空间点的坐标计算更精确，因此得到了较小的重投影误差。
[0061]
视差角较大时，特征匹配得到的配对点数量较少，甚至无法满足三角测量方程求解的要求，得到的空间点数量较低。
[0062]
视差角减少时，相机之间的拍摄结果一致性增强，配对点数量增多从而得到较多的空间点；同时，相机基线较短从而三角测量的误差较大，使得重投影误差也较大。
[0063]
视差角接近0时，相机之间的一致性过强，相机基线过短，无法满足三角测量的计
算输入要求，无法计算出空间点。
[0064]
经过分析，本发明选择了5
°
～15
°
范围内的数据进一步执行稠密重构，得到的结果如图6所示。
[0065]
视差角为7
°
时，稠密重构得到的空间点数量达到峰值，再对比图4、图5可以发现，视差角为7
°
的稀疏重构结果也是空间点数量较多且重投影误差较少的，因此在本次结果中是较为理想的值。选择视差角为5
°
、6
°
、7
°
、8
°
、9
°
五种情况下的重构结果进一步分析。
[0066]
稀疏重构的结果都得到了较均匀的空间点，并且都能够看出船行波的几条波形轮廓。稠密重构的结果在船行波区域都得到了轮廓清晰且较完整的表面，可以看出船行波的主要轮廓，波形特征明显，直观地重构出了较逼真的模型。但是稠密重构的结果也都存在相似的缺陷，即在非船行波区域都存在杂点，在船行波的尾波部位都存在空洞。相对而言，θ＝6
°
时非船行波区域的杂点较少，但是在尾波部位的空洞内部产生了少量的杂点。θ＝7
°
时非船行波区域的杂点较多，而空洞内部清晰无杂点。如图7、图8、图9所示。
[0067]
综合上述的结果分析，θ＝7
°
是相对较理想的重构结果，此时的稀疏空间点数量较多，稀疏空间点的重投影误差小，稠密空间点的数量也较多。因此，本发明接下来固定θ＝7
°
继续进行相机布局试验。
[0068]
(4)相机布局视距
[0069]
通过改变r的方式研究视距变化对船行波三维重构结果的影响。本发明研究了1m～25m范围内间隔为1m时r的变化对稀疏重构的影响，结果如图10、图11所示。
[0070]
视距在5m～15m范围内时稀疏重构的结果质量较好，此时空间点数量较多，同时重投影误差也较小。
[0071]
当视距增大时，虚拟相机对物体细节信息的采集能力降低，观测对象仅在图像中占据较小的区域，特征检测得到的特征点数量减少，导致计算得到的空间点数量减少，并且重投影误差增大，整体计算结果的鲁棒性降低。
[0072]
视距较小时，虽然相机拍摄得更精细，但只能拍摄到物体局部，对物体整体的采集能力降低，重构的完整性不足，导致计算得到的空间点数量较小。
[0073]
因此，本发明选择了5m～15m范围内的数据进一步执行稠密重构，得到的结果如图12所示。
[0074]
视距为9m时，稠密重构得到的空间点数量达到峰值，再对比图10、图11可以发现，视距为9m时的稀疏重构结果的空间点数量相对较多且重投影误差相对较少，因此在本次结果中是较为理想的值。选择视距为7m、8m、9m、10m、11m五种情况下的重构结果进一步分析。
[0075]
r＝9m时，稀疏空间点数量虽然较多且重投影误差较小，但是却存在明显的离群点，相对而言r＝10m时的稀疏空间点更均匀。r＝7m以及r＝11m时尾波区域的完整性相对较好，空洞情况相对不明显，但是非船行波区域的杂点却相对较多。虽然稠密重构得到的船行波波形特征明显，但是重构结果也都存在一致且相似的缺陷。如图13、图14、图15所示。
[0076]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。