一种无人机贴近摄影视点快速优化方法及系统与流程

1.本发明涉及摄影测量技术领域，尤其涉及一种无人机贴近摄影视点快速优化方法及系统。


背景技术：

2.高质量的三维重建依赖于输入影像的质量。为获得高质量且覆盖场景的重建影像，通常采用较高的航向和旁向重叠度用于规划航向并采集。这样带来的问题就是影像的数量大大增加，也增加了三维重建的时间，且冗余的影像并不能带来重建模型精度的提升。为了满足精细三维重建要求，同时保障无人机的工作效率，需要考虑不断优化视点集合，使用尽可能少的视点完成场景的覆盖和三维重建。


技术实现要素：

3.本发明通过提供一种无人机贴近摄影视点快速优化方法及系统，能够快速生成优化的视点集合，以较少的影像实现场景的覆盖和高精度的三维重建。
4.本发明提供了一种无人机贴近摄影视点快速优化方法，包括：
5.获取待重建场景的初始模型，对所述初始模型生成安全壳，所述安全壳以外的区域为安全飞行区域；
6.在所述初始模型的表面采样，生成采样点；
7.在所述安全飞行区域采样，生成视点；
8.通过判断所述视点与所述采样点的可见性，得到初始视点集合；
9.根据当前所有采样点的重建度，使用次模函数，不断迭代从所述初始视点集合中选择视点加入优化视点集合。
10.具体来说，所述通过判断所述视点与所述采样点的可见性，得到初始视点集合，包括：
11.将与所述各采样点的间距小于距离阈值的视点加入所述初始视点集合；
12.和/或，
13.将视线与所述各采样点的法向量的夹角小于夹角阈值的视点加入所述初始视点集合；
14.和/或，
15.判断采样点si＝(xi,yi,zi,normali)是否在视点vi＝(xi,yy,zi,sighti)的影像上成像；其中，normali为采样点的法向量，sighti为视线方向；若成像，将该视点加入所述初始视点集合。
16.具体来说，所述根据当前所有采样点的预设重建度，使用次模函数，不断迭代从所述初始视点集合中选择视点加入优化视点集合，包括：
17.通过公式vi＝argmax eh得到视点vi加入所述优化视点集合；其中，eh为重建度的预计收益，其中为视点vi可见的采样点
集合，h
tmax
为重建度的最大阈值，h(s,v)为当前的优化视点集合对采样点s的重建度。
18.具体来说，所述h(s,v)通过公式h(s,v)＝∑
p＝1
…
|v|,q＝i
…
|v|
v(s,v
p
)v(s,vq)c(s,v
p
,vq)计算得到；其中，|v|为所述当前的优化视点集合中的元素个数，v(s,v
p
)为视点v
p
对采样点s的可见性，v(s,vq)为视点vq对采样点s的可见性，c(s,v
p
,vq)为视点对(v
p
,vq)对采样点s的重建度贡献。
19.具体来说，所述c(s,v
p
,vq)通过公式c(s,v
p
,vq)＝w1(α)w2(dm)w3(α)cos(θm)计算得到；其中，到；其中，w2(dm)＝1-min(dm/d
max
,1)，,1)，α为视点对(v
p
,vq)的两观测光线的夹角，θm为两根光线与采样点s法向量的最大夹角，dm为视点对(v
p
,vq)离采样点s的最大距离，d
max
为有效距离的最大阈值。
20.本发明还提供了一种无人机贴近摄影视点快速优化系统，包括：
21.初始模型获取模块，用于获取待重建场景的初始模型，对所述初始模型生成安全壳，所述安全壳以外的区域为安全飞行区域；
22.采样点生成模块，用于在所述初始模型的表面采样，生成采样点；
23.视点生成模块，用于在所述安全飞行区域采样，生成视点；
24.初始视点集合获取模块，用于通过判断所述视点与所述采样点的可见性，得到初始视点集合；
25.优化视点集合获取模块，用于根据当前所有采样点的重建度，使用次模函数，不断迭代从所述初始视点集合中选择视点加入优化视点集合。
26.具体来说，所述初始视点集合获取模块，包括：
27.第一初始视点集合获取单元，用于将与所述各采样点的间距小于距离阈值的视点加入所述初始视点集合；
28.第二初始视点集合获取单元，用于将视线与所述各采样点的法向量的夹角小于夹角阈值的视点加入所述初始视点集合；
29.第三初始视点集合获取单元，用于判断采样点si＝(xi,yi,zi,normali)是否在视点vi＝(xi,yy,zi,sighti)的影像上成像；其中，normali为采样点的法向量，sighti为视线方向；若成像，将该视点加入所述初始视点集合。
30.具体来说，所述优化视点集合获取模块，具体用于通过公式vi＝argmax eh得到视点vi加入所述优化视点集合；其中，eh为重建度的预计收益，其中为视点vi可见的采样点集合，h
tmax
为重建度的最大阈值，h(s,v)为当前的优化视点集合对采样点s的重建度。
31.具体来说，还包括：
32.第一计算模块，用于通过公式h(s,v)＝∑
p＝1
…
|v|,q＝i
…
|v|
v(s,v
p
)v(s,vq)c(s,v
p
,vq)计算得到h(s,v)；其中，|v|为所述当前的优化视点集合中的元素个数，v(s,v
p
)为视点v
p
对采样点s的可见性，v(s,vq)为视点vq对采样点s的可见性，c(s,v
p
,vq)为视点对(v
p
,vq)对采
样点s的重建度贡献。
33.具体来说，还包括：
34.第二计算模块，用于通过公式c(s,v
p
,vq)＝w1(α)w2(dm)w3(α)cos(θm)计算得到c(s,v
p
,vq)；其中，w2(dm)＝1-min(dm/d
max
,1)，α为视点对(v
p
,vq)的两观测光线的夹角，θm为两根光线与采样点s法向量的最大夹角，dm为视点对(v
p
,vq)离采样点s的最大距离，d
max
为有效距离的最大阈值。
35.本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
36.先获取待重建场景的初始模型，对初始模型生成安全壳，安全壳以外的区域为安全飞行区域；通过在初始模型的表面采样，生成采样点；在安全飞行区域采样，生成视点；通过判断视点与采样点的可见性，得到初始视点集合；通过计算采样点的可重建度，基于次模性快速迭代选取最优视点加入优化视点集合。本发明基于次模性进行优化，能够快速迭代生成优化视点。每次迭代能够选取出近似最优视点，从而能够以更少的视点满足场景的覆盖。本发明的视点分布在贴近的安全飞行区域而非单纯的高空域，离目标采样点更近，采集的影像分辨率更高，可实现高精度的场景三维重建。
附图说明
37.图1为本发明实施例提供的无人机贴近摄影视点快速优化方法的流程图；
38.图2为本发明实施例提供的无人机贴近摄影视点快速优化系统的模块图；
39.图3为本发明实施例中安全壳生成过程示意图；
40.图4为本发明实施例中生成的安全壳示意图；
41.图5为本发明实施例中生成的采样点示意图；
42.图6为本发明实施例中视点生成示意图；
43.图7为本发明实施例中视点对采样点不可见的示意图；
44.图8为本发明实施例中视线遮挡判断示意图；
45.图9为本发明实施例中每次迭代增加视点，对应的eh与h增益示意图。
具体实施方式
46.本发明实施例通过提供一种无人机贴近摄影视点快速优化方法及系统，能够快速生成优化的视点集合，以较少的影像实现场景的覆盖和高精度的三维重建。
47.本发明实施例中的技术方案为实现上述技术效果，总体思路如下：
48.对待重建的场景的初始模型生成安全壳，区分障碍物区域与安全飞行区域；在初始模型的表面生成较为密集的采样点，在安全飞行区域通过体素采样生成朝向各个视角的密集视点；计算所有采样点与所有视点之间的可见性；最后根据次模函数，快速迭代生成优化视点集合。本发明实施例能够快速生成能覆盖场景且满足场景精细三维重建的优化视点
集合，无人机按照该视点集合进行拍照，能够以较少影像完成场景的精细三维重建。
49.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
50.参见图1，本发明实施例提供的无人机贴近摄影视点快速优化方法，包括：
51.步骤s110：获取待重建场景的初始模型，对初始模型生成安全壳，初始模型和安全壳两者同时作为后续视点生成与优化的先验信息。安全壳用于区分障碍物区域以及安全飞行区域，用于后续的视线遮挡判断。在本实施例中，安全壳以外的区域为安全飞行区域；
52.在本实施例中，初始模型可以是倾斜摄影测量获得的三角网格模型，或者dem、点云转换得到的三角网格模型，或者bim模型等。
53.步骤s120：在初始模型的表面采样，生成采样点；
54.在本实施例中，采样点可以通过蒙特卡洛采样、规则迭代采样、泊松采样、随机均匀采样获得，并获取其法向量。
55.步骤s130：在安全飞行区域采样，生成视点；
56.步骤s140：通过判断视点与采样点的可见性，得到初始视点集合；
57.对本步骤进行具体说明，通过判断视点与采样点的可见性，得到初始视点集合，包括：
58.将与各采样点的间距小于距离阈值的视点加入初始视点集合；
59.和/或，
60.将视线与各采样点的法向量的夹角小于夹角阈值的视点加入初始视点集合；
61.和/或，
62.判断采样点si＝(xi,yi,zi,normali)是否在视点vi＝(xi,yy,zi,sighti)的影像上成像；其中，normali为采样点的法向量，sighti为视线方向；若成像，将该视点加入初始视点集合。
63.步骤s150：根据当前所有采样点的重建度，使用次模函数，不断迭代从初始视点集合中选择视点加入优化视点集合。并更新采样点的重建度。迭代上述步骤，直至超过95％的采样点满足重建或者达到自定义的迭代终止条件。
64.对本步骤进行具体说明，根据当前所有采样点的重建度，使用次模函数，不断迭代从初始视点集合中选择视点加入优化视点集合，包括：
65.通过公式vi＝argmax eh得到视点vi加入优化视点集合；其中，eh为重建度的预计收益，其中为视点vi可见的采样点集合，h
tmax
为重建度的最大阈值，h(s,v)为当前的优化视点集合对采样点s的重建度。
66.具体地，h(s,v)通过公式h(s,v)＝∑
p＝1
…
|v|,q＝i
…
|v|
v(s,v
p
)v(s,vq)c(s,v
p
,vq)计算得到；其中，|v|为当前的优化视点集合中的元素个数，v(s,v
p
)为视点v
p
对采样点s的可见性，v(s,vq)为视点vq对采样点s的可见性，c(s,v
p
,vq)为视点对(v
p
,vq)对采样点s的重建度贡献。在本实施例中，v(s,v
p
)和v(s,vq)取值为0或1。
67.c(s,v
p
,vq)通过公式c(s,v
p
,vq)＝w1(α)w2(dm)w3(α)cos(θm)计算得到；其中，w2(dm)＝1-min(dm/d
max
,1)，
α为视点对(v
p
,vq)的两观测光线的夹角，θm为两根光线与采样点s法向量的最大夹角，dm为视点对(v
p
,vq)离采样点s的最大距离，d
max
为有效距离的最大阈值。
68.参见图2，本发明实施例提供的无人机贴近摄影视点快速优化系统，包括：
69.初始模型获取模块100，用于获取待重建场景的初始模型，对初始模型生成安全壳，初始模型和安全壳两者同时作为后续视点生成与优化的先验信息。安全壳用于区分障碍物区域以及安全飞行区域，用于后续的视线遮挡判断。在本实施例中，安全壳以外的区域为安全飞行区域；
70.在本实施例中，初始模型可以是倾斜摄影测量获得的三角网格模型，或者dem、点云转换得到的三角网格模型，或者bim模型等。
71.采样点生成模块200，用于在初始模型的表面采样，生成采样点；
72.在本实施例中，采样点可以通过蒙特卡洛采样、规则迭代采样、泊松采样、随机均匀采样获得，并获取其法向量。
73.视点生成模块300，用于在安全飞行区域采样，生成视点；
74.初始视点集合获取模块400，用于通过判断视点与采样点的可见性，得到初始视点集合；
75.具体地，初始视点集合获取模块400，包括：
76.第一初始视点集合获取单元，用于将与各采样点的间距小于距离阈值的视点加入初始视点集合；
77.第二初始视点集合获取单元，用于将视线与各采样点的法向量的夹角小于夹角阈值的视点加入初始视点集合；
78.第三初始视点集合获取单元，用于判断采样点si＝(xi,yi,zi,normali)是否在视点vi＝(xi,yy,zi,sighti)的影像上成像；其中，normali为采样点的法向量，sighti为视线方向；若成像，将该视点加入初始视点集合。
79.优化视点集合获取模块500，用于根据当前所有采样点的重建度，使用次模函数，不断迭代从初始视点集合中选择视点加入优化视点集合。并更新采样点的重建度。迭代上述步骤，直至超过95％的采样点满足重建或者达到自定义的迭代终止条件。
80.具体地，优化视点集合获取模块500，具体用于通过公式vi＝argmax eh得到视点vi加入优化视点集合；其中，eh为重建度的预计收益，加入优化视点集合；其中，eh为重建度的预计收益，其中为视点vi可见的采样点集合，h
tmax
为重建度的最大阈值，h(s,v)为当前的优化视点集合对采样点s的重建度。
81.还包括：
82.第一计算模块，用于通过公式h(s,v)＝∑
p＝1
…
|v|,q＝i
…
|v|
v(s,v
p
)v(s,vq)c(s,v
p
,vq)计算得到h(s,v)；其中，|v|为当前的优化视点集合中的元素个数，v(s,v
p
)为视点v
p
对采样点s的可见性，v(s,vq)为视点vq对采样点s的可见性，c(s,v
p
,vq)为视点对(v
p
,vq)对采样点s的重建度贡献。在本实施例中，v(s,v
p
)和v(s,vq)取值为0或1。
83.第二计算模块，用于通过公式c(s,v
p
,vq)＝w1(α)w2(dm)w3(α)cos(θm)计算得到c(s,v
p
,vq)；其中，w2(dm)＝1-min(dm/d
max
,1)，α为视点对(v
p
,vq)的两观测光线的夹角，θm为两根光线与采样点s法向量的最大夹角，dm为视点对(v
p
,vq)离采样点s的最大距离，d
max
为有效距离的最大阈值。
84.下面对本发明实施例进行具体说明：
85.步骤1：获取待重建场景的初始模型，对初始模型生成安全壳，区分障碍物区域以及安全飞行区域，用于后续的视线遮挡判断。具体地，安全壳包围的范围即代表障碍物区域。在xoy平面上生成等间距的格网点m*n，采样间距为1m。对每一个格网，在初始模型中取四个格网点对应的最大高程作为该格网的高程，如图3所示。安全壳最终生成的为柱状簇，每一个柱体即为aabb盒，代表了格网范围内的高度，减少了后续内插过程，便于后续的避障判断。由倾斜摄影测量获得的三角网格模型生成的安全壳示意图如图4所示。
86.步骤2：在初始模型表面采样，生成较为密集的采样点，用于后续判断表面的可重建性。采样点代表其周边一定范围的邻域。通过采样点的h值，判断该采样点周边范围的可重建性。生成的采样点如图5所示。
87.步骤3：通过在安全飞行区域采样，生成视点。具体地，在安全飞行区域生成体素，每个体素的大小由相机参数和采集参数得到。在本实施例中，体素的大小为影像高*gsd/3。如对于分辨率6000*4000，焦距30mm，像元尺寸3.9微米的相机，采集地面分辨率为0.6cm的影像，体素的大小＝4000*0.6cm/3＝8m。每个体素中，取其中心点位置，取朝向不同方向的8+9＝17个角度，生成17个视点，如图6所示，用于生成较为密集的初始视点集合。
88.步骤4：根据共线方程和安全壳计算所有视点与所有采样点的可见性。
89.具体地，对于采样点与视点的距离超过两倍默认拍摄距离，认为不可见；对于拍摄视角较窄的情况，认定不可见，如图7所示。其中拍摄视角较窄指视线与采样点的法向量夹角超过60
°
；根据摄影测量共线方程，通过判断采样点si＝(xi,yi,zi,normali)是否在视点vi＝(xi,yy,zi,sighti)的影像上成像，normali为采样点的法向量，sighti为视线方向，皆为1*3的向量。若成像，则说明该视点与该采样点可视；否则视点与该采样点之间存在遮挡。对于采样点与视点之间存在遮挡的情况，认为不可见。判断视线是否遮挡时，只需在视线上进行采样，对每个点判断其高程是否高于其平面坐标所对应的安全壳高程，如图8所示。若需要考虑飞行安全距离d，则对安全壳进行d*d的最大值滤波。将可见的视点加入初始视点集合。
90.步骤5：根据次模函数迭代选取最优视点加入最终的优化视点集合，直至超过95％的采样点满足重建。具体如下：
91.根据当前所有采样点的重建度h，使用次模函数，如公式(1)所示，不断迭代选择最优视点加入优化视点集合，并更新加入新的视点后的采样点的重建度。迭代上述步骤，直至超过95％的采样点满足重建或者达到自定义的迭代终止条件。
92.vi＝argmax eh
[0093][0094]
其中，vi为第i次迭代选取的最优视点；eh为重建度的预计收益，其由视点vi可见的采样点集合的重建度计算得到。为视点vi可见的采样点集合，h
tmax
为重建度的最大阈值，h(s,v)为当前的优化视点集合对采样点s的重建度，后续重建度直接由h表示，如公式(2)所示。未加入视点时所有采样点的重建度为0。设置满足最佳重建的重建度范围为1.3-5.0，由此对应的h
tmax
为5.0。
[0095]
h(s,v)＝∑
p＝1
…
|v|,q＝i
…
|v|
v(s,v
p
)v(s,vq)c(s,v
p
,vq)
ꢀꢀꢀꢀꢀꢀ
(2)
[0096]
其中，|v|为当前的优化视点集合中的元素个数，v(s,v
p
)为视点v
p
对采样点s的可见性，v(s,vq)为视点vq对采样点s的可见性，c(s,v
p
,vq)为视点对(v
p
,vq)对采样点s的重建度贡献，其形式如公式(3)所示。
[0097]
c(s,v
p
,vq)＝w1(α)w2(dm)w3(α)cos(θm)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0098][0099]
w2(dm)＝1-min(dm/d
max
,1)
[0100][0101]
其中，α为视点对(v
p
,vq)的两观测光线的夹角，θm为两根光线与采样点s法向量的最大夹角，dm为两个视点v
p
,vq离采样点s的最大距离，d
max
为有效距离的最大阈值。w1(α)和w3(α)使交会角α尽可能介于之间。w2(dm)使拍摄距离尽可能离目标更近。在本实施例中，d
max
为dm的2倍，即认为对采样点s有贡献的视点v的最远拍摄距离为默认距离的两倍。
[0102]
本发明实施例选取对所有采样点重建度预计收益eh最大的视点vi加入优化视点集合。eh最大，则说明该优化的视点vi可见的采样点的h值都比较小，或者可见的采样点数量更多，认为加入该视点后，预计会带来更多的信息增益。更新vi可见的采样点的重建度，迭代上述步骤，直至超过95％的采样点满足重建或者达到自定义的迭代终止条件。每次迭代选取最优的视点，伴随着视点的增加，每一个采样点的h值是递增的，意味着eh是在不断减少的，意味着边际效益的减少，满足次模性。
[0103]
由于每次迭代只需要对剩余每个视点根据现有的重建度计算eh并排序，时间复杂度为o(mn)，其计算量远小于计算加入每个视点带来的实际δh收益。其中m为视点平均可见的采样点个数，n为视点个数。每次迭代速度极快，可快速获取最终的优化视点集合。
[0104]
在场景中实验，计算出来的eh与h增益如图9所示。图9中相同的变化趋势反映了eh是能代表实际的h收益，其走向几乎完全一致，说明该次模函数是有效且快速的。
[0105]
由于所有视点位置限制在有限个体素的中心，因此最后生成的视点排列较为整齐，且同一位置的视点之间只需要调整无人机朝向和云台的俯仰角，便于最终无人机飞行航线的连接，且能耗和时间消耗较少。
[0106]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0107]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0108]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0109]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0110]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0111]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。