用于三维模型重建的多条无人机路径确定方法及装置与流程

本发明涉及用于三维模型重建的多条无人机路径确定方法及装置。

背景技术：

空间信息作为重要的基础数据，其采集与应用贯穿了应急管理的整个过程。现有的空间信息多以二维地图的形式表达，许多宝贵的地形和地物细节如纹理、高度、形状信息均难以呈现。在应急管理过程中，三维实景地图能够提供更直观、更详细的空间信息，更好的为应急决策提供支撑。

为了获取建筑的高精度三维模型，需要对建筑进行逐层环绕飞行，完全获取建筑的表面纹理信息。现有的纹理图像采集过程均依靠人工控制，凭经验确定无人机飞行轨迹和相机拍摄间隔。为保证照片的重叠率满足三维重建的需求，往往通过设置密集的飞行轨迹和较小的拍摄间隔，拍摄大量冗余的影像照片，导致三维重建软件要花费大量的时间去匹配和处理冗余信息，降低了三维重建效率。

技术实现要素：

为了克服现有技术的不足，本发明提出一种用于三维模型重建的多条无人机路径确定方法及装置，能够在拍摄点集确定和明确时间约束情况下，确定最佳的多条飞行路径。

用于三维模型重建的多条无人机路径确定方法，包括如下步骤：

S1、对于确定的拍摄点集中的任意一个拍摄点，计算无人机可以从所述任意一个拍摄点直线飞行到达的另一个拍摄点，并计算这两个拍摄点之间的时间成本，直至确定所述无人机的飞行路网；其中，所述拍摄点集为无人机的相机对建筑进行拍摄的拍摄点的集合；

S2、根据总时间约束、无人机的续航时间、无人机的起飞点和无人机的降落点的约束条件，计算在无人机遍历所有拍摄点的情况下所需无人机的最少架次；

S3、逐渐减少每个架次的无人机的飞行时间，直至在总时间约束、无人机的飞行时间、无人机的起飞点和无人机的降落点的约束下，所述无人机无法遍历所有的拍摄点，从而计算在最少架次下所需的最小飞行时间成本。

在一个实施例中，

在每个拍摄点所述无人机具有对应的航向角，所述时间成本包括飞行时间成本和航向调整时间成本，其中，所述飞行时间成本为所述无人机在拍摄点之间飞行所需的时间，所述航向调整时间成本为：所述无人机到达某个拍摄点后，将所述无人机的当前航向角调整为所述某个拍摄点对应的航向角所需的时间。

在一个实施例中，

每个架次的无人机的起飞点和降落点相同。

在一个实施例中，

每个架次的无人机的续航时间相同。

本发明还提供了用于三维模型重建的多条无人机路径确定装置，包括：

第一处理单元，用于对于确定的拍摄点集中的任意一个拍摄点，计算无人机可以从所述任意一个拍摄点直线飞行到达的另一个拍摄点，并计算这两个拍摄点之间的时间成本，直至确定所述无人机的飞行路网；其中，所述拍摄点集为无人机的相机对建筑进行拍摄的拍摄点的集合；

第二处理单元，用于根据总时间约束、无人机的续航时间、无人机的起飞点和无人机的降落点的约束条件，计算在无人机遍历所有拍摄点的情况下所需无人机的最少架次；

第三处理单元，用于逐渐减少每个架次的无人机的飞行时间，直至在总时间约束、无人机的飞行时间、无人机的起飞点和无人机的降落点的约束下，所述无人机无法遍历所有的拍摄点，从而计算在最少架次下所需的最小飞行时间成本。

在一个实施例中，

在每个拍摄点所述无人机具有对应的航向角，所述时间成本包括飞行时间成本和航向调整时间成本，其中，所述飞行时间成本为所述无人机在拍摄点之间飞行所需的时间，所述航向调整时间成本为：所述无人机到达某个拍摄点后，将所述无人机的当前航向角调整为所述某个拍摄点对应的航向角所需的时间。

在一个实施例中，

每个架次的无人机的起飞点和降落点相同。

在一个实施例中，

每个架次的无人机的续航时间相同。

本发明的有益效果是：

在应急管理过程中，当三维重建的数据采集任务有明确时间约束时，本发明能够准确计算出需要的飞行架次，以及每个架次的飞行路径与拍摄任务点。

【附图说明】

图1是本发明一种实施例的三维模型重建的多条无人机路径确定方法的流程示意图

图2是本发明一种实施例的建筑轮廓的三维点模型

图3是本发明一种实施例的建筑及无人机的飞行路径示意图

图4是本发明一种实施例的建筑轮廓的三维点模型及无人机的相机的拍摄锥体覆盖示意图

图5是本发明一种实施例的任意两个拍摄点之间与建筑物的位置关系示意图

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示流程，一种实施例的三维模型重建的多条无人机路径确定方法，包括如下步骤：

S1、构造构成所要拍摄建筑的轮廓的三维点模型

大部分建筑的立面都是垂直于或者近似垂直于地面的，因此根据建筑的正射影像能够准确勾勒出建筑的横剖面轮廓。用户可以方便地从网络地图(比如百度卫星地图，Google卫星地图)上获得建筑的正射影像。设定本地NED坐标系为X轴朝北，Y轴朝东，Z轴垂直地平面朝下，原点在地平面上。从正射影像上还能分析出建筑在Y轴上的长度、在X轴上的宽度以及周长信息。建筑的高度可以通过实地测量或者目测估计，几米的误差不会影响无人机按照本发明规划的飞行路径进行三维重建的结果。

勾勒建筑的横剖面轮廓，得到一个封闭的曲线，用一个用户设定的分辨率，比如0.5m，将该曲线离散化，使得每相邻两个点之间的长度均为0.5m，由此得到建筑外轮廓在XY平面上的离散点序列。用同样的分辨率将建筑的高度离散化，得到Z方向的离散点序列。根据两个离散点序列，可以构造建筑的立面三维外表面点模型。

建筑的顶面可以近似为由横剖面轮廓围起来的二维多边形平面，在X、Y方向上以同样的分辨率将该多边形离散为网格。结合立面与顶面的三维点模型，得到建筑外表面(轮廓)的三维点模型。图2以网格的形式示例了一个现实的建筑的外表面三维点模型，每个网格节点都是用上述方法得到的。当然这个模型是非常粗略的，只能体现建筑的轮廓，不能体现建筑表面的细节。

S2、确定飞行路径关键参数的初始值

如背景技术里介绍的，要完全获取建筑表面纹理，需要对建筑逐层环绕飞行，飞行路径示意图如图3所示，可以分为立面环绕飞行路径、顶面蛇形扫描飞行路径，以及立面到顶面的过渡飞行路径三部分。

对于立面飞行路径，只要确定了立面拍摄点与建筑立面的距离、同一层相邻两个拍摄点的距离、上下两层拍摄点的间距(即上下相邻的飞行路径段之间的距离)、每个拍摄点的姿态角(俯仰角、横滚角、偏航角)、最低拍摄层的高度，以及最高拍摄层的高度，就能计算出无人机与相机在立面各个拍摄点的位置和姿态，从而构造出立面的飞行路径。因为建筑的立面不是平面，为了确保拍摄的照片满足三维重建重叠率的要求，这些参数值要通过反复迭代计算来确定。初始值的计算方法如下：

S21、计算立面环绕飞行时飞行路径与建筑的水平距离D1的初始值D1_Initial。

相对于建筑而言，无人机质心与相机焦点的位置可以认为是重叠的，因此拍摄点与建筑的水平距离也就是无人机飞行路径与建筑的水平距离D1。

可以假设立面为平面，根据无人机的飞行速度、相机的拍照间隔，以及三维重建对航向重叠率的要求来计算D1_Initial：

$D{1}_{Initial}=\frac{Speed\_UAV\×Intervel\_Photo}{(1-Overlap\_Heading)\×2\×\tan (FOV\_H)}$

其中Speed_UAV是无人机的飞行速度，Intervel_Photo是相机的拍照间隔；FOV_H是相机的水平视角的1/2，Overlap_Heading是航向重叠率阈值(三维重建航向重叠率要求)。

D1_Initial的确定可以分为两种情况。

情况1：受到现场环境限制，比如有树木、其他地物影响，无人机与建筑的距离不能太近，只能在某一个范围外取值，这种情况下要先确定D1_Initial，然后再根据关系式调整无人机的飞行速度或者相机的拍照间隔。

情况2：受到无人机参数与相机参数的限制，无人机飞行速度与相机拍照间隔不能随意调整，这种情况下要先确定无人机的飞行速度与相机拍照间隔，再根据关系式计算D1_Initial。

由于相机的水平视角以及航向重叠率阈值都是确定的，而相机的拍照间隔也不是连续可调的，因此一般这三个参数会先定下来，然后调整无人机与建筑的距离以及无人机的飞行速度，使得无人机与建筑的距离满足环境要求，同时无人机的飞行速度也在一个合理范围内。

S22、确定初始的同一层相邻两个拍摄点的距离，也即立面飞行路径的航向间距。

确定了无人机的飞行速度与相机拍照间隔后，立面轨迹的航向间隔等于无人机飞行速度乘以相机拍照间隔。

S23、确定上下两层拍摄点的间距，也即立面飞行路径的初始旁向间距H3_Initial。

假设立面为平面，确定了飞行路径与建筑的水平距离后，计算H3_Initial：

H3_Initial＝2×D1_Initial×tan(FOV_V)×(1-Overlap_Side)

其中，FOV_V是相机的垂直视角的1/2，Overlap_Side是建筑的垂直方向的重叠率阈值(三维重建旁向重叠率要求)。

S24、确定初始的立面最高拍摄层的高度H2。

立面飞行路径的最高高度要确保同时拍摄到建筑立面与顶面，取建筑高度Height_Building加上无人机与建筑的水平距离D1之和，当采用45度角倾斜拍摄时，理论上照片的50％拍摄到建筑立面，50％拍摄到建筑顶面。

S25、确定立面最低拍摄层的初始高度H1_Initial

立面飞行路径的最低高度要确保拍摄的照片能够完全覆盖建筑底部

$H{1}_{Initial}=\frac{Height\_Building}{\frac{Height\_Building}{H{3}_{Initial}}+1}$

S26、确定立面飞行路径中每个拍摄点的姿态角。

每个拍摄点的姿态角由两部分决定：无人机的姿态角和相机的姿态角。

理想情况下，无人机偏航角应指向同一高度的建筑二维质心。无人机的俯仰角和横滚角受飞行过程影响，理想情况下，在每个拍摄点的俯仰角与横滚角均为0。

相机装载在云台上，只需要调整相对于无人机平面的向下俯仰角，当立面轨迹高度低于建筑时，采用水平摄影，俯仰角为0度，当立面轨迹高度高于建筑时，采用倾斜摄影，俯仰角一般为42-45度。

顶面飞行路径如图3右侧图所示，是同一平面的扫描轨迹，类似的，只要确定了顶面拍摄点与建筑顶面的垂直距离、飞行方向上相邻两个拍摄点的距离，两列拍摄点的间距(也即顶面飞行路径中相邻的路径段之间的距离)、每个拍摄点的姿态角(俯仰角、横滚角、偏航角)，就能计算出无人机与相机在顶面各个拍摄点的位置和姿态，从而构造出顶面的飞行路径。因为在构造建筑三维点模型时，建筑的顶面已近似为平面，通过理论计算就能确保拍摄的照片满足三维重建重叠率的要求，计算方法如下：

S27、确定顶面扫描飞行时，飞行路径与建筑顶面的垂直距离H4。

类似的，顶面轨迹与建筑顶面的垂直距离根据无人机的飞行速度、相机的拍照间隔，以及航向重叠率阈值的要求来计算，与立面的距离D1不同的是，顶面路径的航向对应着相机的垂直视角，关系式为：

$H4=\frac{Speed\_UAV\×Intervel\_Photo}{(1-Overlap\_Heading)\×2\×\tan (FOV\_V)}$

S28、确定顶面飞行路径的飞行方向上相邻拍摄点的距离也即顶面飞行路径的航向间隔。

类似的，确定了无人机的飞行速度与相机拍照间隔后，顶面飞行路径的航向间隔等于无人机飞行速度乘以相机拍照间隔。

S29、确定顶面飞行路径两列拍摄点的间距，也即顶面飞行路径的旁向间隔D2。

类似的，确定了顶面飞行路径与建筑顶面的垂直距离后，顶面的旁向对应了相机的水平视角以及三维重建对旁向重叠率的要求，计算公式为：

D2＝2×H4×tan(FOV_H)×(1-Overlap_Side)

S210、确定顶面飞行路径中每个拍摄点的姿态角。

顶面飞行路径中每个拍摄点的姿态角由两部分决定：一是无人机的姿态角，二是相机的姿态角。

无人机偏航角应一直指向飞行方向。无人机的俯仰角和横滚角受飞行过程影响，理想情况下，在每个拍摄点的俯仰角与横滚角均为0。

相机装载在云台上，只需要调整相对于无人机平面的向下俯仰角，顶面飞行路径中，俯仰角始终为90度，拍摄顶面的正射影像。

S211、确定过渡飞行路径。

在通常情况下，过渡飞行路径中拍摄的照片不参与三维重建，因而也不会影响三维重建，因此在过渡飞行路径中不需要调整无人机与相机的参数。

S3、计算最小拍摄点集。

根据步骤S2中确定的关键参数初始值，构造飞行路径，计算必须的拍摄位置点集，判断在这些拍摄位置点拍摄的照片是否均满足三维重建的航向与旁向重叠率要求。

S31、计算立面飞行路径中相邻的拍摄点所述相机拍摄覆盖的点集的重叠率。

相机的拍摄区域可以视为一个金字塔形的锥体，锥体的顶点可以近似为无人机质心，锥体的张角由相机的水平视角和垂直视角决定，在机体坐标系中很容易获得该锥体的解析表达式，再利用机体坐标系与本地NED坐标系之间的旋转与平移关系，可以获得在本地NED坐标系下相机的拍摄区域表达式。利用该锥体与建筑三维点模型的相对关系，可以算出建筑三维点模型中，有哪些点能够被相机拍到。

将某一拍摄点N拍摄的建筑表面点标记为1，没拍到的表面点标记为0，则我们能得到该位置的拍摄到的建筑点集，记为I_N，I_N+1表示拍摄点N的下一个拍摄点N+1拍摄到的建筑点集，计算该拍摄点拍到的建筑表面点与相邻下一拍摄点拍到的建筑表面点之间的重叠率。对于某一个拍摄点而言，需要计算航向方向上相邻的拍摄点覆盖的建筑点之间的重叠率，还需要计算竖直方向上相邻的拍摄点覆盖的建筑点之间的重叠率。

重叠率的算法如下：

$O_N=\frac{sum(I_N\∩I_{N\mathrm{+1}})}{sum\left(I_N\right)}.$

如果采用相机能够拍摄到的建筑的面积来计算重叠率，如图2所示，由于建筑的立面通常是不规则的曲面，相机能够拍摄到的建筑的面积计算非常困难，因此，本实施例采用利用相机拍摄覆盖的点集来计算重叠率的方案更加简单。

在一些情况下，相机拍摄覆盖的三维点模型中的点可能是被实际的建筑遮挡的，也就是说这些点是无法出现在相机拍摄出来的照片中的，因此，需要对这些被遮挡点进行排除。

如图4所示，经过步骤S1构造的三维点模型包含了网格化的建筑表面，网格的每一个节点坐标已知。不难理解，建筑立面可以看作由N个垂直于XoY平面的小矩形条组成，每个矩形条的高度等于建筑高度，每个矩形条的宽度等于一个网格的宽度。以O点为原点的四条射线范围内是相机的拍摄锥体。

S311、遍历建筑点集，判断是否落在拍摄锥体内。这个有多种算法，比如可以通过判断建筑上的点(假设为E点)与O点的连线OE矢量与平面OAB、OBC、OCD、OAD的法向量之间的夹角关系，来判断E点是否在锥体内。

S312、对于落在锥体内的点集，判断遮挡关系，排除被遮挡点。由于建筑表面可以看成由N个垂直于XoY平面的小矩形条以及平行于XoY平面的顶面，共N+1个面构成的，不难理解，如果某个点被遮挡，则该点与O点的连线将穿过N+1个面中的某一个面。

S3121、先判断落在锥体内的点集中的点(以下统称F点)是否被建筑顶面遮挡，由于顶面是个平行于XoY的多边形，已知该多边形的边界点，所以只需要判断F点与O点之间的连线与顶面多边形是否有交点即可。如有交点，说明F点被顶面遮挡，不能被相机拍到，将该F点排除；如没有交点，说明没有被顶面遮挡。

S3122、继续判断经过步骤S3121处理剩下的点集中的点是否被立面遮挡。不难理解，只有落入拍摄锥体内的立面部分才有可能遮挡住F点。

类似的，将落入锥体内的立面部分看成多个垂直于XoY平面的矩形区域，因为知道图4中每个节点的坐标，很容易列出这些矩形区域的方程，作一条F点到O点之间的连线，判断这条直线与这些矩形的关系，如果相交，则表示F点被遮挡，否则F点则未被遮挡。

在一些实施例中，可以通过如下方法减少需要遍历的点数：当发现O点高于建筑时，则位于拍摄锥体内的建筑顶面区域的点不需要再判断。

S32、不断调整参数，直至立面飞行路径上的拍摄点满足重叠率要求。

对于顶面飞行路径，由于拍摄的是正射影像，通过正射影像理论计算便能获得满足重叠率要求的拍摄点位置。

对于立面轨迹，如果在步骤S31中，如果某两个相邻拍摄点覆盖的点集的重叠率不满足三维重建要求的，则需要增大飞行路径与建筑的水平距离，或者改变无人机的飞行速度，或者相机的拍照间隔。由于改变飞行速度或相机拍照间隔会影响顶面飞行路径的参数，因此优先增大飞行路径与建筑的水平距离D1，并计算与D1相关的其他关键参数。

重构飞行路径，获取新的拍摄点集，重复步骤S3，直至所有拍摄点覆盖的点集的重叠率均满足三维重建要求。

经过步骤S1至S3，得到了确定的拍摄点集。如果对无人机的数据采集过程有时间约束，还需判断单架无人机飞行是否能够满足时间约束。如果单架无人机飞行能够满足时间约束，则按立面飞行路径--过渡飞行路径--顶面飞行路径的顺序构造飞行路径，遍历所有拍摄点。如果由于单架无人机飞行耗时太长，不能满足时间约束，则需要采用多机模式，将拍摄点集分配到多架次飞行中去。由于每个拍摄点都是无人机的任务点，多架无人机协同作业下，路径规划就是要使用多架次无人机在指定的时间内，以最小的时间成本遍历任务点，并在每个任务点调整姿态，拍摄照片。

S4、构造飞行路网。

针对拍摄点集中的任意一个拍摄点，确定无人机可以从该拍摄点直线飞行到达的另一个拍摄点(也即这两个拍摄点之间的连线与建筑的表面不相交，无人机在这两个拍摄点之间飞行不会被建筑遮挡)，并计算这两个拍摄点之间的时间成本，这样，在拍摄点集中，即可以形成一个飞行路网，其表示了无人机可以选择的飞行路径。

现有的无人机通常支持无头模式飞行，无人机在飞行过程中航向角无法改变，由于相机是固定在无人机的云台上的，相机的俯仰角可以在飞行过程中调整，无人机在到达拍摄点后才能调整航向角，因此时间成本主要包括飞行时间成本和航向调整时间成本，其中，所述飞行时间成本为所述无人机在拍摄点之间飞行所需的时间，所述航向调整时间成本为：所述无人机到达某个拍摄点后，将无人机的当前航向角调整为所述某个拍摄点对应的航向角所需的时间。

确保两个拍摄点之间的连线与建筑的表面不相交的方法有很多。例如，可以参照步骤S311至步骤S312的计算方法，确保两个拍摄点之间的连线与建筑的表面不相交。

在另一个实施例中，可以通过如下方法确保两个拍摄点之间的连线与建筑的表面不相交的方法。

如图5所示，根据建筑的三维点模型，可以把建筑立面想象成由一系列长方形构成，通过判断两个拍摄点之间的视线是否被建筑顶面或者立面的某些长方形遮挡，就能判断这两拍摄点之间的航路是否畅通。P1、P2是待判断的两个拍摄点，过P1、P2点，做一个垂直于XoY平面的长方形，记为ABCD面。构建一个长方体，顶点为E、F、G、H和K、L、M、N，四个立面均垂直于XoY平面，下底面为XoY平面，上顶面平行与XoY平面，高度为建筑高度与P1、P2的高度中最大值。其中A、B、C、D点分别是线段EH、FG、ML、NK的中点，EFGH面和KLMN面均垂直于ABCD面，取EH长度为建筑网格的2-3倍即可。如果P1P2视线被建筑立面某点P3所遮挡，则P3所在的长方形肯定会落在EFGHKLMN长方体内，也就是说，在规划的某条飞行路径中，无人机不能从P1直接飞到P2。

并不是所有拍摄点都需要两两判断，相邻的拍摄点之间一定可以通行，高于建筑的所有拍摄点之间都可以通行，这样可以减少需要判断的拍摄点的数量，能够提高路径规划的速度。

S5、计算所需无人机的最少架次。

根据飞行路网、总时间约束、无人机的续航时间、无人机的起飞点和无人机的降落点，计算在无人机遍历所有拍摄点的情况下所需无人机的最少架次。

例如，可以首先设定无人机的最少架次为2架，设定无人机的飞行时间为续航时间，并设定无人机的起飞点和降落点，通过多旅行商问题的计算算法，计算在总时间约束的情况下是否可以遍历所有的拍摄点，如果不行，则增加无人机的架次(例如增加1架次)，如不能遍历所有拍摄点则继续增加架次，直至能够遍历所有的拍摄点，这样即可以获得所需的无人机最少架次。通常情况下，每个无人机的续航时间、起飞点和降落点是相同的，当然也可以不同。多旅行商问题是一个经典的数学问题，目前已经有很多的算法来计算最佳的路径。

S6、在所述最少架次下，计算最小的飞行时间成本。

由于在步骤S5中假设每架次的无人机都是在续航时间下完成飞行任务的，实际飞行中在遍历所有的拍摄点的情况下，可能有些无人机的实际飞行时间小于续航时间。因此，可以逐步减少每个无人机架次的飞行时间，根据步骤S5计算是否可以遍历所有的拍摄点，若可以则继续减少每个架次无人机的飞行时间，直至在某一次减小每个架次无人机的飞行时间后，根据步骤S5的计算无人机无法遍历所有的拍摄点，这样，上述某一次减小之前的飞行时间，即是最少架次下的最小飞行时间成本。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。