无人机航拍路径生成方法、装置、计算机设备和存储介质与流程
本申请涉及计算机图形学技术领域，特别是涉及一种无人机航拍路径生成方法、装置、计算机设备和存储介质。
背景技术
随着无人机技术的发展和进步，无人机被广泛应用于各领域，基于无人机的操控已经从专业用户扩展到普通用户。无人机上安装有摄像设备、无线图传设备、电池等。比如将无线图传设备与电池固定在无人机底部，运用馈线将发射天线垂直安装在机尾。将无人机视频源与无线图传设备连接，使其形成完整的无人机无线视频图传系统。
用户的操控焦点需要在无人机和实时无线图传视频之间来回切换，并且在无人机操控任务中往往需要保持无人机在飞行师视线以内，这在许多应用场景，比如大规模室外场景中是无法实现。
传统的无人机航拍路径制定大多由专业技术人员手动完成，手动的难度较大，需要同时操控无人机和相机使得长距离的航拍几乎不可能，即传统的无人机航拍路径存在工作量大、工作难度大的问题。
技术实现要素：
基于此，有必要针对上述技术问题，提供一种能够减少工作量和降低工作难度的无人机航拍路径生成方法、装置、计算机设备和存储介质。
一种无人机航拍路径生成方法，所述方法包括：
获取输入的航拍地标；
根据航拍地标，得到无人机航拍安全区域；
构建航拍地标的视角质量标量场；
根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合。
一种无人机航拍路径生成装置，其特征在于，所述装置包括：
地标获取模块，用于获取输入的航拍地标；
安全区域模块，用于根据航拍地标，得到无人机航拍安全区域；
视角质量构建模块，用于构建航拍地标的视角质量标量场；
路径生成模块，用于根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现本申请任意一个实施例中提供的无人机航拍路径生成方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意一个实施例中提供的无人机航拍路径生成方法的步骤。
上述无人机航拍路径生成方法、装置、计算机设备和存储介质，用户输入航拍地标，通过获取输入的航拍地标，根据航拍地标得到无人机航拍安全区域，再构建航拍地标的视角质量标量场，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合，这样可实现自动生成航拍路径，可以大大减少用户工作量和工作难度系数。
附图说明
图1为一个实施例中无人机航拍路径生成方法的应用环境图；
图2为一个实施例中无人机航拍路径生成方法的流程示意图；
图3为一个实施例中根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合步骤的流程示意图；
图4为另一个实施例中根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合步骤的流程示意图；
图5为另一个实施例中无人机航拍路径生成方法的流程示意图；
图6为一个实施例中安全区域和禁止区域计算示例图；
图7为一个实施例中距离场示例图；
图8为一个实施例中视角质量计算示例图；
图9为一个实施例中地标局部区域划分示意图和视角区域的二维展示图；
图10为一个实施例中局部路径生成示意图；
图11为一个实施例中迁移路径生成示意图；
图12为一个实施例中迁移路径的转向计数示意图；
图13为一个实施例中gtsp问题示意图和包括3个地标的静态场景航拍路径示意图；
图14为一个实施例中本申请对应的gtsp示意图；
图15为一个实施例中用户调查统计图；
图16为一个实施例中无人机航拍路径生成装置的结构框图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的无人机航拍路径生成方法，可以应用于如图1所示的应用环境中。无人机航拍系统包括无人机、遥控装置和摄像装置，摄像装置可以设置于无人机，无人机与遥控装置通过网络进行通信，遥控装置与摄像装置通过网络进行通信。通过遥控装置控制无人机的飞行，控制摄像装置在无人机飞行过程中进行拍摄。用户可通过遥控装置输入航拍地标，遥控装置获取输入的航拍地标，根据航拍地标，得到无人机航拍安全区域，构建航拍地标的视角质量标量场，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合。遥控装置将生成的航拍路径集合发送至无人机和摄像装置，无人机按照航拍路径集合飞行，摄像装置沿着航拍路径集合进行航拍。
在一个实施例中，如图2所示，提供了一种无人机航拍路径生成方法，以该方法应用于图1中的遥控装置为例进行说明，包括以下步骤：
步骤100，获取输入的航拍地标。
航拍可称为空中摄影或航空摄影，是指从空中拍摄。航拍图是指通过航拍得到的图像或视频，航拍图能够清晰的表现地理形态，因此航拍除了作为摄影艺术的一环之外，也被运用于军事、交通建设、水利工程、生态研究、城市规划等方面。航拍地标是指航拍场景中的地标，比如无人机航拍场景为校园时，校园的地标包括图书馆、校史馆等，此时航拍地标具体可以是图书馆、校史馆等。
步骤200，根据航拍地标，得到无人机航拍安全区域。
无人机航拍安全区域是指无人机进行航拍时，无人机可以进入的区域。鉴于无人机飞行对安全的要求极高，同时考虑到民用gps(globalpositioningsystem，全球定位系统)的误差，需要基于预设航拍场景2.5维的信息计算出无人机可以进入和禁止进入的区域。预设航拍场景2.5维的信息可以包括场景中的地标信息，具体可以是地标对应二维轮廓的经纬度坐标信息以及高度信息。从预设航拍场景2.5维的信息出发，将距离地标一定距离的空间划分为禁止区域，其余区域为安全区域。
一个实施例中，根据航拍地标，得到无人机航拍安全区域可以包括：获取航拍地标对应的图像以及航拍地标的二维轮廓，计算图像中的各像素点到二维轮廓的距离，获取距离中预设安全距离对应的像素点，根据像素点得到预设安全距离对应的等距离线，以等距离线作为航拍地标禁止区域的二维轮廓，根据航拍地标禁止区域的二维轮廓，得到无人机航拍安全区域。
步骤300，构建航拍地标的视角质量标量场。
无人机航拍视角是指无人机上摄影机镜头中心点到成像平面对角线两端所形成的夹角。对于相同的成像面积，镜头焦距越短，其视角就越大。对于镜头来说，视角主要是指它可以实现的视角范围，镜头焦距越短，视角越大，镜头可拍摄范围越宽；镜头焦距越长，视角越小，镜头拍摄对象越清晰。标量场是指一个仅用其大小就可以完整表征的场，视角质量标量场用于对航拍地标进行网格化模型构建，视角质量与视角的渲染图以及权重图有关。
首先根据地标的2.5维信息计算出地标不同部分的显著性，根据显著性的不同，确定不同部分的渲染颜色深度，然后根据权重图计算出整个空间的视角质量的标量场。一个实施例中，构建航拍地标的视角质量标量场可以包括：获取航拍地标的渲染图，构建航拍地标的图像像素对应的权重图，根据渲染图和权重图，得到航拍地标的视角质量标量场。其中，获取航拍地标的渲染图具体可以包括：分别计算航拍地标的顶面显著性以及侧面显著性，根据顶面显著性和侧面显著性得到航拍地标的渲染图。
步骤400，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合。
航拍路径集合包括多条航拍路径，将地标对应的空间划分为多个大区域，每个大区域再划分为若干个小区域，在每个小区域中选取该区域的关键视角。根据各关键视角，计算得到航拍路径。为了减少可能的航拍路径的数量和排除过短的路径，可以设定筛选条件，比如将通过预设数量及以上小区域的航拍路径作为候选航拍路径。再根据候选航拍路径通过大区域的数量，将候选航拍路径分类，每一类分别对应路径通过的大区域，每一类中选取视角质量最高的作为航拍路径集合中的路径。
比如，将每个地标周围的空间划分为5个大的区域，其中4个半径环射区域，1个地标上侧区域，每个大区域再划分为若干个小区域，在每个小区域中选择一个采样点作为该区域的关键视角。将选择出的任意两个视角对分别作为起始视角和终结视角，计算相应的航拍路径。为了减少可能的航拍路径的数量和排除过短的路径，只选取通过4个或者4个以上小区域的路径作为候选航拍路径。最后将所有的候选航拍路径根据其通过的大区域的数量，分成5类，分别对应通过的大区域数，每一类中选取一个视角质量最高的作为局部航拍路径，也就是说，每个地标的局部候选航拍路径最多有5个。
上述无人机航拍路径生成方法，用户输入航拍地标，通过获取输入的航拍地标，根据航拍地标得到无人机航拍安全区域，再构建航拍地标的视角质量标量场，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合，这样可实现自动生成航拍路径，可以大大减少用户工作量和工作难度系数。
在一个实施例中，如图3所示，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合，包括：步骤410，基于圆柱坐标系将视角质量标量场划分为多个区域；步骤420，获取各区域的关键视角，在无人机航拍安全区域内根据各关键视角进行曲线拟合生成航拍路径集合，关键视角为区域内视角质量最大值对应的视角。在圆柱坐标系中将航拍地标对应的视角空间划分为多个饼状区域，在每个区域中选择一个合适的视角。以地标为中心建立局部柱坐标系，使用包围地标的广义圆柱坐标来进行计算，然后按高度划分为若干个视角区域。视角区域中用不同的颜色表示不同的大区域，比如一共5个大区域。在每个大区域内选择视角质量最高的视角，选择任意两个视角分别作为起始和终结关键视角。在起始和终结之间添加关键视角，关键视角的添加可以通过对关键视角到地标的距离、俯仰角和方位角，进行线性插值，然后采用5阶的b样条曲线拟合，得到平滑的航拍路径。
一个实施例中，区域包括多个子区域，获取各区域的关键视角，包括：获取区域中各子区域对应的视角质量，将视角质量最大值对应的视角作为区域的候选视角；去除候选视角中对应的距离小于预设值的视角，得到区域的关键视角。在每个区域内选择视角质量最高的视角，为了避免出现两个视角之间的距离太近，首先选择出视角质量最高的关键视角，然后将预设距离以内的所有候选视角排除，重复这个过程，直到所有的关键视角都已经选出。
在一个实施例中，如图4所示，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合，包括：步骤430，将航拍路径集合中的航拍路径根据划分的区域分类，在无人机航拍安全区域内得到航拍路径子集合；步骤440，获取航拍路径子集合中各航拍路径的局部路径代价，基于局部路径代价最低原则，得到航拍路径子集合对应的候选航拍路径；步骤450，根据各航拍路径子集合对应的候选航拍路径，生成航拍路径集合。将航拍路径集合中所有的路径根据其通过的大区域的数量分类，比如分成5类，分别对应通过1-5个大区域，每一类中选取一个局部路径代价最低的作为候选；也就是说，每个地标的局部候选航拍路径最多有5个。一个实施例中，获取航拍路径子集合中各航拍路径的局部路径代价，包括：获取航拍路径子集合中航拍路径的平均视角质量、航拍路径与航拍地标主轴的夹角以及航拍路径视角的变化速率；根据航拍路径的平均视角质量、航拍路径与航拍地标主轴的夹角以及航拍路径视角的变化速率，得到航拍路径对应的局部路径代价。
在一个实施例中，如图5所示，输入的航拍地标为多个航拍地标时，根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合之后还包括：步骤500，获取迁移路径；步骤600，获取迁移路径的平均视角质量、迁移路径视角的变化速率以及迁移路径的转向角度；步骤700，根据迁移路径的平均视角质量、迁移路径视角的变化速率以及迁移路径的转向角度，得到迁移路径对应的路径代价；步骤800，根据航拍路径集合以及迁移路径对应的路径代价，生成无人机全局航拍路径。为了避免连接航拍路径集合中两条局部路径的迁移路径和场景中的地标发生碰撞，需要构建的迁移路径避开所有的地标。迁移路径的路径代价与迁移路径的平均视角质量、迁移路径视角的变化速率以及迁移路径的转向角度有关。
一个实施例中，根据航拍路径集合以及迁移路径对应的路径代价生成无人机全局航拍路径，包括：计算航拍路径集合中的各航拍路径的局部路径代价；根据迁移路径对应的路径代价以及局部路径代价，构建并求解广义旅行销售员问题，得到无人机全局航拍路径。当需要访问多个地标时，对于每个地标计算并构建局部路径代价最低的航拍路径集合。目标是确定访问地标的顺序，并为每个地标选择一个局部航拍路径，使得全局航拍路径的总体代价最小。上面描述的问题是一个困难的组合优化问题，可以通过将其构建为广义旅行销售员问题(generalizedtravelingsalesmanproblem，gtsp)来解决。和广义旅行销售员问题在赋权图上找一条费用最小的hamilton(哈密顿)回路(即一条能够遍历图中的一切顶点，而且起点与终点重合的回路)不同，在gtsp问题中，顶点集v变为m个点群的并集，目标是要找到一条能够遍历m个点群的代价最小的hamilton回路。
在一个实施例中，一种无人机航拍路径生成方法，以应用于室外多地标大场景为例。输入是2.5维的信息，主要包括场景中的地标信息(二维轮廓的经纬度坐标信息+高度信息)以及用户指定的感兴趣的地标。在2.5维信息的基础上计算出无人机飞行的安全区域和禁止区域，在安全区域内首先计算针对单个地标的局部航拍路径集合。然后采用全局优化的算法从每个局部路径集合中选出一条路径，连接组成整个大场景的航拍路径。最后结合无人机飞行控制sdk(softwaredevelopmentkit，软件开发工具包)沿自动生成的航拍路径完成航拍任务。
下面对主要步骤进行详细介绍，包括安全区域和禁止区域的计算、视角质量标量场的构建、针对单个地标的航拍路径的生成以及全局路径的生成。鉴于无人机飞行对安全的要求极高，同时考虑到民用gps的误差，必须基于2.5维的信息计算出无人机飞行可以进入和禁止进入的区域。从2.5维信息出发，将距离地标一定距离(比如d米)的空间划分为禁止区域，其余区域为安全区域。首先，从某个地标二维轮廓出发，计算到二维轮廓的距离场，距离的计算方法可以采用opencv的distancetransform(距离变换)方法，然后将安全距离d的等距离线提取出，以该等距离线为禁止区域的二维轮廓，以地标高度hm加上安全距离d为禁止区域的高度，即禁止区域高度为hm+d。图6为安全区域和禁止区域计算示例图，其中，a图为地标和二维轮廓，b图为距离场和距离为d的等距离线，c图为三维禁止区域示例。
视角质量标量场的构建包含两个子部分，首先根据地标的2.5维信息计算出地标不同部分的显著性，根据显著性的不同，确定不同部分的渲染颜色深度，然后根据权重图计算出整个空间的视角质量的标量场。在地标表面显著性计算中，将地标表面分为顶面和侧面，对它们采用不同的显著性计算方式，对顶面：将靠近顶面边缘和靠近中轴的部分高亮显示，以便让其在视角质量计算中具有更高的权重；对侧面：将靠近上下边缘和二维轮廓复杂的部分高亮显示，以便让其在视角质量计算中具有更高的权重。
顶面显著性计算：首先根据地标的二维轮廓计算距离场，图7为距离场示例图，a图为地标二维轮廓图，b图为基于二维轮廓的距离场。将距离归一化到[0，1]，然后采用公式1将其映射到[0.5，1]，渲染时候将其对应的rgb由(0.5，0，0)到(1，0，0)。公式1如下：当distance大于0.5时，
color_value＝z/2+0.5，
z＝sin(z*3.14153265)/2+0.5，
z＝(distance-0.5)*2-0.5，
当distance小于或等于0.5时：
color_value＝exp(-pow(abs(z)，2))*10)*0.5+0.5，
z＝1-abs(distance-0.5)*2；
其中，distance为归一化后的距离值，color_value为计算好的像素值rgb中的r值。以中心z＝0.5构建映射函数，z＝0.5时函数值最小为0.5，相应的像素rgb值(0.5，0，0)；函数最大值1，相应的像素rgb值为(1，0，0)。
侧面显著性计算：侧面显著性的计算基于两个因素，1)到边界的距离，2)二维轮廓的复杂程度。到边界的距离：首先计算侧面上的点到上下边界的距离场，将距离归一化到[0，1]，然后采用公式2将其映射到[0.5，1]，渲染的时候将其对应的rgb值由(0.5，0，0)到(1，0，0)。二维轮廓的复杂程度：计算二维轮廓的复杂程度，归一化到[0，1]，然后采用公式3映射到[0.5，1]，渲染的时候将其对应的rgb值由(0.5，0，0)到(1，0，0)。公式2：
color_value_d＝exp(-(pow(abs(z),2))*10)*0.5+0.5，
z＝1-abs(distance-0.5)*2，
其中，distance为归一化后的距离值，color_value_d为计算好的像素值rgb中的r值。以中心z＝0.5构建映射函数，z＝0.5时函数值最小为0.5，相应的像素rgb值(0.5，0，0)；函数最大值1，相应的像素rgb值为(1，0，0)。公式3：
函数值最小为0(对应边界上平滑的部分)，相应的像素rgb值(0.5，0，0)；函数最大值1(对应边界上最尖锐的部分)，相应的像素rgb值为(1，0，0)。最终的像素取值为color_value_c和color_value_d中的较大值。
根据摄影美学的三分法原则(将场景用两条竖线和两条横线分割，就如同书写中文的“井”字，把主体放置在分界线或点上，或将画面以三份作分配，使主体突出之余，保留恰当的空间感)，构建图像像素的权重图，中心白色区域权重为1，边界区域为-1，对于界于中心白色区域和边界之间的像素，通过其到最近的权重为1的像素的距离d1和最近的权重为-1的像素的距离d-1计算其权重ω＝(1*d-1+(-1*d1))/(d1+d-1)。将整个空间网格化，通过公式4计算每个网格中心点看
向地标中心的视角质量，从而得到整个空间的视角质量标量场。公式4：
qm(ν)＝im(ν)·iω，
其中，im(ν)为视角v的渲染图，iω为权重图。图8为视角质量计算示例图，其中，a图为三分法示意图，b图为权重图，c图为示例相机和场景，d图为渲染结果，e图为将渲染结果映射到权重图。
针对单个地标的航拍路径生成，首先将每个地标周围的空间划分为5个大区域，其中4个是半径环射区域，1个地标上侧区域，每个大区域再划分为若干个小区域。在每个小区域中选择一个采样点作为该区域的关键视角。将选择出的任意两个视角对分别作为起始视角和终点视角，计算相应的局部航拍路径。为了减少可能的航拍路径的数量和排除过短的路径，只选取通过4个或者4个以上小区域的路径作为候选集；最后将所有的路径根据其通过的大区域的数量，分成5类(分别对应通过的大区域数)，每一类中选取一个质量最高的作为候选；也就是说，每个地标的局部候选航拍路径最多有5个。图9a为地标局部区域划分示意图，使用圆柱坐标将视角空间划分为多个饼状单元，在每个区域中选择一个合适的视角。图9b为视角区域的二维展示图，不同的颜色表示不同的大区域，一共5个。局部路径从左下角出发，至少经过4个小区域，因此终点视角应该落在框内。
5个大区域的划分：首先以地标为中心建立局部柱坐标系，使用包围地标的广义圆柱坐标来进行计算。然后按高度划分为若干层，假定地标高度为hm，高度约束最小值设定为hmin，每层高度为hl＝max{hmin,0.2(hm+hmin)}，高度最大值为(hm+2*hl)，根据这些定义，将地标和周围的区域划分为最多7*4＝28个区域，如图10a所示。
关键视角选取：在每个区域内，我们选择公式4得分最高的视角，为了避免出现两个视角之间的距离太近，首先选择出得分最高的关键视角，然后将距离hmin以内的所有候选视角排除，重复这个过程，直到所有的关键视角都已经选出。
路径生成：基于上一步生成的关键视角，选择两个分别作为起始和终结关键视角，首先在起始和终结之间添加4个关键视角，关键视角的添加通过对关键视角到地标的距离，俯仰角和方位角(φ，ψ)进行线性插值，然后采用5阶的b样条曲线拟合总共的6个关键视角得到平滑的局部航拍路径，参考图10。
图10为局部路径生成示意图，(a)给定一个起始视角，一个终结视角，计算出4个中间的过渡视角，从而构建一个5阶的b样条曲线。中间的4个过渡视角通过线性的在倾斜角φ，二维朝向角ψ(顺时针或者逆时针方向)以及视角到地标的距离之间插值获得，这样在两个视角之间至少取得了2个插值路径。
局部路径的代价计算需要考虑三点，1)路径上所有点的平均视角质量，2)路径方向和地标几何主方向的夹角，3)路径上视角方向的平均变化速率。将所有的路径根据其通过的大区域的数量，分成5类(分别对应通过1-5个大区域)，每一类中选取一个公式5得到的代价函数值最低的作为候选；也就是说，每个地标的局部候选航拍路径最多有5个。公式5：
elocal(ts，e)＝equality+eaxis+erot，
其中，ts，e为起点ps，终点为pe的局部航拍路径；equality为沿路径ts，e的平均视角质量，vs,e为路径上所有点，qm(ν)的定义和公式4相同；eaxis为路径和地标主轴方面的匹配程度，ps，pe分别为路径的起点和终点，dm为地标主轴方向；erot为沿着路径ts，e的相机朝向的变化速率，qs，qe表示路径起点和终点的视角方向，γ(ts,e)表示路径长度。
全局路径的生成包括迁移路径的生成、迁移路径代价函数的计算以及基于gtsp的全局路径求解。为了避免连接两条局部路径的迁移路径和场景中的地标发生碰撞，需要构建迁移路径避开所有的地标。构建包含起始点、结束点以及地标禁止区域外围的采样点在内的可见性图，如图11a所示，图中直线连接的两个小单元表示两个单元之间可以直线到达，不会和场景中已有的地标发生碰撞，然后采用已有方法求得迁移路径。
和局部路径类似，需要构建迁移路径代价函数计算迁移路径的代价。和局部不同的是，迁移路径的代价考虑的是1)路径上所有点的平均视角质量(涉及两个地标)，2)路径上视角方向的平均变化速率，3)迁移转向程度。图12为迁移路径的转向计数示意图，主要考虑dm，dmt，dtm'，dm'之间的角度变化。迁移路径代价函数可表示为公式6：
其中，
基于gtsp的全局路径求解：对于每个地标计算并构建具有分数最高(代价最低)的候选局部路径集合
与广义旅行销售员问在赋权图g上找一条费用最小的hamilton回路(即一条能够遍历图中的一切顶点，而且起点与终点重合的回路)不同，在gtsp问题中，顶点集v变为m个点群的并集，v＝v1∪v2∪...∪vm，目标是要找到一条能够遍历m个点群的费用最小的hamilton回路。将单个地标的航拍路径的候选项几何抽象为gtsp中的点群，定义在安全空间内的航拍路径的成本计算方法，将航拍路径的速度，相机参数的变化速率，路径平滑程度等加入路径成本计算函数，以取得具有最低成本的整个静态场景的航拍路径。图13中左图为gtsp问题示意图，右图为包括3个地标的静态场景航拍路径示意图。
每个局部路径对应于gtsp图中的一个节点，路径总体代价可以用局部路径代价与迁移路径代价相加表示。举例如下，假设局部路径a，b，c，访问顺序为a->b->c，两条局部飞行路径有4种连接方式，即它们之间存在4条可能的迁移路径，如图14a所示。四种迁移路径组成两种可能的环路，如图14b和c所示，在图d所示的图结构中，每个地标对应候选局部路径集合定义为图的每个节点，每个节点是由多个候选路径形成的簇(集合)。
上述无人机航拍路径生成方法自动化程度高，用户无需指定关键视角，无需设计整个航拍路径的顺序，能自动计算出全局最优的航拍路径。上述无人机航拍路径生成方法交互简单，用户不需要在复杂的三维空间中做编辑三维路径等复杂操作，基本不需要设置参数，只需要选择感兴趣的地标。上述无人机航拍路径生成方法实用性强，解决了实际应用中的问题，可以极大提高航拍工作的效率。
上述无人机航拍路径生成方法经过若干个大规模室外场景的测试，在这些场景中完成了航拍路径的生成，并且完成了实地的航拍任务。在五个大规模室外场景中进行了测试，关于运行效率的统计如表1所示。
表1:实际场景计算时间统计表
使用便携式的无人机的djimavicpro来实地拍摄航拍视频。无人机的飞行运动包括沿着水平轴的向前、向后、向左或向右移动，增加和降低其高度，并顺时针或逆时针改变其方向。配备了4k/30fps1200万像素的摄像头，由3轴机械平衡环稳定。摄像机倾斜度可以通过程序控制在0度到90度之间。
实验中使用djiwaypointmissionsdk开发一个app来自动控制无人机和相机，让无人机自动地沿着系统生成的路径飞行和拍摄。使用该sdk，可以指定多达99个路径点(无人机飞行的物理位置)的序列。同时可以为每个路径点指定所需的机身朝向和相机倾斜角。然后，无人机以恒定的预设速度从一个路径点到另一个路径点移动，调整高度、机身朝向和相机倾斜度。因此，给定相机飞行路径，可以在路径上采样得到多达99个采样点，得到了包含机身朝向、相机倾斜角和无人机三维位置信息的路径点。无人机实际飞行时会经过每一个采样点，这意味着无人机飞行的路径接近于产生的平滑轨迹。
为了证明本申请的实用性，用本申请的航拍视频和飞控人员手动控制获取的航拍视频进行了比较，同时进行用户调查来评价结果。在四个场景(海上世界、校园、城市湾和阳光沙滩)进行了用户调查，地标数量和路径长度参考表1。在实验中，让用户对地标的拍摄效果和地标之间的迁移效果进行比较。假设提供了1)更让人愉悦的航拍视频，2)对地标更好的预览，3)更加合理的路径，4)地标之间更加合理的迁移，5)更加平滑的整个航拍路径。在实际调查的时候，屏幕左右位置同时呈现自动航拍视频和手动航拍视频，但是左右位置是随机的，用户事先并不知道哪一个是本申请的结果，呈现给用户的问题是：1)左边的视频更加让人愉悦，2)左边的视频提供了对地标更好的预览，3)左边的视频有着更加合理的航拍路径，4)左边的视频提供了地标之间更加合理的迁移路径，5)左边的视频有着更加平滑的航拍路径。对于每个问题，用户可以提供五个选项中的一个作为答案，1)完全统一，2)基本同意，3)说不准，4)基本不同意，5)完全不同意。同时还将本申请的结果和djigspro应用的结果进行比较。参与调查的用户数量为80个，调查结果参见图15，其中，纵轴得分-2表示完全不同意，2表示完全同意。横轴的q1-q5分别对应五个假设，短粗线表示得分的中值，小方框的底边表示有25％的答案低于此分，顶边表示75％的得分低于此分，即50％的得分位于方框之内。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图16所示，提供了一种无人机航拍路径生成装置，包括：地标获取模块1620、安全区域模块1640、视角质量构建模块1660和路径生成模块1680。其中：地标获取模块，用于获取输入的航拍地标；安全区域模块，用于根据航拍地标，得到无人机航拍安全区域；视角质量构建模块，用于构建航拍地标的视角质量标量场；路径生成模块，用于根据视角质量标量场，在无人机航拍安全区域内生成航拍路径集合。
在一个实施例中，路径生成模块包括：标量场划分单元，用于基于圆柱坐标系将视角质量标量场划分为多个区域；关键视角单元，用于获取各区域的关键视角，在无人机航拍安全区域内根据各关键视角进行曲线拟合生成航拍路径集合，关键视角为区域内视角质量最大值对应的视角。
在一个实施例中，区域包括多个子区域，关键视角单元包括：候选视角单元，用于获取区域中各子区域对应的视角质量，将视角质量最大值对应的视角作为区域的候选视角；视角筛选单元，用于去除候选视角中对应的距离小于预设值的视角，得到区域的关键视角。
在一个实施例中，路径生成模块包括：路径子集合单元，用于将航拍路径集合中的航拍路径根据划分的区域分类，在无人机航拍安全区域内得到航拍路径子集合；局部路径代价单元，用于获取航拍路径子集合中各航拍路径的局部路径代价，基于局部路径代价最低原则，得到航拍路径子集合对应的候选航拍路径；局部路径单元，用于根据各航拍路径子集合对应的候选航拍路径，生成航拍路径集合。
在一个实施例中，局部路径代价单元包括：局部路径参数获取单元，用于获取航拍路径子集合中航拍路径的平均视角质量、航拍路径与航拍地标主轴的夹角以及航拍路径视角的变化速率；局部路径代价计算单元，用于根据航拍路径的平均视角质量、航拍路径与航拍地标主轴的夹角以及航拍路径视角的变化速率，得到航拍路径对应的局部路径代价。
在一个实施例中，输入的航拍地标为多个航拍地标时，路径生成模块之后还包括：迁移路径获取模块，用于获取迁移路径；迁移路径参数获取模块，用于获取迁移路径的平均视角质量、迁移路径视角的变化速率以及迁移路径的转向角度；迁移路径代价计算模块，用于根据迁移路径的平均视角质量、迁移路径视角的变化速率以及迁移路径的转向角度，得到迁移路径对应的路径代价；全局路径生成模块，用于根据航拍路径集合以及迁移路径对应的路径代价，生成无人机全局航拍路径。
在一个实施例中，全局路径生成模块包括：各局部路径代价计算单元，用于计算航拍路径集合中的各航拍路径的局部路径代价；全局路径求解单元，用于根据迁移路径对应的路径代价以及局部路径代价，构建并求解广义旅行销售员问题，得到无人机全局航拍路径。
关于无人机航拍路径生成装置的具体限定可以参见上文中对于无人机航拍路径生成方法的限定，在此不再赘述。上述无人机航拍路径生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设场景地图数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人机航拍路径生成方法。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请任意一个实施例中提供的无人机航拍路径生成方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意一个实施例中提供的无人机航拍路径生成方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！