无人机飞行航线更新规划的方法、装置、设备及存储介质

1.本发明涉及无人机无线通信技术领域，特别涉及是一种无人机飞行航线更新规划的方法、装置、设备以及存储介质。


背景技术：

2.在无人机无线通信技术领域中，无人机有两个典型的应用框架，一是无人机辅助无线通信，其中无人机作为空中移动基站(bss)或是移动中继(relay)为地面用户提供通信服务：二是蜂窝连接无人机，其中无人机作为空中通信用户，通过地面基站为其提供通信服务，从而实现发送或接受相关数据以完成其预期任务目标。
3.当前，在使用无人机作为空中基站(bss)来实现空地通信的通信系统中，无人机主要采取视距链路的方式与地面基站和地面用户建立通信连接。然而，现实世界的通信环境中存在大量的干扰以及弱信号覆盖区域，无人机在执行飞行任务时，靠近干扰源或者进入弱信号覆盖区域，无人机进行数据的传输受阻，从而导致无人机无法很好地完成预期的任务目标，任务效率低。


技术实现要素：

4.基于此，本发明的目的在于，提供一种无人机飞行航线更新规划的方法、装置、设备以及存储介质，具体如下：
5.第一方面，本技术实施例提供了一种无人机飞行航线更新规划的方法，包括以下步骤：
6.s1：获取无人机在目标区域内的飞行航线，控制无人机沿着所述飞行航线进行飞行，其中，所述飞行航线包括终止点；
7.s2：获取无人机的飞行过程中的实时信噪比数据；根据所述实时信噪比数据，对所述无人机进行干扰检测，获取干扰检测结果；根据所述干扰检测结果，获取所述无人机当前时刻的位置数据作为当前干扰状态的位置数据，根据所述无人机干扰状态的位置数据以及实时信噪比数据，获取所述无人机干扰状态的信号中断概率数据；
8.s3：将所述无人机干扰状态的位置数据输入至预设的多步深度学习网络模型的动作模块中，获取所述无人机干扰状态的移动方向数据；根据所述移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动；
9.s4：将所述无人机干扰状态的位置数据以及信号中断概率数据输入至所述多步深度学习网络模型的评估模块中，获得所述无人机干扰状态的移动收益数据，并与无人机干扰状态的位置数据进行组合，作为所述无人机的移动收益关联组；
10.s5：获取无人机在飞行过程中经过预设数量的干扰状态位置对应的若干个所述无人机的移动收益关联组，根据所述无人机的移动收益关联组，对所述多步深度学习网络模型的动作模块以及评估模块进行更新，获取更新后的多步深度学习网络模型；
11.s6：在无人机检测到下一干扰状态的位置数据时，将所述无人机下一干扰状态的
位置数据输入至更新后的多步深度学习网络模型，获得所述无人机下一干扰状态的位置数据对应的移动方向数据；根据所述无人机下一干扰状态的位置数据对应的移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动；
12.s7：重复步骤s4～s6，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动，直到无人机移动至所述终止点。
13.第二方面，本技术实施例提供了一种无人机飞行航线更新规划的装置，包括：
14.航线设定模块，用于获取无人机在目标区域内的飞行航线，控制无人机沿着所述飞行航线进行飞行，其中，所述飞行航线包括终止点；
15.干扰检测模块，用于获取无人机的飞行过程中的实时信噪比数据；根据所述实时信噪比数据，对所述无人机进行干扰检测，获取干扰检测结果；根据所述干扰检测结果，获取所述无人机当前时刻的位置数据作为当前干扰状态的位置数据，根据所述无人机干扰状态的位置数据以及实时信噪比数据，获取所述无人机干扰状态的信号中断概率数据；
16.第一航线更新模块，用于将所述无人机干扰状态的位置数据输入至预设的多步深度学习网络模型的动作模块中，获取所述无人机干扰状态的移动方向数据；根据所述移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动；
17.移动收益计算模块，用于将所述无人机干扰状态的位置数据以及信号中断概率数据输入至所述多步深度学习网络模型的评估模块中，获得所述无人机干扰状态的移动收益数据，并与无人机干扰状态的位置数据进行组合，作为所述无人机的移动收益关联组；
18.模型更新模块，用于获取无人机在飞行过程中经过预设数量的干扰状态位置对应的若干个所述无人机的移动收益关联组，根据所述无人机的移动收益关联组，对所述多步深度学习网络模型的动作模块以及评估模块进行更新，获取更新后的多步深度学习网络模型；
19.第二航线更新模块，用于在无人机检测到下一干扰状态的位置数据时，将所述无人机下一干扰状态的位置数据输入至更新后的多步深度学习网络模型，获得所述无人机下一干扰状态的位置数据对应的移动方向数据；根据所述无人机下一干扰状态的位置数据对应的移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动；
20.移动执行模块，用于对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动，直到无人机移动至所述终止点。
21.第三方面，本技术实施例提供了一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述无人机飞行航线更新规划的方法的步骤。
22.第四方面，本技术实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的无人机飞行航线更新规划的方法的步骤。
23.在本技术实施例中，提供一种无人机飞行航线更新规划的方法、装置、设备以及存储介质，无人机在执行飞行任务时，能够对无人机的当前状态进行实时检测，并通过多步深度学习网络模型，对无人机的飞行航线进行更新，控制无人机沿着更新后的飞行航线移动，避免无人机靠近干扰源或者进入弱信号覆盖区域，从而保障了无人机进行数据传输的质量，并能够对该多步深度学习网络模型进行持续更新，提高无人机飞行航线更新规划的精
准性，从而提高了无人机执行任务的效率。
24.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
25.图1为本技术一个实施例提供的无人机飞行航线更新规划的方法的流程示意图；
26.图2为本技术一个实施例提供的无人机飞行航线更新规划的方法中s2的流程示意图；
27.图3为本技术一个实施例提供的无人机飞行航线更新规划的方法中s3的流程示意图；
28.图4为本技术一个实施例提供的无人机飞行航线更新规划的方法中s4的流程示意图；
29.图5为本技术一个实施例提供的无人机飞行航线更新规划的方法中s5的流程示意图；
30.图6为本技术一个实施例提供的无人机飞行航线更新规划的装置的结构示意图；
31.图7为本技术一个实施例提供的计算机设备的结构示意图。
具体实施方式
32.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
33.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
34.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
35.请参阅图1，图1为本技术一个实施例提供的无人机飞行航线更新规划的方法的流程示意图，所述方法包括如下步骤：
36.s1：获取无人机在目标区域内的飞行航线，控制无人机沿着所述飞行航线进行飞行。
37.所述无人机飞行航线更新规划的方法的执行主体为无人机飞行航线更新规划的方法的规划设备(以下简称规划设备)，在一个可选的实施例中，所述规划设备可以是一台计算机设备可以是服务器，或是多台计算机设备联合而成的服务器机群。
38.无人机可以通过自身无线电台或4g等通讯方式与规划设备连接，在本实施例中，规划设备获取无人机在目标区域内的飞行航线，控制无人机沿着所述飞行航线，从预设的
起始点向终止点飞行，执行飞行任务，为目标区域的用户提供通信服务。
39.s2：获取无人机的飞行过程中的实时信噪比数据，根据所述实时信噪比数据，对所述无人机进行干扰检测，获取干扰检测结果，根据所述干扰检测结果，获取所述无人机当前时刻的位置数据，作为干扰状态的位置数据，根据所述无人机干扰状态的位置数据以及实时信噪比数据，获取所述无人机干扰状态的信号中断概率数据。
40.由于在飞行过程中，无人机进入蜂窝网络的弱覆盖区域或者干扰区域会导致无人机进行数据的传输受阻，在本实施例中，规划设备获取无人机在飞行过程中实时发送的信噪比数据，根据所述实时信噪比数据，对所述无人机进行干扰检测，获取干扰检测结果，其中，干扰检测结果包括干扰产生结果以及无干扰结果。
41.具体地，规划设备通过预先设置信噪比阈值，将获取的实时信噪比数据对应的值与信噪比阈值进行对比，当获取的实时信噪比数据的值大于或等于信噪比阈值，获取干扰产生结果，规划设备根据干扰产生结果，获取所述无人机当前时刻的位置数据，作为干扰状态的位置数据；当获取的实时信噪比数据的值小于信噪比阈值，则获取无干扰结果，规划设备不进行无人机当前时刻的位置数据的获取操作。
42.为了进一步确认无人机当前时刻，即干扰状态下受到的干扰情况，规划设备根据所述无人机干扰状态的位置数据以及实时信噪比数据，获取所述无人机干扰状态的信号中断概率数据。
43.请参阅图2，图2为本技术一个实施例提供的无人机飞行航线更新规划的方法中s2的流程示意图，包括步骤s201～s202，具体如下：
44.s201：将所述目标区域划分为若干个通信区域，根据所述无人机干扰状态的位置数据，确定所述无人机干扰状态关联的通信区域，并获取所述无人机干扰状态关联的通信区域的位置数据。
45.在本实施例中，规划设备通过预设的城市宏(uma)模型，获取在无人机执行飞行任务的目标区域内的所有的基站的位置数据，并根据基站的位置数据，将目标区域划分为若干个通信区域，根据所述无人机干扰状态的位置数据，判断无人机当前时刻所在的通信区域，从而确定所述无人机干扰状态关联的通信区域的位置数据，并获取所述无人机干扰状态关联的通信区域的位置数据。
46.s202：根据所述无人机干扰状态的位置数据、关联的通信区域的位置数据、实时信噪比数据以及预设的信号中断概率算法，获取所述无人机干扰状态的信号中断概率数据。
47.所述信号中断概率算法为：
48.p
out
(t)＝p(s
t
,b
t
,sir
t
)
49.式中，p
out
(t)为所述无人机第t个干扰状态的信号中断概率数据，s
t
为所述无人机第t个干扰状态的位置数据，b
t
为所述无人机第t个干扰状态关联的通信区域的位置数据，sir
t
为所述无人机第t个干扰状态的实时信噪比数据；p()为关于所述无人机的干扰状态的信号中断概率数据计算函数。
50.在本实施例中，规划设备根据所述无人机干扰状态的位置数据、关联的通信区域的位置数据、实时信噪比数据以及预设的信号中断概率算法，获取所述无人机干扰状态的信号中断概率数据。
51.s3：将所述无人机干扰状态的位置数据输入至预设的多步深度学习网络模型的动
作模块中，获取所述无人机干扰状态的移动方向数据；根据所述移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动。
52.规划设备采用ddpg(deep deterministic policy gradient)深度确定性策略梯度算法以及multi step learning，即多步学习算法，进行结合，构建多步深度学习网络模型，其中，所述多步深度学习网络模型包括动作模块以及评估模块，动作模块用于对无人机干扰状态的移动方向数据，评估模块用于对无人机根据该移动方向数据进行移动操作的行为进行评估，从而对多步深度学习网络模型进行更新，提高无人机执行飞行任务的效率。
53.所述评估模块以及动作模块均为双网络结构，所述评估模块包括相同的、依次连接的第一子评估模块以及第二子评估模块，所述动作模块包括相同的、依次连接的第一子动作模块以及第二子动作模块。在运行该多步深度学习网络模型之前，规划设备均对该多步深度学习网络模型的第一子评估模块以及第二子评估模块的评估权重参数、第一子动作模块以及第二子动作模块的动作权重参数进行初始化，并根据预设的更新时长，将第二子评估模块的评估权重参数替换为第一子评估模块的评估权重参数；根据预设的更新时长，将第二子动作模块的动作权重参数替换为第一子动作模块的动作权重参数。
54.在本实施例中，规划设备将所述无人机干扰状态的位置数据输入至预设的多步深度学习网络模型的动作模块中，获取所述动作模块输出的无人机干扰状态的移动方向数据；根据所述移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动。
55.请参阅图3，图3为本技术一个实施例提供的无人机飞行航线更新规划的方法中s3的流程示意图，包括步骤s301～s302，具体如下：
56.s301：将所述无人机干扰状态的位置数据输入至所述动作模块的第一子动作模块中，根据预设的移动方向数据计算算法，获取所述第一子动作模块输出的所述无人机干扰状态的移动方向数据。
57.所述移动方向数据计算算法为：
58.a
t
＝μ(s
t
|θ
μ
)+n
t
59.式中，a
t
为所述无人机第t个干扰状态的移动方向数据，μ()为所述第一子动作模块中的动作计算函数，s
t
为所述无人机第t个干扰状态的位置数据，θ
μ
为所述第一子动作模块的动作权重参数，n
t
为预设的第t个干扰状态的噪音数据。
60.在本实施例中，规划设备将所述无人机干扰状态的位置数据输入至所述动作模块的第一子动作模块中，根据预设的移动方向数据计算算法，获取所述第一子动作模块输出的所述无人机干扰状态的移动方向数据。
61.s302：根据所述移动方向数据以及预设的移动方向对照表，获取所述移动方向数据对应的移动方向，根据所述移动方向，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动。
62.所述移动方向对照表包括若干种移动方向类型对应的数据，该数据可以是确定的数值，也可以是预设的区间范围内的数值，移动方向包括前、后、左以及右等等。
63.在本实施例中，规划设备根据所述移动方向数据以及预设的移动方向对照表，获取所述移动方向数据对应的移动方向，根据所述移动方向，对所述飞行航线进行更新，具体地，规划设备将所述移动方向数据与移动方向对照表中的移动方向类型对应的数据进行匹
配，获取匹配的移动方向，作为所述移动方向数据对应的移动方向，根据所述移动方向，将所述无人机干扰状态的位置数据对应的位置点与终止点进行连接，完成对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动。
64.s4：将所述无人机干扰状态的位置数据以及信号中断概率数据输入至所述多步深度学习网络模型的评估模块中，获得所述无人机干扰状态的移动收益数据，并与无人机干扰状态的位置数据进行组合，作为所述无人机的移动收益关联组。
65.在本实施例中，规划设备将所述无人机干扰状态的位置数据以及信号中断概率数据输入至所述多步深度学习网络模型的评估模块中，获取所述评估模块输出的所述无人机干扰状态的移动收益数据，并与无人机干扰状态的位置数据进行组合，作为所述无人机的移动收益关联组。
66.请参阅图4，图4为本技术一个实施例提供的无人机飞行航线更新规划的方法中s4的流程示意图，包括步骤s401，具体如下：
67.s401：将所述无人机干扰状态的位置数据以及信号中断概率数据输入至所述评估模块的第一子评估模块中，根据预设的移动收益数据计算算法，获取所述第一子评估模块输出的所述无人机干扰状态的移动收益数据。
68.所述移动收益数据计算算法为：
69.r
t
＝-1-δ*p
out
(t+1)
70.式中，r
t
为所述无人机第t个干扰状态的移动收益数据，δ为惩罚权重参数，p
out
(t+1)为所述无人机第t+1个干扰状态的信号中断概率数据。
71.为了对无人机当前干扰状态的移动方向数据进行合理性判断，在本实施例中，规划设备获取无人机下一个干扰状态的信号中断概率数据，将所述无人机当前干扰状态的位置数据以及下一个干扰状态的信号中断概率数据输入至所述评估模块的第一子评估模块中，根据预设的移动收益数据计算算法，获取所述第一子评估模块输出的无人机当前干扰状态的移动收益数据。
72.s5：获取无人机在飞行过程中经过预设数量的干扰状态位置对应的若干个所述无人机的移动收益关联组，根据所述无人机的移动收益关联组，对所述多步深度学习网络模型的动作模块以及评估模块进行更新，获取更新后的多步深度学习网络模型。
73.在本实施例中，规划设备获取无人机在飞行过程中经过预设数量的干扰状态位置对应的若干个所述无人机的移动收益关联组，根据所述无人机的移动收益关联组，对所述多步深度学习网络模型的动作模块以及评估模块进行更新，获取更新后的多步深度学习网络模型。
74.由于相邻的干扰状态的移动收益数据相似，不过于明显，为了提高多步深度学习网络模型更新的准确性以及效率性，在一个可选的实施例中，规划设备可以通过样本采集的方法，从获取的预设数量的干扰状态位置对应的若干个所述无人机的移动收益关联组中，获取不相邻的若干个干扰状态的移动收益关联组，将所述不相邻的若干个干扰状态的移动收益关联组输入至多步深度学习网络模型中，对所述多步深度学习网络模型的动作模块以及评估模块进行更新，获取更新后的多步深度学习网络模型，以降低损失，还可以加速算法的训练学习速度，提高多步深度学习网络模型更新的准确性以及效率。
75.请参阅图5，图5为本技术一个实施例提供的无人机飞行航线更新规划的方法中s5
的流程示意图，包括步骤s501～s505，具体如下：
76.s501：根据所述无人机的移动收益关联组中的无人机干扰状态的位置数据，对所述无人机干扰状态下的位置进行判断，获取位置判断结果。
77.所述位置判断结果包括终点位置结果，位置偏移结果以及位置符合结果，在对所述飞行航线进行更新，可能会产生航线偏离目标区域的情况，从而导致无人机不能很好地为目标区域的用户提供通信服务，因此，在本实施例中，规划设备根据所述无人机的移动收益关联组中的无人机干扰状态的位置数据，对所述无人机干扰状态下的位置进行判断，具体地，规划设备分析所述无人机干扰状态的位置数据，判断无人机当前干扰状态下的位置是否处于目标区域对应的通信区域内，若处于目标区域对应的通信区域内，且无人机当前干扰状态的位置数据与终止点的位置数据不相同，则获取位置符合结果，若不处于目标区域对应的通信区域内，则获取位置偏移结果，若处于目标区域对应的通信区域内，且无人机当前干扰状态的位置数据与终止点相同，则获取终点位置结果。
78.s502：根据所述无人机干扰状态的位置判断结果、无人机干扰状态的移动收益数据以及预设的期望值计算算法，获取所述各个无人机的移动收益关联组对应的期望值。
79.所述期望值计算算法为：
[0080][0081]
式中，y
t
为所述无人机第t个干扰状态的期望值，r
t
为所述无人机第t个干扰状态的移动收益数据，s
t+1
为所述无人机第t+1个干扰状态的位置数据，c
t
为所述无人机第t个干扰状态的位置判断结果，a为终点位置结果，b为位置偏移结果，c为位置符合结果，γ为预设的期待系数，q'()为所述第二子评估模块中的评估计算函数，μ'()为所述第二子动作模块中的动作计算函数，θ
μ'
为所述第二子动作模块的动作权重参数；θ
q'
为所述第二子评估模块的评估权重参数；r
des
为预设的奖励值，p
ob
为预设的惩罚值；
[0082]
在本实施例中，规划设备根据所述无人机干扰状态的位置判断结果、无人机干扰状态的移动收益数据以及预设的期望值计算算法，获取所述各个无人机的移动收益关联组对应的期望值，体现了所述无人机第t个干扰状态的移动方向数据的合理性，用于后续的多步深度学习网络的更新。
[0083]
s503：根据所述各个无人机的移动收益关联组对应的移动方向数据、位置数据，根据所述各个无人机的移动收益关联组对应的期望值、移动方向数据以及预设的误差计算算法，获取所述第一子评估模块的误差值，根据所述误差值，对所述第一子评估模块的评估权重参数进行更新，获取更新后的第一子评估模块的评估权重参数。
[0084]
所述误差计算算法为：
[0085][0086]
式中，l为所述误差值，n为所述无人机的移动收益关联组的总数，q()为所述第一子评估模块中的评估计算函数，s
t
为所述无人机第t个干扰状态的位置数据，a
t
为所述无人机第t个干扰状态的移动方向数据，θq为所述第一子评估模块的评估权重参数；
[0087]
在本实施例中，规划设备根据所述各个无人机的移动收益关联组对应的移动方向数据、位置数据，根据所述各个无人机的移动收益关联组对应的期望值、移动方向数据以及预设的误差计算算法，获取所述第一子评估模块的误差值，根据所述误差值，不断地对所述第一子评估模块的评估权重参数进行修改，使所述评估计算函数q()根据无人机的移动收益关联组输出的值靠近所述无人机的移动收益关联组对应的期望值，从而使所述第一子评估模块的误差值降低，直到所述第一子评估模块的误差值保持不变，获取当前第一子评估模块的评估权重参数，作为更新后的第一子评估模块的评估权重参数。
[0088]
s504：根据所述各个无人机的移动收益关联组对应的期望值以及预设的梯度更新计算算法，获取所述第一子动作模块的梯度更新值，根据所述梯度更新值，对所述第一子动作模块的动作权重参数进行更新，获取更新后的第一子动作模块的动作权重参数。
[0089]
所述梯度更新计算算法为：
[0090][0091]
式中，为第t个干扰状态的梯度更新值，μ()为所述第一子动作模块中的动作计算函数，为q()在第t个干扰状态下，对移动方向数据为μ(s
t
)求解的梯度更新值，为μ()在第t个干扰状态下，对所述第一子动作模块的动作权重参数θ
μ
求解的梯度更新值，α为预设的梯度下降步长，θ
μ
所述第一子动作模块的动作权重参数；
[0092]
在本实施例中，规划设备根据所述各个无人机的移动收益关联组对应的期望值以及预设的梯度更新计算算法，获取所述第一子动作模块的梯度更新值，根据所述梯度更新值以及预设的梯度下降步长，对所述第一子动作模块的动作权重参数进行更新，获取更新后的第一子动作模块的动作权重参数，实现第一子动作模块的更新迭代。
[0093]
s505：根据所述更新后的第一子评估模块的评估权重参数、更新后的第一子动作模块的动作权重参数以及预设的权重参数更新算法，分别对所述第二子评估模块的权重参数以及第二子动作模块的权重参数进行更新，获取更新后的第二子评估模块的评估权重参数、更新后的第二子动作模块的动作权重参数。
[0094]
所述权重参数更新算法为：
[0095]
θq'
←
τθq+(1-τ)θ
q'
,θ
μ'
←
τθ
μ
+(1-τ)θ
μ'
[0096]
式中，θ
q'
为所述第二子评估模块的评估权重参数；θ
μ'
为所述第二子动作模块的动作权重参数，θ
μ
所述第一子动作模块的动作权重参数，τ为预设的优化参数。
[0097]
在本实施例中，规划设备根据：根据所述更新后的第一子评估模块的评估权重参数、更新后的第一子动作模块的动作权重参数以及预设的权重参数更新算法，分别对所述第二子评估模块的权重参数以及第二子动作模块的权重参数进行更新，获取更新后的第二子评估模块的评估权重参数、更新后的第二子动作模块的动作权重参数，通过软更新的方式，对第二子评估模块以及第二子动作模块的权重参数进行更新，以解决多步深度学习网络模型的难收敛问题，提高无人机飞行航线更新规划的精准性。
[0098]
s6：在无人机检测到下一干扰状态的位置数据时，将所述无人机下一干扰状态的位置数据输入至更新后的多步深度学习网络模型，获得所述无人机下一干扰状态的位置数
据对应的移动方向数据；根据所述无人机下一干扰状态的位置数据对应的移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动。
[0099]
对该多步深度学习网络模型进行更新后，在本实施例中，规划设备在无人机检测到下一干扰状态的位置数据时，将所述无人机下一干扰状态的位置数据输入至更新后的多步深度学习网络模型中的动作模块的第二子动作模块，获得所述第二子动作模块输出的所述无人机下一干扰状态的位置数据对应的移动方向数据；根据所述无人机下一干扰状态的位置数据对应的移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动。
[0100]
s7：重复步骤s4～s6，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动，直到无人机移动至所述终止点。
[0101]
在本实施例中，规划设备根据预设的更新数量的干扰状态的位置数据，对所述所述飞行航线进行更新，例如，规划设备预先设置更新数量为4，规划设备每当获取4个干扰状态的位置数据时，会采取该4个干扰状态的位置数据，输入至该多步深度学习网络模块的评估模块的第二子评估模块，获取该4个干扰状态的移动方向收益数据，并获取该4个干扰状态的期待值，对该多步深度学习网络模型进行更新，即根据通过设置更新数量，进行更新循环的设置，第一次循环是将第1、2、3以及4干扰状态的位置数据来对模型进行更新，之后第二次循环是将第5、6、7以及8干扰状态的位置数据来模型进行更新，以此类推，不断对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动，直到无人机移动至所述终止点。
[0102]
请参考图6，图6为本技术一个实施例提供的无人机飞行航线更新规划的装置的结构示意图，该装置可以通过软件、硬件或两者的结合实现无人机飞行航线更新规划的装置的全部或一部分，该装置6包括：
[0103]
航线设定模块61，用于获取无人机在目标区域内的飞行航线，控制无人机沿着所述飞行航线进行飞行，其中，所述飞行航线包括终止点；
[0104]
干扰检测模块62，用于获取无人机的飞行过程中的实时信噪比数据；根据所述实时信噪比数据，对所述无人机进行干扰检测，获取干扰检测结果；根据所述干扰检测结果，获取所述无人机当前时刻的位置数据作为当前干扰状态的位置数据，根据所述无人机干扰状态的位置数据以及实时信噪比数据，获取所述无人机干扰状态的信号中断概率数据；
[0105]
第一航线更新模块63，用于将所述无人机干扰状态的位置数据输入至预设的多步深度学习网络模型的动作模块中，获取所述无人机干扰状态的移动方向数据；根据所述移动方向数据，对所述飞行航线进行更新，控制无人机沿着更新后的飞行航线移动；
[0106]
移动收益计算模块64，用于将所述无人机干扰状态的位置数据以及信号中断概率数据输入至所述多步深度学习网络模型的评估模块中，获得所述无人机干扰状态的移动收益数据，并与无人机干扰状态的位置数据进行组合，作为所述无人机的移动收益关联组；
[0107]
模型更新模块65，用于获取无人机在飞行过程中经过预设数量的干扰状态位置对应的若干个所述无人机的移动收益关联组，根据所述无人机的移动收益关联组，对所述多步深度学习网络模型的动作模块以及评估模块进行更新，获取更新后的多步深度学习网络模型；
[0108]
第二航线更新模块66，用于在无人机检测到下一干扰状态的位置数据时，将所述
logic array，pla)中的至少一个硬件形式来实现。处理器71可集成中央处理器71(central processing unit，cpu)、图像处理器71(graphics processing unit，gpu)和调制解调器等中的一个或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器71中，单独通过一块芯片进行实现。
[0113]
其中，存储器72可以包括随机存储器72(random access memory，ram)，也可以包括只读存储器72(read-only memory)。可选的，该存储器72包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器72可用于存储指令、程序、代码、代码集或指令集。存储器72可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器72可选的还可以是至少一个位于远离前述处理器71的存储装置。
[0114]
本技术实施例还提供了一种存储介质，所述存储介质可以存储有多条指令，所述指令适用于由处理器加载并执行上述图1至图5所示实施例的方法步骤，具体执行过程可以参见图1至图5所示实施例的具体说明，在此不进行赘述。
[0115]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0116]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0117]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束算法。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0118]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0119]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0120]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0121]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
[0122]
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。