一种基于在线无人机航迹规划的辐射源定位方法

本发明涉及无线电监测，具体涉及一种基于在线无人机航迹规划的辐射源定位方法。

背景技术：

1、随着无线电技术和应用的不断发展，无线电用频设备呈现指数增长趋势，不法分子利用无线电技术和设备从事违法犯罪的活动和手段日益趋于多样化，电磁频谱空间日益复杂。因此，快速有效定位非法信源对于及时管控非法用频设备以保障无线电安全至关重要。现有的辐射源定位技术受到地面条件的限制，无法快速地规划路径，无法在短时间内对非法辐射源实现较为准确的定位。

2、近年来，基于无人机平台的被动定位技术的逐步发展，无人机因其机动性高、可自主灵活规划航迹成为搜索地面用户辐射源的优良选择。以无人机为载体，采用相关算法规划航迹，虽然操作简单，但是随着信号强度不稳定，无人机往往会偏离最优路径，因此，有必要进一步改进算法，以实现资源的最大化利用。

3、专利号为cn115686065a的发明中公开了一种基于深度强化学习的无人机动态目标跟踪控制方法，该方法包括：无人机目标跟踪马尔科夫决策过程设计、无人机目标跟踪奖励函数设计、针对性深度神经网络结构设计、基于sac算法的速度指令感知控制器训练与无人机动态目标控制器的使用。通过端到端一体化控制器，能够简化无人机动态目标跟踪过程，具有鲁棒性强、实时响应速度快和对不同目标运动模式适应能力强的特点。但是随着信号强度不稳定，无人机往往会偏离最优路径。

4、专利号为cn114337875a的发明中公开了一种面向多辐射源追踪的无人机群飞行轨迹优化方法，包括建立模块、估计模块、匹配模块、定位模块以及追踪模块，建立模块用于建立多约束条件下无人机群轨迹优化问题；估计模块采用深度神经网络得到接收信号强度和距离之间的映射关系；匹配模块采用交互式矩阵生成方法得到无人机与辐射源匹配方案；定位模块采用多球交会定位方法得到辐射源的参考位置；追踪模块采用深度强化学习方法设计无人机群的飞行轨迹优化算法。相对于传统方法，所提方法在平均追踪时间、任务完成率以及收敛速度等指标方面都具有明显的优势。但无人机无法快速遍历全局，且无人机动作选择有效性较低，寻找辐射源速度较慢，难以保证优化路径规划的收敛速度。

技术实现思路

1、本发明公开了一种基于在线无人机航迹规划的辐射源定位方法，能够使在线自主规划航迹的无人机快速规划出较短的路径，在短时间内较为准确定位出辐射源的位置，以及时找出非法辐射源。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种基于在线无人机航迹规划的辐射源定位方法，所述辐射源定位方法包括以下步骤：

4、s1，控制配置有五个全向天线的无人机处于设定的高度，并且无人机通过五个全向天线接收周围的辐射信号，五个全向天线按照顺时针方向依次摆放在无人机上，每一个全向天线到无人机质心的距离相同；

5、s2，利用面向搜索区域最小化的随机游走模型，使无人机搜索全局，该随机游走模型的步长规定为正态随机参量u与标准正态随机参量v的三分之二次方的比值，使随机游走模型的方差随时间呈现指数的关系，飞行路径呈现长短相间的特点；

6、s3，对于无人机搜索辐射源的过程，进行马尔可夫决策过程建模，将无人机在搜索时段内累计的奖励回报值最大作为目标函数，在同一个位置会收到五个方向上大小不同的回报奖励值，回报值与每个全向天线的接收信号强度值有关；利用最优策略学习算法对所述五个全向天线所获取每个方向上的接收信号强度值进行处理，由处理结果决定无人机的状态以及飞行的动作，根据无人机与辐射源的距离差来判断无人机当前位置是否满足算法终止的条件；如果满足条件，则返回非法辐射源的位置信息以及无人机的搜索轨迹信息；如果不满足条件，则返回步骤2，继续搜索并采用五元全向天线接收信号；其中，无人机的状态包括无人机所处位置、无人机速度，以及无人机五个方向上接收信号强度。

7、进一步地，步骤s1中，控制配置有五个全向天线的无人机处于设定的高度，并且无人机通过五个全向天线接收周围的辐射信号的过程包括以下步骤：

8、s11，控制配置有五个全向天线的无人机处于设定的高度，并且无人机通过五个全向天线接收周围的辐射信号；

9、s12，将辐射源的空间坐标记作(x0，y0，z0)，将无人机的质心作为几何中心，无人机的空间坐标记作(xt，yt，zt)，并且无人机的坐标随着无人机的移动而发生改变；辐射源目标与无人机之间的距离记作d1：

10、

11、s13，将第i个全向天线所对应的坐标点与无人机质心所在坐标点连线，此条连线与二维坐标系中的x轴所成角度记作i＝1，...，5，第i个天线的坐标为第i全向天线与辐射源目标的距离d2为：

12、

13、s14，构建对数路径损耗模型为：

14、pi[db]＝p0[db]-20log10(d2)-ni+gr；

15、其中，pi[db]为接收信号强度，单位为db；p0[db]为近地参考距离处接收信号强度，单位为db；20log10(d2)为空间路径损耗，单位为db；ni为噪声对接收信号强度的影响，是一个均值为0，方差为σ2的正态分布变量；gr是接收信号天线对信号的增益，单位为db；

16、s15，将pi[db]按对数函数取反函数得到接收信号强度的功率。

17、进一步地，步骤s2中，将随机游走模型的步长记作s，步长s为随机变量，设置服从正态分布的随机参量u和v，u～n(0，σ2)，v～n(0，1)，每一次迭代的步长s计算公式满足下述公式：

18、

19、进一步地，步骤s3中，利用最优策略学习算法对所述五个全向天线所获取每个方向上的接收信号强度值进行处理，由处理结果决定无人机的状态以及飞行的动作的过程包括以下步骤：

20、s31，根据无人机的动作和状态，将描述无人机状态和动作的状态值函数记作v(st，at)，初始化状态值函数v(st，at)，其中st代表无人机在t时刻时的状态，at代表无人机在t时刻位于st状态下的所选动作；

21、设置折扣系数γ∈[0，1]，学习系数α∈[0，1]，概率阈值ε∈[0，1]，折扣系数γ用来决定未来回报奖励所占的比重，学习系数α用来控制学习速率，概率阈值ε用来决定选择随机动作的概率；将无人机在搜索时段内累计的奖励回报值作为目标函数，根据时刻t的状态对应的目标函数累计值，得出动态规划最优方程：

22、

23、其中v(sj)为状态sj下得到的状态函数值，p为马尔科夫决策过程中的转移概率；

24、s32，初始化无人机搜索时间t＝0，初始化无人机起始状态s0，初始化状态值表，将状态值表记作状态值表用来暂存在某一时刻在可能出现的状态下选择不同动作产生的状态值，表的大小取决于状态空间的大小以及动作空间的大小，将状态值表的大小记作ns×na，其中ns表示状态空间中可能的状态数目，na表示动作空间中可能的动作数目；

25、s33，在无人机的当前状态下，利用五个全向天线获取五个方向上的接收信号强度值，并基于各个全向天线接收信号强度值得到对应方向上的回报及其所处的状态，更新无人机状态值表tv；

26、s34，采用ε-greedy策略，在当前所处状态下，进行无人机动作决策，根据步骤s31中的动态规划最优方程，进行函数更新以及状态更新，并且保存所选动作、执行决策后的值函数v以及决策后所处的状态；

27、s35，更新无人机搜索时间t，根据无人机飞行速度以及时间间隔，计算并保存无人机搜索轨迹；

28、s36，根据无人机与辐射源的距离差来判断无人机当前位置是否满足算法终止的条件，如果满足条件，则返回非法辐射源的位置信息以及无人机的搜索轨迹信息；如果不满足条件，则返回步骤s33。

29、进一步地，步骤s33中，在无人机的当前状态下，利用五个全向天线获取五个方向上的接收信号强度值，并基于各个全向天线接收信号强度值得到对应方向上的回报及其所处的状态，更新无人机状态值表tv的过程包括以下步骤：

30、s331，将五个全向天线获取的五个方向上的接收信号强度值归一化后整合成一个五维向量rss，rss＝{rss1，rss2，rss3，rss4，rss5}；rss1，rss2，rss3，rss4，rss5分别为五个方向上的接收信号强度值的归一化值；

31、s332，根据每一个接收信号强度值得到对应方向上的当前状态值，更新得到t时刻下的状态空间st＝{s1，s2，s3，s4，s5}，s1，s2，s3，s4，s5分别为五个方向上的当前状态值；

32、s333，根据当前状态空间的状态值，更新在st状态下执行动作at得到的奖励回报值r(st，at)，根据奖励回报值更新状态值表tv；r(st，at)为五个方向上接收信号强度值经过处理转换成的奖励值。

33、进一步地，步骤s34中，采用ε-greedy策略，在当前所处状态下，进行无人机动作决策，根据步骤s31中的动态规划最优方程，进行函数更新以及状态更新，并且保存所选动作、执行决策后的值函数v以及决策后所处的状态的过程包括以下步骤：

34、s341，观察当前的状态下的状态值函数v(st，at)，利用ε-greedy策略选择一个无人机的动作at，对于ε∈(0，1)选择具有最高奖励值的动作，其概率为1-ε，ε值越大，代表无人机可随机产生动作概率越高；根据最大化状态值函数来选择执行的动作，找到使得状态值最大的动作at：

35、

36、其中，对应角域上均匀分布的5个动作集合记作at∈{a1，a2，a3，a4，a5}，将当前的状态值st对应的状态值记作v(st，：)，并填入状态值表格中；

37、s342，无人机执行所选择的动作at，同时处理天线上的接收信号强度值，根据五维向量rss＝{rss1，rss2，rss3，rss4，rss5}预测下一个状态空间的可能状态，并且获得下一个状态的可能状态值v(st+1，：)；

38、s343，假设在当前状态si下，采取动作ai，在该状态下执行该动作奖励回报值为r(si，ai)，将无人机转向角度记作θi，执行相应的飞行步长，将无人机的下一个状态记作si+1；对于函数动态规划最优方程做进一步修正，将状态值函数的更新规则记作：

39、v(si，ai)←v(si，ai)+α(r(si，ai)+γmax(v(si+1，ai+1))-v(si，ai))

40、其中ai+1为下一个状态si+1中采取的动作。

41、进一步地，步骤s35中，更新无人机搜索时间t，根据无人机飞行速度以及时间间隔，计算并保存无人机搜索轨迹的过程包括以下步骤：

42、更新学习时间t＝t+1；根据当前无人机搜索状态和最优策略产生的执行动作，更新无人机下一状态。

43、与现有技术相比，本发明的有益效果如下：

44、第一，本发明的基于在线无人机航迹规划的辐射源定位方法，无人机结合面向搜索区域最小化的高效飞行算法，利用面向搜索区域最小化的高效飞行算法步长大小相间，遍历性强的特点，有效避免了搜索结果不收敛的问题，解决了在大范围搜索移动辐射源时，无人机平台受到外界环境影响增大，环境中信噪比过低的技术问题。

45、第二，本发明的基于在线无人机航迹规划的辐射源定位方法，将最优策略学习算法与无人机的五元全向天线相结合，使得无人机搜索辐射源的动作选择更加有效快速；五元全向天线的五个方向接收的信号强度值不同，最大接收信号强度值方向更加接近目标辐射源。

46、第三，本发明的基于在线无人机航迹规划的辐射源定位方法，能够在较短时间内快速规划出较短的路径，以实现对地面非法辐射源的快速定位，从而快速找出非法辐射源。