一种基于蒙特卡洛树搜索的无人机路径规划方法及装置

1.本发明涉及无人机技术领域，尤其涉及一种基于蒙特卡洛树搜索的无人机路径规划方法及装置。


背景技术：

2.近年来，无人机以其价格低、安全性高、续航能力强、结构简单等优势，被广泛应用于军事和民用等领域。其中，路径规划技术是保证无人机有效完成各类飞行任务的基础。
3.相关技术可知，基于常规路径规划算法，例如图搜索类算法、启发式算法、梯度算法以及随机树展开算法等进行路径规划，往往受限于多目标限制、局部解、计算复杂度高、网格依赖等，难以在各类复杂地理环境、未知环境或动态环境中应用，任务通用性无法保证。
4.目前，随着当前人工智能技术快速发展，以强化学习为代表的决策类算法在各类游戏场景中取得突破。但是，常规强化学习算法需要对每次决策过程赋予预期效用估计，否则难以保证计算结果收敛。由于设计过程性效用函数对人工经验依赖性强，导致无人机路径求解时间无法有效保证。


技术实现要素：

5.本发明提供一种基于蒙特卡洛树搜索的无人机路径规划方法及装置，用以解决现有技术中在进行任务目标动态变化的路径规划过程中收敛性、时效性难保证的缺陷，实现在临时变更货物运输目的地等时效性较强的无人机自主寻路场景中，能够加速搜索进程，提高搜索效率。
6.本发明提供一种基于蒙特卡洛树搜索的无人机路径规划方法，包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
7.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径，包括：若所述有效初始状态与所述实际初始状态相同，则将所述有效路径确定为所述无人机路径；若所述有效初始状态与所述实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，并将所述有效路径与所述可行路径之和作为所述无人机路径。
8.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，包括：以所述有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，所述假想有效初始状态为关于所述终止状态的有效初始状态；若所述假想有效初始状态为所述实际初始状态，则将由所述假想有效初始状态至所述终止状态的路径，作为所述实际初始状态至有效初始状态的可行路径；若所述假想有效初始状态不为所述实际初始状态，则以所述假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为所述实际初始状态，并将由所述假想有效初始状态至所述终止状态的路径作为所述实际初始状态至所述有效初始状态的可行路径。
9.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述基于蒙特卡洛树搜索算法，获取有效路径，包括：基于蒙特卡洛树搜索算法，获取以所述有效初始状态抵达所述实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为所述有效路径。
10.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，其中，所述可行路径采用以下方式确定：基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为所述可行路径。
11.本发明还提供一种基于蒙特卡洛树搜索的无人机路径规划装置，包括：构建模块，用于基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；处理模块，用于实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；确定模块，用于基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
12.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述确定模块采用以下方式基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径：若所述有效初始状态与所述实际初始状态相同，则将所述有效路径确定为所述无人机路径；若所述有效初始状态与所述实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径，并将所述有效路径与所述可行路径之和作为所述无人机路径。
13.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述确定模块采用以下方式基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的可行路径：以所述有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，所述假想有效初始状态为关于所述终止状态的有效初始状态；若所述假想有效初始状态为所述实际初始状态，则将由所
述假想有效初始状态至所述终止状态的路径，作为所述实际初始状态至有效初始状态的可行路径；若所述假想有效初始状态不为所述实际初始状态，则以所述假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为所述实际初始状态，并将由所述假想有效初始状态至所述终止状态的路径作为所述实际初始状态至所述有效初始状态的可行路径。
14.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述处理模块采用以下方式基于蒙特卡洛树搜索算法，获取有效路径：基于蒙特卡洛树搜索算法，获取以所述有效初始状态抵达所述实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为所述有效路径。
15.根据本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划装置，其中，所述确定模块采用以下方式确定可行路径：基于蒙特卡洛树搜索算法进行迭代计算，直至获取所述实际初始状态至所述有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为所述可行路径。
16.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
17.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
18.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于蒙特卡洛树搜索的无人机路径规划方法的步骤。
19.本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法，通过在固定时间步内进行路径搜索，可以得到有效初始状态以及有效路径，并将有效路径作为确定无人机路径的基础，进而确保无人机路径搜索过程的收敛性。
附图说明
20.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是常规蒙特卡洛树搜索过程的示意图；
22.图2是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之一；
23.图3是本发明提供的基于实际初始状态、有效初始状态以及有效路径，确定无人机路径的流程示意图之一；
24.图4是本发明提供的基于蒙特卡洛树搜索进行无人机路径规划的示意图；
25.图5是本发明提供的获取实际初始状态至有效初始状态的可行路径的流程示意图之一；
26.图6是本发明提供的基于蒙特卡洛树搜索进行无人机路径规划的示意图之二；
27.图7是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之二；
28.图8是本发明提供的基于蒙特卡洛树搜索的无人机路径规划装置的结构示意图；
29.图9是本发明提供的电子设备的结构示意图。
具体实施方式
30.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.相关技术可知，随着当前人工智能技术快速发展，以强化学习为代表的决策类算法，例如蒙特卡洛树搜索算法，在各类游戏场景中取得突破，其所具备的鲁棒性和演进能力也为无人机路径规划问题提供了新的可选项。常规强化学习算法，例如，蒙特卡洛树搜索是一种基于树数据结构的搜索算法，需要对每次决策过程赋予预期效用估计，否则难以保证计算结果收敛，而设计过程性效用函数对人工经验依赖性强，导致无人机路径求解时间无法有效保证。如图1所示，在无人机路径确定场景中，可以基于蒙特卡洛树搜索，以初始点l为根节点不断拓展子节点，并通过中间多代子节点的代际连接，确定由初始点l到终止点的路径。
32.本发明提供的一种基于蒙特卡洛树搜索的无人机路径规划方法，在预设时间步内，通过随机初始状态进行决策树搜索，利用所得局部路径效用值进行路径规划，能够有效应用于诸如临时变更货物运输目的地等时效性较强的无人机自主寻路场景中。
33.图2是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之一。
34.在本发明一示例性实施例中，如图2所示，基于蒙特卡洛树搜索的无人机路径规划方法可以包括步骤210至步骤230，下面将分别介绍各步骤。
35.在步骤210中，基于实际初始点和实际目标点，并发构建多个虚拟仿真环境。
36.在一种实施例中，可以根据无人机的实际任务路径规划任务场景，并确定实际初始点和实际目标点。进一步的，可以并发构建虚拟仿真环境。其中，在虚拟仿真环境中，可以构建与无人机任务场景对应的实体模型和环境模型，为确定无人机路径提供基础。
37.在又一种实施例中，可以利用经典强化学习理论，定义虚拟仿真环境中无人机路径规划问题。
38.在一示例中，无人机在0时刻，从初始位置(又称实际初始点)i出发，经过t个时间步，通过若干障碍物o抵达任务预定目的地(又称实际目标点)g。在某一时间步t时，无人机能够通过自身观测设备感知自身及周边环境状态s
t
，此时，无人机控制端可以在可选指令集a中根据各指令效用差异π，选择最佳效用控制指令a，并将该指令发送至无人机执行端，并由虚拟仿真环境响应该指令，由此转入下一时间步t+1。可以令无人机在0时刻所感知状态为si，在抵达实际目标点g时状态为sg，在触及障碍物时状态为so。
39.若无人机成功抵达实际目标点g，可以定义该状态效用为rg＝r(sg)＝1。若无人机触碰障碍物，可以定义该状态效用为ro＝r(so)＝-1。可以理解的是，本发明实施例的目标是
为无人机选择合理行进路径，使其尽可能在短时间内抵达实际目标点g。
40.在步骤220中，实例化多个虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径。其中，有效路径为以有效初始状态抵达实际目标点的路径，有效初始状态为在预设时间步内，在虚拟仿真环境中抵达实际目标点的初始状态。其中，初始状态包括实际初始状态和假想初始状态，实际初始状态对应无人机位于实际初始点，假想初始状态对应无人机位于仿真虚拟环境中除实际初始点之外的其他位点。
41.在本发明一示例性实施例中，可以基于蒙特卡洛树搜索算法，获取以有效初始状态抵达实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为有效路径。可以理解的是，最大的第一效用值对应的路径为距离最短的路径。
42.在本发明一示例性实施例中，可以并发实例化ne个虚拟仿真环境，其中，对n
e-1个虚拟仿真环境在实际目标点g和实际初始点i周围随机位置生成无人机模型作为其假想初始状态，定义假想初始状态为i≤n
e-1。对1个虚拟仿真环境在实际初始位置i生成无人机模型，并作为实际初始状态。可以理解的是，初始状态包括实际初始状态和假想初始状态，初始状态集合可以为合可以为
43.在步骤230中，基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径。
44.在一种实施方式中，在虚拟仿真环境中，可以基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径。可以理解的是，有效初始状态为在预设时间步内可以抵达实际目标点的初始状态。由于是在固定时间步内进行路径搜索得到的有效初始状态，那么可以在固定时间步内获得有效路径。进一步的，将有效路径作为确定无人机路径的基础，可以有效确保无人机路径搜索过程的收敛性。
45.本发明将结合下述实施例对基于实际初始状态、有效初始状态以及有效路径，确定无人机路径的过程进行说明。
46.图3是本发明提供的基于实际初始状态、有效初始状态以及有效路径，确定无人机路径的流程示意图之一。
47.在本发明一示例性实施例中，如图3所示，基于实际初始状态、有效初始状态以及有效路径，确定无人机路径可以包括步骤310和步骤320，下面将分别介绍各步骤。
48.在步骤310中，若有效初始状态与实际初始状态相同，则将有效路径确定为无人机路径。
49.在步骤320中，若有效初始状态与实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径，并将有效路径与可行路径之和作为无人机路径。
50.在本公开一示例性实施例中，可以基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为可行路径。可以理解的是，最大的第二效用值对应的路径为距离最短的路径。进一步的，基于第一效用值和第二效用值分别确定的有效路径和可行路径均为距离最短的路径，进而可以确保无人机能够在短时间内抵达实际目标点。
51.继续以前文所述的初始状态集合为为例，对确定无人机路径的过程进行说明。
52.在一种实施例中，可以基于蒙特卡洛树搜索算法，在固定时间步t
fix
内求解以初始状态集合中任意一种状态抵达实际目标点g的可行路径。其中，路径长度等于所需时间步，即定义该状态为i≤ne，该状态对应效用为
[0053][0054]
可以理解的是，基于蒙特卡洛树搜索算法在固定时间步t
fix
内求解以初始状态集合中任意一种状态抵达实际目标点g的可行路径，可以获取有效路径，以及有效初始状态。
[0055]
在一示例中，若假想初始状态与无人机处于实际目标点的状态相同，即可以令其状态效用r
1,i
＝rg＝1，路径长度在又一示例中，若基于蒙特卡洛树搜索算法，以初始状态抵达实际目标点g进行多次搜索所得效用值不一致，可以取其最大效用值。其中，效用值最大的路径即为路程最短的路径。在一种实施例中，以有效初始状态抵达实际目标点g进行多次搜索所得第一效用值不一致，可以取其最大的第一效用值，其中，最大的第一效用值对应的路径为有效路径。在又一示例中，若由实际初始点i至实际目标点g的可行路径存在，即那么，可以直接确定无人机路径。
[0056]
在另一种实施例中，若假想初始状态与无人机处于实际目标点的状态不相同，即可以状态集合为子目标，继续并发实例化ne个虚拟仿真环境。并在子目标周围、实际初始点及其周围继续随机生成无人机模型作为关于子目标的初始状态，并利用蒙特卡洛树搜索算法按固定时间步计算抵达任意的可行路径。可以定义上述关于子目标的假想初始状态为j≤ne，其对应效用为
[0057][0058]
在一种实施例中，若假想初始状态与无人机处于实际目标点的状态相同，即可以令其状态效用r
2,j
＝rg＝1，路径长度
[0059]
进一步的，若假想初始状态与无人机处于实际目标点的状态不相同，即可以再次以关于子目标的初始状态集合可以再次以关于子目标的初始状态集合进行路径搜索。经过n次迭代，直至获取由实际初始状态si至任意假想起始状态的可行路径，其中，l≤n。进一步的，将由实际初始状态(对应si)至有效初始状态(对应某一假想起始状态)的可行路径与有效路径之和，作为确定的无人机路径。其中，有效路径为以有效初始状态抵达实际目标点的路径。可以理解的是，由实际初始状态(对应si)至有效初始状态(对应某一假想起始状态)的可行路径可以是经过多次迭代获得。在一示例中，由实际初始状
态(对应si)至有效初始状态(对应某一假想起始状态)的可行路径可以是多条可行路径之和。需要说明的是，确定的无人机路径可以是由实际初始点到实际目标点最短的路径。
[0060]
图4是本发明提供的基于蒙特卡洛树搜索进行无人机路径规划的示意图。
[0061]
结合图4可知，在本实施例中，基于蒙特卡洛树搜索算法进行部分搜索，即由实际目标点周围的初始状态(至少包括实际目标点周围的假想初始状态)发起搜索，并逐步向外层扩展进行多次搜索。通过此种方式，可以使得在规划无人机路径上的大量中间状态效用值得以表征，有效加速了搜索进程，避免因中间状态效用不明确所导致的无效探索。进一步的，在本实施例中，基于蒙特卡洛树搜索算法进行部分搜索，还包括由实际初始点周围的假想初始位置发起，其作用主要用以快速衔接可能联通实际目标点周围的假想初始状态，从而进一步提升无人机路径搜索效率。
[0062]
本发明将结合下述实施例对基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径的过程进行说明。
[0063]
图5是本发明提供的获取实际初始状态至有效初始状态的可行路径的流程示意图之一。
[0064]
在本发明一示例性实施例中，如图5所示，基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径可以包括步骤510至步骤530，下面将分别介绍各步骤。
[0065]
在步骤510中，以有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，假想有效初始状态为关于终止状态的有效初始状态。
[0066]
在一种实施例中，由于已经在预设时间步内确定出以有效初始状态抵达实际目标点的路径，即有效路径。因此，为了在有限时间内确定无人机路径，需要在预设时间步内找到由实际初始状态至有效初始状态的可行路径。
[0067]
结合图6可知，通过本发明的基于蒙特卡洛树搜索的无人机路径规划方法，在进行第一次搜索时，确定为有效初始状态，并经过搜索确定l1为有效路径。进一步的，为作为终止状态的假想有效初始状态。
[0068]
在步骤520中，若假想有效初始状态为实际初始状态，则将由假想有效初始状态至终止状态的路径，作为实际初始状态至有效初始状态的可行路径。
[0069]
在一种示例中，继续结合图6进行说明，在进行第二次搜索时，若假想有效初始状态为实际初始状态si，即此时无人机位于实际初始点位置。那么，由假想有效初始状态至其终止状态的路径l2，作为实际初始状态至有效初始状态的可行路径。在本实施例中，确定的无人机路径为l1+l2。
[0070]
在步骤530中，若假想有效初始状态不为实际初始状态，则以假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为实际初始状态，并将由假想有效初始状态至终止状态的路径作为实际初始状态至有效初始状态的可行路径。
[0071]
继续结合图6进行说明，若前文所述的假想有效初始状态不为实际初始状态si，那么将继续以假想有效初始状态作为新的终止状态进行第三次路径搜索。经过搜索确定关于作为新的终止状态的假想有效初始状态并判断假想有效初始状态是否为实际初始状态si。若假想有效初始状态不为实际初始状态si，那么将继续以假想有效初始状态作为新的终止状态进行第四次路径搜索。经过搜索确定关于作为新的终止状态的假想有效初始状态(可以将该假想有效初始状态称为)为实际初始状态si，那么由该假想有效初始状态至终止状态的路径l2+l3+l4，作为实际初始状态至有效初始状态的可行路径。在本实施例中，确定的无人机路径为l1+l2+l3+l4。
[0072]
可以理解的是，假想有效初始状态是一种可以抵达相应终止状态的初始状态。以前文示例进行说明，当作为终止状态时，可以抵达的初始状态为关于的假想有效初始状态。
[0073]
在本公开实施例中，采用了并发搜索和基于目标搜索两种策略，使得整个无人机路径规划的计算过程较为高效。在本实施例中，无需在无人机执飞前进行预先学习训练，即可满足无人机执飞过程中因目标变更所引发的临机在线规划任务需求，快速确定无人机路径。
[0074]
本发明将结合下述实施例对基于蒙特卡洛树搜索的无人机路径规划方法进行说明。
[0075]
图7是本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法的流程示意图之二。
[0076]
在一种实施例中，如图7所示，基于蒙特卡洛树搜索的无人机路径规划方法可以包括步骤701至步骤714，下面将分别介绍各步骤。
[0077]
在步骤701中，根据实际场景进行虚拟仿真环境建模。
[0078]
在步骤702中，初始化公用缓冲池存储树搜索数据。
[0079]
在一种实施例中，可以构建无人机强化学习虚拟仿真环境。其中，虚拟仿真环境可以提供对无人机位置姿态度量、控制指令响应、障碍物碰撞、目标抵达判定等功能的支持。无人机控制端能够通过虚拟仿真环境获取自身位置姿态、与目标点距离、与障碍物距离等状态信息，并可向虚拟仿真环境下达加减速、转向偏航等控制指令。
[0080]
初始化公用数据缓冲池，用以更新每次树搜索后所产生的节点效用数据。
[0081]
在步骤703中，实例化多个虚拟仿真环境。
[0082]
在步骤704中，以无人机实际初始位置、实际初始位置周围、实际目标位置周围作为初始点生成无人机模型。
[0083]
在步骤705中，进行蒙特卡洛树搜索。
[0084]
在一种实施例中，可以实例化一个虚拟仿真环境，并在虚拟仿真环境中以无人机实际初始位置生成无人机模型，完成虚拟仿真环境初始化，并通过向虚拟仿真环境下达无
人机控制指令，实现无人机在虚拟仿真环境中的运动。
[0085]
需要说明的是，为了确保在固定时间步内完成对无人机路径的规划，可以设置最大仿真步长t
fix
。
[0086]
进一步的，可以从t＝0时刻开始，直至t
fix
时刻结束，基于蒙特卡洛树搜索算法进行路径搜索。
[0087]
在另一种实施例中，还可以构建一个递归形式的决策树tree＝《v,e》。其中，v为决策树的一个节点，该节点表示某时刻的特定状态s
t
，同时该节点包含所有已扩展子分支的效用和该节点被访问次数，若该节点已经为叶节点，则其效用为r(s
t
)；e用以连接某节点的前序和后续状态节点，表示因下达控制指令所产生的状态变化。
[0088]
在又一种实施例中，还可以根据上置信区间算法确定是否展开未探索新节点或继续开发已探索节点。
[0089]
在步骤706中，判断是否找到实际初始位置至实际目标位置的可行路径。
[0090]
在步骤707中，若找到实际初始位置至实际目标位置的可行路径，可以基于该可行路径，确定无人机路径。
[0091]
在一种实施例中，在时间步达到t
fix
时，首先检查该决策树是否有节点对应状态为无人机抵达实际目标位置，若存在，完成路径规划任务，结束整个搜索过程。
[0092]
在步骤708中，若未找到实际初始位置至实际目标位置的可行路径，则继续判断是否找到假想初始位置至实际目标位置的可行路径。
[0093]
在步骤709中，若找到假想初始位置至实际目标位置的可行路径，则更新假想初始位置效用值至公用缓冲池。
[0094]
在步骤710中，连接所有可行路径，获得无人机路径。
[0095]
在步骤711中，若未找到假想初始位置至实际目标位置的可行路径，实例化多个虚拟仿真环境。
[0096]
在步骤712中，依次以存在可行路径的假想初始位置为假想目标，在其周围生成无人机模型重复进行蒙特卡洛树搜索，直至找到假想初始位置至假想目标的可行路径。
[0097]
在步骤713中，更新假想初始位置效用值至公用缓冲池。
[0098]
在步骤714中，连接所有可行路径，获得无人机路径。
[0099]
在一种实施例中，在时间步达到t
fix
时，若检查该决策树不存在节点对应状态为无人机抵达实际目标位置，则继续搜索是否有节点对应状态为无人机抵达假想目标位置。进一步的，实例化多个虚拟仿真环境，例如，实例化n
e-1个虚拟仿真环境，以无人机实际初始、实际目标周围随机位置作为初始点，以抵达实际目标位置为终止状态进行蒙特卡洛树搜索。若找到可行路径，则连接由实际初始位置至实际目标位置的路径，完成路径规划任务，结束整个搜索过程。若未找到可行路径，则再次实例化多个虚拟环境执行上述搜索，直至获取实际初始位置至任意假想目标位置的可行路径，并由此导出由实际初始位置至实际目标位置的路径，完成路径规划任务，结束整个搜索过程。需要说明的是，可以通过计算效应值，确定可行路径。
[0100]
在一种实施例中，在基于蒙特卡洛树搜索算法计算无人机各种状态的效用值后，可以在公用数据缓冲池中更新该状态所对应效用值。其中，公用数据缓冲池中更新的效用值可以作为后续确定可行路径的依据。
[0101]
根据上述描述可知，本发明提供的基于蒙特卡洛树搜索的无人机路径规划方法，可以利用蒙特卡洛树搜索算法进行有限深度搜索，获取特定状态(又可以称为有效初始状态)抵达实际目标点的有效路径，并以该特定状态作为终止状态，再次搜索其可行路径。由此构建由实际初始点通向实际目标点的无人机路径。其中，在每轮搜索时，可迭代生成下轮子目标效用函数，由此解决效用值难设计、路径搜索难并发的问题，保证无人机路径规划问题求解的高效稳定。
[0102]
基于相同的构思，本发明还提供一种基于蒙特卡洛树搜索的无人机路径规划装置。
[0103]
下面对本发明提供的基于蒙特卡洛树搜索的无人机路径规划装置进行描述，下文描述的基于蒙特卡洛树搜索的无人机路径规划装置与上文描述的基于蒙特卡洛树搜索的无人机路径规划方法可相互对应参照。
[0104]
图8是本发明提供的基于蒙特卡洛树搜索的无人机路径规划装置的结构示意图。
[0105]
在本发明一示例性实施例中，如图8所示，基于蒙特卡洛树搜索的无人机路径规划装置可以包括构建模块810、处理模块820和确定模块830。下面将分别介绍各模块。
[0106]
构建模块810可以被配置为用于基于实际初始点和实际目标点，并发构建多个虚拟仿真环境。
[0107]
处理模块820可以被配置为用于实例化多个虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径。其中，有效路径为以有效初始状态抵达实际目标点的路径，有效初始状态为在预设时间步内，在虚拟仿真环境中抵达实际目标点的初始状态，初始状态包括实际初始状态和假想初始状态，实际初始状态对应无人机位于实际初始点，假想初始状态对应无人机位于仿真虚拟环境中除实际初始点之外的其他位点。
[0108]
确定模块830可以被配置为用于基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径。
[0109]
在本发明一示例性实施例中，确定模块830可以采用以下方式基于实际初始状态、有效初始状态，以及有效路径，确定无人机路径：若有效初始状态与实际初始状态相同，则将有效路径确定为无人机路径；若有效初始状态与实际初始状态不相同，则继续并发实例化多个虚拟仿真环境，并在预设时间步内，基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径，并将有效路径与可行路径之和作为无人机路径。
[0110]
在本发明一示例性实施例中，确定模块830可以采用以下方式基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的可行路径：以有效初始状态作为终止状态，基于蒙特卡洛树搜索算法，在预设时间步内，获取假想有效初始状态，其中，假想有效初始状态为关于终止状态的有效初始状态；若假想有效初始状态为实际初始状态，则将由假想有效初始状态至终止状态的路径，作为实际初始状态至有效初始状态的可行路径；若假想有效初始状态不为实际初始状态，则以假想有效初始状态作为新的终止状态，按照如上过程，重复执行，直至确定新的终止状态对应的假想有效初始状态为实际初始状态，并将由假想有效初始状态至终止状态的路径作为实际初始状态至有效初始状态的可行路径。
[0111]
在本发明一示例性实施例中，处理模块820可以采用以下方式基于蒙特卡洛树搜
索算法，获取有效路径：基于蒙特卡洛树搜索算法，获取以有效初始状态抵达实际目标点的多个第一效用值，并将最大的第一效用值对应的路径作为有效路径。
[0112]
在本发明一示例性实施例中，确定模块830可以采用以下方式确定可行路径：基于蒙特卡洛树搜索算法进行迭代计算，直至获取实际初始状态至有效初始状态的多个第二效用值，并将最大的第二效用值对应的路径作为可行路径。
[0113]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关基于蒙特卡洛树搜索的无人机路径规划方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0114]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于蒙特卡洛树搜索的无人机路径规划方法，该方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
[0115]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于蒙特卡洛树搜索的无人机路径规划方法，该方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
[0117]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于蒙特卡洛树搜索的无
人机路径规划方法，该方法包括：基于实际初始点和实际目标点，并发构建多个虚拟仿真环境；实例化多个所述虚拟仿真环境，并基于蒙特卡洛树搜索算法，获取有效初始状态以及有效路径，其中，所述有效路径为以所述有效初始状态抵达所述实际目标点的路径，所述有效初始状态为在预设时间步内，在所述虚拟仿真环境中抵达所述实际目标点的初始状态，所述初始状态包括实际初始状态和假想初始状态，所述实际初始状态对应无人机位于所述实际初始点，所述假想初始状态对应无人机位于所述仿真虚拟环境中除所述实际初始点之外的其他位点；基于所述实际初始状态、所述有效初始状态，以及所述有效路径，确定无人机路径。
[0118]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0119]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0120]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。