一种基于无人机救援的协同智能探测系统及方法

本发明涉及无人机救援，具体为一种基于无人机救援的协同智能探测系统及方法。

背景技术：

1、自然灾害往往事发突然，让人猝不及防。为此，灾害应急救援是否有效的关键就在于灾害发生后救援部门能否做出迅速的响应。无人机具有在大面积上快速提供态势感知的直接能力。它们减少了紧急情况下搜救人员或救援人员的时间和数量，并大大降低了搜救行动的成本和风险。

2、吕明等人介绍了一种基于fpga的无人机灾害救援图像采集与分析系统。通过采用fpga进行图像分析处理，采用单片机进行系统的控制，可有效实现对图像的采集与基本拼接功能，基本能满足对灾害地区的图片采集和分析功能(吕明,郑静晨,陈金宏,等.基于fpga技术的灾害救援无人机图像采集与分析系统设计[j].医疗卫生装备,2016,37(8):6-9.doi:10.7687/j.issn1003-8868.2016.08.006.)。邬春学通过构建基于resnet50与cpm的新型网络架构，致力于解决地震救援复杂环境下的人体姿态估计，其对推进在震救援中对受灾人员进行行为识别与状态分析，来提高救援效率非常具有意义(邬春学,贺欣欣.基于resnet50对地震救援中人体姿态估计的研究[j].信息技术与网络安全,2022,41(3):50-58,70.doi:10.19358/j.issn.2096-5133.2022.03.009.)。

3、中国专利cn111498111a公开了一种带生命检测功能的搜救无人机。发明内置电波探测器和声波探测器，两者协同工作更高效准确识别幸存者位置，发明内置烟雾彩弹，可以使远处的搜救人员看到幸存者位置，且可以在幸存者所在位置喷涂荧光剂，这样即便光线不充足的地方也能更好识别幸存者位置，以便完成搜救工作(青岛滴都生命保障救援设备科技有限公司.一种带生命检测功能的搜救无人机:cn202010383832.1[p].2020-08-07.)。

4、上述现有技术虽然可以实现救援场地灾员检测，但是没有考虑无人机侧的算力，所采用的监测模型均是较为庞大的模型，导致无人机侧算力压力较大，同时无法对检测性能进行评估与协助，使得其检测性能有限。

技术实现思路

1、本发明的目的是提供一种基于无人机救援的协同智能探测系统及方法，解决现有基于无人机救援系统无人机侧算力压力较大以及因只依赖单一的检测方法，而导致检测性能受限的技术问题。

2、本发明的技术方案是：一种基于无人机救援的协同智能探测系统，其特殊之处在于：包括置于无人机端的探测模块、轻量化检测模块、卸载模块及通讯模块；

3、探测模块用于捕捉当前区域图像；

4、轻量化检测模块用于基于轻量化检测模型根据探测模块捕捉的当前区域图像，判断当前区域中是否有受困对象，获得本地检测结果；

5、卸载模块用于基于卸载模型判断本地检测结果是否准确，若准确，则基于通讯模块将本地检测结果发送至救援指挥中心，否则基于通讯模块将当前区域图像发送至救援指挥中心，进行人工识别，并基于人工识别结果与本地检测结果持续更新卸载模型。

6、为了进一步地减轻无人机侧的算力压力，选用mobilenetv3 small模型作为轻量化检测模型。

7、进一步地，卸载模型为dqn网络模型，包括依次连接的值网络与目标网络；值网络与目标网络均为全连接网络；值网络的输入端与mobilenetv3 small模型的“avg_pool”层的连接。

8、进一步地，基于卸载模型判断本地检测结果，具体为：

9、卸载模型接收mobilenetv3 small模型中“avg_pool”层的输出，基于“avg_pool”层的输出，判断本地检测结果。

10、进一步地，基于人工识别结果与本地检测结果持续更新卸载模型，具体为：

11、卸载模型在状态s下，选择动作a，得到奖励r，并转移至下一状态s′；将大量的经验(s,a,r,s′)存储到经验池中，用于卸载模型的持续更新；

12、其中状态s为“avg_pool”层针对当前区域图像的输出，状态s′为“avg_pool”层针对下一区域图像的输出；a∈{0,1}，a＝0表示将本地检测结果发送至救援指挥中心，a＝1表示将当前区域图像发送至救援指挥中心，进行人工识别，并将识别结果下传至无人机侧；奖励r为根据动作a、本地检测结果和人工识别结果之间的关系确定的奖励参数。

13、进一步地，奖励r基于下式获得：

14、

15、式中，rt为t时刻的奖励，st为t时刻的状态，at表示t时刻的动作；z1为负数，z2和z3为正数，且z2小于z3；∧为并集符号，xt表示t时刻探测模块捕捉到的当前区域图像，g(xt)为救援指挥中心根据xt给出的人工识别结果，g(xt)＝0表示人工识别结果为当前区域不存在受困对象，g(xt)＝1表示人工识别结果为当前区域存在受困对象，f(xt|μ)表示无人机侧本地检测结果，μ为轻量化检测模型的网络参数，f(xt|μ)＝0表示无人机侧本地检测结果为当前区域不存在受困对象，f(xt|μ)＝1表示无人机侧本地检测结果为当前区域存在受困对象。

16、进一步地，通过梯度下降的策略最小化loss函数更新卸载模型，其中损失函数loss(θ)定义为：

17、loss(θ)＝e(yt-q(st,at；θ))2

18、式中，e为期望，q(st,at)是t时刻值网络的状态动作价值函数，yt为t时刻值网络的目标值，θ为值网络的网络参数；

19、值网络的状态动作价值函数q(s,a)通过下式获得：

20、

21、式中，k为与奖励次数相关的参数，γ表示折扣因子。

22、本发明还提供一种基于无人机救援的协同智能探测方法，其特殊之处在于：基于上述的基于无人机救援的协同智能探测系统实现，包括以下步骤：

23、步骤1、基于探测模块捕捉当前区域图像；

24、步骤2、基于轻量化检测模型检测当前区域图像中是否有受困对象，获得本地检测结果；基于卸载模型判断本地检测结果是否准确，若准确，则基于通讯模块将本地检测结果发送至救援指挥中心，否则基于通讯模块将当前区域图像发送至救援指挥中心，进行人工识别，并基于人工识别结果与本地检测结果持续更新卸载模型。

25、进一步地，步骤2中基于卸载模型判断本地检测结果，具体为：

26、卸载模型接收轻量化检测模型mobilenetv3 small中“avg_pool”层的输出，基于“avg_pool”层的输出，判断本地检测结果。

27、进一步地，步骤2中基于人工识别结果与本地检测结果持续更新卸载模型，具体为：

28、卸载模型在状态s下，选择动作a，得到奖励r，并转移至下一状态s′；将大量的经验(s,a,r,s′)存储到经验池中，用于卸载模型的持续更新；

29、其中状态s为“avg_pool”层针对当前区域图像的输出，状态s′为“avg_pool”层针对下一区域图像的输出；a∈{0,1}，a＝0表示将本地检测结果发送至救援指挥中心，a＝1表示将当前区域图像发送至救援指挥中心，进行人工识别，并将识别结果下传至无人机侧；奖励r为根据动作a、本地检测结果和人工识别结果之间的关系确定的奖励参数。

30、进一步地，上述奖励r基于下式获得：

31、

32、式中，rt为t时刻的奖励，st为t时刻的状态，at表示t时刻的动作；z1为负数，z2和z3为正数，且z2小于z3；∧为并集符号，xt表示t时刻探测模块捕捉到的当前区域图像，g(xt)为救援指挥中心根据xt给出的人工识别结果，g(xt)＝0表示人工识别结果为当前区域不存在受困对象，g(xt)＝1表示人工识别结果为当前区域存在受困对象，f(xt|μ)表示无人机侧本地检测结果，μ为轻量化检测模型的网络参数，f(xt|μ)＝0表示无人机侧本地检测结果为当前区域不存在受困对象，f(xt|μ)＝1表示无人机侧本地检测结果为当前区域存在受困对象。

33、进一步地，通过梯度下降的策略最小化loss函数更新卸载模型，其中损失函数loss(θ)可以定义为：

34、loss(θ)＝e(yt-q(st,at；θ))2

35、式中，e为期望，q(st,at)是t时刻值网络的状态动作价值函数，yt为t时刻值网络的目标值，θ为值网络的网络参数；

36、值网络的状态动作价值函数q(s,a)可以通过下式获得：

37、

38、式中，k为与奖励次数相关的参数，γ表示折扣因子。

39、本发明的有益效果是：

40、1、本发明考虑到无人机的算力限制，采用轻量化检测模型检测当前区域是否有受困对象，减轻算力压力；并在无人机端的轻量化检测模型增加了一个卸载模型，利用卸载模型评估轻量化检测模型对图片的理解情况，将轻量化检测模型拿不准的数据发送至救援指挥中心由人工系统进行鉴别，提高检测性能；并基于人工鉴别数据持续更新卸载模型，进一步提高检测准确率，减少人工鉴别次数，降低检测成本。

41、2、本发明轻量化检测模型为轻量化的mobilenetv3 small，模型只有10.3m,而卸载模型也只是在mobilenetv3 small的基础上加了两层全连接网络。这样的轻量化模型部署在算力存储能量受限的无人机侧是更有说服力的。

42、3、本发明利用卸载模型可以决定何时卸载感知任务，能够最小化云通讯成本。