基于5G的煤矿井下无人机巡视信息感知方法及其感知系统

基于5g的煤矿井下无人机巡视信息感知方法及其感知系统
技术领域
1.本发明一种基于5g的煤矿井下无人机巡视信息感知方法及其感知系统，属于煤矿井下无人机巡视信息感知方法技术领域。


背景技术：

2.5g、大数据、人工智能等前沿技术的不断完善与突破为无人机领域的快速发展注入更多活力。无人机作为人工智能产业的重要抓手，是移动数据采集的重要节点，也是移动5g网络提供的重要平台。
3.现阶段，机器人巡检被广泛应用，但面对煤矿井下这种复杂且狭小的工作环境，机器人往往因行动能力受限而致使巡检能力大大下降，从而致使工作区域安全系数呈现缓慢爬升的趋势。
4.目前，煤矿井下常用的轮式或履带式机器人虽然可以克服简单的地形因素，但对矿下环境的全局考量效果欠佳。
5.尽管通过布置移动式摄像头可以弥补机器人的视觉盲区，近似地实现工作区域全覆盖，但在弱光、尘渣密度高的煤矿区域，难以保证图像信息高清晰度。
6.由于机器人依赖摄像头提供的全局视角，一旦探索井下区域，就会产生大量的视觉盲区，从而致使信息分析精确度大幅度下降。
7.因此，需要提出一种能够克服现有煤矿井下巡检技术安全系数低、实时性差、移动机制弱的不足，在无人机上搭载强化学习奖惩机制的信息感知方法。


技术实现要素：

8.本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于5g的煤矿井下无人机巡视信息感知方法的改进。
9.为了解决上述技术问题，本发明采用的技术方案为：基于5g的煤矿井下无人机巡视信息感知方法，包括如下步骤：
10.步骤一：构建数据集：通过不同的操作人员操作作为僚机的无人机进行试飞，所述僚机记录不同人操作无人机面对同一飞行境遇时所产生的非均等代价，并将飞行操作按照不同区域随机排列；
11.步骤二：构建操作集：根据步骤一采集的无人机的飞行数据，通过损益函数计算并保留飞行的指令参数；
12.步骤三：根据步骤一、步骤二构建的数据集和操作集使僚机进行初步学习具备自主学习能力后，长机发布巡视任务指令，长机和僚机自检满足升空条件后进行矿井巡视；
13.步骤四：在巡视过程中僚机通过强化学习机制进行进一步学习，同时将传感器采集数据和图像信息发送至长机；
14.步骤五：长机接收僚机发送的传感器数据及图像信息，通过深度学习完成图像处理和参数提取，同时通过对数据的分析处理完成长机的强化学习机制；
15.步骤六：在巡视过程中长机、僚机之间通过协同合作机制完成巡视任务，且在将巡视区域全部巡视完毕后，自主结束巡视任务，返航至充电站，进行电能储备。
16.所述步骤一中的非均等代价具体指僚机处在某一相同飞行情境时，根据不同人所做出的不同操作，所产生的不同结果，所述僚机同时记录不同的人飞行操控在试飞过程中巡检的内容和做出的飞行操作。
17.所述步骤二中的损益函数采用多元线性回归方程模型，计算公式为：
18.y
i
＝ax1+bx2+cx3+dx4+
…
；
19.上式中：y
i
为第i项操作对应的损益值，x
i
为测量项的参数，a，b，c，d
…
为权值参数。
20.步骤四中的僚机强化学习机制的步骤如下：
21.步骤4.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后转入步骤4.2，不符合条件的重新上电自检；
22.步骤4.2：工作人员操作僚机开始巡视四周并采集图像，并将图像信息集成发送至长机，僚机根据长机更新发布给僚机的判断机制判断当前区域是否为设定的巡视区域，当判断为是设定区域时转入步骤4.3，当判断为不是设定区域时重复步骤4.2直至僚机进入设定的巡视区域后进入步骤4.3；
23.步骤4.3：僚机通过视觉slam算法进行地形建模，并将周围的障碍物进行标记，在标记完成后，形成整体建模的集成，并根据僚机具备的判断机制判断当前区域是否可巡视，当判断为当前区域可巡视时转入步骤4.4，当判断为当前区域不可巡视时转入步骤4.2重新进行另一区域的图像采集；
24.步骤4.4：僚机进入悬停状态，通过tof相机和可见光相机，对四周进行图像采集，同时控制传感器采集当前位置的环境参数，僚机对采集图像数据的地形、人物、设备从视觉、听觉角度进行特征点提取，并发送给长机，同时识别工人的操作是否规范，当判断为操作规范时，转入步骤4.5，当判断为操作不规范时通过僚机上的喊话器发出警告信号并对违规操作人员的工号进行记录；
25.步骤4.5：将当前区域巡视结束后，判断整体巡视区域是否完成，当所有区域都巡视完成后，僚机返航至充电站，当存在未被巡视的区域，僚机将前往未被巡视的区域转入步骤4.2进行进一步巡视。
26.所述步骤五中的长机强化学习机制的步骤如下：
27.步骤5.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后转入步骤5.2，不符合条件的重新上电自检；
28.步骤5.2：操作人员将长机定位移动到可接受最远僚机信号的安全区域后悬停，并通过长机与僚机间的测试机制判断数据收发是否正常，当判断为数据收发正常时，转至步骤5.3，当判断为数据收发不正常时，重复步骤5.2直至数据收发正常后转入步骤5.3；
29.步骤5.3：长机接收僚机采集的图像数据，通过对图像数据进行分析处理后判断僚机当前所处区域是否是标记区域，当判断为是标记区域后，转入步骤5.4，当判断为不是标记区域后，长机对上述区域进行标记并控制僚机采集上述区域的参数信息，并将上述区域参数信息发送至长机后重复步骤5.3；
30.步骤5.4：长机根据僚机在步骤5.3中飞行采集回来的数据，重新整合特征，求损益值，判断此次飞行从功耗、效率、吞吐是否更加有益，当判断为有益时，将原有的操作集进行
更新并修改行为，编码协同至僚机，当计算损益值后，判断为没有益处时，或者和原先损益值相等时，保持原有操作集，并且标记此次巡视区域为已巡视；
31.步骤5.5：当所有僚机巡视完成后，长机与僚机共同返航至充电站。
32.所述步骤六中的长机、僚机之间协同合作机制的步骤如下：
33.步骤6.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后判断长机和僚机是否需要介入人为控制，当判断为需要人为控制的转入步骤6.2，当判断为不需要人为控制的转入步骤6.4，不符合升空条件的重新上电自检后判断是否需要人为控制；
34.步骤6.2：僚机记录人为控制的动作原因及操作动作，长机记录通过人为控制后僚机采集图像数据生成的额图像特征点及数据参数敏感值；
35.步骤6.3：长机将僚机采集的数据进行数据拟合，并构建介入人为控制的专用数据集；
36.步骤6.4：长机在数据案例中判断本次人为控制的案例是否存在，当判断为存在时，转入步骤6.5，当判断为不存在时，长机将本次案例进行备份后转入步骤6.2；
37.步骤6.5：长机就散本次协同操控行为指数的损益率，并通过损益率判断任务是否需要更新，当判断为需要更新时，重复步骤6.5，但判断为不需要更新时结束本次协同控制。
38.基于5g的煤矿井下无人机巡视信息感知系统，包括用于采集矿井狭小工作区间的各项数据完成信息感知的僚机、和用于将僚机采集的数据信息进行汇总、分析、处理、决策、发布的长机，所述长机、僚机的内部设置有第一处理器，所述僚机的内部设置有第二处理器，所述长机、僚机的顶部均设置有螺旋桨，所述长机的底部设置有第一摄像机，所述僚机的底部设置有第二摄像机；
39.所述僚机的上设置有氧气气体传感器、瓦斯气体传感器、风量感知传感器、温度传感器和湿度传感器，所述僚机的底部还设置有探照灯和喊话器；
40.所述第一处理器通过导线与第一摄像机的控制端相连，所述第二处理器通过导线分别与第二摄像机、探照灯、喊话器的控制端、氧气气体传感器、瓦斯气体传感器、风量感知传感器、温度传感器、湿度传感器的信号输出端相连，所述第一处理器、第二处理器之间通过5g无线通信模块进行远程双向通信。
41.所述氧气气体传感器具体设置在僚机的底部，所述瓦斯气体传感器具体设置在僚机的顶部，所述风量感知传感器、温度传感器和湿度传感器分别设置在僚机的一侧面。
42.所述长机、僚机的个数具体设置为在每一个巡视区域长机、僚机之间是1:n或1:1的数量关系。
43.所述第一摄像机、第二摄像机具体设置为tof相机。
44.本发明相对于现有技术具备的有益效果为：本发明采用强化学习机制，从真正意义上实现机器的自主学习，由无人机通过损益函数自主判断巡检经验的可学性，弥补了人为判定巡检区域的疏漏之处，降低了人为主观臆断因素的影响，实现了机器协同配合，高效完成任务；运用概率论、计算机数值分析、数据挖掘等高等理论知识，实现传感器数据降噪，建立更加科学的数学模型，自主计算需要标记的内容，增强了无人机执行任务的客观可靠性。
附图说明
45.下面结合附图对本发明做进一步说明：
46.图1为本发明的僚机强化学习机制基本流程图；
47.图2为本发明的长机强化学习机制基本流程图；
48.图3为本发明长机、僚机的协同合作机制流程图；
49.图4为本发明长机的结构示意图；
50.图5为本发明僚机的结构示意图。
51.图中：1为长机、4为螺旋桨、5为僚机、6为氧气气体传感器、7为瓦斯气体传感器、8为风量感知传感器、9为探照灯、10为喊话器、11为温度传感器、12为湿度传感器、21为第一处理器、22为第二处理器、31为第一摄像机、32为第二摄像机。
具体实施方式
52.如图1至图5所示，本发明基于5g的煤矿井下无人机巡视信息感知方法，包括如下步骤：
53.步骤一：构建数据集：通过不同的操作人员操作作为僚机的无人机进行试飞，所述僚机记录不同人操作无人机面对同一飞行境遇时所产生的非均等代价，并将飞行操作按照不同区域随机排列；
54.步骤二：构建操作集：根据步骤一采集的无人机的飞行数据，通过损益函数计算并保留飞行的指令参数；
55.步骤三：根据步骤一、步骤二构建的数据集和操作集使僚机进行初步学习具备自主学习能力后，长机发布巡视任务指令，长机和僚机自检满足升空条件后进行矿井巡视；
56.步骤四：在巡视过程中僚机通过强化学习机制进行进一步学习，同时将传感器采集数据和图像信息发送至长机；
57.步骤五：长机接收僚机发送的传感器数据及图像信息，通过深度学习完成图像处理和参数提取，同时通过对数据的分析处理完成长机的强化学习机制；
58.步骤六：在巡视过程中长机、僚机之间通过协同合作机制完成巡视任务，且在将巡视区域全部巡视完毕后，自主结束巡视任务，返航至充电站，进行电能储备。
59.所述步骤一中的非均等代价具体指僚机处在某一相同飞行情境时，根据不同人所做出的不同操作，所产生的不同结果，所述僚机同时记录不同的人飞行操控在试飞过程中巡检的内容和做出的飞行操作。
60.所述步骤二中的损益函数采用多元线性回归方程模型，计算公式为：
61.y
i
＝ax1+bx2+cx3+dx4+
…
；
62.上式中：y
i
为第i项操作对应的损益值，x
i
为测量项的参数，a，b，c，d
…
为权值参数。
63.步骤四中的僚机强化学习机制的步骤如下：
64.步骤4.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后转入步骤4.2，不符合条件的重新上电自检；
65.步骤4.2：工作人员操作僚机开始巡视四周并采集图像，并将图像信息集成发送至长机，僚机根据长机更新发布给僚机的判断机制判断当前区域是否为设定的巡视区域，当判断为是设定区域时转入步骤4.3，当判断为不是设定区域时重复步骤4.2直至僚机进入设
定的巡视区域后进入步骤4.3；
66.步骤4.3：僚机通过视觉slam算法进行地形建模，并将周围的障碍物进行标记，在标记完成后，形成整体建模的集成，并根据僚机具备的判断机制判断当前区域是否可巡视，当判断为当前区域可巡视时转入步骤4.4，当判断为当前区域不可巡视时转入步骤4.2重新进行另一区域的图像采集；
67.步骤4.4：僚机进入悬停状态，通过tof相机和可见光相机，对四周进行图像采集，同时控制传感器采集当前位置的环境参数，僚机对采集图像数据的地形、人物、设备从视觉、听觉角度进行特征点提取，并发送给长机，同时识别工人的操作是否规范，当判断为操作规范时，转入步骤4.5，当判断为操作不规范时通过僚机上的喊话器发出警告信号并对违规操作人员的工号进行记录；
68.步骤4.5：将当前区域巡视结束后，判断整体巡视区域是否完成，当所有区域都巡视完成后，僚机返航至充电站，当存在未被巡视的区域，僚机将前往未被巡视的区域转入步骤4.2进行进一步巡视。
69.所述步骤五中的长机强化学习机制的步骤如下：
70.步骤5.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后转入步骤5.2，不符合条件的重新上电自检；
71.步骤5.2：操作人员将长机定位移动到可接受最远僚机信号的安全区域后悬停，并通过长机与僚机间的测试机制判断数据收发是否正常，当判断为数据收发正常时，转至步骤5.3，当判断为数据收发不正常时，重复步骤5.2直至数据收发正常后转入步骤5.3；
72.步骤5.3：长机接收僚机采集的图像数据，通过对图像数据进行分析处理后判断僚机当前所处区域是否是标记区域，当判断为是标记区域后，转入步骤5.4，当判断为不是标记区域后，长机对上述区域进行标记并控制僚机采集上述区域的参数信息，并将上述区域参数信息发送至长机后重复步骤5.3；
73.步骤5.4：长机根据僚机在步骤5.3中飞行采集回来的数据，重新整合特征，求损益值，判断此次飞行从功耗、效率、吞吐是否更加有益，当判断为有益时，将原有的操作集进行更新并修改行为，编码协同至僚机，当计算损益值后，判断为没有益处时，或者和原先损益值相等时，保持原有操作集，并且标记此次巡视区域为已巡视；
74.步骤5.5：当所有僚机巡视完成后，长机与僚机共同返航至充电站。
75.所述步骤六中的长机、僚机之间协同合作机制的步骤如下：
76.步骤6.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后判断长机和僚机是否需要介入人为控制，当判断为需要人为控制的转入步骤6.2，当判断为不需要人为控制的转入步骤6.4，不符合升空条件的重新上电自检后判断是否需要人为控制；
77.步骤6.2：僚机记录人为控制的动作原因及操作动作，长机记录通过人为控制后僚机采集图像数据生成的额图像特征点及数据参数敏感值；
78.步骤6.3：长机将僚机采集的数据进行数据拟合，并构建介入人为控制的专用数据集；
79.步骤6.4：长机在数据案例中判断本次人为控制的案例是否存在，当判断为存在时，转入步骤6.5，当判断为不存在时，长机将本次案例进行备份后转入步骤6.2；
80.步骤6.5：长机就散本次协同操控行为指数的损益率，并通过损益率判断任务是否需要更新，当判断为需要更新时，重复步骤6.5，但判断为不需要更新时结束本次协同控制。
81.基于5g的煤矿井下无人机巡视信息感知系统，包括用于采集矿井狭小工作区间的各项数据完成信息感知的僚机5、和用于将僚机采集的数据信息进行汇总、分析、处理、决策、发布的长机1，所述长机1、僚机5的内部设置有第一处理器21，所述僚机5的内部设置有第二处理器22，所述长机1、僚机5的顶部均设置有螺旋桨4，所述长机1的底部设置有第一摄像机31，所述僚机5的底部设置有第二摄像机32；
82.所述僚机5的上设置有氧气气体传感器6、瓦斯气体传感器7、风量感知传感器8、温度传感器11和湿度传感器12，所述僚机5的底部还设置有探照灯9和喊话器10；
83.所述第一处理器21通过导线与第一摄像机31的控制端相连，所述第二处理器22通过导线分别与第二摄像机32、探照灯9、喊话器10的控制端、氧气气体传感器6、瓦斯气体传感器7、风量感知传感器8、温度传感器11、湿度传感器12的信号输出端相连，所述第一处理器21、第二处理器22之间通过5g无线通信模块进行远程双向通信。
84.所述氧气气体传感器6具体设置在僚机5的底部，所述瓦斯气体传感器7具体设置在僚机5的顶部，所述风量感知传感器8、温度传感器11和湿度传感器12分别设置在僚机5的一侧面。
85.所述长机1、僚机5的个数具体设置为在每一个巡视区域长机、僚机之间是1:n或1:1的数量关系。
86.所述第一摄像机31、第二摄像机32具体设置为tof相机。
87.本发明提供的基于5g的煤矿井下无人机巡视信息感知方法用于煤矿井下的损益自适的巡视信息感知方法，目的是克服现有煤矿井下巡检技术安全系数低、实时性差、移动机制弱的不足，优化在高危区域的一线工作安全系数，提出一种在无人机上搭载强化学习奖惩机制的信息感知方法。
88.本发明的感知系统的长机1和僚机5上均搭载超高速低延迟的5g传感器产品，搭载nb
‑
iot传感器，实现海量连接，具备深度覆盖能力、功耗低的优势，增强了无人机在煤矿井下信息感知能力，确保数据实时存取、显示、预测；根据物理理论原理“气体密度大于空气，则该气体位于下方”可知，瓦斯密度比空气小，易在上部聚集；氧气密度比空气大，易在下部聚集，氧气气体传感器6、瓦斯气体传感器7的安装效果如图5所示，氧气气体传感器6设置在僚机5的底部，瓦斯气体传感器7设置在僚机5的顶部，并通过设置阈值，达到提前预警。
89.本发明提出了无人机在巡视过程中，面对“非均等代价”的情况下做出智能指令的函数；所谓“非均等代价”即无人机处在某一飞行情境时，所做出的不同操作，从而导致不同的结果；无人机要根据这些操作所触发的预设结果，根据损益函数做出快速评估，并选择对煤矿井下作业较为有益的一项操作，并存储为一种“经验”；损益函数将采用y
i
＝ax1+bx2+cx3+dx4+
…
的多元线性回归方程模型，其中a，b，c，d
…
为权值参数，x
i
为测量项的参数，y
i
为第i项操作对应的损益值。
90.本发明引入无人机机群并设置“长机
‑
僚机”制，协同配合，协同完成煤矿井下巡视信息感知方法，从机群的角度来说，二者之间是n:m的关系；无人机在巡视过程中，按数据处理量自主地将煤矿工作区域划分，在每一个巡视区域中，“长机
‑
僚机”二者之间是1:n或1:1的形式；长机1搭载微服务器，负责信息的汇总，分析，处理，决策，发布；僚机5负责进入狭小
工作区间进行信息感知，将整个探测区域远程发送至长机1，由长机1集成，通过强化学习得到经验，再由僚机5去运用经验执行飞行任务；其中长机1采用大功率无人机，僚机5采用小功率无人机，长机1和僚机5均搭载视觉slam算法，用于路线规划；长机1和僚机5均配置强化学习机制，用于无人机原生学习。
91.本发明中的经验正确性的验证过程中，通过传感器进行图像信息感知并实时采集，上传至长机1，由长机1通过损益函数计算、分析、决策，最终反馈至僚机5该经验是否可学；通过长机1经验积累，将已有的经验进行自主式学习参数的修改，从而实时同步更新至僚机5。
92.本发明通过引入无人机机群并搭载各类微型传感器，从深度学习的角度，结合强化学习中的奖惩机制的设计，实现智慧煤矿中的一种煤矿井下损益自适的5g无人机巡视信息感知方法。
93.从防爆角度，本发明将大功率无人机作为长机1，悬停在距深入煤矿井下的最远僚机5的15km外，小功率无人机作为僚机5，深入一线工作区域进行煤矿井下智能信息感知；在“长机
‑
僚机”准备进入煤矿井下巡视信息前，需要采集尽可能多的相关工作人员去操作无人机的数据，将工人的实际经验学习至无人机的经验集中，为提高无人机在未知区域巡视自主学习的泛化性提升奠定基础。
94.在执行任务之前，采集不同的煤矿井下工人操作小功率无人机及僚机5进行试飞，根据不同的人飞行操控，记录它们面对“非均等代价”所做的决策，即记录僚机5在试飞过程中巡检的内容和做出的飞行操作，并将飞行操作按照不同区域随机排列，构成丰富的数据集。
95.本发明数据集的构建可根据以下实施例进行：由不同的煤矿井下工人操作僚机5进行试飞，根据工人自身在煤矿井下的工作经验操控僚机5对可能存在隐患的区域进行巡视，僚机5将记录它们在试飞过程中对以皮带机为例的巡检，涉及皮带机载煤流量、运行速度、划伤、撕裂、跑偏等内容进行视听结合的感知，确保皮带机正常运行。
96.将在上述这个巡检例子中所做出的飞行操作进行记录，而在煤矿井下还有许多需要巡检的设备与事项，例如钻煤机是否处在正常运行状态中、工人是否正确操作设备、井下通风设施是否运转正常进行巡视，对甲烷浓度过高、皮带撕裂、设备异常状态等危险源进行预测，对初次探索的矿道进行信息感知与收集，为地上工作人员的决策提供科学分析的数据支持基础。
97.在这些巡视过程中，无人机的操作中会存在交集，而交集内容所产生的时延、效率、功耗、计算吞吐量等因素则是损益函数评测过程中的重要参数，对于初次巡视的区域，温度、湿度、甲烷等环境参数为防爆的重要考察指标。
98.上述的交集内容，可能会产生高时延、低效率、高功耗、低吞吐，与此正相反的便是低时延、高效率、低功耗、高吞吐，这就是由不同人操作无人机所产生不同的飞行结果，即面对同一飞行境遇时所产生的“非均等代价”。
99.最终通过损益函数计算并保留最佳飞行指令参数，构成最佳操作集，并运用于其它实地进行考察，度量经验应用的广泛性。
100.在“长机
‑
僚机”均具备自主学习能力后，将其投放至实际的煤矿井下进行自适应巡视，一方面可以度量先前“经验的广泛性”，另一方面可以增强数据集的多样性，从而进一
步提升拟合度。
101.本发明的工作过程为：在长机1发布任务指令后，长机1和僚机5均进行运行状况自检，满足电量充足且升空的核心条件后，开赴巡视区域。
102.因为煤矿井下工作空间狭窄有限，采取小功率无人机作为僚机5，借助其体积小，低功耗的优势，深入一线工作中，运用传感器采集数据和图像信息，为长机1构建巡视区域2d、3d模型提供图像参数基础。
103.长机1根据僚机5发回的图像和传感器参数信息，进行僚机5巡视区域的环境生态复原建模，初次建模区域反馈至长机1时，需借助施工工人具备的经验做出指令并同步至僚机5；僚机5机身所搭载的传感器开始进行数据采集，运用tof(time of flight)相机快速记录仪器运转参数、人物操作规范等图像数据均发送至长机1，由长机1数据显示的终端进行神经网络完成图像目标识别和最佳学习参数确认；在飞行过程中，不断地使用视觉slam算法进行路线规划，并运用自主学习的广泛性，对未标记的工作区域进行巡视。
104.本发明采取强化学习机制，对于成功检测出未标记区域隐患的，采取高强度奖励加分机制；对于成功检测出标记区域的隐患，采取轻度奖励机制；对于成功检测出未标记区域的，采取不惩不奖机制；对于未检测出未标记区域的，采取惩罚扣分机制；对于未检测出已标记区域的，采取严惩扣分机制。
105.在将巡视区域全部巡视完毕后，自主结束巡视任务，返航至充电站，进行电能储备，为下一次巡检任务提供最佳的电量状态。
106.本发明在长机1和僚机5上均搭载强化学习机制，同时长机1
‑
僚机5之间协同机制实现对巡视区域的检测，具体学习机制如下。
107.僚机强化学习机制：在启动僚机5后，僚机5进行自检即判断自身电量是否充足。在满足电量充足且处在升空状态后，僚机5开始运用摄像头巡视四周，进行图像采集，并将图像信息集成发送至长机1。根据长机1更新发布给僚机的“经验”判断该区域是否为巡视区域，当判断该区域不具备巡视区域的特征，则开始向四周继续前进探测，图像采集，发送给长机1。当该区域具备巡视区域的特征，则僚机5开始通过视觉slam算法进行地形建模，并将周围的障碍物进行标记，防止在巡视过程中发生碰撞坠机事故。在标记完成后，根据整体建模的集成，根据僚机5具备的“经验”判断该区域是否为可巡视区域(自身处在一个一旦进入就会面临死胡同区域，则属于不可巡视区域)。当该区域可以巡视，僚机5进入悬停状态，通过tof(time of flight)相机和可见光相机，对四周进行图像收集，自身搭载的传感器开始搜集当前位置的环境参数。与此同时开始识别工人的操作是否规范，对地形、人物、设备从视觉、听觉角度进行特征点提取，并发送给长机1。
108.当发现工人操作不规范，会通过喊话器10发出警告，并且因为该工人危险操作会记录其工号，以及图像证据，一同上传至管理员。
109.将该区域巡视结束后，判断整体巡视区域是否完成，当存在未被巡视的区域，僚机5将前往巡视。待所有区域都巡视完成后，僚机返航，进行充电操作，为下一次的巡视提供充足电量的基础。
110.长机强化学习机制：在启动长机1后，长机1进行自检即判断自身电量是否充足。在满足电量充足且处在升空状态后，长机1开始跟随僚机5，但保证离最远僚机5距离15km内且不进入煤矿井下(避免进入井下后，因为高功率，引发爆炸事故)。找到安全区域后，进入悬
停状态，开始检查自身与僚机是否收发数据正常。当数据收发不正常(例如出现通信异常)长机1将调整悬停位置，但始终保证离最远僚机5距离15km内且不进入煤矿井下。当数据收发正常，长机1将僚机5传送回来图像进行整合，从而形成整个煤矿进行巡视区域的高度整合，即形成“上帝视角”。形成全局观后，判断该巡视的整体区域是否之前巡视过，当该区域为全新区域(含存在小部分未巡视的区域，只要有一点没有被巡视过，就算全新区域)，则下发指令重新标记，由僚机5开始采集该区域的各项信息参数，长机1接收僚机5该次飞行的区域参数，例如位移信息、电量信息、设备运转信息等等，计算此次飞行操作的功耗、设备目前是否运转正常、当前煤矿井下环境是否安全等信息。继续信息处理、分析。当该区域不属于全新区域，则根据此次飞行采集回来的数据，重新整合特征，求损益值，判断此次飞行从功耗、效率、吞吐是否更加有益，若更加有益，则将原有的操作集进行更新并修改行为，编码协同至僚机。当计算损益值后，发现没有益处，或者和原先的相等，则保持原有操作集，并且标记此次巡视过程中，该区域已被巡视。僚机5在此次巡视中，将不会对该区域进行二次巡视。在所有僚机5巡视完成后，长机1与僚机5共同返航，进行充电操作，为下一次的巡视提供充足电量的基础。
111.长机
‑
僚机协同机制：在启动长机1与僚机5后，二者进行自检即判断自身电量是否充足。在满足电量充足且处在升空状态后，首先判断是否有人为通过遥控操作，若有，则记录他在操作过程中，对哪些区域进行巡视，哪些设备巡视，哪些参数是他最在乎的(数据参数敏感值)，是如何操作无人机的(即在距离标记障碍物多远处进行了什么操作)，然后修改损益函数中某参数值对该项操作的权重值。开始进行数据拟合，对此项经验后续加入自适应飞行的备选经验集。判断该经验是否在此之前存在，当该经验之前不存在，则将该经验进入经验集，并计算该项操作的损益值。当没有介入人为操作，直接判断该次飞行是否在数据案例(经验集中存在)，当该次飞行数据不存在数据案例时，重复上述操作。当该次飞行数据存在数据案例时，计算此次协同自适应飞行操作的损益值，判断是否有所更新，是否更有益，当无益则结束对此次协同飞行的经验广泛性判断，当有益则更新操作，使得二者配合更加有效。
112.关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
113.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。