一种基于无人机协同组网的边缘群体智能方法与流程

1.本发明涉及边缘群体智能领域，尤其涉及一种基于无人机协同组网的边缘群体智能方法。


背景技术：

2.近年来，由于人类活动的复杂度不断增加，各种工作任务都交由多个智能设备进行处理，对智能设备群体智能协同工作方法的研究层出不穷，而且应用广泛，例如，由于人类的各种活动，导致全球天气发生异常而引发的森林火灾，在这种人工监督不适合的场景下，国内外开始研究各种群体智能方法，逐渐使用无人机代替人工检测的方式，不断的提高林火监测技术，优化监测方案。森林火灾的及时发现是减少人员伤亡、经济损失的重要手段，因此，具有十分重要的意义。
3.目前存在森林火灾多处并发，且火灾初期人工检测难以发现的特点，人工检测成本高、监测区域小、工作效率低下，容易造成人员伤亡的现象。一些火灾烟雾检测算法应用于森林火灾识别场景中还是存在误检、抗干扰能力差的缺点，图片中如果存在干扰物的颜色与烟雾比较相似，如漂浮的雾气或云朵等，容易出现目标区域的错误分割，可能出现漏检，导致后续森林火灾的识别困难。随着经济的发展，各种科学技术发展迅速，无人机技术便是其中的一种。当前的无人机技术发展良好并逐渐走向成熟，在各领域的应用比较广泛，具有良好的前景，尤其是在森林的灭火防火领域具有人工没有的优势：无人机能在空中进行侦查，对火场的具体形式进行实时回传，能够给防火灭火指挥员提供准确信息，但是无人机存在数据处理运算成本高的问题。


技术实现要素：

4.发明目的：针对目前火灾识别技术应用于森林火灾识别场景中识别率下降，检测方法自适应性不强、可能会出现烟雾漏检的情况和森林火灾具有多处并发，且火灾初期人工检测难以发现的特点；采用人工火灾监测和灭火成本过大，实时性较差、监测区域较小，容易造成人员伤亡；无人机作业效率低下、续航能力不足、数据处理成本较高等一系列问题，本发明提出了一种基于无人机协同组网的边缘群体智能方法。
5.技术方案：为了克服上述现有技术的不足，本发明提出一种基于无人机协同组网的边缘群体智能方法，包括以下步骤：（1）将需要巡视的区域划分成个区域，每个区域都设置有一个无人机基站，无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组；所述需要巡视的区域可以是森林区域，草地等易发生火灾的区域；（2）每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为
着火点，并将位置信息和烟雾面积变化率数据同步给基站；（3）基站比较所有侦察无人机获取着火点处的烟雾面积变化率，找到最大烟雾面积变化率所对应的着火点的位置信息，视为所有侦察无人机共同认为的火灾最大的着火点，并将该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机，然后每个侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，作为每个侦察无人机自身认为最大的着火点；每个侦察无人机再根据所有侦察无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦察无人机共同的火灾最大的着火点的方向飞行进行火点检测，重复步骤（2）
‑
（3），直到定位出森林区域范围内的所有着火点；（4）基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；（5）验证无人机组检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
6.优选的，步骤（2）中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，包含如下步骤：（21）设置一个初始间隔，；（22）从侦察无人机巡航视频中的第帧图像开始，每隔帧提取两组连续的三帧图像；先将视频图像尺寸归一化为大小的标准图像，然后进行灰度处理，得到第一组灰度图像、、，第二组灰度图像、、，m和n为整数；（23）第一组和第二组灰度图像一一对应作差，根据设置的阈值t将差分图像分割为二值图像，如下式所示：，如下式所示：
其中，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小；然后通过逻辑与运算，获得图像中属于运动区域的像素点的坐标：根据的坐标提取无人机视频巡航图像中的运动区域：的坐标提取无人机视频巡航图像中的运动区域：（24）提取、图像的rgb分量，得到、、和、、，根据如下烟雾的颜色判据规则：得到、、和、、这些符合条件的rgb图像的像素点，其中，，，，，然后获得分割后烟雾图像和，再计算烟雾的面积变化率：，其中，是中像素值不为
0的个数，是中像素值不为0的个数，当满足时，认为是烟雾图像，则判定发生森林火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机基站；若判定是无烟图像，则舍弃图像，其中，和是烟雾面积变化率的阈值；（25）求相关系数，和：其中，代表第张图像像素的平均值，代表第张图像像素的平均值，代表第张图像坐标的像素值大小，代表第张图像坐标的像素值大小，时，为和的相关系数，时，为和的相关系数，时，为和的相关系数；（26）计算平均相关系数，，设置阈值；（27）根据如下公式更新间隔大小：（27）根据如下公式更新间隔大小：其中，f表示间隔的自适应调节部分，初始状态下，是一个常数，代表上一次的间隔大小，代表更新后的间隔大小，是设置的最大间隔；（28）返回步骤（22）重复执行操作，直到所有的巡航视频图像帧处理完毕。
7.优选的，步骤（3）中，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦察无人机共同认为火灾最大的着火点的方向飞行进行火点检测，重复步骤（2）
‑
（3），直到定位出森林区域范围内的所有着火点，包含如下步骤：（31）每个侦查无人机以初始速度，初始位置，从基站起飞，每架侦查无人机检测到的着火点的位置记为：
其中，侦查无人机飞行高度固定，和表示第i架侦查无人机检测到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标，n表示侦查无人机的个数，n个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的侦察无人机的速度和位置，要满足、，、，和是两个相互垂直的维度上速度分量的最小值和最大值，保证侦察无人机的速度不超速，和是两个相互垂直的维度上位置坐标分量的最小值和最大值，保证侦察无人机不飞出巡航范围；（32）侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，记为，作为侦察无人机i自身最大的着火点；无人机基站再比较所有侦查无人机检测到的着火点的烟雾面积变化率，将最大的烟雾面积变化率所对应着火点的位置信息再同步给侦察无人机i，侦察无人机i记该位置为，视为所有侦察无人机共同的最大的着火点的位置，其中，和表示侦察无人机i第t次检测到的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；和表示侦察无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积变化率以得到最大烟雾面积变化率所对应的着火点，并得到最大烟雾面积变化率所对应的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标；侦察无人机i第t+1次发现着火点时，需要更新速度为，的大小和方向，根据侦察无人机i自身最大的着火点位置数据和所有侦察无人机共同的最大的着火点的位置数据按照如下公式计算，向着最大的着火点的方向飞：其中，和是学习因子，和是区间上的随机数，是侦察无人机i第t次检测到着火点时更新的速度，其中，和是速度在两个相互垂直的维度上的速度分量，所以它可以改变侦查无人机i的飞行方向，是侦查无人机i第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方
向飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，和是速度在两个相互垂直的维度上的速度分量，是无人机基站定位的侦察无人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦察无人机的搜索火场的能力，是随机惯性权重的最小值，是随机惯性权重的最大值，为区间上的均匀分布的随机数，为正态分布的随机数，为随机因子，是区间上的常数，用来控制随机性大小。
8.优选的，步骤（4）中的分层反馈校正机制，具体方法如下：（41）检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，即基站派验证无人机组前去获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦察无人机的巡检轨迹上；若在轨迹上，则说明间隔更新公式需要调整，则对自适应三帧差法的间隔的更新公式进行反馈：步骤a，从p个漏检火点的拍摄视频中，分别选取m帧图像，对m帧烟雾图像先进行二值化处理，将像素值变为0和1；步骤b，计算每处漏检火点烟雾图像的面积均值，其中，表示的是第y个漏检火点拍摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾的面积；步骤c，计算m帧图像周长的均值，其中，表示的是第y个漏检火点拍摄的视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾的周长，然后计算每处漏检火点烟雾图像周长的标准差，；步骤d，计算烟雾浓度变化率：，其中，，，是每处漏检火点m帧烟雾图像周长的标准差，，是每处漏检火点m帧烟雾图像
周长的均值，计算漏检度：，其中，是每处漏检火点m帧烟雾图像的面积均值，；步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部分进行调节：，其中，是一个常数，是设置的最小间隔；（42）若漏检火点不在侦查无人机的巡航轨迹上，则说明分布式粒子群算法的随机性不足，巡航轨迹覆盖范围不足，就对改进的分布式粒子群算法的随机权值w中的影响因子进行反馈，加大其随机性，提高巡航路径的覆盖率，为下一次侦察无人机执行森林巡航任务做准备：步骤a，计算各个漏检火点到n个侦察无人机轨迹的距离的最小值，其中，表示第p个漏检火点到所有轨迹的最短距离；步骤b，计算平均距离：；步骤c，对分布式粒子群算法中的速度更新公式中的随机因子进行更新：，其中，是调整参数，是上一次侦查无人机组执行森林巡航任务时的随机因子大小；当侦察无人机组进行下一次森林巡航检测森林火灾时，将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。
9.有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：本发明提出的一种基于无人机协同组网的边缘群体智能方法。对侦查无人机获取的视频先用具有自适应间隔的三帧差法提取运动区域，能够减少运算成本，变相提高无人机的续航时间，适合无人机航拍视频的运动目标识别，而且不需要背景建模，计算量小，实时性好，可以捕捉到运动缓慢的烟雾区域，得到的运动区域更加完整。采用烟雾颜色判决模型，获取烟雾初步分割图像，再计算面积增长率判断分割图像是否含有烟雾，有效排除太阳、晚霞和一些反光的、在森林场景下运动状态变化不大的物体，提高判断的准确性。针对森林火灾多处并发的规律，将林区进行区域划分，采用无人机组监督和灭火，减少成本、实时性好、监测区域较大、减少人员伤亡；利用改进的分布式的粒子群算法能更好的控制多个侦查无人机协同的、启发式的执行森林火灾识别的巡航任务，提高工作效率，能带来经济收益，最后引入一个分层反馈校正机制，能根据不同情况对算法的相应参数做出调整，提高方法的自适应性和准确性。
附图说明
10.图1为本发明提供的一种基于无人机协同组网的边缘群体智能方法流程图；图2为本发明提供的林区划分和无人机及基站的部署示意图。
具体实施方式
11.为了更加详细的描述本发明提出的一种基于无人机协同组网的边缘群体智能方法，结合附图，举例说明如下：图1显示了本发明提供的一种基于无人机协同组网的边缘群体智能方法流程，包括以下步骤：（1）参考图2，将需要巡视的区域划分成个区域，每个区域都设置有一个无人机基站，无人机基站内设置有侦查无人机组、灭火无人机组和验证无人机组；（2）每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，并将位置信息和烟雾面积变化率数据同步给基站；（3）基站比较所有侦察无人机获取着火点处的烟雾面积变化率，找到最大烟雾面积变化率所对应的着火点的位置信息，视为所有侦察无人机共同认为的火灾最大的着火点，并将该着火点的位置信息共享给所有正在执行巡视任务的侦察无人机，然后每个侦查无人机比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，作为每个侦察无人机自身认为最大的着火点；每个侦察无人机再根据所有侦察无人机共同的火灾最大的着火点的位置和自身最大的着火点的位置，根据分布式的粒子群算法及时调整飞行速度的大小和方向，向所有侦察无人机共同的火灾最大的着火点的方向飞行进行火点检测，重复步骤（2）
‑
（3），直到定位出森林区域范围内的所有着火点；（4）基站根据侦查无人机定位的着火点的位置信息，调度基站内的灭火无人机组对着火点进行灭火；（5）验证无人机组检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，则采用分层反馈校正机制对自适应三帧差法的间隔进行反馈调整，以及对分布式粒子群算法的随机权值中的影响因子进行反馈调整以用于下次灭火任务。
12.步骤（2）中，每个基站内的侦查无人机使用自适应间隔的三帧差法，提取巡航视频图像中的运动区域，然后用烟雾颜色判据对运动区域进行分割，获取初步分割烟雾图像，计算初步分割烟雾图像面积变化率，判断该图像是否为烟雾图像，若是烟雾图像，则判定此处为着火点，包含如下步骤：（21）设置一个初始间隔，；（22）从侦察无人机巡航视频中的第帧图像开始，每隔帧提取两组连
续的三帧图像；先将视频图像尺寸归一化为大小的标准图像，然后进行灰度处理，得到第一组灰度图像、、，第二组灰度图像、、，m和n为整数；（23）第一组和第二组灰度图像一一对应作差，根据设置的阈值t将差分图像分割为二值图像，如下式所示：，如下式所示：，如下式所示：其中，代表第帧图像中坐标处的像素值大小, 代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小，代表第帧图像中坐标处的像素值大小；然后通过逻辑与运算获得图像中属于运动区域的像素点的坐标：根据的坐标提取无人机视频巡航图像中的运动区域：的坐标提取无人机视频巡航图像中的运动区域：
（24）提取、图像的rgb分量，得到、、和、、，根据如下烟雾的颜色判据规则：得到、、和、、这些符合条件的rgb图像的像素点，其中，，，，，然后获得分割后烟雾图像和，再计算烟雾的面积变化率：，其中，是中像素值不为0的个数，是中像素值不为0的个数，当满足时，认为是烟雾图像，则判定发生森林火灾，将着火点的位置信息和烟雾面积变化率数据同步给无人机基站；若判定是无烟图像，则舍弃图像，其中，和是烟雾面积变化率的阈值；（25）求相关系数，和：其中，代表第张图像像素的平均值，代表第张图像像素的平均值，代表第张图像坐标的像素值大小，代表第张图像坐标的像素值大小，时，为和的相关系数，时，为和的相关系数，时，为和的相关系数；（26）计算平均相关系数，，设置阈值；
（27）根据如下公式更新间隔大小：（27）根据如下公式更新间隔大小：其中，f表示间隔的自适应调节部分，初始状态下，是一个常数，代表上一次的间隔大小，代表更新后的间隔大小，是设置的最大间隔；（28）返回步骤（22）重复执行操作，直到所有的巡航视频图像帧处理完毕。
13.步骤（3）中，根据分布式的粒子群算法，侦察无人机及时调整飞行速度的大小和方向，向所有侦察无人机共同认为火灾最大的着火点的方向飞行进行火点检测，重复步骤（2）
‑
（3），直到定位出森林区域范围内的所有着火点，包含如下步骤：（31）每个侦查无人机以初始速度，初始位置，从基站起飞，每架侦查无人机检测到的着火点的位置记为：；其中，侦查无人机的飞行高度固定，和表示第i架侦查无人机检测到的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标，n表示侦查无人机的个数，n个侦查无人机组成一个粒子群，每个侦查无人机作为一个粒子，对于所有的侦察无人机的速度和位置，满足、，、，和是两个相互垂直的维度上速度分量的最小值和最大值，保证侦察无人机的速度不超速，和是两个相互垂直的维度上位置坐标分量的最小值和最大值，保证侦察无人机不飞出巡航范围；（32）侦查无人机i第t次检测到着火点，将该着火点位置数据和烟雾面积变化率数据同步给无人机基站，然后侦查无人机i比较自身检测到的所有着火点的烟雾面积变化率，找到最大烟雾面积变化率对应的着火点的位置信息，记为，作为侦察无人机i自身最大的着火点；无人机基站再比较所有侦查无人机检测到的着火点的烟雾面积变化率，将最大的烟雾面积变化率所对应的着火点的位置信息再同步给侦察无人机i，侦察无人机i记该位置为，视为所有侦察无人机共同的最大的着火点的位置，其中，和表示侦察无人机i第t次检测到的着火点在固定高度的平面上的两个相互垂直的维度上的位置的二维坐标；和
表示侦察无人机i第t次检测到着火点时，无人机基站通过比较所有的着火点处的烟雾面积变化率以得到最大烟雾面积变化率所对应的着火点，并得到最大烟雾面积变化率所对应的着火点在固定高度平面上的两个相互垂直的维度上的位置的二维坐标；侦察无人机i第t+1次发现着火点时更新的速度的大小和方向，根据侦察无人机i自身最大的着火点位置数据和所有侦察无人机共同的最大的着火点的位置数据按照如下公式计算，向着最大的着火点的方向飞行：其中，和是学习因子，和是区间上的随机数，是侦察无人机i第t次检测到着火点时更新的速度，其中，和是速度在两个相互垂直的维度上的速度分量，所以它可以改变侦查无人机i的飞行方向，是侦查无人机i第t+1次检测到着火点时更新的速度，侦查无人机i保持该速度的大小和方向飞行，直到发现下一次着火点才更新它的速度的大小和方向，其中，和是速度在两个相互垂直的维度上的速度分量，是无人机基站定位的侦察无人机i第t次检测到着火点时的位置，w是随机权重，用来调节侦察无人机的搜索火场的能力，是随机惯性权重的最小值，是随机惯性权重的最大值，为区间上的均匀分布的随机数，为正态分布的随机数，为随机因子，是区间上的常数，用来控制随机性大小。
14.步骤（4）中的分层反馈校正机制，具体方法如下：（41）检查是否存在巡航检测过程中遗漏的着火点，若存在漏检火点，即基站派验证无人机组前去获取漏检火点的视频图像和位置信息，判断着火点的位置是否在侦察无人机的巡检轨迹上；若在轨迹上，则说明间隔更新公式需要调整，则对自适应三帧差法的间隔n的更新公式进行反馈：步骤a，从p个漏检火点的拍摄视频中，分别选取m帧图像，对m帧烟雾图像先进行二值化处理，将像素值变为0和1；步骤b，计算每处漏检火点烟雾图像的面积均值，其中，表示的是第y个漏检火点拍摄的视频中选取的第c帧图像的二值化之后的图像中像素值为1的个数，视为每帧图像烟雾
的面积；步骤c，计算m帧图像周长的均值，其中，表示的是第y个漏检火点拍摄的视频中选取的第c帧图像二值化之后的图像中烟雾区域边界像素值为1的个数，视为每帧图像烟雾的周长，然后计算每处漏检火点烟雾图像周长的标准差：；步骤d，计算烟雾浓度变化率：，其中，，，是每处漏检火点m帧烟雾图像周长的标准差，，，是每处漏检火点m帧烟雾图像周长的均值，计算漏检度：，其中，是每处漏检火点m帧烟雾图像的面积均值，；步骤e，根据漏检度对自适应间隔三帧差法中间隔的更新公式中的自适应调节部分进行调节：，其中，是一个常数，是设置的最小间隔；（42）若漏检火点不在侦查无人机的巡航轨迹上，则说明分布式粒子群算法的随机性不足，巡航轨迹覆盖范围不足，就对改进的分布式粒子群算法的随机权值w中的影响因子进行反馈，加大其随机性，提高巡航路径的覆盖率，为下一次侦察无人机执行森林巡航任务做准备：步骤a，计算各个漏检火点到n个侦察无人机轨迹的距离的最小值，其中，表示第p个漏检火点到所有轨迹的最短距离；步骤b，计算平均距离：；步骤c，对分布式粒子群算法中的速度更新公式中的随机因子进行更新：，其中，是调整参数，是上一次侦查无人机组执行森林巡航任务时的随机因子大小；当侦察无人机组进行下一次森林巡航检测森林火灾时，将采用反馈更新后的自适应间隔的三帧差法和分布式粒子群算法进行工作。