一种云贵岩溶山区的煤矸石堆快速识别评价装置及方法与流程

本发明涉及煤矸石堆快速识别，具体涉及一种云贵岩溶山区的煤矸石堆快速识别评价装置及方法。

背景技术：

1、煤矸石是在煤矿开采过程中伴随煤的开采而产生的废弃物，包括煤矿岩石、泥土和其他固体废弃物。此外，煤的加工、分级和清洗过程也会产生一些煤矸石。煤矸石的产生是煤矿业的不可避免副产品，且煤矸石中可能含有有害物质，如重金属、有机化合物和其他污染物。当煤矸石堆胡乱堆放时，这些有害物质可能渗入土壤，导致土地污染，影响土壤质量，降低土壤肥力，危害农业和生态系统。

2、云南东部-贵州中部地区采煤矿业活动密集，开采历史悠久，该区降雨量集中，岩溶山地地貌复杂，几十年来，煤矿矿业活动产生的煤矸石堆存量大、分布散，综合利用及治理程度不一，基本情况调查掌握仍有不足，所引起的水土环境影响、景观破坏、地质安全隐患等问题显著，成为区域生态环境及地质安全问题的源头，因此，快速、准确地获取煤矸石堆场基本信息，并基于区域实际评价煤矸石堆生态环境影响，成为制约后续生态修复工作的关键。

3、在过去信息化技术尚未普及时，相关的管理部门通常采用人工巡视的方式来发现煤矸石的胡乱堆放情况。得益信息化技术发展，现在相关人员基于“空-天-地”一体化的废弃煤矸石堆快速识别技术，来支撑矿山生态修复及采煤村产业转型，综合“卫星+无人机+地面调查”方法，提出一种基于“空-天-地”一体化的煤矸石堆快速识别技术，能够快速、准确地获取煤矸石堆场的分布、规模等基本信息。

4、近年来，随着计算机视觉技术在煤矸石图像目标识别方面应用广泛及无人机技术的高速发展，在“空-天-地”一体化的煤矸石堆快速识别技术中无人机对煤矸石堆的识别扮演了一个至关重要的角色，在陈彪，卢兆林，代伟，等人提出的基于轻量化hpg-yolox-s模型的煤矸石图像精准识别[j].工矿自动化，2022，48(11)：33-38中，提出了一种基于轻量化ghost-s网络与混合并联注意力模块(hpam)yolox-s模型(hpg-yolox-s模型)的煤矸石识别方法，实现了煤矸石图像精准识别，但速度仍没有达到实时识别，而在无人机进行巡视时对煤矸石进行识别需达到到达实时识别，为此本发明采用mobilenet卷积神经网络架构，在保持较高性能的同时，减小模型的参数数量和计算复杂度从而满足无人机进行巡视时的需求。

5、基于以上背景技术，本发明提出了一种云贵岩溶山区的煤矸石堆快速识别评价装置及方法。

技术实现思路

1、为了解决上述技术问题，本发明设计了一种云贵岩溶山区的煤矸石堆快速识别评价装置及方法，通过规划飞行路径，可以使得无人机自动对目标区域进行巡视，而无人工作人员实时进行操作，确保无人机能够在最短的时间内覆盖目标区域，在识别时采用轻量级的模型mobilenetv2以加快识别速度，从而满足无人机进行巡视时需要快速的得出分析结果的需求，通过先在较高的飞行高度下进行初步图像采集及视觉分析，仅在在初步识别时出现煤矸石堆的情况下，才下降飞行高度进行二次图像采集及二次识别，在保证了识别精准度的情况下提高了无人机在巡视过程中识别效率，为了提高视觉识别的准确性，最小化所有样本的二元交叉熵损失的平均值，通过反向传播算法和优化算法来调整模型的权重。

2、为了达到上述技术目的，本发明是通过以下技术方案实现的：一种云贵岩溶山区的煤矸石堆快速识别评价装置，包括：

3、支架，用于支撑和定位无人机的相关设备；

4、机身，固定连接到支架，以容纳各种组件；

5、动力系统，连接到机身，用于提供稳定飞行动力；

6、机载电脑，设于机身顶部，包括嵌入式计算平台、北斗模块及通信链路；

7、云台，设于机身底部，用于稳定支持图像采集摄像头及三维激光扫描仪；

8、图像采集摄像头，设于云台上，用于进行图像捕捉；

9、三维激光扫描仪，设于云台上，用于物体的三维数据；

10、至少三个超声波传感器，设于支架前端及机身底部，其中至少一个设于机身底部，至少一个设于支架前端；

11、地面终端，用于接收和处理从无人机传输的数据。

12、优选的，所述嵌入式计算平台为nvidia jetson系列。

13、优选的，所述云台通过电机控制，以稳定支持图像采集摄像头和三维激光扫描仪。

14、优选的，所述三维激光扫描仪用于获取物体的三维数据，以判断物体体积有无变化。

15、优选的，所述超声波传感器用于障碍物检测和距离测量，以确保无人机安全飞行。

16、本发明还提供了利用上述装置进行云贵岩溶山区的煤矸石堆快速识别评价方法，包括以下步骤：

17、s1、规划飞行路径，设定巡视区域、目标点、飞行高度和时间限制，以确保巡视任务有效执行；

18、s2、初步图像采集，进入巡视区域并达到设定飞行高度后，实时采集高清图像，采集图像后进行信息分块及图像特征提取；

19、s3、初步视觉识别分析，根据提取的图像特征使用在机载电脑上部署的初步处理模型进行初步煤矸石堆识别，以判断图像中是否存在煤矸石堆；

20、s4、判断是否进行二次视觉识别图像采集，若初步视觉识别分析给出有煤矸石堆，则需要进行二次识别分析，a、下降飞行高度进行二次图像采集，进行信息分块及图像特征提取；b、二次视觉识别分析，根据提取的图像特征使用在机载电脑上部署的二次处理模型进行煤矸石堆识别，以精确的判断装置的巡视区域内有无煤矸石堆；c、若判断无煤矸石堆，则装置回到原设定路径继续进行巡视，若判断有煤矸石堆，则通过三维激光扫描仪获取煤矸石堆的三维数据并测算出其体积，将煤矸石堆地理坐标及体积传输至地面终端，回到原设定路径继续进行巡视。

21、s5、按照飞行路径规划，循环进行步骤s2-s4。

22、s6、结合卫星遥感信息及无人机回传信息综合进行煤矸石堆对环境影响评价。

23、优选的，所述步骤s3中初步处理模型搭建步骤如下：

24、s01、数据收集与准备，收集煤矸石堆和非煤矸石堆的图像；数据预处理，使用图像处理库的功能，将图像的尺寸调整224x224像素，通过图像归一化进行数据预处理，将像素值从[0,255]范围归一化为[0,1]；

25、s02、加载mobilenetv2预训练模型，创建一个mobilenetv2模型，使用预训练权重；

26、s03、添加自定义顶层，mobilenetv2的输出是一个特征图，在其之上添加一个全局平均池化层和一个dense层用于特定的视觉识别任务；

27、s04、创建自定义模型，使用functional api创建一个新的模型，将mobilenetv2的基础模型和自定义顶层连接起来；

28、s05、编译模型，定义损失函数、优化器和评估指标，并编译模型；

29、s06、训练模型，使用将预处理的数据集来训练模型；

30、s07、调整模型权重以最小化损失函数，使模型能够正确分类煤矸石堆和非煤矸石堆图像，其中使用的二元交叉熵损失函数如下：

31、l(y,p)＝-(y·log(p)+(1-y)·log(1-p))；

32、p为煤矸石堆的概率，y为真实标签，1表示煤矸石堆，0表示非煤矸石堆图像；

33、从而最小化所有样本的二元交叉熵损失的平均值，通过反向传播算法和优化算法来调整模型的权重，使模型能够更好地分类煤矸石堆和非煤矸石堆图像；

34、s08、使用验证数据集对模型进行准确率评估，以确定其性能；

35、s09、将训练好的mobilenet模型部署到机载电脑上，在机载电脑上安装jetpack，将训练好的模型从深度学习框架的格式转换为tensorrt格式。

36、优选的，所述训练模型在深度学习训练服务器上进行。

37、优选的，所述图像归一化方法为最大最小归一化,所述最大最小归一化公式为：

38、

39、式中max(x)——像素点的最大值；

40、min(x)——像素点的最小值。

41、优选的，所述步骤s4中二次处理模型搭建步骤与s3中初步处理模型搭建基本相同，区别在于煤矸石堆和非煤矸石堆的图像集不同，以及做出判断要求的概率不同。

42、优选的，所述步骤s6中对环境影响评价根据对景观破坏、土地压占、水土环境影响、地质灾害及现有治理情况进行综合判断。

43、本发明的有益效果是：

44、1、本发明通过规划飞行路径，可以使得无人机自动对目标区域进行巡视，而无人工作人员实时进行操作，确保无人机能够在最短的时间内覆盖目标区域，在识别时采用轻量级的模型mobilenetv2以加快识别速度，从而满足无人机进行巡视时需要快速的得出分析结果的需求。

45、2、本发明通过先在较高的飞行高度下进行初步图像采集及视觉分析，仅在在初步识别时出现煤矸石堆的情况下，才下降飞行高度进行二次图像采集及二次识别，在保证了识别精准度的情况下提高了无人机在巡视过程中识别效率，且在云台上还搭载了三维激光扫描仪用于获取煤矸石堆的三维数据，以判断煤矸石堆体积有无变化，便于工作人员了解现场的处理情况便于持续对现有治理情况进行研判。

46、3、本发明为了提高视觉识别的准确性，最小化所有样本的二元交叉熵损失的平均值，通过反向传播算法和优化算法来调整模型的权重。