基于无人机航测及实例分割的堆石料级配检测方法及装置

本发明属于水利工程，具体涉及基于无人机航测及实例分割的堆石料级配检测方法及装置。

背景技术：

1、堆石坝在水利水电资源开发中占据着重要地位，是其中一种主要的坝型。堆石坝的建设和安全稳定性与所使用的筑坝料的级配曲线密切相关。筑坝料的级配曲线影响着堆石料内部颗粒的填充程度，从而影响堆石料的密度和变形模量。当筑坝料的级配较差时，内部颗粒填充性不佳，会导致密度和模量无法满足设计要求，在高水头梯度条件下易发生坝料渗透破坏等问题，对堆石坝的安全稳定性构成威胁。因此，如何在施工阶段有效地控制堆石料的级配成为堆石坝工程中的一个重要挑战，这直接影响到工程的质量和安全性。

2、目前工程实践中，普遍采用筛分试验的方法检测堆石料级配。筛分法是利用不同网径的筛网对堆石进行筛分，统计各网径筛网上残余堆石料质量占总质量的百分比，并以此绘制相应的级配曲线。虽然这一方法技术成熟，但存在一些明显的局限性。首先，由于只对少量试验点进行级配检测，代表性不强，无法全局反映填筑仓面的级配。其次，人工取样筛分的方式费时费力，可能因为时间的耗费而影响大坝整体的填筑施工进度。此外，人工筛分得到的级配结果的准确性和可信度严重依赖试验人员的技能水平。

3、数字图像处理技术为堆石料级配检测提供了可靠手段，部分学者对此进行过相关研究。传统的数字图像处理技术应用于堆石料分割时表现出精度不足，图像分割和级配计算的误差较大。随着深度学习算法的发展和计算机性能的提升，图像中目标物体轮廓的提取方法取得了新的进展，一些实例分割算法可实现图像中物体轮廓的像素级分割，为基于无人机航测的堆石料级配检测提供了技术支持。

技术实现思路

1、本发明的目的旨在，针对目前堆石坝填筑仓面的堆石料级配检测方法的不足，提供一种基于无人机航测及实例分割的堆石料级配检测方法及装置，应用无人机近景摄影测量技术，操控无人机飞行至堆石坝填筑仓面的一定高度处，拍摄具有一定重叠率的仓面照片，进一步利用agisoft metashape航测图像处理软件生成全仓面的正射影像，进而利用深度学习的实例分割算法获取堆石料颗粒进行分割，并提取颗粒的粒径，实现对堆石坝全仓面堆石料的准确、高效的级配检测。

2、为实现上述目的，本发明提供了如下方案：

3、基于无人机航测及实例分割的堆石料级配检测方法，包括以下步骤：

4、s1：依托密度坑开挖前的局部表面堆石料图像和密度坑的堆石料筛分结果，建立表面级配与整体级配的转换关系；

5、s2：基于所述表面级配与整体级配的转换关系，使用无人机近景摄影测量技术，获取堆石坝填筑仓面图像；

6、s3：基于所述堆石坝填筑仓面图像，生成填筑仓面的正射影像；

7、s4：将所述正射影像用滑动窗口裁剪成一系列图块，使用sam点选辅助标注对图块进行实例标注，制作堆石料图像数据集；

8、s5：基于所述堆石料图像数据集，训练yolov8和unet共同构建的实例分割模型，得到用于堆石料分割的实例分割模型；

9、s6：获取待预测的堆石坝填筑仓面的正射影像并裁剪成小图块，使用训练得到的实例分割模型进行预测，实现像素级实例分割和形态提取；

10、s7：将预测的图块拼接，对预测得到的堆石料实例进行形态量化分析，经级配转换，得到全仓面堆石级配。

11、优选的，所述s1中，依托密度坑开挖前的局部表面堆石料图像和密度坑的堆石料筛分结果，建立表面级配与整体级配的转换关系的方法包括：

12、在多个开挖前的密度坑上方对局部堆石进行拍照取样，分别使用图像识别算法提取密度坑表面的堆石料级配；

13、使用密度坑开挖后的堆石料筛分结果作为密度坑整体的堆石料级配；

14、基于所述密度坑表面的堆石料级配和所述密度坑整体的堆石料级配，引入weibull-rosin-rammler粒度特性方程，利用多重线性回归方法建立整体堆石料的特性方程参数和表面堆石料的特性方程参数的相关模型，得到表面的堆石料级配到整体堆石料级配的转换关系。

15、优选的，所述s2中，基于所述表面级配与整体级配的转换关系，使用无人机近景摄影测量技术，获取堆石坝填筑仓面图像的方法包括：

16、操作无人机在整个堆石坝填筑仓面上方飞行、拍摄图片；其中，拍摄的时间节点为静碾之前；拍摄前对堆石料进行均匀、定量的洒水处理；沿仓面周边布设大于4个的相控点；无人机于仓面所在的水平面上起飞，飞行平面所在高度为3-6米范围内的某一固定高度，镜头的法向与仓面的法向夹角不应超过5°；无人机在飞行平面内之字形移动时，沿飞行方向的相邻图片重叠率不小于60％，沿垂直于飞行方向的相邻图片重叠率不小于40％。

17、优选的，所述s4中，将所述正射影像用滑动窗口裁剪成一系列图块，使用sam点选辅助标注对图块进行实例标注，制作堆石料图像数据集的方法包括：

18、使用带有重叠像素的滑动窗口裁剪填筑仓面的正射影像，滑动窗口大小为m×n，根据模型训练的要求确定，滑动窗口之间设定一定比例的区域重合，比例不小于25％；

19、采用segment anything model的vit-h模型进行点选辅助的交互式标注，得到图像的多边形掩膜；

20、基于所述图像的多边形掩膜，通过平移、旋转、裁剪、缩放、翻转，hsv变换、mosaic数据增强技术扩充数据集，得到用于模型训练的标准数据集。

21、优选的，所述s5中，基于所述堆石料图像数据集，训练yolov8和unet共同构建的实例分割模型，得到用于堆石料分割的实例分割模型的方法包括：

22、将所述标准数据集划分为训练集和验证集，在训练集中训练深度学习实例分割模型，并在验证集中验证，获得用于堆石料分割的实例分割模型；

23、其中，所述深度学习实例分割模型为双阶段实例分割模型，由yolov8目标检测分支和unet语义分割分支共同构建，yolov8能够实现堆石实例的识别与定位，生成矩形检测框；检测框随之输入unet分支中，unet能够生成每个检测框中的堆石实例的像素级掩膜。

24、优选的，所述s6中，获取待预测的堆石坝填筑仓面的正射影像并裁剪成小图块，使用训练得到的实例分割模型进行预测，实现像素级实例分割和形态提取的方法包括：

25、将待检测的样本图块批量输入训练得到的实例分割模型中，依次预测得到堆石实例的检测框和掩膜，将预测的图块用滑动窗口拼接回原始图像，重叠区域内的重叠检测框使用非极大抑制算法nms移除，实现像素级实例分割和形态提取。

26、优选的，所述s7中，将预测的图块拼接，对预测得到的堆石料实例进行形态量化分析，经级配转换，得到全仓面堆石级配的方法包括：

27、对于提取到的堆石料颗粒的轮廓特征，通过尺寸标定将预测的像素尺寸转换为实际尺寸；

28、根据掩膜的形态，计算颗粒的等效粒径及等效椭球体积；

29、将各粒径组颗粒的质量占比用体积占比替代，计算全仓面小于每一个级配粒径标准值的堆石颗粒的体积占比，得到表面堆石的级配曲线；

30、利用weibull-rosin-rammler粒度特性方程进行级配曲线校正，最终得到全仓面堆石料的整体级配；

31、其中，根据掩膜的形态，计算颗粒的等效粒径及等效椭球体积的计算公式为：

32、

33、

34、其中，a、b分别是等效椭圆的长、短轴，a是等效椭圆的面积；

35、weibull-rosin-rammler粒度特性方程为：

36、

37、其中，r为小于d粒径的颗粒质量百分比；d为粒径标准值；e为自然对数的底；b为与粒径大小有关的参数；n为与物料性质有关的参数。

38、本发明还提供了基于无人机航测及实例分割的堆石料级配检测装置，包括：处理器及存储器；

39、所述处理器用于根据指令进行操作以实现任一项所述的基于无人机航测及实例分割的堆石料级配检测方法；

40、所述存储器存储有可被所述处理器执行的指令，所述指令用于执行以实现任一项所述的基于无人机航测及实例分割的堆石料级配检测方法。

41、与现有技术相比，本发明的有益效果为：

42、本发明利用无人机近景摄影测量技术，快速获取高质量的堆石坝全仓面图像，为全仓面堆石的级配研究提供了可靠的基础。

43、本发明采用agisoft metashape航测图像处理软件，生成全仓面的正射影像，将正射影像图像坐标与真实的世界坐标相对应。

44、本发明提出的深度学习实例分割模型精度高，相对于传统的实例分割模型，在保证检测精确度的同时提升了检测效率。

45、本发明引入了weibull-rosin-rammler粒度特性方程，建立整体的特性方程参数和表面的特性方程参数之间的转换模型，得出经过校正的全仓面堆石级配曲线。

46、本发明可以无损快速计算全仓面堆石级配，实现施工全过程的级配检测，为堆石坝的施工质量监测提供可靠依据，保证大坝建设和运行安全。