基于无人机航拍技术海岸线典型垃圾快速定位与核查方法与流程

1.本发明属于无人机航拍垃圾巡检技术领域，尤其涉及一种基于无人机航拍技术海岸线典型垃圾快速定位与核查方法。


背景技术：

2.海洋及海岸带垃圾治理是全球海岸生态环保难题，受洋流、海浪作用，来自河流入海的垃圾、岸边人为活动造成的垃圾、以及大洋上漂浮的各类垃圾坐滩，均会造成海岸带垃圾污染严重。不仅仅会破坏沿海生态环境，如果不及时清理，海洋垃圾逐渐分解后形成的微塑料，还会通过食物链进入到海洋生物和人体中，毒害海洋生物和人体健康。
3.海洋及海岸带垃圾及时清理至关重要，然而面临着海岸带漫长，垃圾分散度高，垃圾分布监测的效率直接影响着垃圾清理的效率。传统的海洋及海岸带垃圾监测方法主要靠海岸环保人员定期辖区巡视、观测，存在主观性强、耗时、覆盖面小、巡检速度慢、水平视野差、垃圾定位难、清理留痕等缺点。且人力成本过高、人员重复投入容易造成监督缺位，无法满足漫长的海岸线对高效环境治理与生态保护需求。
4.基于无人机航拍的垃圾巡查方式受到了广泛关注。通常，利用双目图像重构技术对海岸线上垃圾进行目标重构，定位置别。但是这要求航拍的相邻图像间高达70％图像重复率来实现海岸线上垃圾目标的3维重构。一方面造成巡查速度慢、效率低，还需要极强的运算能力，对硬件设备提出了较高要求，图像三维重构耗时长，每次航拍后需要较长时间进行图像重构，缺乏及时性，不利于推广应用。


技术实现要素：

5.本发明的目的在于提出一种基于无人机航拍技术海岸线典型垃圾快速定位与核查方法，利用高效的图像处理算法对时空图像序列中典型垃圾目标进行快速定位，并周期性对比核查，解决了传统海岸线垃圾巡检速度慢、垃圾定位算法复杂、核查困难的缺陷。
6.为实现上述目的，本发明提供了一种基于无人机航拍技术海岸线典型垃圾快速定位与核查方法，包括：
7.根据气象和潮汐预报，选择适宜天气条件周期性沿海岸线进行无人机航拍，采集海岸线无人机航拍照片集；
8.基于照片集获取照片的经纬度信息和时序信息构建海岸线时空图像信息序列；
9.根据海岸线典型垃圾色彩、轮廓、漂浮特性，建立快速垃圾目标识别算法，对所述海岸线时空图像信息序列逐一运算进行识别、标注，得到海岸线时空图像信息序列中典型垃圾目标经纬度信息；
10.将海岸线划分区段，无人机进行每一个区段航拍巡查，快速获得每一个区段垃圾分布、尺寸、定位信息，汇总报表形式上传控制系统，并发送给现场清洁人员，实现高效海岸清洁。
11.可选的，获取海岸线时空图像信息序列包括：
12.首先，基于照片集中的经纬度信息和时序信息获得时间序列上空间连续分布的图像信息；
13.其次，对相邻两张图像进行邻近区域特征提取和图像奇次矩阵变换的形式进行特征匹配，并采用颜色校正调整图像色差；
14.最后，根据相邻图像重合位置进行融合，获得海岸线时空图像信息序列。
15.可选的，对所述图像信息进行标准化，包括：采用rgb转换为hsv方式，将rgb照片转化成hsv照片，采用gamma校正法，对图像信息进行标准化，降低图像局部阴影和光照的干扰。
16.可选的，将标准化后的图像信息进行匹配，获取图像重符合典型垃圾hsv阈值部分，包括：设置典型垃圾hsv阈值，根据监测地生态面貌海岸特征及典型垃圾色彩调整阈值，增加匹配度。
17.可选的，选中所述图像重符合典型垃圾hsv阈值部分，采用harr特征像素分模块求差值法，获取快速简单的典型垃圾特征边缘结构。
18.可选的，基于典型垃圾特征边缘结构进行轮廓重建，包括：根据航拍图像中的像素位置、数量信息，结合经纬度信息，获得重建轮廓的典型垃圾尺寸类别与定位经纬度。
19.可选的，基于重建轮廓的典型垃圾尺寸类别与定位经纬度，对海岸线图像时空序列图集进行垃圾快速识别算法处理，获得海岸线上垃圾分布的尺寸信息及定位经纬度信息，确定典型垃圾尺寸和定位信息。
20.可选的，还包括每次巡查处理后的信息都将在系统中存档，再下一次执行无人机巡查后，自动进行垃圾目标比对，核查清理效果得到卫生死角。
21.本发明技术效果：本发明公开了一种基于无人机航拍技术海岸线典型垃圾快速定位与核查方法，利用无人机航拍实现海岸线快速巡查，利用高效的图像处理算法对时空图像序列中典型垃圾目标进行快速定位，并周期性对比核查，解决了传统海岸线垃圾巡检速度慢、垃圾定位算法复杂、核查困难的缺陷。
附图说明
22.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
23.图1为本发明实施例基于无人机航拍技术海岸线典型垃圾快速定位与核查方法的流程示意图；
24.图2为本发明的2021年12月2日拍摄任意抽取照片dji_0051经纬度信息图；
25.图3为本发明的2021年12月2日海岸线某一区段航线图像集，编号从dji_0001～dji_0138；
26.图4为本发明2021年5月30日，拍摄坐标(117.78875905648776,39.05096952094477)的照片原图及进行快速垃圾识别框选图。
具体实施方式
27.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
28.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
29.如图1-4所示，本实施例中提供一种基于无人机航拍技术海岸线典型垃圾快速定位与核查方法，包括：
30.根据气象和潮汐预报，选择适宜天气条件周期性沿海岸线进行无人机航拍，采集海岸线无人机航拍照片集；
31.基于照片集获取照片的经纬度信息和时序信息构建海岸线时空图像信息序列；
32.根据海岸线典型垃圾色彩、轮廓、漂浮特性，建立快速垃圾目标识别算法，对所述海岸线时空图像信息序列逐一运算进行识别、标注，得到海岸线时空图像信息序列中典型垃圾目标经纬度信息；
33.将海岸线划分区段，无人机进行每一个区段航拍巡查，快速获得每一个区段垃圾分布、尺寸、定位信息，汇总报表形式上传控制系统，并发送给现场清洁人员，实现高效海岸清洁。
34.进一步优化方案，获取海岸线时空图像信息序列包括：
35.首先，基于照片集中的经纬度信息和时序信息获得时间序列上空间连续分布的图像信息；
36.其次，对相邻两张图像进行邻近区域特征提取和图像奇次矩阵变换的形式进行特征匹配，并采用颜色校正调整图像色差；
37.最后，根据相邻图像重合位置进行融合，获得海岸线时空图像信息序列。
38.无人机选型要求：无人机需自带云台相机增稳装置并配备高分辨率相机，内置gps、北斗等高精度定位装置与数据信息传输模块，在进行海岸线拍摄时，可实时将拍摄照片的定位经纬度信息与拍摄时间信息保存在航拍图像中，并实时回传至岸上控制台端，由控制台将图像集构建成海岸线时空图象信息序列。
39.无人机飞行拍摄要求：无人机飞行高度和速度与云台相机的拍摄间隔、相机性能参数相关，为确保得到高清的航拍图像；飞行速度与高度需满足物像关系公式：α为相机视场角，v为无人机飞行速度m/s，h为相机镜头距地面高度，d为相机感光元件的宽度mm，该宽度与无人机飞行方向一致，f为相机焦距mm，t为无人机相机的拍摄间隔s。由于相机焦距远小于相机镜头距地面高度，因此h可近似为无人机飞行高度。考虑到图像时空序列涉及相邻图像间的拼接，需要进行边缘目标特征比对，因此保留20％的图像重叠率。由上可得，飞行速度应满足：同时，飞行高度应满足：
40.本发明利用的快速海岸线垃圾识别定位算法基于2维图像运算，不进行3维地貌重构，因此在拍摄时相邻两张图片之间只需要有20％重叠率，可实现特征匹配图像拼接即可；拍摄时控制无人机与云台相机姿态，使得相机拍摄方向时刻保持与海岸线平面垂直。
41.时空图像序列拼接：在航拍后，获得了时间序列上空间连续分布的图像信息，对相邻两张图像间进行邻近区域特征提取、特征匹配，利用图像奇次矩阵变换的形式将图像匹
配，匹配的过程中需要进行颜色校正来调整两张相邻图像之间由于曝光等原因产生的色差，最后根据相邻图像重合位置进行融合，即可以此流程获得时间、空间连续的图像序列；完成海岸线图像时空序列构建后，可以快速查找到海岸线任意位置的图像信息及其前后相邻图像信息，实现电子巡查方便清理核查。
42.进一步优化方案，对所述图像信息进行标准化，包括：采用rgb转换为hsv方式，将rgb照片转化成hsv照片，采用gamma校正法，对图像信息进行标准化，降低图像局部阴影和光照的干扰。
43.进一步优化方案，将标准化后的图像信息进行匹配，获取图像重符合典型垃圾hsv阈值部分，包括：设置典型垃圾hsv阈值，根据监测地生态面貌海岸特征及典型垃圾色彩调整阈值，增加匹配度。
44.进一步优化方案，选中所述图像重符合典型垃圾hsv阈值部分，采用harr特征像素分模块求差值法，获取快速简单的典型垃圾特征边缘结构。
45.进一步优化方案，基于典型垃圾特征边缘结构进行轮廓重建，包括：根据航拍图像中的像素位置、数量信息，结合经纬度信息，获得重建轮廓的典型垃圾尺寸类别与定位经纬度。
46.进一步优化方案，基于重建轮廓的典型垃圾尺寸类别与定位经纬度，对海岸线图像时空序列图集进行垃圾快速识别算法处理，获得海岸线上垃圾分布的尺寸信息及定位经纬度信息，确定典型垃圾尺寸和定位信息。
47.进一步优化方案，还包括每次巡查处理后的信息都将在系统中存档，再下一次执行无人机巡查后，自动进行垃圾目标比对，核查清理效果得到卫生死角。
48.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。