一种空地协同的典型农作物种植样本采集方法与流程

1.本发明涉及遥感影像数据处理，具体涉及一种空地协同的典型农作物种植样本采集方法。


背景技术：

2.典型农作物种植样本采集现在主要采用传统的野外样本数据采集方法，采集的过程是在外业采集完地面照片或手工记录地面信息后，通过内业从经过正射处理的影像数据源中勾绘并裁切与地面照片拍摄范围和内容一致的航空航天遥感影像；再给样本图斑添加样本属性，最后对添加属性后的样本图斑进行筛选和整理，并经过结构化整理，形成完整的成果内容，存储到文件或数据库进行管理与给技术人员进行研。
3.传统的野外样本数据采集方法主要存在如下的几点缺陷：
4.①
传统的野外样本数据采集方法，当研究区域范围较大时，所需要的外业人员及内业数据采集人员非常多，并且采集的速度也会相对低，若要获取到大量的数据相对困难，而较少的样本数据成为大范围遥感影像分类的短板。
5.②
内业采集的过程需要结合影像进行边界的勾绘及外业手工记录信息进行田块属性赋值，在室内样本整理容易发生影像不清晰时勾绘的边界不准确和人工属性添加有误等问题，导致样本的准确度不高。
6.③
传统的野外样本数据采集方法，在采集整理的不同工序及不同作业人员衔接不畅时，容易导致典型农作物种植样本采集的精度和效率不高，再次实地补证困难。工序复杂繁琐，效率低下。


技术实现要素：

7.本发明的目的在于克服上述现有技术的不足，提供一种空地协同的典型农作物种植样本采集方法，使得典型农作物种植样本采集可以直接在无人机飞行过程中实现样本采集，从而减少当研究区面积较大时的外业人员量，并且减少内业人员的工作量和误判率，提高典型农作物种植样本采集的工作效率及提高样本的准确率。
8.为实现上述目的，本发明的技术方案是：
9.一种空地协同的典型农作物种植样本采集方法，包括：
10.无人机进行典型农作物样本采集，包括影像拍摄、影像拼接、田块分割以及典型农作物自动识别，以得到典型农作物样本数据；所述处理在无人机上进行；
11.对所得到的典型农作物样本数据进行实时实地的样本属性更正和样本边界的调整勾绘，得到外业典型农作物样本数据；
12.将外业典型农作物样本数据入库。
13.进一步地，所述影像拼接包括：
14.导入所拍摄的影像，以imagedatastore格式保存，显示影像；
15.第一张影像进行surf特征检测；
16.迭代匹配除第一张影像外的其他影像对，获得其他影像转换为第一张影像投影的转换参数；
17.根据转换统一投影，确定找到全部图像中的中心影像，计算全部其他影像向中心影像投影坐标的转换参数；
18.初始化全景图，根据全部影像转换后的范围确定全景图的大小范围，将全部影像转换后镶嵌到全景图中，最后得到rgb真彩色影像。
19.进一步地，所述第一张影像进行surf特征检测包括：
20.读取数据集中的第一张影像；
21.将真彩色影像rgb转换为灰度强度影像i；
22.surf特征检测：
23.构建hessian矩阵；
24.构建尺度空间和特征点定位：将经过hessian矩阵处理的每个像元点与二维影像空间和尺度空间邻域内的点进行比较，初步定位出关键点，再经过滤除能量不符目标数值的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；从灰度影像中提取特征向量及其对应位置；
25.特征点主方向分配：采用的是统计特征点圆形邻域内的haar特征，最后将值最大的那个扇形的方向作为该特征点的主方向；
26.生成特征点描述子：surf算法中，也是在特征点周围取一个4*4像元的矩形区域块，但是所取得矩形区域方向是沿着特征点的主方向；每个子区域统计25个像元的水平方向和垂直方向的haar特征，这里的水平和垂直方向都是相对主方向而言的；该haar特征为水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向；
27.初始化变量以保存影像大小。
28.进一步地，所述迭代匹配除第一张影像外的其他影像对，获得其他影像转换为第一张影像投影的转换参数包括：
29.依次读取其他影像，重复第一张影像进行surf特征检测这一步骤；
30.找出前后两幅影像i(n)与i(n-1)的对应关系：特征点匹配，surf通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好，同时加入了hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的；
31.计算每幅影像与第一张影像间的转换参数；
32.计算每个转换的输出限制。
33.进一步地所述田块分割包括：
34.收集实验影像和田块矢量样本；
35.数据预处理；
36.构建田块分割样本数据集；
37.训练田块分割网络模型；
38.预测整幅影像的田块边界，得到田块矢量图。
39.进一步地所述收集实验影像和田块矢量样本包括：
40.导入影像，仅保留rgb三波段，以tiff格式、uint8数据类型保存；
41.以影像为底图，绘制耕地田块的边界矢量图，保存为shp文件；
42.所述数据预处理包括：
43.重投影对齐，利用gdal库将耕地矢量数据重投影到影像的投影坐标系，令矢量数据与栅格数据相对齐；
44.矢量转栅格，利用gdal库将耕地矢量转换为二值栅格数据，以tiff格式保存；
45.切片，将影像和耕地栅格数据裁剪成256*256像元的小图像，以1/4的重叠度从上往下、从左往右进行滑窗裁剪，当滑窗右边界到达影像右边界宽度则停止移动，下边界同理。
46.进一步地，所述构建田块分割样本数据集包括：
47.将切片完的图像分别归纳整理，影像归入image路径，耕地数据归入mask路径；
48.计算田块的边界图和距离图，利用bwperimg算法获取二值图像的边界轮廓，再利用bwdist算法计算田块边界的距离图，分别归入boundary、distance路径；
49.进一步地所述训练田块分割网络模型包括：
50.对田块分割的训练集进行数据增强，利用翻转、旋转、色彩变换来增强训练样本，扩充数据集的样本容量和多样性；
51.将田块分割的训练样本输入bsinet多任务分割网络中，设置相应的超参数进行训练，在loss曲线趋近收敛或迭代次数达到一定值后完成训练，得到训练好的田块分割网络模型。
52.进一步地，所述预测整幅影像的田块边界，得到田块矢量图包括：
53.输入整幅影像，利用滑窗切片方法将影像裁剪成256*256像元的小图像，以1/4的重叠度从上往下、从左往右进行滑窗裁剪，当滑窗右边界到达影像右边界宽度则停止移动，下边界同理；
54.将切片小图像批量化输入田块分割网络模型中，并进行计算预测结果，得到每块小图像的田块分割结果；
55.采用忽略边缘策略将小图像结果按照裁剪顺序重新拼成大图像，得到原影像尺寸的田块分割栅格图像；
56.利用gdal库将栅格图像转为矢量数据，并进行后处理优化矢量结果，最终得到耕地矢量图，完成田块分割。
57.进一步地，所述典型农作物自动识别包括：
58.以分割后的田块作为基础范围，计算提取每个田块对应无人机影像的光谱特征和纹理特征；
59.把提取的田块特征数据输入实验室训练好的典型农作物的xgboost自动识别模型进行智能识别，根据识别模型的预测结果把田块赋予对应的典型农作物名称；
60.输出带有典型农作物属性的田块矢量数据，完成研究区典型农作物自动识别。
61.本发明与现有技术相比，其有益效果在于：
62.本发明方法改变了传统野外数据采集方法，使原手工记录地面信息、影像勾绘图斑等一系列工作直接通过无人机操作处理，在无人机飞行过程中即可完成样本采集，取代内业人工影像判读，减少了人工内业样本采集的工作量。过程中使外业人员通过地面平台
对无人机飞行过程中完成的样本采集数据，进行实时实地的样本属性更正和样本边界的调整勾绘，该方法进行了各田块属性的现场确认，使采集的样本精度和效率大幅度提高，解决了外业人员把拍摄数据带回到室内后进行的人工影像样本采集所出现误判及影像精度不高导致的采集数据不全等问题。
附图说明
63.图1为本发明实施例提供的一种空地协同的典型农作物种植样本采集方法路线图。
具体实施方式
64.实施例：
65.下面结合附图和实施例对本发明的技术方案做进一步的说明。
66.遥感影像解译时，对典型农作物种植样本的正确认知是保证耕地种植结构解译结果正确的基本前提。利用具有对应关系的无人机遥感影像的解译样本数据的地物典型光谱、纹理、形状、空间位置等特征，构建典型农作物种植样本库，可以为遥感影像解译者或智能分类器建立对相关地物的正确认识提供支持，也可在解译结果的质量控制方面发挥重要作用，同时也为长期监测积累实地参考资料，
67.参阅图1所示，为本实施例所提供的一种空地协同的典型农作物种植样本采集方法技术方法路线，主要包括：
68.典型农作物种植样本采集系统制作步骤：
69.在实验室，分别研究制作典型农作物种植样本采集系，包括三大模块：
①
影像快速拼接模块；
②
田块分割模块；
③
典型农作物自动识别模块；
70.把实验室研究制作的典型农作物种植样本采集系装配到无人机中。
71.采集步骤：
72.在被采集样本的研究区，使用装配好典型农作物种植样本采集系的无人机，使其在飞行的过程中对研究区进行影像拍摄，无人机接收到所拍的影像后立即执行影像快速拼接，待影像拼接完成后执行田块分割，对影像进行分割，最后分割完田块后，执行典型农作物自动识别模块，进行典型农作物的自动识别，得到典型农作物样本数据；
73.地面平台处理步骤：
74.在无人机完成识别后，把典型农作物样本数据数据传输回地面平台，外业人员通过地面平台对回传数据进行实时实地的样本属性更正和样本边界的调整勾绘，以得到外业典型农作物样本数据；
75.内业平台处理步骤：
76.典型农作物样本数据采集完成后，再把数据带回实验室，内业平台进行样本入库，得到农作物样本库。
77.由此可见，本方法改变了传统野外数据采集方法，使原手工记录地面信息、影像勾绘图斑等一系列工作直接通过无人机上操作，在无人机飞行过程中即可完成样本采集，取代内业人工影像判读，减少了人工内业样本采集的工作量。过程中使外业人员通过地面平台对无人机飞行过程中完成的样本采集数据，进行实时实地的样本属性更正和样本边界的
调整勾绘，该方法进行了各田块属性的现场确认，使采集的样本精度和效率大幅度提高，解决了外业人员把拍摄数据带回到室内后进行的人工影像样本采集所出现误判及影像精度不高导致的采集数据不全等问题。
78.在一具体实施例中，上述的影像快速拼接包括：
79.①
导入所拍摄的影像，以imagedatastore格式保存，显示影像；
80.②
第一张影像surf特征检测：
81.读取数据集中的第一张影像；
82.将真彩色影像rgb转换为灰度强度影像i；
83.surf特征检测：构建hessian矩阵的目的是为了生成影像稳定的边缘点(突变点)，为后续的特征提取做好基础。海森矩阵(hessianmatrix)是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。记录全部surf特征的scale、signoflaplacian，orientation、location、metric、count信息；
84.构建尺度空间和特征点定位：将经过hessian矩阵处理的每个像元点与二维影像空间和尺度空间邻域内的点进行比较，初步定位出关键点，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点；从灰度影像中提取特征向量及其对应位置；
85.特征点主方向分配:采用的是统计特征点圆形邻域内的haar特征，最后将值最大的那个扇形的方向作为该特征点的主方向。
86.生成特征点描述子:surf算法中，也是在特征点周围取一个4*4像元的矩形区域块，但是所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像元的水平方向和垂直方向的haar特征，这里水平和垂直方向都是相对主方向而言的。该haar特征为水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和4个方向。
87.初始化变量以保存影像大小。
88.③
迭代匹配其他影像对(除第一张影像外)，获得其他影像转换为第一张影像投影的转换参数:
89.依次读取其他影像，重复步骤
②
；
90.找出前后两幅影像i(n)与i(n-1)的对应关系。特征点匹配，surf通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好。同时加入了hessian矩阵迹的判断，如果两个特征点的矩阵迹正负号相同，代表这两个特征具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度变化方向是相反的。
91.计算每幅影像与第一张影像间的转换参数(投影变换参数)
92.计算每个转换的输出限制。(以第一张影像为准)
93.④
根据转换统一投影，确定找到全部图像中的中心影像，计算全部其他影像向中心影像投影坐标的转换参数(转换方向由全部图像向第一张影像转换变为全部图像向中心影像转换)。
94.⑤
初始化全景图，根据全部影像转换后的范围确定全景图的大小范围，将全部影像转换后镶嵌到全景图中，最后得到rgb真彩色影像。
95.在一具体实施例中，上述的待影像拼接完成后执行田块分割，对影像进行分割包括：
96.①
收集实验影像和田块矢量样本：
97.导入影像，仅保留rgb三波段，以tiff格式、uint8数据类型保存；
98.以影像为底图，绘制耕地田块的边界矢量图，保存为shp文件。
99.②
数据预处理：
100.重投影对齐，利用gdal库将耕地矢量数据重投影到影像的投影坐标系，令矢量数据与栅格数据相对齐；
101.矢量转栅格，利用gdal库将耕地矢量转换为二值栅格数据，以tiff格式保存；
102.切片，将影像和耕地栅格数据裁剪成256*256像元的小图像，以1/4的重叠度从上往下、从左往右进行滑窗裁剪，当滑窗右边界到达影像右边界宽度则停止移动，下边界同理。
103.③
构建田块分割样本数据集：
104.将切片完的图像分别归纳整理，影像归入image路径，耕地数据归入mask路径；
105.计算田块的边界图和距离图，利用bwperimg算法获取二值图像的边界轮廓，再利用bwdist算法计算田块边界的距离图，分别归入boundary、distance路径；
106.④
训练田块分割网络模型：
107.对田块分割的训练集进行数据增强，利用翻转、旋转、色彩变换等方式增强训练样本，扩充数据集的样本容量和多样性；
108.将田块分割的训练样本输入bsinet多任务分割网络中，设置相应的超参数进行训练，在loss曲线趋近收敛或迭代次数达到一定值后完成训练，得到训练好的田块分割网络模型。
109.⑤
预测整幅影像(整幅影像即拼接后的无人机影像)的田块边界，得到田块矢量图：
110.输入快速拼接模块得到的整幅影像，利用滑窗切片方法将影像裁剪成256*256像元的小图像，以1/4的重叠度从上往下、从左往右进行滑窗裁剪，当滑窗右边界到达影像右边界宽度则停止移动，下边界同理；
111.将切片小图像批量化输入实验室训练好的bsinet田块分割网络模型中，并进行计算预测结果，得到每块小图像的田块分割结果；
112.采用忽略边缘策略将小图像结果按照裁剪顺序重新拼成大图像，得到原影像尺寸的田块分割栅格图像；
113.利用gdal库将栅格图像转为矢量数据，并进行后处理优化矢量结果，最终得到耕地矢量图，完成田块分割。
114.在一具体实施例中，上述的典型农作物自动识别包括：
115.①
以分割后的田块作为基础范围，计算提取每个田块对应无人机影像的光谱特征和纹理特征。
116.②
把提取的田块特征数据输入实验室训练好的典型农作物的xgboost自动识别模型进行智能识别，根据识别模型的预测结果把田块赋予对应的典型农作物名称。
117.③
输出带有典型农作物属性的田块矢量数据，完成研究区典型农作物自动识别。
118.下面结合一个应用场景实例来对本方法进行进一步地说明：
119.s1：水稻样本采集前期准备
120.选取揭西县作为研究区，划定无人机采集水稻样本区域，为无人机装配空地协的典型农作物种植样本采集系统(影像快速拼接模块，田块分割模块，典型农作物自动识别模块)
121.s2：无人机样本采集
122.在s1中规划好的揭西县水稻样本采集区域，使用装配好采集系统的无人机，使其在飞行的过程中对研究区进行影像拍摄，无人机接收到所拍的影像后立即执行影像快速拼接，之后执行田块分割模块，对影像进行分割，最后执行典型农作物自动识别模块，进行水稻的自动识别，最后得到揭西县研究区域拼接完整的影像图、田块分割后矢量数据和水稻识别后矢量数据。
123.s3：地面平台核查
124.外业人员通过地面平台对回传的s2中采集到的水稻样本数据进行实时实地的样本属性更正和样本边界的调整勾绘。
125.s4：数据入库
126.待外业水稻样本数据采集完成后，把水稻样本数据带回实验室，内业平台进行水稻样本数据入库。
127.综上，采用本发明方法后能够取得如下技术优势：
128.①
对典型农作物采集提供了一种高效、精准的办法，能够解决传统野外样本数据采集方法获取大量数据相对困难的问题，为遥感解译和智能识别、获取耕地种植结构和面积以及变化监测等科学研究发挥着重要的作用。
129.②
针对传统的野外数据采集方法在大范围研究区中，节省了大量人员外业调绘和内业样本采集的费用，以及解决了人工样本采集工作量和误判率。
130.③
解决了典型农作物遥感影像解译样本数据空地协同一体化整理的问题，减少了多平台交互操作的频次；实现了整理的自动化、规范化，并能进行批量处理，提高了数据整理的效率。有利于遥感影像解译样本数据成果的推广应用，具有较高的实用价值
131.上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。