一种基于无人机正射影像的城市绿化树种识别方法及系统与流程

本发明涉及城市园林管理，更具体地，涉及一种基于无人机正射影像的城市绿化树种识别方法及系统。

背景技术：

1、城市园林绿化的树种识别对城市的可持续发展和生态健康至关重要。

2、首先，它在绿地规划和管理中发挥重要作用。通过精确识别不同树种，城市规划者和管理者能够更好地了解哪些树种适合特定地环境条件，以及如何更好地照顾和维护它们，以确保城市中的绿地发挥其环境和美观的作用。

3、其次，树种识别也与环境保护息息相关。不同树种对环境有不同的影响，一些树种能够改善空气质量、减少污染、吸收雨水等。通过识别树种，城市可以更好地选择那些有益于环境地树种，从而改善城市生活质量。

4、此外，美观和景观设计也是城市绿化中的一项重要任务。不同树种的叶子、花朵、果实和树形都具有独特的特点，这些特点可以用于城市景观设计，创造出吸引人的城市景观。另外，树种识别在病虫害管理中也扮演重要的角色，不同树种对病虫害的抵抗力不同，通过识别树种，可以更容易地监测和管理疾病和害虫，以保护城市中的树木。

5、最后，树种识别的结果可以用作教育工具，有助于提高公众对自然和环境保护的意识。了解周围树木的种类和特点可以增加对自然的尊重和理解，为可持续发展提供更多的支持者。

6、现有树种识别：

7、(1)人工识别：以遥感数据为基础，通过目视解译的方式，人工圈画出影像上的树木形态，再通过外业调查的方式确认这些树的类型。这种方法需要耗费大量的人力物力财力，在一些特殊的环境下无法实现对树种的识别，易受遥感空间影像分辨率的影响，城市中的树木如行道树、公园内部树木等，且只能粗糙进行植被面的分类，无法辨别独立的植株。

8、(2)无人机识别：在更高分辨率的无人机正射影像出现后，人们通过肉眼就能判断城市中的大部分植被个体形态，但在树种的识别上，依旧需要通过实地查看才能明确各个树木的类型。为了减小户外核查的工作量，通过辅助数据如多光谱的遥感影像，以植被指数的形式确定植被类型。但无人机影像与遥感影像的空间分辨率有较大差异，粗糙的光谱信息对于树种识别的作用较小，树种识别结果的准确性依旧需要户外判别，依旧需要较多的户外工作。

9、有鉴于此，本发明提供一种高识别率的、自动化率高的，一种基于无人机正射影像的城市绿化树种识别方法及系统。

技术实现思路

1、本发明的目的在于，提供一种基于无人机正射影像的城市绿化树种识别方法及系统，代替现有的树种识别方法，以正射影像为数据基础，以深度学习卷积神经网络为原理，构建适用于厘米级无人机影像的树种识别方法，充分利用高空间分辨率无人机影像中植被的视觉、纹理、光谱特征，构建城市场景下的园林绿化植被的特征信息，通过深度学习卷积神经网络学习这些特征，获得不同树种的提取模型，实现数据内的树种自动提取，极大提高了树种识别工作的效率，同时在出现部分错误识别时，得益于无人机影像的高空间分辨率，可通过目视判断的方式，修正这些错误结果，并将修改后的调节优化数据反馈到原始的特征文件中进行迭代训练，提高模型识别结果的准确性，且仅使用一种数据，数据类型简单，自动化程度高减少人工参与。

2、一种基于无人机正射影像的城市绿化树种识别方法，其特征在于，包括以下步骤：

3、step1:构建树种识别模型，树种识别模型采用结构resnet-101模型原始网络结构；

4、获取正射影像数据，利用无人机或其他航空平台在任务区进行正射作业，并经过图像处理获得任务区的1cm～5cm分辨率的geotiff格式正射影像数据；

5、基于正射影像数据采用多尺度分割算法对影像进行单木分割，通过人工编辑，删除其中的非植被信息，获得区域内的单木矢量形态结果数据；

6、制作栅格树种样本数据，栅格树种样本数据包括样本影像、标签文件，基于正射影像数据进行固定尺寸正方形裁剪，并以裁剪后的影像为掩膜，提取该区域内的单木矢量形态结果数据进行树种标注并转换成栅格，生成样本影像和标签文件；

7、基于栅格树种样本数据构建树种识别模型。

8、step2：将待预测的无人机正射影像输入至树种识别模型，树种识别模型输出预测的树种识别栅格结果；

9、所述待预测的无人机正射影像由无人机或其他航空平台在待检的任务区再次进行正射作业，并经过图像处理获得待检的任务区的1cm～5cm分辨

10、率的geotiff格式的正射影像数据；

11、step3:利用gis软件将树种识别栅格结果与单木矢量形态结果数据关联输出形成该区域内的树种识别矢量结果。

12、进一步的，所述树种识别模型还连接有调节优化数据，调节优化数据用于优化树种识别模型，调节优化数据通过在gis软件中将单木矢量形态结果数据与树种识别栅格结果叠加，通过实地勘察的方式调整树种识别栅格结果中的错误识别类型，并制作成调节优化数据添加到树种识别模型中进行迭代训练，直至获得较为稳定、准确的识别结果。

13、进一步的，图像处理由图像预处理、图像匹配与特征提取、影像拼接、地图投影与正射校正、色彩平衡与增强组成，图像预处理用于对采集的图像进行预处理，图像预处理包括去除镜头畸变、色差矫正、亮度和对比度调整。

14、图像匹配与特征提取：使用图像处理软件，对采集的图像进行匹配和特征提取，确定图像间的位置关系，影像拼接：利用匹配和定位信息，将采集的图像拼接在一起，生成无人机正射影像，拼接过程包含图像配准，叠加和融合，保证图像的连续性和一致性，地图投影与正射校正：使用地面控制点或数学模型，对拼接后的影像进行地图投影和地形变形校正，使其与地理坐标系统对齐，生成正射图像，色彩平衡与增强：对正射影像进行色彩平衡和增强，提高可视化效果和信息提取能力，数据输出：将正射影像数据输出为geotiff格式，为后续的工作服务。

15、进一步的，以无人机获取的正射影像数据为基础数据，按照单木矢量形态结果数据中的空间分布情况，随机裁剪若干个正方形，尺寸为1000像素*1000像素大小，根据裁剪出的正方形，以每个正方形为掩膜，提取该1000*1000大小范围内的单木矢量要素，在矢量要素属性表上添加类型字段，通过目视方式确认该要素的树种类型，当出现无法通过目视辨认的情况时，则通过实地考察来确认该要素的树种类型，完成属性编辑后，以属性为原则，将单木矢量形态结果数据转换成与正方形大小和分辨率一致的栅格图，名称与相同位置的正方形影像保持一致，进而使其样本影像与标签有唯一对应关系。

16、在一些实施例中，树种识别模型为残差网络101(residual network with 101layers,resnet-101模型)模型，resnet-101模型由输入层、初始卷积层、池化层、残差层、平均池化层和全连接层组成。

17、输入层用于接受栅格树种样本数据，通常为多通道彩色图像，尺寸可以根据任务的需求而变化。

18、初始卷积层用于从输入层接收的栅格树种样本数据中提取特征，通过在输入图像上滑动一个小的卷积核(filter)实现卷积计算操作，将卷积核与输入图像的不同部分相乘并相加，从而生成输出特征图，初始卷积层的卷积核捕捉不同的特征(例如:边缘、纹理、颜色、形状)，多个初始卷积层可以逐渐提取更抽象和高级别的特征(如面部特征、物体部分)。

19、池化层用于减小初始卷积层输出的特征图的空间尺寸，同时保留输入数据中的树木特征信息,数目特征信息由冠层形态信息、边缘信息、光谱特征组成，通常使用最大池化层或平均池化层,其中，最大池化层选择每个区域中的最大值，强调最显著的特征，从而提高模型的位置不变性。

20、平均池化层用于计算每个小区域中的平均值，减小数据的维度，较少计算量，并降低过拟合的风险，由于树冠内的信息并不均质，为了减小像元差异带来的影响，采用最大池化层对输入数据进行处理，缩小特征图的空间尺寸，并提取其中的显著特征，初始卷积层输出的特征图进入到该池化层，该层将会对池内的最大值进行判断，将有利于树种识别的形状、纹理、边缘、光谱等显著信息进行抽取，为下一步的树种特征提取服务。

21、残差层有4个,残差层用于接收最大池化层输出数据并通过处理后输出至平均池化层，每个残差层中又由多个残差块组成,残差块包含三个卷积层由第一卷积层、第二卷积层、第三卷积层、跳跃连接层组成，所述第一卷积层、第三卷积层均为1×1，第二卷积层为3×3，残差块用于缓解深度神经网络训练过程中的梯度消失和梯度爆炸问题，从而使得模型可以有效地进行更深层次的学习,即随着网络层数增加，精度开始达到饱和甚至迅速降低的情况,在每个残差块中，输入被分为两个部分，一部分直接连接到块的输出端，形成“快捷路径”或“跳跃连接”，另一部分则通过一系列的卷积层、非线性函数等进行处理后再与该快捷路径相加,该结构形式为残差连接,残差连接将输入特征与输出特征映射相加，使梯度在反向传播时更容易传递，解决了梯度消失的问题。

22、残差块的具体计算公式如下：

23、y1＝h(x1)+f(x1，m1)

24、xl+1＝f(y1)

25、式中x1和xl+1分别表示的是第l个残差块的输入和输出，f是残差函数，表示学习到的残差，h(x1)＝x1表示恒等映射，f是relu激活函数，基于上式，从浅层l到深层l的学习特征为：

26、

27、利用链式规则，可以计算反向过程的梯度：

28、

29、式中的第一个因子表示损失函数达到l的梯度，小括号中的1表明短路机制可以无损地传播梯度，而另外一项残差梯度则需经过带有weights的层，梯度不是直接传递过来的。

30、全局平均池化层用于接收经过残差层处理的数据，将会输入到全局平均池化层进行处理，将数据的尺寸恢复到原始的尺寸大小，使用全局平均池化层将每个通道的特征图的平均值作为最终的特征表示，有效减少了模型的参数数量,经过残差层的特征提取后的数据，进入到全局平均池化层，对每个通道的特征进行平均池化，获得各个通道的平均响应，捕捉到相应通道的空间信息，进而将树种的特征通过空间表达的方式体现出来。

31、全连接层有一个或多个全连接层，全连接层用于将全局平均池化层中提取的每个通道的特征图的平均值到输出类别的概率分布，使用一个全连接层将池化后的结果进行分类，全连接层包含多个神经元，每个神经元与前一层的所有神经元相连接，这一层的输出是一个向量，其中每个元素对应一个类别或类别分数。在全连接层后加入一个softmax激活函数，softmax将原始输出分数转化为类别概率分布，确保所有类别的概率之和为1，经过全局平均池化后的空间数据，通过全连接层，转换为各个树种的分类概率，构建了原始影像上的单木的纹理、形态、边缘、光谱等特征与标注类型之间的关系，进而为全面的树种识别提供了判断条件,全连接层放在最后主要是将每个通道的特征图的平均值输出到类别，有助于减小模型的参数量，提高模型的计算效率。

32、在一些实施例中，将待预测的无人机正射影像输入训练的改进的resnet-101模型树种识别模型，树种识别模型对影像进行预测，生成树种类型栅格结果,由于无人机影像分辨率高，数据量大，需将影像切分为小块，然后分别对每个小块进行处理，最后将结果合并，生成整张影像的树种识别栅格结果。

33、进一步的，对树种识别栅格结果进行空间化处理，将树种信息转换到单木矢量上，成为单木的属性之一,通过gis软件，采用空间关联的方式，将树种识别栅格结果关联到单木分割矢量结果上，使每个单木矢量结果具有树种信息，最终生成树种识别矢量结果。

34、一种基于无人机正射影像的城市绿化树种识别的系统，包括树种识别模型，树种识别模型用于承接待预测的无人机正射影像并将其处理输出树种识别矢量结果，所述树种识别模型包括正射影像数据模块、单木矢量形态结果数据模块、栅格树种样本数据模块、树种识别模块、树种识别栅格结果模块、树种识别矢量结果模块，

35、正射影像数据模块用于获取正射影像数据，利用无人机或其他航空平台在任务区进行正射作业，并经过图像处理获得任务区的1cm～5cm分辨率的geotiff格式正射影像数据；

36、单木矢量形态结果数据模块用于基于正射影像数据采用多尺度分割算法对影像进行单木分割，通过人工编辑，删除其中的非植被信息，获得区域内的单木矢量形态结果数据；

37、栅格树种样本数据模块用于基于正射影像数据进行固定尺寸正方形裁剪，并以裁剪后的影像为掩膜，提取该区域内的单木矢量形态结果数据进行树种标注并转换成栅格，生成样本影像和标签文件；

38、树种识别模块用于基于栅格树种样本数据构建，树种识别模块采用结构resnet-101模型原始网络结构；

39、树种识别栅格结果模块用于将待预测的无人机正射影像输入至树种识别模块，树种识别模块输出预测的树种识别栅格结果；

40、树种识别矢量结果模块用于利用gis软件将树种识别栅格结果与单木矢量形态结果数据关联输出形成该区域内的树种识别矢量结果。

41、本发明的有益效果：本发明提出一种基于无人机正射影像的城市绿化树种识别方法及系统，代替现有的树种识别方法，以正射影像为数据基础，以深度学习卷积神经网络为原理，构建适用于厘米级无人机影像的树种识别方法，充分利用高空间分辨率无人机影像中植被的视觉、纹理、光谱特征，构建城市场景下的园林绿化植被的特征信息，通过深度学习卷积神经网络学习这些特征，获得不同树种的提取模型，实现数据内的树种自动提取，极大提高了树种识别工作的效率，同时在出现部分错误识别时，得益于无人机影像的高空间分辨率，可通过目视判断的方式，修正这些错误结果，并将修改后的调节优化数据反馈到原始的特征文件中进行迭代训练，提高模型识别结果的准确性，且仅使用一种数据，数据类型简单，自动化程度高减少人工参与。