技术特征：
1.一种基于深度学习的城市行道树种类识别方法，其特征在于，包含以下步骤：步骤1：获取不同场景下的多树种真彩色无人机多光谱图像；步骤2：对步骤1获取的多光谱图像进行预处理，包括3d点云p的生成和由数字量化值图像到辐射值图像再到反射值图像的转化；步骤3：根据步骤2所述的反射值图像呈现的反射率对图像对象进行判断，去除图像对象中可能误判为树冠的对象；步骤4：进行树冠顶点的检测，根据步骤2所生成的3d点云p，生成归一化数字表面模型,使用局部最大值检测算法得到树冠的顶点位置和高度；步骤5：根据步骤4获取的树冠顶点的高度进行判断，去除高度过高或过低的顶点；步骤6：使用包含局部背景信息的模糊c均值分类器估计树冠的跨度，通过在模糊分类框架上执行马尔科夫随机场来获得树冠的分数图像u
i
，通过分数图像确定树冠边界，利用主动轮廓算法描绘单棵树木的树冠边界；步骤7：采集行道树图像，通过人工调查对行道树图像进行标注，构建行道树图像训练集和验证集；步骤8：搭建光谱空间并行卷积神经网络并进行训练；步骤9：将步骤6中获取的分割后的图像输入光谱空间并行卷积神经网络，实现树木种类识别。2.根据权利要求1所述的基于深度学习的城市行道树种类识别方法，其特征在于，步骤2中，在图像预处理过程中，使用尺度不变特征转换法来对步骤一中获取的多光谱图像进行自动关键点生成和连接点匹配，从而对内部和外部相机方向参数进行估计，估计的结果用于生成描述树冠水平结构和表面高度变化的3d点云p，使用多光谱相机辐射校准模型来完成数字量化值图像到辐射亮度值图像的转化，结合单个波段的面板反射率使用校准反射面板将辐射亮度值图像转化为反射亮度值图像。3.根据权利要求1所述的基于深度学习的城市行道树种类识别方法,其特征在于，步骤3中引入反射率阈值r
h
和r
l
，进行判断如下：如果图像对象反射率r≤r
l
，则认为该图像对象为行道树阴影；如果r
l
≤r≤r
h
，则认为该图像对象为行道树；如果r≥r
h
，则认为该图像为建筑物屋顶亮斑，据此屏蔽行道树阴影和建筑屋顶亮斑，避免对树冠对象的影响。4.根据权利要求1所述的基于深度学习的城市行道树种类识别方法,其特征在于，步骤4中，将步骤2中生成的3d点云p滤波，以每5m2选取一个地面点方式进行内插，生成数字高程模型,将原始点云数据重采样可得到数字表面模型,再从数字表面模型中减去数字高程模型便可得到归一化数字表面模型，在归一化数字表面模型中使用局部最大值检测算法来获取树冠的顶点t
c
。5.根据权利要求1所述的基于深度学习的城市行道树种类识别方法,其特征在于，步骤5中引入高度阈值t
h
和t
l
，进行判断如下：如果顶点t
c
≤t
l
，则判断该顶点为低矮灌木顶点；如果t
l
≤t
c
≤t
h
，则认为该顶点为行道树树冠顶点；如果t
c
≥t
h
，则认为该顶点为类树建筑物顶点，据此屏蔽低矮灌木和类树建筑物，避免对树冠对象的判断产生影响。6.根据权利要求1所述的基于深度学习的城市行道树种类识别方法,其特征在于，步骤6中使用包含局部背景信息的模糊c均值分类器估计树冠的跨度，通过在模糊分类框架上执行马尔科夫随机场来获得树冠的分数图像u
i
，通过分数图像确定树冠边界，利用主动轮廓
算法描绘单棵树木的树冠边界，具体如下：步骤a：不同于完全将像素分配给一个类的硬分类器，模糊c均值分类器在假设单个像素可属于不同类的前提下执行分类，数据中表示单个类空间似然性的分数图像u∈{u1,u2,
…
,u
c
}可通过最小化下面的方程式1来获得，而方程式1的最小化可通过迭代方程式2和方程式3中的隶属度和聚类中心来实现，方程式3中的隶属度和聚类中心来实现，方程式3中的隶属度和聚类中心来实现，其中方程式1为模糊c均值分类器的目标函数，n是像素数量，c是分类数目，m是模糊化指数，方程式2为隶属度矩阵，其中d为数据点x
i
和聚类中心c
j
的欧几里得距离，方程式3式为聚类中心，所有参数迭代必须满足：步骤b：定义像素y和分类标签w的后验概率、先验概率与条件概率为p(w/y),p(w),p(y/w)，使用平滑先验马尔科夫随机场模型估计先验概率，并且假设系统的物理边界平滑变化，条件概率由步骤a所述方程式1导出，而后验概率的最大值为后验能量u的最小值，由此第i个像素和第j个类的全局后验概率通过使用模拟退火算法最小化下面的方程式4获得，其中λ为控制变量，控制在确定类成员时局部光谱和空间分量的影响，β控制类边界处的平滑程度，n
j
作为邻域可定义为v1(w
r
)+v2(w
r
,w
r'
)+v3(w
r
,w
r'
,w
r”)，v1(w
r
)，v2(w
r
,w
r'
)，v3(w
r
,w
r'
,w
r”)为对应于单位点、双位点、和三位点的团块势函数；步骤c：使用主动轮廓算法来描绘单个树冠的边界，该算法可以同时考虑曲线形状参数和树冠分类的分数图像来确定树冠顶点周围曲线的走向。7.根据权利要求1所述的基于深度学习的城市行道树种类识别方法,其特征在于，步骤8中所搭建的光谱空间并行卷积神经网络模型集成了1-d-cnn和2-d-cnn，可同时对图像的光谱和空间信息进行处理，具体如下：步骤a：输入图像表示为i∈r
h
×
w
×
d
，其中h，w，d分别表示光通道的高度、宽度和数目，像
素(m,n)处的光谱信息表示为每个像素的空间信息可表示为其中p
mn
为像素a
mn
的中心位置，e为降维后的光通道数量，在降维过程中使用的方法是主成分分析法；步骤b：对于输入的光谱信息，首先通过两对一维卷积层和池化层，然后平滑化，以获得光谱特征f1；步骤c：对于输入的空间信息，首先通过两对二维卷积层和池化层，然后平滑化获得空间信息f2；步骤d：f1和f2通过三个全连接层连接处理，最后使用softmax分类器进行分类。8.根据权利要求1所述的基于深度学习的城市行道树种类识别方法,其特征在于，步骤9中获取步骤6中分割后图像的光谱信息和空间信息后输入光谱空间并行卷积神经网络进行行道树树种识别，将识别结果与验证集对比，确定识别精度。
技术总结
本发明公开了一种基于深度学习的城市行道树种类识别方法，首先通过无人机获取不同场景下的多树种真彩色无人机多光谱图像，并进行多光谱图像预处理。然后根据预处理后的反射率去除可能误判为树冠的图像对象，并利用数字高程模型检测树冠顶点，判断树冠顶点高度，去除过高或过低的顶点，使用模糊C均值分类器和主动轮廓算法对树冠进行检测和描绘，将生成的单木树冠图像输入搭建的深度学习网络，基于生成树冠图像的光谱和空间信息对树木进行种类识别。本发明提供的方法在进行树冠的检测中所采用的模糊C均值分类器可有效减轻类内像素噪声与方差问题，且可以在假设单个像素可属于不同类的前提下执行分类，较硬分类器有明显提高。较硬分类器有明显提高。较硬分类器有明显提高。
技术研发人员：单晓明 严君 魏配配 朱铭凯
受保护的技术使用者：江苏久智环境科技服务有限公司
技术研发日：2022.11.15
技术公布日：2023/2/3