一种基于深度学习的城市行道树种类识别方法与流程

1.本发明属于目标识别与计算机视觉技术领域，涉及一种基于无人机多光谱图像的城市行道树种类智能识别方法。
技术背景
2.作为城市绿地景观的重要组成元素之一，行道树在城市可持续发展、改善空气质量和美化城市环境等方面发挥着重要的作用，与城市的社会和经济效益息息相关。树种的多样性、结构和空间分布对行道树发挥其在城市中的重要作用极为关键。传统的行道树树种检测在很大程度上仍需依靠人力，使得效率低、成本高且统计的正确性和完整性无法得到保证。
3.近年来，多光谱传感器已被集成到无人机中，无人机在运营成本和灵活性方面具有很大优势，无人机所拍摄的城市行道树图片为树种识别提供了丰富的数据源。
4.单木树冠检测与描绘是树种识别的前提，这项工作的完成离不开图像分割，而目前使用的标记控制分水岭算法在树冠交叠处对树冠的描绘往往存在误差，造成树冠描绘不完整。
5.深度学习作为机器学习领域重要的模型之一，已在图像分类、图像识别等领域取得突破，尤其是卷积神经网络(convolutional neural network,cnn)的出现解决了传统机器学习在图像分类上具有不确定性的问题。


技术实现要素：

6.本发明所要解决的技术问题是针对现有技术的不足而提供一种基于深度学习的城市行道树种类识别方法，对无人机提供的多光谱图像进行合理分割，实现对单木树冠的检测与描绘，同时搭建光谱图像并行卷积神经网络模型对行道树树种进行精准识别。
7.为解决上述技术问题，本发明采用的技术方案包含以下步骤：
8.步骤1：获取不同场景下的多树种真彩色无人机多光谱图像；
9.步骤2：对步骤1获取的多光谱图像进行预处理，包括3d点云p的生成和由数字量化值图像到辐射值图像再到反射值图像的转化；
10.步骤3：根据步骤2所述的反射值图像呈现的反射率对图像对象进行判断，去除图像对象中可能误判为树冠的对象；
11.步骤4：进行树冠顶点的检测，根据步骤2所生成的3d点云p，生成归一化数字表面模型(normalized digital surface mode,ndsm),使用局部最大值检测算法得到树冠的顶点位置和高度；
12.步骤5：根据步骤4获取的树冠顶点的高度进行判断，去除高度过高或过低的顶点；
13.步骤6：使用包含局部背景信息的模糊c均值分类器(fuzzy c-means classifier，fcm)估计树冠的跨度，通过在模糊分类框架上执行马尔科夫随机场来获得树冠的分数图像ui，通过分数图像确定树冠边界，利用主动轮廓算法描绘单棵树木的树冠边界；
14.步骤7：采集行道树图像，通过人工调查对行道树图像进行标注，构建行道树图像训练集和验证集；
15.步骤8：搭建光谱空间并行卷积神经网络(spectral-spatial paralleled convolutional neural network,sspcnn)并进行训练；
16.步骤9：将步骤6中获取的分割后的图像输入光谱空间并行卷积神经网络，实现树木种类识别。
17.进一步，步骤2中，在图像预处理过程中，使用尺度不变特征转换法(scale-invariant feature transform algorithm,sift)来对步骤一中获取的多光谱图像进行自动关键点生成和连接点匹配，从而对内部和外部相机方向参数进行估计，估计的结果用于生成描述树冠水平结构和表面高度变化的3d点云p，使用多光谱相机，如rededge，辐射校准模型来完成数字量化值图像到辐射亮度值图像的转化，结合单个波段的面板反射率使用校准反射面板将辐射亮度值图像转化为反射亮度值图像。
18.步骤3中，由于城市行道树产生的阴影和建筑物顶部产生的亮斑，会对树冠对象的判断产生影响，引入反射率阈值rh和r
l
，进行判断如下：如果图像对象反射率r≤r
l
，则认为该图像对象为行道树阴影；如果r
l
≤r≤rh，则认为该图像对象为行道树；如果r≥rh，则认为该图像为建筑物屋顶亮斑，据此屏蔽行道树阴影和建筑屋顶亮斑，避免对树冠对象的影响。
19.步骤4中，将步骤2中生成的3d点云p滤波，以每5m2选取一个地面点方式进行内插，生成数字高程模型(digital elevation model,dem),将原始点云数据重采样可得到数字表面模型(digital surface model,dsm),再从数字表面模型中减去数字高程模型便可得到归一化数字表面模型，在归一化数字表面模型中使用局部最大值检测算法(local maxima detection algorithm，lmda)来获取树冠的顶点tc。
20.步骤5中，由于城市中部分建筑物满足树冠的形状，同时由于城市中绿化设计，行道树周围往往存在部分低矮灌木，为避免对树冠对象的判断产生影响，引入高度阈值th和t
l
，进行判断如下：如果顶点tc≤t
l
，则判断该顶点为低矮灌木顶点；如果t
l
≤tc≤th，则认为该顶点为行道树树冠顶点；如果tc≥th，则认为该顶点为类树建筑物顶点，据此屏蔽低矮灌木和类树建筑物，避免对树冠对象的判断产生影响。
21.步骤6中，使用包含局部背景信息的模糊c均值分类器估计树冠的跨度，通过在模糊分类框架上执行马尔科夫随机场来获得树冠的分数图像ui，通过分数图像确定树冠边界，利用主动轮廓算法描绘单棵树木的树冠边界，具体如下：
22.步骤a：不同于完全将像素分配给一个类的硬分类器，模糊c均值分类器在假设单个像素可属于不同类的前提下执行分类，数据中表示单个类空间似然性的分数图像u∈{u1,u2,
…
,uc}可通过最小化下面的方程式1来获得，而方程式1的最小化可通过迭代方程式2和方程式3中的隶属度和聚类中心来实现，
[0023][0024]
[0025][0026]
其中方程式1为模糊c均值分类器的目标函数，n是像素数量，c是分类数目，m是模糊化指数，方程式2为隶属度矩阵，其中d为数据点xi和聚类中心cj的欧几里得距离，方程式3式为聚类中心，所有参数迭代必须满足：
[0027][0028]
步骤b：定义像素y和分类标签w的后验概率、先验概率与条件概率为p(w/y),p(w),p(y/w)，使用平滑先验马尔科夫随机场模型估计先验概率，并且假设系统的物理边界平滑变化，条件概率由步骤a所述方程式1导出，而后验概率的最大值为后验能量u的最小值，由此第i个像素和第j个类的全局后验概率通过使用模拟退火算法最小化下面的方程式4获得，
[0029][0030]
其中λ为控制变量，控制在确定类成员时局部光谱和空间分量的影响，β控制类边界处的平滑程度，nj作为邻域可定义为v1(wr)+v2(wr,w
r'
)+v3(wr,w
r'
,w
r”)，v1(wr)，v2(wr,w
r'
)，v3(wr,w
r'
,w
r”)为对应于单位点、双位点、和三位点的团块势函数；
[0031]
步骤c：使用主动轮廓算法来描绘单个树冠的边界，该算法可以同时考虑曲线形状参数和树冠分类的分数图像来确定树冠顶点周围曲线的走向。
[0032]
作为本发明所述的基于深度学习的城市行道树种类识别方法，步骤8中所搭建的光谱空间并行卷积神经网络模型集成了1-d-cnn和2-d-cnn，可同时对图像的光谱和空间信息进行处理，具体如下：
[0033]
步骤a：输入图像表示为i∈rh×w×d，其中h，w，d分别表示光通道的高度、宽度和数目，像素(m,n)处的光谱信息表示为每个像素的空间信息可表示为其中p
mn
为像素a
mn
的中心位置，e为降维后的光通道数量，在降维过程中使用的方法是主成分分析法；
[0034]
步骤b：对于输入的光谱信息，首先通过两对一维卷积层和池化层，然后平滑化，以获得光谱特征f1；
[0035]
步骤c：对于输入的空间信息，首先通过两对二维卷积层和池化层，然后平滑化获得空间信息f2；
[0036]
步骤d：f1和f2通过三个全连接层连接处理，最后使用softmax分类器进行分类。
[0037]
作为本发明所述的基于深度学习的城市行道树种类识别方法，步骤9中获取步骤6中分割后图像的光谱信息和空间信息
后输入光谱空间并行卷积神经网络进行行道树树种识别，将识别结果与验证集对比，确定识别精度。
[0038]
与现有技术相比，本发明具有以下有益技术效果：
[0039]
(1)本发明的方法在进行树冠的检测中所采用的模糊c均值分类器可有效减轻类内像素噪声与方差问题，且可以在假设单个像素可属于不同类的前提下执行分类，较硬分类器有明显提高；
[0040]
(2)在进行树冠的描绘中所采用的主动轮廓法，可将树冠重叠部分进行有效的分割，目前标记控制分水岭算法无法实现；
[0041]
(3)搭建的光谱图像并行卷积神经网络模型可同时处理图像的光谱和空间信息。
附图说明
[0042]
图1为本发明基于深度学习的城市行道树种类识别的实施例流程图。
具体实施方式
[0043]
现结合附图对本发明作更详细的说明，但应当理解的是，所述实施例仅仅是对本发明进行解释而并非限定。
[0044]
根据本发明提出的基于深度学习的城市行道树种类识别方法，通过无人机获取城市行道树的多光谱图像，经过图像预处理，进行单木树冠的检测与树冠描绘，将生成的单木树冠图像输入搭建的深度学习网络，基于生成树冠图像的光谱和空间信息对树木进行种类识别。本发明的实施例提供了一种基于深度学习的城市行道树种类识别方法，其中在树冠检测中所采用的fcm分类器有效的降低了类内像素的噪声，它可以在单个像素可以分属于多个类的假设下进行分类。在树冠描绘中所采用的主动轮廓算法可以减轻因冠部阴影造成的误差，且可以对树冠的重叠部分进行有效分类。
[0045]
如图1所示，本发明实施例提供的一种基于深度学习的城市行道树种类识别方法的流程图，对本方法进行系统的描述，该方法包括以下步骤：
[0046]
步骤1：通过无人机搭载多光谱相机高空拍摄，获取城市内不同场景下多种行道树的多光谱图像，场景包括但不仅限于城郊开阔地带、市中道路绿化带，高校和小区的绿化带等；
[0047]
步骤2：对步骤1获取的多光谱图像进行预处理，产生表示行道树冠层的3d点云p，同时将获取的图像由数字值图像转化为辐射值图像，再将辐射值图像转化为反射值图像；
[0048]
步骤3：分析步骤2所述的反射值图像，根据图像对象的反射率大小进行判断，去除可能干扰树冠图像对象获取的其他图像对象；
[0049]
步骤4：获取树冠顶点，在步骤2生成的3d点云p的基础上生成归一化数字表面模型，在该利用局部最大值检测算法计算冠层的顶点的三维坐标；
[0050]
步骤5：根据步骤4获取的冠层顶点的三维坐标判断树冠顶点的高度，将高度过高或过低的顶点去除；
[0051]
步骤6：通过包含局部背景信息的模糊c均值分类器来对树冠图像对象进行分类，以估计单棵树冠的跨度，利用树冠的分数图像ui确定单棵树冠的边界，树冠的分数图像ui可通过在模糊分类框架上执行马尔科夫随机场来获取，利用主动轮廓算法描绘单棵树木的树
冠边界。
[0052]
步骤7：人工实地调查各种城市行道树，拍摄图像确定树种并进行标注，形成城市行道树图像的训练集和验证集。
[0053]
步骤8：完成对光谱空间并行卷积神经网络的搭建，通过步骤7形成的训练集对其进行训练。
[0054]
步骤9：将步骤6中得到的完成单木树冠分割的图像输入光谱空间并行的卷积神经网络，利用深度学习算法完成对行道树种类的识别。
[0055]
在上述实施例中，如图1所示，步骤2中，在对步骤1中获取的无人机真彩色多光谱图像进行预处理时，所使用的的方法是尺度不变特征变换法，该方法可完成对多光谱图像的自动关键点生成和连接点匹配，利用生成的关键点和匹配的连接点对无人机搭载的内部外部相机方向参数进行估计，估计的结果用于产生3d点云p，从而对树冠水平结构和表面高度变化进行更好的描述，使用多光谱相机辐射校准模型将数字量化值图像转化到辐射亮度值图像，在单个波段面板反射率的基础上使用校准反射面板完成辐射亮度值图像到反射亮度值图像的转化。
[0056]
如图1所示，步骤3中，设置反射率阈值rh和r
l
，将图像对象的反射率r与阈值进行如下比较：如果r≤r
l
，则将该图像对象判断为行道树阴影；如果r
l
≤r≤rh，则将该图像对象判断为行道树；如果r≥rh，则将该图像对象判断为建筑物屋顶亮斑，据此来屏蔽行道树阴影和建筑物屋顶亮斑，避免对获取树冠对象的影响。
[0057]
如图1所示，步骤4中，将步骤2中生成的用于描绘冠层水平结构的3d点云p进行滤波处理，然后每5m2选去一个地面点，以此通过内插的方式来获取数字高程模型，通过对原始点云数据进行重采样获得数字表面模型，则归一化数字表面模型可由数字表面模型减去数字高程模型来获取，在归一化数字表面模型中使用局部最大值检测算法即可获取树冠顶点tc[0058]
如图1所示，步骤5中设置高度阈值th和t
l
，将树冠顶点的高度与高度阈值进行如下比较：如果tc≤t
l
，则认为该顶点为低矮灌木的顶点；如果t
l
≤tc≤th，则认为该顶点为行道树树冠顶点，如果tc≥th，则认为该顶点为类树建筑物顶点，据此来屏蔽低矮灌木和类树建筑物，避免它们影响树冠对象的获取。
[0059]
如图1所示，步骤6中使用模糊c均值分类器对单木树冠的跨度进行估计，同时分类器要包含部分背景信息，然后在模糊分类框架上执行马尔科夫随机场来获得树冠的分数图像ui利用分数图像确定树冠的边界，再使用主动轮廓算法描绘单棵树木树冠的边界，完成对单木树冠的检测与分割，具体如下：
[0060]
步骤a：模糊c均值分类器相比于只能将像素分配给一个类的硬分类器而言，其最大的优点在于可在单个像素可属于不同类的前提下执行分类，多次迭代方程式2和方程式3中的隶属度和聚类中心可实现对下面方程式1的最小化，最小化下面方程式1后，即可获得表示单个类空间似然性的分数图像u∈{u1,u2,
…
,uc}。
[0061]
[0062][0063][0064]
其中方程式1是模糊c均值分类器的目标函数，n表示类内像素数量，c表示图像分类的数量，m是模糊化指数，方程式2是隶属度矩阵，其中d为数据点xi和聚类中心cj的欧氏距离，聚类中心cj可用方程式3来进行表示，上述参数的迭代均需满足约束条件：
[0065][0066]
步骤b：将像素y和分类标签w的后验概率、先验概率及条件概率分别定义为p(w/y),p(w),p(y/w)，先验概率p(w)可在假设系统的物理边界平滑变化的条件下，通过平滑先验马尔科夫随机场模型估计得到，条件概率p(y/w)可由步骤a的方程式1导出，而后验概率p(w/y)的最大值即为后验能量u的最小值，所以可以利用模拟退火算法来最小化下面方程式4来获得第i个像素，第j个类的全局后验概率，
[0067][0068]
其中λ表示控制变量，在确定类成员时，该变量可控制局部光谱和空间分量对分类的影响，β用与控制分类边界处的平滑程度，nj为分类邻域，可定义为v1(wr)+v2(wr,w
r'
)+v3(wr,w
r'
,w
r”)，而，v1(wr)，v2(wr,w
r'
)，v3(wr,w
r'
,w
r”)分别为单位点、双位点、和三位点团块的势函数；
[0069]
步骤c：为了更好的确定树冠顶点周围曲线的走向，使用可以同时考虑曲线形状参数和树冠分类分数图像的主动轮廓算法对单木树冠的边界进行描绘，完成对图像的分割。
[0070]
如图1所示，步骤8中通过将1-d-cnn与2-d-cnn进行集成，完成对光谱空间并行卷积神经网络模型的构建，该模型可同时对图像的光谱和空间信息进行处理，具体如下：
[0071]
步骤a：输入光谱空间并行卷积神经网络的图像可用i∈rh×w×d来进行表示，其中用h、w、d分别用来表示图像光通道的高度、宽度和数目，用来表示像素(m,n)的光谱信息；用来表示像素的空间信息，其中p
mn
为像素a
mn
的中心位置，使用主成分分析法进行降维，e则表示降维后的光通道的数量。
[0072]
步骤b：光谱特征f1的获取可以先将输入的光谱信息通过两对一维卷积层和池化层，然后对光谱信息进行平滑化处理。
[0073]
步骤c：空间特征f2的获取可以先将输入的空间进行通过两对二维卷积层和池化
层，然后对空间信息进行平滑化处理。
[0074]
步骤d：使用三个全连接层对f1和f2进行处理，之后使用softmax分类器进行分类。
[0075]
如图1所示，步骤9中，提取步骤6中完成单木树冠检测和描绘后图像的光谱信息和空间信息将光谱信息和空间信息输入光谱空间并行卷积神经网络，利用深度学习算法对行道树种类进行识别，将识别结果与验证集进行对比，确定识别精度。
[0076]
以上示意性地对本发明及其实施方式进行了描述，但该描述并没有限制性,附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下,不经创造性地设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。