基于无人机航拍的园林乔木数量智能检测方法及系统与流程

本发明涉及计算机视觉，更具体地说，本发明涉及基于无人机航拍的园林乔木数量智能检测方法及系统。

背景技术：

1、乔木是指树身高大的树木，由根部发生独立的主干，树干和树冠有明显区分，依其高度而分为伟乔(31米以上)、大乔(21～30米)、中乔(11～20米)、小乔(6～10米)等有四级，乔木是园林中的骨干树种，无论在功能上还是艺术处理上都能起主导作用。乔木作为城市绿化的重要构成元素之一，能够营造较高质量的城市景观，改善城市生态环境，发挥重要的生态效应。乔木分为落叶乔木和常绿乔木，落叶乔木会因为气候寒冷大面积落叶，直到光秃。

2、对园林中乔木数量的检测统计有利于园林的管理，目前园林中乔木数量的统计基于人力计数和估算的方式，该方式存在效率低、正确率低的问题，不能智能地对园林进行巡检和资产盘点。现今大部分智慧园林都采用无人机对园林中的情况进行动态的监控，然后利用目标检测等算法对监控信息进行智能分析。随着深度学习在计算机视觉领域的飞速发展，目标检测技术作为计算机视觉领域的一部分也得到了突破性的发展。

3、然而采用目标检测等深度学习方法进行识别统计其过程中由于乔木距离近，图片中存在粘连问题、对于多帧图片信息存在重复问题等，都导致乔木统计的准确率偏低，无法准确地对园林资产进行盘点。综上所述，如何在现有技术上提供一种准确的乔木识别方法和乔木统计是目前业内人士所亟待解决的问题。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供基于无人机航拍的园林乔木数量智能检测方法及系统，基于无人机航拍采集图像数据，搭建仿真模型，先识别园林中乔木种类，根据乔木种类不同将园林乔木划分为不同待测区域，再根据乔木种类和环境数据从数据库中调用乔木冠层模型，检测每个区域内的乔木数量，最后通过屏幕展示园林乔木的数量和密度，以解决上述背景技术中提出的现有乔木数量检测结果不准确，没办法清楚检测落叶乔木的数量的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于无人机航拍的园林乔木数量智能检测方法，所述方法包括下列步骤：

3、步骤s01、采集航拍图像：通过在无人机上搭载相机和激光扫描仪采集得到园林的倾斜摄影和三维激光点云数据，将倾斜摄影数据和点云数据融合，经过数据去噪得到园林仿真模型；

4、步骤s02、水平方向分区：根据园林俯视图和乔木种类识别模型，识别出园林中的乔木类型，将仿真模型按照乔木种类划分为不同区域；

5、步骤s03、数据调用：根据环境信息从数据库中调用乔木的特征信息和乔木冠层模型，得到乔木树冠半径r与树高h、乔木冠层高度h的关系系数；

6、步骤s04、分层检测乔木：利用切片工具对园林仿真模型进行冠层分离，按照从高到低的顺序，利用乔木数量检测模型检测得到乔木数量，所述乔木数量检测模型用于检测紧邻区域中乔木的数量，先得到紧邻区域中包括的顶点s，记为{s1，s2，...，sn}，每个顶点的高度记为{h1，h2，...hn}，乔木树冠半径r与树高的关系满足r＝(wmax-wmin)·h，其中w表示乔木树冠半径与乔木树高的系数，所述系数与乔木种类有关，满足w∈(wmax-wmin)，根据乔木树冠半径r判断树冠点云的归属，若树冠点云落入紧邻的乔木的半径中，通过增加形状指数z区分单棵乔木和乔木分支，z满足，其中c表示点云凸起的周长，a1表示树冠点云凸起的面积，若z的值越大表示凸起部分的形状越长，即点云凸起部分属于邻近乔木，不计为乔木；

7、步骤s05、统计与展示：统计不同区域的乔木数量，所有区域内的乔木数量之和为园林中乔木的数量。

8、在一个优选地实施方式中，步骤s01中，所述无人机航拍基于无人机倾斜摄影和三维激光点云融合技术，所述无人机倾斜摄影是在同一无人机上同时搭载多台传感器，以一垂直、四倾斜的5个不同的角度同时进行影像采集，最终获取园林乔木的顶面及侧面的三维建模数据；所述三维激光点云是在无人机上搭载三维激光扫描仪采集得到园林乔木的点云数据，利用vis视觉追踪技术及imu惯导多种传感器，实现多站点云自动拼接，最后将三维模型和点云数据融合，得到园林的仿真图像。

9、在一个优选地实施方式中，所述多站点云自动拼接用于将不同扫描坐标系统柜转换到同一坐标系中，设有点云集合e、f,m(z1,y1,z1)∈e,n(x2,y2,z2)∈f,m,n分别为同一点在不同扫描坐标系下的坐标，满足如下公式：其中r表示旋转正交矩阵，t为平移矩阵。

10、在一个优选地实施方式中，步骤s02中，所述乔木识别模型基于神经网络算法识别乔木类型，乔木识别模型的构建包括下列步骤：

11、步骤s11、图像样本标记：首先采集得到不同气候、不同种类乔木的树冠图像，然后在采集的样本中标记乔木的种类，最后将标记乔木种的图像样本按照8:2的比例划分为训练集和验证集；

12、步骤s12、图像特征提取：将训练集的图像样本输入神经网络的输入层中，以两组卷积核和池化层为基础，最后接一个全连接层对上层提取到的特征进行权重叠加并分类，从图像中识别出乔木种类；

13、步骤s13、模型训练和验证：使用训练集训练乔木特征识别模型，得到模型参数；使用验证集验证乔木识别模型的识别准确率，最终得到乔木识别模型。

14、在一个优选地实施方式中，步骤s03中，所述乔木冠层高度h通过仿真模型和点云分布得到，包括下列步骤：

15、步骤s21、对图像进行预处理，增强树冠顶的分辨率，尽量减少非顶点像元的数量，例如通过使用中值滤波简化冠形，降低图像噪声；

16、步骤s22、将局部最大滤波器应用于图像，获取准确局部最大值的关键在于设置一个准确合理的移动窗口范围，移动窗口根据性质可以选择固定窗口或可变窗口，根据形状可以选择正方形或圆形，窗口的选择与研究对象树冠大小密切相关；

17、步骤s23、使用固定大小的滑动滤波器提取乔木冠层高度的最大值，生成最大值图像中的像素值为对应窗口范围内乔木冠层高度的最大值，然后将最大值图像与原始乔木冠层高度进行掩码，将与原始树冠值不一致的所有像元的值设置为零。

18、在一个优选地实施方式中，步骤s04中，所述树冠点云凸起的面积a1的计算方式为：先得到邻近乔木顶点s1和s2，得到乔木s1和s2的最小半径和最大半径；将最小半径和最大半径三等分，得到四组等分值，即树冠点云凸起的面积存在4×4种情况；分别计算16种情况下的面积a1，将面积a1代入公式中计算z值，最后取平方平均值，判断平方平均值的数值是否满足阈值，若满足阈值，则该树冠点云凸起不计为乔木。

19、为实现上述目的，本发明提供如下技术方案：一种基于无人机航拍的园林乔木数量智能检测方法的系统，所述系统包括无人机航拍模块、仿真模型搭建模块、乔木数量检测模块、统计显示模块、检测结果评估模块、数据存储模块，所述无人机航拍模块用于采集园林上方的图像信息，并将采集的信息传输至仿真模型搭建模块，包括无人机倾斜摄影采集单元和三维激光点云采集单元；所述仿真模型搭建模块基于无人机航拍模块采集的数据搭建三维建模和点云融合的仿真模型，包括图像样本标记单元、图像特征提取单元、模型训练与验证单元、冠层分离单元，冠层分离单元用于对园林仿真模型进行冠层分离，并将分离后的冠层传输至乔木数量检测模块；所述乔木数量检测模块用于检测冠层中乔木数量，判断紧邻区域中是否存在乔木，得到不同区间内乔木数量，并将乔木数量传输至统计显示模块，包括乔木种类识别单元和分区数量检测单元；所述统计显示模块用于统计不同高度区间的乔木数量，求和得到园林内的乔木数量，利用单位面积内的数量展示乔木密度，用不同颜色显示区域内园林乔木的密度，并将检测结果传输至检测结果评估模块；所述检测结果评估模块包括仿真模型评估单元和乔木数量检测评估单元；所述数据存储模块与无人机航拍模块、仿真模型搭建模块、乔木数量检测模块、统计显示模块相连，用于存储园林乔木检测中的原始数据和统计数据。

20、在一个优选地实施方式中，所述仿真模型准确性评估单元用于评估仿真模型中乔木位置信息与实际位置信息的偏差，满足其中x1、y1表示乔木在仿真模型中的坐标，z1表示乔木在仿真模型中的高度，d表示仿真模型的准确性，其中w表示乔木高度的加权系数取0.4-0.9。

21、在一个优选地实施方式中，所述乔木数量检测精准度评估单元用于验证乔木数量检测模型的精确性f，将验证集输入模型中，得到识别结果，将检测结果与人工统计得到的实际情况进行对比得到召回率r，正确率p，模型识别的精确性用f表示，f可描述如下其中β如果取1，表示正确率p与召回率r一样重要；β如果取小于1，表示正确率p比召回率r重要；β如果取大于1，表示召回率r比正确率p重要，精确性满足预设值时，判断模型可正常使用。

22、本发明的技术效果和优点：

23、本发明通过倾斜摄影和三维点云融合建立园林的仿真模型，采用分区和分层的方式将园林中乔木按照乔木种类和乔木冠层进行分层、分区，通过计算每层、每区中的乔木数量，最后求和得到乔木的总数量，通过提供一种区分单棵乔木和乔木分支的方法，提高邻近区域内乔木数量检测的精确性。