一种基于深度学习的植物病虫害数据集构建方法

本发明属于三维建模与深度学习，具体地说，是涉及一种基于深度学习的植物病虫害数据集构建方法。

背景技术：

1、随着城市现代化的发展，“城市规划与管理”、“城市美化”、“城市旅游开发”对城市绿化的需求越来越迫切，规模也越来越庞大。城市绿化植物的管理对城市美化和城市经济价值的影响日益增大。目前，城市绿化植物管理中很重要的一部分是植物的检测。传统的检测方法是人工检测，需要从业人员具备较高的专业知识，并且费时费力、效率低下。深度学习的发展使得植物的自动检测成为可能，特别是卷积神经网络的发展，使用图像检测实现端对端的自动检测为植物状态检测带来了巨大的便利。

2、图像检测在植物状态检测领域内的深度学习方法通常为监督学习方法，是一种从大量数据中抽取目标特征并通过数据拟合建立起目标特征与检测类型之间的非线性关系。因此城市绿化植物的检测需要提供大量的植物数据，并且需要保证数据具有一定的实时性。因为检测环境与时间的偏差过大，会导致检测精度的显著较低，影响使用。

3、现有对绿化植物状态检测网络的训练通常是采用长时拍摄图片并通过人为标注的方式获得训练数据。该方法在面对背景复杂且图像采集困难的环境下很难获得检测精度较高的检测模型。并且针对不同的检测性状需要独立采集，对于样本较少的检测性状需要人为干预培育和单独拍摄，所得训练样本的质量较差与环境的结合性不强。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的植物病虫害数据集构建方法，主要解决现有方法所得训练样本的质量较差与环境的结合性不强的问题。

2、为实现上述目的，本发明采用的技术方案如下：

3、一种基于深度学习的植物病虫害数据集构建方法，包括以下步骤：

4、s1，获取目标区域中待检测植物生长环境的几何模型建模数据；

5、s2，生成目标区域中待检测植物生长环境的几何模型；

6、s3，构建植物三维模型并通过贴图覆盖得到真实的植物模型；

7、s4，创建模型库并导入模型资源，优化模型存储和调度策略；

8、s5，构建三维虚拟训练平台，并对三维虚拟训练平台进行模型训练，保存迭代效果最好的模型参数；

9、s6，将保存的模型参数导入真实的植物模型，得到植物病虫害数据集仿真模型。

10、进一步地，在所述步骤s1中，使用航空倾斜摄影拍摄获取待建模区域的多视角倾斜航空影像，具体包括以下步骤：

11、s11，展开目标区域三维实景地图，记录周围建筑物高度，寻找最高高度作为无人机高程；

12、s12，记录建筑物各顶点坐标，设定无人机绕建筑飞行，以正视角航空摄影的图像作为选取依据，选取视野盲区最小的航向作为主航线，记录主航线；

13、s13，设置纵向航向重叠率为80％，设置旁向重叠率为80％的航线作为副航线，设置相机云台俯仰角度为-60°；

14、s14，无人机沿设定航线进行航拍，得到具有现场位置信息的图片文件。

15、进一步地，步骤s2具体包括以下步骤：

16、s21，将步骤s14中得到的图片文件导入三维实景建模软件中，进行照片位置信息读取；

17、s22，通过空中三角测量运算，对外方位元素缺失的位置信息进行补足，整合位置信息后生成图片位置和姿态的数据用来进行三维模型重建；

18、s23，根据s22中所获得的数据生成粗略的三维几何模型，针对各建筑物，将具有建筑物细节纹理映射到三维几何模型上；

19、s24，判断建筑物和对应的几何模型是否具有不清晰的纹理细节和映射错误，标记模糊的纹理部分和映射错误的部分；

20、s25，对标记的部位进行补拍，将取得的图片信息文件重新载入模型读取文件中进行模型的重构建。

21、进一步地，步骤s3具体包括以下步骤：

22、s31，通过人工建模辅以三维扫描的方式构建植物骨架模型，并对所获得的原始叶片模型进行调整；

23、s32，使用透明玻璃板将植物叶片压平后利用高精度相机捕获叶片表面纹理细节，并获取原始叶片贴图；

24、s33，将获取到的原始叶片贴图作为训练集训练生成式对抗网络，使用训练后的生成式对抗网络生成新的叶片贴图，记为扩充后的贴图；

25、s34，将原始贴图处理为透明底图，赋予模型基本的贴图材质，并通过采集到的纹理信息生成高度图，定义和渲染表面额外的大型凸起，随后用色深不同的线条纹理对原始贴图表面进行渲染，生成具有凹凸纹理和不同反光质感错觉效果的法线图；

26、s35，将扩充后的贴图和处理后的高度图和法线图载入cinema4d中，生成原始的颜色、反射、凹凸、法线材质属性，并对局部进行物理渲染；

27、s36，对扩充后的贴图进行裁剪，并记录贴图在叶片所处部位的位置信息；

28、s37，加载植物骨架模型、颜色、反射材质属性，使用具有位置信息的植物贴图，随机展平在植物骨架模型上，生成具有生物异变性的植物模型。

29、进一步地，步骤s4具体包括以下步骤：

30、s41，对步骤s37生成的植物模型进行切块，对切块后的模型进行编号，按坐标和编号进行索引存储；

31、s42，采用分布式并行计算的方式加载模型，防止模型运算时运存崩溃。

32、进一步地，在所述步骤s5中，所述三维虚拟训练平台为基于ue虚幻引擎搭建的训练平台，该训练平台包括植物模型数据库、环境模型数据库、事件调度和发生器、检测数据处理、图像标注和训练模型；其中，对三维虚拟训练平台进行模型训练的步骤如下：

33、s51，将模型数据从模型数据库中导出，并划定植物生成区和背景环境区域；

34、s52，构建事件调度和发生逻辑蓝图，构建基于c++的可视化脚本控制植物生成数量、植物生成区域以及背景环境参数和图片数据尺寸的环境参数；

35、s53，设计ui界面，包括测试数据生成与效果显示，图片数据保存和循环次数控制、循环间隔控制，以及环境参数显示和调节界面设计；

36、s54，检测数据处理和模型训练：加载训练网络，并将三维虚拟训练平台所生成的图片数据处理成模型要求的输入格式；

37、s55，对数据进行预处理操作，将三维虚拟训练平台生成的图像作为源数据导入图像标注和训练模型，在图像数据的生成阶段使用视口投影矩阵和图像变换矩阵，根据模型的实际坐标和相机坐标的变换生成目标样本的最小外接矩形坐标，并保存该坐标，通过该坐标生成标注数据。

38、与现有技术相比，本发明具有以下有益效果：

39、(1)本发明采用三维建模技术构建虚拟模型数据来代替传统的真实数据对网络进行训练，快速发展的实景三维建模技术使得三维模型具有较高的真实感和丰富的细节纹理信息。并且经过优化后的实景建模方法，可以高效的构建出符合实际检测环境的训练数据集，显著降低数据中的背景偏差所带来的影响。基于实景三维建模技术和生成式对抗网络所构建的植物病虫害数据集对检测网络进行训练，不仅能降低训练周期，而且通过数据集自动处理功能能够大量节省网络训练的时间成本和人力成本。

40、(2)本发明在实景三维建模技术中所使用的倾斜摄影技术和实景贴图模型构建技术是平台构建的两大核心技术。航空倾斜摄影能够保证所构建的三维模型具有全局性，并且大大降低了模型的构建时间。使用实景贴图能够实现对局部细节的重现，最大程度的拟合真实数据。针对航空摄影测量中的近地数据丢失，实景贴图模型构建恰恰能较好的补足近地端丢失的影像数据。为了能较好的补足植物样本中的生物异变性，在植物模型构建端使用了生成式对抗网络扩充采集到的植物贴图。随后通过扩充后的贴图和植物三维模型生成实景植物模型。该数据集构建方法工作量小，成本低且周期短，可广泛应用于城市绿化植物状态检测中。