一种阔叶树种苗表型测量方法、系统、设备及介质

本发明涉及植物表型测量，尤其涉及一种阔叶树种苗表型测量方法、系统、设备及介质。

背景技术：

1、植物表型是植株的可观察特征，反映了植物的形态、结构、生理和生化性。阔叶树是森林的重要组成部分，在维持森林结构、生产力和生态系统服务方面发挥着至关重要的作用。阔叶树种苗的高度、地径、冠幅、冠层是阔叶树培育过程中的重要性状，对种苗的生长状况监测和优势植株的筛选具有重要的参考意义。

2、传统的种苗高度、地径、冠幅、冠层数据的获取主要依靠人工测量获取，但其受到人为因素的影响较大并且效率低下。目前植株表型的自动测量方法大致可分为：(1)通过激光雷达获取植株三维点云信息进而获取植株株高、地径等信息；(2)通过深度相机的深度信息获取植株株高、地径等信息。但是激光雷达成本较高，一般用于较大植株的点云数据获取，对于种苗这类小目标物体的数据采集效果较差，容易出现种苗点云缺失现象，不适用于幼苗高度等表型获取工作。以及，深度相机获取深度图像时容易受到环境的影响，当光照不稳定时，获得深度图像的分辨率较低、噪声大、平均误差较大、测量值和真实值的拟合优度不够高，容易影响植株表型参数的计算。

3、因此，继续一种新型的阔叶树种苗表型测量方法，以精确、快速、无损、低成本地得到阔叶树种苗表型参数。

技术实现思路

1、本发明提供一种阔叶树种苗表型测量方法、系统、设备及介质，用以解决通过现有技术获得的种苗表型参数精确度低的缺陷。

2、本发明提供一种阔叶树种苗表型测量方法，包括：

3、获取阔叶树种苗的侧视图和顶视图；

4、根据阔叶树种苗的侧视图和顶视图，通过改进型unet模型对侧视图中的背景、枝干、叶片和对顶视图中的背景、叶片进行分割，得到侧视图中阔叶树种苗的掩膜以及顶视图中叶片的掩膜；

5、根据侧视图中阔叶树种苗的掩膜，利用hsv颜色阈值分割法对侧视图中的阔叶树种苗的叶片和枝干进行分离，得到只含有叶片掩膜的图像和只含有枝干掩膜的图像；

6、根据只含有枝干掩膜的图像，通过图像复原模型对枝干掩膜进行复原，得到含有完整枝干掩膜的图像；

7、根据含有完整枝干掩膜的图像，对完整枝干掩膜进行骨架化和去毛刺处理，得到阔叶树种苗的枝干、枝干中心线、枝干边界线，结合顶视图中叶片的掩膜和侧视图中只含有叶片掩膜的图像，得到阔叶树种苗表型参数的像素测量值，并利用参照物标定法对阔叶树种苗表型参数的像素测量值进行反演，得到阔叶树种苗表型参数的实际预测值，其中，阔叶树种苗表型参数包括以下任一项或其任意组合：株高、地径、冠层、冠幅。

8、根据本发明提供的一种阔叶树种苗表型测量方法，还包括：

9、对阔叶树种苗的侧视图和顶视图进行降噪处理，优选的，采用中值滤波法对阔叶树种苗的侧视图和顶视图进行降噪处理。

10、根据本发明提供的一种阔叶树种苗表型测量方法，改进型unet模型包括编码器、解码器、有效特征层、以及卷积注意力机制模块(cbam模块)，编码器的主干特征提取网络为改进后的vgg16深度卷积神经网络，改进后的vgg16深度卷积神经网络由5个卷积块和4个最大池化层组成，编码器由4组下采样层和卷积层组成，解码器由4组上采样层和卷积层组成，解码器的的卷积层参数与编码器的卷积层参数一致，卷积注意力机制模块嵌入于有效特征层中，且卷积注意力机制模块包括通道注意力模块和空间注意力模块；

11、其中，通道注意力模块的表达式为：

12、

13、

14、通道注意力模块的表达式中，f*表示通道中新的特征图，f表示输入的特征图，mc(f)表示通道的重要性权重，表示进行元素级乘法运算，σ表示sigmoid函数，avgpool(f)表示对输入的特征图进行全局平均池化，maxpool(f)表示对输入的特征图进行全局最大池化，mlp表示多层感知机，和表示通道注意力模块对输入的特征图f的空间维度进行压缩，使用全局平均池化和全局最大池化来获取全局信息，然后将其输入到隐藏层和多层感知机组成的共享模型后获得的两个特征；

15、以及，空间注意力模块的表达式为：

16、

17、

18、空间注意力模块的表达式中，f**表示空间中新的特征图，f*表示通道中新的特征图，ms(f)表示空间的重要性权重，表示进行元素级乘法运算，σ表示sigmoid函数，avgpool(f)表示对输入的特征图进行全局平均池化，maxpool(f)表示对输入的特征图进行全局最大池化，表示空间注意力模块基于特征通道对输入的特征图进行全局最大池化和全局平均池化，并将它们连接起来生成的有效特征描述符，f7×7表示将有效特征描述符与7×7卷积核进行卷积。

19、根据本发明提供的一种阔叶树种苗表型测量方法，所述根据侧视图中阔叶树种苗的掩膜，利用hsv颜色阈值分割法对侧视图中的阔叶树种苗的叶片和枝干进行分离，得到只含有叶片掩膜的图像和只含有枝干掩膜的图像，包括：

20、利用第一颜色区域表示侧视图中阔叶树种苗的掩膜的叶片部分，以及利用第二颜色区域表示侧视图中阔叶树种苗的掩膜的枝干部分；

21、根据第一颜色区域和第二颜色区域的颜色表示，在第一颜色区域和第二颜色区域中分别设置h通道(色相)、s通道(饱和度)、v通道(亮度)的颜色阈值范围，以分离侧视图中的阔叶树种苗的叶片和枝干，得到只含有叶片掩膜的图像和只含有枝干掩膜的图像。

22、根据本发明提供的一种阔叶树种苗表型测量方法，第一颜色区域优选为红色区域，第二颜色区域优选为绿色区域，所述在第一颜色区域和第二颜色区域中分别设置h通道、s通道、v通道的颜色阈值范围，包括：

23、设置第一颜色区域的h通道的颜色阈值范围为[0，10]和[156，180]，s通道的颜色阈值范围为[43，255]，v通道的颜色阈值范围为[46，255]；

24、设置第二颜色区域的h通道的颜色阈值范围为[35，77]，s通道的颜色阈值范围为[43，255]，v通道的颜色阈值范围为[46，255]。

25、根据本发明提供的一种阔叶树种苗表型测量方法，所述根据只含有枝干掩膜的图像，通过图像复原模型对枝干掩膜进行复原，得到含有完整枝干掩膜的图像，包括：

26、对只含有枝干掩膜的样本图像进行数据增强；

27、利用数据增强后的只含有枝干掩膜的样本图像，训练图像复原模型，使得图像复原模型可对枝干掩膜进行复原，以得到含有完整枝干掩膜的图像；

28、优选的，图像复原模型为生成对抗网络模型。

29、根据本发明提供的一种阔叶树种苗表型测量方法，所述根据含有完整枝干掩膜的图像，对完整枝干掩膜进行骨架化和去毛刺处理，得到阔叶树种苗的枝干、枝干中心线、枝干边界线，结合顶视图中叶片的掩膜和侧视图中只含有叶片掩膜的图像，得到阔叶树种苗表型参数的像素测量值，并利用参照物标定法对阔叶树种苗表型参数的像素测量值进行反演，得到阔叶树种苗表型参数的实际预测值，包括：

30、通过zhang&suen骨架算法对完整枝干掩膜进行骨架化和去毛刺处理，得到阔叶树种苗的枝干、枝干中心线、枝干边界线；

31、根据阔叶树种苗的枝干，得到阔叶树种苗底部沿枝干到其顶部的像素长度，并利用参照物标定法对像素长度进行反演，得到阔叶树种苗的株高的实际预测值；

32、根据阔叶树种苗的枝干中心线，通过像素点测量找到枝干中心线上距离地面1cm处的点m，并以点m为基准点得到枝干法线，找到枝干法线与枝干边界线的交点p和交点q，得到交点p和交点q之间的像素距离，并利用参照物标定法对像素距离进行反演，得到阔叶树种苗的地径的实际预测值；

33、根据顶视图中叶片的掩膜和侧视图中只含有叶片掩膜的图像，得到阔叶树种苗的正射投影像素面积和侧面叶片投影像素面积，并利用参照物标定法对正射投影像素面积和侧面叶片投影像素面积进行反演，得到阔叶树种苗的冠幅和冠层的实际预测值。

34、根据本发明提供的一种阔叶树种苗表型测量方法，zhang&suen骨架算法的迭代过程包括：

35、循环完整枝干掩膜中的所有前景像素点，对符合式(1)、(2)、(3)的像素点点进行删除；

36、循环完整枝干掩膜中的所有前景像素点，对符合式(1)、(2)、(4)的像素点点进行删除；

37、循环上述两个步骤，直到两个步骤中均没有像素可被删除为止，即得到完整枝干掩膜的二值图像细化后的枝干骨架；

38、其中，式(1)为：

39、2≤n(p1)≤6

40、式(2)为：

41、s(p1)＝1

42、式(3)为：

43、p2*p4*p6＝0,p4*p6*p8＝0

44、式(4)为：

45、p2*p4*p8＝0,p2*p6*p8＝0

46、式(1)-(4)中，p1-p9为像素图(3×3的像素窗口)中的9个像素，n(p1)表示跟p1相邻的8个像素点中，为前景像素点的个数，s(p1)表示从p2～p9～p2像素中出现0～1的累计次数，其中0表示背景，1表示前景。

47、根据本发明提供的一种阔叶树种苗表型测量方法，枝干法线的计算式为：

48、

49、枝干法线的计算式中，k表示通过点m(x0，y0)的切线斜率，xi表示枝干法线上的点的横坐标，yi表示枝干法线上的点的纵坐标。

50、根据本发明提供的一种阔叶树种苗表型测量方法，交点p和交点q之间的像素距离的计算式为：

51、

52、交点p和交点q之间的像素距离的计算式中，d表示交点p(xp，yp)和交点q(xq，yq)之间的像素距离。

53、根据本发明提供的一种阔叶树种苗表型测量方法，所述利用参照物标定法对阔叶树种苗表型参数的像素测量值进行反演，包括：

54、利用参照物标定法，通过式(5)-(7)对阔叶树种苗表型参数的像素测量值进行反演；

55、其中，式(5)为：

56、

57、式(6)为：

58、

59、式(7)为：

60、

61、式(5)-(7)中，si、hi、di分别表示阔叶树种苗的投影面积、株高和地径的实际预测值，sj、hj、dj分别表示参照物的实际面积、高度和宽度，ti、tih、tidf分别表示阔叶树种苗图像的总像素数量、高度方向的总像素数量和宽度方向的总像素数量，tj、tjh、tjd分别表示参照物图像的总像素数量、高度方向的总像素数量和宽度方向的总像素数量。

62、本发明还提供一种阔叶树种苗表型测量系统，包括：

63、图像获取模块，用于：获取阔叶树种苗的侧视图和顶视图；

64、unet分割模块，用于：根据阔叶树种苗的侧视图和顶视图，通过改进型unet模型对侧视图中的背景、枝干、叶片和对顶视图中的背景、叶片进行分割，得到侧视图中阔叶树种苗的掩膜以及顶视图中叶片的掩膜；

65、hsv分割模块，用于：根据侧视图中阔叶树种苗的掩膜，利用hsv颜色阈值分割法对侧视图中的阔叶树种苗的叶片和枝干进行分离，得到只含有叶片掩膜的图像和只含有枝干掩膜的图像；

66、枝干复原模块，用于：根据只含有枝干掩膜的图像，通过图像复原模型对枝干掩膜进行复原，得到含有完整枝干掩膜的图像；

67、测量模块，用于：根据含有完整枝干掩膜的图像，对完整枝干掩膜进行骨架化和去毛刺处理，得到阔叶树种苗的枝干、枝干中心线、枝干边界线，结合顶视图中叶片的掩膜和侧视图中只含有叶片掩膜的图像，得到阔叶树种苗表型参数的像素测量值，并利用参照物标定法对阔叶树种苗表型参数的像素测量值进行反演，得到阔叶树种苗表型参数的实际预测值，其中，阔叶树种苗表型参数包括以下任一项或其任意组合：株高、地径、冠层、冠幅。

68、本发明还提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现上述任一种所述的阔叶树种苗表型测量方法。

69、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种所述的阔叶树种苗表型测量方法。

70、本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述任一种所述的阔叶树种苗表型测量方法。

71、本发明提供的一种阔叶树种苗表型测量方法、系统、设备及介质，使用改进后的vgg16深度卷积神经网络作为主干特征提取网络，将卷积块状注意力模块(cbam模块)融入unet网络模型，形成unet-vgg16-cbam模型(即改进型unet模型)，对阔叶树种苗的侧视图和顶视图进行分割；利用hsv阈值分割法对分割后的侧视图进行枝干和叶片分离，针对分离后枝干被叶片遮挡问题，使用pix2pixhd图像修复模型，对枝干缺失部分进行修补，实现了枝干复原，然后结合图像中标定物像素与实际尺寸的关系反演阔叶树种苗表型参数的实际预测值。

72、试验结果表明，改进型unet模型对阔叶树种苗侧视图中的枝干、叶片和顶视图中的叶片进行目标分割，其平均交并比(miou)值与原始unet模型相比分别提高了4.48％和2.54％，达到了87.95％和98.37％，平均像素准确率(mpa)达到了93.16％和99.24％；利用pix2pixhd图像修复模型对枝干进行复原，其ssim(结构相似性)和psnr(峰值信噪比)分别达到了98.5％和41.48db；通过对阔叶树表型参数测算，其株高、地径、冠幅和冠层的平均绝对百分比误差(mape)均保持在6％以内，r2均达到0.9以上。

73、研究结果表明，本发明提供的一种阔叶树种苗表型测量方法、系统、设备及介质，可以精确、快速、无损、低成本地从单幅图像中提取阔叶树种苗的支、叶区域并将枝干缺失部分复原，然后自动获取阔叶树种苗的高度、地径、冠幅和冠层数据，可为阔叶树种苗的培育和生长监测等研究提供有效的数据参考。