一种大豆全生育期生物量无损测量方法

1.本发明属于农业自动化领域，具体涉及一种大豆全生育期生物量无损测量方法及处理器。


背景技术：

2.大豆是我国重要的经济作物。快速、准确地监测大豆长势信息，对于大豆生长过程中实施精细化管理及产量预测具有重要意义。地上的生物量的积累动态反应了大豆的生长状态，与大豆的生长速度、健康状态、光能利用效率、产量及品质等都息息相关。现有技术中，通过传统的人工测量方法，必须在大田对大豆植株进行破坏性取样后带回实验室进行分析，整个过程耗时、费力、准确性低并且不能对大豆的整个生育时期进行连续性观测。


技术实现要素：

3.鉴于此，本发明目的在于提供一种大豆全生育期生物量无损测量方法。
4.发明人通过长期的探索和尝试，以及多次的实验和努力，不断的改革创新，为解决以上技术问题，本发明提供的技术方案是，提供了一种大豆全生育期生物量无损测量方法，包括：
5.获取每株大豆在每个生育时期的n张大豆图像，n为自然数，其中，n张大豆图像包括大豆的侧视图和顶视图；
6.将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征；
7.针对每株大豆，将侧视图的特征和顶视图的特征共同作为大豆的图像特征值；
8.对每株大豆所有的图像特征值进行筛选，以得到每株大豆的最优特征子集；
9.将每株大豆的最优特征子集中的图像特征值输入至预测模型中，以通过预测模型对每株大豆的生物量进行预测。
10.在本技术的实施例中，方法还包括对植株分割模型的训练步骤，训练步骤包括：获取多张大豆图像作为样本图像；从样本图像中筛选出符合预设标准的样本图像，并对筛选出的样本图像的图像大小进行调整；对调整后的样本图像中的植株所在区域进行标注；将标注后的样本图像输入至植株分割模型中，以对植株分割模型进行训练。
11.在本技术的实施例中，训练步骤还包括：将样本图像划分为训练集、测试集和验证集；在对调整后的样本图像中的植株所在区域进行标注之后，将调整后的样本图像和标注后的样本图像按照8：1：1的比例划分，以确定分为训练集、测试集和验证集中的样本图像；将数据转换为voc2007的数据格式，以对植株分割模型进行训练；首先使用voc 2012数据集对模型进行预训练，训练模型的特征提取能力。使用预训练获得的权重和训练集中的样本图像对植株分割模型进行正式训练。当模型在验证集上分割的结果不再变化，确定网络基本收敛，植株分割模型训练完毕，使用测试集中样本图片对植株分割模型进行评估。
12.在本技术的实施例中，正式训练包括第一训练阶段和第二训练阶段，第一训练阶
段是指冻结植株分割模型的主干特征提取网络，针对性的训练分类网络，第二训练阶段是指解冻特征提取网络，以对整个植株分割模型进行训练。
13.在本技术的实施例中，将所述样本图像包括的大豆为全生育时期时的样本图像随机划分至训练集、测试集和验证集；在本技术的实施例中，对每株大豆所有的图像特征值进行筛选，以得到每株大豆的最优特征子集包括：使用skleran库中的rfecv函数对每株大豆所有的图像特征值自动进行特征筛选，以从92个图像特征值中筛选出74个图像特征值，以确定每株大豆的最优特征子集。
14.在本技术的实施例中，植株分割模型为unet神经网络，将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征包括：对大豆图像进行预处理；将预处理后的大豆图像输入至unet神经网络以获得与每张大豆图像对应的二值图；针对每张大豆图像，将预处理后的大豆图像与大豆图像的二值图掩膜得到分割后的彩色图；将彩色图的颜色空间转化至his颜色空间，以i通道作为灰度图；分别提取每张二值图、精分割后的彩色图、灰度图的形态参数、颜色参数、纹理参数。
15.在本技术的实施例中，每张大豆图像的特征包括46个形态参数、12个颜色参数和34个纹理参数。
16.在本技术的实施例中，预测模型是通过multi-layer-perceptron(mlp)构建的。
17.本发明第二方面提供一种处理器，被配置成执行上述的大豆全生育期生物量无损测量方法。
18.上述大豆全生育期生物量无损测量方法，通过获取每株大豆在每个生育时期的n张大豆图像，n为自然数，其中，n张大豆图像包括大豆的侧视图和顶视图；将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征；针对每株大豆，将侧视图的特征和顶视图的特征共同作为大豆的图像特征值；对每株大豆所有的图像特征值进行筛选，以得到每株大豆的最优特征子集；将每株大豆的最优特征子集中的图像特征值输入至预测模型中，以通过预测模型对每株大豆的生物量进行预测。通过该方法，无需对大豆植株进行破坏，提高了测量效率，实现了大批量连续性动态测量。
附图说明
19.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
20.图1为一个实施例中大豆全生育期生物量无损测量方法的流程示意图；
21.图2为一个实施例中大豆全生育期生物量无损测量方法的方案示意图；
22.图3为一个实施例中针对单张大豆图像处理的流程示意图；
23.图4为一个实施例中针对单张大豆图像处理的效果示意图；
24.图5为大豆全生育期生物量无损测量方法中的训练结果图；
25.图6为大豆全生育期生物量无损测量方法中预测值与实测值之间的比较结果图；
26.图7示意性示出了根据本发明实施例的计算机设备的内部结构图。
具体实施方式
27.下面结合具体实施例进行说明。
28.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。
29.步骤101，获取每株大豆在每个生育时期的n张大豆图像，n为自然数，其中，n张大豆图像包括大豆的侧视图和顶视图。
30.步骤102，将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征。
31.步骤103，针对每株大豆，将侧视图的特征和顶视图的特征共同作为大豆的图像特征值。
32.步骤104，对每株大豆所有的图像特征值进行筛选，以得到每株大豆的最优特征子集。
33.步骤105，将每株大豆的最优特征子集中的图像特征值输入至预测模型中，以通过预测模型对每株大豆的生物量进行预测。
34.如图2所示，从大豆第一叶期开始，每个生育时期都对大豆植株进行图像采集，可用数码相机拍摄大豆侧视图，将大豆植株放在转盘上，固定相机位置，通过旋转固定角度拍摄图像，每株拍摄多张侧视图，另外在大豆植株顶部固定相机，用于垂直拍摄顶部照片，每个生育时期拍摄时相机固定后位置将不再改变，每次拍摄结束拍摄标尺，用于后期数据提取及校准。
35.因此，针对每株大豆，可以选择大豆在每个生育时期的n张大豆图像，其中，n张大豆图像包括大豆的侧视图和顶视图。具体地，n张大豆图像可以是6张大豆的侧视图加1张顶视图。然后，可以将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征。由于大豆图像中包括每株大豆的侧视图和顶视图，因此，针对每株大豆，可以将侧视图的特征和顶视图的特征共同作为大豆的图像特征值。进一步地，针对每株大豆，可以对该大豆的所有的图像特征值进行筛选，以得到每株大豆对应的最优特征子集。然后，可以将每株大豆的最优特征子集中的图像特征值输入至预测模型中，以通过预测模型对每株大豆的生物量进行预测，以此方式可以快速准确地确定出每株大豆的生物量。
36.在一个实施例中，对每株大豆所有的图像特征值进行筛选，以得到每株大豆的最优特征子集包括：使用skleran库中的rfecv函数对每株大豆所有的图像特征值自动进行特征筛选，以从92个图像特征值中筛选出74个图像特征值，以确定每株大豆的最优特征子集。
37.在对每株大豆所有的图像特征值进行筛选时，可以使用skleran库中的rfecv函数对每株大豆所有的图像特征值自动进行特征筛选，skleran库是一种编程语言中的机器学习库，rfecv函数是机器学习库中的一个函数，通过调用rfecv可以自动筛除与生物量相关性特别低的特征。在一个实施例中，每张大豆图像的特征包括46个形态参数、12个颜色参数和34个纹理参数。因此，通过rfecv可以自动筛除与生物量相关性特别低的特征，以从92个
图像特征值中筛选出74个图像特征值，以确定每株大豆的最优特征子集。
38.在一个实施例中，植株分割模型为unet神经网络，将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征包括：对大豆图像进行预处理；将预处理后的大豆图像输入至unet神经网络以获得与每张大豆图像对应的二值图；针对每张大豆图像，将预处理后的大豆图像与大豆图像的二值图掩膜得到分割后的彩色图；将彩色图的颜色空间转化至his颜色空间，以i通道作为灰度图；分别提取每张二值图、精分割后的彩色图、灰度图的形态参数、颜色参数、纹理参数。如图3所示，植株分割模型为unet神经网络，unet神经网络是影像处理中的分割网络，将大豆图像输入至植株分割模型，以通过植株分割模型提取出每张大豆图像的特征包括：对大豆图像进行预处理；将预处理后的大豆图像输入至unet神经网络以获得与每张大豆图像对应的二值图；在获得二值图后需对其进行结果评价，常见的评价方法有：交并比(iou)、精度(pa)、召回率(recall)，其中iou反映预测结果和真实结果的重合程度，pa反映图像中每个像素点被分类正确的概率，recall反映目标区域被正确识别的比例，具体计算公式为：针对每张大豆图像，将预处理后的大豆图像与大豆图像的二值图掩膜得到分割后的彩色图，具体计算公式为：
[0039][0040]
公式中，(x,y)为某一像素点的坐标，image_roi指经分割后的彩色图像，image_binary为unet输出的二值图像，image_orginal为原始彩色图像。image(x，y)为图像中坐标为(x，y)的像素点的值。将彩色图的颜色空间转化至his颜色空间，以i通道作为灰度图；灰度图的具体计算公式：分别提取每张二值图、精分割后的彩色图、灰度图的形态参数、颜色参数、纹理参数。无需对大豆植株进行破坏，提高了测量效率，实现了大批量连续性动态测量。
[0041]
在一个实施例中，植株分割模型可以采用unet神经网络，unet是全卷积神经网络的一种变形，是影像处理中的分割网络，unet神经网络需进行训练。对植株分割模型的训练步骤包括：获取多张大豆图像作为样本图像；从样本图像中筛选出符合预设标准的样本图像，并对筛选出的样本图像的图像大小进行调整；对调整后的样本图像中的植株所在区域进行标注；将标注后的样本图像输入至植株分割模型中，以对植株分割模型进行训练。
[0042]
具体地，在每个生育时期都对大豆植株进行图像采集。可用数码相机拍摄大豆侧视图，将大豆植株放在转盘上，固定相机位置，通过旋转固定角度拍摄图像，每株拍摄多张侧视图，另外在大豆植株顶部固定相机，用于垂直拍摄顶部照片，每个生育时期拍摄时相机固定后位置将不再改变，拍摄的图像可以作为样本图像。从样本图像中筛选出符合预设标准的样本图像。具体地是指从拍摄图像中筛选出具有代表性的图像作为样本，并对筛选出的样本图像的图像大小进行调整，将图像大小调整为1024*1024。对调整后的样本图像通过图像处理软件以像素点级精度标注图像，以标注出每株样本图像中大豆所在的区域。再将标注后的样本图像输入至植株分割模型中，以对植株分割模型进行训练。
[0043]
具体地，如图4所示，将预处理后的大豆植株图像输入unet网络可以得到一张二值
图，将预处理大豆植株图像与二值图掩膜就会得到一张精确分割后的彩色图。掩膜是将两张图叠加，通过运算只保留预处理图像中与二值图重合的区域，因此得到了一张精确分割后的彩色图。将彩色图的颜色空间转化至his颜色空间，以i通道作为灰度图。基于二值图、精分割后的彩色图、灰度图提取图像特征。再将大豆植株侧视图的特征和大豆植株顶视图的特征共同作为大豆的图像特征值。其中，图像特征包括：形态、颜色、纹理等，对每株大豆所有的图像特征值进行筛选，以得到每株大豆的最优特征子集；构建大豆生物量预测模型，将每株大豆的最优特征子集中的图像特征值输入至预测模型中，以通过预测模型对每株大豆的生物量进行预测。
[0044]
在一个实施例中，训练步骤还包括：将样本图像划分为训练集、测试集和验证集；在对调整后的样本图像中的植株所在区域进行标注之后，将调整后的样本图像和标注后的样本图像按照8：1：1的比例划分，以确定分别训练集、测试集和验证集中的样本图像；将数据转换为voc2007的数据格式，以对植株分割模型进行预训练；使用预训练获得的权重和训练集中的样本图像对植株分割模型进行正式训练；当模型在验证集上分割的结果不再变化，确定网络基本收敛，植株分割模型训练完毕。
[0045]
对植株分割模型进行训练时，具体地训练步骤包括将样本图像划分为训练集、测试集和验证集；在对调整后的样本图像中的植株所在区域进行标注之后，将调整后的样本图像和标注后的样本图像按照8：1：1的比例划分，以确定分为训练集、测试集和验证集中的样本图像；将数据转换为voc2007的数据格式，以对植株分割模型进行预训练；使用voc 2012数据集对模型进行预训练，训练模型的特征提取能力；使用预训练获得的权重和训练集中的样本图像对植株分割模型进行正式训练；当模型在验证集上分割的结果不再变化，确定网络基本收敛，植株分割模型训练完毕；使用测试集中样本图片对植株分割模型进行评估。
[0046]
在一个实施例中，正式训练包括第一训练阶段和第二训练阶段，第一训练阶段是指冻结植株分割模型的主干特征提取网络，针对性的训练分类网络，第二训练阶段是指解冻特征提取网络，以对整个植株分割模型进行训练。
[0047]
在本技术的实施例中，正式训练包括第一训练阶段和第二训练阶段，第一训练阶段是指冻结植株分割模型的主干特征提取网络，针对性的训练分类网络，第二训练阶段是指解冻特征提取网络，以对整个植株分割模型进行训练。具体地如图6所示，第一个阶段初始学习率为1*10-4，epoch为30，batchsize为2，学习率衰减为0.9。第二个阶段初始学习率为1*10-5，epoch为50，学习率衰减为0.95，batchsize为1，其中epoch为向前和向后传播中所有批次的单次训练迭代；batchsize为一次训练的样本数目。
[0048]
在一个实施例中，将所述样本图像包括的大豆为全生育时期时的样本图像随机划分至训练集、测试集和验证集；从大豆第一叶期开始，每个生育时期都对大豆植株进行图像采集，将采集的样本图像包括的大豆为全生育时期时的样本图像随机划分为训练集、测试集和验证集，分别获取测试集和训练集中最优特征子集，将测试集最优特征子集和训练集最优特征子集输入构建好的模型中。如图6所示，通过模型估测大豆全生育期生物量与手工实测值间的相关系数估测豆全生育期生物量准确性。
[0049]
在一个实施例中，每张大豆图像的特征包括46个形态参数、12个颜色参数和34个纹理参数。具体地，获取每株大豆每个生育时期的rgb图像，即可通过多重处理提取大豆植
株全生育期的图像特征，每张大豆图像的特征包括46个形态参数、12个颜色参数和34个纹理参数。
[0050]
在一个实施例中，预测模型是通过mlp构建的。其中，mlp包括8个隐藏层，每个隐藏层神经元数均为140，迭代次数为500次。其中，可以按照9：1随机划分训练集和测试集。在训练过程中采用十折交叉验证，观察模型在训练集上的表现，用测试集的评估结果作为最终模型预测结果，如图6所示。
[0051]
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述大豆全生育期生物量无损测量方法。
[0052]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器a01、网络接口a02、显示屏a04、输入装置a05和存储器(图中未示出)。其中，该计算机设备的处理器a01用于提供计算和控制能力。该计算机设备的存储器包括内存储器a03和非易失性存储介质a06。该非易失性存储介质a06存储有操作系统b01和计算机程序b02。该内存储器a03为非易失性存储介质a06中的操作系统b01和计算机程序b02的运行提供环境。该计算机设备的网络接口a02用于与外部的终端通过网络连接通信。该计算机程序被处理器a01执行时以实现一种订单处理方法。该计算机设备的显示屏a04可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置a05可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0053]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0054]
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0055]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0056]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0057]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0058]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0059]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0060]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0061]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0062]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0063]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。