一种植物生长信息监测方法

1.本发明涉及植物监测技术领域，具体为一种植物生长信息监测方法。


背景技术：

2.众所周知，植物的生长受多种因素的影响，尤其是对于农作物来说，合适的生长环境对植物起着积极的作用。而获取植物的生长信息，诊断它们的生长状态，分析其营养信息，研究植物的生理生态规律，这对于进行植物生理研究以及指导农业生产种植具有重要的意义。
3.长期以来，无论是农民种植还是实验田等对植物生长信息进行监控基本是进行现场观察，这样的分辨方法不能得出植物在各个阶段准确清楚的生长信息。


技术实现要素：

4.本发明的目的是：针对现有技术中不能得出植物在各个阶段准确清楚的生长信息的问题，提出一种植物生长信息监测方法。
5.本发明为了解决上述技术问题采取的技术方案是：
6.一种植物生长信息监测方法，包括训练步骤以及监测步骤：
7.所述训练步骤具体为：
8.训练模型1：
9.针对被监测植物，获取被监测植物图像，并对图像中被监测植物的茎以及被监测植物正向叶片图像进行标记，最后利用被监测植物图像为输入、标记后的图像为输出训练神经网络，得到训练好的模型1；
10.训练模型2：
11.针对被监测植物，根据历史数据得到被监测植物茎的长度与对应叶片的数量，并利用被监测植物茎的长度作为输入、对应叶片的数量作为输出训练神经网络，得到训练好的模型2；
12.训练模型3：
13.根据历史数据得到被监测植物的叶面积指数以及该叶面积指数下植物的生长率，并以叶面积指数为输入、该叶面积指数下植物的生长率作为输出训练神经网络，得到训练好的模型3；
14.所述监测步骤为：
15.步骤一：获取被监测植物所占土地面积以及所占土地内被测植物的数量，之后根据所占土地面积以及所占土地内被测植物的数量得到单株被监测植物所占土地面积的均值；
16.步骤二：获取待识别的被监测植物图像，并将待识别的被监测植物图像输入模型1，得到被监测植物图像中被监测植物的茎以及被监测植物正向叶片图像；
17.步骤三：根据拍摄相机的内参，得到待识别的被监测植物图像中每个被监测植物
叶片正向图像的面积，并得到被监测植物图像中所有叶片正向图像面积的均值；
18.步骤四：根据拍摄相机的内参，得到待识别的被监测植物图像中被监测植物茎的长度，并将被监测植物茎的长度输入模型2，得到对应叶片的数量；
19.步骤五：将步骤三得到的每个被监测植物叶片正向图像面积的均值与步骤四得到的对应叶片的数量相乘，得到单株植物所有叶片的面积和；
20.步骤六：根据单株植物所有叶片的面积和和步骤一中得到的所占土地面积的均值得到叶面积指数；
21.步骤七：将步骤六中得到的叶面积指数输入模型3，得到生长率，进而实现植物生长信息监测。
22.进一步的，所述被监测植物正向叶片图像进行标记的具体步骤为：
23.步骤1：获取待检测图像，并将待检测图像进行压缩，得到压缩后的图像；
24.步骤2：将压缩后的图像输入训练好的目标检测网络进行叶片检测；
25.所述目标检测网络的训练过程为：
26.步骤21：获取原始图像，并得到原始图像的压缩图像；
27.步骤22：将原始图像和压缩图像分别进行特征提取，得到原始图像特征图和压缩图像特征图，并利用检测网络对原始图像进行检测，得到原始图像中的类别预测值；
28.步骤23：利用feature map蒸馏对原始图像特征图和压缩图像特征图进行处理，得到与原始图像特征图分布相似的压缩图像特征图；
29.步骤24：利用与原始图像特征图分布相似的压缩图像特征图替换原始压缩图像特征图，并利用检测网络得到压缩图像中物体的位置和类别预测值；
30.步骤25：利用logit蒸馏对原始图像中的类别预测值以及步骤24中得到的类别预测值进行处理，得到靠近原始图像中的类别预测值的类别预测值；
31.步骤26：利用原始图像的压缩图像作为输入、步骤24中得到的压缩图像中物体的位置以及与靠近原始图像中的类别预测值的类别预测值作为输出训练目标检测网络。
32.进一步的，所述logit蒸馏的损失函数表示为：
[0033][0034]
其中，代表softmax函数，代表超参数温度，p
t
和ps分别代表教师和学生的类别预测值，kl代表kl散度。
[0035]
进一步的，所述feature map蒸馏的损失函数表示为：
[0036][0037]
其中，f
t
和fs代表教师和学生网络中resnet50的输出特征图，l代表resnet50的卷积层层数，c，h，w分别代表特征图的通道数，高度和宽度，f代表特征图对齐操作，l、c、h和w代表特征图的初始通道。
[0038]
进一步的，还包括对步骤二中得到的被监测植物正向叶片图像进行修复的步骤，具体为：
[0039]
步骤二一：针对破损正向叶片图像，将叶片图像中破损部分所占区域进行提取，得
到mask图；
[0040]
步骤二二：对mask图进行膨胀处理；
[0041]
步骤二三：对膨胀处理后的mask图中的破损区域进行修复，进而得到修复好的叶片图像。
[0042]
进一步的，若步骤二一中并未提取到破损区域，则该叶片为轮廓缺失叶片，将该叶片按非正向叶片图像进行处理。
[0043]
进一步的，所述步骤3中对mask图中的白色区域进行修复的具体步骤为：
[0044]
先将膨胀后的mask图取反，然后和破损叶片图像点乘，得到带有mask的彩色图像，之后将带有mask的彩色图像和膨胀后的mask图基于通道进行叠加，得到一个4通道的图片，最后将4通道的图片输入lama模型中；
[0045]
所述4通道的图片在lama模型中首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样，输出修复后的叶片图像；
[0046]
其中，在快速傅立叶卷积处理的过程中，将输入tensor基于通道分为2部分分别通过local分支和global分支，所述local分支用于提取局部信息，所述global分支用于利用快速傅立叶卷积提取全局信息；
[0047]
最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到叶片破损区域的新灰度信息，即修复后的区域。
[0048]
本发明的有益效果是：
[0049]
本技术解决了传统靠肉眼来分辨湿地植物在各个阶段的生长信息准确率低的问题，本技术通过叶面积指数对植物的生长信息进行判断，本技术结合了神经网络，使得对植物监测时的速度提升，本技术实现了对植物生长情况进行连续的监测，极大地提升了监测效率，避免了人为的目测植物的生长状况，监测效率低、费时费力的问题。
附图说明
[0050]
图1为茎长和叶片数量示意图。
具体实施方式
[0051]
需要特别说明的是，在不冲突的情况下，本技术公开的各个实施方式之间可以相互组合。
[0052]
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种植物生长信息监测方法，包括训练步骤以及监测步骤：
[0053]
所述训练步骤具体为：
[0054]
训练模型1：
[0055]
针对被监测植物，获取被监测植物图像，并对图像中被监测植物的茎以及被监测植物正向叶片图像进行标记，最后利用被监测植物图像为输入、标记后的图像为输出训练神经网络，得到训练好的模型1；
[0056]
本技术首先训练模型1，利用被监测植物图像以及标记后的被监测植物的茎以及被监测植物正向叶片图像进行训练，使得待测图像输入模型1后可以得到该图像中的被监测植物的茎以及被监测植物正向叶片。
[0057]
训练模型2：
[0058]
针对被监测植物，根据历史数据得到被监测植物茎的长度与对应叶片的数量，并利用被监测植物茎的长度作为输入、对应叶片的数量作为输出训练神经网络，得到训练好的模型2；
[0059]
模型2是根据历史数据进行训练的，目的是为了使得模型1输出的被监测植物的茎并利用相机内参得到的实际被监测植物茎的长度输入模型2中，可以得到对应的叶片数量，实际上，茎长反应的也是植物的生长信息，而本技术则是通过该生长率下，茎长对应的叶片数量得到叶面积指数的。模型2的数据如图1所示。
[0060]
训练模型3：
[0061]
根据历史数据得到被监测植物的叶面积指数以及该叶面积指数下植物的生长率，并以叶面积指数为输入、该叶面积指数下植物的生长率作为输出训练神经网络，得到训练好的模型3；
[0062]
模型3是根据各叶面积指数下植物的生长率来对植物的生长率进行监测的。
[0063]
所述监测步骤为：
[0064]
步骤一：获取被监测植物所占土地面积以及所占土地内被测植物的数量，之后根据所占土地面积以及所占土地内被测植物的数量得到单株被监测植物所占土地面积的均值；
[0065]
步骤二：获取待识别的被监测植物图像，并将待识别的被监测植物图像输入模型1，得到被监测植物图像中被监测植物的茎以及被监测植物正向叶片图像；
[0066]
步骤三：根据拍摄相机的内参，得到待识别的被监测植物图像中每个被监测植物叶片正向图像的面积，并得到每个被监测植物叶片正向图像面积的均值；
[0067]
步骤四：根据拍摄相机的内参，得到待识别的被监测植物图像中被监测植物茎的长度，并将被监测植物茎的长度输入模型2，得到对应叶片的数量；
[0068]
步骤五：将步骤三得到的每个被监测植物叶片正向图像面积的均值与步骤四得到的对应叶片的数量相乘，得到所有叶片的面积和；
[0069]
步骤六：根据所有叶片的面积和和步骤一中得到的所占土地面积的均值得到叶面积指数；
[0070]
步骤七：将步骤六中得到的叶面积指数输入模型3，得到生长率，进而实现植物生长信息监测。
[0071]
叶面积指数(leafarea index)又叫叶面积系数，是指单位土地面积上植物叶片总面积占土地面积的倍数。即：叶面积指数＝叶片总面积/土地面积。在田间试验中，叶面积指数(lai)是反映植物群体生长状况的一个重要指标，其大小直接与最终产量高低密切相关。
[0072]
本技术首先通过相机获取被监测植物的图像，根据相机的内参可以得到图像中各植物部分的实际大小。
[0073]
本技术获取的图像中包括各种方向以及何种姿态的叶片图像，本技术仅识别当前图像中的正向叶片，并获取正向叶片面积的均值。对叶片进行图像获取时，由于叶片数量多，叶片的图像是各种各样的，不利于叶片图像的提取。本技术首先根据历史数据得到植物的茎长和对应叶片的数量，以此训练神经网络，然后获取每张图像中正向的叶片，并得到图像中正向叶片面积的均值，以此减少误差，并且解决了一张图像中叶片正向面积不容易得
到的问题。
[0074]
具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述被监测植物正向叶片图像进行标记的具体步骤为：
[0075]
步骤1：获取待检测图像，并将待检测图像进行压缩，得到压缩后的图像；
[0076]
步骤2：将压缩后的图像输入训练好的目标检测网络进行叶片检测；
[0077]
所述目标检测网络的训练过程为：
[0078]
步骤21：获取原始图像，并得到原始图像的压缩图像；
[0079]
步骤22：将原始图像和压缩图像分别进行特征提取，得到原始图像特征图和压缩图像特征图，并利用检测网络对原始图像进行检测，得到原始图像中的类别预测值；
[0080]
步骤23：利用feature map蒸馏对原始图像特征图和压缩图像特征图进行处理，得到与原始图像特征图分布相似的压缩图像特征图；
[0081]
步骤24：利用与原始图像特征图分布相似的压缩图像特征图替换原始压缩图像特征图，并利用检测网络得到压缩图像中物体的位置和类别预测值；
[0082]
步骤25：利用logit蒸馏对原始图像中的类别预测值以及步骤24中得到的类别预测值进行处理，得到靠近原始图像中的类别预测值的类别预测值(这里实际上就是知识蒸馏的作用，使得预测值逐渐接近，进而完成教师网络对学生网络的“教导”)；
[0083]
步骤26：利用原始图像的压缩图像作为输入、步骤24中得到的压缩图像中物体的位置以及与靠近原始图像中的类别预测值的类别预测值作为输出训练目标检测网络。
[0084]
本技术利用了知识蒸馏，其中目标检测网络为本技术训练得到的学生网络，而步骤22中的检测网络为教师网络。
[0085]
传统网络是利用原始尺寸图像进行的，计算量非常大，而利用缩略图进行的话又会损失特征信息。因此，本技术虽然利用缩略图进行计算，但是本技术还利用知识蒸馏保留特征信息，这样既能提升计算效率，也能避免特征缺失造成的准确率下降。
[0086]
具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是所述logit蒸馏的损失函数表示为：
[0087][0088]
其中，代表softmax函数，代表超参数温度，p
t
和ps分别代表教师和学生的类别预测值，kl代表kl散度。
[0089]
具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是所述feature map蒸馏的损失函数表示为：
[0090][0091]
其中，f
t
和fs代表教师和学生网络中resnet50的输出特征图，l代表resnet50的卷积层层数，c，h，w分别代表特征图的通道数，高度和宽度，f代表特征图对齐操作，l、c、h和w代表特征图的初始通道。
[0092]
具体实施方式五：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是还包括对步骤二中得到的被监测植物正向叶片图像进行修复的
步骤，具体为：
[0093]
步骤二一：针对破损正向叶片图像，将叶片图像中破损部分所占区域进行提取，得到mask图；
[0094]
步骤二二：对mask图进行膨胀处理；
[0095]
步骤二三：对膨胀处理后的mask图中的破损区域进行修复，进而得到修复好的叶片图像。
[0096]
具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是若步骤二一中并未提取到破损区域，则该叶片为轮廓缺失叶片，将该叶片按非正向叶片图像进行处理。
[0097]
本技术的目的是通过得到正向叶片面积的均值以及历史同期单株植物叶片的数量得到叶片总面积。针对破损的图像，有两种情况，一种是叶片中间破损，但轮廓完好，这种情况可以通过具体实施方式五中的方案进行破损区域提取。第二种情况是叶片的轮廓缺失，这种情况则将该叶片删除，因为本技术是为了得到正向叶片的均值，轮廓缺失的叶片会使得到的均值有误差，因此将该叶片删除，减少误差。
[0098]
具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是所述步骤3中对mask图中的白色区域进行修复的具体步骤为：
[0099]
先将膨胀后的mask图取反，然后和破损叶片图像点乘，得到带有mask的彩色图像，之后将带有mask的彩色图像和膨胀后的mask图基于通道进行叠加，得到一个4通道的图片，最后将4通道的图片输入lama模型中；
[0100]
所述4通道的图片在lama模型中首先进行下采样操作，然后经过快速傅立叶卷积处理，最后再上采样，输出修复后的去红框图像；
[0101]
其中，在快速傅立叶卷积处理的过程中，将输入tensor基于通道分为2部分分别通过local分支和global分支，所述local分支用于提取局部信息，所述global分支用于利用快速傅立叶卷积提取全局信息；
[0102]
最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到叶片破损区域的新灰度信息，即修复后的区域。
[0103]
对原始图像rgb进行红框提取得到mask图。进行红框提取有rgb通道直接提取与hsv颜色空间提取两种方式。红色通道中灰度值明显特征，设置阈值th即可大致提取红框所在区域为白色的mask图；先将原始图像rgb转换到hsv颜色空间，然后在hsv空间按照红色阈值范围内进行红色像素的掩模构造即得到了红框的位置。hsv虽然无法清晰分割出红框，但是提取红框的位置却是非常准确的，虽然显示红色不完善而且模糊，但是它的好处是不会把非红色内容显示出来。
[0104]
对mask图膨胀得膨胀mask图。膨胀就是求局部最大值的操作，核b与图形卷积，即计算核b覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增长。膨胀mask图中包含完整的红框区域。
[0105]
对膨胀mask图中的白色区域用图像处理方式或深度学习方式进行修复。图像处理方式采用fmm算法。深度学习方式采用lama模型。经修复后的彩色图像经颜色空间转换为灰度图像即可用于训练。
[0106]
图像处理方式修复去红框采用fmm算法。fmm算法基于的思想是，先处理待修复区
域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点。对于需要修复的一个点p，我们需要的是用该点邻域中的所有点计算p点的新灰度值，用权值函数来决定哪些像素的值对新像素值影响更大，哪些比较小。用快速行进方法fast marching method(fmm)决定修复像素点的顺序。
[0107]
本技术基于待修复图像在红框在红色通道中灰度值明显特征，设置阈值th即可大致提取红框所在区域为白色的mask图；经大核形态学膨胀后得到用于最终lama待修复的训练掩码mask。lama的主要创新点为：提出一种新的修复网络结构，使用快速傅立叶卷积，具有图像宽接收域，高感受野感知损失，较大的训练掩码(mask)，可以有效提升前两个组件的性能潜力。其可以很好地泛化到比训练时更高的分辨率图像，以较低的参数量和计算成本实现与基准相媲美的性能。
[0108]
lama算法主要思想：1.使用快速傅立叶卷积(ffc)增大感受野来提升图像修复的质量；2.ffc中的偏置使得网络泛化性更好(低分辨率图片训练也能对高分辨率图片进行修复)；3.使用较大的mask进行训练，进一步提升网络的性能。lama模型架构为：其包含一个mask的黑白图，一张原始图像；将掩码图覆盖图像后输入inpainting网络中，先是降采样到低分辨率，再经过几个快速傅里叶卷积ffc残差块，最后输出上采样，生成了一张高分辨的修复图像。ffc的这一特性提高了感知质量和网络参数效率。ffc的归纳偏好使得网络能够得到高分辨率，这在训练期间是不存在的。ffc减少了所需的训练数据量和计算量。
[0109]
实施例：
[0110]
获取被测植物所占的土地面积，因本技术所针对的是单株植物，所以这里得到的是单株植物所占的土地面积的均值。若实施时所针对的是多株植物，也可通过本技术的技术方案得到多株植物的叶面积指数，进而得到多株植物的生长率。
[0111]
下面针对单株植物进行说明：首先获取被测植物的图像，然后利用模型1得到图像中茎的图像，并根据相机内参可以得到实际被检测植物的茎长为10厘米，之后将茎长输入模型2得到历史同期，相同生长率情况下叶片的数量为30片。被测植物的图像中正向叶片的数量为6片，其中破损，但轮廓完好的为2片，轮廓缺失的为1片，因此，修复后得到5片正向叶片。5片正向叶片的面积和为140cm2，则叶片面积均值为28cm2。单株植物所占土地面积为900cm2。则28cm2×
30为叶片面积和，面积和与所占土地面积的比值即为叶面积指数。最后根据模型3得到生长率。
[0112]
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。