玉米雄穗的检测方法、装置及检测设备与流程

本发明涉及图像处理以及农业气象观测交叉的
技术领域：
，具体涉及一种玉米雄穗的检测方法、装置及检测设备。
背景技术：
：玉米是我国主要的粮食作物之一，有着广泛的种植面积。为了提高玉米的产量和品质，需要对其生长发育进程进行了解，并分析其生长发育与气候、土壤肥力之间的关系，从而可以更好的为玉米的生长发育提供良好的生长条件。玉米抽雄期标志着玉米由营养生长转向生殖生长，是决定玉米产量最关键的时期，玉米雄穗是玉米抽雄期的重要标志，判断图像中是否含有雄穗是判断玉米是否进入抽雄期的主要依据。长期以来，对玉米的发育期及生长情况观测主要通过人工的方式，该方法受观测员的主观因素影响较大，且浪费大量的人力和物力。因此，通过实时采集的图像，借助图像处理技术，对其发育期进行自动的观测就显得尤为重要。现有技术中，对于玉米雄穗的检测一般是基于待检测图像的颜色进行图像分割，即利用待检测图像的颜色特征进行玉米雄穗的检测。然而，该技术方案仅能够在特定光照与单一背景下进行检测，对于变化的自然光以及大田环境下，该方法容易将非玉米雄穗确定为玉米雄穗，误检率较高。技术实现要素：有鉴于此，本发明实施例提供了一种玉米雄穗的检测方法、装置及检测设备，以解决现有技术中玉米雄穗检测方法的误检率高的问题。根据第一方面，本发明实施例提供了一种玉米雄穗的检测方法，包括：获取待检测玉米图像；将所述待检测玉米图像输入预设网络模型；其中，所述预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的；所述卷积神经网络包括至少一层卷积层、至少一层激活层、至少一层池化层以及至少一层全连接层；基于所述预设网络模型，对所述待检测玉米图像中的所述玉米雄穗进行检测；输出检测效果图像。本发明实施例提供的玉米雄穗的检测方法，以实际采集的农田下视图玉米雄穗的样本图像为对象，利用样本图像中玉米雄穗的图像特征，建立预设网络模型，基于玉米雄穗的图像特征检测的预设网络模型能够准确检测出待检测玉米图像中玉米的雄穗，极大地降低了玉米雄穗的误检率。结合第一方面，在第一方面第一实施方式中，所述激活层的激活函数为：其中，p＝ωx+b；式中，x为所述卷积层的运算结果，ω为权重，b为偏置项。本发明实施例提供的玉米雄穗的检测方法，其中，所设置的激活函数减少了正常梯度与单位自然梯度之间的差距，加快了学习效率；此外，在负的限制条件下，具有较高的鲁棒性，能够提高预设网络模型的检测精度。结合第一方面，在第一方面第二实施方式中，所述预设网络模型采用如下步骤得到：初始化所述卷积神经网络的参数；其中，所述参数包括每次训练所述样本图像的预设数量、权重初始值、衰减学习率的初始值以及最大迭代次数；向初始化后的所述卷积神经网络中输入预设数量的所述样本图像；采用随机梯度下降优化算法更新所述权重；判断当前迭代次数是否达到所述最大迭代次数；当当前迭代次数未达到所述最大迭代次数时，更新所述衰减学习率，再次执行所述采用随机梯度下降优化算法更新权重的步骤。结合第一方面第二实施方式，在第一方面第三实施方式中，采用如下公式更新所述衰减学习率：α＝α0×e-k(t-1)；其中，α为更新后的所述衰减学习率，α0为所述衰减学习率的初始值，k为常数，t为所述当前迭代次数。本发明实施例提供的玉米雄穗的检测方法，通过设置一个随着迭代次数的增加而不断减小的学习率，能够提高学习的效率。结合第一方面，在第一方面第四实施方式中，所述检测效果图像中标注有所述玉米雄穗的位置信息以及对应的置信度。本发明是海水里提供的玉米雄穗的检测方法，通过在检测效果图像中标注出玉米雄穗的位置以及置信度，具有较高的可视化效果。结合第一方面第四实施方式，在第一方面第五实施方式中，基于所述预设网络模型，对所述待检测玉米图像中的所述玉米雄穗进行检测，包括：利用softmax分类器，计算所述置信度；利用边框回归器，标注所述玉米雄穗的位置信息；其中，所述位置信息表示为：(xi,yi,li,wi)；其中，(xi,yi)为所述待检测玉米图像中第i个玉米雄穗左上角的坐标，li、wi分别为所述待检测玉米图像中第i个玉米雄穗占的像素的长和宽。结合第一方面，在第一方面第六实施方式中，所述卷积神经网络包括两层卷积层、两层激活层、两层池化层以及一层全连接层；所述卷积层中过滤器的尺寸为5×5，步长为1；所述池化层中过滤器的尺寸为2×2，步长为1。根据第二方面，本发明实施例还提供了一种玉米雄穗的检测装置，包括：获取模块，用于获取待检测玉米图像；输入模块，用于将所述待检测玉米图像输入预设网络模型；其中，所述预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的；所述卷积神经网络包括至少一层卷积层、至少一层激活层、至少一层池化层以及至少一层全连接层；检测模块，用于基于所述预设网络模型，对所述待检测玉米图像中的所述玉米雄穗进行检测；输出模块，用于输出检测效果图像。本发明实施例提供的玉米雄穗的检测装置，以实际采集的农田下视图玉米雄穗的样本图像为对象，利用样本图像中玉米雄穗的图像特征，建立预设网络模型，基于玉米雄穗的图像特征检测的预设网络模型能够准确检测出待检测玉米图像中玉米的雄穗，极大地降低了玉米雄穗的误检率。根据第三方面，本发明实施例还提供了一种检测设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述第一方面，或第一方面任一实施方式中所述的玉米雄穗的检测方法。根据第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面，或第一方面任一实施方式中所述的玉米雄穗的检测方法。附图说明为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本发明实施例的玉米雄穗的检测方法的流程图；图2是根据本发明实施例的卷积神经网络的基本框图；图3是根据本发明实施例的玉米雄穗的检测方法的流程图；图4是根据本发明实施例的预设网络模型的构建方法的流程图；图5是根据本发明实施例的卷积神经网络的框架；图6是根据本发明实施例的样本图像的示意图；图7是根据本发明实施例的带标注信息的样本图像的示意图；图8是根据本发明实施例的卷积层过滤器的示意图；图9是根据本发明实施例的池化示意图；图10是根据本发明实施例的玉米雄穗的检测方法的流程图；图11是根据本发明实施例的检测效果图；图12是根据本发明实施例的玉米雄穗的检测装置的结构框图；图13是根据本发明实施例的玉米雄穗的检测装置的结构框图；图14是本发明实施例提供的检测设备的硬件结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。根据本发明实施例，提供了一种玉米雄穗的检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中提供了一种玉米雄穗的检测方法，可用于上述的检测设备中，图1是根据本发明实施例的玉米雄穗的检测方法的流程图，如图1所示，该流程包括如下步骤：s11，获取待检测玉米图像。其中，需要实时确认农田内的玉米是否进入抽雄期，则该待检测玉米图像可以是通过夹设在农田内的图像采集设备实时采集的待检测玉米图像，并回传给检测设备进行后续的检测的；若不需要实时确认农田内的玉米是否进入抽雄期，则待检测玉米图像可以是存储在检测设备内，也可以是从外界获取的等等；只需保证检测设备能够根据检测需求，获取到待检测玉米图像即可。s12，将待检测玉米图像输入预设网络模型。其中，预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的；卷积神经网络包括至少一层卷积层、至少一层激活层、至少一层池化层以及至少一层全连接层。具体地，玉米雄穗的样本图像可以是在不同的生长环境、不同的玉米品种以及不同的田间环境下获得的。其中，玉米雄穗的样本图像可以是仅包含有雄穗的样本图像，也可以是在从田间采集的玉米图像，再进行目视解译，对玉米图像中的雄穗进行画框标注，标注框的记录信息可表示为(xp,yp,lp,wp)；其中，(xp,yp)为玉米图像中第i个玉米雄穗左上角的坐标，lp、wp分别为玉米图像中第p个玉米雄穗占的像素的长和宽，具体的标注信息可以以xml文件形式记录。此外，卷积神经网络的基本框图如图2所示，包括至少一层卷积层(c1、c2)、至少一层激活层、至少一层池化层(s1、s2)以及至少一层全连接层(v)。其中，该卷积神经网络用于对输入的样本图像进行学习，输出为基于样本图像的特征进行分类的结果。其中，卷积层负责卷积运算，用于提取特征；池化层负责池化，减少运算量，防止特征过拟合；在该卷积神经网络的末端连接有全连接层，输出节点个数就是分类目标的个数。卷积神经网络利用玉米雄穗的样本图像进行训练，以调节卷积神经网络的控制参数。通过采集不同的生长环境、不同的玉米品种以及不同的田间环境下的样本图像，能够保证训练得到的预设网络模型具有较好的适用性，即通过训练调整卷积神经网络连接中的权重，使得输出跟真实值尽可能的接近；后续针对不同类型的待检测玉米图像在后续进行玉米雄穗的检测中，都可以输出误检率低的检测效果图像。s13，基于预设网络模型，对待检测玉米图像中的玉米雄穗进行检测。在得到预设网络模型之后，将待检测玉米图像输入至该预设网络模型，预设网络模型就能够对待检测玉米图像进行检测，以得到检测效果图像。s14，输出检测效果图像。其中，检测效果图像可以是在待检测图像的基础上，标注出玉米雄穗的位置；也可以是在标注出玉米雄穗的位置的基础上，还标注出每个玉米雄穗的置信度等等。具体输出的检测效果图像可以是根据实际情况进行设置。本实施例提供的玉米雄穗的检测方法，以实际采集的农田下视图玉米雄穗的样本图像为对象，利用样本图像中玉米雄穗的图像特征，建立预设网络模型，基于玉米雄穗的图像特征检测的预设网络模型能够准确检测出待检测玉米图像中玉米的雄穗，极大地降低了玉米雄穗的误检率。本发明实施例还提供了一种玉米雄穗的检测方法，可用于上述的检测设备中，图3是根据本发明实施例的玉米雄穗的检测方法的流程图，如图3所示，该流程包括如下步骤：s21，获取待检测玉米图像。详细请参见图1所示实施例的s11，在此不再赘述。s22，将待检测玉米图像输入预设网络模型。其中，预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的；卷积神经网络包括至少一层卷积层、至少一层激活层、至少一层池化层以及至少一层全连接层。在卷积神经网络设置有激活层，而激活函数的作用是能够给卷积神经网络加入一些非线性因素，使得卷积神经网络可以更好地解决较为复杂的问题。在本实施例中，激活层的激活函数为：其中，p＝ωx+b；式中，x为卷积层的运算结果，ω为权重，b为偏置项。卷积层在对输入的样本图像进行卷积运算之后，加上偏置项在经过激活函数运算之后，输出结果f(p)再输入至池化层进行池化运算。其中，预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的，具体地，如图4所示，所述预设网络模型采用如下步骤得到：(1)初始化卷积神经网络的参数。其中，所述参数包括每次训练所述样本图像的预设数量、权重初始值、衰减学习率的初始值以及最大迭代次数。例如，所构造的卷积神经网络的框架如图5所示，该卷积神经网络包括两层卷积层(c1以及c2)、两层激活层、两层池化层(s1以及s2)以及一层全连接层。每次训练样本图像的预设数量batch＿size＝24，衰减学习率的初始值α0＝0.01，最大迭代次数tmax＝50000。(2)向初始化后的卷积神经网络中输入预设数量的样本图像。例如，向图5中输入的样本图像的尺寸是300×300，其中，原始样本图像如图6所示，对原始样本图像进行玉米雄穗的标注，标注结果如图7所示，每个玉米雄穗对应于一个标注框。具体标注框的标注请参见图1所示实施例的s12的相关描述，在此不再赘述。(3)采用随机梯度下降优化算法更新权重。其中，所构造的卷积神经网络中卷积层中过滤器的尺寸为5×5，步长为1；池化层中过滤器的尺寸为2×2，步长为1。卷积层、池化层以及全连接层的详细描述如下表所示：类型过滤器的尺寸输出卷积层c15×56×294×294池化层s12×26×148×148卷积层c25×514×144×144池化层s22×214×72×72全连接层/14具体地，卷积层中过滤器的大小决定了卷积神经网络中神经元感受视野的大小，选择过小，难以提取有效的区域特征；选择过大，增加了复杂度，超过了过滤器的标识能力。因此，在本实施例中，针对玉米雄穗的检测，卷积层的过滤器的尺寸设置为5×5且步长为1时，具有最优的特征解析能力。可选地，卷积层中过滤器如图8所示。池化层的操作进一步降低了输出数据量，获得更低维度的特征，减少运算量，防止特征过拟合。可选地，如图9所示，池化层采用平均值采样，过滤器的尺寸为2×2且步长为1，输出为四个像素点的均值。在每次迭代时，采用随机梯度下降优化算法更新卷积神经网络中的连接权重，以使得训练得到的预设网络模型的输出跟真实值尽可能的接近。(4)判断当前迭代次数是否达到最大迭代次数。在利用玉米雄穗的样本图像进行训练过程中，迭代次数是作为训练结束的节点，当当前迭代次数为达到最大迭代次数时，执行步骤(5)，否则，表示当前迭代次数达到最大迭代次数，训练结束，保存训练得到的预设网络模型。(5)当当前迭代次数未达到最大迭代次数时，更新衰减学习率，再次执行所述采用随机梯度下降优化算法更新权重的步骤。具体地，当当前迭代次数未达到最大迭代次数时，表示对玉米雄穗的样本图像训练还未结束，需要在更新衰减学习率之后，继续对权重进行更新。采用如下公式更新所述衰减学习率：α＝α0×e-k(t-1)；其中，α为更新后的所述衰减学习率，α0为所述衰减学习率的初始值，k为常数，t为所述当前迭代次数。可选地，k＝0.005。s23，基于预设网络模型，对待检测玉米图像中的玉米雄穗进行检测。详细请参见图1所示实施例的s13，在此不再赘述。s24，输出检测效果图像。详细请参见图1所示实施例的s14，在此不再赘述。与图1所示实施例相比，本实施例提供的玉米雄穗的检测方法这种设置的激活函数减少了正常梯度与单位自然梯度之间的差距，加快了学习效率；此外，在负的限制条件下，具有较高的鲁棒性，能够提高预设网络模型的检测精度。本发明实施例还提供了一种玉米雄穗的检测方法，可用于上述的检测设备中，图10是根据本发明实施例的玉米雄穗的检测方法的流程图，如图8所示，该流程包括如下步骤：s31，获取待检测玉米图像。详细请参见图3所示实施例的s21，在此不再赘述。s32，将待检测玉米图像输入预设网络模型。其中，预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的；卷积神经网络包括至少一层卷积层、至少一层激活层、至少一层池化层以及至少一层全连接层。详细请参见图3所示实施例的s22，在此不再赘述。s33，基于预设网络模型，对待检测玉米图像中的玉米雄穗进行检测。其中，后续输出的检测效果图像中标注有玉米雄穗的位置信息以及对应的置信度。利用预设网络模型对待检测图像进行检测时，计算对所识别出的玉米雄穗进行置信度的标注。具体地，包括如下步骤：s331，利用softmax分类器，计算置信度。结合图2以及图5，预设网络模型的输出为对待检测图像进行特征分类，在本实施例中，是对待检测图像中的雄穗进行分类的。在输出时，可以利用计算类别的概率函数softmax，计算玉米雄穗的置信度。s332，利用边框回归器，标注玉米雄穗的位置信息。其中，位置信息表示为：(xi,yi,li,wi)；(xi,yi)为待检测玉米图像中第i个玉米雄穗左上角的坐标，li、wi分别为待检测玉米图像中第i个玉米雄穗占的像素的长和宽。可选地，在进行玉米雄穗的位置信息标注时，可以标注出候选区域，然后再利用梯度下降算法对候选区域进行调整，例如可以利用bbox回归器标注玉米雄穗的位置信息。s34，输出检测效果图像。检测设备在检测完成之后，输出的检测效果图像如图11所示，在待检测图像的基础上，标注出玉米雄穗的位置信息，以及每个玉米雄穗的置信度。与图3所示实施例相比，本实施例提供的玉米雄穗的检测方法，通过在检测效果图像中标注出玉米雄穗的位置以及置信度，具有较高的可视化效果。在本实施例中还提供了一种玉米雄穗的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。本实施例提供一种玉米雄穗的检测装置，如图12所示，包括：获取模块41，用于获取待检测玉米图像。输入模块42，用于将待检测玉米图像输入预设网络模型。其中，所述预设网络模型是利用卷积神经网络训练若干玉米雄穗的样本图像得到的；所述卷积神经网络包括至少一层卷积层、至少一层激活层、至少一层池化层以及至少一层全连接层。检测模块43，用于基于预设网络模型，对待检测玉米图像中的玉米雄穗进行检测。输出模块44，用于输出检测效果图像。本实施例提供的玉米雄穗的检测装置，以实际采集的农田下视图玉米雄穗的样本图像为对象，利用样本图像中玉米雄穗的图像特征，建立预设网络模型，基于玉米雄穗的图像特征检测的预设网络模型能够准确检测出待检测玉米图像中玉米的雄穗，极大地降低了玉米雄穗的误检率。作为本实施例的一种可选实施方式，其中，激活层的激活函数为：其中，p＝ωx+b；式中，x为所述卷积层的运算结果，ω为权重，b为偏置项。作为本实施例的另一种可选实施方式，如图13所述，其中，检测模块43，包括：计算单元431，用于利用softmax分类器，计算置信度。标注单元432，用于利用边框回归器，标注玉米雄穗的位置信息；其中，所述位置信息表示为：(xi,yi,li,wi)；其中，(xi,yi)为所述待检测玉米图像中第i个玉米雄穗左上角的坐标，li、wi分别为所述待检测玉米图像中第i个玉米雄穗占的像素的长和宽。本实施例中的玉米雄穗的检测装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。本发明实施例还提供一种检测设备，具有上述图12或图13所示的玉米雄穗的检测装置。请参阅图14，图14是本发明可选实施例提供的一种检测设备的结构示意图，如图14所示，该检测设备可以包括：至少一个处理器51，例如cpu(centralprocessingunit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(display)、键盘(keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速ram存储器(randomaccessmemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non－volatilememory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图12或图13所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。其中，通信总线52可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，存储器54可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random－accessmemory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non－volatilememory)，例如快闪存储器(英文：flashmemory)，硬盘(英文：harddiskdrive，缩写：hdd)或固态硬盘(英文：solid－statedrive，缩写：ssd)；存储器54还可以包括上述种类的存储器的组合。其中，处理器51可以是中央处理器(英文：centralprocessingunit，缩写：cpu)，网络处理器(英文：networkprocessor，缩写：np)或者cpu和np的组合。其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application－specificintegratedcircuit，缩写：asic)，可编程逻辑器件(英文：programmablelogicdevice，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complexprogrammablelogicdevice，缩写：cpld)，现场可编程逻辑门阵列(英文：field－programmablegatearray，缩写：fpga)，通用阵列逻辑(英文：genericarraylogic，缩写：gal)或其任意组合。可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本申请图1、图3或图10所述实施例中所示的玉米雄穗的检测方法。本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的玉米雄穗的检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read－onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid－statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。当前第1页12