冬小麦穗密度检测方法及装置与流程

本发明实施例涉及系统工程和信息技术领域，尤其涉及一种冬小麦穗密度检测方法及装置。

背景技术：

冬小麦穗密度是冬小麦估产和表型分析的一个重要指标，具有重要的实际意义。传统的穗密度计算方法主要依靠人工计数，该方法不但需要消耗大量的人力、物力，并且效率较低，不能满足于大面积产量估算和表型分析的需求。基于计算机视觉的穗密度估算方法具有低成本、易使用的优点，是目前最主要的穗密度估算手段。基于计算机视觉的穗密度估算方法主要包括以下几个步骤：麦穗分割、二值图形态学优化和计算连通域数量，进而得到图像中麦穗的数量。麦穗图像分割是基于计算机视觉的穗密度估算方法的核心内容，通常基于麦穗的颜色和纹理等底层特征进行像素级或超像素级的麦穗提取。

由于大田环境下采集的冬小麦冠层图像易受到光照条件和复杂背景的干扰，基于底层特征的麦穗图像分割准确率易受噪声干扰，且泛化能力较低，难以在实际应用中取得良好的效果。除此之外，大田环境采集的冬小麦冠层图像中穗密度较高，从而麦穗相互遮挡相对严重，且麦穗尺寸和形状变化较大，给穗密度估算带来了挑战。如何克服光照条件和复杂背景的影响，解决当前穗密度估算方法易受到噪声干扰，且对麦穗重叠和麦穗外观变化较大等问题，实现穗密度的准确估算，是亟待解决的问题。

技术实现要素：

本发明实施例提供一种冬小麦穗密度检测方法及装置，用于解决现有技术中的上述技术问题。

为了解决上述技术问题，一方面，本发明实施例提供一种冬小麦穗密度检测方法，包括：

获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图；

将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图；

根据所述子密度图确定冬小麦穗密度；

其中，所述卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

进一步地，所述根据所述子密度图确定冬小麦穗密度，具体包括：

根据所述卷积神经网络模型中池化层的数量，计算子密度图位置索引；

根据所述子密度图位置索引将输出的子密度图融合，得到穗密度图；

根据所述穗密度图确定冬小麦穗密度。

进一步地，所述卷积神经网络模型的训练过程包括如下步骤：

获取冬小麦开花期后的样本冠层图像；

采用点标记记录麦穗的位置信息；

根据麦穗的位置信息，生成样本的穗密度图；

采用滑动窗口将样本冠层图像及其对应的穗密度图划分为若干个样本子图及对应的子密度图；

利用所述若干个样本子图及对应的子密度图对卷积神经网络进行训练，得到所述卷积神经网络模型。

进一步地，所述麦穗的位置信息为麦穗中心点在图像中的坐标。

进一步地，所述根据麦穗的位置信息，生成样本的穗密度图，具体包括：

根据麦穗的位置信息，采用几何自适应方法生成样本的穗密度图。

进一步地，所述利用所述若干个样本子图及对应的子密度图对卷积神经网络进行训练，得到所述卷积神经网络模型，具体包括：

将所述若干个样本子图及对应的子密度图作为卷积神经网络模型的输入层；

构建卷积神经网络模型的特征提取器；

以及，依次连接所述输入层、所述特征提取器、用于将所述特征提取器的输出结果融合的叠加层和用于融合叠加层中多个通道的输出层，完成卷积神经网络模型的建立。

进一步地，所述特征提取器中包括并行的四个处理模块，每个处理模块中均包括依次连接的三个处理单元。

进一步地，每一处理模块的第一个处理单元中均包括依次连接的卷积层、修正线性单元relu层和池化层；第二个处理单元中均包含不少于3个依次连接的卷积层和修正线性单元relu层，且仅第一个修正线性单元relu层后连接一个池化层，第三个处理单元中均包含不少于3个依次连接的卷积层和修正线性单元relu层；

其中，每个处理单元中的各卷积层中的卷积核的尺寸保持不变，第二个处理单元中的各卷积层中的卷积核的数量以2为乘数依次递增，第三个处理单元中的各卷积层中的卷积核的数量以0.5为乘数依次递减，第二个处理单元中的卷积层数量与第三个处理单元中的卷积层数量相等，第一个处理单元中的卷积层中的卷积核的尺寸大于第二个处理单元中的各卷积层中的卷积核的尺寸，第二个处理单元中的卷积层中的卷积核的尺寸大于第三个处理单元中的各卷积层中的卷积核的尺寸。

进一步地，每一处理模块的第一个处理单元中的卷积层中的卷积核的尺寸依次递减。

另一方面，本发明实施例提供一种冬小麦穗密度检测装置，其特征在于，包括：

获取模块，用于获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图；

输出模块，用于将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图；

检测模块，用于根据所述子密度图确定冬小麦穗密度；

其中，所述卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

本发明实施例提供的冬小麦穗密度检测方法及装置，利用人工智能技术进行检测，自动化程度高，能够有效减少穗密度估算的人工干预，降低应用成本和复杂程度，有效提高冬小麦穗密度估算的准确性和实时性。

附图说明

图1为本发明实施例提供的冬小麦穗密度检测方法示意图；

图2为本发明实施例提供的冬小麦穗密度检测逻辑流程图；

图3为本发明实施例提供的冬小麦穗密度检测装置示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的冬小麦穗密度检测方法示意图，如图1所示，本发明实施例提供一种冬小麦穗密度检测方法，其执行主体为冬小麦穗密度检测装置。该方法包括：

步骤s101、获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图。

具体来说，图2为本发明实施例提供的冬小麦穗密度检测逻辑流程图，如图2所示，首先，获取冬小麦开花期后的待检测冠层图像，并将该待检测冠层图像划分成若干个待检测子图。

例如，可采用2500×2500×3像素大小采集待检测冠层图像，以600×600像素大小，300像素步长的滑动窗口将该待检测冠层图像划分成若干个待检测子图。

将该待检测冠层图像划分成若干个待检测子图的同时，记录待检测子图的位置索引。

待检测子图的位置索引，包括：待检测子图左上角像素点在待检测图像中的坐标，可利用第一公式提取：

其中，第一公式为：

index(i,j)＝i(i,j)

index(i,j)为第i个待检测图像第j个子图的索引，i(i,j)为第i个待检测图像第j个子图左上角像素点在该待检测图像中的坐标。

步骤s102、将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图。

具体来说，在获取若干个待检测子图之后，将若干个待检测子图输入至卷积神经网络模型，输出子密度图。

其中，该卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

步骤s103、根据所述子密度图确定冬小麦穗密度。

具体来说，在得到子密度图之后，根据该子密度图确定冬小麦穗密度。

本发明实施例提供的冬小麦穗密度检测方法，利用人工智能技术进行检测，自动化程度高，能够有效减少穗密度估算的人工干预，降低应用成本和复杂程度，有效提高冬小麦穗密度估算的准确性和实时性。

基于上述任一实施例，进一步地，所述根据所述子密度图确定冬小麦穗密度，具体包括：

根据所述卷积神经网络模型中池化层的数量，计算子密度图位置索引；

根据所述子密度图位置索引将输出的子密度图融合，得到穗密度图；

根据所述穗密度图确定冬小麦穗密度。

具体来说，在本发明实施例中，根据子密度图确定冬小麦穗密度，具体包括如下步骤：

首先，根据卷积神经网络模型中池化层的数量，计算子密度图位置索引。

其中，计算待检测子密度图位置索引，首先利用第二公式提取修正因子，再利用第三公式提取该待检测子密度图的位置索引；

其中，所述第二公式为：

f为修正因子，n为所述卷积神经网络中池化层的个数。

所述第三公式为：

index_m(i,j)＝f*index(i,j)

index(i,j)为第i个待检测图像第j个子图的索引，index_m(i,j)为第i个待检测图像第j个子密度图的索引。

然后，根据所述子密度图位置索引将输出的子密度图融合，得到穗密度图。

最后，根据所述穗密度图确定冬小麦穗密度。

本发明实施例提供的冬小麦穗密度检测方法，利用人工智能技术进行检测，自动化程度高，能够有效减少穗密度估算的人工干预，降低应用成本和复杂程度，有效提高冬小麦穗密度估算的准确性和实时性。

基于上述任一实施例，进一步地，所述卷积神经网络模型的训练过程包括如下步骤：

获取冬小麦开花期后的样本冠层图像；

采用点标记记录麦穗的位置信息；

根据麦穗的位置信息，生成样本的穗密度图；

采用滑动窗口将样本冠层图像及其对应的穗密度图划分为若干个样本子图及对应的子密度图；

利用所述若干个样本子图及对应的子密度图对卷积神经网络进行训练，得到所述卷积神经网络模型。

具体来说，首先获取大田环境采集的冬小麦开花期后的冠层图像作为样本。

获取样本冠层图像后，还可以进行预处理，所述预处理为调整样本冠层图像的尺寸，例如，调整到2500×2500×3像素。

然后，采用点标记记录麦穗的位置信息。

在具体应用中，优选地，所述麦穗的位置信息，包括：麦穗中心点在图像中的坐标。

然后，根据麦穗的位置信息，生成样本的穗密度图。

其中，所述样本的穗密度图采用几何自适应方法生成。

然后，采用滑动窗口将样本冠层图像及其对应的穗密度图划分为若干个样本子图及对应的子密度图。

可采用600×600像素大小，300像素步长的滑动窗口样本图像及其对应的穗密度图划分为子图及对应的子密度图。

最后，利用所述若干个样本子图及对应的子密度图对卷积神经网络进行训练，得到所述卷积神经网络模型。

在具体应用中，优选地，卷积神经网络结构包括1个输入层、1个特征提取器、1个叠加层和1个输出层。特征提取器中包括并行的4个处理模块，每个处理模块中均包括依次连接的3个处理单元。

在具体应用中，优选地，第1处理模块的第1个处理单元包括1个卷积层，1个修正线性单元relu层和1个池化层。其中，卷积层中采用了8个11×11的卷积核，池化层采用2×2的最大池化函数；第2个处理单元包括3个卷积层，3个修正线性单元relu层和1个池化层。其中，卷积层中均采用9×9的卷积核，数量分别为16，32和64，池化层位于第一个修正线性单元relu层之后，采用2×2的最大池化函数；第3个处理单元包括3个卷积层。其中，卷积层中均采用1×1的卷积核，数量分别为32，16和8。

在具体应用中，优选地，第2处理模块的第1个处理单元包括1个卷积层，1个修正线性单元relu层和1个池化层。其中，卷积层中采用了16个9×9的卷积核，池化层采用2×2的最大池化函数；第2个处理单元包括3个卷积层，3个修正线性单元relu层和1个池化层。其中，卷积层中均采用7×7的卷积核，数量分别为32，64和128，池化层位于第一个修正线性单元relu层之后，采用2×2的最大池化函数；第3个处理单元包括3个卷积层。其中，卷积层中均采用1×1的卷积核，数量分别为64，32和16。

在具体应用中，优选地，第3处理模块的第1个处理单元包括1个卷积层，1个修正线性单元relu层和1个池化层。其中，卷积层中采用了32个7×7的卷积核，池化层采用2×2的最大池化函数；第2个处理单元包括3个卷积层，3个修正线性单元relu层和1个池化层。其中，卷积层中均采用5×5的卷积核，数量分别为64，128和256，池化层位于第一个修正线性单元relu层之后，采用2×2的最大池化函数；第3个处理单元包括3个卷积层。其中，卷积层中均采用1×1的卷积核，数量分别为128，64和32。

在具体应用中，优选地，第4处理模块的第1个处理单元包括1个卷积层，1个修正线性单元relu层和1个池化层。其中，卷积层中采用了64个5×5的卷积核，池化层采用2×2的最大池化函数；第2个处理单元包括3个卷积层，3个修正线性单元relu层和1个池化层。其中，卷积层中均采用3×3的卷积核，数量分别为128，256和512，池化层位于第一个修正线性单元relu层之后，采用2×2的最大池化函数；第3个处理单元包括3个卷积层。其中，卷积层中均采用1×1的卷积核，数量分别为256，128和64。

在具体应用中，优选地，叠加层将4个处理模块结果的特征图叠加；输出层包括1个卷积层，采用1个1×1的卷积核将叠加层输出的特征图融合，从而输出穗密度图。

本发明实施例提供的冬小麦穗密度检测方法，通过将大田环境采集的冬小麦开花期后的冠层图像进行预处理，将预处理后的图像分为样本集和待检测集，并采用点标记记录麦穗的位置信息；根据麦穗位置信息，生成样本集图像的穗密度图；采用滑动窗口，将冬小麦冠层图像及其对应的穗密度图划分为子图及对应的子密度图，将待检测集图像划分为子图，记录待检测集子图的位置索引；将样本集子图及对应的子密度图数据作为模型的输入，构建用于估算穗密度的卷积神经网络模型，并采用自适应性矩估计算法进行模型训练和验证；采用待检测集子图进行测试，得到待检测集子密度图；根据卷积神经网络模型中池化层的数量，计算待检测集子密度图位置索引；根据待检测集子密度图位置索引将生成的待检测集子密度图融合，得到待检测集图像穗密度图，进一步得到对应的穗密度。能够有效减少穗密度估算的人工干预，降低应用成本和复杂程度，有效提高冬小麦穗密度估算的准确性和实时性。本发明与图像处理、深度学习等计数结合的基础上，会在冬小麦穗密度估算方面有很大的贡献。

基于上述任一实施例，图3为本发明实施例提供的冬小麦穗密度检测装置示意图，如图3所示，本发明实施例提供一种冬小麦穗密度检测装置，包括获取模块301、输出模块302和检测模块303，其中：

获取模块301用于获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图；输出模块302用于将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图；检测模块303用于根据所述子密度图确定冬小麦穗密度；其中，所述卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

本发明实施例提供一种冬小麦穗密度检测装置，用于执行上述任一实施例中所述的方法，通过本实施例提供的装置执行上述某一实施例中所述的方法的具体步骤与上述相应实施例相同，此处不再赘述。

本发明实施例提供的冬小麦穗密度检测装置，利用人工智能技术进行检测，自动化程度高，能够有效减少穗密度估算的人工干预，降低应用成本和复杂程度，有效提高冬小麦穗密度估算的准确性和实时性。

图4为本发明实施例提供的电子设备的结构示意图，如图4所示，该电子设备包括：处理器(processor)401、通信接口(communicationsinterface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401和存储器402通过总线403完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：

获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图；

将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图；

根据所述子密度图确定冬小麦穗密度；

其中，所述卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本发明实施例提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例中的步骤，例如包括：

获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图；

将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图；

根据所述子密度图确定冬小麦穗密度；

其中，所述卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

进一步地，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述各方法实施例中的步骤，例如包括：

获取冬小麦开花期后的待检测冠层图像，并将所述待检测冠层图像划分成若干个待检测子图；

将所述若干个待检测子图输入至卷积神经网络模型，输出子密度图；

根据所述子密度图确定冬小麦穗密度；

其中，所述卷积神经网络模型是基于样本冠层图像以及预先确定的样本冠层图像对应的穗密度图进行训练后得到。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。