一种玉米籽粒分类方法、装置、介质及设备与流程

本申请涉及智能分类技术领域，尤其涉及一种玉米籽粒分类方法、装置、介质及设备。

背景技术：

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

针对导入基因标记后，杂交诱导会产生很多玉米籽粒，之后需要筛选出单倍体和二倍体的玉米籽粒，以供后续使用。目前主要靠科研人员手工分拣出玉米籽粒中的单倍体和二倍体，分拣速度较慢。因此，如何利用计算机进行玉米籽粒分类是一个亟需考虑的问题。

技术实现要素：

本申请提供一种玉米籽粒分类方法、装置、介质及设备，以提供一种计算机进行玉米籽粒分类的方案。

第一方面，本申请实施例提供一种玉米籽粒分类方法，包括：

获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像；

分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像；

分别将所述处理后第一图像和处理后第二图像输入预先训练的玉米籽粒三分类模型，得到所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类；

根据所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类，确定所述待分类玉米籽粒所属的分类。

可选地，按照以下方式预先训练得到所述玉米籽粒三分类模型：

基于确定的样本图像集中各个胚芽样本图像的特征向量和胚乳样本图像的特征向量以及各样本图像所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒三分类模型，样本图像所属的分类为胚乳、单倍体籽粒或多倍体籽粒。

可选地，按照以下方式确定所述样本图像集：

针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像；

分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理；

分别复制设定数目幅胚芽处理样本图像和胚乳处理样本图像，并按照不同的调整方式分别对复制得到的样本图像进行调整，得到设定数目幅胚芽调整样本图像和设定数目幅胚乳调整样本图像；

确定所述胚芽处理样本图像和胚芽调整样本图像为该玉米籽粒的胚芽样本图像，以及，确定所述胚乳处理样本图像和胚乳调整样本图像为该玉米籽粒的胚乳样本图像；

将各样本玉米籽粒的胚芽样本图像、胚乳样本图像、各胚芽样本图像所属的分类以及各胚乳样本图像所属的分类组成的集合，确定为所述样本图像集，其中，所述胚芽样本图像所属的分类为相应玉米籽粒所属的分类，所述胚乳处理图像所属的分类为胚乳，其中，玉米籽粒所属的分类为单倍体籽粒或二倍体籽粒。

可选地，确定所述待分类玉米籽粒所属的分类，具体包括：

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为单倍体籽粒，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为二倍体籽粒，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒。

第二方面，本申请实施例还提供一种玉米籽粒分类方法，包括：

获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像；

分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像；

将所述处理后第一图像和处理后第二图像拼接为一幅图像，作为所述待分类玉米籽粒的处理后图像；

将所述处理后图像输入预先训练的玉米籽粒二分类模型，得到所述待分类玉米籽粒所属的分类。

可选地，按照以下方式预先训练得到所述玉米籽粒二分类模型：

基于确定的样本图像集中各个玉米籽粒样本图像的特征向量以及相应玉米籽粒所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒二分类模型，玉米籽粒所属的分类为单倍体籽粒或多倍体籽粒。

可选地，按照以下方式确定所述样本图像集：

针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像；

分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理；

将所述胚芽处理样本图像和胚乳处理样本图像拼接为一幅图像，作为该样本玉米籽粒的处理样本图像；

复制设定数目幅处理样本图像，并按照不同的调整方式分别对复制得到的处理样本图像进行调整，得到设定数目幅调整样本图像；

将该样本玉米籽粒的处理样本图像和所述设定数目幅调整样本图像，作为该样本玉米籽粒的样本图像；

将各样本玉米籽粒的样本图像以及相应玉米籽粒所属的分类组成的集合，确定为所述样本图像集。

第三方面，本申请实施例还提供一种玉米籽粒分类装置，包括：

获取模块，用于获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像；

预处理模块，用于分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像；

第一分类模块，用于分别将所述处理后第一图像和处理后第二图像输入预先训练的玉米籽粒三分类模型，得到所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类；

第二分类模块，用于根据所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类，确定所述待分类玉米籽粒所属的分类。

可选地，该玉米籽粒分类装置，还包括：

训练模块，用于按照以下方式预先训练得到所述玉米籽粒三分类模型：

基于确定的样本图像集中各个胚芽样本图像的特征向量和胚乳样本图像的特征向量以及各样本图像所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒三分类模型，样本图像所属的分类为胚乳、单倍体籽粒或多倍体籽粒。

可选地，按照以下方式确定所述样本图像集：

针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像；

分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理；

分别复制设定数目幅胚芽处理样本图像和胚乳处理样本图像，并按照不同的调整方式分别对复制得到的样本图像进行调整，得到设定数目幅胚芽调整样本图像和设定数目幅胚乳调整样本图像；

确定所述胚芽处理样本图像和胚芽调整样本图像为该玉米籽粒的胚芽样本图像，以及，确定所述胚乳处理样本图像和胚乳调整样本图像为该玉米籽粒的胚乳样本图像；

将各样本玉米籽粒的胚芽样本图像、胚乳样本图像、各胚芽样本图像所属的分类以及各胚乳样本图像所属的分类组成的集合，确定为所述样本图像集，其中，所述胚芽样本图像所属的分类为相应玉米籽粒所属的分类，所述胚乳处理图像所属的分类为胚乳，其中，玉米籽粒所属的分类为单倍体籽粒或二倍体籽粒。

可选地，所述第二分类模块，具体用于：

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为单倍体籽粒，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为二倍体籽粒，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒。

第四方面，本申请实施例还提供一种玉米籽粒分类装置，包括：

获取模块，用于获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像；

预处理模块，用于分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像；

拼接模块，用于将所述处理后第一图像和处理后第二图像拼接为一幅图像，作为所述待分类玉米籽粒的处理后图像；

分类模块，用于将所述处理后图像输入预先训练的玉米籽粒二分类模型，得到所述待分类玉米籽粒所属的分类。

可选地，该玉米籽粒分类装置，还包括：

训练模块，用于按照以下方式预先训练得到所述玉米籽粒二分类模型：

基于确定的样本图像集中各个玉米籽粒样本图像的特征向量以及相应玉米籽粒所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒二分类模型，玉米籽粒所属的分类为单倍体籽粒或多倍体籽粒。

可选地，按照以下方式确定所述样本图像集：

针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像；

分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理；

将所述胚芽处理样本图像和胚乳处理样本图像拼接为一幅图像，作为该样本玉米籽粒的处理样本图像；

复制设定数目幅处理样本图像，并按照不同的调整方式分别对复制得到的处理样本图像进行调整，得到设定数目幅调整样本图像；

将该样本玉米籽粒的处理样本图像和所述设定数目幅调整样本图像，作为该样本玉米籽粒的样本图像；

将各样本玉米籽粒的样本图像以及相应玉米籽粒所属的分类组成的集合，确定为所述样本图像集。

第五方面，本申请实施例还提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述第一方面提供的任一玉米籽粒分类方法的步骤。

第六方面，本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现上述第一方面提供的任一玉米籽粒分类方法的步骤。

第七方面，本申请实施例还提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述第二方面提供的任一玉米籽粒分类方法的步骤。

第八方面，本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序时实现上述第二方面提供的任一玉米籽粒分类方法的步骤。

本申请实施例提供玉米籽粒分类方法、装置、介质及设备，利用预先训练的玉米籽粒分类模型，确定采集的玉米籽粒的两幅图像所属的分类，最后结合两幅图像所属的分类确定出待分类玉米籽粒所属的分类，从而能够较准确的对待分类玉米籽粒进行自动化分类。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

图1为本申请实施例一提供的玉米籽粒分类方法的流程示意图；

图2a为本申请实施例提供的任一玉米籽粒的原始图像；

图2b为本申请实施例提供的二值化处理后图像；

图2c为本申请实施例提供的目标图像；

图3a为本申请实施例提供的单倍体籽粒的胚芽图像；

图3b为本申请实施例提供的单倍体籽粒的胚乳图像；

图3c为本申请实施例提供的二倍体籽粒的胚芽图像；

图3d为本申请实施例提供的二倍体籽粒的胚乳图像；

图4为本申请实施例一提供的确定样本图像集的方法流程示意图；

图5a为本申请实施例提供的胚乳样本的原图像；

图5b为本申请实施例提供的图像翻转后的胚乳调整样本图像；

图5c为本申请实施例提供的图像旋转后的胚乳调整样本图像；

图5d为本申请实施例提供的图像添加噪声后的胚乳调整样本图像；

图5e为本申请实施例提供的图像对比度调整后的胚乳调整样本图像；

图5f为本申请实施例提供的图像亮度调整后的胚乳调整样本图像；

图6为本申请实施例二提供的玉米籽粒分类方法的流程示意图；

图7为本申请实施例二提供的确定样本图像集的方法流程示意图；

图8为本申请实施例三提供的玉米籽粒分类装置示意图；

图9为本申请实施例四提供的玉米籽粒分类装置示意图；

图10为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请可能的实施方式作进一步描述。

实施例一

本申请实施例提供一种玉米籽粒分类方法，如图1所示，包括：

步骤101，获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽面图像，所述第二图像为胚乳面图像。

具体实施时，针对待分类的玉米籽粒，拍摄该待分类玉米籽粒两个面的图像，分别作为第一图像和第二图像，其中，玉米籽粒的两个面具体为分别为胚芽面和胚乳面。

实际应用中，在进行试验时，需要对玉米籽粒进行分类，其中，单倍体玉米籽粒的胚芽和二倍体玉米籽粒的胚芽图像的颜色、文理、形状等有所不同，此时，可根据这些不同区分玉米籽粒为单倍体籽粒还是二倍体籽粒。

步骤102，分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像。

具体实施时，对采集的第一图像和第二图像进行预处理，比如去除噪声，目标检测和方向归一化等处理。本申请实施例中，对图像进行目标检测即对图像中的玉米籽粒进行检测，比如检测出图像中的玉米籽粒的胚芽以及胚乳，并将检测出的胚芽和胚乳提取出来形成新的图像，以去除原图像中的背景，减少背景对玉米籽粒识别结果的影响。方向归一化处理的说明详见下文。

其中，可按照以下方式对采集的第一图像和第二图像中的任一图像进行目标检测：

第一，对原始图像(第一图像或第二图像)进行二值化处理；第二，对二值化处理后的图像进行膨胀和腐蚀操作，得到去噪图像，这样可以消除图像背景中的噪声(比如斑点)；第三，确定去噪图像的中心坐标；第四，4.根据中心坐标以及目标图像宽度与高度，计算得到去噪图像左上角坐标，进而对原始图像进行切割，得到目标图像。如图2所示，其中，图2a为采集到的任一原始图像；图2b为二值化处理后图像，图2c为目标图像，由图2a-图2c可以看出，经过目标检测后得到的目标图像去除了一部分背景图像。

具体实施时，可按照以下三个公式对原始图像进行二值化处理：

threshold＝sum/amount

上述公式中，g为原始图像中的灰度级，h(g)表示原始图像中灰度级为g的像素的个数，sum为原始图像的总灰度值，amount为原始图像中的像素总数，threshold为求得的二值化阈值。

具体实施时，可分别按照以下公式进行腐蚀操作：

该式表示用结构b腐蚀对象a，需要注意的是b中需要定义一个原点，当b的原点平移到对象a的像元(x,y)时，如果b在(x,y)处，完全被包含在对象a与b重叠的区域，则将输出图像对应的像元(x,y)赋值为1，否则赋值为0。

具体实施时，可分别按照以下公式进行膨胀操作：

该式表示用结构b膨胀图像a，将结构元素b的原点平移到图像a的像元(x,y)位置。如果b在图像a的像元(x,y)处与图像a的交集不为空，则输出图像对应的像元(x,y)赋值为1，否则赋值为0。

其中，可按照如下公式确定去噪后图像的重心坐标：

式中，(xi，yi)为像素点的坐标，pi为像素点(xi，yi)的像素值，xc和yc分别为求得的重心的横坐标和纵坐标。

其中，可按照如下公式，对图像进行切割，得到目标图像

式中，xc和yc分别为求得的重心的横坐标和纵坐标，w为目标图像的宽度，h为目标图像的高度。

具体实施时，也可按照其他方式进行目标检测，比如可采用基于深度卷积网络的目标检测方法。

下面对方向归一化处理进行说明：

将待检测图像进行图像灰度化处理，得到该待检测图像对应的灰度化图像；其中，待检测图像为本发明实施例中需要进行方向归一化处理的图像；识别该灰度化图像中的前景区域；其中，灰度化图像中的前景区域可以理解为包括待检测图像中玉米籽粒在该灰度化图像中的区域；对该前景区域中的玉米籽粒进行拟合，得到该玉米籽粒在该灰度化图像中的区域的主方向；其中，玉米籽粒在灰度化图像中的区域的主方向可以理解为，该玉米籽粒在该灰度化图像中的区域的中心线方向；根据目标方向和该玉米籽粒的主方向，对该待检测图像进行旋转，直至该玉米籽粒在该待检测图像中的区域的主方向为该目标方向一致。其中，在本实施例中，可以将各张样本图像中的同一方向作为目标方向，比如将垂直向下的方向作为目标方向或者将水平向右的方向作为目标方向。

本申请实施例中，可将各个样本图像中的玉米籽粒的方向归一化处理后，再利用方向归一化处理后的样本图像训练得到玉米籽粒分类模型，之后，将待分类玉米籽粒的第一图像和第二图像均进行方向归一化处理，并利用该玉米籽粒分类模型进行分类，可使得玉米籽粒的分类结果更加准确。

步骤103，分别将所述处理后第一图像和处理后第二图像输入预先训练的玉米籽粒三分类模型，得到所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类。

具体实施时，预先训练得到玉米籽粒分类模型，具体可利用预先采集的样本数据，基于预先设定的三分类算法或者深度卷积网络模型，训练得到玉米籽粒三分类模型，具体的三个分类包括胚乳、单倍体籽粒以及二倍体籽粒。如图3所示，其中，图3a为单倍体籽粒的胚芽图像，图3b为单倍体籽粒的胚乳图像，图3c为二倍体籽粒的胚芽图像，图3d为二倍体籽粒的胚乳图像。图3仅为示例性玉米籽粒的图像，可以理解的是同一分类的不同玉米籽粒之间可能会略有不同。

将处理后第一图像输入玉米籽粒三分类模型后，该模型输出针对第一处理后图像的分类结果，将处理后第二图像输入玉米籽粒三分类模型后，该模型输出针对第二处理后图像的分类结果。

步骤104，根据所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类，确定所述待分类玉米籽粒所属的分类。

具体实施时，可结合处理后第一图像所属的分类以及处理后第二图像所属的分类对待分类玉米籽粒所属的分类进行决策，最后确定出待分类玉米籽粒是单倍体籽粒还是二倍体籽粒。

本申请实施例提供的玉米籽粒分类方法，利用预先训练的玉米籽粒分类模型，确定采集的玉米籽粒的两幅图像所属的分类，最后结合两幅图像所属的分类确定出待分类玉米籽粒所属的分类，从而能够较准确的对待分类玉米籽粒进行自动化分类。

可选地，按照以下方式预先训练得到所述玉米籽粒三分类模型：

基于确定的样本图像集中各个胚芽样本图像的特征向量和胚乳样本图像的特征向量以及各样本图像所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒三分类模型，样本图像所属的分类为胚乳、单倍体籽粒或多倍体籽粒。

具体实施时，预先确定样本图像集，该样本图像集中包括样本玉米籽粒的胚芽样本图像以及胚乳样本图像，并将该胚芽样本图像所属的分类标识为该样本玉米籽粒所属的分类，将该胚乳样本图像所属的分类标识为胚乳。举例说明，样本玉米籽粒a所属的分类为单倍体，则该样本玉米籽粒的胚芽样本图像所属的分类为单倍体，该样本玉米籽粒的胚乳样本图像所属的分类为胚乳。

其中，可根据样本图像的特征向量以及样本图像中所属的分类，对深度卷积神经网络模型中的参数进行训练，从而得到参数确定的深度卷积神经网络模型，并将该模型作为玉米籽粒三分类模型。

实际应用中，将带有分类标签的样本图像作为输入，送入深度卷积神经网络中进行网络模型的训练。其中，可定义如下的分类标签：

需要说明的是，这里的深度卷积神经网络可以是任何用于分类任务的网络结构，比如resnet18。

可选地，按照图4提供的内容，确定所述样本图像集：

步骤401，针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像。

步骤402，分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理。

其中，目标检测处理的方式上文已经阐述，这里不做赘述。

步骤403，分别复制设定数目幅胚芽处理样本图像和胚乳处理样本图像，并按照不同的调整方式分别对复制得到的样本图像进行调整，得到设定数目幅胚芽调整样本图像和设定数目幅胚乳调整样本图像。

具体实施时，针对胚乳样本图像，复制设定数目幅该胚乳样本图像，并分别按照不同的方调整式对复制得到的样本图像进行调整，以达到对样本图像进行数据增广的目的。其中，设定数目的大小与调整方式的数目相同。举例说明，假设调整方式包括图像翻转、不同角度的旋转、添加噪声、对比度调整以及亮度调整，如图5a所示，为胚乳样本的原图像，如图5b所示为对胚乳样本原图像进行图像翻转后，得到的胚乳调整样本图像，如图5c所示为对胚乳样本原图像进行10度的旋转后，得到的胚乳调整样本图像，如图5d所示为对胚乳样本原图像添加噪声后，得到的胚乳调整样本图像，如图5e所示为对胚乳样本原图像进行对比度调整后，得到的胚乳调整样本图像，如图5f所示为对胚乳样本原图像进行亮度调整后，得到的胚乳调整样本图像。其中，针对胚芽图像的复制和调整过程与针对胚芽样本图像的复制和调整方式原理相同，这里不做赘述。

步骤404，确定所述胚芽处理样本图像和胚芽调整样本图像为该玉米籽粒的胚芽样本图像，以及，确定所述胚乳处理样本图像和胚乳调整样本图像为该玉米籽粒的胚乳样本图像。

具体实施时，本步骤可实现对样本图像的数据扩充，以提高训练得到的玉米籽粒分类模型的稳定性和准确性。

步骤405，将各样本玉米籽粒的胚芽样本图像、胚乳样本图像、各胚芽样本图像所属的分类以及各胚乳样本图像所属的分类组成的集合，确定为所述样本图像集，其中，所述胚芽样本图像所属的分类为相应玉米籽粒所属的分类，所述胚乳处理图像所属的分类为胚乳，其中，玉米籽粒所属的分类为单倍体籽粒或二倍体籽粒。

具体实施时，胚芽样本图像所属的分类为其所属的样本玉米籽粒所属的分类。

本申请实施例，可得到样本数据较丰富的样本图像集，从而为训练得到较准确且稳定的玉米籽粒分类模型提供前提。

可选地，按照以下方式确定所述待分类玉米籽粒所属的分类：

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为单倍体籽粒，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒。

具体实施时，在处理后第一图像所属的分类为单倍体籽粒，并且处理后第二图像所属的分类为胚乳或者处理后第二图像所属的分类为单倍体籽粒情况下，确定该待分类玉米籽粒为单倍体籽粒。

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为二倍体籽粒，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒。

具体实施时，在处理后第一图像所属的分类为二倍体籽粒，并且处理后第二图像所属的分类为胚乳或者处理后第二图像所属的分类为二倍体籽粒情况下，确定该待分类玉米籽粒为二倍体籽粒。

若所述处理后胚芽图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为二倍体籽粒，则提示分类错误；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为单倍体籽粒，则提示分类错误；

若所述处理后胚芽图像所属的分类为胚乳，且，所述处理后第二图像所属的分类为胚乳，则提示分类错误。

具体实施时，处理后第一图像和处理后第二图像分别为待分类玉米籽粒的胚芽面图像和胚乳面图像，此时，若处理后第一图像和处理后第二图像所属的分类均为单倍体籽粒或者均为二倍体籽粒或者均为胚乳，则提示分类错误。

实际应用中，分别将处理后第一图像和处理后第二图像输入玉米籽粒三分类模型后，得到处理后第一图像所述的分类对应的标签l1和处理后第二图像所属的分类对应的标签l2，其中，假设单倍体籽粒对应的类别编号为1，二倍体籽粒对应的类别编号为2，胚乳对应的类别编号为0，此时可按照以下公式确定待分类玉米籽粒所属的分类：

其中，l1和l2的取值为0、1或2，lk＝-1表示待分类玉米籽粒所属的分类不能确定并提示分类错误；lk＝1表示该待分类玉米籽粒所属的分类为单倍体籽粒；lk＝2表示该待分类玉米籽粒所属的分类为二倍体籽粒。

实施例二

本申请实施例还提供一种玉米籽粒分类方法，如图6所示，包括：

步骤601，获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像。

步骤602，分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像。

步骤603，将所述处理后第一图像和处理后第二图像拼接为一幅图像，作为所述待分类玉米籽粒的处理后图像。

具体实施时，将处理后第一图像和处理后第二图像拼接为一幅图像后，作为待分类玉米籽粒的处理后图像。

步骤604，将所述处理后图像输入预先训练的玉米籽粒二分类模型，得到所述待分类玉米籽粒所属的分类。

其中，待分类玉米籽粒所属的分类为单倍体籽粒或二倍体籽粒。

本实施例中玉米籽粒图像以及分类的实现过程与图1提供的实施例类似，这里不做赘述。

可选地，按照以下方式预先训练得到所述玉米籽粒二分类模型：

基于确定的样本图像集中各个玉米籽粒样本图像的特征向量以及相应玉米籽粒所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒二分类模型，玉米籽粒所属的分类为单倍体籽粒或多倍体籽粒。

具体实施过程可参看实施例一中训练得到玉米籽粒三分类模型的过程，这里不做赘述。

可选地，按照图7提的内容确定所述样本图像集：

步骤701，针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像。

步骤702，分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理。

步骤703，将所述胚芽处理样本图像和胚乳处理样本图像拼接为一幅图像，作为该样本玉米籽粒的处理样本图像。

步骤704，复制设定数目幅处理样本图像，并按照不同的调整方式分别对复制得到的处理样本图像进行调整，得到设定数目幅调整样本图像。

步骤705，将该样本玉米籽粒的处理样本图像和所述设定数目幅调整样本图像，作为该样本玉米籽粒的样本图像。

步骤706，将各样本玉米籽粒的样本图像以及相应玉米籽粒所属的分类组成的集合，确定为所述样本图像集。

具体的，本申请实施例的实施过程与图4提供的实施例的实施过程类似，这里不做赘述。

需要说明的是，实际应用中本申请实施例中的图像均为彩色图像。

实施例三

基于与实施例一提供的玉米籽类分类方法同样的发明构思，本申请实施例还提供一种玉米籽粒分类装置，如图8所示，包括：

获取模块801，用于获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像；

预处理模块802，用于分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像；

第一分类模块803，用于分别将所述处理后第一图像和处理后第二图像输入预先训练的玉米籽粒三分类模型，得到所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类；

第二分类模块804，用于根据所述处理后第一图像所属的分类以及所述处理后第二图像所属的分类，确定所述待分类玉米籽粒所属的分类。

可选地，该玉米籽粒分类装置，还包括：

训练模块805，用于按照以下方式预先训练得到所述玉米籽粒三分类模型：

基于确定的样本图像集中各个胚芽样本图像的特征向量和胚乳样本图像的特征向量以及各样本图像所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒三分类模型，样本图像所属的分类为胚乳、单倍体籽粒或多倍体籽粒。

可选地，按照以下方式确定所述样本图像集：

针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像；

分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理；

分别复制设定数目幅胚芽处理样本图像和胚乳处理样本图像，并按照不同的调整方式分别对复制得到的样本图像进行调整，得到设定数目幅胚芽调整样本图像和设定数目幅胚乳调整样本图像；

确定所述胚芽处理样本图像和胚芽调整样本图像为该玉米籽粒的胚芽样本图像，以及，确定所述胚乳处理样本图像和胚乳调整样本图像为该玉米籽粒的胚乳样本图像；

将各样本玉米籽粒的胚芽样本图像、胚乳样本图像、各胚芽样本图像所属的分类以及各胚乳样本图像所属的分类组成的集合，确定为所述样本图像集，其中，所述胚芽样本图像所属的分类为相应玉米籽粒所属的分类，所述胚乳处理图像所属的分类为胚乳，其中，玉米籽粒所属的分类为单倍体籽粒或二倍体籽粒。

可选地，所述第二分类模块804，具体用于：

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后第一图像所属的分类为单倍体籽粒，且，所述处理后第二图像所属的分类为单倍体籽粒，则确定所述待分类玉米籽粒所属的分类为单倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为胚乳，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒；

若所述处理后胚芽图像所属的分类为二倍体籽粒，且，所述处理后第二图像所属的分类为二倍体籽粒，则确定所述待分类玉米籽粒所属的分类为二倍体籽粒。

实施例四

基于与实施例二提供的玉米籽类分类方法同样的发明构思，本申请实施例还提供一种玉米籽粒分类装置，如图9所示，包括：

获取模块901，用于获取待分类玉米籽粒的第一图像和第二图像，所述第一图像为胚芽图像，所述第二图像为胚乳面图像；

预处理模块902，用于分别对所述第一图像和第二图像进行预处理，得到处理后第一图像和处理后第二图像；

拼接模块903，用于将所述处理后第一图像和处理后第二图像拼接为一幅图像，作为所述待分类玉米籽粒的处理后图像；

分类模块904，用于将所述处理后图像输入预先训练的玉米籽粒二分类模型，得到所述待分类玉米籽粒所属的分类。

可选地，该玉米籽粒分类装置，还包括：

训练模块905，用于按照以下方式预先训练得到所述玉米籽粒二分类模型：

基于确定的样本图像集中各个玉米籽粒样本图像的特征向量以及相应玉米籽粒所属的分类，利用深度卷积神经网络模型训练得到所述玉米籽粒二分类模型，玉米籽粒所属的分类为单倍体籽粒或多倍体籽粒。

可选地，按照以下方式确定所述样本图像集：

针对每个样本玉米籽粒，分别采集该玉米籽粒的胚芽原始样本图像以及胚乳原始样本图像；

分别对所述胚芽原始样本图像以及所述胚乳原始样本图像进行预处理，得到胚芽处理样本图像和胚乳处理样本图像，所述预处理包括目标检测处理和方向归一化处理；

将所述胚芽处理样本图像和胚乳处理样本图像拼接为一幅图像，作为该样本玉米籽粒的处理样本图像；

复制设定数目幅处理样本图像，并按照不同的调整方式分别对复制得到的处理样本图像进行调整，得到设定数目幅调整样本图像；

将该样本玉米籽粒的处理样本图像和所述设定数目幅调整样本图像，作为该样本玉米籽粒的样本图像；

将各样本玉米籽粒的样本图像以及相应玉米籽粒所属的分类组成的集合，确定为所述样本图像集。

实施例五

本申请实施例还提供一种非易失性计算机存储介质，所述计算机存储介质存储有可执行程序，该可执行程序被处理器执行实现上述实施例一提供的任一玉米籽粒分类方法的步骤，或者，该可执行程序被处理器执行实现上述实施例二提供的任一玉米籽粒分类方法的步骤。

实施例六

本申请实施例还提供一种计算机设备，如图10所示，为本申请实施例中提供的计算机设备的硬件结构示意图，该计算机设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算机设备可以包括存储器1001、处理器1002及存储在存储器1001上的计算机程序，处理器1002执行该计算机程序时实现上述实施例一中的任一玉米籽粒分类方法的步骤。其中，存储器1001可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器1002提供存储器1001中存储的程序指令和数据。

进一步地，本申请实施例中所述的计算机设备还可以包括输入装置1003以及输出装置1004等。输入装置1003可以包括键盘、鼠标、触摸屏等；输出装置1004可以包括显示设备，如液晶显示器(liquidcrystaldisplay，lcd)、阴极射线管(cathoderaytube，crt)，触摸屏等。存储器1001，处理器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。

处理器1002调用存储器1001存储的程序指令并按照获得的程序指令执行上述实施例提供的玉米籽粒分类方法。

实施例七

本申请实施例还提供一种计算机设备，具体地，该计算机设备可以包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序时实现上述实施例二中的任一玉米籽粒分类方法的步骤。其中，该计算机设备的硬件机构参见图10。

利用本申请实施例提供的玉米籽粒分类方法、装置、介质及设备，具有以下有益效果：利用预先训练的玉米籽粒分类模型，确定采集的玉米籽粒的两幅图像所属的分类，最后结合两幅图像所属的分类确定出待分类玉米籽粒所属的分类，从而能够较准确的对待分类玉米籽粒进行自动化分类。

应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。