花粉可育率评估方法及装置与流程

[0001]
本发明涉及作物育种评估领域，尤其涉及一种花粉可育率评估方法及装置。


背景技术：

[0002]
花粉是种子植物的微小孢子堆，成熟的花粉粒实为其小配子体，能产生雄性配子。花粉由雄蕊中的花药产生，由各种方法到达雌蕊，使胚珠授粉。因此，作物的育种率往往和花粉的可育率有密切关联。
[0003]
目前的花粉可育率评估，往往是根据花粉从花药中抖落出来后，对于这些花粉，经过碘-碘化钾染色制成压片，在电子显微镜下观察并进行统计分析得到。目前的花粉可育率评估方法，耗费大量的人力物力，且由于计算量繁琐引起的人工统计误差，导致结果的准确性较低。
[0004]
资料数据表明，利用深度学习-卷积网络对植物或动物细胞处理的应用层出不穷，但对于大豆花粉的处理还停留在比较原始的阶段，现有的大多数算法是基于传统的数字图像处理技术对图像进行灰度变换，边缘检测，形态学操作等以做出初步的检测估值判断，正确率和鲁棒性都很差，无法进行大规模有效利用。在处理比较相近的课题-对癌细胞的识别与监测上，深度学习及卷积网络的应用比较广泛，也取得了一定的进展。由于癌细胞和大豆花粉细胞的识别及分类的相似性，可做一定的迁移学习，合理利用和改进相关算法来取得较高的识别准确率。其中，一些算法对于处理花粉图像具有很强的参考利用价值。比如说一种采取卷积网络算法辅助检测小细胞型肺癌的方法，可以将此利用到不规则小型花粉样本的识别与检测，卷积网络很好地结合了之前检测算法的优点，又能兼顾准确性，更好地减少误判率，提高学习效率。又如采用基于深度卷积网络的改进算法，利用zca来对细胞进行预处理以减轻图像数据特征的相关性可以迁移应用到花粉图像的预处理上，减轻花粉与花粉之间，花粉与背景图之间，花粉与杂质之间的相关性，以降低误判率。


技术实现要素：

[0005]
本发明实施例提供一种花粉可育率评估方法及装置，用以解决现有技术中的缺陷。
[0006]
本发明实施例提供一种花粉可育率评估方法，包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
[0007]
根据本发明一个实施例的花粉可育率评估方法，所述根据提取的特征向量对每个
花粉区域进行适应性对比度调整，包括：若花粉区域为有可育花粉的区域，则将整体区域亮度下调；若花粉区域为无可育花粉的区域，则将整体区域亮度上调。
[0008]
根据本发明一个实施例的花粉可育率评估方法，若花粉区域为既有可育又有不育花粉，则提取的特征还包括：bgmax、bgmax和brr；相应地，根据bgr进行适应性对比度调整。
[0009]
其中，bgr＝[bg
max
,br
max
]|
min
，r、g、b分别为rgb颜色空间的相应值。
[0010]
根据本发明一个实施例的花粉可育率评估方法，根据bgr进行适应性对比度调整，包括：整体区域亮度下调时，若灰度小于区域调整阈值，则灰度值设为固定值不再下调；所述区域调整阈值确定如下：
[0011][0012]
其中，bblow、dd为经验参数，a为亮度下调因子，也为经验参数；gray
min
为调整前的区域灰度最小值，low
in
为区域调整阈值。
[0013]
根据本发明一个实施例的花粉可育率评估方法，根据花粉区域的区分结果，分别进行适应性对比度调整之后，还包括：对调整后图像的二值化图像，进行孔洞填充以补全中空的可育花粉。
[0014]
根据本发明一个实施例的花粉可育率评估方法，所述将单个花粉粒的标准图像输入预设的卷积神经网络模型，包括：将单个花粉粒的三通道彩图，输入卷积神经网络的两层卷积层，每一卷积层紧接批量归一化处理层，并采用leakyrelu激活函数得到输出；再输入采用max-pooling的池化层，并经过两层全连接层然后丢弃50％，最后经过softmax函数得出分类概率。
[0015]
本发明实施例还提供一种花粉可育率评估装置，包括特征提取模块，用于获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；划分裁剪模块，用于对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；卷积分类模块，用于将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；可育评估模块，用于根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
[0016]
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述花粉可育率评估方法的步骤。
[0017]
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述花粉可育率评估方法的步骤。
[0018]
本发明实施例提供的花粉可育率评估方法及装置，根据提取的特征对每个花粉区域进行适应性对比度调整，可以强化可育和不可育状态的双极化，提高分类的准确度。将每
个花粉区域的特征数据，输入预设的卷积神经网络模型，得到分类结果，无需人工统计得到，能够提高处理效率，避免人工处理过程中因主观判断带来的准确度误差。
附图说明
[0019]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]
图1是本发明实施例提供的花粉可育率评估方法的流程示意图；
[0021]
图2是本发明实施例提供的花粉可育率评估装置的结构示意图；
[0022]
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0023]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]
图1是本发明实施例提供的花粉可育率评估方法的流程示意图，如图1所示，本发明实施例提供一种花粉可育率评估方法，包括：
[0025]
101、获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征向量，根据花粉区域的区分结果，分别进行适应性对比度调整。
[0026]
为了评估某个作物花粉的可育率，可先获取包括多个花粉的花粉图像。例如，采集待评估样本后，制作压片，放到显微镜下拍摄图像得到待评估花粉图像。花粉图像中包括多个花粉，多个邻近花粉的轮廓可得到一个花粉区域。对每个花粉区域进行特征提取，以判断该区域花粉的可育情况。例如，提取的特征为三通道图像的rgb数值、rgb相关组合值、灰度最大最小值等。
[0027]
可根据提取的特征划定一定有可育花粉、一定无可育花粉以及可能有可育花粉区域。例如，根据各花粉区域在灰度空间的阈值范围确定。提取这些可以区分可育花粉和不可育花粉的特征，并进行相应判断。
[0028]
对于颜色区分明显的花粉区域图像，对其转换的灰度图进行二值化，可根据相应阈值来确定相应位置花粉是否可育。然而区域数据集中有很多颜色区分并不明显的图像，其基本特点是可育与不可育花粉都处于“临界状态”，这对判断其确定状态(可育不可育)造成巨大困难。而且第二种情况下，可育花粉和不可育花粉都出现“中空状态”，这样在后续二值化以后很容易滤除中间部分而只剩下一个光圈，卷积计数无法达到特定阈值而被忽略，造成结果的不准确。因此，在对原图进行二值化处理得到可育不可育花粉前，必须对图像进行“适应性对比度调整”，目的是通过这一步处理，淡化“过渡状态”，强化其状态的双极化。通过对原图进行适应性对比度调整，来达到滤除背景噪声，加强原图中可育花粉与不可育花粉对比度的目的。
[0029]
102、对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像。
[0030]
对于因样本制作不当而导致的花粉粘连严重，出现簇状花粉团严重影响计数的问题，因这种粘连状花粉簇团所占面积过大(通常2-6个花粉组成)，奇形怪状，故经一次卷积无法分离。为解决此问题，构建多层卷积网络，其目的在于通过多次卷积对原图簇妆花粉团进行多次计数。经仿真实验，双层卷积结构可在低消耗下获得较理想的处理结果。经调整的标准化图像数据，进行双层卷积操作，以初步提取出花粉可能存在像素位置以及对重叠花粉进行分离计数。然后，以所确定位置为中心，花粉直径为边长截取正方形区域以得到单个花粉的图像数据，也就是单个花粉粒的标准图像。在训练时，该标准图像被标记类别(可育与不可育)后作为分类器的训练和测试集。训练完成后，用于103中进行分类。
[0031]
103、将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果。
[0032]
预设的卷积神经网络模型，根据确定可育性结果的花粉粒标准图像为输入，可育性结果(可育与不可育)作为标签进行训练后得到。模型训练完成后，将将单个花粉粒的标准图像输入该模型，则可分别得到每个花粉粒可育性分类结果。
[0033]
104、根据分类结果得到的可育花粉数目和不可育花粉数目，确定花粉的可育率，
[0034]
经过复杂的卷积网络处理，已经提取得到了较为精准的可育部分以及不可育部分的花粉分布二值化图像。为了更直观的观察到可育以及不可育的识别准确性，在待评估花粉图像的原图上标记出可育部分以及不可育部分的位置，使用基于opencv库的轮廓检测函数cv2.findcontours()和cv2.drawcontours()可以高准确率和效率识别并在相应位置标记结果。数据所代表的花粉可育率通过下式可确定：
[0035][0036]
其中，n1为可育花粉粒数目，n2位不可育花粉粒数目。
[0037]
本发明实施例的花粉可育率评估方法，根据提取的特征对每个花粉区域进行适应性对比度调整，可以强化可育和不可育状态的双极化，提高分类的准确度。将每个花粉区域的特征数据，输入预设的卷积神经网络模型，得到分类结果，无需人工统计得到，能够提高处理效率，避免人工处理过程中因主观判断带来的准确度误差。
[0038]
基于上述实施例的内容，作为一种可选实施例，根据提取的特征向量对每个花粉区域进行适应性对比度调整，包括：若花粉区域为有可育花粉的区域，则将整体区域亮度下调；若花粉区域为无可育花粉的区域，则将整体区域亮度上调。
[0039]
在图像处理中，将漂白(相机过曝)的图片或者过暗(曝光不足)的图片，进行修正。将归一化的图片数据在特定阈值范围内进行线性或者非线性变换，以对原始图片过曝或者过暗的区域进行纠正，以达到平衡数据的目的。伽马变换的基本形式如下：
[0040]
s＝c*r
γ
；
[0041]
其中，r为待评估花粉图像，s为调整后的图像，gamma控制调整的非线性，gamma值小于1时，会拉伸图像中灰度级较低的区域，同时会压缩灰度级较高的部分；gamma值大于1时，会拉伸图像中灰度级较高的区域，同时会压缩灰度级较低的部分。
[0042]
具体调整规则为，使可育花粉在像素上更加可育化(加深)，而不可育花粉更加不
可育化(变浅)。结合对大量有标记的数据分析，划定一定有可育花粉、一定无可育花粉以及可能有可育花粉部分在灰度空间的大致阈值范围，从而实现区分可育花粉和不可育花粉的区域的目的。对于一定有可育花粉的区域，调整策略为将其整体亮度下调，例如，调至原本的80％，对于无可育花粉区域，调整策略为将其亮度上调，例如调至原本的20％。
[0043]
基于上述实施例的内容，作为一种可选实施例，若花粉区域为既有可育又有不育花粉，则提取的特征向量还包括：
[0044]
bgmax、bgmax和brr；
[0045]
相应地，根据bgr进行适应性对比度调整；
[0046]
其中，bgr＝[bg
max
,br
max
]|
min
，r、g、b分别为rgb颜色空间的相应值。
[0047]
基于上述实施例的内容，作为一种可选实施例，根据bgr进行适应性对比度调整，包括：整体区域亮度下调时，若灰度小于区域调整阈值，则灰度值设为固定值不再下调；
[0048]
所述区域调整阈值确定如下：
[0049][0050]
其中，bblow为经验值，可根据数据分析获得，本实施例中为10,dd为经验值，可根据数据分析获得，本实施例中为1.255。a为亮度下调因子，本实施例中为20。gray
min
为调整前的灰度最小值，low
in
为设置的区域调整阈值，是整体调整的最小值，当小于该值时灰度不再变化，而设为固定值。
[0051]
基于上述实施例的内容，作为一种可选实施例，根据提取的特征向量对每个花粉区域进行适应性对比度调整之后，还包括：对调整后图像的二值化图像，进行孔洞填充以补全中空的可育花粉。
[0052]
经过初步亮度调整后，受限于大范围亮度下调的允许范围，可育花粉的中空问题不能完全解决，尤其在二值化后，可育花粉中间变成白色。在下一步进行卷积时，很容易因达不到阈值而被错误的滤除，对之后可育花粉的计数带来巨大干扰。为解决这一问题，对二值化后的图像进行孔洞填充以补全中空的可育花粉。进行孔洞填充的函数可选择imfill函数，以填充二值图像中的空洞区域。例如，黑色的背景上有个白色的圆圈等情况。
[0053]
基于上述实施例的内容，作为一种可选实施例，将单个花粉粒的标准图像输入预设的卷积神经网络模型，包括：将单个花粉粒的三通道彩图，输入卷积神经网络的两层卷积层，每一卷积层紧接批量归一化处理层，并采用leakyrelu激活函数得到输出；再输入采用max-pooling的池化层，并经过两层全连接层然后丢弃50％，最后经过softmax函数得出分类概率。
[0054]
具体地，输入图片为包含单个花粉粒的三通道彩图，尺寸可以为32*32*3，共有两层卷积层，卷积核尺寸为5*5，卷积层紧接批量归一化处理(bn)，激活函数采用leakyrelu函数，池化层采用max-pooling方式，采用两层全连接层然后丢弃50％，最后经过softmax函数算出分类概率。
[0055]
下面对本发明实施例提供的花粉可育率评估装置进行描述，下文描述的花粉可育
率评估装置与上文描述的花粉可育率评估方法可相互对应参照。
[0056]
图2是本发明实施例提供的花粉可育率评估装置的结构示意图，如图2所示，该花粉可育率评估装置包括：特征提取模块201、划分裁剪模块202、卷积分类模块203和可育评估模块204。其中，特征提取模块201用于获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；划分裁剪模块202用于对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；卷积分类模块203用于将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；可育评估模块204用于根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
[0057]
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
[0058]
本发明实施例提供的花粉可育率评估装置，将每个花粉区域的特征数据，输入预设的卷积神经网络模型，输出每个区域中花粉为可育花粉和不可育花粉的分类结果，无需人工统计得到，能够提高处理效率，并且避免人工处理过程中因主观判断带来的准确度误差。
[0059]
图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communications interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行花粉可育率评估方法，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
[0060]
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0061]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的花粉可育率评估
方法，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
[0062]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的花粉可育率评估方法，该方法包括：获取待评估花粉图像，根据花粉分布状态，得到多个花粉区域，对每个花粉区域提取可以区分可育花粉和不可育花粉的特征，根据花粉区域的区分结果，分别进行适应性对比度调整；对调整后的图像，经双层卷积操作，对花粉区域进行定位和剪裁，得到包含单个花粉粒的标准图像；将单个花粉粒的标准图像输入预设的卷积神经网络模型，输出该花粉粒的可育或不可育分类结果；根据各个花粉粒的分类结果得到待评估花粉图像中的可育花粉数目和不可育花粉数目的比值，确定花粉的可育率；其中，所述预设的卷积神经网络模型，根据带标签的单张花粉粒的标准图像训练后得到。
[0063]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0064]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0065]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。