基于深度迁移学习的植物气孔智能检测与识别方法及系统与流程

本发明属于目标检测技术领域，特别涉及基于深度迁移学习的植物气孔智能检测与识别方法及系统。

背景技术：

气孔是位于植株表面的开孔，是陆地植物表皮所特有的结构。它是植物与外界环境进行光合碳同化、有氧呼吸产能以及蒸腾散热所必需的水分和气体交换门户，直接影响植物的产量和抗旱性。叶面气孔的形状性状，如分布密度、大小和频率对植物气孔的功能发挥有重要影响，是培育高产抗逆品种一个重要指标。因此，表征气孔的性状具有重要的理论和应用价值，可为提高作物产量和增强作物逆境(干旱，盐度等)的耐受性提供依据。如何快速准确地在光学显微镜图像下识别植物气孔是研究植物气孔生理特征的前提和关键。

在过去的几十年中，主要依靠手动或半自动方法来统计气孔表型性状，没有使气孔识别这一过程自动化。其中，h.laga,f.shahinnia,d.fleury等人曾提出了一种使用模板匹配来检测气孔的框架，然后进行二值化以提取气孔孔径；l.scarlett,j.tang,p.petrie,m.whitty采用最大稳定外部区域(mser)来同时检测和定量葡萄气孔。与这些用于估计气孔密度的图像处理方法相比，s.vialet-chabrand,o.brendel采用了一种机器学习方法，该方法利用了基于橡树种类似哈尔特征(haar-likefeatures)的级联物体检测器(cascadeobjectdetector,cod)。同样，n.dalal,b.triggs等人采用梯度直方图(histogramsoforientedgradients,hog)特征而不是类似哈尔特征(haar-likefeatures)，以减少用于检测葡萄气孔的cod训练时间，并使用二值化来分割气孔孔径。

然而，这些方法来检测植物气孔要求扫描电子显微镜图像具有均匀质地背景。因此，它们不适合具有丰富背景特征的图像。而且，气孔分割也受到二值化的限制。

近几年随着深度学习的高速发展，卷积神经网络已在各种计算机视觉任务上取得不凡的结果。印度理工学院德里分校联合印度农业研究所提出一种深度学习高通量气孔表型自动气孔检测及其量化的框架，其包括：第一步，采用singleshotmultiboxdetector(ssd)处理不同的气孔配置。第二步，涉及从检测到的气孔中提取气孔孔径，但在研究的扫描电子显微镜(光学显微镜)图像数据中，由于较小的气孔而无法完成此分割任务；因此，在分割步骤之前，以检测到的气孔作为输入应用超分辨率卷积神经网络(super-resolutionconvolutionalneuralnetwork,srcnn)方案；这样做是为了增强小气孔结构的可视化。第三步通过利用基于全连接神经网络(fullyconnectedneuralnetwork,fcnn)的深度学习框架，自动化处理包含多个气孔的更具挑战性的图像数据集，而无需事先获得有关气孔参数(数量，形状和大小)的信息，从而有助于进行高通量气孔分析。但是，该方法对小目标，尤其是密集小目标的检测效果不好，而且有时检测结果中会出现重叠框，而且训练耗时且模型泛化能力一般，需要借助人工操作。

技术实现要素：

为了解决现有技术的不足，本发明旨在提供一种能自动且高效准确地对气孔表型性状进行检测和识别、训练耗时短、具有良好的可扩展性和鲁棒性、基于深度迁移学习的植物气孔智能检测与识别方法。

为了实现上述目的，本发明采用的技术方案如下：

一种植物气孔智能检测与识别系统，包括以下模块：

导入图像模块，使得用户从本地文件中选择需要检测和识别的单张光学显微镜图像；

气孔检测模块，系统自动对导入的图像进行气孔检测和识别，以及气孔形态处理计算，并保存处理后的图像和结果文件；

批量处理与显示模块，使得用户从本地文件中选择一个或多个目录下的多张光学显微镜图像，系统自动对导入目录下的所有图像进行气孔检测和识别，以及气孔形态处理计算，并显示批量处理后的全部光学显微镜图像，保存处理后的全部图像和结果文件；

模型参数调整模块，使得用户自定义合适的模型参数；

显示检测与识别详细信息模块，显示检测与识别后的单张光学显微镜图像和该图像中每个气孔的形态计算详细结果。

相应的，本发明还提供一种基于深度迁移学习的植物气孔智能检测与识别的方法，包括如下步骤：

1)将来自导入图像模块的植物叶表皮的细胞扫描光学显微镜图像分成训练集、验证集、测试集，并分别对训练集和验证集进行气孔边界框的人工标注；

2)读取、预处理训练集，使用yolov3网络结构对光学显微镜图像进行特征提取和气孔表型性状的边界框预测；

3)采用深度迁移学习，结合yolov3网络结构构建预训练模型，对训练集的全部光学显微镜图像进行训练，计算每次迭代的网络模型的损失函数值，直至损失函数值收敛到最小，即保存当前模型；

4)载入训练后的模型，通过气孔检测模块对测试集光学显微镜图像进行气孔检测，并将气孔表型性状的边界框标注的实际情况反馈给用户；

用户通过检测后的图像即可判断边界框标注的实际情况；其中，气孔表型性状的边界框标注的实际情况具体有：在模型检测过程中光学显微镜图像中的所有气孔是否均被边界框框住、一个气孔周围是否被多个边界框框住、气孔表型性状是否被完整且精确地框住。

5)通过模型参数调整模块，用户参与参数调整，对测试集进行检测：若用户对气孔表型性状的检测与识别结果满意，则停止调整参数，计算并得到气孔尺寸、坐标、密度信息，并由显示检测与识别详细信息模块进行信息显示；若不满意，则用户可以根据需要，调整气孔目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。

其中，步骤1)具体包括：

(11)根据需要选取n个自交系的m张植物表皮细胞的光学显微镜图像,其中n≥1，m≥1；

(12)将其按照用户指定的图像数量比例分为训练数据集、验证数据集和测试数据集；

(13)利用标注工具labelimg，对训练数据集和验证数据集的部分光学显微镜图像的所有气孔表型性状进行人工标注边界框；

(14)生成并保存对应的xml标记文件，便于记录每张光学显微镜图像的所有气孔表型性状的边界框坐标。

步骤2)具体包括：

(21)读取训练集全部光学显微镜图像，并根据用户所期望得到的图像目标分辨率，并对图像尺寸进行调整；

(22)将在coco数据集上的yolov3网络结构进行预训练模型、自定义光学显微镜图像训练集分别当作源领域ds和目标领域dt；

(23)采用darknet-53网络结构的前52层，对ds与dt进行特征数据混合并提取两个域中的共同特征，得到3个不同尺度的特征图；

(24)通过k均值聚类算法从提取后的特征中确定先验框尺寸大小；

(25)将步骤(23)中得到的3个特征图分别通过k(4+1+c)个大小为11的卷积核进行边界框的位置预测，其中k为预设边界框，即初始聚类中心，c为预测目标的类别数；

(26)建立领域自适应,在步骤(23)和(25)间加入自适应层使得ds和dt的特征分布更加接近，计算ds和dt的距离为lst；

(27)每个边界框都预测一组类别，并采用逻辑回归作分类器预测每个类别置信度分数，并设置一个阈值，比阈值高的类别即为该边界框真正的类别；

(28)预测3种不同尺寸下的边界框，并输出张量为：

n×n×[3(boffset+s+c)],其中n×n为网格数，boffset为边框坐标，s为边界框置信度得分。

步骤3)具体包括：

(31)设置全部训练集的训练所需的迭代轮数为p，一次读入的光学显微镜图像数量为q张，其中p≥1，q≥1；

(32)将步骤(26)得到的lst加入到损失函数中，计算每轮迭代的网络模型的损失函数值；

(33)重复步骤(32)，直至得到的损失函数值最小，即保存该模型。

本发明具有的有益效果为：

1.本发明通过将自定义的高通量植物叶表皮的细胞光学显微镜图像集和预训练的yolov3网络结构进行深度迁移学习来快速高效地训练模型，根据检测与识别的实际效果让用户参与其中，并进行适当的模型参数调整，提高用户对气孔表形态分析和密度计算的效率，降低了模型的训练时间，极大地方便了用户对气孔表型性状的分析，用户能通过自定义参数功能最大限度地提高气孔检测与识别准确性和可扩展性。

2.本发明基于该检测与识别方法的检测与识别系统界面设计简洁，操作简易，易于实现，适合各类用户的使用。

附图说明

图1为本发明气孔检测与识别结果的气孔检测界面；

图2为本发明批量显示后的结果展示界面；

图3为本发明的方法流程图。

附图标记：1.待检测图像；2.气孔检测模块；3.导入图像模块；4.批量处理与显示模块；5.模型参数调整模块；6.显示检测与识别详细信息模块。

具体实施方式

如图1-2所示，本发明提供一种植物气孔智能检测与识别的系统，包括：导入图像模块3、气孔检测模块2、批量处理与显示模块4、模型参数调整模块5和显示检测与识别详细信息模块6。

导入图像模块3，使得用户从本地文件中选择待检测和识别的单张光学显微镜图像。

气孔检测模块2，系统自动对导入的图像进行气孔检测和识别，以及气孔表型性状形态学处理计算，并保存处理后的图像和详细信息结果txt格式文件。

批量处理与显示模块4，使得用户从本地文件中选择一个或多个目录下的多张光学显微镜图像，系统自动对导入目录下的所有图像进行气孔检测和识别，以及气孔表型性状形态学处理计算，并显示批量处理后的全部光学显微镜图像，其中，批量显示结果如图2所示；保存处理后的全部图像和气孔检测后的详细信息结果为txt格式文件。

模型参数调整模块5，使得用户自定义合适的模型参数，包括气孔最小存在可能性、nms参数。

显示检测与识别详细信息模块6，显示检测与识别后的单张光学显微镜图像和该图像中每个气孔的形态学计算详细结果，包括气孔的尺寸、坐标、数量、所有宽高的中位数。

如图3所示，本发明还提出基于深度迁移学习的植物气孔智能检测与识别的方法，包括步骤：

1)、将来自导入图像模块3的植物表皮的细胞扫描光学显微镜图像分成训练数据集、验证数据集、测试数据集，并分别对训练集和验证集进行气孔的人工标注边界框。具体实现步骤如下：

(11)根据需要选取n(n≥1)个自交系的m(m≥1)张植物叶表皮的细胞光学显微镜图像，可选取的是100个玉米自交系共550张叶表皮的细胞光学显微镜图像,分辨率为2736×1824；

(12)将其按照用户指定的图像数量比例(比例值可为4:1:1)分为训练数据集(360张)，验证数据集(97张)和测试数据集(93张)；

(13)利用标注工具labelimg，对训练数据集和验证数据集的部分光学显微镜图像的所有气孔表型性状进行人工标注bbox；

(14)生成并保存对应的xml标记文件便于记录每张光学显微镜图像的所有气孔表型性状的bbox坐标。

2)、读取、预处理训练集，采用深度迁移学习，使用改进的yolov3网络结构对光学显微镜图像进行特征提取和气孔表型性状的bbox预测；

常用的目标检测技术分为one-stage和two-stage，two-stage即两步走策略，先进行区域推荐，后进行目标分类，此类虽然检测准确性较高，但算法的训练耗时长。而one-stage即端到端策略，只使用一个网络，其网络训练速度比two-stage快很多，且更重要的是能学到物体的泛化特征。本发明采用的yolov3网络结构是在one-stage传统结构的基础上，增强了对小目标的检测，尤其是较密集的目标。

为了降低计算门槛，提高对气孔表型性状检测与识别的准确性，本发明采用深度迁移学习的思想，并结合yolov3网络结构对密度高、尺寸小的植物气孔表型性状进行快速精确检测。具体实现步骤如下：

(21)读取训练集全部光学显微镜图像，并根据用户所期望得到的图像目标分辨率，对图像尺寸进行相应调整。

(22)将在coco数据集上的yolov3网络结构预训练模型、自定义光学显微镜图像训练集分别当作源领域ds和目标领域dt。

(23)采用darknet-53网络结构的前52层即没有全连接层，对ds与dt进行特征数据混合并提取两个域中的共同特征；

为了降低池化带来的梯度负面效果，yolov3网络结构摒弃了所有的池化层，网络全部由卷积神经网络构成，并大量使用残差网络的跳层连接，利用步长为2的卷积核来实现降采样。为了加强对小目标检测的精确度，yolov3网络结构中采用类似特征金字塔网络(featurepyramidnetworks,fpn)的上采样和融合做法，在多个尺度的特征图上做检测，最后输出了3个不同尺度的特征图。

(24)通过k-均值(k-means)聚类算法从提取后的特征中确定先验框(anchorbox,abox)尺寸大小，得到3个不同尺度的特征图；

abox和bbox均为常用的标记或检测手段，其中bbox包含目标对象的中心坐标、宽高、目标置信度，而abox只包含最可能存在目标对象的宽高。abox需要事先通过聚类得到，假设对某一像素单元预测出一个bbox，则围绕该像素单元可以预测出无数种bbox的形状，但是这种预测需要参考abox的大小,即从已标注的数据集中通过聚类计算到的最有可能的bbox的形状；

一般计算样本点到质心的距离的时候直接算的是两点之间的距离，然后将样本点划归为与之距离最近的一个质心，但考虑到不同bbox的尺寸形状，采用改进版的k均值聚类算法在训练集的光学显微镜图像中确定abox的尺寸大小。实现的具体步骤为：

(24-1)从训练数据集中选取k个初始聚类中心(质心)，默认取k为3；

(24-2)计算每个样本框bbox与质心的相似程度(intersectionoverunion,iou)，构造一种距离函数d，将最小的d值对应的样本框划归到质心，包括以下过程：

(24-3)计算两个bbox间的交并比(iou)，即

其中sa和sb代表两个不同的bbox的面积，公式(1)表明：两个不同bbox的重叠面积越大，预测准确性越高，一般而言，iou≥0.5即满足检测；

(24-4)构造一种合适的相似程度判断标准d，将最小值d对应的样本框划归为质心；

基于(1)式计算，即

d(bi,centroid)＝1-iou(bi,bcluster),1≤i≤m(2)

其中bi为候选样本bbox，bcluster为已划分的簇，即已标注的bbox，公式(2)表明：d越小，bi与bcluster越类似，并将最小的bi,1≤i≤m划归为bcluster；

(24-5)更新质心，反复执行(24-3)-(24-4)过程，直至质心不再变化；

结合(2)式，计算每个bcluster中样本框总数并取均值，然后更新bcluster质心，不断重复(24-3)-(24-4)过程，直至质心不再变化，即聚类结束；

(24-6)保存聚类得到的abox尺寸大小。

(25)在步骤(23)中得到的3个特征图分别通过k(4+1+c)个大小为11的卷积核进行bbox的位置预测，其中k为预设边界框(boundingboxprior)，即步骤(24-1)中的初始聚类质心，c为预测目标的类别数。

(26)建立领域自适应(domainadaptation)，在步骤(23)和(25)间加入自适应层使得ds和dt的特征分布更加接近，计算ds和dt的距离为lst。

(27)每个bbox都预测一组类别，并采用逻辑回归(logisticregression,lr)作分类器预测每个类别置信度分数，并设置一个阈值，比阈值高的类别即为该bbox真正的类别；

lr用于对abox包围的部分进行一个目标存在可能性性评分(objectnessscore,os)，即这块位置是目标的可能性有多大，然后从9个候选abox中找到os最高的。

(28)预测3种不同尺寸下的bbox，并输出张量为

n×n×[3(boffset+s+c)],其中n×n为网格数，boffset为边框坐标，s为bbox置信度得分。

3)、对训练集的全部光学显微镜图像进行训练，计算每次迭代的网络模型的损失(loss)函数值大小，直至loss值收敛到最小，即保存当前模型；

使用两块8g显存的nvidiaquadrom4000gpu训练24小时，具体实现步骤如下：

(31)设置迭代轮数(epoch)为100，一次读入的光学显微镜图像量(batch-size)为8张；

(32)将步骤(26)得到的lst加入到loss函数中，计算每轮迭代的网络模型的loss函数值；

(33)重复步骤(32)，直至得到的loss函数值最小，即保存该模型。

4)、载入训练后的模型，通过气孔检测模块2对测试集光学显微镜图像进行气孔的检测，并将气孔表型性状的bbox标注的实际情况反馈给用户；

用户通过检测后的图像即可判断bbox标注的实际情况；其中，气孔表型性状的bbox标注的实际情况具体有：在模型检测过程中光学显微镜图像中的所有气孔是否均被bbox框住、一个气孔周围是否被多个bbox框住、气孔表型性状是否被完整且精确地框住。

5)、通过模型参数调整模块5，用户参与参数调整，对测试集进行检测：若用户对气孔表型性状的检测与识别结果满意，则停止调整参数，计算并得到气孔尺寸、坐标、密度信息，并由显示检测与识别详细信息模块6进行信息显示；若不满意，则用户可以根据需要，调整气孔目标最小存在可能性，以及非极大值抑制的大小，并返回步骤4)，直至用户满意。

仿真实验：

本发明的方法及系统用仿真实验给予进一步的展示，以500个自交系的玉米叶表皮的细胞光学显微镜图像库中的第102系的全部光学显微镜图像进行批量处理，并将第103系别图形库的第一张图像u-103-1.gif作为用户选择并导入的待检测图像1；其中，仿真结果如图1-2所示。

如图1所示的气孔检测界面中，左上角显示用户从光学显微镜图像库中选择u-103-1.gif作为待检测图像1，在模型参数调整模块5中设置气孔最小存在可能性为25％，nms为0.35，点击“气孔检测”，即可在检测与识别系统的显示检测与识别详细信息模块6得到该光学显微镜图像所有气孔的检测与识别结果；其中，右上部分为检测与识别后得到每个气孔的检测边界框，每个边界框上均标注该气孔的宽高数据，而右下部分为每个气孔检测后的详细数据，如每个气孔存在可能性、坐标、尺寸以及该图像中检测到的气孔总数和气孔宽高中位数。图2表示用户第102系的全部光学显微镜图像进行批量处理后的部分检测与识别结果图。

根据图1和图2所示，本发明的植物气孔智能检测与识别方法有较高的准确性和提供较全面的气孔表型性状形态学信息。该检测与识别的系统界面设计简洁，操作简易，适合各类用户的使用。