基于图像分割与特征融合的植物叶片辨别方法与流程

本发明涉及一种基于叶片图像分割与特征融合的复杂背景植物识别方法，该方法拟利用基于形态学变换的标记分水岭算法，通过叶片分割与特征提取，解决复杂背景下植物识别问题和植物叶片分割过程中的过分割问题，从而消除复杂背景因素对植物识别的负面影响，属于植物识别技术领域。

背景技术：

地球上植物种类繁多，通过肉眼观测来识别植物存在较大误差，因此基于计算机视觉的植物分类识别成为植物分类学的研究热点。植物叶片作为植物的组成部分，常作为植物识别的重要特征。目前对植物分类识别的研究大多基于单一背景植物叶片进行的分类识别，出现了多种识别方法：支持向量机识别，差异性值局部监督线性嵌入(d-lle)算法，深度信念网络对植物进行识别。上述方法在实际应用中需要将叶片采集并置于空白背景下进行拍摄，不具有实用性。如何在复杂背景下，在不破坏植物本身的同时对其进行识别更具有应用价值。

针对复杂背景下叶片的处理问题，出现了(1)首先gustafson-kessel聚类分割，再利用遗传算法提取叶片的方法，但该算法对重叠和复杂背景的鲁棒性较低。(2)自动标记的分水岭算法分割叶片图像，然后对叶片提取hu矩和zernike矩作为叶片形状特征，对植物进行识别的方法，该方法虽然能够在重叠、复杂背景下较好的分割叶片，但是分割时需借助叶片形状信息，对未知叶片不具有实用性。(3)基于hsi空间的分水岭分割算法提取复杂背景下的叶片，并对其进行识别的方法。但由于叶片纹理及叶片脉络的存在，该算法对大多数叶片并不具有适用性，当分割对象脉络明显时，容易造成过分割。因此，在复杂背景下的植物识别过程中，核心问题是如何对植物叶片进行分割以消除复杂背景的影响。

鉴于形态学变换后得到的叶片图像叶片纹理及脉络明显减弱，因此在对形态学变换后的叶片图像进行分水岭分割过程中，能有效避免因纹理及脉络引起的过分割现象，所以，基于形态学变换的标记分水岭算法对于复杂背景下的植物识别有很大的应用参考。

复杂背景因素对植物识别具有的负面影响，因此复杂背景下的植物识别问题是一个急需解决的问题，需要提出一种处理方法来减少复杂背景的影响。

技术实现要素：

本发明的目的是：提供一种基于叶片图像分割与特征融合的复杂背景植物识别方法，将复杂背景下的植物识别分为叶片分割与特征提取两个阶段，通过图像分割处理消除复杂背景因素对植物识别的负面影响。同时，利用基于形态学变换的标记分水岭算法，对植物叶片进行重建的开闭操作后，使用标记分水岭算法对其进行分割，从而避免植物叶片分割过程中因叶片纹理与脉络的影响产生的过分割现象。

为了达到上述目的，本发明所采用的技术方案是：基于图像分割与特征融合的植物叶片辨别方法，其特征在于，所述方法包括如下步骤：

步骤1，去除叶片图像的非绿色背景；

步骤2，对去除非绿色背景后的叶片图像进行重建后的开闭操作，得到基于开闭的重建图像；

步骤3，计算基于开闭的重建图像的梯度幅值图像、前景标记和背景标记；

步骤4，利用强制最小值技术、前景标记与背景标记对梯度幅值图像进行修改；

步骤5，使用分水岭算法对修改后的梯度幅值图像进行分割，提取出单个叶片；

步骤6，叶片特征提取及识别。

进一步地，步骤2中，具体实现过程包括：对去除非绿色背景后的叶片图像进行形态学变换处理，通过对去除非绿色背景后的叶片图像进行腐蚀重建操作得到基于开的重建图像，在此基础上做基于闭的重建操作，最后得到基于开闭的重建图像。

进一步地，步骤3中，具体实现过程包括：

用sobel算子计算基于开闭的重建图像的梯度幅值，将重建图像向量与sobel横向和纵向卷积因子做平面卷积得到水平方向和垂直方向的偏导数dx和dy，利用dx和dy重新计算像素点的灰度值；

g为基于开闭的重建图像的梯度幅值图像；

对基于开闭的重建图像计算局部极大值得到前景标记，通过闭操作和腐蚀操作消除标记斑点的边缘，然后消除此过程中产生的小面积对象以得到最后的前景标记；

对基于开闭的重建图像通过阈值分割进行二值化处理，计算二值图像的欧氏距离，并对其进行分水岭变换，得到分水岭变换脊线图，即背景标记。

进一步地，步骤4中，具体实现过程包括：利用强制最小值技术，使用前景标记和背景标记矩阵对梯度幅值图像进行修改，减少叶片区域的局部极小值，修改后的梯度幅值图像中部分局部最小值被强制消除。

进一步地，步骤5中，具体实现过程包括：对修改后的梯度幅值图像进行分水岭变换得到变换矩阵，提取变换矩阵中距离中心点附近的分割块作为目标叶片所在位置，保留原图中该像素值对应所有位置像素，分割出单个叶片图像。

进一步地，步骤6中，叶片特征提取及识别过程包括：对提取出的单个叶片进行预处理后，分别提取形状特征和纹理特征，再进行特征融合后，从而进行特征识别。

进一步地，步骤6中，具体实现过程包括：

对叶片图像提取分块lbp特征作为纹理特征，对于特征维度过高问题，引入lle算法将特征维度降低；

提取hu氏不变矩作为形状特征，将降维后的分块lbp纹理特征与hu矩形状特征进行串联融合，共同组成描述叶片纹理和形状的综合特征。

进一步地，叶片的lbp特征作为数据样本点，通过对近邻点重构每个样本点的线性系数来表示这些区域的局部几何形状；重构误差函数如下所示：

权重wij表示第j个样本点对第i个在重构的贡献值，权值矩阵w由wij构成，最优权重函数受到两个约束条件，第一，当xj不属于xi邻域时wij＝0；第二，计算样本点xi在低维空间的映射yi时，使权重误差函数εi(w)最小；其中，

式中

m＝(i-w)^t(i-w)

将m的特征值从小到大排列，取第2～(d+1)个特征值，其对应的特征向量即为lle降维后的输出结果。

与现有技术相比，本发明的有益效果是：本发明采用基于形态学变换的标记分水岭算法的叶片图像分割与特征融合策略，通过图像分割处理消除了复杂背景因素对植物识别的负面影响，提高了识别率。

附图说明

图1叶片分割过程；

图2基于开闭的重建图像；

图3梯度幅值图像及对应分割结果；

图4前景标记；

图5背景标记；

图6强制最小值技术；

图7修改后梯度幅值图像及分割效果；

图8叶片提取结果；

图9两种叶片降维前后特征对比效果；

图10叶片分割及识别流程图；

图11训练样本叶片图像；

图12植物叶片分割效果；

图13样本类数不同时算法的识别率。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明的技术方案具体描述如下：一种基于图像分割与特征融合的植物叶片辨别方法，其特征在于，所述方法包括如下步骤：

步骤1，去除叶片图像的非绿色背景；

步骤2，对去除非绿色背景后的叶片图像进行重建后的开闭操作，得到基于开闭的重建图像；

步骤3，计算基于开闭的重建图像的梯度幅值图像、前景标记和背景标记；

步骤4，利用强制最小值技术、前景标记与背景标记对梯度幅值图像进行修改；

步骤5，使用分水岭算法对修改后的梯度幅值图像进行分割，提取出单个叶片；

步骤6，叶片特征提取及识别。

对各个步骤详细描述如下：

步骤2：为了减少叶片纹理对分割的影响，对图像进行形态学变换处理。通过对去除非绿背景的图像进行腐蚀重建操作得到基于开的重建图像，在此基础上做基于闭的重建操作，最后得到基于开闭的重建图像，如图2(e)所示为形态学变换后叶脉效果。由附图2(e)可以看出经过形态学变换后得到的叶片图像叶片纹理及脉络明显减弱，因此在对形态学变换后的叶片图像进行分水岭分割过程中，能有效避免因纹理及脉络引起的过分割现象，如图2(g)所示。

步骤3：用sobel算子计算基于开闭的重建图像的梯度幅值，将重建后图像向量与sobel横向和纵向卷积因子做平面卷积得到水平方向和垂直方向的偏导数dx和dy，利用dx和dy重新计算像素点的灰度值。

g为图像的梯度幅值图像。如图3(a-b)所示，由于形态学操作不能完全消除叶片纹理，因此其梯度幅值图像依然包含大量局部最小值，直接使用分水岭算法对梯度幅值图像进行分割会出现过分割现象。因此需要使用前景和背景标记修改梯度幅值图像，以获得更好的分割效果。

对基于开闭的重建图像计算局部极大值得到前景标记。通过闭操作和腐蚀操作消除标记斑点的边缘，然后消除此过程中产生的小面积对象已得到最后的前景标记，如图4所示。对基于开闭的重建图像通过阈值分割进行二值化处理，计算二值图像的欧氏距离，并对其进行分水岭变换，得到分水岭变换脊线图，即背景标记，如图5所示。

步骤4：修改梯度幅值函数，利用强制最小值技术，如图使用前景标记和背景标记矩阵对梯度幅值图像进行修改，减少叶片区域的局部极小值。强制最小值技术原理如图6所示。如图7(a)所示，修改后的梯度幅值图像中部分局部最小值被强制消除，解决了分水岭分割时过分割问题。

由附图7可知，使用前景及背景标记对梯度幅值图像进行强制最小值技术修改后，叶片中局部最小值被强制消除，减少分水岭时的过分割现象。在此前提下对修改后梯度幅值图像进行分水岭分割，成功提取出多种复杂背景下植物单个叶片。对提取出的单个叶片进行预处理后，便可对植物叶片提取特征进行识别。

步骤5：最后对修改后的梯度幅值图像进行分水岭变换得到变换矩阵l，如图7(b)所示。提取l中距离中心点附近的分割块作为目标叶片所在位置，保留原图中该像素值对应所有位置像素，分割出单个叶片图像，如图8所示。

步骤6，单个叶片的特征提取及识别。具体如下：对叶片图像提取分块lbp特征作为纹理特征，由于特征维度过高，引入lle算法将特征维度降到50维。提取hu氏不变矩作为形状特征，将降维后的50维分块lbp纹理特征与7维hu矩形状特征进行串联融合，共同组成描述叶片纹理和形状的57维综合特征。两种植物叶片的6个样本经lle降维前后lbp特征在二维空间的对比图如图9所示。其中实线表示第一类样本，加三角标记的虚线表示第二类样本。图9(a)中两种叶片原始lbp特征重叠严重不易分别，因此导致对原始lbp特征分类识别时识别率低。

叶片的lbp特征作为数据样本点，通过对近邻点重构每个样本点的线性系数来表示这些区域的局部几何形状。重构误差函数如下所示：

权重wij表示第j个样本点对第i个在重构的贡献值。权值矩阵w由wij构成。最优权重函数受到两个约束条件。第一，当xj不属于xi邻域时wij＝0；第二，计算样本点xi在低维空间的映射yi时，使权重误差函数εi(w)最小；其中，

式中

m＝(i-w)^t(i-w)

将m的特征值从小到大排列，取第2～(d+1)个特征值，其对应的特征向量即为lle降维后的输出结果。如图9(b)中两种叶片经lle降维后的lbp特征在相同维度上特征取值范围有明显区别，同类叶片特征变化相似，因此，便于对经lle降维后的lbp特征进行分类识别。

下面根据具体实施例对本发明进行说明。本发明实施例选取武汉植物园的50种植物叶片进行分割与识别，实验流程如图10所示。

每种植物包含11张单一背景图片和1张复杂背景下图片，共600张样本图片。单一背景叶片作为训练样本，每种叶片包括三种不同角度以验证特征的旋转不变性，如图11所示；复杂背景叶片作为测试样本，分割算法对测试样本叶片图像进行分割，部分植物分割效果如图12所示。由图12可以看出本文提出的叶片分割算法能够将多种植物的单个叶片从复杂背景中分割出来，从而对其进行特征提取。

计算lbp算子时将图像分成5×5块子图像，中心像素点周围有8个像素点，对每一块子图像分别提取28维lbp算子，组成5×5×2⁸维的特征向量。使用lle降维时经过多次测试，当参数设置为k＝40、d＝50时，降维得到的特征能够在不影响识别速度的同时提高识别率。其次实验采用svm分类器对训练样本学习并建立模型，使用网格参数寻优方法对svm中的惩罚因子c与核函数γ进行优化，得到结果为c＝8、γ＝0.0156，在该模型的基础上对测试样本进行识别。最后对于同一个植物叶片库测试不同算法的识别率和识别时间。

表1不同算法的实验结果比较

由表1和图13可以得出以下结论，通过对分割后的叶片提取纹理与形状特征，能够成功识别出植物种类，并且，使用lle算法对高维的lbp纹理特征降维后进行植物识别能够有效的提高识别速度与识别率，识别率达到88％，随着植物种类增加，该方法具有更高的稳定性。当形状特征与降维后的纹理特征结合时可以进一步提高识别率。由于hu矩的特征维数较低，所以对数据的计算速度影响不大。验证了本发明所提的基于形态学变换的标记分水岭算法的叶片图像分割与特征融合策略的可行性与有效性。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。