基于区域特征的成熟柑橘果实及枝叶的分割识别方法与流程

本发明涉及机器视觉识别方法，具体涉及一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法。

背景技术：

柑橘是我国各地广泛种植的水果之一，也是世界贸易的主要农产品之一，仅次于小麦和玉米。在柑橘果实的生产作业中，果实的采摘环节是一个较为复杂的环节，占全部生产作业的比重较大。正是由于采摘作业的复杂性，使其自动化程度较低，柑橘果实的采摘往往都是通过人工进行采摘，不仅劳动强度大，同时也产生了大量的人工成本。据统计，柑橘果实的采摘成本占到全部生产成本的33％-50％。使用采摘机器人代替人工进行采摘，不仅可以降低劳动强度，节省有限的劳动力资源，同时也能够节省人工成本，提高劳动生产率。

柑橘果实采摘机器人的工作环境为非结构化环境，对柑橘果实和周围环境的识别是采摘机器人实现准确采摘的重要条件。当前，国内外学者对柑橘果实的识别和定位研究较多，对于周围环境和障碍物的识别和分类研究的较少。而在实际采摘过程中采摘机器人可能会与障碍物发生碰撞，从而导致机器人严重损坏。因此研究采摘机器人障碍物的识别有着重大的意义。

目前对于果实目标识别的研究较多。张春龙等通过支持向量机分类器，对绿色苹果进行产量的预测和监控，平均识别率为89.3％。熊俊涛在夜间环境下，通过模糊c均值聚类算法分割得到荔枝果实图像，该算法在夜间环境下荔枝果实识别率达95.3％。司永胜等提出了一种基于k-均值聚类的苹果图像识别算法，绿色苹果识别率为81％。这些研究均在夜间环境下进行，减少了光线的干扰，且未考虑障碍物识别问题。

在果实与枝叶识别分类研究方面，主要有：okamoto，d.stajnkoa等分别采用热力光谱，高光谱对果园的苹果进行识别，该方法具有一定的抗光性，但是成本较高，不利于农业采摘机器人的普及。amatya.s通过决策树方法，可实现夜间环境下樱桃、枝叶和背景的分割，该法对樱桃、枝叶像素识别率分别达到89.6％和73.3％。bac.c.w.通过分类回归树的方法，能够实现在夜间环境下分割青椒、枝干、背景，软障碍物分割识别率为91.5％，硬障碍物识别率为59.2％。以上分割方法均是在夜间环境进行实验，并且对于硬障碍物的分割效果均不理想，无法作为避障参考。然而，针对自然环境中光线变化的影响，如何准确地将柑橘目标区域快速度的检测出来，如何保证分割准确率的同时耗时较短，是本领域技术人员有待解决的技术问题。

技术实现要素：

针对现有技术存在的上述不足，本发明的目的在于一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法，解决如何准确地将柑橘目标区域快速度的检测出来，如何保证分割准确率的同时耗时较短的问题。

实现上述目的，本发明采用如下技术方案：一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法，首先以彩色图像的颜色特征生成特征向量，并使用特征映射表对颜色特征进行特征降维，以减少特征向量的维度；然后通过采摘机器人工作空间、双目摄像机视场大小以及柑橘果实大小，来确定目标物的roi大小，将r、b通道中目标范围像素点数量占比大小作为选出roi的依据；最终对得到的多个初选roi中重合度较大的roi进行分数排序，选择最大分数的roi作为最佳分割识别区域。

该识别方法分为离线训练和在线识别两部分。其中，离线训练阶段主要包括：通过对不同光线下柑橘果实的颜色信息的进行分析，提取rgb通道下的三种颜色特征，并进行人工标记，获取训练样本数据集。经过实验调参获得柑橘果实及枝叶的识别模型。在线识别主要包括：由机器人采摘空间大小、双目摄像头视场大小以及柑橘果实实际大小双目摄像头视场大小和柑橘果实大小，来确定roi的区域大小，利用r通道、和b通道的占比，获取目标区域的roi局部区域，从而减少图像分割的区域，并将获取的特征进行特征降维，将分割结果进行区域分析，以识别出柑橘果实、枝叶和背景。

进一步，所述颜色特征生成特征向量的方法选取的颜色特征为hsv空间中的h、s、v颜色特征。所述roi区域定位算法流程包括3个部分：roi大小确定，初选roi，选择最优roi区域。

进一步，通过事先训练好的分类器对roi区域进行分割，对分割的结果通过连通域分析算法形成封闭的区域，并对区域进行圆度、面积等特征分析，从而通过圆度、面积等特征识别出柑橘果实目标。

相比现有技术，本发明具有如下有益效果：

1、针对复杂环境下柑橘果实以及枝叶难以识别的问题，提出了一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法。首先分析颜色特征，利用颜色信息的映射关系，进行特征降维，减少参数数量；获取分割最佳roi，以减少目标搜索的区域，提高算法的实时性，以便能够实时分割出柑橘果实、枝叶和背景，为采摘机器人采摘提供柑橘果实和枝叶信息，以指导其进行采摘。

2、本发明通过事先训练好的分类器对roi区域进行分割，对分割的结果通过连通域分析算法形成封闭的区域，并对区域进行圆度、面积等特征分析，从而通过圆度、面积等特征识别出柑橘果实目标。很好的克服自然环境中光线变化的影响，准确的将柑橘目标区域检测出来。对于柑橘目标、树叶以及树枝等背景的综合分割准确率高达95％，平均耗时只需0.02s,该算法能够保证分割准确率的同时耗时较短。

3、本发明具有较强的抗光性以及较高的识别率，能够在变化光线的复杂环境中对柑橘果实、枝叶以及背景进行有效的分割。在无遮挡的情况下识别的正确率为86％，有树叶遮挡的情况下识别的正确率为83％，在有树枝遮挡的情况下识别的正确率为60％，柑橘目标分割的正确率为98％。

附图说明

图1是柑橘果实及枝叶的识别方法流程图。

图2是两类分类器构成图。

图3是采摘机器人工作空间示意图。

图4采摘机器人的工作距离示意图。

图5是roi定位算法流程图。

图6是果实、枝叶等背景颜色特征统计分析图。

图7是目标区域柑橘果实识别流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

参见图1，本发明提出一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法，该识别方法分为离线训练和在线识别两部分。离线训练阶段主要包括：通过对不同光线下柑橘果实的颜色信息的进行分析，提取rgb通道下的三种颜色特征，并进行人工标记，获取训练样本数据集。经过实验调参获得柑橘果实及枝叶的识别模型。在线识别主要包括：由机器人采摘空间大小、双目摄像头视场大小以及柑橘果实实际大小双目摄像头视场大小和柑橘果实大小，来确定roi的区域大小；利用r通道、和b通道的占比，获取目标区域的roi局部区域，从而减少图像分割的区域，并将获取的特征进行特征降维，将分割结果进行区域分析，以识别出柑橘果实、枝叶和背景。

1、采摘机器人视觉系统平台

采用机器人视觉系统平台主要包括bb2-08s2m/08s2c-60双目相机、1394b采集卡、1394b连接线、计算机、机器人平台等。计算机操作系统是ubuntu14.04，编译环境是qt5.0、opencv2.4.9。

柑橘果实图像样本采集来自某实验果树，彩色相机分辨率1024×768。采集方式：环绕柑橘果实树一周进行拍摄。共采集了130张图像，分为顺光和背光两种数据源，通过人工标记方式，得到柑橘果实、枝叶、背景三类样本图像。

表1分别选取顺光和背光条件下的柑橘果实、树叶、背景作为训练样本，柑橘果实、枝叶、背景样本之间像素数基本在1:1:1。在顺光、背光下的样本之间的像素数量基本保持在1:1，保证了所选取的训练样本具有较好的均衡性和多样性。

表1三种类型样本彩色像素数量统计表

2柑橘果实图像特征提取

2.1目标物体的颜色特征

通过对100张人工标记的样本图进行r，g，b三通道灰度信息进行统计，柑橘果实图像的r通道灰度值在220-255之间，占比0.45；g通道分布比较均匀；b通道值灰度值在20-40、40-60之间，占比分别为0.236、0.234。枝叶的r、g、b三通道灰度值均主要集中在40-120之间，r、g、b通道的灰度值在40-60，60-80，80-100之间，占比均为0.13。背景的r、g、b三个通道灰度值均比较集中在220-255，占比均达到0.85以上，如图2。由此可知使用单通道r作为特征无法将背景、枝叶分离，需结合g、b通道特征以分割出背景需结合g、b通道特征便能够分割出背景。

3、基于区域特征的成熟柑橘果实及枝叶的分割识别

对于变化光线和多目标分割识别的场景，传统机器视觉算法往往表现的性能并不理想。而机器学习的方法，通常能达到比较理想的结果。其中支持向量机(supportvectormachine，svm)在小样本训练集上有着优越的性能，泛化能力强。

针对变光照下的柑橘果实、枝叶和背景的分割识别，首先采用颜色特征确定感兴趣区域，并利用特征映射表进行特征降维，进而在局部特征区域内实施svm算法，一方面提高了算法对自然环境中光照变化的适应性，另一方面提高了svm算法的实时性，以满足自然场景中柑橘果实采摘机器人的采摘需求。

3.1svm算法概述

svm首先由vapnik提出，属于一种有监督的学习算法。svm本质上是解决二值分类问题。而实际应用中，往往需要解决多分类问题，通常采用组合多个二分类器来实现多分类器的功能，常见的方法有一对一和一对多两种。而一对多的方式方法，二分类分类器的组合要少，需要训练的分类器数量也要少于一对一的方法，本发明对果园场景进行三分类，因此，采用的选用的是一对多方法进多分类。

二分类svm的原理是用超平面函数作为训练样本空间的线性函数，解决非线性分类问题,两类分类器构成如图3所示，公式(1)为其超平面方程。

g(x)＝w^tx+w0(1)

其中，x为训练样本的特征向量，w为权重向量，w0为常量，它的作用是为了避免线性分类器一定过原点。

将训练样本进行二分类的超平面需要满足条件(2)、(3)(2)、(3)对w与w0的归一化，得：

对每个样本类si，进行标记，记为ti，其中ti＝1,ti＝-1。将条件(2)、(3)(2)、(3)整理为条件(4)

ti(w^tx+w0)≥1(4)

为了使超平面最大化间隔，仅需要最大化||w||-1，这等价于最小化||w||2，如公式(5)。

由式(4)与(5)将求取超平面问题转化为根据拉格朗日乘法求极值点问题：

由式(6)最后能得出求解出超平面参数w和w0。

使用svm解决多分类问题，通常需要构造多个二分类器，通过构造三个2类分类器进行柑橘、枝叶、背景分类。

分类器分割步骤如下：

步骤一：将待分割的图像，人工画出标记出柑橘、枝叶、背景目标区域，然后获取该区域的r，g，b三通道灰度值构成一个特征向量xi，作为训练特征向量，表示为(xj,yj)，其中j∈{1,2,…,w}。

步骤二：通过人工方法在xi中选取一部分能代表目标区域和非目标区域的特征向量来作为训练特征向量，表示为(xj,yj)，其中j∈{1,2,…,w}。

步骤三：将训练特征向量特征向量训练作为输入，求得到全局最优的得方向矢量w*和距离w0*，则线性最优分类判决函数为：

g(x)＝(w^**x+w0^*)(7)

而对于非线性可分的训练样本，用一个非线性函数(核函数)将训练样本点空间映射到高维样本空间，在高维的样本空间上进行线性分类。。

求得超平面：g(x)＝(w*x+w0)

步骤四：将待分类的特征向量集xi；i＝1,2,…,w代入公式中，根据得出的距离，从而把图像分为3类。

最后选用nu-svm分类器，并经过实验调整其对应最优参数：核函数为rbf径向基，核函数γ参数为0.02，nu取值为0.05。

3.2特征映射表进行特征降维

在彩色图像处理中，实施像素变换可能对图像中的一个像素实施变换，也可能同时作用于某一像素的某邻域内的所有像素，但实质上都要对一个像素的三个颜色分量实施变换。因此在使用分类器前，需要根据变换预先建立r、g、b三通道像素的映射表，把r、g、b三通道特征存储在对应映射表中，通过索引值对模型进行训练，降低了数据的维数，从而提高图像处理的效率。

假设一个w×h的图像块的各像素数组p[0..w-1,0..h-1]需作变换f，像素p[i,j]经f变换后仍置于p[i,j]。p[i,j]的三个颜色分量r、g、b记为c，则有

c∈d,f:c→s∈d其中d＝{0,1,2,3,…,255}

在变换f下，一般先按公式f计算颜色分量c的值f(c)，再按(8)式修正得到目标值s，并对目标值s进行分类识别。根据s值相似性，减少识别的像素点个数，该方法降低识别时间，对识别精度影响很小。

3.3柑橘果实区域特征的初选选择

采用的彩色相机拍摄的三通道图像素点个数为786432个，rgb颜色特征分量的数量多达2359296个。采用传统分割方法运算量大、处理时间长，难以达到实时性。定位出图像中roi，减少模型识别区域，以提高算法的实时性。roi区域定位分为两步：计算特征区域大小，定位出roi区域。

(1)特征区域大小确定

使用的采摘机器人的工作空间为一个外径为780mm、内径为245mm空心球体，如图4所示。果园实验基地的果树间隔为2800mm，行走地盘离树干行驶距离为1400mm，如图5所示，双目摄像头中心线距离柑橘最远有效拍摄距离为630mm。

我国柑橘果实直径大小范围在55mm-85mm，因此选取直径大小为85mm，作为拍摄对象。通过拍摄85mm柑橘果实在最远采摘工作空间处780mm处的图像，获取到的图像中的最远处柑橘果实在图像中最大外接矩形大小为112×112像素。采摘机器人在进行采摘作业时的采摘距离与摄像机拍摄距离由采摘机械臂的最大采摘距离为780mm，而由柑橘果实树的大小可以得出机器人采摘深度通常不超过150mm，从而双目摄像机拍摄最近视场可以选为480mm。根据小孔成像原理，在最远处780mm，最大柑橘果实85mm，在图像中像素最长边112像素点，因此可得出85mm大小柑橘，在最近距离480mm下可以得出在实际采摘环境下柑橘果实在图像中最长边180.375像素。

(2)特征区域定位

在采摘环境下图像中柑橘果实最大尺寸为180.375×180.375像素。在实际过程中为了提高其容错性，将区域扩大1.5倍，实际选取roi大小为270×270像素。roi区域定位算法流程包括3个部分：roi大小确定，初选roi，选择最优roi区域，如图6所示。

roi区域大小主要是通过采摘环境确定其大小。初选roi阶段主要包括roi区域遍历图像、计算roi的r、b通道占比、重合度计算、区域分数排序选出最优区域。roi遍历图像，为了既满足实时性，又达到最优检测效果，经实验将区域遍历图像的步长设置为10。通过颜色特征统计分析如图2所示，pr、pb满足条件(11)，可作为初选roi。

计算公式如下：

式中：sr——大小为270×270像素点的特征区其中r通道灰度值范围在220-255像素的数量；

sb——大小为270×270像素点的roi其中b通道灰度值范围在220-255像素的数量；

sroi——大小为270×270像素点的roi的像素数量；

pr——r颜色特征在roi区域占比；

pb——b颜色特征在roi区域占比；r、b颜色特征的占比约束条件：

满足条件(11)的roi区域有很多区域，通常同一个柑橘获得的roi区域彼此之间重合度较大，重合度计算公式如下。

式中roiiou——重叠区域大小占比；

roia、roib——a区域大小、b区域大小；

roiab——a、b相交区域大小；

由式(12)通过对获得roi区域彼此重合度较大进行分数排序，求得r、b占比最大区域，作为最终分割的roi区域。经过实验获得roi彼此之间重合度设置成0.7，通常不会出现漏检现象，且最终的roi区数量比较合适。

sm＝max{[pr0,pb0],l,[pri,pbi]}(13)

式中sm——为最佳roi区域；

pri,pbi——对应roi区域r、b占，i∈{1,2,3,…}；

通过分析颜色特征占比，确定采摘目标的roi，从而减少分割区域。利用特征映射表对颜色信息进行降维，以减少参数的维度，从而提高算法的实时性。该方法能够很好分割出柑橘果实、枝叶、背景。表2中三个目标的综合识别达到94％。

由实验结果可知，该方法在变化光线下复杂背景环境中的柑橘果实、枝叶、背景可以进行有效分割，对环境抗干扰能力强，综合识别率达到94％，单张图片分割时间为达到0.2s，达到采摘机器人目标获取的实时性需求，便于机器人进行高效采摘。

4、实验及结果分析

4.1实验结果

将人工分割视为准确。通过人工分割、k-means分割算法、svm分割算法分别对100幅图像进行柑橘果实、背景、枝叶进行分割，并统计其对应的面积。实验结果如表2，表中单位为像素。其中试验采用以下指标对算法的性能进行评价：识别正确率tp和误别率fp，其定义为：

式中ntp—在测试集中识别正确的个数；

n—在测试集中总样本个数；

表2果树目标分割识别率对比实验

5、结论

针对复杂环境下柑橘果实以及枝叶难以识别的问题，本发明提出了一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法。首先分析颜色特征，利用颜色信息的映射关系，进行特征降维，减少参数数量；获取分割最佳roi，以减少目标搜索的区域，提高算法的实时性，以便能够实时分割出柑橘果实、枝叶和背景，为采摘机器人采摘提供柑橘果实和枝叶信息，以指导其进行采摘。参见图7，本发明通过事先训练好的分类器对roi区域进行分割，对分割的结果通过连通域分析算法形成封闭的区域，并对区域进行圆度、面积等特征分析，从而通过圆度、面积等特征识别出柑橘果实目标。

该方法并未对软硬障碍物(软障碍物为树叶、硬障碍物为树枝)进行区分，而实际柑橘果实采摘机器人需要硬障碍物的信息来指导避障。

以上所述仅为本发明的较佳实施例而已，并不以本发明为限制，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。