基于支持向量机的苹果采摘机器人果实自动识别方法

专利名称：：基于支持向量机的苹果采摘机器人果实自动识别方法
技术领域：
：本发明涉及农业果蔬采摘机器人，特别是苹果采摘机器人图像识别
技术领域：
，基于支持向量机方法来对苹果果实进行自动识别。
背景技术：
：苹果采摘机器人视觉系统中，果实的识别和定位是其中的关键环节，能否快速、准确地识别出果实直接影响机器人的实时性和可靠性。大多数果园内的作业都是依赖于太阳光作为光源的，光线情况的变化会导致图像质量下降，导致不完全或不准确的目标提取，进而影响随后的图像处理环节；而且，在相同的时刻，由于果实位置的不同，果实获得光照也不同，这些因素都是机器视觉系统需要考虑的。在对采摘机器人视觉相关的研究中，徐惠荣等(2005)提出了利用图像色差信号(R-B)对树上柑橘进行识别，并分别对顺光和逆光等光照条件下的水果进行了识别研究。赵杰文等(2004)提出了HIS颜色空间下基于色调统计的阈值分割和识别技术。Bulanon匿等(2002)根据富士苹果在颜色与背景有较大的差异，利用照度和颜色模型对富士苹果进行检测，并用最佳阈值进行分割；孙明等(1997)通过对苹果果实、叶、枝等的色泽信号的直方图分析，利用色差信号(G-Y)和(R-B)分别对红色果实和黄绿果实的图像进行分割处理。但这些方法存在识别的准确率低和运行时间长等问题，在很大程度上制约自然环境下作业的苹果采摘机器人的实时性和多任务性。支持向量机(SupportVectorMachine,SVM)是20世纪90年代形成的一种新的模式识别方法，它通过结构风险最小化准则和核函数方法，较好地解决了模式分类器复杂性和推广性之间的矛盾。它将待解决的模式识别问题转化成为一个二次规划寻优问题，理论上保证了全局最优解，避免了局部收敛现象，特别是在解决模式识别中小样本、非线性及高维识别问题中表现出了独特的优势和良好的应用前景。
发明内容本发明的目的是提供一种基于支持向量机的专门的针对自然光照条件下、复杂背景中的苹果果实识别方法，快速、准确地识别出苹果果实，进而提高机器人的实时性和可靠性。本发明解决其技术问题所采用的技术方案是先采集自然光照下的苹果果园彩色图像，用矢量中值滤波对苹果彩色图像进行预处理，预处理后采用区域生长和颜色特征相结合的方法进行图像分割，分别提取分割后苹果彩色图像的颜色特征和几何形状特征，再应用支持向量机的模式识别方法来识别苹果果实，最后准确定位果实，其中所述矢量中值滤波法是将给定窗口中所有矢量取平均得到平均矢量，计算窗口中矢量到平均矢量的距离，将距离平均矢量最近的矢量作为窗口中心像元素的输出值；所述图像分割将图像像素投影到RGB模型的直方图上，求出概率较大的颜色，在这些颜色中选取几个像素作为备选生长点，设置生长阈值后选择出1个备选生长点，运用生长规则进行生长，判断颜色是否相近运用欧氏距离求得；图像颜色特征提取是将苹果果实图像HLS颜色空间的每一个点看作是HLS三维颜色空间的一个点，两个颜色的差异通过两个颜色点的欧氏距离计算衡量，采用HLS三维颜色空间中的H和S分量值作为苹果识别的颜色特征；图像几何形状特征提取是提取圆方差、椭圆方差、紧密度、周长平方面积比这4个苹果果实轮廓的特征量，作为每一个样本的特征向量，构造支持向量机进行训练和分类；所述图像识别是分别基于颜色信息、几何形状信息结合支持向量机进行苹果果实识别，并将其结果与综合采用颜色和几何形状信息的支持向量机结果进行比较，得出RBF支持向量机核函数。本发明的有益效果是综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率，识别效果更好，并且算法实现简单，运行时间短，识别性能优于普遍采用的神经网络方法，对于小样本的学习表现出了优势。图1为苹果果实图像矢量中值滤波效果图像，其中，图la为原始图像，图lb为滤波后的图像；图2为图1所示苹果果实原始图像经过滤波、分割及形态学运算后的结果图像；图3为苹果色度效果图；图4为二维线性可分的最优分界面示意图；图5为非线性可分问题经映射成线性可分问题图；其中，图5a为非线性可分问题图，图5b为映射后变成线性可分问题图。具体实施例方式本发明由图像预处理、图像分割、图像特征提取、图像识别四步骤组成，采集自然光照下的苹果果园图片，采用矢量中值滤波对苹果彩色图像进行预处理；预处理后采用区域生长和颜色特征相结合的方法进行图像分割；分别提取分割后苹果彩色图像的颜色特征和几何形状特征，应用支持向量机的模式识别方法来识别苹果果实，最后准确定位果实。具体如下1、图像预处理本发明采用采摘富士苹果的采摘机器人的实时视觉系统，这种机器视觉系统包括一个用来捕获果园中富士苹果图像的彩色CCD摄像头和一个处理已捕获图像的PC机。如图l，实际获得的图la图像存在噪声干扰，需要进行滤波处理。常用的线性滤波(如最小均方滤波、平均值滤波等)算法简单，效果明显，缺点是使图像边缘细节模糊，特征淹没，给分析带来困难。而中值滤波是一种非线性的信号处理方法，与其对应的中值滤波器也是一种非线性的滤波器，它能够克服线性滤波的缺陷，而且对滤波脉冲干扰及图像扫描噪声最为有效。特别适合用在有很强的椒盐式或脉冲式的干扰时，因为这些干扰值与其邻近像素的灰度值有很大的差异，因此经排序后取中值的结果是强迫将此干扰变成与其邻近的某些像素的灰度值一样，因此本发明采用彩色图像矢量中值滤波法。彩色图像矢量中值滤波法定义为把RGB彩色二维图像的一个像素看成一个矢量X(i，j)，记r(i，j)，g(i，j)，b(i，j)分别对应于RGB彩色图像像素的3个分量，像素矢量X(i，j)可表示为X(i，j)=[r(i，j)，g(i，j)，b(i，j)]T，则彩色图像像素的集合为X={X(i，j);i=l，…M;j二l，…W(M为行数，N为列数)。上述RGB彩色模型中R代表红色(red)，G代表绿色(green)，B代表蓝色(blue)。彩色图像矢量中值滤波法，是将给定窗口中矢量集合的中值作为窗口中心像元素的输出值。设原始图像集合X(i，j)的大小为MXN，用一个nXn窗口进行矢量中值滤波，其算法步骤如下<formula>formulaseeoriginaldocumentpage5</formula>(1)通过求解r、g、b平均值，计算窗口平均矢量I(/J)=|7(/，几^(/,<formula>formulaseeoriginaldocumentpage5</formula>(2)计算各矢量到平均矢:=|x(/，_/)—7(/，7')式中l卜II——矢量的l<formula>formulaseeoriginaldocumentpage5</formula>(1)的距离Sij，比较su的大小，取得最小的smin。(2)-范数或2-范数。所对应的像素Xmin作为该窗口的矢量中值，用它代替窗口中心像素矢结果如图lb所示，采用彩色图像矢量中值滤波法，不仅能有效地去除噪声、突出前景苹果果实，同时克服了传统滤波方法不能保持图像边缘的缺陷，很好地保持了边缘和细节；并且，由于在滤波时，中心像素被窗口中距离矢量最小值所取代，而不是由R、G、B合成的矢量所取代，所以图像并不增加新颜色。2、图像分割对于在果园中自然光照下拍摄的苹果图像，背景通常包含大量枝叶噪声影B向，是十分复杂的，因此只运用传统的图像分割算法难以达到预期效果。本发明针对复杂背景下的苹果果实图像，运用了区域生长算法和颜色特征相结合的方法来进行图像分割。区域生长算法的分割效果主要由生长点的选择和生长规则来决定。图像是RGB模型的彩色图像，将图像像素投影到RGB模型的直方图上，求出概率较大的颜色，在这些颜色中选取几个像素作为备选生长点，接着，选取这些备选生长点所在的5X5像素区域，设置生长阈值，统计在这一区域内小于阈值的像素个数，如果个数大于20个，则认为像素周围是目标物体，即苹果果实；如果小于20个，则认为可能备选生长点正好选到了一些与目标颜色相近的孤立点，这样则舍弃这个备选生长点，选择新的备选生长点。最终选择出l个备选生长点，运用生长规则进行生长。对于生长阈值的选择，基于如下规则前面求得的备选生长点的颜色正好是苹果果实的主要颜色，所以可以将备选生长点的颜色与整个图像颜色平均值之差的绝对值作为区域生长过程中的阈值。实际图像中，苹果果实颜色和枝叶背景颜色有较大差异，所以阈值可以选的相对较大。生长规则的选择决定了区域生长算法的可靠性及运算时间，是其中的关键环节。从备选生长点出发，考察8邻域内像素，若与中心点像素颜色差小于阈值则添加到备选生长区域内，否则不进行添加，考察完8邻域后，中心点标记为已处理，保证不会重复处理。直到生长不再有新的像素被添加到区域内，则生长结束。对于彩色图像，判断颜色是否相近运用欧氏距离求得，即，在RGB模型下有两个像素pj巧，gpb》和P2(r"g2，b2)，它们的距离d(Pl，p2)为d(A，P2)=V(。-r2)2-g2)2+(、-62)2(3)基于上述方法，可将苹果果实图像分割成果实和背景两个部分，这个图像将用来进行特征提取。但在分割过程中，图像中常有孤立的小点、毛剌和小空洞，为了减少这些噪声对后续识别工作的影响，采用数学形态学中的开、闭运算来消除噪声。具体采用开闭滤波器序列迭代执行。开始时，用开运算去除孤立的小点、毛剌，然后再用闭运算来填补小空洞，从而取得理想的图像效果，见图2-3。3、图像特征提取3.1苹果图像颜色特征提取苹果图像是自然光照条件下悬挂在树上的果实图像。光照情况可分为4种(a)向光；(b)背光；(c)果实在阴影中；(d)阴天。其中，情况(a)、(b)和(c)都取自晴天的条件下。由于光照情况的差异，所采集图像的质量肯定有所不同，这将直接影响下一步图像处理的结果，因此选择一种能适应所有光照条件的特征分量是非常必要的。经实验，色度几乎不受光照条件的影响，因此采用HLS颜色模型中色度分量进行处理。HLS模型是一种常用的颜色感知模型，用色彩的三属性来描述颜色，其中，H为色调(Hue)，L为明度或亮度(Lightness)，S为色饱和度(Saturation)。与RGB模型相比，它与人对色彩的感觉较为一致，比较符合人们对颜色的描述习惯。这个模型基于两个重要的事实1.L分量与图像的彩色信息无关；2.H和S分量与人感受颜色的方式紧密相联。HLS模型和常见的RGB模型之间的转换关系为「《G》万(4)式中0=arccosS=1—0.5[(及一G)]+(及一万)3[min(及,G,5)]<formula>formulaseeoriginaldocumentpage6</formula>由于在自然光照条件下光强变化较大，必须排除图像中的明暗对图像的影响，选取HLS颜色模型中与亮度无关的H和S通道进行特征提取，如附图3所示。将苹果果实图像HLS颜色空间的每一个点看作是HLS三维颜色空间的一个点，所以两个颜色的差异可通过两个颜色点的欧氏距离来计算衡量，2个像素Pl(HpS》和p2(H2，S2)，它们的距离d(Pl，p2)即为色差，计算公式如下a￡=《a，a)=扭-//2)2+(&-&)2(8)经实验，HLS颜色空间可直接进行颜色的比较，并能比较好地控制颜色和强度信息，故它在细微颜色差别的测量中特别有效，因此本发明采用HLS颜色空间中的H和S分量值作为苹果识别的颜色特征。3.2苹果图像几何形状特征提取物体的几何形状在物体的识别中占重要的地位，而不同种类的物体其形状的差别是很大的。苹果果实、树枝、树叶都有其特定的形状，且差异较大，因此可以对苹果果实的轮廓提取相应的特征，进一步运用支持向量机进行分类。物体几何形状的最大特点即为它不因物体在图像上的位置、大小和与图像所处的角度而改变，所以应提取满足RST(旋转、比例、平移)不变性的特征向量。针对苹果果实图像的特点，圆方差、椭圆方差、紧密度、周长平方面积比等特征能很好地概括苹果果实的轮廓特征，因此提取这4个特征量。要提取苹果果实的轮廓特征首先必须在图像上得到轮廓的位置，即得到边界像素在图像上的位置，这些量应用索贝尔算子(Sobel算子)、罗伯特算子(robert算子)很容易得到。得到边缘像素后，即可求取圆方差、椭圆方差、紧密度、周长平方面积比等特征值。设轮廓边缘坐标为Pi二[Xi，yi]T，轮廓为N个随机向量的集合P，P二{Pi}，i=l，2，…，N。平均向量为i！，即目标的质心坐标为1w>"=771>'(9)平均半径为iir:/^-77l^广刈(10)面积A为区域像素点数的总和，周长G的计算方法为在区域的边界像素中，设某像素与其上下左右像素间的距离为1，与斜方向像素间的距离为V^，周长就是这些像素间距离的总和。圆方差。。反映了物体的外形与圆的相似程度，0。越小表示物体越像一个圆，定义为1w0"c=7T^Z(Ia-H|-A)椭圆方差oe反映的是物体外形与以主轴为轴的椭圆的相似程度，oe越小与椭圆越相似，这个值主要应用于苹果果实有光照等噪声影响时，果实分割后不是呈现出完全的圆形情况，定义为1w/-:-=Z(Vio,—//f/r1&—//)i—;O2(12)式中//rc=;|;vite—/^"、一A)1(13)7为类。协方差矩阵H为//=^|>,-"(P广/^(14)紧密度^。。mp表示物体的紧密程度，其紧密度值越小表示物体的构成越松散，定义—周长平方面积比^力一"^^定义为(15)求出这4个特征值，作为每一个样本的特征向量，构造支持向量机进行训练和分4、图像识别支持向量机(SupportVectorMachine,SVM)是v即nik等人在1992年提出了一种基于统计学习理论的模式识别方法，是一种新的解决模式识别问题的有效工具，近年来在其理论研究和算法实现方面都取得了突破性进展，开始成为克服"维数灾难"和"过学习"等传统困难的有力手段，在目标识别、文本分类、函数逼近和时间序列预测等许多实际应用中取得了成功。它根据有限的样本信息，构造一组嵌套的函数子集，使其VC维由内向外依次递增，然后在该嵌套子集中寻找能使经验风险和置信范围之和最小的子集，使得实际风险上界最小化，从而实现了结构风险最小化准则(StructuralRiskMinimization,SRM)。支持向量机数学形式简洁，并且具有全局最优性和良好的泛化能力，已成为解决分类、回归、概率密度估计等问题的一种有力工具，在形式上类似于多层前向网络，但却能克服多层前向网络的固有缺陷，因而被认为是人工神经网络方法的替代方法。基于支持向量机的上述优点，本发明针对苹果果实图像特征数据，使用不同的核函数对SVM进行了分类测试，以判别SVM是否具有不同的分类性能，并确定哪种SVM更适合于苹果果实的识别，根据问题的不同支持向量机可以分为线性可分和非线性可分两大类。如附图4所示，对于线性可分二分类问题，SVM的基本思路是在两个类别的样本集之间寻找一个最优分界面(OptimalHyperplane，最优超平面)，将两类分开，并使两类的分隔距离最大。以图l所示的二维空间为例，图中，用实心点和空心圈分别表示第一类和第二类训练样本，H是将两类分开的最优分界面，&、H2与H平行。&上的样本是第一类样本到H距离最近的点，H2上的样本则是第二类样本距H的最近点。&与H2上的样本处在隔离带的边缘上(附加一个差号表示)，这些点称为支持向量，由它们决定了分类的隔离带。分类判断函数为/0)=sgn(((y*")+y)=sgn(2]<xO,.x)+6*)(16)式中a*-Lagrange乘子l/—分类阈值SVM—个重要的优点是可以处理线性不可分问题。如附图5所示，在非线性可分的条件下，可以采用特征映射方法，将非线性可分的特征向量空间映射到线性可分的新的特征向量空间(特征向量空间的维数通常会增加很多)中，然后再利用线性可分的支持向量机进行分类。当问题为线性不可分时，可以利用核函数K(x，Xi)实现非线性变换，采用不同的核函数所得到的分类结果也不一样，目前主要有以下3种形式的核函数(1)多项式(Poly)形式的核函数K(x，Xi)=((xx》+ir(17)(2)径向基函数(RBF)形式的核函数K(jc,;c,.)=exp(-|X—)(18)(3)Sigmoid函数形式的核函数K(x，X》=tanh(a(xx》+P)(19)当人工识别一个红色苹果时，可以看到的是红色的果皮(颜色信息)和近似于圆形的果实(形状信息)，分别对仅基于颜色或几何形状特征的苹果果实图像和综合采用颜色特征和几何形状特征的苹果果实图像进行识别实验，并将三组实验结果进行对比，以此证明，采用颜色特征和几何形状特征结合后的综合信息来进行苹果果实识别，效果更好。从苹果果实图像中选取640X480像素的子图像150幅作为训练样本，建立识别模型，再选取640X480像素的子图像50幅作为测试样本，用来验证模型的可靠性。实验中将每幅图像进行预处理和图像分割，然后结合支持向量机进行后续识别实验。4.1基于颜色特征的苹果果实图像识别对每个预处理后的苹果果实图像提取其颜色特征值。首先采用目前普遍选用的BP人工神经网络对样本集和测试集进行识别实验，然后分别选用3种不同核函数的SVM对相同的样本集和测试集进行识别实验，并对其识别性能进行了比较，识别结果如下表1所示。表中学习参数为C二l，《=0.001;多项式核函数中的q取3;径向基核函数中的02取3/2;Sigmoid核函数中a取3，13取-10;人工神经网络识别结果取10次较好实验结果的平均值。表1<table>tableseeoriginaldocumentpage9</column></row><table>4.2基于形状特征的苹果果实图像识别在进行仅基于形状特征的识别实验中，对预处理和分割后的每幅图像，提取其形状特征后结合支持向量机进行分类实验。表中学习参数为C二l，l=0.001，多项式核函数中的q取2，径向基核函数中的02取l，Sigmoid核函数中a取1/3，P取-l，结果如表2所示表2<table>tableseeoriginaldocumentpage10</column></row><table>4.3综合采用颜色和几何形状特征的苹果果实图像识别对综合采用颜色特征和形状特征的苹果果实图像进行实验时，学习参数为C=1，《=0.001，多项式核函数中的q取3，径向基核函数中的02取6，Sigmoid核函数中a取1/6，13取-l，其结果如表3所示表3核函数支持向量数平均识别率/%运行时间/ms<table>tableseeoriginaldocumentpage10</column></row><table>识别后，将苹果果实进行定位，以便于后期采摘，由于苹果品种不同，生长环境有区别，体现为苹果颜色和生长过程保护措施不同，针对于此，特选择红色、黄色苹果图像，套袋、不套袋苹果图像进行处理，以验证算法的可行性和优越性。权利要求一种基于支持向量机的苹果采摘机器人果实自动识别方法，其特征是先采集自然光照下的苹果果园彩色图像，用矢量中值滤波对苹果彩色图像进行预处理，预处理后采用区域生长和颜色特征相结合的方法进行图像分割，分别提取分割后苹果彩色图像的颜色特征和几何形状特征，再应用支持向量机的模式识别方法来识别苹果果实，最后准确定位果实，其中所述矢量中值滤波法是将给定窗口中所有矢量取平均得到平均矢量，计算窗口中矢量到平均矢量的距离，将距离平均矢量最近的矢量作为窗口中心像元素的输出值；所述图像分割将图像像素投影到RGB模型的直方图上，求出概率较大的颜色，在这些颜色中选取几个像素作为备选生长点，设置生长阈值后选择出1个备选生长点，运用生长规则进行生长，判断颜色是否相近运用欧氏距离求得；图像颜色特征提取是将苹果果实图像HLS颜色空间的每一个点看作是HLS三维颜色空间的一个点，两个颜色的差异通过两个颜色点的欧氏距离计算衡量，采用HLS三维颜色空间中的H和S分量值作为苹果识别的颜色特征；图像几何形状特征提取是提取圆方差、椭圆方差、紧密度、周长平方面积比这4个苹果果实轮廓的特征量，作为每一个样本的特征向量，构造支持向量机进行训练和分类；所述图像识别是分别基于颜色信息、几何形状信息结合支持向量机进行苹果果实识别，并将其结果与综合采用颜色和几何形状信息的支持向量机结果进行比较，得出RBF支持向量机核函数。2.根据权利要求1所述的基于支持向量机的苹果采摘机器人果实自动识别方法，其特征是所述生长阈值是将备选生长点的颜色与整个图像颜色平均值之差的绝对值，阈值设置相对较大的值。3.根据权利要求1所述的基于支持向量机的苹果采摘机器人果实自动识别方法，其特征是所述生长规则的选择方法是从备选生长点出发的8邻域内像素，将与中心点像素颜色差小于生长阈值的添加到备选生长区域内。4.根据权利要求1所述的基于支持向量机的苹果采摘机器人果实自动识别方法，其特征是在所述图像分割过程中，采用数学形态学中的开闭滤波器序列迭代消除噪声。全文摘要本发明公开了一种基于支持向量机的苹果采摘机器人果实自动识别方法，先采集自然光照下的苹果果园彩色图像，用矢量中值滤波对苹果彩色图像进行预处理，预处理后采用区域生长和颜色特征相结合的方法进行图像分割，分别提取分割后苹果彩色图像的颜色特征和几何形状特征，再应用支持向量机的模式识别方法来识别苹果果实，最后准确定位果实。本发明综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率，识别效果更好，并且算法实现简单，运行时间短，识别性能优于普遍采用的神经网络方法，对于小样本的学习表现出了优势。文档编号G01B11/00GK101726251SQ20091023508公开日2010年6月9日申请日期2009年11月13日优先权日2009年11月13日发明者姬伟,王津京,赵德安,陈玉申请人:江苏大学