专利名称：一种类球形果蔬的识别方法
技术领域：
本发明涉及一种类球形果蔬的识别方法。
背景技术：
水果与蔬菜的采收是一项劳动密集型的工作。果蔬采收的季节性强，工作环境艰苦，劳动强度大。现阶段的采收基本依靠人力，采收的效率比较低，人力成本在整个果蔬生产成本中占了相当大的比例。因此，实现果蔬采收的自动化具有实际应用价值。
目前为止，国内还没有一台真正投入生产使用的果蔬采摘机器人，主要原因之一是视觉系统技术难题尚未完全解决。通常，采摘机器人视觉系统的工作方式首先获取果蔬的数字化图像，然后再通过相关图像处理算法识别并确定图像中果蔬的位置。传感器是机器视觉系统最重要的部件，主要包括图像传感器和距离传感器等。图像传感器可以是CCD黑白相机、彩色摄像机或者立体摄像机，一般安装于机械臂或末端执行器上。距离传感器有激光测距、超声、无线和红外传感器等。
较早期的果蔬采摘机器人视觉系统大多是基于二维系统，当叶子和果蔬的颜色对比明显时，这种二维系统可以成功地将果蔬从叶子中检测出来；然而，若有多个果蔬重叠或者其颜色与背景色近似时，则很难进行识别。这时，一般是根据果蔬表面不同的光谱反射特性来检测果蔬，检测到果蔬后，利用三维视觉传感器再对果蔬进行精确识别，这是最常用的光谱反射率法，但在自然光照情况下，由于图像中存在噪声等各种干扰信息，这种方法往往并不理想。有研究人员利用果蔬的形状来识别和定位果实，采用形状定位方式，一般要求目标具有完整的边界条件，若物体被遮挡，就很难做到。又有人提出一种称为Hough变换的新方法，它的特点是不需要整个轮廓信息，根据目标果蔬形状的曲率信息来定位果蔬的中心，但是该方法非常耗时。总之，由于环境的高度复杂性，目前的采摘机器人视觉系统在规则环境下，如已知光照背景下效果比较好，但在自然环境条件，如自然光照下则不是很成功。所以，概括起来，当前识别果蔬目标的方法，主要还是通过颜色空间模型的变换，利用颜色特征参数来提取果蔬目标，能够解决的识别问题非常有限。
发明内容为了克服已有的类球形果蔬识别方法不能有效识别类球形果蔬、计算复杂、识别精度低的不足，本发明提供一种能够有效识别类球形果蔬、计算简单、识别精度高的一种类球形果蔬的识别方法。
本发明解决其技术问题所采用的技术方案是一种类球形果蔬的识别方法，该方法包括以下步骤(1)、获取自然场景下的果蔬图像；(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模型，对2r-g-b颜色模型建立2r-g二维坐标系，LCD颜色模型建立Y-Cr二维坐标系；(3)、根据分类器原理，对Y-Cr二维坐标系下的特征属性Y，Cr分别构造判别式F1、F2，设定特征属性值Y和Cr的果实目标的平均向量mfruit、树叶的平均向量mleaf、枝干的平均向量mbranch，其算式为(1)、(2)
F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruitTmfruit)-(mleafTmleaf)] (1)F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruitTmfruit)-(mbranchTmlbranch)] (2)对2r-g二维坐标系的特征属性2r和g分别构造判别式F3、F4，设定特征属性值2r和g的果实目标的平均向量m′fruit、树叶的平均向量m′leaf、枝干的平均向量m′branch，其算式为(3)、(4)F3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruitTm′fruit)-(m′leafTm′leaf)] (3)F4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruitTm′fruit)-(m′branchTm′lbranchz)] (4)根据判别式得到省去叶子和枝干的分离直线，并把输入图像分成大小相等的小块，每块大小为L×L，L为奇数；(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩阵，设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝0，1，……，Nq-1，共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括所有间距为d，方向为q，且灰度级为a和b的像素对出现的频率，P(d，q)中的元素表示为P(a，b|d，q)，在区域内任选两个像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr；计算和各个灰度共生矩阵的两个特征值熵ENT和能量ASM，其算式分别为(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；并计算平均4个方向的灰度共生矩阵的特征值得到平均特征值ENT和ASM；
(5)、对于相邻的两个小块B1和B2，如判别式F1、F2、F3和F4大于0或者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，该小块确认为果实；如纹理差值大于阈值T且判别式F1、F2、F3和F4小于0，则丢弃整个小块B1；并将B2中相关参数赋给B1，然后将B2的参数置为空，顺序往后取另一个小块作为B2，重复所述步骤，直到所有小块处理完毕。
作为优选的一种方案在所述(5)中，对于最后一个小块，如果判别式F1、F2、F3和F4大于0，可以默认为果实直接保留，否则认为是背景，直接丢弃。
本发明的技术构思为由于果实在颜色空间具有聚类性，本方案借鉴平均距离分类器原理对自然场景下的果蔬图像进行分类识别。
平均距离分类器通过分析不同的果蔬图像数字特征，把图像数据归类。分类算法包括训练阶段和测试阶段。在训练阶段，区分特定图像的特征属性，基于这些属性，产生描述特定类的唯一方法，即产生训练集，构造判别式。一般根据特征属性m和n，利用最小距离分类器或者平均距离分类器或者其他分类器可产生判别式F(m，n)＝am+bn+c。a，b，c为任意常数，只要满足F(m，n)＝0即可。在测试阶段，利用这些特征空间，即这些判别式，每个判别式可将图像分成两个部分，达到识别图像的目的。
针对果实目标、叶子和枝干在每个颜色空间设计分类器，为每个颜色空间分别构造3个判别式实现分离F(fruit/leaf)，简写为F1，用来分离果实和叶子；F(fruit/branch)，简写为F2，用来分离果实和枝干；F(leaf /branch)，简写为F3，用来分离叶子和枝干。由于叶子和枝干被视作背景，故只需构造F1和F2两个判别式。
融合2r-g-b颜色模型和LCD(luminance and color difference)颜色模型的特点，得到一种新的颜色模型LNM(LCD color model combinedwith Normalized-RGB color model)。该模型避免了LCD颜色模型对光的敏感度，同时避免了2r-g-b颜色模型无法识别红色分量值弱的果实的弊端，LNM与RGB颜色模型的对应关系如下式所示Y=0.299R+0.587G+0.114BCr=R-Y2r=2R/(R+G+B)g=G/(R+G+B)]]>因为融合了两种颜色空间，在实现识别的过程中，我们共构建4个判别式。
同时，采用灰度共生矩阵提取图像纹理特征。首先给出共生矩阵的概念设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝0，1，……，Nq-1。那么共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括了所有间距为d，方向为q，且灰度级为a和b的像素对出现的频率。P(d，q)中的元素可表示为P(a，b|d，q)。在区域内任选两个像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr。则P(a，b|d，q)＝∑[(k，l)，(m，n)]其中，如果|k-m|＝q，|l-n|＝d，g(k，l)＝a，g(m，n)＝b成立，那么[(k，l)，(m，n)]＝1否则[(k，l)，(m，n)]＝0其中函数g(k，l)代表(k，l)处像素的灰度级。另外，方向q可以取值为0°、45°、90°、135°。所以对于一个给定的距离d，可以对应四个灰度共生矩阵p(a，b|d，0°)＝∑[(k，l)，(m，n)]，k-m＝0，|l-n|＝d，(k，l)＝a，(m，n)＝bp(a，b|d，45°)＝∑[(k，l)，(m，n)]，k-m＝d，l-n＝-d，(k，l)＝a，(m，n)＝b或k-m＝-d，l-n＝d，(k，l)＝a，(m，n)＝bp(a，b|d，90°)＝∑[(k，l)，(m，n)]，|k-m|＝d，l-n＝0，(k，l)＝a，(m，n)＝bp(a，b|d，135°)＝∑[(k，l)，(m，n)]，k-m＝d，l-n＝d，(k，l)＝a，(m，n)＝b或k-m＝-d，l-n＝d，(k，l)＝a，(m，n)＝b分别采样多种果蔬的果实和叶子，采用灰度共生矩阵提取图像特征，得到可以区分果实和叶子的纹理特征值熵和能量，其表达式分别为(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵。
然后利用基于子块的区域生长法较好地解决了利用单一颜色参数出现欠分割的缺点。
本发明的有益效果主要表现在能够有效识别类球形果蔬、计算简单、识别精度高。
(四)
图1是本发明一个流程示意图；图2是分类器示意图；图3是2r-g-b分类器示意图；图4是LCD分类器示意图；图5是果实和背景的属性分布图；图6是根据判别式得出的分割直线图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图6，一种类球形果蔬的识别方法，该方法包括以下步骤(1)、获取自然场景下的果蔬图像；(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模型，对2r-g-b颜色模型建立2r-g二维坐标系，LCD颜色模型建立Y-Cr二维坐标系；(3)、根据分类器原理，对Y-Cr二维坐标系下的特征属性Y，Cr分别构造判别式F1、F2，设定特征属性值Y和Cr的果实目标的平均向量mfruit、树叶的平均向量mleaf、枝干的平均向量mbranch，其算式为(1)、(2)F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruitTmfruit)-(mleafTmleaf)] (1)F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruitTmfruit)-(mbranchTmlbranch)] (2)对2r-g二维坐标系的特征属性2r和g分别构造判别式F3、F4，设定特征属性值2r和g的果实目标的平均向量m′fruit、树叶的平均向量m′leaf、枝干的平均向量m′branch，其算式为(3)、(4)F3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruitTm′fruit)-(m′leafTm′leaf)] (3)F4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruitTm′fruit)-(m′branchTm′lbranch)] (4)根据判别式得到省去叶子和枝干的分离直线，并把输入图像分成大小相等的小块，每块大小为L×L，L为奇数；(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩阵，设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝0，1，……，Nq-1，共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括所有间距为d，方向为q，且灰度级为a和b的像素对出现的频率，P(d，q)中的元素表示为P(a，b|d，q)，在区域内任选两个像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr；计算和各个灰度共生矩阵的两个特征值熵ENT和能量ASM，其算式分别为(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；并计算平均4个方向的灰度共生矩阵的特征值得到平均特征值ENT和ASM；(5)、对于相邻的两个小块B1和B2，如判别式F1、F2、F3和F4大于0或者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，该小块确认为果实；如纹理差值大于阈值T且判别式F1、F2、F3和F4小于0，则丢弃整个小块B1；并将B2中相关参数赋给B1，然后将B2的参数置为空，顺序往后取另一个小块作为B2，重复所述步骤，直到所有小块处理完毕。
在所述(5)中，对于最后一个小块，如果判别式F1、F2、F3和F4大于0，可以默认为果实直接保留，否则认为是背景，直接丢弃。
本实施例中的具体步骤为
(1)、通过数码相机或者摄像头获取自然场景下的果蔬图像。
(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模型。
(3)、根据分类器原理，对2r-g-b模型的2r-g二维坐标系下的特征属性2r，g和LCD的Y-Cr二维坐标系下的特征属性Y，Cr分别构造判别式，产生4个判别式F1，F2，F3，F4。同时，把输入图像分成大小相等的小块，每块大小为L×L，L为奇数。
举例说明假设每个训练类由一个平均向量表示mj=1/NjΣx∈wjx]]>forj＝1，2，…，M这里Ni是类Wj的训练模式向量的数量。假设有基于特征属性值Y和Cr的果实目标、树叶和枝干，假定将特征属性描述在二维特征空间中，如图5所示。并且可以得到平均值为mfruit＝[94.14，114.26]T，mleaf＝[77.02，218.45]T，mbranch＝[52.88，33.67]T，如图5中用#表示。
基于这一点，可以通过判定最接近mj的原型，分配任意给定的模式x给类。如采用欧几里德距离作为测量相似性距离，原型距离为Fj(x)＝‖x-mj‖ for j＝1，2，…，M这相当于Fj(x)＝xTmj-1/2(mjTmj) for j＝1，2，…，M在本例中，简单假设每个得到的fruit的平均值为[a，b]，leaf的平均值为[c，d]，branch的平均值为[e，f]。那么可以得到Ffruit=aY+bCr-1/2(a2+b2)Fleaf=cY+dCr-1/2(c2+d2)Fbranch=eY+fCr-1/2(e2+f2)]]>
根据这个方法，可以计算得到以下决策函数Ffruit=94.14Y+114.26Cr-10958.84Fleaf=77.02Y+218.45Cr-26826.24Fbranch=52.88Y+33.67Cr-1964.98]]>最后，根据这些决策函数，可得分离类wi和wj的判别式满足Fi(x)-Fj(x)＝0即Ffruit/leaf=(a-c)Y+(b-d)Cr+1/2(a2+b2-c2-d2)=0Ffruit/branch=(a-e)Y+(b-f)Cr+1/2(a2+b2-e2-f2)=0Fleaf/branch=(c-e)Y+(d-f)Cr+1/2(c2+d2-e2-f2)=0]]>在这个例中，得到判别式F1，F2，F3如下Ffruit/leaf=17.12Y-104.19Cr+15867.4=0Ffruit/branch=41.26Y+80.59Cr+8993.86=0Fleaf/branch=24.14Y+184.78Cr+24861.26=0]]>根据这些判别式，可以得出分离直线，省去叶子和枝干的分离直线，如图6所示。
如果采用的原型距离不一样得到的判别式也是不一样的，如可以采用标准化的欧式距离和马哈朗诺必斯距离等。
(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩阵和各个灰度共生矩阵的两个特征值熵ENT和能量ASM，其算式分别为(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)---(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2---(6)]]>其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；(5)、平均4个方向的灰度共生矩阵的特征值得到平均特征值ENT和ASM作为判别的纹理特征。
(6)、对于相邻的两个小块B1和B2，根据颜色模型构造的判别式F1，F2，F3，F4和纹理特征值进行判断。如果判别式都大于0或者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，将其压入一个堆栈。同时将B2中相关参数赋给B1，然后将B2的参数置为空。顺序往后取另一个小块作为B2，重复上述步骤。如果纹理差值大于阈值T并且判别式F1，F2，F3，F4都小于0，则丢弃整个小块B1。直到所有的小块处理完毕。
权利要求
1.一种类球形果蔬的识别方法，该方法包括以下步骤(1)、获取自然场景下的果蔬图像；(2)、将获取的图像同时变换到2r-g-b颜色模型和LCD颜色模型，对2r-g-b颜色模型建立2r-g二维坐标系，LCD颜色模型建立Y-Cr二维坐标系；(3)、根据分类器原理，对Y-Cr二维坐标系下的特征属性Y，Cr分别构造判别式F1、F2，设定特征属性值Y和Cr的果实目标的平均向量mfruit、树叶的平均向量mleaf、枝干的平均向量mbranch，其算式为(1)、(2)F1＝[Y，Cr]T(mfruit-mleaf)-1/2[(mfruitTmfruit)-(mleafTmleaf)] (1)F2＝[Y，Cr]T(mfruit-mbranch)-1/2[(mfruitTmfruit)-(mbranchTmlbranch)] (2)对2r-g二维坐标系的特征属性2r和g分别构造判别式F3、F4，设定特征属性值2r和g的果实目标的平均向量m′fruit、树叶的平均向量m′leaf、枝干的平均向量m′branch，其算式为(3)、(4)F3＝[2r，g]T(m′fruit-m′leaf)-1/2[(m′fruitTm′fruit)-(m′leafTm′leaf)](3)F4＝[2r，g]T(m′fruit-m′branch)-1/2[(m′fruitTm′fruit)-m′branchTm′lbranch)] (4)根据判别式得到省去叶子和枝干的分离直线，并把输入图像分成大小相等的小块，每块大小为L×L，L为奇数；(4)、顺序选择两个小块B1和B2，分别计算其4个方向的灰度共生矩阵，设图像的一个区域大小为Nc×Nr像素，并设灰度级为G＝0，1，……，Nq-1，共生矩阵P(d，q)是一个大小为Nq×Nq的方阵，包括所有间距为d，方向为q，且灰度级为a和b的像素对出现的频率，P(d，q)中的元素表示为P(a，b|d，q)，在区域内任选两个像素(k，l)和(m，n)，其中k，m＝1，2，……，Nc；n＝1，2，……，Nr；计算和各个灰度共生矩阵的两个特征值熵ENT和能量ASM，其算式分别为(5)、(6)ENT=-Σi=0Nq-1Σj=0Nq-1P(a,b)logP(a,b)...(5)]]>ASM=Σi=0Nq-1Σj=0Nq-1(P(a,b))2...(6)]]>其中，a，b分别表示像素的灰度级，p(a，b)表示灰度共生矩阵；并计算4个方向的灰度共生矩阵的特征值得到平均特征值ENT和ASM；(5)、对于相邻的两个小块B1和B2，如判别式F1、F2、F3和F4大于0或者B1和B2的ENT和ASM之差小于设定的阈值T，则保留B1，该小块确认为果实；如纹理差值大于阈值T且判别式F1、F2、F3和F4小于0，则丢弃整个小块B1；并将B2中相关参数赋给B1，然后将B2的参数置为空，顺序往后取另一个小块作为B2，重复所述步骤，直到所有小块处理完毕。
2.如权利要求1所述的一种类球形果蔬的识别方法，其特征在于在所述(5)中，对于最后一个小块，如果判别式F1、F2、F3和F4大于0，可以默认为果实直接保留，否则认为是背景，直接丢弃。
全文摘要
一种类球形果蔬的识别方法，将获取的图像变换到2r－g－b颜色模型和LCD颜色模型，根据分类器原理，在两个坐标系下分别构造判别式F
文档编号A01D46/00GK101034440SQ20071006669
公开日2007年9月12日 申请日期2007年1月12日 优先权日2007年1月12日
发明者古辉, 芦亚亚 申请人:浙江工业大学