一种基于图像处理的复杂背景下苹果的识别定位方法与流程

本发明涉及图像处理领域，尤其涉及一种基于图像处理的复杂背景下苹果的识别定位方法。

背景技术：

中国是世界上最大的苹果生产国，2010年苹果总产量已远超欧洲、美洲、非洲和大洋洲之和。随着我国农业结构的不断调整以及生产布局的逐步优化，苹果的生长环境得以改善，生产效益有了较大提高，但与国际先进水平相比，仍存在明显差距。

在苹果生产作业中，果实的采摘占整个作业量的40％～50％，是生产投入环节中周期需要最短，劳动力投入最集中、最费力、最繁琐并且具有一定危险的一个环节，并且采摘作业质量的好坏直接影响到苹果的储藏、加工和销售，从而最终影响其市场价格和经济效益，因此实现果实的自动采摘势在必行，而其关键在于如何利用机器视觉技术实现果实的准确识别与精确定位。现如今，对于遮挡下的果实目标识别与定位，国内还未见较为完善的研究成果，为达到高识别度与精准定位的目标，往往需要选取大量具有代表性的候选点，但由于系统处理数据量大、工作效率低，因此不能满足实时定位的需求。

在自然场景下，苹果的生长姿态受土地、季节、天气等自然条件的影响而存在较大的差异，果实被枝条遮挡现象较为普遍。现有常规算法常常会在识别过程中不能够很好的去除光照的影响，导致果实识别不是很准确且效率不高，并且因为枝叶遮挡、果实重叠等原因严重影响果实的准确识别、采摘点的精确定位和采摘行为的执行。

技术实现要素：

本发明的目的是提供了一种苹果识别定位方法，主要包括苹果图像信息采集，图像预处理，图像特征提取和苹果识别分割，形态学处理，确定二值图像中各苹果中心等五个方面，通过统计图像特征与聚类法结合去除了图像中除苹果外的复杂背景，较好的进行了苹果图像的还原并进一步确定了图像中苹果的圆心位置与大小，提高了苹果图像识别速率以及准确性。使用retinex算法增强原始图像去除其中光照的影响，为进一步的图像处理提供便利。

本发明采用如下方法来实现：一种基于图像处理的复杂背景下苹果的识别定位方法，包括：

步骤一、对原始图像进行信息采集；

步骤二、对所采集的原始图像信息进行预处理；

步骤三、对原始图像特征进行提取和对苹果图像进行识别分割；具体为提取rgb图像颜色特征与纹理特征，并使用聚类方法统合各项特征值，识别并分割苹果图像；

步骤四、对二值图像进行中值滤波去噪并将去噪后的二值图像先后进行开运算和闭运算；

步骤五、确定二值图像中各苹果中心，将苹果图像进行圆轮廓拟合运算并判断拟合后的图像是否有重叠，若有则以相交线为准判断面积，否则计算拟合后苹果图像，从而获得苹果果实位置信息；

步骤二中，图像的预处理使用retinex算法增强图像去除光照的影响，假设原始图像s是光照图像l和反射率图像r的乘积，公式如下：

s(x,y)＝r(x,y)·l(x,y)(1)

从原始图像s中估计出光照l，从而分解出r，消除光照不均的影响，在处理中，通常将图像转至对数域，即s＝logs,l＝logl,r＝logr，从而将乘积关系转换为和的关系，公式如下：

log(s)＝log(r·l)

logs＝logr+logl

s＝l+r(2)

步骤三中，所述提取图像纹理特征具体为：采用r通道的灰度图像进行纹理分析；对基于区域亮度直方图的纹理描绘子进行计算，分别为

均值

标准偏差

平滑度

一致性

熵

式中zi———亮度的随机变量

p(zi)———一个区域中的直方图

l———可能的灰度级数

灰度图中，包括有果实、天空、枝干和树叶4部分组成，样本归一化后，将均值和方差作为评价参量，用来考察背景类和果实类的相异性；所述考察背景类包括枝干、树叶、天空；均值之差代表两类间的距离；方差代表样本的分散程度；定义特征评价值(ev)描述各种特征的计算式为

式中av———果实类的方差

bv———背景类的方差

md———果实类和背景类均值之差

根据估计的果实与背景的ev值，选择均值m，标准偏差σ和熵e共3个纹理特征。

进一步地，所述对苹果图像进行识别分割具体为：使用k-medoids改进的基于密度思想聚类的算法对提取的特征进行处理，将所有分类对象分为4类:分别为天空类、果实类、树叶类和枝干类；统计每一类的灰度均值mavr，将各类灰度均值按降序排序依次为:天空、果实、树叶和枝干，将果实类对应的窗口内像素值转换为1，其余的作为背景转换为零，得到分割后的苹果二值图像；基于密度思想的聚类算法具体表述如下：

取超过一定阈值范围的相隔距离的k个处于高密度区域的点作为中心点，则样本x的密度为:

density(x)＝{p∈c|dist(x,p)≤r}(9)

dist为某种距高度量，r为半径，c为样本集，公式(9)表示为以x为中心点，r为半径组成的球体所包含的样本数；其中r设定为r＝u*θ，θ为用户给定常数，u为两两数据对象距离的均值，可以表述为:

样本的平均密度为:

其中，密度初始化流程包括:

(1)每个样本的密度计算出后，将密度大于平均密度的样本放于集合s，s表述为:

在s中取最大密度点作为第一个聚类中心z1，并从s中删除:

(2)取距离z最远的高密度点作为第二个聚类中心z2，并从s中删除:

(3)z3根据公式(5)进行选取，并从s中删除:

(4)根据公式(6)直至找到k个中心点:

公式(12)～(16)中变量i的取值均为1，2，…，n。

进一步地，所述确定二值图像中各苹果中心还包括在识别前，对阈值区域先采用外接矩形标记，仅对标记的有效区域进行计算，在识别完成后，对拟合出的圆轮廓和阈值分割的轮廓进行对比，保留像素重合度大于40％的圆，若圆心间的欧氏距离小于δd且对应的半径之差小于δr，则归于同一类，认定其对应于同一个苹果轮廓，对同一类中的圆心和半径求平均值；实现变换算法具体步骤包括：

(1)对输入的果实图像进行边缘检测并计算图形的梯度，最终确定圆周线；

(2)绘制出所有图形的梯度直线，在某坐标点上累加和的值越大，说明在该点上直线相交的次数越多，也就越有可能是圆心；

(3)设定累加阈值t，若累加次数大于该阈值，即为圆心；

(4)计算某一个圆心到所有圆周线的距离，即为可能的半径值；

(5)设定最大半径和最小半径，保留此区间的距离值；

(6)对保留下来的距离进行直方图统计；

(7)设定一个阈值k，当距离值出现的次数大于k值时，即认定为半径值；

(8)对其余的圆心重复(4)～(7)得到所有的半径；

(9)对所有圆轮廓像素与阈值；

分割的轮廓像素进行对比，剔除轮廓重合度小于40％的圆；对余下的圆心归类，计算每一类的平均圆心和平均半径，即为拟合出的苹果外圆轮廓；通过以上算法获取苹果圆心坐标与半径，进一步确定苹果在图像中的位置和大小；

对于有枝叶遮挡的苹果图像，采用聚类法和拟合外圆轮廓法结合；对于识别出的苹果重叠图像，先判断两个拟合苹果外圆轮廓相交位置，然后以此为分割线分别计算面积，取面积较大的外圆进行保留。

进一步地，所述纹理特征的纹理参量包括：纹理的强度、密度、方向和粗糙度。

综上所述，本苹果识别定位算法通过摄像头对自然环境下的苹果树拍照来实现数据图像的采集，对摄像头采集到的数据图像进行运算和分析，去除自然因素的影响，在复杂背景中将苹果识别出来。本苹果识别定位算法主要包括苹果图像信息采集，图像预处理，图像特征提取和苹果识别分割，形态学处理，确定二值图像中各苹果中心等五个方面。其中，苹果图像信息采集是本算法的基础，主要用于采集rgb苹果图像；图像的预处理是使用算法去除图像中光照的影响并对图像进行增强；图像特征提取和苹果识别分割是使用聚类算法识别采集到的图像特征(颜色特征与纹理特征)，通过计算获取苹果二值图像并去掉其余背景图像；形态学处理是首先通过中值滤波进行去噪，然后通过开运算(先腐蚀后膨胀)与闭运算(先膨胀后腐蚀)消除图像中的空洞并进行边缘平滑以便下一步的进行；确定二值图像中各苹果中心是通过圆轮廓拟合法对苹果二值图像进行处理，对于有重叠现象通过计算拟合后计算相交点以外的面积取较大者来进行判断，最终获取苹果在图像中的位置信息。

有益效果为：本发明提出的苹果识别定位方法，在检测方式上采用k-medoids改进的基于密度思想聚类算法检测方案并结合数字图像处理技术完成苹果的识别检测，通过统计图像特征与聚类法结合去除了图像中除苹果外的复杂背景(枝、叶、天空)，较好的进行了苹果图像的还原并进一步确定了图像中苹果的圆心位置与大小，提高了苹果图像识别速率以及准确性。创新性的使用retinex算法增强原始图像去除其中光照的影响，为下面的图像处理提供便利。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种图像处理的复杂背景下苹果的识别定位方法实施例流程图；

图2为本发明提供的光照示意图；

图3为本发明提供的聚类识别流程示意图；

图4为本发明提供的形态学处理流程图。

具体实施方式

本发明给出了一种基于图像处理的复杂背景下苹果的识别定位方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

本发明首先提供了一种基于图像处理的复杂背景下苹果的识别定位方法实施例，如图1所示，包括：本发明采用如下方法来实现：一种基于图像处理的复杂背景下苹果的识别定位方法，包括：

步骤一s101、对苹果图像进行信息采集；

步骤二s102、对所采集的苹果图像信息使用retinex算法进行图像增强预处理；

步骤三s103、对苹果图像特征进行提取和对苹果图像进行识别分割；具体为提取rgb图像颜色特征与纹理特征，并使用聚类方法计算特征值，识别并分割苹果图像；

步骤四s104、对二值图像进行中值滤波去噪并将去噪后的二值图像先后进行开运算和闭运算；

步骤五s105、确定二值图像中各苹果中心，将苹果图像与圆进行轮廓拟合并判断拟合后的图像是否有重叠，若是则以相交线为准判断面积，否则计算拟合后苹果图像，从而获得苹果果实位置信息；

步骤二中，图像的预处理使用retinex算法增强图像去除光照的影响，假设是原始图像s是光照图像l和反射率图像r的乘积，公式如下：

s(x,y)＝r(x,y)·l(x,y)(1)

从原始图像s中估计出光照l，从而分解出r，消除光照不均的影响，在处理中，通常将图像转至对数域，即s＝logs,l＝logl,r＝logr，从而将乘积关系转换为和的关系，示意图2如下公式如下：

log(s)＝log(r·l)

logs＝logr+logl

s＝l+r(2)

步骤三中，所述提取图像纹理特征具体为：采用r通道的灰度图像进行纹理分析；对基于区域亮度直方图的纹理描绘子进行计算，分别为

均值

标准偏差

平滑度

一致性

熵

式中zi———亮度的随机变量

p(zi)———一个区域中的直方图

l———可能的灰度级数

灰度图中，包括有果实、天空、枝干和树叶4部分组成，样本归一化后，将均值和方差作为评价参量，用来考察背景类和果实类的相异性；所述考察背景类包括枝干、树叶、天空；均值之差代表两类间的距离；方差代表样本的分散程度；定义特征评价值(ev)描述各种特征的计算式为

式中av———果实类的方差

bv———背景类的方差

md———果实类和背景类均值之差

根据估计的果实与背景的ev值，选择均值m，标准偏差σ和熵e共3个纹理特征。

优选地，所述对苹果图像进行识别分割具体为：使用k-medoids改进的基于密度思想聚类的算法对提取的特征进行处理，将所有分类对象分为4类:分别为天空类、果实类、树叶类和枝干类；统计每一类的灰度均值mavr，将各类灰度均值按降序排序依次为:天空、果实、树叶和枝干，将果实类对应的窗口内像素值转换为1，其余的作为背景转换为零，得到分割后的苹果二值图像；如图3所示，基于密度思想的聚类算法具体表述如下：

取超过一定阈值范围的相隔距离的k个处于高密度区域的点作为中心点，则样本x的密度为:

density(x)＝{p∈c|dist(x,p)≤r}(9)

dist为某种距高度量，r为半径，c为样本集，公式(9)表示为以x为中心点，r为半径组成的球体所包含的样本数；其中r设定为r＝u*θ，θ为用户给定常数，u为两两数据对象距离的均值，可以表述为:

样本的平均密度为:

其中，密度初始化流程包括:

(1)每个样本的密度计算出后，将密度大于平均密度的样本放于集合s，s表述为:

在s中取最大密度点作为第一个聚类中心z1，并从s中删除:

(2)取距离z最远的高密度点作为第二个聚类中心z2，并从s中删除:

(3)z3根据公式(5)进行选取，并从s中删除:

(4)根据公式(6)直至找到k个中心点:

公式(12)～(16)中变量i的取值均为1，2，…，n。

其中，图像去噪采用中值滤波法，中值滤波是抑制噪声的非线性处理方法。用中值滤波法处理3*3像素的局域图像，把9个灰度值按从小到大的顺序排序后，以第5个(即中央)序号的灰度值作为目标像素的灰度值。

中值滤波法的原理是将采集到的若干个周期的变量值进行排序，然后取排好顺序的值得中间的值，这种方法可以有效的防止受到突发性脉冲干扰的数据进入。在实际使用时，排序的周期的数量要选择适当:如果选择的数量过小，可能起不到去除干扰的作用；如果选择的数量过大，会造成采样数据的时延过大，造成系统性能变差。当然在实际使用时，不可能仅仅使用一种方法，而是综合运用各种数字滤波技术，比如在中值滤波法中加入平均值滤波，借以提高滤波的性能。

对于给定的n个数值{al，a2，一，an)，将它们按大小有序排列。当n为奇数时，位于中间位置的那个数值称为这n个数值的中值；当n为偶数时，位于中间位置的两个数值的平均值称为这n个数值的中值，记作med(al，a2，.，an)。中值滤波就是这样的一个变换，图像中滤波后某像素的输出等于该像素邻城中各像素灰度的中值。邻域的大小决定在多少个数值中求中值，窗口的形状决定在什么样的几何空间中取元素计算中值。对二维图像，窗口的形状可以是矩形、圆形及十字形等，它的中心一般位于被处理点上。窗口大小及形状有时对滤波效果影响很大。

将去噪后的二值图像先后进行开运算即先腐蚀后膨胀的运算方式和闭运算即先膨胀后腐蚀的运算方式。利用开运算可以消除小物体，在纤细点处分离物体，平滑较大物体边界；闭运算可以填充细小的空洞，连接临近物体，平滑其边界，过程如图4所示：

优选地，所述确定二值图像中各苹果中心还包括在识别前，对阈值区域先采用外接矩形标记，仅对标记的有效区域进行计算，在识别完成后，对拟合出的圆轮廓和阈值分割的轮廓进行对比，保留像素重合度大于40％的圆，若圆心间的欧氏距离小于δd且对应的半径之差小于δr，则归于同一类，认定其对应于同一个苹果轮廓，对同一类中的圆心和半径求平均值；实现变换算法具体步骤包括：

(1)对输入的果实图像进行边缘检测并计算图形的梯度，最终确定圆周线；

(2)绘制出所有图形的梯度直线，在某坐标点上累加和的值越大，说明在该点上直线相交的次数越多，也就越有可能是圆心；

(3)设定累加阈值t，若累加次数大于该阈值，即为圆心；

(4)计算某一个圆心到所有圆周线的距离，即为可能的半径值；

(5)设定最大半径和最小半径，保留此区间的距离值；

(6)对保留下来的距离进行直方图统计；

(7)设定一个阈值k，当距离值出现的次数大于k值时，即认定为半径值；

(8)对其余的圆心重复(4)～(7)得到所有的半径；

(9)对所有圆轮廓像素与阈值；

分割的轮廓像素进行对比，剔除轮廓重合度小于40％的圆；对余下的圆心归类，计算每一类的平均圆心和平均半径，即为拟合出的苹果外圆轮廓；通过以上算法获取苹果圆心坐标与半径，进一步确定苹果在图像中的位置和大小；

对于有枝叶遮挡的苹果图像，采用聚类法和拟合外圆轮廓法结合；对于识别出的苹果重叠图像，先判断两个拟合苹果外圆轮廓相交位置，然后以此为分割线分别计算面积，取面积较大的外圆进行保留。

优选地，所述纹理特征的纹理参量包括：纹理的强度、密度、方向和粗糙度。

综上，本文提出一种苹果识别定位算法通过摄像头对自然环境下的苹果树拍照来实现数据图像的采集，对摄像头采集到的数据图像进行运算和分析，去除自然因素的影响，在复杂背景中将苹果识别出来。本苹果识别定位算法主要包括苹果图像信息采集，图像预处理，图像特征提取和苹果识别分割，形态学处理，确定二值图像中各苹果中心等五个方面。其中，苹果图像信息采集是本算法的基础，主要用于采集rgb苹果图像；图像的预处理是使用算法去除图像中光照的影响并对图像进行增强；图像特征提取和苹果识别分割是使用聚类算法识别采集到的图像特征(颜色特征与纹理特征)，通过计算获取苹果二值图像并去掉其余背景图像；形态学处理是首先通过中值滤波进行去噪，然后通过开运算(先腐蚀后膨胀)与闭运算(先膨胀后腐蚀)消除图像中的空洞并进行边缘平滑以便下一步的进行；确定二值图像中各苹果中心是通过圆轮廓拟合法对苹果二值图像进行处理，对于有重叠现象通过计算拟合后计算相交点以外的面积取较大者来进行判断，最终获取苹果在图像中的位置信息。

以上实施例用以说明而非限制本发明的技术方案。不脱离本发明精神和范围的任何修改或局部替换，均应涵盖在本发明的权利要求范围当中。