一种机器视觉自然放置葡萄串果梗区域分割方法与流程

本发明涉及基于机器视觉的图像分割领域，尤其涉及基于机器视觉和图像处理、针对自然放置葡萄串的果梗区域分割方法，用于机器人实现自动分拣。

背景技术：

近年来我国的水果产量增长迅猛，传统人工分拣方法已很难满足现代农业生产的需求，基于机器人技术实现水果的自动分拣对农业生产和农产品加工的自动化、规模化、精确化发展具有重要意义。在基于机器人的水果自动分拣过程中，抓取点的准确定位是机器人实现准确、快速、无损抓取控制的前提条件。机器视觉由于具有非接触、强适用性、高性价比等优点，适合用于解决机器人自动分拣水果的抓取点定位问题。在基于机器视觉的抓取点定位过程中，果梗区域的分割是其中重要的一部分，也是难点所在。果梗区域分割的速度与准确度直接影响整个抓取点定位的精度和效率。与苹果、梨、菠萝等独立水果相比，形如葡萄、桂圆、荔枝等串类水果由于其形态多样、果粒较多且易损、图像边缘复杂等原因，其果梗区域的分割仍是难点。

文献《基于高光谱成像的苹果虫伤缺陷与果梗/花萼识别方法》(田有文,程怡等.农业工程学报，2015，31(04)：325-331)提出了利用高光谱成像技术，基于感兴趣区域的光谱曲线和纹理特征的阈值分割方法，可实现对苹果的果梗区域进行提取分割。虽然针对苹果的果梗识别效果较好，但是由于高光谱成像技术的需要，其成本较高，且时间较长。同时区别于类似苹果、梨、菠萝等独立水果，串类水果的果梗形态各异，且分布不规律，文中方法并不适用。

文献《基于机器视觉的自然环境中成熟荔枝识别》(熊俊涛，邹湘军等.农业机械学报，2011，42(09)：162-166)提出了一种结合一维随机信号直方图分析法与模糊c均值聚类法的果梗识别方法，通过分析水果彩色图像的颜色和灰度特征，并结合形态学和阈值分割，实现果梗和果实的分割计算。虽然在不同光照条件下均能实现果梗的有效分割，但其检测对象要求背景简单，且方法的运算较复杂，耗时较长，不太适用于实时的果梗区域分割计算。同时对于不同形态的串类水果，其检测精度有所差异，适应性不能满足要求。

现有的区域分割方法有阈值分割法、轮廓分割法、模糊c均值聚类法、贝叶斯判别分析法、形态学法等，其中形态学法由于简单高效，得到广泛使用。但现有的形态学方法均采用固定卷积核对图像进行处理。而葡萄串具有果梗和果粒分布无规律、葡萄串形态多样等特征，采用现有的形态学方法，易出现过检和漏检的情况。因此本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，根据自然放置葡萄串的边缘分布图，计算葡萄边缘距离分割点并设计形态学卷积核，能够实现机器视觉对葡萄串果梗区域的准确快速分割。

技术实现要素：

针对自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题，本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法。首先根据机器人的串类水果分拣平台的空间可抓取范围、抓取精度和速度等要求，设计获取葡萄串图像的硬件平台，得到基于机器视觉的葡萄串彩色图像。接着，为提高图像边缘对比度并降低噪声影响，在hsi模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用log核函数对葡萄串图像进行边缘锐化。接着，针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现对自然放置葡萄串果梗区域的准确快速分割。同时针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，提高计算速度。最终，实现机器视觉对自然放置葡萄串果梗区域的高精度、高效率分割。

本发明采用的技术方案是采用如下步骤：

(1)基于双目视觉的葡萄串图像采集：本发明根据机器人的串类水果分拣平台设计构建图像采集系统。通过多自由度支架将两个相机分别安置在不影响机器手移动和抓取操作，并且相机视场包含机器人工作空间的不同位置。同时将漫反射平板光源不直接照射葡萄串，以相互对射并采用暗室白色内壁反射的方式，实现操作空间光源均匀的漫反射，以提高图像质量。

(2)hsi模型下的葡萄串图像边缘锐化：针对传感器成像导致rgb分量易含有噪声的问题，采用以视觉角度定义的hsi颜色模型，并采用通过rgb分量求均值的方式计算的hsi模型的亮度图像i进行处理。之后针对图像质量不佳，具有噪声以及对比度不好的问题，采用中值滤波和laplacianofgaussian(log)核函数相结合的方式对图像进行处理，抑制叠加在图像上的高斯噪声，并采用laplace算子锐化图像边缘，得到噪声有明显降低，葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的图像。

(3)采用最小邻域迭代计算葡萄串边缘距离分布：针对根据灰度直方图分割获取的含有葡萄果粒、果梗等多个分散边缘区域的葡萄串边缘二值图像，为提高分割精度，从葡萄串边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析法逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄串边缘距离，统计所有葡萄串边缘距离，计算边缘距离分布。同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，减少运算时间，提高分割效率。

(4)葡萄串图像果梗区域分割：针对自然放置葡萄果梗果粒分布不一致导致的基于传统具有固定卷积核的形态学方法的果梗分割精度较低的问题，提出可自适应选取卷积核尺寸的果梗分割方法。根据葡萄串边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核。根据获取的自适应形态学卷积核实现葡萄串图像果梗区域的分割。

本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，通过采用上述技术方案后，其具有以下有益效果：

1、针对获取的自然放置葡萄串图像噪声较多，对葡萄串前景区域的边缘检测影响较大的问题，本发明在图像边缘锐化部分，采用以视觉角度定义的hsi颜色模型，通过rgb分量求均值的方式计算hsi模型的亮度图像i，在转换的同时实现均值滤波，降低了由于传感器成像所导致的rgb分量的噪声影响。同时，在锐化之前，先设计半径为3像素的圆形卷积核，沿葡萄图像逐像素进行中值滤波，降低椒盐噪声的干扰。并采用(log)核函数对图像进行处理，抑制叠加在图像上的高斯噪声。

2、针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现自然放置葡萄串果梗区域的准确快速分割。

3、针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，对其中占主要时间的非连通域标记的现有行程分析方法进行改进。当与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域。相比于需要扫描图像两次的现有行程分析方法，在计算速度和效率上均有提升。

附图说明

以下结合附图和具体实施方式对本发明作进一步详细说明。

图1为获取自然放置葡萄串图像的机器视觉硬件平台。

图2为自然放置葡萄串原始图像。

图3为本发明机器视觉的基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法流程图。

图4为hsi模型的亮度图像i。

图5为直接对图像进行锐化处理的结果图。

图6为采用本发明方法对葡萄串图像进行边缘锐化的结果图。

图7为葡萄串边缘二值图像。

图8为边缘距离计算流程图。

图9为第i像素的边缘距离计算示例图。

图10为葡萄边缘区域分布图。其中：图10a为滤波前的葡萄边缘区域分布图，图10b为滤波后的葡萄边缘区域分布图。

图11为自适应卷积核的形态学close运算后的葡萄串图像。

图12为采用本发明方法分割得到的葡萄串果梗区域。

图13为葡萄串类别代表图。图13a为s类；图13b为c类；

图14为不同尺寸卷积核的形态学处理结果图。其中：图14a为卷积核偏大时处理结果图，图14b为卷积核偏小时处理结果图，图14c为卷积核合适时处理结果图。

具体实施方式

下面结合附图进一步说明书本发明具体实施方式。

针对自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题，本发明提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法。首先根据机器人的串类水果分拣平台的空间可抓取范围、抓取精度和速度等要求，设计获取葡萄串图像的硬件平台，得到基于机器视觉的葡萄串彩色图像。根据机器人的串类水果分拣平台设计构建图像采集系统。通过多自由度支架将两个相机分别安置在不影响机器手移动和抓取操作，并且相机视场包含机器人工作空间的不同位置；同时将漫反射平板光源不直接照射葡萄串，以相互对射并采用暗室白色内壁反射的方式，实现操作空间光源均匀的漫反射。

接着，为提高图像边缘对比度并降低噪声影响，在hsi模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用log核函数对葡萄串图像进行边缘锐化。针对传感器成像导致rgb分量易含有噪声的问题，采用以视觉角度定义的hsi颜色模型，并采用通过rgb分量求均值的方式计算的hsi模型的亮度图像i进行处理。之后针对图像质量不佳，具有噪声以及对比度不好的问题，采用中值滤波和laplacianofgaussian(log)核函数相结合的方式对图像进行处理，抑制叠加在图像上的高斯噪声，并采用laplace算子锐化图像边缘，得到噪声有明显降低，葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的图像。

针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现对自然放置葡萄串果梗区域的准确快速分割。

葡萄串图像果梗区域分割：针对自然放置葡萄果梗果粒分布不一致导致的基于传统具有固定卷积核的形态学方法的果梗分割精度较低的问题，提出可自适应选取卷积核尺寸的果梗分割方法。根据葡萄串边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核。根据获取的自适应形态学卷积核实现葡萄串图像果梗区域的分割。

具体实施方式以本课题组研发的机器人串类水果分拣平台为基础、白罗莎葡萄为检测对象进行描述。参见图1，本发明基于机器人分拣系统构建自然放置葡萄串图像获取的视觉硬件平台。

其具体步骤如下：

1.参见图1和图3：基于机器人的串类水果分拣系统设计自然放置葡萄串图像采集的机器视觉硬件。根据分拣机器人平台的空间可抓取范围设定视觉检测视场fovl*fovw和特征分辨率δwl*δww。基于式(1)求得相机的传感器像素尺寸pl*pw，并基于pl*pw选择满足要求的cmos相机。根据分拣机器人平台的可安装高度范围，设计视觉检测的物距范围。并基于式(2)(3)进行计算，求得物距在可设置范围内，同时满足镜头焦距标准的焦距标准值，得到有效焦距f，并选择对应焦距的镜头。

其中fovi为视场的长或宽，δwi为长或宽方向上的特征分辨率，wd为物距，md为像距，f为焦距，csi为传感器靶面尺寸的长或宽，单位均为mm；pi为传感器像素尺寸的长或宽，单位为像素。

根据分拣机器人平台的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm²，并设计特征分辨率为0.2mm，物距范围为800～900mm。基于式(1)、(2)、(3)计算视觉硬件参数，选择传感器像素尺寸为2592*1944、实际尺寸为1/2.5”的cmos相机，焦距为12mm的basler镜头。同时基于自然放置葡萄串的表面特征，葡萄颜色分为红色、紫色、暗紫色、绿色等多种，因此，选择白色漫反射平板光源。

参见图2：分拣机器人系统采集的自然放置葡萄串的彩色图像，葡萄串分为果粒和果梗两部分，其中果梗部分包括了主果梗、次果梗、果蒂等。根据葡萄的生长特性，其主果梗具有较好的韧性，对主果梗进行抓取，可以使葡萄串受到的损伤最小，实现稳定有效的葡萄串自动抓取。

2.参见图3，采用以视觉角度定义的hsi颜色模型，如式(4)所示，通过rgb分量求均值的方式计算hsi模型的亮度图像i，在转换的同时实现均值滤波。参见图4，i分量的前景葡萄与背景有较好的对比度，降低了由于传感器成像所导致的rgb分量的噪声影响。

参见图5，若直接对图像进行锐化处理，容易在锐化边缘的同时加强噪声。因此在锐化之前，首先设计半径为3像素的圆形卷积核，沿葡萄图像逐像素进行中值滤波，降低椒盐噪声的干扰。之后将如式(5)所示的高斯滤波器与laplace算子结合，采用式(6)所示的laplacianofgaussian(log)核函数对图像进行处理，抑制叠加在图像上的高斯噪声，并采用laplace算子锐化图像边缘，得到噪声有明显降低，同时葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的葡萄串图像，参见图6。

其中：x和y为像素坐标，σ为方差，gσ(x,y)为高斯函数。

3.参见图3，采用最小邻域迭代计算边缘距离分布：首先为实现果梗区域的分割，需要先提取整个图像的边缘部分，因此根据灰度直方图对图像进行全局阈值分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像。之后，为实现算法的自适应性，需要设计计算分割果梗区域所需的卷积核。为提高分割精度，从葡萄边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄边缘距离，统计所有边缘距离，计算边缘距离分布。同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，减少运算时间，提高分割效率。

具体步骤如下:

(1)全局阈值分割：首先对预处理后的葡萄串图像进行阈值分割。提取图像灰度直方图，并选择灰度直方图波峰右侧峰值70％处对应的灰度值作为图像全局分割的阈值，对图像进行全局分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像，参见图7。

(2)参见图8，葡萄串图像边缘距离分布的计算：基于葡萄边缘的分布特征，通过对每个像素点的循环迭代，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，为葡萄边缘距离分割点的求取奠定基础。所述的具体步骤如下:

1)设图像大小为m*n，对图像的每一个像素按照从左往右、从上往下的方式依次进行判断，若像素值为非零值，则对此像素进行标记，得到k个标记像素点；

2)以每一个像素i为中心，尺寸为j*j的邻域mij中，进行非连通域检测。其中j＝3,4,5,……max，max取m和n中较大者。对j从小到大进行取值迭代，直到检测到邻域mij中与像素i所在区域不连通的其他区域存在或者j取到最大值max为止。

由于葡萄串边缘二值图像的边缘多样、孔洞和分支较多，而现有的行程分析方法采用等价序列，需要扫描图像两次，因此耗时较大。考虑到本发明仅需要检测邻域mij中与像素i不连通的其他区域，并且标记上相异的标记即可。因此，本发明对现有的行程分析方法进行改进，在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域。相比于需要扫描图像两次的现有行程分析方法，在计算速度和效率上均有提升，所述的具体步骤如下:

a)逐行扫描邻域mij，把每一行中连续的非零像素组成一个run，并记下它的起点、终点以及它所在的行号；

b)对第一行的每一个run进行标号，标号为从0开始的自然数，依次增加；

c)对于除了第一行外的所有其他行的run，对每一个run与上一行的run进行8邻域连通检测。若此行的run与上一行的所有run均无8邻域连通，则赋予此run一个新的标号；若此行的run与上一行的某一个run有8邻域连通，则将上一行相连通的run的标号赋予此run；若此行的run与上一行的多个run有8邻域连通，则将上一行相连通的run的最小标号作为上一行所有相连通的run以及此run的标号；

d)对每一行的run进行处理，得到具有非连续标号但标号均相异的多个非连通域。

3)如果j取值迭代到max，均未检测到邻域mij中与像素i不连通的其他区域的存在，则关于此像素i的边缘距离为0。如果在j取值范围内，以j取值最小，即最小邻域mij下，检测到邻域mij中与像素i不连通的其他区域的存在，则求取像素i到其他非连通域的欧几里得距离，取最小值作为关于此像素i的边缘距离，所述的具体步骤如下:

a)设邻域mij所检测到的非连通域标号最大为b，像素i所在的区域标号为ci；

b)参见图9，依据非连通域标号依次求取像素i到其他非连通域的距离，其距离求取方法采用边界逐点计算法。对像素i的每一个非连通域，沿着区域边界edge逐点根据公式(7)计算与像素i之间的距离dre。

其中，dre为标号r的区域边缘e与像素i之间的距离，单位为像素；r为邻域mij中的非连通域标号，取值从0到b；e为区域边缘的标号，取值为0,1,2,……e-1，e为边缘像素的个数；(xi,yi)为像素i的图像坐标，(xe,ye)为边缘像素的图像坐标，单位均为像素。

c)取像素i到区域r的边缘点e距离最小值作为像素点i到区域r的最小距离dr，如式(8)(9)所示，取距离像素i最近区域的距离di作为像素i的边缘距离。

dr＝min(dre)(8)

di＝min(dr)(9)

4)将葡萄边缘图像中所有像素的边缘距离di进行统计，求取边缘区域分布直方图。

4.参见图3，葡萄串图像果梗区域分割：考虑到果粒边缘之间距离较远，边缘分布较为稀疏；果梗边缘之间距离较近，边缘分布较为密集，根据葡萄边缘距离的分布可求取果粒与果梗区域的边缘距离分割点。参见图10，对分布直方图滤波后，选择波峰下降沿78％峰值处的边缘距离值作为果梗边缘和果粒边缘的分割点x。将边缘距离分布的分割点x作为形态学的卷积核设计的参考。首先对葡萄边缘二值图像进行close运算，所使用的卷积核尺寸为x，可将分布较为密集的果梗和果蒂区域闭合，保留其他区域的孔洞，参见图11。之后以分割点x的1/2作为open的卷积核，对图像进行处理，去除大孔洞的细边缘，保留填充后的果梗区域，并根据区域面积筛选去除杂点后得到葡萄串果梗区域，参见图12。

至此，自然放置葡萄串的果梗区域分割已完成。

实施例

本发明着重提出一种机器视觉基于边缘距离和自适应形态学的自然放置葡萄串果梗区域分割方法，以解决自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题。

具体实施例以本课题组研发的机器人串类水果分拣平台为基础、白罗莎葡萄为检测对象进行描述。其具体实施方式如下：

1.基于机器视觉的图像获取：基于机器人的串类水果分拣系统设计自然放置葡萄串图像采集的机器视觉硬件。根据分拣机器人平台的空间可抓取范围设定视觉检测视场fovl*fovw和特征分辨率δwl*δww。基于式(1)求得相机的传感器像素尺寸pl*pw，并基于pl*pw选择满足要求的cmos相机。根据分拣机器人平台的可安装高度范围，设计视觉检测的物距范围。并基于式(2)(3)进行计算，求得物距在可设置范围内，同时满足镜头焦距标准的焦距标准值，得到有效焦距f，并选择对应焦距的镜头。

其中fovi为视场的长或宽，δwi为长或宽方向上的特征分辨率，wd为物距，md为像距，f为焦距，csi为传感器靶面尺寸的长或宽，单位均为mm；pi为传感器像素尺寸的长或宽，单位为像素。

根据分拣机器人平台的空间可抓取范围，设定自然放置葡萄串抓取点定位视场为400*300mm²，并设计特征分辨率为0.2mm，物距范围为800～900mm。基于式(1)、(2)、(3)计算视觉硬件参数，选择传感器像素尺寸为2592*1944、实际尺寸为1/2.5”的cmos相机，焦距为12mm的basler镜头。同时基于自然放置葡萄串的表面特征，葡萄颜色分为红色、紫色、暗紫色、绿色等多种，因此，选择白色漫反射平板光源。

2.hsi模型下的葡萄串图像边缘锐化：采用以视觉角度定义的hsi颜色模型，如式(4)所示，通过rgb分量求均值的方式计算hsi模型的亮度图像i，在转换的同时实现均值滤波。i分量的前景葡萄与背景有较好的对比度，降低了由于传感器成像所导致的rgb分量的噪声影响。

若直接对图像进行锐化处理，容易在锐化边缘的同时加强噪声。因此在锐化之前，首先设计半径为3像素的圆形卷积核，沿葡萄图像逐像素进行中值滤波，降低椒盐噪声的干扰。之后将如式(5)所示的高斯滤波器与laplace算子结合，采用式(6)所示的laplacianofgaussian(log)核函数对图像进行处理，抑制叠加在图像上的高斯噪声，并采用laplace算子锐化图像边缘，得到噪声有明显降低，同时葡萄边缘更加清晰，葡萄前景与背景之间对比度有明显提高的葡萄串图像。

其中：x和y为像素坐标，σ为方差，gσ(x,y)为高斯函数。

3.采用最小邻域迭代计算边缘距离分布：首先为实现果梗区域的分割，需要先提取整个图像的边缘部分，因此根据灰度直方图对图像进行全局阈值分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像。之后，为实现算法的自适应性，需要设计计算分割果梗区域所需的卷积核。为提高分割精度，从葡萄边缘区域的分布特征出发，通过对每个像素点的循环迭代，采用最小邻域迭代法以及改进的行程分析逐像素计算非连通域间的距离，并将非连通域间的最小距离表征葡萄边缘距离，统计所有边缘距离，计算边缘距离分布。同时，针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，减少运算时间，提高分割效率。

具体步骤如下:

(1)全局阈值分割：首先对预处理后的葡萄串图像进行阈值分割。提取图像灰度直方图，并选择灰度直方图波峰右侧峰值70％处对应的灰度值作为图像全局分割的阈值，对图像进行全局分割，得到含有葡萄果粒、果梗等多个分散边缘区域的葡萄边缘二值图像。

(2)葡萄串图像边缘距离分布的计算：基于葡萄边缘的分布特征，通过对每个像素点的循环迭代，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，为葡萄边缘距离分割点的求取奠定基础。所述的具体步骤如下:

1)设图像大小为m*n，对图像的每一个像素按照从左往右、从上往下的方式依次进行判断，若像素值为非零值，则对此像素进行标记，得到k个标记像素点；

2)以每一个像素i为中心，尺寸为j*j的邻域mij中，进行非连通域检测。其中j＝3,4,5,……max，max取m和n中较大者。对j从小到大进行取值迭代，直到检测到邻域mij中与像素i所在区域不连通的其他区域存在或者j取到最大值max为止。

由于葡萄串边缘二值图像的边缘多样、孔洞和分支较多，而现有的行程分析方法采用等价序列，需要扫描图像两次，因此耗时较大。考虑到本发明仅需要检测邻域mij中与像素i不连通的其他区域，并且标记上相异的标记即可。因此，本发明对现有的行程分析方法进行改进，在与上一行的多个行程有连通时，采用上一行连通行程中的最小标号，对所连通的上下所有行的标号进行修改，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域。相比于需要扫描图像两次的现有行程分析方法，在计算速度和效率上均有提升，所述的具体步骤如下:

a)逐行扫描邻域mij，把每一行中连续的非零像素组成一个run，并记下它的起点、终点以及它所在的行号；

b)对第一行的每一个run进行标号，标号为从0开始的自然数，依次增加；

c)对于除了第一行外的所有其他行的run，对每一个run与上一行的run进行8邻域连通检测。若此行的run与上一行的所有run均无8邻域连通，则赋予此run一个新的标号；若此行的run与上一行的某一个run有8邻域连通，则将上一行相连通的run的标号赋予此run；若此行的run与上一行的多个run有8邻域连通，则将上一行相连通的run的最小标号作为上一行所有相连通的run以及此run的标号；

d)对每一行的run进行处理，得到具有非连续标号但标号均相异的多个非连通域。

3)如果j取值迭代到max，均未检测到邻域mij中与像素i不连通的其他区域的存在，则关于此像素i的边缘距离为0。如果在j取值范围内，以j取值最小，即最小邻域mij下，检测到邻域mij中与像素i不连通的其他区域的存在，则求取像素i到其他非连通域的欧几里得距离，取最小值作为关于此像素i的边缘距离，所述的具体步骤如下:

a)设邻域mij所检测到的非连通域标号最大为b，像素i所在的区域标号为ci；

b)依据非连通域标号依次求取像素i到其他非连通域的距离，其距离求取方法采用边界逐点计算法。对像素i的每一个非连通域，沿着区域边界edge逐点根据公式(7)计算与像素i之间的距离dre。

其中，dre为标号r的区域边缘e与像素i之间的距离，单位为像素；r为邻域mij中的非连通域标号，取值从0到b；e为区域边缘的标号，取值为0,1,2,……e-1，e为边缘像素的个数；(xi,yi)为像素i的图像坐标，(xe,ye)为边缘像素的图像坐标，单位均为像素。

c)取像素i到区域r的边缘点e距离最小值作为像素点i到区域r的最小距离dr，如式(8)(9)所示，取距离像素i最近区域的距离di作为像素i的边缘距离。

dr＝min(dre)(8)

di＝min(dr)(9)

4)将葡萄边缘图像中所有像素的边缘距离di进行统计，求取边缘区域分布直方图。

4.葡萄串图像果梗区域分割：考虑到果粒边缘之间距离较远，边缘分布较为稀疏；果梗边缘之间距离较近，边缘分布较为密集，根据葡萄边缘距离的分布可求取果粒与果梗区域的边缘距离分割点。对分布直方图滤波后，选择波峰下降沿78％峰值处的边缘距离值作为果梗边缘和果粒边缘的分割点x。将边缘距离分布的分割点x作为形态学的卷积核设计的参考。首先对葡萄边缘二值图像进行close运算，所使用的卷积核尺寸为x，可将分布较为密集的果梗和果蒂区域闭合，保留其他区域的孔洞。之后以分割点x的1/2作为open的卷积核，对图像进行处理，去除大孔洞的细边缘，保留填充后的果梗区域，并根据区域面积筛选去除杂点后得到葡萄串果梗区域。

本实施例基于机器人的串类水果分拣系统设计自然放置葡萄串图像采集的机器视觉硬件，通过平台采集白罗莎葡萄的不同形态下的200幅可见光彩色图像，如图13所示，其中葡萄串图像中的果粒空隙较大的80幅左右，分为s(sparse)类；果粒空隙较小的图像120幅左右，分为c(close)类。对200幅不同的葡萄串图像进行果梗分割实验，分别采用较小的固定卷积核、较大的固定卷积核以及本发明的自适应卷积核方法进行实验。较小的固定卷积核来源于120幅c类图像的边缘距离均值，较大的固定卷积核来源于80幅s类图像的边缘距离均值。如图14所示，对于葡萄串图像，不合适的卷积核尺寸会对果梗区域的提取精度造成影响，当卷积核偏大时，易将果梗以外的其他区域进行误提取；当卷积核偏小时，易产生噪点，并难以实现果梗区域的准确提取。本发明所提出的自适应选取卷积核尺寸的葡萄果梗分割方法，解决了上述问题，针对s类和c类的葡萄串图像均能实现较好的检测，提高了葡萄串图像的果梗区域提取的精度和效率。

综上，本发明的一种机器视觉自然放置葡萄串果梗区域分割方法，以解决自然放置葡萄串的果梗和果粒分布无规律、葡萄串形态多样，导致图像中果梗区域分割精度不高和耗时较长的问题，可运用于对精度和速度要求较高的机器人串类水果自动分拣。首先根据机器人的串类水果分拣平台的空间可抓取范围、抓取精度和速度等要求，设计获取葡萄串图像的硬件平台，得到基于机器视觉的葡萄串彩色图像。接着，为提高图像边缘对比度并降低噪声影响，在hsi模型下对图像进行通道分解，设计半径为3像素的圆形卷积核，沿葡萄串图像逐像素进行中值滤波，并采用log核函数对葡萄串图像进行边缘锐化。接着，针对现有固定卷积核的形态学方法难以实现自然放置葡萄串果梗区域准确分割的问题，提出可自适应选取卷积核尺寸的果梗分割方法。从葡萄边缘区域的分布特征出发，以最小邻域内非连通域间的最小距离表征葡萄边缘距离，根据边缘距离的分布直方图求取葡萄串果梗边缘和果粒边缘的分割点。并采用边缘距离分割点设计自适应的形态学open和close的卷积核，以自适应卷积核对图像进行形态学操作，实现对自然放置葡萄串果梗区域的准确快速分割。同时针对自适应选取卷积核尺寸中边缘距离求取耗时的问题，改进其中占主要时间的非连通域标记的现有行程分析方法，无需等价序列，扫描图像一次后即可获得具有相异标号的各个非连通区域，提高计算速度。最终，实现机器视觉对自然放置葡萄串果梗区域的高精度、高效率分割。

应理解上述实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。