一种基于图像特征分析的温室青椒采摘机器人目标识别方法与流程

本发明涉及一种基于图像特征分析的温室青椒采摘机器人目标识别方法，属于图像识别技术领域。

背景技术：

采摘机器人有助于提高果实采摘效率、降低损伤率及节省人工成本，具有重要现实意义。机器视觉被普遍认为是采摘机器人实现果实识别的最佳途径，基于机器视觉的果实识别是相关领域的长期研究热点。然而非结构化果实场景固有的不确定性对机器人通过视觉感知果实及作业环境信息构成了巨大挑战。果实生长条件(如水果品种、营养状态、水分条件、生长阶段、果实相对树枝的位置)、环境条件(如光照强度、色温、照射方向等参数的动态变化)、光照条件(遮挡、树冠场景几何)都是潜在的不确定因素。

当前相关研究主要集中在采摘目标与背景颜色对比度大、形状较规则的非绿色水果品种上，并已取得较多进展。综合利用果实外观特征(如颜色、纹理及形状特征)，结合阈值分割以及形态拟合方法对果实目标进行识别定位是较常见和识别率较高的方法，相关研究涉及柑橘、葡萄、猕猴桃、番茄等多类水果。

另一方面，针对绿色果实，由于果实和背景近色，识别难度较大，但绿色果实的识别对于成熟绿色水果的自动收获、水果产量的前期估计和销售策略的制定有重要意义，已逐渐成为国内外农业工程领域的一个新的研究热点。

经对现有文献检索发现，ferhat等人在2011年第78卷2期的computersandelectronicsinagriculture专业期刊上发表了题为《基于特征果、颜色及环形gabor纹理特征的绿色果实识别方法》的文章，该文章公开了一种综合多类特征、多尺度寻找策略以及多数投票策略的绿色柑橘识别方法，但其仍然存在果实识别率低、果实误检率高、检测算法过程复杂等问题。

技术实现要素：

本发明针对现有的机器视觉识别方法中，果实的识别率方面存在的不足，提出一种基于图像特征分析的温室青椒采摘机器人目标识别方法。

本发明解决青椒识别的问题采用如下方案：

本发明采用一种基于图像特征分析的温室青椒采摘机器人目标识别方法是按如下步骤进行的：

步骤1：采用配置在青椒采摘机器人上的uniflym088型摄像头采集温室中的青椒图像；

步骤2:：将步骤1得到的图像的视觉效果进行边缘检测，得到青椒图像的边缘检测图；

步骤3：对步骤2得到的边缘检测图像进行形态学操作，将青椒图像边沿特性增强，使图像的边沿特征信息更加明显，能够更好的刻画出青椒边沿图像的像素特性；

步骤4：经过步骤3处理的图像中目标果实区域是面积最大的连通区域，在标记连通区域后，计算各个连通区域的面积。设定面积阈值为最大面积区域像素个数的1/5，小于此面积阈值的区域将被去除，此方法可以有效的去除大部分面积噪声，保留目标果实区域。

步骤5：将步骤4得到的图像转换为hsi空间表示，然后通过提取h、s分量和超绿算子将青椒从背景中识别出来。

在步骤1中，采用配置在青椒采摘机器人上的uniflym088型摄像头采集温室中的青椒图像。

在步骤2中，采用canny算子进行边缘检测。canny算子采用双阈值法从候选边缘点中检测和连接得到最终的边缘，首先选取高阈值th和低阈值tl，然后扫描图像，检测候选边缘图像n中标记为候选边缘点的任一像素点(i,j)。若点(i,j)梯度幅值g(i,j)大于高阈值th，则该点一定是边缘点；若点(i,j)梯度幅值g(i,j)小于低阈值tl，则该点一定不是边缘点。而对于梯度幅值处于2个阈值之间的像素点，则将其看作疑似边缘点，需进一步依据边缘的连通性对其进行判断，若该像素点的邻接像素中有边缘点，则认为该点也为边缘点，否则，该点为非边缘点。

在步骤3中，利用形态学操作增强边缘像素。将步骤1拍摄到的青椒图像的整体像素图设为x，并提取青椒图像中的包含大量像素信息的结构元素e，那么将青椒图像的结构元素e在青椒图像的整体像素图x上进行全面检测移动，当移动到其中某一个位置x时，相应的结构元素在当前位置的值是不同的，会有不同的状态值，当结构元素e与图像整体像素图x只是部分相关的时候，可以表示为：

这一运算过程的作用是将青椒边界上的突出点消除，避免对图像成像的干扰。如果选用的结构元素e是一个3×3的元素，那么其意义就是将目标物体沿着其边界一起减少一个像素值，达到去除其表面杂质干扰的目的。

利用图像结构元素e对图像整体像素图x进行腐蚀，就是将采集的青椒图像的整体像素图x中的每一个像素点位置与结构元素e进行收缩运算，记为收缩运算子集e[x]。然后将运算反向应用，将图像整体像素图x中每一个像素点位置的结构元素e进行扩大运算得到子集e[x]，即完成图像的膨胀运算，记为其定义式为：

通过上述对其采集图像和结构元素的运算，能够将青椒图像边沿特征增强，使图像的边沿特征信息更加明显，能够更好的刻画出青椒边沿图像的像素特性。

在步骤4中，在经过步骤3处理后的二值图中目标果实区域是面积最大的连通区域，标记连通区域，计算各个连通区域的面积(像素个数)，经过试验对比，设定面积阈值为最大面积区域像素个数的1/5，小于此面积阈值的区域将被去除，此方法可以保留目标果实区域，去除大部分背景。

在步骤5中，将步骤4得到的图像进行颜色空间转换，将rgb图像转换为hsi图像，然后在hsi空间中提取h分量，这样将误识别的天空背景去除掉，紧接着再通过提取s分量和应用超绿算法，将青椒识别出来。

附图说明

图1是本发明提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的算法流程图；

图2是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的canny算子检测图；

图3是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的形态学操作边沿像素增强图；

图4是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的应用面积阈值处理结果图；

图5是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的转换的hsi空间图；

图6是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的应用h阈值处理图；

图7是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的应用s分量和超绿算法后的青椒识别图。

图8是本发明实施例提供的一种基于图像特征分析的温室青椒采摘机器人目标识别方法的青椒识别结果图。

具体实施方式

以下结合附图对本发明的方法进一步描述，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及应用。

如图1所示，本发明实施例以采集的青椒图像为例来说明一种基于图像特征分析的温室青椒采摘机器人目标识别方法。具体过程如下：

步骤1：采用配置在青椒采摘机器人上的uniflym088型摄像头采集温室中的青椒图像。

步骤2：采用canny算子进行边缘检测。canny算子采用双阈值法从候选边缘点中检测和连接得到最终的边缘，首先选取高阈值th和低阈值tl，然后扫描图像，检测候选边缘图像n中标记为候选边缘点的任一像素点(i,j)。若点(i,j)梯度幅值g(i,j)大于高阈值th，则该点一定是边缘点；若点(i,j)梯度幅值g(i,j)小于低阈值tl，则该点一定不是边缘点。而对于梯度幅值处于2个阈值之间的像素点，则将其看作疑似边缘点，需进一步依据边缘的连通性对其进行判断，若该像素点的邻接像素中有边缘点，则认为该点也为边缘点，否则，该点为非边缘点，根据本实施例获得的边缘检测图如图2所示。

步骤3：利用形态学操作增强边缘像素。将步骤1拍摄到的青椒图像的整体像素图设为x，并提取青椒图像中的包含大量像素信息的结构元素e，那么将青椒图像的结构元素e在青椒图像的整体像素图x上进行全面检测移动，当移动到其中某一个位置x时，相应的结构元素在当前位置的值是不同的，会有不同的状态值，当结构元素e与图像的整体像素图x只是部分相关的时候，可以表示为：

这一运算过程的作用是将青椒边界上的突出点消除，避免对图像成像的干扰。如果选用的结构元素e是一个3×3的元素，那么其意义就是将目标物体沿着其边界一起减少一个像素值，达到去除其表面杂质干扰的目的。

利用图像结构元素e对图像整体像素图x进行腐蚀，就是将采集的青椒图像的整体像素图x中的每一个像素点位置与结构元素e进行收缩运算，记为收缩运算子集e[x]。然后将运算反向应用，将图像整体像素图x中每一个像素点位置的结构元素e进行扩大运算得到子集e[x]，即完成图像的膨胀运算，记为其定义式为：

通过上述对其采集图像和结构元素的运算，能够将青椒图像边沿特征增强，使图像的边沿特征信息更加明显，能够更好的刻画出青椒边沿图像的像素特性，根据本实施例获得的边缘像素增强图如图3所示。

步骤4：在经过步骤3处理后的二值图中目标果实区域是面积最大的连通区域，在标记连通区域后，计算各个连通区域的面积(像素个数)，经过试验对比，设定面积阈值为最大面积区域像素个数的1/5，小于此面积阈值的区域将被去除，此方法可以保留目标果实区域，去除大部分背景，根据本实施例获得的去背景处理图如图4所示。

步骤5：将步骤4得到的图像进行颜色空间转换，将rgb图像转换为hsi图像，然后在hsi空间中提取h分量，这样将误识别的天空背景去除掉，然后提取s分量，去除掉一些被误检测为青椒的叶子；为了将青椒和具有相似色彩和饱和度分量的叶子分割开，提出应用超绿算法，超绿算法方程式如式(3)所示：

egi＝2g-r-b(3)

由于标准化的分量在rgb空间的总和等于1，然后将式(3)进行简化便得到了式(4)：

egi＝3g-1(4)

通过对图像应用h分量阈值、s分量阈值和超绿算法，便实现了青椒的识别，根据本实施例转换为hsi空间的图像如图5所示；根据本发明实施例应用h分量阈值后的图如图6所示；应用s分量和超绿算法后的青椒识别图如图7所示；在原图像中标记目标如图8所示。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。