一种多目标猕猴桃果实识别方法与图像获取装置与流程

本发明涉及果实采摘机器人作业过程中果实识别以及图像处理技术领域，具体为猕猴桃采摘机器人中多目标猕猴桃果实图像的获取装置及果实识别图像处理技术。

背景技术：

猕猴桃以其丰富的营养物质而闻名，其除含人体所需的17中氨基酸外，还富含维生素c、葡萄糖、果糖、柠檬酸、苹果酸以及钙、锌等微量元素。目前猕猴桃的采摘主要是靠人工完成，由于其棚架结构，棚架高约1.5米左右，对于身高1米7左右的农民来说其劳动强度相当大，工作效率低，严重影响到猕猴桃的采摘。在猕猴桃采摘机器人作业的过程中，由于对于目标果实的识别一般是针对果实单个进行识别，这极大地影响了猕猴桃采摘的效率。为此，本文提出了多目标果实的识别方法，通过两种不同的算法识别出多目标猕猴桃果实部分，再进行多目标猕猴桃果萼的识别，通过识别出的果萼部分可以同时获取多个目标果实的信息。

在果实的识别上，相关研究工作者对苹果、番茄、草莓、柑橘、菠萝、葡萄等果实识别进行了研究。在柑橘的识别上运用基于tof成像技术进行的实时识别方法，通过分析tof(timeofflight)成像信息，去除噪声，采用阈值分割、区域生长、区域最小外接圆算法将柑橘从背景中分割出，从而达到识别的目的。葡萄的识别上，针对葡萄果梗颜色复杂多变、轮廓不规则等影响因素使得采摘机器人难以准确对采摘点进行定位的问题，罗陆锋等运用了基于改进聚类图像分割和点线最小距离约束的采摘点定位的方法实现果实的识别与定位。在猕猴桃的识别上，崔永杰等运用0.9*r-g色差法对果实进行分割，实现果实与背景的分割；詹文田等运用adaboost算法对田间猕猴桃进行识别，识别率为96.7％，但是该方法在机器视觉范围类的猕猴桃果实数较少，果实容易获取。在苹果的识别上，宋怀波等运用光照无关理论方法去除苹果表面的阴影部分，较好地实现了苹果的分割，且该方法可运用在阴影条件下苹果的识别。综合来看，识别效果较好，但是大多针对单果进行识别，在识别效率上并不理想。

技术实现要素：

本发明为一种多目标猕猴桃果实识别的方法与图像获取装置，该装置由机器视觉部分、辅助补光装置部分和计算机组成。其装置系统如图1所示。针对猕猴桃簇生的特点，以及背景与果实之间的特征上的差异，本发明由单个或较少目标果实的识别转到多个目标的识别，识别点为果萼部分，以达到快速高效的识别目的。

所针对的图像采集结构为棚架式生长的猕猴桃果园结构，其棚架一般高为1500mm，棚架之间即行间距为3000mm，如图2所示。

辅助补光装置采用亮度可调的补光系统组成，其安放位置如图1所示，具体安装放置角度如图3和图4所示。经过试验研究发现，选择的支架左侧高度为350mm，补光系统的放置角度为30度，有利于较大面积的补光，且能保证相应的光照，包括光照的均匀性及光照强度。

机器视觉系统的硬件组成，主要由微软相机(microsoftcamera)，及辅助支撑装置组成，如图5所示，其中辅助支撑装置的三角支架具有可收缩，可折叠的功能，以便于携带、安装等，试验证明三根支架之间的角度为105度，有利于视觉系统的固定，此外，三根支架的伸缩范围均在300mm～1200mm之间。在此，不难发现，随着支架长度的减少(增加)，相机距猕猴果实的距离越大(小)，所得到的多目标猕猴桃果实的数量越多(少)。

一种多目标猕猴桃果实识别方法与图像获取装置其获取图像包括如下步骤：

步骤一：装置的安装，包括辅助补光装置的安装、机器视觉的安装、以及计算机安装就位，相互之间的连接；

步骤二：启动软件；

步骤三：打开机器视觉相机(microsoftcamera)(相机的打开与关闭皆通过计算机控制)；

步骤四：将机器视觉相机与猕猴桃的位置距离分别调整为100mm、200mm、300mm、......、1300mm，在每个调整的位置拍摄10次照片，选择其中最好的一张作为待识别的图像；

步骤五：整理图像文件。

多目标猕猴桃果实识别方法包括如下步骤：

步骤六：打开matlabr2009a软件；

步骤七：打开已设计好的色差分量算法程序；

步骤八：读取多目标猕猴桃果实图像像；

步骤九：获取多目标猕猴桃果实图像的灰度图像；

步骤十：获取多目标猕猴桃果实图像的rgb分量图像

步骤十一：建立色差分量加减法模型；

步骤十二：获取经过模型处理后的图像；

步骤十三：提取多目标猕猴桃果实；

步骤十四：获取识别特征点；

附图说明

图1为多目标猕猴桃果实图像获取装置示意图；图2棚架式生长的猕猴桃棚架示意图；图3为辅助补光装置；图4为图3左视图；图5为机器视觉系统；图6为计算机；图7为多目标猕猴桃原始图像；图8为阈值分割图像；图9为去除小面积噪声之后图像；图10为边缘检测图像；图11为分割后得到的多目标猕猴桃果实图像；图12为果萼图像；图13为色差分割图像处理流程。

具体实施方式

打开机器视觉相机(microsoftcamera)(相机的打开与关闭皆通过计算机控制)，将机器视觉相机与猕猴桃的位置距离分别调整为100mm、200mm、300mm、......、1300mm，在每个调整的位置拍摄10张照片，选择其中最好的1张作为待识别的图像；表1是在2016年9月16日西北农林科技大学猕猴桃试验站所拍摄的多目标果实照片中的同一地点不同距离下获取的多目标果实图像中的果实数量情况。

表1同一地点不同距离的获取的多目标果实图像中果实数量

获取多目标果实图像的灰度图主要是通过灰度变换获得，灰度它是通过图像的rgb分量转换而来，将图像的所有像素点运用以下关系式进行转换

g(x，y)＝t(f(x，y))

g和f分别代表图像处理后和图像处理前的像素值。其中t是把像素值从f映射到g的一种变换。

该关系式可以为：

(1).浮点算法：gray＝r*0.3+g*0.59+b*0.11

(2).整数方法：gray＝(r*30+g*59+b*11)/100

(3).移位方法：gray＝(r*76+g*151+b*28)＞＞8

(4).平均值法：gray＝(r+g+b)/3

色差分割是通过图像的rgb分量，建立色差分割模型s＝1*r-m*g-n*b，其中r、g、b为像素点的红、绿、蓝颜色分量值，s为色差分割后的像素值。

选取样本所获取的多目标果实图像中的一幅图像作为原始图像如图7所示，通过图像的r-g分量的方式使猕猴桃果实部分凸显出来。

对所得的r-g分量图像进行阈值分割，得到的结果如图8所示。

对分割后的图像进行去除小面积区域，得到的结果如图9所示。

对得到的去除小面积区域后的图像通过prewitt算子进行边缘检测得到的结果如图10所示。

将取出小区域面积后的图像和原图像的灰度图像进行求乘积，从而提取出果实部分，如图11所示。

果萼部分的提取，对所得的最终识别果实部分进行阈值分割后提取出果萼，得到的结果如图12所示。其中1表示果萼，2表示噪声。