基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法
【技术领域】
[0001] 本发明设及果树采摘机器人，尤其是苹果采摘机器人在夜间的图像识别技术领 域，基于分水岭和神经网络对夜间苹果果实进行识别。
【背景技术】
[0002] 我国是世界上最大的苹果生产国，而采摘作业是苹果种植生产中最耗时、费力的 环节之一，对机器采摘作业的需求越来越迫切。但目前，苹果采摘机器人的采摘效率受限于 图像的识别速度和机械手的采摘速度还难W与人工相媳美。2008年，比利时学者开发了苹 果采摘机器人AFPM，对直径在6cm到11 cm的苹果采摘率在80 %左右，平均采摘时间为9秒。 2011年中国农业机械化科学研究院与江苏大学联合研制的苹果采摘机器人，其采摘成功率 为80%，收获速度为15秒/个。然而机器人具有不知疲倦、可W长时间连续工作的优势，因 此，另辟暧径实现全昼夜作业，可W提高苹果采摘机器人总体工作效率。昼夜作业的实现要 求采摘机器人的视觉系统能适应多种光照条件，其中夜间人工光源照明下的采摘作业是其 中的重要组成部分。
[0003] 夜间人工光源下的果蔬识别国内外均有所研究，但是大都W产量估计为目的。 2014年，国内学者张春龙等采用W归一化的g分量和HSV色彩空间的H，S颜色分量为特征参 量的支持向量机分类器和W超绿算子(2G-R-B)为特征的阔值分类器识别出夜间光照下的 青苹果并估算产量。2014年，澳大利亚学者A.化yne等采集了夜间L邸光照下的芒果图像，结 合YCb化彩色空间的颜色特征与形状纹理特征识别芒果并估算芒果产量。2013年，美国学者 DJont等在夜间利用人工光源照明采集了红色成熟葡萄的RGB图像，通过检测葡萄表面的 球面反射峰值计算葡萄个数。2014年，St邱hen Nuske等综合颜色、形状、纹理多种视觉特征 对夜间人工光源下的青葡萄进行识别W估算产量。然而W产量估算为目的果蔬识别在目标 水果定位的精确性上难W满足机器人采摘的需要。为了引导机械手进行采摘，还需要进一 步减少夜间人工光源照明带来的干扰因素实现目标水果的精确定位。
[0004] 分水岭算法的基本思想是把图像看作测地学上的拓扑地貌，图像中的每个像素值 代表该点的海拔高度，每个局部极小值及其影响区域称为集水盆。分水岭的形成可W通过 模拟浸没过程来说明。在每一个局部最小值表面，刺穿一个小孔，然后把整个模型慢慢浸入 水中，随着浸入的加深，每个局部最小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑 大巧，即形成分水岭。
[0005] 形态学开闭滤波就是对二值图像先进行开运算再进行闭运算。其中开运算具有去 除毛刺，平滑边缘并滤除小的孤立点的作用；闭运算具有弥合断点，填充小的孔桐的作用。 开运算可W几何的描述为将结构元素紧贴原图像内部边界滚动并保证结构元素始终包含 于原图像内，结构元素中的点所能达到的最靠近原图像内边界的位置构成了开运算结果的 外边界。闭运算和开运算是对偶的，同样可W几何的描述为将结构元素紧贴原图像的外边 界滚动，滚动过程中始终保证其不离开原图像，此时结构元素中的点所能达到的最靠近原 图像外边界的位置构成了闭运算的外边界。
[0006] 神经网络又叫人工神经网络(Adificial化ural化twork，ANN)，是对人脑或生 物神经网络若干基本特性的抽象和模拟。神经网路优异的学习能够大大节省对数据进行分 析建模的工作量，提高分类效率。其中反向传播人工神经网络（Back Propogation Artificial化ural化twork，BP神经网络)是应用最为广泛的神经网络之一。
【发明内容】
[0007] 本发明的目的是提供一种基于分水岭和神经网络的针对夜间人工光源条件下苹 果采摘机器人的图像识别方法，能有效抑制人工光源造成的光照不均、阴影和反光现象对 苹果识别的影响，并提高识别苹果的完整度和定位精度。
[0008] 本发明解决其技术问题所采用的技术方案是:在夜间通过人工光源辅助照明采集 苹果果园中的彩色图像，采用改进的分水岭算法沿图像边缘将图像碎片化，提取每个碎片 的颜色特征和纹理特征，再建立反向传播人工神经网络并利用已知类别的碎片的特征量进 行训练，接着利用训练好的神经网络根据每个碎片的特征量进行分类，最后根据碎片之间 的位置关系滤除错误分类W修正分类结果并确定苹果的位置，其中：所述改进的分水岭算 法是将分水岭算法的输入变为所采集彩色图像的梯度图像并对梯度图像采用3 X 3模板进 行中值滤波和开闭滤波W平滑噪声;所述图像碎片化是W改进分水岭算法检测的边缘为基 础将图像分为大小不一的碎片;所述颜色特征是为图像碎片内像素点在RGB颜色空间的颜 色平均值和方差;所述纹理特征是为图像碎片内所有像素灰度直方图的统计特征，包括:均 值，标准差，平滑度，赌;所述反向传播人工神经网络训练是分别取苹果、树叶、树枝和背景 的图像碎片若干并分别提取其颜色特征和纹理特征作为神经网络输入，运些碎片对应的类 别编号作为神经网络输出，然后进行多次训练并选取训练误差最小的网络作为最终用于分 类的网络;所述反向传播人工神经网络分类是提取图像中每个碎片的颜色特征和纹理特 征，并利用训练好的神经网络将其分为苹果、树叶、树枝和背景4类;所述碎片之间的位置关 系是采用区域邻接图描述图像碎片之间的邻接关系;所述滤除错误分类是将孤立的或者只 有一个苹果碎片与之相邻的苹果碎片作为错误分类的碎片并予W滤除。
[0009] 进一步，在夜间通过人工光源辅助照明采集苹果果园中的彩色图像的具体过程 为:首先在夜间W白色L邸灯作为人工辅助照明光源，选用CMOS彩色摄像头对目标果实进行 拍摄完成图像采集。
[0010] 进一步，所述改进的分水岭算法的改进部分为：
[0011] a)彩色图像梯度计算:和灰度图像的梯度计算相比，彩色图像的梯度计算把关于 单一灰度的计算转换成=维的向量计算，彩色图像在点(x，y)上的梯度定义公式如下：
[0012]
[0013] 其中，3、6、8分别是点^，7)处的颜色分量；:畳，《分别是沿1?^彩色空间的1?、6、6 轴的单位向量；《，V分别是彩色图像在点(x，y)处沿X和y方向的梯度向量。
[0014] b)采用中值滤波和形态学的开闭滤波相结合的方法对梯度图像进行滤波:采用3 X3正方形模板对彩色图像的梯度图像进行中值滤波后，再采用3X3的正方形结构元素对 其进行开闭滤波。
[0015] 进一步，所述图像碎片化是W改进分水岭算法检测的边缘为基础将图像分为大小 不一的碎片。
[0016] 进一步，所述颜色特征是为图像碎片内像素点在RGB颜色空间的颜色平均值和方 差;所述纹理特征是为图像碎片内所有像素灰度直方图的统计特征，包括:灰度均值，标准 差，平滑度，赌。
[0017] 进一步，所述反向传播人工神经网络训练是分别取苹果、树叶、树枝和背景的图像 碎片若干并分别提取其颜色特征和纹理特征作为神经网络输入，运些碎片对应的类别编号 作为神经网络输出，然后进行多次训练并选取训练误差最小的网络作为最终用于分类的网 络;所述反向传播人工神经网络分类是提取图像中每个碎片的颜色特征和纹理特征，并利 用训练好的神经网络将其分为苹果、树叶、树枝和背景4类。
[0018] 进一步，所述碎片之间的位置关系是采用区域邻接图描述的图像碎片之间的邻接 关系。
[0019] 进一步，所述滤除错误分类是将孤立的或者只有一个苹果碎片与之相邻的苹果碎 片作为错误分类的碎片并予W滤除。
[0020] 本发明的有益效果是：
[0021] 1)-般的边缘检测算法难W形成稳定的闭合回路，本发明采用分水岭算法对原始 图像进行边缘检测并间接地应用边缘信息将图像碎片化，W便实现图像的区域化描述。
[0022] 2)常规分水岭算法对噪声特别敏感，易造成图像梯度恶化和分割轮廓的偏移;其 次，易产生过分割现象。本发明应用该经典算法优化分水岭分割效果并针对夜间图像特点 在梯度图像计算方法和滤波模板大小方面进行了适当的选择和改进；因此采用RGB彩色向 量空间的梯度计算方法可W使梯度图像的细节表现更完善，为后面的分水岭分割打好基 础;为了克服分水岭算法易受到噪声等影响造成过分割的问题，采用中值滤波和形态学与 开闭计算相结合对梯度图像进行滤波。
[0023] 3)分水岭算法将图像分割成大小适中的区域化碎片，因此只要对图像碎片进行分 类并筛选出