基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法_2

文档序号:9929861阅读:来源:国知局
属于目标水果的图像碎片就能将目标苹果从复杂的背景中分类出来。本发明提 取碎片的颜色特征和纹理特征作为碎片分类的依据。通过将图像碎片化并根据碎片的颜色 和纹理特征对图像碎片进行分类的方法,能有效抑制人工光源造成的光照不均、阴影和反 光现象对苹果识别的影响,并提高识别苹果的完整度和定位精度。
[0024] 4)本发明根据图像碎片的颜色特征和纹理特征采用反向传播人工神经网络(Back Propogation Artificial Neural化twork,BP神经网络)对碎片进行分类,再根据碎片之 间的空间位置关系对已分类的碎片进行进一步的修正。B巧巾经网络的学习能力可W节省前 期人为建模的工作量并且在训练精度上达到满意的效果。
【附图说明】
[0025] 图1为夜间L邸光源下的图像;
[0026] 图2为原始分水岭分割效果图;
[0027] 图3分水岭算法改进流程图;
[0028] 图4改进后分水岭分割效果图;
[0029] 图5不同景物的局部放大样本图;
[0030] 图6 BP神经网络拓扑结构图;
[0031 ]图7图像碎片分类效果图;
[0032] 图8区域邻接图生成示意图。
【具体实施方式】
[0033] 下面结合附图对本发明的【具体实施方式】做进一步描述。
[0034] 本发明具体实施步骤主要分为图像碎片化、碎片特征提取、碎片分类=部分,采用 改进的分水岭算法沿所采集图像的边缘将图像碎片化;提取每个碎片的颜色特征和纹理特 征;建立神经网络并利用已知类别的碎片的特征量进行训练,接着利用训练好的神经网络 根据每个碎片的特征量进行分类,最后根据碎片之间的位置关系滤除错误分类的苹果碎片 并确定苹果的位置。具体如下:
[0035] 1、图像碎片化
[0036] 首先在夜间W白色LED灯作为人工辅助照明光源,选用CMOS彩色摄像头对目标果 实进行拍摄完成图像采集。采集的夜间苹果果实图像受人工光源影响易造成光照不均形成 局部阴影和反光等现象使局部区域亮度过高或过低并使细节和颜色信息受损。如图1所示, 运是一幅夜间L邸光源下拍摄的图像。观察图中标注的区域发现:受反光和阴影影响严重的 区域像素颜色值基本一致,已经很难看出该景物本来的颜色。此外,复杂的光线环境也会造 成即使同一物体的不同区域的颜色和亮度差距较大,运都增加了识别的难度。
[0037] 然而W图像的边缘为基础将图像碎片化,同一碎片内像素除了具有颜色或灰度上 的相对一致性,还具有一定范围内的差异性。颜色的差异性表明W碎片区域为单位的图像 特征描述相对于W像素为单位的图像特征描述对光照的敏感度更低。边缘是图像的基本特 征之一,边缘信息的检测和应用有助于改善图像识别的精确度。在具有复杂背景的图像中, 边缘信息的应用受到限制,更多的被应用于简单背景的图像识别中。本发明采用分水岭算 法对原始图像进行边缘检测并间接地应用边缘信息将图像碎片化,W便实现图像的区域化 描述。
[003引采用分水岭算法检测图像边缘信息相较于Robeds算子、Sobel算子、Prewitt算子 等边缘检测算子,不仅能够检测出图像的边缘信息产生更稳定的分割结果还能形成完整的 边界将图像碎片化形成内部颜色或灰度相对一致的区域。分水岭算法也有不可忽视的缺 点:首先分水岭算法对噪声特别敏感,易造成图像梯度恶化和分割轮廓的偏移;其次,易产 生过分割现象。采用未经优化改进的原始分水岭算法对图像进行分割其效果如图2所示。从 图2中可W看出原始分水岭算法具有严重的过分割现象,运种分割结果基本不可用。
[0039] 为此需要对分水岭算法进行必要的改进来抑制噪声和过分割现象,通过将图像变 换为梯度图像并对其滤波平滑后再进行分水岭分割是一种经典的分水岭优化算法。本发明 应用该经典算法优化分水岭分割效果并针对夜间图像特点在梯度图像计算方法和滤波模 板大小方面进行了适当的选择和改进,具体流程如图3所示。
[0040] 常规的彩色图像梯度计算是将彩色图像灰度化后再计算梯度或拆分成多个单一 颜色通道的图像计算梯度后再叠加合成。然而运两种方法产生的梯度图像都不够准确,会 影响分水岭分割的效果。为准确表达彩色图像的梯度,需要把梯度计算公式中关于单一灰 度的计算转换成S维的向量计算。因此采用RGB彩色向量空间的梯度计算方法可W使梯度 图像的细节表现更完善,为后面的分水岭分割打好基础。彩色图像在点(x,y)上的梯度定义 公式如下:
[0041 ]
(!)
[0042] 其中,R、G、B分别是点(x,y)处的颜色分量;r-,浸,哀分别是沿RGB彩色空间的R、G、B 轴的单位向量;;了,V分别是彩色图像在点(x,y)处沿X和y方向的梯度向量。彩色图像梯度 的定义与灰度图像梯度的定义的主要区别是:灰度图像沿X或y轴的梯度是标量;彩色图像 沿X或y轴的梯度是一个向量,对各个颜色分量的梯度合成是按照向量计算而不是简单叠 加。
[0043] 由于分水岭算法易受到噪声等影响造成过分割,需要对彩色梯度图像进行必要的 滤波。本发明采用中值滤波和形态学与开闭滤波相结合对梯度图像进行滤波。中值滤波采 用的是3X3正方形模板,开闭滤波的结构元素也是3X3的正方形结构。对平滑后的彩色梯 度图像利用分水岭算法进行分割将图像分为大小不一的碎片,分割效果如图4所示。
[0044] 2、碎片特征提取
[0045] 分水岭算法已将图像分割成大小适中的区域化碎片,因此只要对图像碎片进行分 类并筛选出属于目标水果的图像碎片就能将目标苹果从复杂的背景中分类出来。本发明提 取碎片的颜色特征和纹理特征作为碎片分类的依据。
[0046] 2.1颜色特征提取
[0047] 颜色特征是在图像检索中应用最为广泛的视觉特征,主要原因在于颜色往往和图 像中所包含的物体或场景十分相关,并且与其他的视觉特征相比,颜色特征对图像本身的 尺寸、方向、视角的依赖性较小。颜色特征的描述首先需要选择合适的颜色空间来表达,RGB 颜色空间是最常用的颜色空间而且原始图像数据也是在RGB颜色空间表达的,因此直接采 用RGB颜色空间进行颜色特征的描述。为了反映每个碎片内部像素点的色彩属性的一致性 和差异性,因此考虑采用碎片内像素点的颜色平均值(表氏到和方差(Var作为碎片的色彩 特征量。其中方差(化r的计算公式如下:
[004引

[0049]其中,n为碎片内像素点的总数,为碎片内第i个像素点的颜色值。
[0化日]2.2纹理特征提取
[0051]纹理特征是图像的固有特征之一,是灰度或颜色在空间W-定的形式变换而产生 的图案,有时具有一定的周期性。图5分别是截取的苹果、树叶、树枝和背景的局部放大图 像。图像碎片的纹理特征采用的是碎片内所有像素灰度直方图的统计特征,包括:灰度均 值,标准差,平滑度,赌。首先需要将彩色的图像碎片灰度化,其变换公式如下:
[0化2] Gray = R X 0.299+G X 0.587+B X 0.114 (3)其中Gray是灰度值,R,G,B分别是像素 点在RGB颜色空间的S个颜色分量。将图像灰度化后,建立对应灰度直方图并计算直方图的 四个统计特征。
[0053] (1)灰度均值:纹理亮度的平均度量。
[0化4]
(车)
[0055]式中:m是灰度均值;L是灰度级总数;表示第i个灰度级;P(Zi)是灰度级Zi的概率。 [0化6] (2)标准差:纹理平均对比度的度量。
[0化7]
(5)
[005引式中:O是标准差;其他参数含义同式(4)所述。
[0059] (3)平滑度:纹理亮度的相对平滑度度量。
[0060]

[0061] 式中:R是平滑度;O是标准差。
[0062] MV協.随扣化的睛吾_
[0063]

[0064] 巧甲:e是觸;具他寥数昔义同式(4)所述。
[00化]3、碎片分类
[0066] 本发明根据图像碎片的颜色特征和纹理特征采用反向传播人工神经网络(Back Propogation Artificial Neural化twork,BP神经网络)对碎片进行分类,再根据碎片之 间的空间位置关系对已分类的碎片进行进一步的修正。
[00
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1