苹果采摘机器人的夜间识别方法
【专利摘要】本发明提供了一种苹果采摘机器人的夜间识别方法，在人工光源照明的条件下，进行图像采集；采用R-G色差分割法进行基于颜色的分割图像，并用最大类间方差法二值化，采用滤除较小的连通区的方法滤除S2所得图像中的噪声；然后，定位图像中苹果的大致位置，再在原始图像中提取出苹果所在区域，提取出苹果表面的高亮反光区；最后将高亮反光区与S3的结果图像相加融合得到最终结果。本发明解决了苹果采摘机器人夜间识别中光源的选择和布置问题以及夜间图像中阴影和反光的问题，使苹果采摘机器人在夜间也能正常工作。
【专利说明】苹果采摘机器人的夜间识别方法
【技术领域】
[0001]本发明涉及果树采摘机器人图像识别领域，尤其是苹果采摘机器人的夜间识别方法。
【背景技术】
[0002]我国是一个苹果生产大国，用于水果采摘的劳动力占整个苹果生产过程所用劳动力的1/3以上。使用苹果采摘机器人进行采摘不仅可以降低人工成本，还可以减少损伤率，提高采摘效率。为了在苹果成熟期内，尽快完成密集的采摘工作，水果采摘机器人不仅需要在白天能正常工作还需要具有夜间工作的能力。但是夜间光照不足，采摘机器人的视觉系统难以获得清晰的图像，使机器人无法正常工作。
[0003]1997年，孙明等通过对苹果果实、叶、枝等的色泽信号的直方图分析，利用色差信号(G-Y)和(R-B)分别对红色果实和黄绿果实的图像进行分割处理。2001年，南京农业大学的张瑞合等研究了自然光条件下西红柿的识别和定位问题。2002年，Bulanon D.Μ.等根据富士苹果在颜色与背景有较大的差异，利用照度和颜色模型对富士苹果进行检测，并用最佳阈值进行分割。2003年，中国农业大学的张铁中等根据大部分水果成熟时，其表面颜色会发生明显变化，并且和自然背景存在较大的差异的特点，提出了一种基于色彩空间参照表的图像分割算法，用于提取复杂背景下的目标果实。然而这些方法大都是基于白天自然光下的图像识别，对于夜间人工光源下的图像识别少有涉及。
【发明内容】
[0004]针对现有技术中存在不足，本发明提供了一种苹果采摘机器人的夜间识别方法，解决了苹果采摘机器人夜间识别中光源的选择和布置问题以及夜间图像中阴影和反光的问题，使苹果采摘机器人在夜间也能正常工作。
[0005]本发明是通过以下技术手段实现上述技术目的的。
[0006]苹果采摘机器人的夜间识别方法，其特征在于，包含以下步骤:
[0007]S1:在人工光源照明的条件下，进行图像采集；
[0008]S2:采用R-G色差分割法进行基于颜色的分割图像，并用最大类间方差法二值化；
[0009]S3:采用滤除较小的连通区的方法滤除S2所得图像中的噪声；
[0010]S4:定位图像中苹果的大致位置，再在原始图像中提取出苹果所在区域；
[0011]S5:提取出苹果表面的高亮反光区；
[0012]S6:最后将高亮反光区与S3的结果图像相加融合得到最终结果。
[0013]进一步地，所述S1中照明用的人工光源为显色性100的白炽灯。
[0014]进一步地，所述白炽灯为两盏、且间隔lm布置。
[0015]进一步地，所述S3的具体步骤如下:
[0016]a.按照8连通标准划分连通区，对每个连通区进行编号并且计算各个连通区域的大小即像素数；
[0017]b.找出最大的连通区；
[0018]c.将面积小于最大连通区0.1倍的连通区删除，即将小连通区的像素值置0。
[0019]进一步地，所述S4具体步骤如下:
[0020]a.求出S3的结果图像中各个连通区内像素点的坐标平均值并将其作为连通区的中.* L.、ο ；
[0021]b.求出各个连通区各像素点横坐标与ο点横坐标的最大差值和纵坐标与ο点纵坐标的最大差值，取两者中最大的记为r ;
[0022]c.在S1中采集的图像里以ο为中心，2r为边长画一个正方形并将正方形外的区域的像素的RGB分量都置为0。
[0023]进一步地，所述S5的方法是根据S4结果图像中每个像素点的RGB分量大小进行分类，保留RGB分量分别处于230?255，220?255和210?255范围内的像素点并将这些像素点的RGB分量大小都置为255，其余像素点RGB分量大小都置为0。
[0024]本发明的有益效果是:白炽灯良好的显色性减少了采集到图像的色彩偏差。同时采用两盏灯在不同位置进行照明，减少了阴影的影响，对高亮反光区的提取屏蔽了反光造成的色彩丢失，使识别出的果实更完整接近白天自然光下的识别效果，让采摘机器人在夜间也能正常工作。
【专利附图】
【附图说明】
[0025]图1为夜间单个白炽灯照明下的图像；
[0026]图2为夜间两个白炽灯照明下的图像；
[0027]图3为图2采用R-G色差分割后并通过最大类间方差法二值化后的图像；
[0028]图4为图3滤除较小连通区域后的图像；
[0029]图5为通过图4确定苹果大致位置后在图2中提取出苹果所在区域的结果图像；
[0030]图6为在图4中提取出高亮反光区的结果图像；
[0031]图7为图4和图6相加融合后的图像。
【具体实施方式】
[0032]下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
[0033]本发明的具体步骤为:
[0034]1.图像的采集
[0035]本发明采用彩色CCD摄像头采集图像，但是夜间照度低在无人工光源照明的情况下采集的图像难以识别。因此采用人工光源进行照明，辅助摄像头进行图像采集。相比于其他光源，白炽灯具有良好的显色性能够保证拍摄的图像不会产生色彩上的偏差更接近于真实环境并且图像色彩饱和度更佳，更有利于后续的图像分割和识别。
[0036]当单独使用一盏白炽灯进行照明时，采集的图像如图1所示，由于枝叶或者苹果自身的遮挡在图像部分区域产生阴影，严重影响图像的识别。采用两盏灯相距lm布置的方法进行照明，采集的图像如图2所示，相比单点照明，两点照明能够明显的减少阴影造成的影响。对比图1和图2可以看出，采用两盏灯在不同方位照明能有效消除或削弱阴影的影响。
[0037]2.图像的不完全识别
[0038]本发明采用一种基于色彩的识别方法即R-G色差分割法对图像进行分割，也就是用RGB彩色模型下的R分量减去G分量。夜间人工光源下采集的图像背景简单存在大片暗区，并且白炽灯下图像的色彩饱和度较高，适合采用基于色彩的识别方法。此外基于色彩的识别方法算法简单，运算速度快。
[0039]色差分割后的图像是灰度图像，为了方便后续的计算和处理需要将图像二值化。本发明采用最大类间方差法对灰度图进行二值化后如图3所示。最大类间方差法计算简单，是一种稳定，常用的算法。
[0040]二值化后图像中除了苹果还有一些其他的噪声。本发明通过滤除较小连通区的方法滤除噪声，得如图4所示的图像，具体步骤如下:
[0041]a.按照8连通标准划分连通区，对每个连通区进行编号并且计算各个连通区域的大小即像素数；
[0042]b.找出最大的连通区；
[0043]c.将面积小于最大连通区0.1倍的连通区删除，即将小连通区的像素值置0。
[0044]相比于常用的腐蚀法，这种方法不仅能滤除噪声，还能保持识别出的苹果区域不受影响，从而避免对最终结果造成偏差。
[0045]夜间人工光源下采集的图像，除了可能产生阴影还会受到反光的影响在苹果表面产生高亮反光区，使部分区域色彩饱和度降低甚至全为白色。因此初步识别只能识别出苹果表面色彩饱和度较高的部分，所以识别出的苹果是残缺不全的无法作为最终的识别数据指导机器人采摘。
[0046]3.提取高亮反光区
[0047]针对苹果表面的高亮反光区饱和度低甚至全为白色的特点，本发明对高亮反光区进行单独提取。但是为了避免苹果表面区域之外其他高亮反光区的影响，本发明通过除噪后的图像中首先确定苹果的大致区域，再对区域内的高亮反光区进行提取。
[0048]确定苹果大致区域的方法步骤如下:
[0049]a.求出S3的结果图像中各个连通区内像素点的坐标平均值并将其作为连通区的中.* L.、ο ；
[0050]b.求出各个连通区各像素点横坐标与ο点横坐标的最大差值和纵坐标与ο点纵坐标的最大差值，取两者中最大的记为r ;
[0051]c.在S1中采集的图像里以ο为中心，2r为边长画一个正方形并将正方形外的区域的像素的RGB分量都置为0。
[0052]如图5所示，这样就将苹果所在的大致区域从复杂的图像中分离出来从而进行更为精细的处理而不必考虑复杂背景的影响。
[0053]提取高亮反光区:高亮反光区的色彩饱和度极低具体表现为RGB三个色彩分量的值都较高。经实验对比将RGB分量分别在230?255，220?255，210?255范围内的像素点定为高亮反光区的像素点。高亮反光区的提取过程是将苹果大致区域内属于高亮反光区像素点的值置1，其他点的像素值置0，如图6所示。
[0054]4.图像融合
[0055]图像融合就是将不完全识别的结果和提取的高亮反光区相加得到完整的结果，如图7所示。
[0056]所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
【权利要求】
1.苹果采摘机器人的夜间识别方法，其特征在于，包括以下步骤: 51:在人工光源照明的条件下，进行图像采集； 52:采用R-G色差分割法进行基于颜色的分割图像，并用最大类间方差法二值化； 53:采用滤除较小的连通区的方法滤除S2所得图像中的噪声； 54:定位图像中苹果的大致位置，再在原始图像中提取出苹果所在区域； 55:提取出苹果表面的高亮反光区； 56:最后将高亮反光区与S3的结果图像相加融合得到最终结果。
2.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于:所述SI中照明用的人工光源为显色性100的白炽灯。
3.如权利要求2所述的苹果采摘机器人的夜间识别方法，其特征在于:所述白炽灯为两盏、且间隔Im布置。
4.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于:所述S3的具体步骤如下: a.按照8连通标准划分连通区，对每个连通区进行编号并且计算各个连通区域的大小即像素数； b.找出最大的连通区； c.将面积小于最大连通区0.1倍的连通区删除，即将小连通区的像素值置O。
5.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于:所述S4的具体步骤如下: a.求出S3的结果图像中各个连通区内像素点的坐标平均值并将其作为连通区的中心； b.求出各个连通区各像素点横坐标与O点横坐标的最大差值和纵坐标与O点纵坐标的最大差值，取两者中最大的记为r ; c.在SI中采集的图像里以ο为中心，2r为边长画一个正方形并将正方形外的区域的像素的RGB分量都置为O。
6.如权利要求1所述的苹果采摘机器人的夜间识别方法，其特征在于:所述S5的方法是根据S4结果图像中每个像素点的RGB分量大小进行分类，保留RGB分量分别处于230?255，220?255和210?255范围内的像素点并将这些像素点的RGB分量大小都置为255，其余像素点RGB分量大小都置为O。
【文档编号】G06K9/46GK104408407SQ201410617729
【公开日】2015年3月11日 申请日期:2014年11月5日 优先权日:2014年11月5日
【发明者】赵德安, 刘晓洋, 陈玉, 贾伟宽 申请人:江苏大学