一种采摘机器人的重叠果实快速跟踪识别方法
【技术领域】
[0001] 本发明属于农业机械领域，涉及果蔬采摘机器人的图像识别方法，特别是对苹果 等类球状重叠果实的快速跟踪识别方法。
【背景技术】
[0002] 自1983年第1台西红柿采摘机器人在美国诞生以来，采摘机器人的研宄开发历经 30多年，各国相继立项研宄各类蔬果采摘智能机器人。然而，因为识别率和采摘率不高等问 题，采摘机器人离实用化和商品化还有一定的距离，因此，提高采摘机器人的采摘效率，增 强采摘机器人的实用性能是当前研宄的关键。
[0003] 果实的识别和定位是果实采摘机器人的首要任务和设计难点，识别和定位的准确 性关系到采摘机器人的工作效率。国内外学者对于重叠果实进行了大量的研宄，并取得了 一些初步的成果。项荣等（2012)提出了一种基于边缘曲率的方法识别重叠番茄，对于轻 微遮挡的重叠番茄的识别正确率为90. 9%。宋怀波等（2013)在K-means聚类分割的基 础上，采用基于凸壳的方法分割重叠苹果，经实验证明，该方法得到的苹果目标重合度为 85. 08%，平均定位误差为14. 15%。Xu Yongwei等（2013)采用支持向量机的HOG算子识 别重叠的草莓，其识别成功的准确率为87%。然而，这些研宄都是针对静态条件下的，静态 识别的方法并不能完全适用于采摘机器人在运动过程的动态采摘。吕继东等（2014)对动 态果实的识别进行了初步研宄，实验证明利用前后图像的相关性能够有效减少图像处理的 时间，然而对于重叠果实的动态跟踪识别研宄较少。
【发明内容】
[0004] 本发明的目的是：提供一种针对苹果等类球状重叠果实的快速跟踪识别方法，解 决由于果实自然生长导致重叠而影响机器人跟踪识别的问题。其方法简单，通用性好，能够 准确定位出重叠球状果实并提高机器人采摘的速度。
[0005] 本发明采摘机器人重叠果实快速跟踪识别方法的技术方案包括以下步骤：
[0006] 一种采摘机器人的重叠果实快速跟踪识别方法，包括以下步骤：
[0007] 步骤1，重叠苹果图像采集：采用彩色C⑶摄像头连续采集图像；
[0008] 步骤2,目标果实分割：对采集到的图像进行分割，去除背景，并采用数学形态学 方法对分割后的图像进行完善，去除噪声以及孔洞；
[0009] 步骤3,确定重叠苹果的圆心与半径：通过寻找圆内点到轮廓边缘最小距离的极 大值找到圆心的位置；圆心确定后，根据圆心到轮廓边缘的距离确定半径；
[0010] 步骤4,提取目标果实模板：根据求得的圆心与半径再加上一定的预留值截取后 续匹配的模板；
[0011] 步骤5,机器人运动路径预判：对机器人运动中连续采集的最新10幅图像中果实 的圆心的运动路径进行拟合并预判，根据预判的圆心以及果实的半径截取重叠果实区域；
[0012] 步骤6,匹配识别：采用快速归一化互相关匹配对重叠果实进行匹配识别。
[0013] 进一步，所述步骤2中采用数学形态学方法对分割后的图像进行完善的过程为：
[0014] 步骤2. 1，用半径为一个像素的圆盘形结构元素对图像进行膨胀运算，扩充边界 点，填补部分孔洞；
[0015] 步骤2. 2,用floodfill算法进行孔洞填充，填补花萼部分的缺孔，之后求得图像 的最大连通区域，将孤立的毛刺去除；
[0016] 步骤2. 3,对图像进行腐蚀运算，消除边界部分的噪声。
[0017] 进一步，所述步骤3具体为：
[0018] 步骤3. 1，确定圆心的步骤：定义四个扫描方向A (X+，y+)、B (X' y+)、C ?)、 D(x+，y〇,在A方向，以从左往右，从上到下的方式进行扫描；在B方向，以从右往左，从上到 下的方式进行扫描；在C方向，以从右往左，从下到上的方式进行扫描；在D方向，以从左往 右，从下到上的方式进行扫描；
[0019] 步骤3. 2,确定半径的步骤：上述求出重叠苹果的圆心A(ax, ay)、B(bx, by);再求 出经过圆心A、B的直线方程y
【主权项】
1. 一种采摘机器人的重叠果实快速跟踪识别方法，其特征在于，包括以下步骤： 步骤1，重叠苹果图像采集：采用彩色CCD摄像头连续采集图像； 步骤2,目标果实分割：对采集到的图像进行分割，去除背景，并采用数学形态学方法 对分割后的图像进行完善，去除噪声以及孔洞； 步骤3,确定重叠苹果的圆心与半径：通过寻找圆内点到轮廓边缘最小距离的极大值 找到圆心的位置；圆心确定后，根据圆心到轮廓边缘的距离确定半径； 步骤4,提取目标果实模板：根据求得的圆心与半径再加上一定的预留值截取后续匹 配的模板； 步骤5,机器人运动路径预判：对机器人运动中连续采集的最新10幅图像中果实的圆 心的运动路径进行拟合并预判，根据预判的圆心以及果实的半径截取重叠果实区域； 步骤6,匹配识别：采用快速归一化互相关匹配对重叠果实进行匹配识别。
2. 根据权利要求1所述的采摘机器人的重叠果实快速跟踪识别方法，其特征在于，所 述步骤2中采用数学形态学方法对分割后的图像进行完善的过程为： 步骤2. 1，用半径为一个像素的圆盘形结构元素对图像进行膨胀运算，扩充边界点，填 补部分孔洞； 步骤2. 2,用f loodf ill算法进行孔洞填充，填补花萼部分的缺孔，之后求得图像的最 大连通区域，将孤立的毛刺去除； 步骤2. 3,对图像进行腐蚀运算，消除边界部分的噪声。
3. 根据权利要求1所述的采摘机器人的重叠果实快速跟踪识别方法，其特征在于，所 述步骤3具体步骤为： 步骤3. 1，确定圆心的步骤：定义四个扫描方向A(x+，y+)、B(x' y+)、C(x'y〇、D(x+，y〇， 在A方向，以从左往右，从上到下的方式进行扫描；在B方向，以从右往左，从上到下的方式 进行扫描；在C方向，以从右往左，从下到上的方式进行扫描；在D方向，以从左往右，从下 到上的方式进行扫描； 步骤3. 2,确定半径的步骤：上述求出重叠苹果的圆心A(ax, ay)、B(bx, by);再求出 经过圆心A、B的直线方程y ;求出该直线与果实轮廓的交点C(cx，cy)、D(dx，dy);半径
4. 根据权利要求1所述的采摘机器人的重叠果实快速跟踪识别方法，其特征在于，所 述步骤5的具体处理过程如下： 步骤5. 1，根据所述步骤3. 1确定的前9幅连续采集的图像中重叠果实两个圆心的位 置，对两个圆心的中点进行多项式拟合，拟合出机器人运动的路径，再结合机器人运动速度 以及采样时间进行预判，估计出下一帧图像中圆心中点的位置； 步骤5. 2,根据所述步骤3. 2确定出半径，求出两个果实半径的最大值rmax，以步骤5. 1 预判的两个圆心的中点为中心，截取边长为4*rmax的正方形作为后续图像处理的区域。
5. 根据权利要求1所述的采摘机器人的重叠果实快速跟踪识别方法，其特征在于，所 述步骤6中归一化互相关匹配的算法简化为：
式中，I为待匹配图像（像素为MXN) ;T为（X，y)为模板图像（像素为mXn) ; (X，y) 为子图Ix，y的左上角在图像I中的坐标；(u，g)为像素在模板中的坐标；为子图Ix， y的 像素平均值。
【专利摘要】本发明公开了一种采摘机器人的重叠果实快速跟踪识别方法，通过摄像头连续采集的最新10帧重叠苹果图像；对采集到的第一帧图像进行分割，去除背景；通过计算圆内的点到轮廓边缘最小距离的极大值确定重叠苹果圆心的位置，计算圆心到轮廓边缘的距离确定半径；根据圆心与半径截取后续匹配的模板；确定连续采集的最新10帧图像中重叠苹果的圆心，根据每帧图像的圆心对机器人的运动路径进行拟合、预判，综合半径与预判路径确定下一帧图像中重叠苹果的位置，并截取重叠苹果区域。最后，采用快速归一化互相关匹配算法进行匹配识别。通过该方法能够实现对重叠苹果等类球状重叠果实的跟踪识别，并且运行时间短，能有效提高采摘机器人的采摘效率。
【IPC分类】G06K9-00, G06K9-54
【公开号】CN104636722
【申请号】CN201510038828
【发明人】赵德安, 沈甜, 陈玉, 贾伟宽
【申请人】江苏大学
【公开日】2015年5月20日
【申请日】2015年1月26日