一种基于TOF相机的树上苹果识别与定位方法与流程

本发明涉及一种基于tof相机的树上苹果识别与定位方法，属于图像识别技术领域。

背景技术：

我国是一个苹果种植大国，种植面积广阔，每年的苹果产量高速增长，因此，智能化、信息化的植物相关检测技术应运而生，而植物果实的完整分割，是相关算法的基础，也是计算机视觉领域的核心研究课题之一。随着市场需求量增加，苹果大面积种植，为了及时采摘成熟的苹果，解决上述问题的重要途径之一就是苹果采摘机器人的应用。

机器视觉是采摘机器人最大的外部环境信息源，其主要任务包括采摘目标的识别、定位及相关特征的提取。目前，双目立体视觉技术、超声波成像和激光扫描技术得到了关注与研究。双目立体视觉技术利用颜色空间实现对果实的识别，并通过图像处理技术处理重叠和遮挡问题，最后通过立体匹配实现定位。在双目图像中所提取的区域由于遮挡和光线的变化导致同一目标存在差异性，致使深度信息不准确，同时立体匹配算法复杂、耗时。超声波成像和激光扫描技术通过对果实表面的三维特征及光谱吸收特征的分析，实现对果实的识别和定位。虽然此技术定位精度高，但实时性差、成本高，不能普遍使用。

tof相机以其成像速度快、定位精度高、高分辨率等优点在环境感知、导航及目标跟踪识别等领域得到了广泛应用，相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景，对复杂物体的姿态判断极为有效。tof相机的测量主要利用了光的物理传播特性，红外光发射器向目标场景发出余弦调制信号，经场景中物体反射后被光探测器接收，通过“四点测量法”计算出各像素点处的三维信息域反射光幅值。

技术实现要素：

本发明针对上述的现有的视觉系统中，苹果的识别率方面存在的不足，提出了一种识别率高、定位准确的基于高精度tof相机的树上苹果识别与定位方法。

本发明解决识别与定位问题采用如下方案：

本发明采用一种基于tof相机的树上苹果识别与定位方法是按如下步骤进行的：

步骤1：使用分辨率为1280(h)×1024(v)、型号为oi-vs-1000的tof相机的三维成像技术获取自然生长的苹果的反射光强度图像和深度图像，并对图像进行预处理；

步骤2：将步骤1得到的图像的视觉效果进行增强改善，抑制无用信息，然后对其进行滤波处理。

步骤3：对步骤2得到的改善的强度图和深度图进行分裂合并，取两部分交集作为识别的目标区域。然后利用canny算子对二值图像进行边缘检测，提取果实图像的轮廓

步骤4：将得到的图像进行区域标记，绘制区域的最小外接圆，然后利用hough变换对单个果实的轮廓线进行拟合，完成对果实的识别。

步骤5：由步骤4可以提取到果实的圆心坐标、半径等形状特征，利用tof相机三维数据库的特点直接读取圆心的三维坐标，进而求得果实实际半径值，实现对苹果的定位。

在步骤1中，通过计算机实时采集处理程序获取系统校正后的深度图和代表反射光幅值的强度图。通过式(1)将各测试点到相机平面的深度信息转换为灰度图像各像素的灰度值，实现三维数据的可视化。

式中，g(i,j)表示灰度图像的灰度值；z(i,j)表示传感器获取的深度值。

将灰度图像的像素类型设定为16位的，用数据库的形式保存各像素点的三维坐标，这样做可以使由连续的深度信息转化为离散的灰度值时的误差比较小。

在苹果识别过程中，通过式(2)将采集到的强度信息结合深度信息进行校正，消除物距对强度图灰度值产生的影响。

a'(i,j)＝a(i,j)z(i,j)²(2)

式中，a'(i,j)为校正后的的强度值；a(i,j)为原始强度值。

在步骤2中采用选择性对比度增强方法。背景的灰度值在图像直方图中的范围比较大，直接忽略对应元素，将包含重要信息的灰度空间[a,b]扩充，通过式(3)，即灰度范围从[a,b]到[0,255]的灰度转换就完成了。然后再进行形态滤波处理去除噪声。

式中，g(x,y)为灰度值，g'(x,y)为经过处理后的灰度值。

在步骤3中，对步骤2得到的强度图和深度图分别进行分裂合并算法。具体步骤是，令r表示整个强度图像区域，p代表某种相似性准则。首先将图像等分为4个区域，然后反复将分割得到的子图像再次分为4个区域，直到对任意ri，p(ri)＝true，表示区域ri已经满足相似性准则，此时不再进行分裂操作。如果p(ri)＝false，则将ri分割为4个区域。如此继续下去，直到p(ri)＝true或者已经到单个像素。在分离之后或在分裂的同时，将图像中任意两个具有相似特征的相邻区域rj、rk合并，即如果p(rj∪rk)＝true，则合并rj、rk。当无法再进行聚合或分裂时操作停止。然后利用canny算子对二值图像进行边缘检测，提取果实图像的轮廓。

在步骤4中，首先对图像进行区域标记，并绘制区域的最小外接圆，在外接圆内按照确定的参数范围进行圆形hough变换对单个果实的轮廓进行拟合，再去除已识别果实的轮廓线，对剩余苹果果实轮廓进行拟合，依次识别出所有果实。

在步骤5中，由步骤4利用hough变换进行圆检测可以获得果实圆及圆心位置，利用tof相机三维数据库的算法对果实圆心的三维坐标进行提取，然后求得果实实际半径值，实现对苹果的准确定位。

和其他相机拍摄的图像相比，本发明的优势体现在：

1、本发明提出使用分辨率为1280(h)×1024(v)、型号为oi-vs-1000的tof相机，此型号tof相机具有成像速度快、定位精度高、高分辨率的特点。相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景，对复杂物体的姿态判断极为有效。tof相机的测量主要利用了光的物理传播特性，红外光发射器向目标场景发出余弦调制信号，经场景中物体反射后被光探测器接收，通过“四点测量法”计算出各像素点处的三维信息与反射光幅值。

2、本发明在增强和去噪方面分别使用选择性对比度增强算法和形态滤波算法，并很好地对图像进行了改善；并分别对强度图和深度图使用分裂合并的算法，将两部分交集作为识别的目标区域，利用canny算子提取目标轮廓，根据果实的形状特点，利用圆形hough变换识别果实。

3、本发明使用oi-vs-1000型号的高分辨率的tof相机，不仅能实现对果实的识别，而且在定位上，根据上述识别苹果的步骤，再结合三维数据库的信息，能准确快速的对识别出的苹果进行定位。

附图说明

图1是本发明提供的一种基于tof相机的树上苹果识别与定位方法的流程图；

图2是本发明实施例提供的一种基于tof相机的树上苹果识别与定位方法的通过tof相机并经过处理的获取的强度图(a)和深度图(b)；

图3是本发明实施例提供的一种基于tof相机的树上苹果识别与定位方法的对比度增强的深度图像；

图4是本发明实施例提供的一种基于tof相机的树上苹果识别与定位方法的分裂合并后经canny算法对图像进行边缘检测的图；

图5是本发明实施例提供的一种基于tof相机的树上苹果识别与定位方法的经圆形hough变换后识别出的苹果果实；

图6是本发明实施例提供的一种基于tof相机的树上苹果识别与定位方法的果实圆心标注示意图。

具体实施方式

以下结合附图对本发明的方法进一步描述，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及应用。

如图1所示，本发明实施例以基于tof相机采集的图像为例来说明一种基于tof相机的树上苹果识别与定位方法。具体过程如下：

步骤1：通过计算机实时采集处理程序获取系统校正后的深度图和代表反射光幅值的强度图，并对图像进行预处理。通过式(1)将各测试点到相机平面的深度信息转换为灰度图像各像素的灰度值，实现三维数据的可视化。

式中，g(i,j)表示灰度图像的灰度值；z(i,j)表示传感器获取的深度值。

将灰度图像的像素类型设定为16位的，用数据库的形式保存各像素点的三维坐标，这样做可以使由连续的深度信息转化为离散的灰度值时的误差比较小。

在苹果识别过程中，通过式(2)将采集到的强度信息结合深度信息进行校正，消除物距对强度图灰度值产生的影响。

a'(i,j)＝a(i,j)z(i,j)²(2)

式中，a'(i,j)为校正后的的强度值；a(i,j)为原始强度值，根据本实施例获得苹果的校正强度图和深度图如图2所示。

步骤2：对步骤1得到的图像进行选择性对比度增强处理，改善图像，抑制无关信息，然后对改善后的图像进行形态滤波处理，去除图像中的噪声。

采用选择性对比度增强方法。背景的灰度值在图像直方图中的范围比较大，直接忽略对应元素，将包含重要信息的灰度空间[a,b]扩充，通过式(3)，即灰度范围从[a,b]到[0,255]的灰度转换完成。

式中，g(x,y)为灰度值，g'(x,y)为经过处理后的灰度值。

通过式(4)，对图像进行形态滤波处理，结构元素b为3×3正方形模板，滤波系数n＝3，即先腐蚀3次，再膨胀3次。图像f通过滤波，即可消除噪声，得到改善后图像g，根据本实施例获得改善的苹果图像如图3所示。

步骤3：对步骤2改善过的图像进行分裂合并，对强度图进行分裂合并时得到的区域会将相邻苹果的区域合并到同一个区域，而通过深度图进行分裂合并时得到的区域会将贴附于苹果表面的树叶合并到同一个区域，因此，取两部分合并的交集作为识别得到的目标区域，然后用canny算子进行边缘检测，获取目标果实区域的轮廓。

对步骤2得到的强度图和深度图分别进行分裂合并算法。令r表示整个强度图像区域，p代表某种相似性准则。首先将图像等分为4个区域，然后反复将分割得到的子图像再次分为4个区域，直到对任意ri，p(ri)＝true，表示区域ri已经满足相似性准则，此时不再进行分裂操作。如果p(ri)＝false，则将ri分割为4个区域。如此继续下去，直到p(ri)＝true或者已经到单个像素。在分离之后或在分裂的同时，将图像中任意两个具有相似特征的相邻区域rj、rk合并，即如果p(rj∪rk)＝true，则合并rj、rk。当无法再进行聚合或分时操作停止。然后利用canny算子对二值图像进行边缘检测，提取果实图像的轮廓，根据本实施例获得的分裂合并图如图4所示。

步骤4：对经过步骤3得到的图像进行区域标记，并绘制区域的最小外接圆，在外接圆内通过圆形hough变换对单个果实的轮廓线进行拟合，依次识别出所有的果实。

首先对图像进行区域标记，并绘制区域的最小外接圆，在外接圆内按照确定的参数范围进行圆形hough变换对单个果实的轮廓进行拟合，再去除已识别果实的轮廓线，对剩余苹果果实轮廓进行拟合，依次识别出所有果实，根据本实施例识别出的苹果图如图5所示。

步骤5：根据步骤4利用hough变换进行圆检测可以获得苹果的圆心位置，再根据tof相机的三维成像定位技术算法获取苹果的三维坐标，求取苹果的实际半径值，实现对苹果的定位，果实圆心标注示意图如图6所示。首先tof相机的成像原理和小孔成像有些相似，根据相似三角形原理，可以得到苹果的半径公式，如式(5)所示：

式中，rcm为计算得到的苹果半径；di为tof相机像素间距；rpx为最小外接圆的像素半径；f为tof相机焦距；z为物距。

通过查tof相机的参数，结合式(1)可以得到半径值与深度图像灰度值和像素半径之间的关系式，如式6所示：

由tof相机特有的三维成像定位技术获得苹果的圆心坐标后，再根据计算得到每个苹果半径值，便可实现每个苹果的准确定位。

本实施例采用分辨率为1280(h)×1024(v)、型号为oi-vs-1000的tof相机为基础，实现了基于tof相机的树上苹果识别与定位方法。本方法不仅能识别和定位出简单情况下的苹果情况，而且对有遮挡和重叠的情况依然适用。本发明有助于提高果实的识别率，提高之前在机器视觉这方面一直以来存在的不足，对于今后的果实的识别和定位提供了很好的方法。

综上，本发明的一种基于tof相机的树上苹果识别与定位方法。使用分辨率为1280(h)×1024(v)、型号为oi-vs-1000的tof相机的三维成像技术获取苹果的反射光强度图像和深度图像，并对所得图像进行预处理，应用选择性对比度增强算法，对深度图像进行改善，然后采用形态滤波算法，滤除深度图中的噪声，采用区域分裂合并的算法将目标果实区域与背景区域分割，然后利用canny算子提取边界，最后对边界图像利用图像中定位形状的hough变换进行圆检测，获得果实圆及圆心位置，结合tof相机三维数据库的定位技术对每个果实圆心的三维坐标进行提取，求得果实实际半径值，实现对苹果的识别和定位。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。