一种株上球形果实识别的深度球截线方法与流程

所属技术领域

本发明涉及农业机器人领域，特别涉及一种株上球形果实识别的深度球截线方法。

背景技术：

识别定位是采摘机器人的核心技术，而快速准确的采摘目标特征提取是果实识别的前提。由于传统基于可见光图像的识别定位方法在光照敏感性和重叠对象分割上存在的固有劣势，研究者陆续开展了其他技术途径的探索，其中利用深度信息进行果实的识别定位成为研究热点。

目前利用深度信息进行株上果实识别定位方法主要分为两类，第一类是综合利用深度和颜色信息，其中深度信息主要作为辅助，仍然无法避免可见光图像技术的瓶颈并增加了深度与颜色信息融合的复杂性。第二类是依靠深度信息并将深度点云数据还原为深度图像，进而利用二维图像处理算法完成果实的分割，该类方法仍依赖于传统的边缘轮廓提取算法，造成“原始深度数据—图像化—灰度数值计算—轮廓曲线提取—果实特征辨识”的复杂分析处理过程：

(1)无法有效发挥深度点云的数据量少优势和有效利用其特殊信息特征；

(2)从深度信息转换至离散化的灰度值时产生的误差导致相邻对象的深度差异锐减；

(3)分析处理过程过于复杂化，影响了识别定位的实时性。

技术实现要素：

针对现有基于深度信息实现株上果实识别定位方法的不足，本发明提供一种株上球形果实识别的深度球截线方法，通过实现对株上果实的快速准确识别。

为了解决以上技术问题，本发明采用的具体技术方案如下：

一种株上球形果实识别的深度球截线方法，其特征在于包括：孤立果实的识别、贴碰果实的识别和株上果实识别处理流程。

所述的一种株上球形果实识别的深度球截线方法，其特征在于所述孤立果实的识别具体方法为：

首先在三维深度数据内寻找判定为孤立区域(7)的各点云聚集区域(8)的最近点am的深度值dam，用以三维深度传感器(1)为球心、以各半径dm＝dam+ds，由深度值的跳变误差确定的球面厚度δ建立深度球面(2)对判定为孤立区域(7)的各点云聚集区域(8)进行切割获得多条截线(9)，对所述多条截线(9)应用球形果实的特征提取方法(10)判断出其中的球形果实(5)；m＝1，2，…，ds为切割深度。

所述的一种株上球形果实识别的深度球截线方法，其特征在于所述贴碰果实的识别的具体过程为：

过程2.1，寻找判定为贴碰区域(6)的各点云聚集区域(8)的最近点b和最远点c；

过程2.2，用以最近点b的深度值与i个切割深度ds之和为半径的深度球面(2)进行第i次切割获得各截线(9)，对各截线(9)应用球形果实的特征提取方法(10)识别出其中nj个球形果实(5)，记录识别为球形果实(5)的各截线(9)的中心像素坐标；i＝1，2，…，每切一次，深度增加ds，能切几次取决于半径r和ds的比值，i的最大值为半径r和ds的比值取整即

过程2.3，再用以最近点b的深度值与i+1个切割深度ds之和为半径的深度球面(2)进行第i+1次切割获得各截线(9)，对各截线(9)应用球形果实的特征提取方法(10)识别出其中nk个球形果实(5)，记录识别为球形果实(5)的各截线(9)的中心像素坐标；

过程2.4，对相邻两次切割获得的识别为球形果实(5)的各截线(9)的nj和nk个中心像素坐标进行两两比对，当nj个球形果实(5)的任一中心像素坐标与nk个球形果实(5)的任一中心像素坐标间距离不超过中心距阈值[d]时，即

则该两截线(9)被判定为同一球形果实(5)，否则被判定为不同的球形果实(5)；

过程2.5，继续增加1个切割深度ds进行下一次切割，并重复过程2.3和过程2.4，直至最近点b的深度值与i个切割深度ds之和超过最远点c的深度值，完成贴碰区域(6)内的球形果实(5)识别。

所述的一种株上球形果实识别的深度球截线方法，其特征在于：所述株上果实识别处理流程如下：

过程3.1，利用三维深度传感器(1)通过对场景的实时扫描获得视场范围内对象的深度点云数据d为深度值，θ,为水平角度，为竖直角度；

过程3.2，利用设定的近距离阈值dh1和远距离阈值dh2对深度数据进行前景和背景冗余信息的滤除；

过程3.3，对滤除前景和背景冗余信息后的深度点云数据进行聚类分析，获得滤除枝干(3)后的多个点云聚集区域(8)；

过程3.4，利用各点云聚集区域(8)内的深度点云数量n的差异从点云聚集区域(8)内筛选出球形果实(5)与叶子(4)的贴碰区域(6)；

过程3.5，对筛选出球形果实(5)与叶子(4)的贴碰区域(6)之后的各孤立区域(7)，应用孤立果实的识别方法识别出其中的球形果实(5)；

过程3.6，对贴碰区域(6)，应用贴碰果实的识别方法识别出区域内各球形果实(5)；

过程3.7，将识别出的各球形果实(5)标记序号，为球形果实(5)的定位和对球形果实(5)实施作业提供信息。

所述三维深度传感器(1)为可获得三维深度数据的rgb-d传感器、激光测距仪、tof相机中的任意一种。

本发明具有有益效果。本发明针对深度数据特点，无须任何数据转换运算而直接实现各对象的深度球面切割，通过点云聚类进行区域划分，进而分别针对孤立区域利用一次深度球截面切割获得的截线特征区分果、叶，对贴碰区域利用逐次切割深度球截面获得的截线特征区分果、叶并进行识别结果归并，实现株上球形果实的识别，方法简单快速可靠，为攻克株上果实识别定位难题和走向实际应用提供了新的方法。

附图说明

图1为本发明株上果实的深度检测和深度球面切割示意图。

图2为本发明孤立果实的识别方法流程图。

图3为本发明贴碰果实的识别方法流程图。

图4为本发明球形果实的特征提取方法流程图。

图5为本发明果实的球面切割获得近圆形曲线示意图。

图6为本发明叶子的球面切割获得曲线段示意图。

图7为本发明株上果实识别处理流程图。

图中：1.三维深度传感器，2.深度球面，3.枝干，4.叶子，5.球形果实，6.贴碰区域，7.孤立区域，8.点云聚集区域，9.截线，10.球形果实的特征提取方法。

具体实施方式

下面结合附图和具体实施例，对本发明的技术方案做进一步详细说明。

一种株上球形果实识别的深度球截线方法，由孤立果实的识别方法、贴碰果实的识别方法和株上果实识别处理流程构成。

如图1所示，当以三维深度传感器1对果树冠层进行探测时，获取果树冠层内对象的各扫描点三维深度数据并根据空间坐标映射关系进行存储。由于存在球形果实5和叶子4在空间内相互孤立和相互贴碰两种情况，在三维深度数据中产生多个点云聚集区域8，点云聚集区域8包括孤立区域7和贴碰区域6。d为深度值，θ,为水平角度，为竖直角度。

如图2所示，其中孤立果实的识别方法为，首先在三维深度数据内寻找判定为孤立区域7的各点云聚集区域8的最近点ak的深度值dam，用以深度传感器1为球心、以各半径dm＝dam+ds，由深度值的跳变误差确定的球面厚度δ建立深度球面2对判定为孤立区域7的各点云聚集区域8进行切割获得多条截线9，对多条截线9应用球形果实的特征提取方法10判断出其中的球形果实5；m＝1，2，…，ds为切割深度。

如图3所示，其中贴碰果实的识别方法为：

(1)寻找判定为贴碰区域6的各点云聚集区域8的最近点b和最远点c；

(2)用以最近点b的深度值与i个切割深度ds之和为半径的深度球面2进行第i次切割获得各截线9，对各截线9应用球形果实的特征提取方法10识别出其中nj个球形果实5，记录识别为球形果实5的各截线9的中心像素坐标；

(3)再用以最近点b的深度值与i+1个切割深度ds之和为半径的深度球面2进行第i+1次切割获得各截线9，对各截线9应用球形果实的特征提取方法10识别出其中nk个球形果实5，记录识别为球形果实5的各截线9的中心像素坐标；

(4)对相邻两次切割获得的识别为球形果实5的各截线9的nj和nk个中心像素坐标进行两两比对，当nj个球形果实5的任一中心像素坐标与nk个球形果实5的任一中心像素坐标间距离不超过中心距阈值时，即

则该两截线9被判定为同一球形果实5，否则被判定为不同的球形果实5；

(5)继续增加1个切割深度ds进行下一次切割，并重复步骤(3)和步骤(4)，直至最近点b的深度值与i个切割深度ds之和超过最远点c的深度值，完成贴碰区域6内的球形果实5识别。

如图4所示，孤立果实的识别方法和贴碰果实的识别方法中球形果实的特征提取方法10的原理为，对探测获取的深度点云数据用以三维深度传感器1为球心的深度球面2对球形果实5切割获得的图5所示截线9的离心率e在阈值[e]以内同时像素点数a超过阈值[a]，用以三维深度传感器1为球心的深度球面2对叶子4进行切割获得的图6所示截线9的离心率e则超出阈值[e]或者像素点数a低于阈值[a]，从而可区分出球形果实5。

如图7所示，其中株上果实识别处理流程如下：

(1)三维深度传感器1通过对场景的实时扫描获得视场范围内对象的深度点云数据

(2)利用设定的近距离阈值dh1和远距离阈值dh2对深度数据进行前景和背景冗余信息的滤除；

(3)对滤除前景和背景冗余信息后的深度点云数据进行聚类分析，获得滤除枝干3后的多个点云聚集区域8；

(4)利用各点云聚集区域8内的深度点云数量n的差异从点云聚集区域8内筛选出球形果实5与叶子4的贴碰区域6；

(5)对筛选出球形果实5与叶子4的贴碰区域6之后的各孤立区域7，应用孤立果实的识别方法识别出其中的球形果实5；

(6)对贴碰区域6，应用贴碰果实的识别方法识别出区域内各球形果实5；

(7)将识别出的各球形果实5标记序号，为球形果实5的定位和对球形果实5实施作业提供信息。