一种基于rgb-d的树上果实快速识别定位方法
【专利摘要】本发明公开了一种基于RGB?D的树上果实快速识别定位方法，利用RGB?D传感器可同步获得坐标对应的深度与颜色信息的特点，自最近点开始进行深度球面的逐层切割，其中片状特征的叶子被深度球面切割仅得到非封闭曲线而不予处理，而对所有被深度球面切割获得的封闭曲线，根据其短轴长度将显著小于果实直径的枝干与竹竿等剔除，进一步将剩余的果实封闭曲线生成深度和颜色点云的三维轮廓，从而完成成熟果实的识别与定位。本发明利用空间实体果实与片状叶子的几何差异和RGB?D传感器同步获得坐标、反射率、深度信息的优势，快速实现树上成熟果实的识别和定法，而无须考虑对树上果实识别定位形成最大困扰的遮挡问题，方法简单可靠，实时性与实用性强，可应用于树上果实的快速识别定位。
【专利说明】
一种基于RGB-D的树上果实快速识别定位方法
所属技术领域
[0001]本发明涉及农业机器人领域，特别涉及一种基于RGB-D的树上果实快速识别定位方法。
【背景技术】
[0002]在机器人采摘中，树上果实的识别与定位是关键技术难题。由于在自然条件下，传统视觉技术存在对光线过于敏感、易受背景干扰、无法区分近色果叶和定位的匹配困难等不足，近年来利用深度信息实现果实识别定位已经受到越来越多的重视。但单一的深度信息仅能进行形状分辨而无法获得颜色差异，从而无法区分成熟和未成熟果实，同时仍易受复杂冠层空间内的枝叶相互干扰;而将深度与可见光或红外等信息的融合，则由于不同器件间的坐标换算和图像匹配而变得非常复杂，严重影响了其识别效果和实时性。RGB-D是可同步获得深度与颜色信息的新型消费级传感器件，但现有基于RGB-D的识别定位方法仍主要延续传统彩色图像的分割处理方法，尽管利用深度信息使识别和定位效果获得了一定改善，但长期困扰树上果实识别定位的重叠遮挡等问题并未得到有效解决，识别可靠性和实时性亦不能满足实际应用的需要。
【发明内容】
[0003]针对现有树上果实识别定位方法的不足，本发明提供一种基于RGB-D的树上果实快速识别定位方法，实现对树上成熟目标果实的快速准确识别和定位。
[0004]为了解决以上技术问题，本发明采用的具体技术方案包括以下步骤:
[0005]步骤一，RGB-D传感器(I)通过实时扫描，同步获得前方植株冠层的根据坐标一一对应的深度和颜色数据(D，E) I (ο,θ)；
[0006]其中在极坐标空间内，以RGB-D传感器为坐标原点，每一坐标点(D，0)的深度数据为D，每一坐标点(D，Θ)的颜色数据为E。
[0007]步骤二，在深度数据中，先发现植株冠层内被探测对象的最近点A;
[0008]步骤三，从最近点A开始，利用深度的数值Di = Da+i AD(i = l,2,---,n)进行逐层切害J，其中Da为最近的被探测到对象的深度数据点A的深度值，ZD为逐层切割的深度间距，D1= DA+i A D为三维空间内的球面。
[0009]果实(4)与枝干(7)、竹竿(8)等具备空间实体特征的对象被深度球面D1切割后，深度点云出现封闭曲线(2);而片状特征的叶子(6)被深度球面D1切割后，深度点云仅出现非封闭曲线(3)。因此，对深度球面0:逐层切割，直至出现封闭曲线(2)，而所有非封闭曲线(3)被视为叶子(6)而不予处理；
[0010]步骤四，对所有封闭曲线(2)，计算其短轴长度L，并将所有短轴长度L超过枝干(7)与竹竿(8)的最大直径值[L]的封闭曲线(2)所在对象视为果实(4)，而所有短轴长度L不超过枝干(7)与竹竿(8)的最大直径值[L]的封闭曲线(2)所在对象被视为枝干(7)或竹竿(8)而不予进一步处理；
[0011]步骤五，对所有短轴长度L超过枝干(7)与竹竿(8)的最大直径值[L]的封闭曲线
(2)，利用深度点云构造封闭曲线(2)所在果实(4)的3维轮廓；
[0012]步骤六，根据封闭曲线(2)的颜色数据与深度数据的一一对应关系，获得果实(4)的3维轮廓点云的颜色数据值，从而根据颜色进行果实(4)的成熟度判断；
[0013]步骤七，对成熟度达到采摘要求的成熟果实(5)，利用坐标对成熟果实(5)的3维轮廓进行空间定位，进而完成采摘。
[OOM] 所述RGB-D传感器为可同步获得深度数据、颜色数据的Real sense、Kinect等的任一种。
[0015]所述果实为直径显著大于枝干(7)和竹竿(8)直径的苹果、番茄、桃、梨、柑橘等的任一种。
[0016]本发明具有有益效果。本发明利用空间实体果实与片状叶子的几何差异和RGB-D传感器同步获得坐标、反射率、深度信息的优势，快速实现树上成熟果实的识别和定法，而无须考虑对树上果实识别定位形成最大困扰的遮挡问题，方法简单可靠，实时性与实用性强。
【附图说明】
[0017]图1为本发明的方法流程图。
[0018]图2为基于RGB-D的植株冠层检测场景示意图。
[0019]图3为果实的球面切割获得封闭曲线示意图。
[0020]图4为叶子的球面切割获得非封闭曲线示意图。
[0021 ]图5为封闭曲线的短轴长度示意图。
[0022]图中:1.RGB-D传感器，2.封闭曲线，3.非封闭曲线，4.果实，5.成熟果实，6.叶子，
7.枝干，8.竹竿。
【具体实施方式】
[0023]下面结合附图和具体实施例，对本发明的技术方案做进一步详细说明。
[0024]图1展示了本发明的方法流程图。
[0025]如图1和图2，本发明的具体识别定位实施过程如下:
[0026](I )RGB_D传感器I通过实时扫描，同步获得前方植株冠层的根据坐标一一对应的深度和颜色数据(D，E) I (d,0)；
[0027]其中在极坐标空间内，以RGB-D传感器为坐标原点，每一坐标点(D，0)的深度数据为D，每一坐标点(D，Θ)的颜色数据为E。
[0028](2)在深度数据中，先发现植株冠层内被探测对象的最近点A;
[0029](3)从最近点A开始，利用深度的数值D1 = D^iADa = IA...，!!)进行逐层切割，其中Da为最近的被探测到对象的深度数据点A的深度值，ZD为逐层切割的深度间距，D1 = D^iAD为三维空间内的球面。
[0030]果实4与枝干7、竹竿8等具备空间实体特征的对象被深度球面D1切割后，深度点云出现封闭曲线2(图3);而片状特征的叶子6被深度球面D1切割后，深度点云仅出现非封闭曲线3(图4)。因此，对深度球面0工逐层切割，直至出现封闭曲线2，而所有非封闭曲线3被视为叶子6而不予处理；
[0031](4)如图5，对所有封闭曲线2，计算其短轴长度L，并将所有短轴长度L超过枝干7与竹竿8的最大直径值[L]的封闭曲线2所在对象视为果实4，而所有短轴长度L不超过枝干7与竹竿8的最大直径值[L]的封闭曲线2所在对象被视为枝干7或竹竿8而不予进一步处理；
[0032](5)对所有短轴长度L超过枝干7与竹竿8的最大直径值[L]的封闭曲线2，利用深度点云构造封闭曲线2所在果实4的3维轮廓；
[0033](6)根据封闭曲线2的颜色数据与深度数据的一一对应关系，获得果实4的3维轮廓点云的颜色数据值，从而根据颜色进行果实4的成熟度判断；
[0034](7)对成熟度达到采摘要求的成熟果实5，利用坐标对成熟果实5的3维轮廓进行空间定位，进而完成采摘。
【主权项】
1.一种基于RGB-D的树上果实快速识别定位方法，其特征在于包括以下步骤: 步骤一，RGB-D传感器(I)通过实时扫描，同步获得前方植株冠层的根据坐标一一对应的深度数据和颜色数据(D，E) I (D,e); 其中在极坐标空间内，以RGB-D传感器为坐标原点，每一坐标点(D，0)的深度数据为D，每一坐标点(D，Θ)的颜色数据为E ； 步骤二，在深度数据中，先发现植株冠层内被探测对象的最近点A; 步骤三，从最近点A开始，利用深度的数值D1 = DAi AD进行逐层切割，其中Da为最近的被探测到对象的深度数据点A的深度值，ZD为逐层切割的深度间距，D1 = D^i AD为三维空间内的球面;i = l，2，…，η; 果实(4)与枝干(7)、竹竿(8)等具备空间实体特征的对象被深度球面D1切割后，深度点云出现封闭曲线(2);而片状特征的叶子(6)被深度球面D1切割后，深度点云仅出现非封闭曲线(3);因此，对深度球面0:逐层切割，直至出现封闭曲线(2)，而所有非封闭曲线(3)被视为叶子(6)而不予处理； 步骤四，对所有封闭曲线(2)，计算其短轴长度L，并将所有短轴长度L超过枝干(7)与竹竿(8)的最大直径值[L]的封闭曲线(2)所在对象视为果实(4)，而所有短轴长度L不超过枝干(7)与竹竿(8)的最大直径值[L]的封闭曲线(2)所在对象被视为枝干(7)或竹竿(8)而不予进一步处理； 步骤五，对所有短轴长度L超过枝干(7)与竹竿(8)的最大直径值[L]的封闭曲线(2)，利用深度点云构造封闭曲线(2)所在果实(4)的三维轮廓； 步骤六，根据封闭曲线(2)的颜色数据与深度数据的一一对应关系，获得果实(4)的三维轮廓点云的颜色数据值ΖΖ，从而根据颜色数据值ZZ进行果实(4)的成熟度判断； 步骤七，对成熟度达到采摘要求的成熟果实(5)，利用坐标对成熟果实(5)的三维轮廓进行空间定位，进而完成米摘。2.根据权利要求1所述的一种基于RGB-D的树上果实快速识别定位方法，其特征在于:所述RGB-D传感器为可同步获得深度数据、颜色数据的Realsense、Kinect中的任一种。3.根据权利要求1所述的一种基于RGB-D的树上果实快速识别定位方法，其特征在于:所述果实为直径显著大于枝干(7)和竹竿(8)直径的苹果、番茄、桃、梨、柑橘中的任一种。
【文档编号】G06T7/00GK105825171SQ201610137746
【公开日】2016年8月3日
【申请日】2016年3月10日
【发明人】刘继展, 周尧, 朱新新
【申请人】江苏大学