一种基于双目视觉的油茶果采摘系统及控制方法与流程

本发明主要涉及自动采摘技术领域，具体涉及一种基于双目视觉的油茶果采摘系统及控制方法。

背景技术：

茶油具有很高的保健和营养价值，国家为保障粮油安全，大力重视和扶持油茶产业发展，目前油茶果采摘主要依靠人工采摘，劳动量大而效率极低。油茶果采摘已成为油茶产业发展最薄弱的一环，逐渐成为阻碍油茶产业快速发展的瓶颈。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于双目视觉的油茶果采摘系统及控制方法。

本发明解决上述技术问题的技术方案如下：一种基于双目视觉的油茶果采摘系统，包括工作平台、履带式移动装置、采摘执行机构、机械臂、双目视觉装置和控制装置。

所述工作平台为中空腔体结构，所述履带式移动装置设置在所述工作平台的底部，所述机械臂设置在所述工作平台上表面的中心处，所述采摘执行机构设置在所述机械臂的顶端，所述双目视觉装置设置在所述工作平台上表面，所述控制装置设置在所述工作平台的中空腔体结构内，所述双目视觉装置与所述控制装置电连接，所述控制装置分别与所述采摘执行机构和所述履带式移动装置电连接。

所述控制装置用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置前进至采摘目的地。

所述双目视觉装置用于采集采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息。

所述控制装置还用于根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至所述采摘执行机构和所述机械臂中，所述采摘指令用于驱动所述采摘执行机构和所述机械臂进行油茶果采摘。

本发明解决上述技术问题的另一技术方案如下：一种基于双目视觉的油茶果采摘控制方法，包括如下步骤：

控制装置根据预先规划的行径路线生成行走指令，所述行走指令用于驱动履带式移动装置前进至采摘目的地。

双目视觉装置采集所述采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息。

所述控制装置根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至采摘执行机构和机械臂中，所述采摘指令用于驱动所述采摘执行机构和所述机械臂进行油茶果采摘。

本发明的有益效果是：能够按照规划的行径路线行走，对行径路线上的多个采摘目的地进行果实采摘，到达采摘目的地时，通过双目视觉装置采集油茶果图像，对油茶果图像进行处理得到采摘信息，根据采摘信息得到控制采摘执行机构和机械臂实施采摘的采摘指令，实现油茶果的自动采摘，节省人力，提高效率。

附图说明

图1为本发明一实施例提供的油茶果采摘系统的结构示意图；

图2为本发明一实施例提供的油茶果采摘方法的流程示意图；

图3为本发明另一实施例提供的油茶果采摘方法的流程示意图；

图4为本发明一实施例提供的确定采摘信息的流程示意图；

图5为本发明一实施例提供的规划行径路线的流程示意图。

附图中，各标记所代表的部件名称如下：

1、采摘执行机构，2、机械臂，3、双目视觉装置，4、控制装置，5、工作平台。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明一实施例提供的油茶果采摘系统的结构示意图。

如图1所示，一种基于双目视觉的油茶果采摘系统，包括工作平台5、履带式移动装置6、采摘执行机构1、机械臂2、双目视觉装置3和控制装置4。

所述工作平台5为中空腔体结构，所述履带式移动装置6设置在所述工作平台5的底部，所述机械臂2设置在所述工作平台5上表面的中心处，所述采摘执行机构1设置在所述机械臂2的顶端，所述双目视觉装置3设置在所述工作平台5上表面，所述控制装置4设置在所述工作平台5的中空腔体结构内，所述双目视觉装置3与所述控制装置4电连接，所述控制装置4分别与所述采摘执行机构1和所述履带式移动装置6电连接。具体地，所述双目视觉装置3通过数据线与所述控制装置4电连接，所述控制装置4通过信号线分别与所述采摘执行机构1和所述履带式移动装置6电连接。

所述控制装置4用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置6前进至采摘目的地。

所述双目视觉装置3用于采集所述采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息。

所述控制装置4还用于根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至所述采摘执行机构1和所述机械臂2中，所述采摘指令用于驱动所述采摘执行机构1和所述机械臂2进行油茶果采摘。

具体地，所述预设范围内为360°，双目视觉装置根据本次采集的油茶果图像判断可采摘范围内是否存在油茶果果实，若存在，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若不存在，控制装置发出控制信号使双目视觉装置旋转90°，并计数一次，同时判断计数次数是否达到4次，若未达到计数次数4次，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若达到4次，则控制装置驱动所述履带式移动装置前进至下一采摘目的地。

上述实施例中，能够按照规划的行径路线行走，对行径路线上的多个采摘目的地进行果实采摘，到达采摘目的地时，通过双目视觉装置采集油茶果图像，对油茶果图像进行处理得到采摘信息，根据采摘信息得到控制采摘执行机构和机械臂实施采摘的采摘指令，实现油茶果的自动采摘，节省人力，提高效率。

可选地，作为本发明的一个实施例，所述双目视觉装置3包括摄像机和视觉图像处理器，所述摄像机设有两个，两个所述摄像机设置在所述工作平台5的上表面上且分别位于所述机械臂2的两侧。

所述摄像机，用于采集所述预设范围内油茶果图像。

所述视觉图像处理器，用于对所述油茶果图像进行预处理，得到预处理油茶果图像，并从所述预处理油茶果图像中识别出多个油茶果轮廓,对所述多个油茶果轮廓分别进行三维定位处理，得到多个油茶果轮廓对应的三维定位信息，并对得到的多个三维定位信息进行计算，得到采摘信息,将所述采摘信息发送至所述控制装置4中。

具体地，所述摄像机为可360°旋转的摄像机，所述摄像机通过旋转轴安装在所述工作平台5的上表面上。

可选地，作为本发明的一个实施例，如图4所示，所述视觉图像处理器包括：

图像预处理单元，用于对所述油茶果图像进行图像滤波处理，对经图像滤波处理的油茶果图像进行亮度直方图均衡化处理，并对经均衡化处理的油茶果图像进行二值化处理，并对经二值化处理的油茶果图像进行腐蚀膨胀处理，得到预处理油茶果图像。

三维定位单元，用于对所述预处理油茶果图像进行特征提取，识别出多个油茶果轮廓，分别对所述多个油茶果轮廓进行立体匹配处理，对经立体匹配处理的多个油茶果轮廓分别进行三维重建处理，得到多个三维定位信息。

采摘点重心计算单元，用于对所述多个三维定位信息分别进行极坐标变换处理，得到多个极坐标数据，并分别对所述多个极坐标数据进行距离变换处理，得到多个距离值数据，并分别对所述多个距离值数据进行线性拟合，得到多组果实采摘位置信息及姿态角信息。

果实数目确定单元，用于根据所述多个果实采摘位置信息确定采摘果实数目。

发送单元，用于将所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目作为所述采摘信息发送至所述控制装置4中。

上述实施例中，对油茶果图像进行预处理能够得到较清晰的油茶果采摘，便于特征提取，对油茶果进行三维重建处理得到三维定位信息，对三维定位信息处理，能够得到重心位置和油茶果轮廓拟合，来进一步确定油茶果采摘位置信息及姿态角信息。

可选地，作为本发明的一个实施例，所述控制装置4包括：

路径规划单元，用于根据预先规划的行径路线生成行走指令，所述行走指令用于驱动所述履带式移动装置6前进至采摘目的地。

控制处理单元，用于当到达所述采摘目的地时，向所述双目视觉装置3发送采集指令，所述采集指令用于驱动所述双目视觉装置3采集所述采摘目的地预设范围内油茶果图像。

还用于当接收到所述双目视觉装置3发送的所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目时，根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理，并根据经标号的各组果实采摘位置信息及姿态角信息得到机械臂采摘指令和采摘执行机构采摘指令，并根据标号顺序向所述机械臂2发送所述机械臂采摘指令以及向所述采摘执行机构1发送所述采摘执行机构采摘指令，所述机械臂采摘指令用于驱动所述机械臂2运动，所述采摘执行机构采摘指令用于驱动所述采摘执行机构1执行采摘动作。

上述实施例中，对每组的果实采摘位置信息及姿态角信息进行顺序标号，并且根据该顺序得到机械臂采摘指令和采摘执行机构采摘指令，能够使机械臂和采摘执行机构顺序执行各个指令，有序且有效的自动实施油茶果采摘。

可选地，作为本发明的一个实施例，所述控制装置4还包括判断单元。

所述判断单元，用于判断是否执行完成属于当前采摘目的地的经标号的各组采摘指令，如果完成，则根据预先规划的行径路线生成下一行走指令，所述下一行走指令用于驱动所述履带式移动装置6前进至下一采摘目的地。

可选地，作为本发明的一个实施例，所述判断单元还用于，生成下一行走指令前，根据获取的工作平台当前定位信息判断是否行走完成预先规划的行径路线，若是，则向所述控制处理单元发送待机指令，若否，则生成下一行走指令。

上述实施例中，能够对预先规划的行径路线中的各个采摘点进行油茶果采摘，极大提高了采摘效率。

图2为本发明一实施例提供的油茶果采摘方法的流程示意图。

可选地，作为本发明的另一个实施例，如图2所示，一种基于双目视觉的油茶果采摘控制方法，包括如下步骤：

控制装置4根据预先规划的行径路线生成行走指令，所述行走指令用于驱动履带式移动装置6前进至采摘目的地。

双目视觉装置3采集采摘目的地预设范围内油茶果图像，并根据所述油茶果图像确定油茶果的采摘信息，将所述采摘信息发送至所述控制装置4中。

所述控制装置4根据所述采摘信息生成采摘指令，将所述采摘指令分别发送至采摘执行机构1和机械臂2中，所述采摘指令用于驱动所述采摘执行机构1和所述机械臂2进行油茶果采摘。

具体地，如图4所示，对预先规划的行径路线设置过程如下：

根据预设导航地图确定可规划路径。所述导航地图中包括油茶果果园内油茶果树栽种的地理位置。

根据可规划路径的道路宽度、道路长度、道路坡度和和道路转角确定路径方位和前进最大范围。

根据机械臂的运动范围确定可采摘范围，从而确定履带式移动装置行走步长大小。

可选地，作为本发明的一个实施例，所述根据所述油茶果图像确定油茶果的采摘信息的过程包括：

对所述油茶果图像进行预处理，得到预处理油茶果图像，并从所述预处理油茶果图像中识别出多个油茶果轮廓,对所述多个油茶果轮廓分别进行三维定位处理，得到多个油茶果轮廓对应的三维定位信息，并对得到的多个三维定位信息进行计算，得到采摘信息。

可选地，作为本发明的一个实施例，如图5所示，所述得到预处理油茶果图像的过程包括：

对所述油茶果图像进行图像滤波处理，对经图像滤波处理的油茶果图像进行亮度直方图均衡化处理，并对经均衡化处理的油茶果图像进行二值化处理，并对经二值化处理的油茶果图像进行腐蚀膨胀处理，得到预处理油茶果图像。

所述得到多个油茶果轮廓对应的三维定位信息的过程包括：

对所述预处理油茶果图像进行特征提取，识别出多个油茶果轮廓，分别对所述多个油茶果轮廓进行立体匹配处理，对经立体匹配处理的多个油茶果轮廓分别进行三维重建处理，得到多个三维定位信息。

所述得到采摘信息的过程包括：

对所述多个三维定位信息分别进行极坐标变换处理，得到多个极坐标数据，并分别对所述多个极坐标数据进行距离变换处理，得到多个距离值数据，并分别对所述多个距离值数据进行线性拟合，得到多组果实采摘位置信息及姿态角信息。

根据所述多个果实采摘位置信息确定采摘果实数目，将所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目作为所述采摘信息。

可选地，作为本发明的一个实施例，所述控制装置4根据所述采摘信息生成采摘指令的过程包括：

当到达所述采摘目的地时，向所述双目视觉装置3发送采集指令，所述采集指令用于驱动所述双目视觉装置3采集所述采摘目的地预设范围内油茶果图像。

当接收到所述双目视觉装置3发送的所述多组果实采摘位置信息及姿态角信息和所述采摘果实数目时，根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理，并根据经标号的各组果实采摘位置信息及姿态角信息得到机械臂采摘指令和采摘执行机构采摘指令，并根据标号顺序向所述机械臂2发送所述机械臂采摘指令以及向所述采摘执行机构1发送所述采摘执行机构采摘指令，所述机械臂采摘指令用于驱动所述机械臂2运动，所述采摘执行机构采摘指令用于驱动所述采摘执行机构1执行采摘动作。

具体地，机械臂执行采摘指令的过程如下：

机械臂采摘指令具体用于规划机械臂的运动轨迹，即果实采摘轨迹和指定果实采摘位置点。

控制装置发送机械臂采摘指令至机械臂的驱动单元中，机械臂的驱动单元驱动机械臂按照所述运动轨迹进行运动。

判断机械臂是否到达指定果实采摘位置，若机械臂未到达指定果实采摘位置则重新规划机械臂的运动轨迹；若机械臂到达指定果实采摘位置，则机械臂停止动作并发送反馈信号至控制装置中。

具体地，采摘执行机构执行采摘指令的过程如下：

采摘执行机构采摘指令用于驱动采摘执行机构执行采摘动作。

控制装置发送采摘执行机构采摘指令至采摘执行机构的驱动单元中，采摘执行机构的驱动单元驱动采摘执行机构进行动作等待。

控制装置接收到机械臂的反馈信号时，所述反馈信号为到达指定果实采摘位置且调整到预定果实采摘姿态的信号，再次发送采摘执行机构采摘指令给采摘执行机构的驱动单元，采摘执行机构的驱动单元驱动采摘执行机构进行一次采摘动作。

采摘执行机构的驱动单元发送反馈信号至控制装置中，并进入下一次动作等待。

可选地，作为本发明的一个实施例，当执行完当前标号的采摘指令时，还包括步骤：判断是否执行完成属于当前采摘目的地的经标号的各组采摘指令，如果完成，则根据预先规划的行径路线生成下一行走指令，所述下一行走指令用于驱动所述履带式移动装置前进至下一采摘目的地。

可选地，作为本发明的一个实施例，生成下一行走指令前，还包括步骤：根据获取的工作平台当前定位信息判断是否行走完成预先规划的行径路线，若是，则向所述控制处理单元发送待机指令，若否，则生成下一行走指令。

可选地，作为本发明的一个实施例，还包括步骤：双目视觉装置根据本次采集的油茶果图像判断可采摘范围内是否存在油茶果果实，若存在，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若不存在，控制装置发出控制信号使双目视觉装置旋转90°，并计数一次，同时判断计数次数是否达到4次，若未达到计数次数4次，则控制装置通过采摘信息驱动采摘执行机构和机械臂进行果实采摘，若达到4次，则控制装置驱动所述履带式移动装置前进至下一采摘目的地。所述预设范围内为360°，即进行4次旋转。

具体地，双目视觉装置还包括计数装置，在执行采摘指令前，控制装置发送清零至所述计时装置中使计数装置清零。

如图3所示，以下实施例给出控制装置控制油茶果采摘的整个实施过程。

步骤s0:上电初始化并启动采摘系统。

步骤s1:控制装置根据预先规划的行径路线生成行走指令，履带式移动装置移动到路径规划中的采摘起始位置处，并根据行走指令行进至采摘目的地。

步骤s2:机械臂基座复位，同时记录机械臂旋转的计数装置清零，双目视觉装置的摄像机拍摄采摘目的地预设范围内的油茶果图像，由视觉图像处理器对油茶果图像进行处理，并根据处理后的油茶果图像分析油茶果果实的位置，得到多组果实采摘位置信息及姿态角信息和所述采摘果实数目，并传输至控制装置中。

步骤s3：判断本次油茶果图像中可采摘范围内是否存在油茶果果实，若存在执行步骤s4；若不存在，控制装置发出控制信号使双目视觉装置旋转90°，并计数一次，同时判断是否计数次数达到4次，若未达到计数次数4次，则再次返回执行步骤s2；若达到计数次数4次执行步骤s8。

步骤s4：控制装置根据所述采摘果实数目对所述多组果实采摘位置信息及姿态角信息进行顺序标号处理并保存，同时根据油茶果果实的位置规划每个油茶果采摘过程中的机械臂运动轨迹，根据果实采摘位置信息和果实采摘的姿态角信息，得到机械臂采摘指令和采摘执行机构采摘指令。

步骤s5：控制装置将机械臂采摘指令传输到机械臂的驱动单元，机械臂的驱动单元驱动机械臂按照预设运动轨迹进行运动，判断是否到达指定果实采摘位置，若未达到则重新驱动机械臂按照预设运动轨迹进行运动，若达到机械臂停止动作，并执行步骤s6。

步骤s6：控制装置将采摘执行机构采摘指令传输到采摘执行机构，当机械臂到达指定果实采摘位置且调整到预定果实采摘姿态，采摘执行机构执行动作完成一次果实采摘。

步骤s7：根据标号顺序判断各采摘指令是否均完成，若均完成，执行步骤s8；若未完成，对采摘范围内的所有的果实进行采摘，则返回执行步骤s5。

步骤s8：判断是否行走完成预先规划的行径路线，若未行走完，则控制装置驱动履带式移动装置移动到预先规划的行径路线的下一采摘位置处，并返回步骤s2；若完成行径路线，系统进入待机模式，并发出停止作业警报，结束。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。