引导机器人采摘和运送水果的协同作业方法、系统及平台

本发明涉及智慧农业，尤其涉及引导机器人采摘和运送水果的协同作业方法、系统及平台。

背景技术：

1、近年来，随着人工智能技术的发展，机器人技术已经被广泛应用于各个领域。其中，农业领域的机器人应用也得到了越来越多的关注。在农业领域中，机器人可以用于自动化水果采摘和运输等工作，以减少劳动力成本，无人机通过空中监测，对果园环境及果树生长状态进行判定，引导采摘机器人和运送机器人精准定位，以提高采摘效率。

2、针对无人机引导水果采摘机器人和运送水果机器人的协同作业，需要集中调度决策中心进行多机协同控制，5g云控平台传输信号稳定，具有集中决策、定位可靠、多机协同调度控制功能。gps(全球定位系统)是一种常用的定位技术，但是在室内或复杂环境下，其精度会受到限制。激光雷达是另一种常用的定位技术，可以提供高精度的位置信息，但是其成本较高。ins(惯性导航系统)使用加速度计和陀螺仪等传感器来测量和跟踪物体的加速度和角速度，通过积分这些测量值，可以推导出物体的位置和姿态，但是导航信息经过积分而产生,定位误差随时间而增大,长期使用精度会变差。

3、因此，一种基于gps、激光雷达与ins关联定位的水果采摘机器人和运送水果机器人的协同作业方法被提出。

技术实现思路

1、有鉴于此，本发明通过结合5g通信、无人机技术、机器人路径规划和协同作业等关键技术，实现了水果采摘和运送的智能化、高效化作业，以解决传统果园生产作业中人工采摘劳动强度大、效率低下、成本高等问题，从而提高果园生产作业效率和质量。

2、为了达到上述目的，本发明采用如下技术方案：

3、引导机器人采摘和运送水果的协同作业方法，包括：无人机、采摘机器人、运送机器人、激光雷达、视觉传感器、5g通信模组；

4、所述无人机用于引导采摘水果的机器人，需要具备一定导航和定位能力、遥感和监测能力、路径规划和避障能力等一系列技术和特点，并且将高视角监测发送给5g云控平台，以实现高效、精准的水果采摘任务引导；

5、所述采摘机器人用于采摘水果的机器人，移动底盘需要具备一定自主导航和定位能力，采摘机械臂和末端执行器具备一定的柔软性和精准度，能够根据水果大小和形状进行自适应抓取，同时还需要具备一定的力控能力，避免对水果造成损伤；

6、所述运送机器人用于运送水果的机器人，需要具备定位与导航、协同通信、动态路径规划、避障能力、速度调节和同步运动控制等一系列能力，以确保能够与采摘机器人保持同步协同的相对位置，顺利完成水果的运送任务；

7、所述激光雷达用于机器人的定位和环境感知，能够实时获取周围环境的三维数据，提供给机器人进行路径规划和避障操作；

8、所述视觉传感器用于机器人的目标检测和识别，能够识别水果的种类、大小和位置信息，从而进行精准抓取；

9、所述5g通信模组在无人机、采摘机器人臂和运送机器人上均有安装，用于将三者接入网络；

10、具体的，无人机、采摘机器人和运送机器人通过中心服务器进行任务分配。每一台采摘机器人对应分配一架无人机和一台运送机器人，直到水果采摘重量达到一定时，采摘机器人停止采摘，运送机器人将水果运送入保鲜库，采摘机器人等待新的运送机器人到达才继续采摘直到任务完成。在中心服务器中建立任务分配情况，给每台采摘机器人分配一块采摘区域，根据采摘情况分配运送机器人。中心服务器通过5g通信模组与采摘机器人进行通信并实时监测采摘情况反馈给用户端查看，根据采摘情况系统可以更好的调度运送机器人，对采摘数量进行估算，以便指导后续销售规划。

11、无人机进行果园监测时，搭载5g通信模组、激光雷达和工业相机对果园中的果树进行图像采集和三维点云扫描，收集果园中的图像数据，并对图像中的果实进行标记,标记果实的位置和类别,建立一个包含图像路径、坐标框和类别标签的数据集。对收集的图像数据进行预处理,使用标记的果实图像数据集对所选的yolo模型进行训练。训练过程将模型调整到可以检测和定位果实的状态。使用训练好的yolo模型来检测和定位果实，通过图像处理算法对果树上的果实进行估算，并调用训练好的果实成熟度分类网络进行成熟度识别，检测当前点云中的果实的成熟度，以便于引导采摘机器人进行采摘定位。将检测到的果实数量与成熟度相结合以估算整个果园的荔枝产量建立一个产量估算模型，使用线性回归算法对数据进行清洗和预处理，包括处理缺失值、异常值和数据标准化等，确保数据的准确性和一致性。

12、具体的，采摘机器人由山地履带车、计算机、激光雷达、工业相机、5g通信模组以及gps定位模块构成。为保证计算机的算力足够且体积够小，计算机选用具有超高性能和低功耗的计算机模块nvidiajetson tx2。激光雷达配合工业相机用于3维果园地图构建以及山地履带车在果园的自主路径规划和避障；另外的当gps定位模块用于机器人的定位，能够提供机器人当前的经纬度和高度信息，以便于进行室外导航和定位。

13、进一步的，所述无人机、采摘机器人与运送机器人定位方法包括如下步骤：gps定位模块利用接收到的卫星数据包解算出采摘机器人的绝对位置，激光雷达扫描环境特征点可以得出机器人在果园地图上的相对位置，ins(惯性导航系统)使用加速度计和陀螺仪等传感器来测量和跟踪物体的加速度和角速度，通过积分这些测量值，可以推导出机器人的位置和姿态。然后用卡尔曼滤波算法过滤噪声，最后用数据融合算法融合三者的数据进行相对定位，得出机器人的准确位置。

14、进一步的，所述果实成熟度分类模型的建立包括以下步骤：获取果实不同成熟期的图像，根据成熟期的不同对图像分类；利用机器学习库pytorch构建起分类网络，将分类好的果实成熟度图像送入网络中训练，得到果实成熟度分类模型。

15、具体的，5g通信模组、温湿度传感器、环境水分传感器与嵌入式板卡的i/o口相连接，嵌入式板卡接收到传感器的数据并处理，通过无人机的5g通信模组反馈至5g云控平台，在采摘过程中监测到下雨时应该立刻命令所有机器人回到充电区。太阳能电池给所有机器人供电，整个果园将划分成几个区域，每个区域的无人机都需要具有环境采集功能，以便于观察水果生长情况和引导采摘机器人采摘。

16、本发明的第二个目的可以通过以下技术方案达成：

17、一种水果采摘和运送的协同路径规划的调度系统，部署在5g云控平台运行，所述系统包括协同路径规划、数据库、任务分配三个模块。三个模块共同工作，实现无人机、采摘机器人和运送机器人自主地在果园协同作业。

18、具体的，所述任务分配模块，用于将果园划分为若干个采摘区域，并综合采摘机器人的电量、位置等因素给每辆采摘机器人分配采摘区域；所述路径规划模块，根据各采摘机器人的所在位置及其所要负责的区域，规划出一条采摘路线，并指导采摘机器人和运送机器人按照规划好的路径行驶；所述数据库模块，用于存储采摘机器人和运送机器人的果园二维地图信息、采摘路线、电量、位置、速度等信息。

19、进一步的，数据库模块留有程序接口，方便外部系统或设备调用数据库信息。需要确定水果采摘点和入库点的位置和数量。根据果园的布局和果树的分布，确定采摘点的位置，并根据市场需求确定入库的数量。通过无人机的传感器和图像识别收集果园中果树的位置信息和水果的成熟度等数据，将收集到的数据进行处理和整理，以便后续的路径规划和调度。

20、具体的，路径规划算法和速度控制：无人机为前导机器人，负责引导采摘机器人和导航，运送机器人则跟随采摘机器人前面保持一定距离。使用主从协同的控制算法，该算法包含状态反馈和扰动前馈的pd控制逻辑，用于调整系统的响应速度和稳定性，构建了主从移动机器人导航系统。采用速度一致性决策分量为pd控制，可以避免两移动机器人速度差异导致的问题。由于两移动机器人在协同行驶过程中，驱动系统具有一定的延时和非线性特点，所以在控制的过程中设置死区以提高稳定性，纵向偏差处于死区范围内时速度需要保持相对稳定。采摘机器人与运送机器人进行通信系统共享速度信息和控制命令，并通过反馈机制对速度差异进行修正，以确保两移动机器人保持适当的间距和相对位置。选择dijkstra算法或a*算法来计算采摘和运送的最优路径，通过找到最优路径，可以实现机器人的高效行走和任务分配。

21、进一步的，5g云控平台对机器人进行调度策略和实时监控与控制。考虑采摘机器人和运送机器人的续航能力、实时位置等因素，并根据任务的紧急程度和距离等因素进行调度。建立实时监控系统，对机器人的位置、状态和任务执行情况进行监测和控制。使用传感器、摄像头等设备实时获取机器人的信息，并通过无线通信技术将数据传输到5g云控平台。根据监控数据，及时调整、优化路径规划和调度。

22、本发明的第三个目的可以通过以下技术方案达成：

23、一种监控果园多机器人协同调度的5g云控平台，所述平台能够实现对果园中多个机器人的监控、协同调度和任务管理。该平台能够提高果园的采摘和运送效率，减少人力资源的投入，并为果园管理者提供实时的运行状态和数据分析，以支持决策和优化。

24、具体的，在5g云控平台设立一个监控中心作为平台的核心部分，负责监控果园中的机器人运行状态、位置信息和任务执行情况。每个机器人都配备一个节点，用于采集机器人的传感器数据、位置信息和执行任务的指令。监控中心通过与机器人节点的通信，定期获取机器人的状态更新。这包括机器人的位置、传感器数据(如视觉、距离传感器等)以及任务执行进度。监控中心使用实时图像传输技术，接收机器人传感器获取的图像数据，以监控果园中的情况。监控中心根据果园的需求和机器人的状态信息，进行任务调度和协同。根据果园中的采摘需求和运送需求，将任务分配给可用的机器人。监控中心使用路径规划算法dijkstra算法或a*算法，计算出机器人的最优路径，避开障碍物，考虑任务优先级、能量消耗等因素，以实现高效的任务执行。监控中心通过实时监测机器人的状态和传感器数据，可以及时发现异常情况，如机器人故障、任务延误等，并发出警报或通知相应的维护人员进行处理。监控中心可以设置预警机制，通过监测果园的环境数据和水果成熟度等信息，提前预测采摘和运送需求，以优化调度策略。

25、具体的，每个机器人与监控中心相互通信成混合式架构的多机器人系统，机器人之间也可以相互通信,进行信息交换和协同工作。制定合适的通信机制和协同策略以确保机器人之间的协作无缝进行，共享任务状态、位置信息和传感器数据等。机器人相互协作，共同完成任务，并通过合理的协同策略和通信机制实现高效的工作流程。

26、本发明利用gps提供的大范围定位信息、激光雷达提供的高精度定位信息和ins提供的机器人姿态三者相结合，实现机器人的精确定位。具体来说，机器人通过gps获取自身的粗略位置信息，然后使用激光雷达获取更精确的位置信息，最后移动过程中通过ins测量将三者结合起来计算出机器人的准确位置。

27、该协同作业方法还需要依靠无人机与5g云平台的通信获取采摘机器人和运送水果机器人的定位信息。无人机检测到果园环境和果树的成熟状态，将成熟果树的空间位置传送到5g云平台，该位置信息通过gps对采摘机器人进行粗定位后，融合机器人底盘上的激光雷达和ins信息，对采摘机器人进行精确定位，实现无人机引导下的机器人高效采摘。当采摘机器人采摘完成后，需要将采摘完成的信息传输给运送机器人，运送机器人根据该信息将水果载入保鲜库。在运输过程中，运送机器人需要实时更新自身位置信息，并通过通信与采摘机器人保持联系，以确保水果能够及时送达目的地。

28、总之，基于5g云控平台无人机引导水果采摘机器人和运送水果机器人的协同作业方法可以实现无人机监测引导下，采摘机器人与运送机器人的高效协作和准确定位，为果园无人化作业提供可行的方案。

29、经由上述的技术方案可知，与现有技术相比，本发明有益效果如下：

30、1.本发明采用5g通信技术、自主导航、边缘计算、云计算等技术，种植户可以远程实施对果园采摘的任务监控，无人机不仅能根据拍摄的果树画面识别果实处于不同生长期，还能将未成熟的果实反馈至用户终端，帮助种植户了解水果适时采收，此外，云端服务器可以对大量数据进行处理和分析，如果园的地形、水果的成熟度、机器人的运行状态等，从而制定最优的任务分配和路径规划策略。这样，机器人可以智能地选择最优的行动路径，避开障碍物，降低能耗，提高作业效率。

31、2.本发明采用移动机器人自主导航技术、多机协同作业技术以及多传感器关联定位技术，通过融合gps、激光雷达和ins数据进行相对定位，多个采摘机器人能够在规范化种植的果园内自主地、有序地移动，相比大规模铺设固定摄像头的方案，本发明能够实现只用几个采摘机器人即可采摘完整片果园，即便今后果园扩建，也只需重新规划采摘区域即可，无需额外增加硬件，降低果园建设成本的同时也降低了维护果园设备的难度。

32、3.本发明采用无人机监测辅助多个移动机器人协同作业技术，水果采摘和水果运送机器人具有特定的功能，协同完成果园采摘任务。不同功能的机器人通过协同工作，实现高效的果园采摘和运送作业管理