栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法

本发明属于果蔬采摘机器人领域，具体涉及一种基于双目视觉的栽培架培育的类球形果实采摘机械臂的抓取路径规划方法，特别涉及串番茄果实的采摘。

背景技术：

1、番茄作为我国大部分地区广泛种植的蔬菜之一，番茄的采摘收获作业是耗费成本最高的一个环节，采摘作业受季节影响大，同时需要耗费极高的劳动成本。因此，保证番茄适时采收、降低人工成本是使番茄增收的重要途径。目前已有许多高校与科研机构对此展开研究，如日本松下公司研制的番茄采摘机器人、美国root ai公司研制的virgo型番茄采摘机器人、上海交通大学开发了双臂式番茄采摘机器人等。番茄采摘机器人技术日趋成熟并向商用化方向发展。

2、但是，目前大部分研究都集中于采摘机械臂的避障与果实识别方面，少有人对多果实的采摘顺序方面进行研究，采摘机器人一般都是按照随机顺序进行的采摘，效率低的同时，由于关节转动过多会导致机械臂产生不必要的损耗。仅有的一些研究也都存在局限性，如专利公开号为cn105773614a的“一种基于双目视觉的空间降维果实采摘顺序规划系统及方法”中，在规划采摘顺序时仅在二维平面内考虑了点与点之间的直线距离，并没有考虑到机械臂的关节运动限制；又如专利公开号为cn112369208b的“一种类球形果实的采摘顺序动态规划方法”，该专利所描述的方法针对果实相互遮挡的问题，制定了采摘顺序的优先级评估指标。然而，串番茄使用栽培架培育，很少存在果实相互遮挡的现象。而针对栽培架培育的串番茄的采摘，串番茄并排生长在藤曼上，有着果实数量多、遮挡少的特点，多目标果实连续采摘不仅需要考虑果实采摘效率的问题，同样还要考虑机械臂关节损耗的问题。因此需要对串番茄的采摘提出一种合理的采摘顺序规划方法，提升整体采摘效率，减少机械臂关节损耗。

技术实现思路

1、本发明的目的在于克服现有技术中的存在的缺点，提供一种基于双目视觉的栽培架培育的类球形果实采摘机械臂的抓取路径规划方法，通过双目相机获取串番茄根茎待采摘信息，再以路径总和以及关节扭矩作为优化指标进行旅行商问题建模，最后使用遗传算法求解获得最优采摘顺序，在保证采摘效率和采摘路径最短的同时，还避免了机械臂因关节转动角过大而造成的机械臂损耗，对促进我国串番茄产业增产增收和自动采摘装备智能化具有实用意义。

2、本发明的技术解决方案如下：

3、一种基于双目视觉的栽培架培育的类球形果实采摘机械臂的抓取路径规划方法，使得采摘机器人可以在保证成功率的情况下完成整体采摘任务的规划距离最短以及机械臂关节扭矩最小的果实采摘顺序，硬件为intel d435i双目深度相机，aubo i5机械臂，夹剪一体式采摘夹爪，四轮驱动转向车1(底盘车)，四轮驱动转向车2(物流车)，包括步骤如下：

4、步骤s1：采摘机器人到达采摘区域，该采摘机器人的机械臂末端安装有双目视觉相机；

5、步骤s2：以所述采摘机器人所处位置作为监测点，调整所述采摘机器人的机械臂的位姿，通过所述双目视觉相机对环境进行感知和识别，获得相机坐标系下的各成熟果实的根茎采摘点的空间坐标和根茎的倾斜角度；

6、步骤s3：根据采摘机器人的机械臂可到达的工作空间，去除位于该工作空间外的采摘点，并更新当前采摘区域的采摘点合集v；

7、步骤s4：根据采摘机器人的采摘总成本，利用遗传算法规划机械臂的采摘顺序，形成最优采摘路径。具体包括以下步骤：

8、1)对所有待采摘点按数字顺序给定一个序号，按照采摘顺序排列组成编码，按照编码机制，生成初始种群。

9、2)计算种群中每个个体的适应度，适应度函数为其中f(li)为生成的总路径长度，f(ri)为所有关节总转动角的绝对值之和，而λ1，λ2为权重系数，d1，d2为常数。

10、3)选择算子采用精英个体保存策略和轮盘赌策略，即适应度最高的个体一定被选择，而其他个体也有概率被选择。

11、4)由交叉概率pc选择若干父体并进行配对，按照单点交叉的规则生成新个体，按照变异概率pr随机确定变异个体，并实行相应变异操作，保持种群个体的多样性，防止陷入局部最优。

12、5)进行迭代后重复计算个体适应度，选出精英个体，当达到最大迭代次数后，终止迭代，认为得到了最满意的采摘路径。

13、作为本发明的进一步改进，步骤s2检测视野内各个果实成熟度信息并输出采摘点信息，主要包括五个步骤：

14、(2-1)：通过深度学习目标检测算法识别出番茄目标。

15、(2-2)：对识别出的目标，分别计算成熟与非成熟分量，得到初步的番茄成熟度。

16、(2-3)：针对完全成熟番茄，依据统计学原理得到非成熟分量的偏置ε，然后补偿倡导初步番茄成熟度，得到最终的番茄成熟度检测结果，获取成熟果实rgb图像。

17、(2-4)：将rgb图像对应到深度图像得到根茎采摘点ps，采用距离阈值dis去除根茎深度图像中远景干扰，再进行图像处理得到去干扰根茎采摘点pd。为ps和pd分配权重计算得到根茎采摘中心点空间三维坐标pi(xi,yi,zi)。

18、(2-5)：再使用canny算子进行边缘检测以及hough直线变换检测直线，得到直线并计算出根茎的倾斜角度θi。

19、作为本发明的进一步改进，所述s5中，遗传算法进行采摘顺序规划时，计算种群个体的适应度函数为其中f(li)为生成的总路径长度，f(ri)为所有关节总转动角的绝对值之和，而λ1，λ2为权重系数，d1，d2为常数。

20、作为本发明的进一步改进，总路径长度f(li)由机械臂末端在规划的两个采摘点ci,cj移动的弧线距离累加求和获得，而所有关节总转动角之和f(ri)，需要机械臂的规划器在规划v中任意两点间的路径时，通过运动学逆解求得两点的间各关节的角度位置，求出各角度之差的绝对值后，同样累加求和得到。关节扭矩为机械臂关节转动角度加权和，角度成本的总和可由各关节角速度ω加权求和得到。

21、相对于现有技术，本发明具有以下有益效果：

22、由于串番茄在生长过程中，随机性大，并且存在未成熟等情况，因此需要对串番茄采摘的过程进行一个合理的采摘顺序规划。本发明在对串番茄的采摘顺序进行规划时，还考虑了机械臂关节转动角度的因素，有时，虽然在三维空间上直线距离很近的两点，但由于机械臂的逆解问题，机械臂在运动时往往以一种怪异的构型运动，导致关节转角过大，采摘效率低的同时，还会造成浪费。在规划采摘顺序时，综合考虑路径长短与关节转动角度，可以规划出更适合机械臂的三维空间运动的采摘路径。与传统的随机顺序采摘相比，用更少的能耗采摘更快的采摘果实，提升了采摘效率。

技术特征：

1.一种栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法，其特征在于，包括步骤如下：

2.根据权利要求1所述的栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法，其特征在于，还包括：

3.根据权利要求1所述的栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法，其特征在于，所述步骤s2以所述采摘机器人所处位置作为监测点，调整所述采摘机器人的机械臂的位姿，通过所述双目视觉相机对环境进行感知和识别，获得相机坐标系下的各成熟果实的根茎采摘点的空间坐标和根茎的倾斜角度，具体包括：

4.根据权利要求1所述的栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法，其特征在于，步骤s4：根据采摘机器人的采摘成本，规划机械臂的采摘顺序，形成最优采摘路径，具体包括：

5.根据权利要求4所述的栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法，其特征在于，步骤s4.3.利用遗传算法求解旅行商问题并规划最优采摘路径，具体是：

技术总结
本发明公开了一种栽培架培育的类球形果实采摘机械臂的采摘顺序规划方法，包括采用深度学习框架识别番茄区域的思路，识别出待采摘果实，通过旅行商问题建模与遗传算法求解对所有待采摘的串番茄进行最优采摘顺序规划后，引导机械臂进行多目标果实的连续采摘。本发明在路径评估指标中除了总路径最短外，还加入了机械臂各转动关节最小的因素进行综合评估，所规划的采摘顺序在让总路径趋于最短的同时，还能防止各关节转动角过大，造成机械臂的损耗，在提升采摘效率和采摘成功率的同时，还避免了机械臂因关节转动角过大而造成的损害，对促进我国串番茄产业增产增收和自动采摘装备智能化具有实用意义。

技术研发人员：李楠,潘康,靳博,苗中华,罗顺原
受保护的技术使用者：上海大学
技术研发日：
技术公布日：2024/3/12