一种基于视觉选择注意机制的水果采摘顺序规划方法与流程

本发明属于农业机器人视觉仿生领域，具体涉及一种基于视觉选择注意机制的水果采摘顺序规划方法。

背景技术：

随着智慧农业的起步，智慧农业系统的应用越来越多，水果采摘机器人是智慧农业中的新兴领域，如何提高水果采摘的效率和质量一直是本领域的研究重点。目前，基于视觉的水果采摘机器人，其采摘方法主要有两种：(1)采用相机不断地从多个随机方向拍照，直到发现水果目标，然后控制机器人采摘；但是，这种做法会加重机器人对环境的不确定性，浪费大量的重复动作，导致效率较低。(2)采用相机在较远处拍摄图像，一次检测出当前场景下的所有水果目标，然后控制机器人逐个采摘；但是这种做法产生了一个问题，即如何确定机器人先摘哪个后摘哪个果实。针对这个问题，主要有两种采摘方法，一是按照从左到右、从上到下的顺序去采摘，但是没有考虑水果距离机器人的远近，无法确保效率；二是规划整个采摘过程的最短路径去采摘，以减少机器人的消耗，提高机器人的采摘效率。然而，以上这些水果采摘方法都忽视了所采摘水果的质量，导致容易采摘到质量参差不齐的水果，增加了后续的水果品质分拣工作繁重的负担，人工成本居高不下，直接影响到果农的整体收益。因此，如何同时兼顾机器人采摘效率和水果采摘质量，设计一种更优的水果采摘方法，是迫切需要解决的问题。

技术实现要素：

本发明的目的在于克服现有技术中存在的缺点，提供一种基于视觉选择注意机制的水果采摘顺序规划方法，利用视觉显著性表征水果品质状态，引入目标距离等决策因素，使水果采摘机器人能够在较短时间内采摘到质量更高的果实，实现同时提高水果采摘效率和质量，降低水果采摘成本。

本发明的目的通过下述技术方案实现：

一种基于视觉选择注意机制的水果采摘顺序规划方法，包括以下步骤：

(1)果实图像采集与配准：采集水果机器人采摘域的果实图像，获得配准图像和深度图像；

(2)果实视觉显著性计算：基于水果的色泽特征建立视觉选择注意机制模型，生成配准图像的视觉显著图；

(3)果实目标识别与分割：对果实目标进行识别与分割，获得分割出的果实区域；

(4)果实采摘决策属性分析：分割出的果实区域与视觉显著图、深度图像匹配，得到各果实区域对应的视觉显著信息和深度信息，计算出各果实的均显著度、中心深度值和遮挡系数；

(5)果实采摘优先级排序：将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，采用果实采摘优先级排序方法对各果实的决策要素属性值进行综合评估，确定当前场景下每个果实的采摘优先级次序；

(6)根据每个果实的采摘优先级次序，依次向水果机器人发送各果实的三维坐标，驱动水果机器人进行连续采摘。

所述步骤(1)中，所述采集水果机器人采摘域的果实图像，是基于深度相机kinectv2采集彩色图像rgb与深度图像depth，将获取的彩色图像rgb与深度图像depth配准并去除水果机器人采摘域外的图像信息，得到仅包含采摘域内信息的配准图像。

所述步骤(2)中，所述基于水果的色泽特征建立视觉选择注意机制模型，包括以下步骤：

(2-1)分离配准图像的r，g，b通道并分别进行直方图均衡化，合并各通道图像形成增强后的配准图像；

(2-2)选择3*3或5*5卷积核对配准图像进行高斯模糊；

(2-3)提取配准图像r分量，将配准图像转换至lab和yiq颜色空间，提取l分量、b分量和i分量，联合r分量表征果实色泽状态；

(2-4)遍历步骤(2-3)中颜色分量[r,l,b,i]每个像素点，以当前像素距离图像边界的最短距离为半长和半宽，构建以该像素点为中心的最大包围框，计算最大包围框内所有像素的颜色均值；

(2-5)分别计算每个像素的颜色分量值与其对应的最大包围框颜色均值的欧式距离，并将不同颜色分量下的欧式距离累积求和；

(2-6)所有像素点完成步骤(2-4)～(2-5)后形成视觉色差图，将所述视觉色差图归一化至0～255的灰度图像，即为视觉显著图。视觉显著图中像素越亮，则说明该像素越显著，越值得受到视觉关注，从而分配到更丰富的视觉处理资源以提供更有效的决策支持。

所述步骤(3)中，所述对果实目标进行识别与分割，是训练深度神经网络yolov4模型，检测当前场景下配准图像中的所有果实目标并输出检测框，提取图像的颜色特征训练svm语义分割模型，对检测框内的像素进行分类，获得分割出的果实区域，并表示成白色像素为果实、黑色像素为背景的二值图像fruitmask。其中，blab，shsv,iyiq,vyuv,表示颜色分量，其下标表示颜色模型，例如blab是表示lab颜色模型的b分量。

所述步骤(4)中，所述分割出的果实区域与视觉显著图、深度图像匹配，是指将果实区域fruitmask与视觉显著图、深度图像进行“与”运算，提取各果实区域对应的视觉显著信息和深度信息，并计算该区域视觉显著图的均值和区域中心的深度值，即为果实的均显著度saliency和中心深度值centerdepth。果实的均显著度越高，则说明果实外观品质更好，其采摘优先级更高；果实的中心深度值越小，水果机器人的移动消耗距离越短，其采摘优先级也越高。

所述步骤(4)中，所述计算各果实区域的遮挡系数，具体如下：

(4-1)统计果实区域中白色像素数目，即为该果实区域的面积area；

(4-2)根据果实区域的轮廓求其凸包，并计算凸包的面积convexarea；然后根据下述公式计算果实区域的遮挡系数coefshelter：

所述步骤(4-2)中，若果实区域因受到遮挡被分割成多个子区域，则根据以下步骤将多个子区域联成一个果实区域：

(4-2-1)对子区域进行编号1，2，3，...，求各子区域四个方向(左上、左下、右上、右下)的极点位置；

(4-2-2)根据编号遍历子区域，计算当前子区域极点与下一子区域极点的最短距离及相应的极点对(x1,y1),(x2,y2)；

(4-2-3)计算极点对在横坐标方向和纵坐标方向上的差值，即

δx＝x2-x1

δy＝y2-y1

(4-2-4)根据极点对在横、纵坐标上的差值在两个子区域间进行棋盘格走线，即令fruitmask在(x1：x1+δx,y1：y1)和(x2：x2,y2：y2-δy)区域的像素值为1，从而将两个子区域连接成新的一个母区域；

(4-2-5)重复以上(4-2-1)～(4-2-4)步骤，直到所有子区域形成一个母区域，即为果实区域。

所述步骤(5)中，所述果实采摘优先级排序方法为topsis评价法，包括下述步骤：

(5-1)令各果实区域的均显著度saliency、中心深度centerdepth、遮挡系数coefshelter分别表示为x1、x2、x3,并串联为原始数据矩阵x，即x＝{x1,x2,x3}；

(5-2)利用熵权法计算各指标的权重w，即w＝{w1,w2,w3}.

(5-3)中心深度值和遮挡系数为极小型指标，即其值越小则其采摘优先级越高；根据下式将决策指标中心深度值和遮挡系数的属性值正向化，其中xj表示第j个决策指标对应的样本数据，xij表示第i个样本的第j个决策指标值，n为样本个数：xij：＝max(xj)-xij,i＝1,2,…,n,j＝2,3；

(5-4)根据下式对正向化矩阵进行标准化，构造初始决策矩阵z：

(5-5)确定各决策指标下最大的值与最小的值为最优方案与最劣方案，构成最优方案z⁺＝{max(x1),max(x2),max(x3)}，最劣方案z^-＝{min(x1),min(x2),min(x3)}.

(5-6)根据下式计算各果实属性值di与最优方案、最劣方案的接近程度；

(5-7)评价各果实与最优方案的贴近程度，其中ci越大，则说明越贴近于最优方案，即当前场景下该果实的采摘优先级更高；根据ci分数高低进行排序，其评价结果就是各果实的采摘优先级次序ci：

所述步骤(5-2)中，利用熵权法计算各指标的权重w，包括下述步骤：

(5-2-1)对步骤(5-1)中的原始数据矩阵x进行向量归一化：

(5-2-2)计算各指标的熵值：

其中，若pij为0，则pijlnpij＝0；n为样本个数；

(5-2-3)计算各指标权重：

所述步骤(6)中，利用果实中心的图像坐标(x,y)和中心深度值centerdepth，依据下述坐标系转换关系求出每个果实的三维坐标(x,y,z)：

z＝centerdepth

其中，cx，cy，fx，fy为相机内参；然后根据步骤(5)计算得到的各果实的采摘优先级次序，包装成果实的采摘坐标队列，通过rosservice形式发送指令至采摘机器人，随后开启连续采摘动作，直至采摘坐标队列中所有果实采摘完毕，再切换至下一采摘场景。

优选地，所述svm语义分割模型分割检测框内的果实区域，是采用特征组合识别绝大部分颜色偏黄的果实；而对偏绿的果实品种，采用特征组合进行分割。所述svm语义分割模型可采用语义分割网络fcn、u-net等代替，可以取得相似或更优效果。进一步地，若极绿的果实较难通过颜色特征分割出来，则采用otsu法提取大部分绿色区域。

优选地，所述步骤(5)中，还可以增加果实面积和空间邻近系数两个决策要素，即在果实采摘优先级排序中，采用各果实的均显著度、中心深度值、遮挡系数、果实面积和空间邻近系数作为采摘优先级排序的5个决策要素，然后再利用topsis法对果实优先级进行评价，得到更加准确的排序结果。其中，当前果实与其他果实之间的平均距离，即为该果实的空间邻近系数；果实面积可以通过计算果实区域像素总和得到。

本发明将各果实的均显著度、中心深度值和遮挡系数作为采摘优先级排序的3个决策要素，其原理在于：(1)果实中心深度值意味着果实距离相机的物理距离，相机与机器人基座位置接近且处于同一直线，所以中心深度值可以衡量果实与机器人之间的距离，而距离是影响采摘时间和采摘能量消耗的一个重要因素，因此选择中心深度作为采摘效率指标；(2)水果的外观品质主要体现在颜色鲜艳程度，表皮色泽越好，其新鲜度和成熟度越高；采摘过程中，品质较好的果实往往更吸引视觉的注意，从而引导自发采摘行为，提升采摘质量。该原理体现在视觉显著图中，意味着当前采摘场景下的视觉显著图中果实显著度越高，说明果实色泽越好，新鲜程度越高；本发明通过用视觉显著信息量化果实颜色鲜艳程度，从而表示果实外观品质状态，从而提供了一种可测量的品质评价手段；(3)由于果园环境非结构性，实际场景下果实可能被树叶、树枝、树干遮挡而导致定位失败，而且采摘时如果撞到树枝会损伤机械手；因此除了距离和品质两个因素，果实被遮挡的程度也是一个重要的因素，遮挡程度越高，采摘所需要付出的成本就越高，因此采摘优先级就越低。

一种基于视觉选择注意机制的水果自动采摘系统，包括采摘机器人、末端执行器、深度相机kinectv2和水果采摘顺序规划模块；所述水果采摘顺序规划模块中内嵌有上述的基于视觉选择注意机制的水果采摘顺序规划方法。

本发明与现有技术相比具有如下优点和效果：

(1)本发明基于视觉选择注意机制的水果采摘顺序规划方法，综合考虑了水果采摘机器人在作业过程中的采摘效率和所采摘水果的质量这两大影响因素，定义比较全面的3个决策要素，同时结合topsis评价法，获得每个果实的采摘优先级次序，能够在能耗相对较低情况下采摘到质量更高的果实，对促进我国水果产业增产增收和自动采摘装备智能化具有实用意义。

(2)本发明基于视觉选择注意机制模型生成视觉显著图，采用视觉显著信息表达果实的品质状态，为水果品质评估提供了一种直观有效的新型量化手段；而且本发明的视觉选择注意机制模型中，基于水果成熟时偏向黄色、橙色、红色的特点，使用了能够表示橙黄色程度的颜色特征r，b，i；同时基于品质好的成熟果实的表皮油胞活动更加旺盛使得果皮表面更有光泽的特点，又在模型中引入了表示亮度的l颜色特征；此外，还基于果园环境中光照不断变化的特点，先对原图进行直方图均衡化抑制光照的影响，直方图均衡化后光线良好的图像保持不变，光线暗的图像提高了亮度；因此，本发明的获得的视觉显著图可以更准确地表示水果的品质状态。

(3)本发明提出的果实采摘优先级排序方法能够在采摘过程中提前筛选优质果实，通过自定义优质果实分数阈值灵活地适用于不同的采摘场景，为采摘人员提供辅助性的决策支持，从而提高采摘作业转化率。

附图说明

图1为本发明的水果采摘顺序规划方法流程图。

图2是本发明的水果自动采摘系统的整体结构及其应用场景图。

图3是本发明实施例中由视觉选择注意机制模型生成的视觉显著图。

图4是本发明实施例中yolov4识别果实并输出检测框示意图。

图5是本发明实施例中果实区域分割及其凸包示意图。

图6是本发明实施例中的水果采摘顺序规划示意图。

其中，(a)检测框内果实；(b)svm分割果实区域；(c)连接为果实区域；(d)果实区域凸包。

其中，1、可升降平台；2、六自由度机械臂；3、kinectv2相机；4、柔性夹爪；5、果树；6、输送管道；7、果实收集箱；8、橡胶手指；9、开合支架；10、电机；11、子区域1；12、子区域2；13、母区域。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

实施例

如图1所示，为本发明基于视觉选择注意机制的水果采摘顺序规划方法的操作流程。

如图2所示，水果采摘机器人包括可升降平台1、六自由度机械臂2和kinectv2相机3。采摘机器人为大族机器人公司生产的elfin系列，置于果树5的前方。所述kinectv2相机安装在所述采摘机器人基座中心线左侧或右侧位置，相机中心和采摘机器人基座中心保持在同一直线，相机视距为0.5m～4.5m，采摘机器人末端移动范围在0.5m～2m，考虑不同距离下果树采摘难易程度，限定采摘机器人的采摘域为距离果树1m～1.5m左右的区域。

采摘机器人的末端执行器为易爪科技qt-e1系列可变形柔性夹爪4，包括电路板、电机10、橡胶手指8和开合支架9。所述采摘机器人通过向电路板发送开关量或高低电平控制末端夹爪开闭。所述末端执行器具有自适应抓取特点，可摘取直径在30mm～100mm之间的果实。柔性夹爪作为末端执行器，可以自适应不同果实对象的形状和大小，不易夹伤水果对象，且不受树叶密集遮挡果梗导致采摘失败问题的困扰。

具体步骤如下：

(1)采摘机器人位于果树前1m～1.5m，处于采摘预备状态。kinectv2相机固定于机械臂右侧，高度约为1m，相机中心与机械臂基座中心位于同一直线。调用kinectv2官方sdk采集当前采摘场景的rgb-d图像，将获取的彩色图像rgb与深度图像depth配准。拍摄时以配准图中果实区域不出现空洞或较少空洞为佳，本实施例中设置机械手的采摘域为1m，则去除配准图像中对应深度值大于1000的像素点，得到仅包含采摘域内信息的配准图像。

(2)分离配准图像的r,g,b三通道并分别进行直方图均衡化，然后合并各通道图像形成增强后的配准图像。选择3*3或5*5卷积核对配准图像进行高斯模糊，然后提取配准图像r分量，将配准图像转换至lab和yiq颜色空间，提取l分量、b分量和i分量。遍历颜色分量[r,l,b,i]中的每个像素点，以像素距离图像边界的最短距离为半长和半宽，构建以该像素点为中心的最大包围框，计算最大包围框内所有像素的颜色均值，然后计算每个像素的颜色分量值与其对应的最大包围框颜色均值的欧式距离。遍历计算完成后，每个像素点都有对应的在四个颜色分量下的欧式距离，将不同颜色分量下的欧式距离累积求和形成视觉色差图。视觉色差图归一化至0～255的灰度图像，即为如图3所示视觉显著图。

(3)利用深度神经网络yolov4模型检测当前场景下配准图像中的所有果实目标并输出检测框，如图4所示。根据检测框位置从配准图中截取对应的子图像，对于颜色偏黄的果实，提取子图像的颜色特征对于颜色偏绿的果实，提取子图像的颜色特征基于上述颜色特征构建svm模型分割检测框内的果实区域，并表示成白色像素为果实，黑色像素为背景的二值图像，如图5(a)-(b)所示。

(4)根据检测框位置从视觉显著图和深度图中截取对应的子图像subsaliency和subdepth，并将步骤(3)中得到的二值果实区域与对应的subsaliency和subdepth进行“与”运算，提取果实区域对应的视觉显著信息和深度信息，并计算该区域视觉显著图的均值和区域中心的深度值。

(5)统计步骤(3)中每个果实区域的白色像素数目，作为果实区域面积area。同时根据果实区域的轮廓求其凸包(如图5(d))，并计算凸包的面积convexarea。然后根据公式计算果实遮挡系数。果实遮挡系数越低，说明果实可见度较高，易于采摘，故优先级较高；遮挡系数越高，果实受遮挡越严重，增大采摘难度，相应的采摘优先级较低。如图5(c)所示，若果实区域因受到遮挡被分割成多个子区域，则根据以下步骤将多个子区域联成一个果实区域：

(5-1)对子区域进行编号1,2,3…，求各子区域四个方向(左上、左下、右上、右下)的极点位置；

(5-2)根据编号遍历子区域，计算当前子区域11极点与下一子区域极点的最短距离及相应的极点对(x1,y1),(x2,y2)；

(5-3)计算极点对在横坐标方向和纵坐标方向上的差值，即

δx＝x2-x1

δy＝y2-y1

(5-4)根据极点对在横、纵坐标上的差值在两个子区域间进行棋盘格走线，即令fruitmask在(x1：x1+δx,y1：y1)和(x2：x2,y2：y2-δy)区域的像素值为1，从而将两个子区域连接成新的一个母区域；

(5-5)重复以上(5-1)～(5-4)步骤，直到所有子区域形成一个母区域，即为果实区域。如图5所示，通过上述方法，子区域11和子区域12连接为一个母区域13，以便进行后续的遮挡系数计算。

(6)利用果实中心的像素坐标(x,y)和深度值centerdepth，根据以下坐标系转换关系求出每个果实的三维坐标(x,y,z)，其中，cx，cy，fx，fy为相机内参。遍历各果实中心的三维坐标，计算当前果实与其他果实之间的平均距离，即为果实的空间邻近系数。

z＝centerdepth

(7)以各果实的均显著度、面积、中心深度、遮挡系数和空间邻近系数为评价指标，利用topsis评价法对各果实采摘优先级进行排序，其步骤如下：

(7-1)将各果实区域的均显著度x1、面积x2、中心深度值x3、遮挡系数x4和空间邻近系数x5串联为原始数据矩阵x,即x＝{x1,x2,x3,x4,x5}.

(7-2)利用熵权法得到各指标权重w＝{w1,w2,w3,w4,w5}。首先对原始数据矩阵x进行向量归一化，即然后计算各指标的熵值其中n为样本个数，j＝1,2,3,…,5；k＝1/lnn。若pij为0，则pijlnpij＝0。计算各指标权重

(7-3)由于决策指标中中心深度、遮挡系数和空间邻近系数为极小型指标，根据下式将中心深度、遮挡系数和空间邻近系数的属性值正向化，其中xj表示第i个决策指标对应的样本数据，xij表示第i个样本的第j个决策指标值。

xij＝max(xj)-xij,i＝1,2,…n,j＝1,2,…,5

(7-4)对正向化矩阵进行标准化，构造初始决策矩阵z。

(7-5)确定各决策指标下最大的值与最小的值为最优方案与最劣方案，构成最优方案z⁺＝{max(x1),max(x2),…,max(x5)}，最劣方案z^-＝{min(x1),min(x2),…,min(x5)}.

(7-6)根据下式计算各果实属性值与最优方案和最劣方案的接近程度；

(7-7)评价各果实与最优方案的贴近程度，其中ci越大，则说明越贴近于最优方案，即当前场景下该果实的采摘优先级更高。根据ci分数高低进行排序，其评价结果就是各果实的优先级次序。如图6所示，当前场景下的果实采摘顺序即被确定。

(8)将步骤6解算的果实三维坐标按照步骤7中的果实优先级次序包装成采摘坐标队列，通过rosservice形式发送指令至采摘机器人，随后开启连续采摘动作，机器人控制柔性夹爪抓取果实，在输送管道6处释放果实，通过输送管道将果实运送至果实收集箱7。机器人逐个采摘和释放果实，直至坐标队列中所有果实采摘完毕，切换至下一采摘场景。

以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。