一种基于视觉的农林园区机器人导航方法与流程

本发明涉及导航技术，更具体地，涉及基于视觉的农林园区机器人导航方法。

背景技术：

当今时代，多功能农业机器人得到广泛地应用，使得农业机器人在广阔的田野上，越来越多地代替了手工完成各种农活。农业中果园生产的任务种类繁杂，如：疏花定果、套袋、剪枝、覆草、灌水、施肥、喷撒农药、病虫害防治、分期采收等工序，需要大量的人力和物力，同时非精准的果园管理方式会产生大量的无效投入和生态污染，增加了水果价格。针对这些情况，研制适合果园作业的智能精准型机器人势在必行。机器人要实现代替人工，在果园中自主作业，首先要解决的是机器人在果园内自主导航的问题，完备的导航能力才能保证机器人自动运动到果园的每个角落，使得机器人重复可靠地完成各项作业环节。

在果园中，机器人的自主工作需要在两行果树之间的过道内完成，即沿着过道对每棵树进行作业，一行树作业完成了则转弯到另一行过道内工作，直至走完整片果园。机器人在工作过程中，一般会位于树冠以下，如果单单依靠gps来定位，会出现卫星信号被树冠遮挡、多路径效应和射频干扰等问题，最终导致机器人位误差较大，甚至无法定位。果园行间的距离大多只有2m左右，利用gps很难获取精准的行间定位导航效果；电磁导航定位能有较好的定位导航效果，但是成本较高。

中国专利申请“cn102368158a”提出了一种果园机械导航定位方法。该方法首先通过融合激光扫描信息和视觉传感器信息，构建果园机械前方的三维环境，提取有效的导航信息；然后当果园机械即将行驶到果树行尽头时，利用卡尔曼滤波器融合果园机械内部传感器测量到的信息，获取果园机械导航信息；最后当果园机械行驶到果园地头时候，首先采用最优控制法来规划果园机械地头转弯半径，并利用gps传感器测量得到其位置信息，通过比较理论路径坐标与实际位置坐标，获得用于果园机械导航定位信息。

中国专利申请“cn205843680u”提出了一种果园机器人的视觉导航方法。该方法首先利用ccd相机实现果园路径环境图像的采集，然后从该图像中提取出导航基准线，之后将导航基准线参数转化为实际环境中的航向角信息，传输给单片机控制模块。在机器人行走过程中，果园行的侧边每隔5m安装一个二维码标牌，用于机器人的行间定位和指引行驶方向。最后将二维码标牌信息发送到单片机控制模块，单片机通过采用pid控制器通过改变pwm波的转空比来控制驱动电机，实现机器人在果园环境下的自主行走。

上述的2个方案中，在机器人果园行间转弯时，针对机器人如何走出当前工作行，然后精准进入下一行的这一实际问题研究较少。中国专利申请“cn102368158a”中采用在地头处规划转弯路径，然后利用gps测量得到机器人的位置，但是在密植的果园环境中，就会存在gps信号丢失和定位误差较大的风险，造成机器人转弯具有极大的不稳定性。除此之外，gps的后续的定位费用也较高。中国专利申请“cn205843680u”虽然利用二维码实现了小车转向信息的提示，但是针对如何实现机器人精准地进入下一行，未做特定研究，然而行间转弯又是机器人作业的关键一步，所以该方案未能完整地实现果园环境下机器人的自主行驶。

技术实现要素：

本发明针对机器人在密植果园内行驶场景，出现gps无法精准定位和行间无法精准调头的问题，提供了一种视觉导航和辅助标牌引导的方法。本发明保证了机器人能够在果园这种半结构化环境下(果树行列分布清晰)，自主完成作业。

具体地，本发明提出一种视觉的农林园区机器人导航方法，包括：s1，在农林园区的果园行的出入口处设置辅助标牌；s2，当机器人运动到该辅助标牌前方，调整距离该辅助标牌的距离和角度，然后完成转向。

本发明采用视觉导航的方法，可获取较大的检测范围，同时果园环境也具有较好的半结构化特征，采用合适的算法和外界辅助，可以计算出机器人与果园行的位置和姿态，及时生成机器人转向的控制信号。同时视觉的方法经济成本较低，符合农业发展的需要。

本发明的有益效果包括：

1、针对果园中机器人依赖gps定位存在不能定位的情况，本发明可以让机器人在无gps情况下，利用果园行带检测方法和定位引导标牌实现机器人精准出行、转弯和寻找下一行的功能，满足机器人在果园中连续工作的需求。果园环境内，如果使用gps定位，则会存在gps经常丢失的情况，定位不准而且后续的运行成本较大。本发明可以在无gps的情况下，实现机器人正确导航，减少了经济投入。

2、针对一般导航中必须依赖地图的这一情况，本发明可以使得机器人在无地图指引的情况下，能够准确的在行间行驶，简化了果园场景下的导航算法，提高了机器人在果园内的导航效率。在小车在自动驾驶中，避免了自主路径规划和自主拐弯等复杂操作，简化了果园场景下导航算法。

3、本发明中的导航策略，消除了导航必须有地图存在的束缚，可以使得机器人在无地图的指引下，仍然能够确定在行内行驶，并且实现精准出行和入行的操作。

4、本发明利用双目相机、标牌指引和精准的拐弯策略实现了机器人的精准换行，降低了硬件的复杂性，使得本发明在提高机器人工作效率的同时，也降低了成本的投入。

附图说明

图1为本发明的方法的一个实施方式的流程图。

图2为本发明的辅助标牌的立体图。

图3为本发明的辅助标牌的主视图。

图4为本发明的辅助标牌的左视图。

图5为本发明的辅助标牌的俯视图。

图6为本发明的方法的另一个实施方式的流程图。

具体实施方式

下面参照附图描述本发明的实施方式，其中相同的部件用相同的附图标记表示。在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合。下面以果园为例描述本发明，但是在林区，本发明同样适用。

如图1所示的本发明的方法的一个实施方式，本发明的方法包括：s1，在农林园区的果园行的出入口处设置辅助标牌。s2，当机器人运动到该辅助标牌前方，调整距离该辅助标牌的距离和角度，然后完成转向。

在一个实施例中，辅助标牌的外观可以有特殊设计，如图2-图5所示。辅助标牌采用中间具有明显结构的图形，便于标牌中心的确定，这里采用正方形中心设计。在标牌中心位置，垂直连接一个具有明显边缘特征的圆球，作为定位辅助物。一般情况下，圆球的位于标牌中心图形的正前方，且对中心图形无边界遮挡。该设计的好处是，利用中心圆球和中心图形两者同时作为机器人的出行参考，这样可以利用圆球球心和中心图形的中心点可确定一条直线，只有当机器人和这两点共线时，则能够矫正机器人的方向。辅助标牌的设计结果如图2-5所示。

步骤s2包括：s2-1，扫描辅助标牌，计算辅助标牌图像中的角点，及中心图形的角点，其中辅助标牌的中心处设置有中心图形，在辅助标牌的中心图形的正前方设置一个定位辅助物。

角点检测算法较多，其中包括moravec角点检测算法、harris角点检测算法、susan角点检测算法和fast角点检测算法等。然后利用检测出来的中心图形的角点，来确定中心图形的中心位置。假设全部算计出来的中心图形角点有n个，分别为(xc1，yc1)，(xc2，yc2)，(xc3，yc3),…(xcn，ycn)。

s2-2，计算中心图形的中心点。

设(xsc，ysc)为中心图形的中心点，计算公式如公式(1)所示：

s2-3，判断中心图形的面积。

在计算出所有角点后，所有角点按顺序依次连线组成的唯一的封闭图形，即为中心图形区域。这里以矩形区域为例，矩形具有4个按照顺时针排布的角点，分别为(xc1，yc1)，(xc2，yc2)，(xc3，yc3)和(xc4，yc4)，然后来计算中心图形的面积，计算公式如公式(2)所示：

s＝|xc1-xc2|*|yc1-yc4|(2)

s2-4，计算定位辅助物(圆球)的中心坐标。

以定位辅助物为圆球为例，设(xcc，ycc)圆球的圆心坐标，圆球具有明显的边缘特征，通过拟合图像中的圆形，以获取圆球的圆形点。圆球在图像中是一个圆形，拟合圆形的方法有基于霍夫变换的圆形检测法和基于曲线拟合的检测方法等，同时借助该类方法可以求出(xcc，ycc)。

s2-5，依据定位辅助物的坐标和中心图形的坐标之间的差异，来调整机器人的偏向在设定的阈值范围内。

如果机器人正对着辅助标牌，则圆心坐标和中心图形坐标之间具有较小的差异，如果机器人识别到圆心点的坐标位于中心图形坐标的左侧，则机器人位于辅助标牌的右侧，所以需要将机器人向左调整，反之则向右进行调整，直到调整的中心图形坐标和圆心点坐标的之间的距离，在设定的阈值范围内，则判定机器人已经正对辅助标牌。设定δd为2个坐标之间的距离，δx为2个坐标之间在x方向的偏移，判断2个坐标之间的关系计算公式如公式(3)所示：

设定d0为2个坐标之间的临界距离阈值，判断机器人的左右偏移情况如公式(4)

所示：

s2-6，确定机器人距辅助标牌的距离，并进行调整。

当机器人正对辅助标牌后，需要判断机器人距离辅助标牌之间的距离，为机器人调头进入下一行做准备。测距方式可以利用激光雷达，双目相机和面积对比法。实施例中采用了面积对比法，即利用辅助标牌的中心图形占据整个辅助标牌图像的面积，来确定机器人和辅助标牌之间的距离，其中中心图形的面积和机器人与标牌之间的距离成反比。根据这一特征可以测算出，不同距离下，中心图形的面积和距离之间的对应关系。当机器人运行到距离辅助标牌的距离阈值之内，则停止前进。设定sall为图像的面积，k为中心图形面积和图像面积的比值，kref中心图形面积和图像面积的比值的临界阈值，计算公式如公式(5)所示：

机器人停止行进后，则将机器人向果园待作业行的一侧旋转约90°。

经过步骤s2，机器人能够机器人已完成走出果园行的操作。机器人出行后，需要找到果园的新一行，继续工作。

在本发明的方法中，通过设定辅助标牌来引导机器人寻找到新一行的入口处。在入口行距离机器人的最远侧放置相同的标牌。利用和步骤s2相同的方法，引导机器人正对该标牌，然后调整机器人和标牌之间的距离，该距离可以控制机器人正好运行到新果园行入口处的中心位置。然后将小车向果园行调转90°，使得机器人能够对准新果园行的入口处，从而换行行驶。机器人寻找到新果园行的入口处后，机器人直行进入新的果园行，开始在新的果园行内行驶。

图6显示了本发明的方法的另一个实施例的流程图。本发明的方法包括：t1，采集机器人所在果园行中的图像，通过图像的分类拟合算法，获取机器人的可行驶路径。可行驶路径的计算可以在外部完成然后存储到机器人中，也可以在机器人中进行。t2，机器人根据可行驶路径，计算出果园行的中心线位置，沿中心线行驶。t3，机器人运动到果园行的尽头时(可以是出口，也可以认为是入口)，通过设置在出入口的辅助标牌的引导，行驶出当前果园行，其中在果园行的尽头设置有辅助标牌。t4，机器人通过辅助标牌寻找到相邻果园行的入口位置(也可以通过设在每行入口处的辅助标牌找到其他果园行的入口位置)。t5，机器人进入新的果园行继续行驶。

在一个实施例中，步骤t1包括：

t1-1，通过在机器人上安装的摄像机获取果园行中的图像，对获取的果园行中的图像进行特征空间聚类处理。例如可以使用mean-shift算法：1、使用非参数内核密度函数对图像的特征空间进行计算；2、通过模态密度函数将每个像素点进行聚类。

t1-2，使用图分区算法对聚类结果进行分类。包括：1、定义一个待分割图区；2、通过相似性计算函数将图像分割成多个大区域，可以统一分为道路区域和非道路区域。

t1-3，对道路区域进行滤波优化提取。包括：1、将分割出道路区域和非道路区域的图像转化为灰度图像；2、根据分割阈值将图像进行二值化，例如可以设定道路区域的灰度值设置为0，非道路区域的灰度值为255。

t1-4，对道路区边界线进行提取。优选使用hough变换算法，hough变换的优势在于即使图像中的边界点不在同一直线上，也能计算出较为准确的结果。

通过步骤t1可以获取包含道路区域的两条边界线。

在一个实施例中，步骤t2包括：

t2-1，在获取道路区域的两条边界线后，计算机器人到两个边界线的距离。

实施例中实现过程如下：利用图像的中心列上的任一点来计算该点到两个边界线的距离d1和d2。设定左边界线的直线方程为：a1x+bly+c1＝0，右边界线方程为：a2x+b2y+c2＝0，选中的点坐标为(x0，y0)，距离计算公式如公式(6)所示：

t2-2，控制车辆沿道路中心线行驶。

根据距离值越大，就需要调整车辆向其边界线方向进行转弯的原则，控制车辆沿道路中心位置行驶。判断转向的计算公式如公式(7)所示：

经过步骤t2，机器人能够在果园行间自主行驶，直到行走到果园行的出口处。

机器人在果园行间，沿当前行中心位置行驶，在运动到果园行的尽头处时，需要行驶出当前所在行，以进入下一行继续作业。这里在两棵边界树的中心且正前一定距离处，设定了辅助标牌来引导机器人出行，即引导机器人按特定方向走出行一定的距离，便于留取空间为机器人掉头进入下一行做准备。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。