自主工作车辆障碍物检测系统的制作方法

本申请要求于2016年6月10日提交的标题为“autonomousworkvehicleobstacledetectionsystem”的美国申请序列no.15/178,805的优先权和权益，该申请通过引用整体并入本文。

本发明一般而言涉及农业操作，更具体而言，涉及用于自主工作车辆的障碍物检测系统。

背景技术：

某些工作车辆，诸如拖拉机或其它原动机，可以在某些操作阶段期间由控制系统进行控制(例如，没有操作者输入、具有有限的操作者输入等)。例如，控制器可以指示车辆的转向控制系统和/或速度控制系统沿着田地或其它工作区域内的引导条带(swath)自动或半自动地引导车辆。但是，车辆可能在操作期间遇到障碍物。

技术实现要素：

在第一实施例中，工作车辆包括：至少一个传感器，被配置为检测工作区域的至少一个属性；以及控制器，包括可操作地耦接到存储器的处理器，其中，控制器被配置为从至少一个传感器接收指示工作区域的至少一个属性的第一信号，通过创建或更新具有与工作区域的一个或多个地点对应的一个或多个单元的地图来确定障碍物是否占据工作区域的一个或多个地点，其中一个或多个单元中的每个单元基于至少一个属性指示障碍物是否占据工作区域的相应地点，以及基于地图发送第二信号。

在第二实施例中，工作车辆包括激光雷达传感器，以及包括处理器和存储器的控制器，其中控制器被配置为从激光雷达传感器接收指示到工作区域中的障碍物的距离和方向的第一信号，基于距离和方向创建或更新具有一组点的点云，创建或更新与工作区域的一个或多个地点对应的一个或多个单元的地图，其中一个或多个单元中的每个单元基于点云的点指示障碍物是否占据工作区域的相应地点，将指示地图的第二信号发送到车辆的控制系统。

在第三实施例中，一种用于工作车辆的控制系统包括控制器，该控制器包括处理器和存储器，其中存储器可操作地耦接到处理器，其中处理器被配置为从第一传感器接收指示到农田中的障碍物的距离和方向的第一信号，创建或更新与农田的一个或多个地点对应的一个或多个单元的地图，其中一个或多个单元中的每个单元指示障碍物是否占据农田的相应地点，以及基于地图发送指示控制车辆的指令的第二信号。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的字符在整个附图中表示相同的部分，其中：

图1是工作车辆的实施例的透视图，该工作车辆包括具有一个或多个传感器的障碍物检测系统；

图2是可以在图1的车辆内采用的障碍物检测系统的实施例的示意图；

图3是由图1的障碍物检测系统执行的方法的实施例的流程图；

图4是由图1的障碍物检测系统执行的方法的实施例的流程图；

图5a是由图2的具有被指向第一方向的传感器的障碍物检测系统接收到的数据的实施例的曲线图；

图5b是由图2的具有在第二方向上的一个或多个传感器的障碍物检测系统接收到的数据的实施例的曲线图。

具体实施方式

现在转到附图，图1是可以包括障碍物检测系统12的自主工作车辆10(诸如拖拉机)的实施例的透视图。自主车辆10可以包括控制系统，该控制系统被配置为自动引导农用车辆10通过诸如农田14的工作区域(例如，沿着行进方向16)，以便于操作(例如，种植操作、播种操作、施用操作、耕作操作、收割操作等)。例如，控制系统可以在没有来自操作者的输入的情况下自动地引导车辆10沿着引导路径通过田地14。

应该注意的是，所公开的技术可以用在任何期望类型的车辆上，但是对于越野车和工作车辆特别有用。更特别地，目前预期的一种应用是在农业工作操作的领域，诸如在农场上、在田地中、在需要准备、培养、收割和加工植物和田地的操作中，等等。虽然在本公开中可以参考作为“农用车辆”的车辆10，但应该记住的是，这仅是该技术的一个特定应用领域，并且本公开不应被理解为将其限制为这样的应用。

为了便于控制自主农用车辆10，控制系统包括空间定位设备，诸如全球定位系统(gps)接收器，其被配置为将位置信息输出到控制系统的控制器。空间定位设备被配置为基于空间定位信号确定自主农用车辆的位置和/或朝向。自主农用车辆10可以包括一个或多个车轮18以便于自主农用车辆10的移动。另外，自主农用车辆10可以耦接到农具以执行农业操作。虽然下面详细描述了自主农用车辆10，但是自主农用车辆可以是适用于农业操作的任何车辆。

障碍物检测系统12可以包括一个或多个传感器以检测农田14的属性并将(一个或多个)信号发送到障碍物检测系统12的控制器。一个或多个传感器可以是适合于获取指示农田14的属性的数据的任何传感器。例如，传感器可以包括一个或多个光探测和测距(激光雷达)传感器、无线电探测和测距(雷达)传感器、图像传感器(例如，rgb相机传感器、立体摄像机传感器等)、红外(ir)传感器等。在所示实施例中，障碍物检测系统12包括至少一个激光雷达传感器20和至少一个雷达传感器22。激光雷达传感器20和雷达传感器22可以在前部位置24中、在顶部位置26中或在任何合适的地点耦接到农用车辆10以获取指示农田14的属性的数据。如下面详细描述的，障碍物检测系统12可以包括经由来自激光雷达传感器20和雷达传感器22的数据检测障碍物28的控制器。

图2是图1的车辆10的控制系统的障碍物检测系统12的实施例的示意图。障碍物检测系统12可以包括安装到自主农用车辆10的空间定位设备38，以确定自主农用车辆10的位置，以及在某些实施例中确定自主农用车辆10的速度。障碍物检测系统12可以包括通信地耦接到空间定位设备38的一个或多个空间定位天线40和42。每个空间定位天线被配置为接收空间定位信号(例如，来自gps卫星的gps信号)并将对应的空间定位数据输出到空间定位设备38。虽然图示的农用车辆10包括两个空间定位天线，但应该认识到的是，在替代实施例中，控制系统可以包括更多或更少的空间定位天线(例如，1、2、3、4、5、6个或更多)。

在某些实施例中，控制系统的障碍物检测系统12还可以包括惯性测量单元(imu)，该惯性测量单元通信地耦接到控制器44并且被配置为增强所确定的位置和/或朝向的准确度。例如，imu可以包括一个或多个加速度计，该一个或多个加速度计被配置为输出指示沿着纵轴、横轴、垂直轴或其组合的加速度的(一个或多个)信号。此外，imu可以包括一个或多个陀螺仪，该一个或多个陀螺仪被配置为输出指示关于纵轴、横轴、垂直轴或其组合的旋转(例如，旋转角度、旋转速度、旋转加速度等)的(一个或多个)信号。当由空间定位天线接收到的空间定位信号不足以促进位置确定时(例如，当障碍物(诸如树木或建筑物)阻挡空间定位信号到达空间定位天线时)，控制器可以基于(一个或多个)imu信号确定农用车辆的位置和/或朝向。此外，控制器44可以利用(一个或多个)imu信号来增强所确定的位置和/或朝向的准确度。例如，控制器44可以将(一个或多个)imu信号与由空间定位设备确定的空间定位数据和/或位置(例如，经由卡尔曼滤波、最小二乘拟合等)组合以确定更准确的农用车辆的位置和/或朝向(例如，当农用车辆穿过不平坦的地形时，通过补偿由农用车辆的俯仰和/或侧倾(滚转)引起的空间定位天线的移动)。

在某些实施例中，imu和空间定位设备可以设置在共同的壳体内。在还有的实施例中，imu和一个空间定位天线可以设置在共同的壳体内。例如，每个空间定位天线壳体可以包括空间定位天线和imu。另外，在某些实施例中，空间定位设备的一部分和一个空间定位天线可以设置在共同的壳体内。例如，空间定位设备的第一部分和第一空间定位天线可以设置在第一壳体内，并且空间定位设备的第二部分和第二空间定位天线可以设置在第二壳体内。在某些实施例中，第一imu可以设置在第一壳体内，并且第二imu可以设置在第二壳体内。

在所示实施例中，车辆10的控制系统的障碍物检测系统12包括被配置为控制自主农用车辆10的移动方向的转向控制系统46，以及被配置为控制自主农用车辆10的速度的速度控制系统48。此外，障碍物检测系统12包括通信地耦接到空间定位设备38、转向控制系统46、速度控制系统48、激光雷达传感器20和雷达传感器22的控制器44。控制器44被配置为在农业操作的某些阶段期间自动控制农用车辆(例如，没有操作者输入、具有有限的操作者输入等)。虽然控制器被示为用于物体检测系统以及农用车辆的控制系统的控制器，但是其它实施例可以包括用于物体检测系统的控制器和用于农用车辆的控制系统的控制器44。

在某些实施例中，控制器44是电子控制器，其具有被配置为处理来自激光雷达传感器20和雷达传感器22的数据的电路系统，以及控制系统36的其它部件。在所示实施例中，控制器44包括处理器50(诸如所示的微处理器)以及存储器设备52。控制器44还可以包括一个或多个存储设备和/或其它合适的部件。处理器50可以用于执行软件，诸如用于控制自主农用车辆的软件、用于确定车辆朝向的软件等。此外，处理器50可以包括多个微处理器、一个或多个“通用”微处理器、一个或多个专用微处理器、和/或一个或多个专用集成电路(asics)，或其某种组合。例如，处理器50可以包括一个或多个精简指令集(risc)处理器。

存储器设备52可以包括易失性存储器(诸如随机存取存储器(ram))和/或非易失性存储器(诸如只读存储器(rom))。存储器设备52可以存储各种信息并且可以用于各种目的。例如，存储器设备52可以存储用于处理器50的处理器可执行指令(例如，固件或软件)，以执行诸如用于控制自主农用车辆的指令、用于确定车辆朝向的指令等。(一个或多个)存储设备(例如，非易失性存储装置)可以包括rom、闪存、硬盘驱动器或任何其它合适的光学、磁性或固态存储介质，或其组合。(一个或多个)存储设备可以存储数据(例如，传感器数据、位置数据、车辆几何形状数据等)、指令(例如，用于控制自主农用车辆的软件或固件等)以及任何其它合适的数据。

在某些实施例中，转向控制系统46可以包括车轮角度控制系统、差动制动系统、扭矩向量系统或其组合。车轮角度控制系统可以自动旋转自主农用车辆的一个或多个车轮和/或履带(例如，经由液压致动器)以沿着期望的路线(例如，沿着引导条带、沿着条带获取路径等)驾驶自主农用车辆。举例来说，车轮角度控制系统可以单独地或者成组地旋转自主农用车辆的前轮/履带、后轮/履带和/或中间轮/履带。差动制动系统可以独立地改变自主农用车辆的每个侧面上的制动力，以沿着路径引导自主农用车辆。类似地，扭矩向量系统可以差动地将来自发动机的扭矩施加到自主农用车辆的每个侧面上的车轮和/或履带，从而沿着路径引导自主农用车辆。在还有的实施例中，转向控制系统可以包括其它和/或附加系统，以便于沿着路径引导自主农用车辆通过田地。

在某些实施例中，速度控制系统48可以包括发动机输出控制系统、传动控制系统、制动控制系统或其组合。发动机输出控制系统可以改变发动机的输出以控制自主农用车辆的速度。例如，发动机输出控制系统可以改变发动机的节气门设置、发动机的燃料/空气混合、发动机的正时、控制发动机输出的其它合适的发动机参数，或其组合。此外，传动控制系统可以调整传动装置内的输入-输出比以控制自主农用车辆的速度。此外，制动控制系统可以调整制动力，从而控制自主农用车辆的速度。在还有的实施例中，速度控制系统可以包括其它和/或附加系统，以便于调整自主农用车辆的速度。

在某些实施例中，控制器44还可以控制耦接到自主农用车辆的农具的操作。例如，控制系统可以包括机具控制系统/机具控制器，其被配置为控制机具的转向角度(例如，经由具有车轮角度控制系统和/或差动制动系统的机具转向控制系统)和/或自主农用车辆/机具系统的速度(例如，经由具有制动控制系统的机具速度控制系统)。在这样的实施例中，控制器44可以经由通信网络(诸如控制器区域网络(can总线))通信地耦接到机具上的控制系统/控制器。

在所示实施例中，障碍物检测系统12包括通信地耦接到控制器44的用户接口54。用户接口54被配置为使(例如，站在自主农用车辆附近的)操作者能够控制与自主农用车辆的操作相关联的某些参数。例如，用户接口54可以包括开关，该开关使操作者能够将自主农用车辆配置为自主或手动操作。此外，用户接口54可以包括电池切断开关、发动机点火开关、停止按钮或其组合，以及其它控件。在某些实施例中，用户接口54包括显示器56，该显示器56被配置为向操作者呈现信息，诸如引导条带的图形表示、与自主农用车辆的操作相关联的某(一个或多个)参数的视觉表示(例如，燃料水平、油压、水温等)、与耦接到自主农用车辆的机具的操作相关联的某(一个或多个)参数的视觉表示(例如，种子水平、地面接合工具的穿透深度、机具的某些部件的(一个或多个)朝向/(一个或多个)位置等)或其组合，以及其它信息。在某些实施例中，显示器56可以包括触摸屏接口，该触摸屏接口使操作者能够控制与自主农用车辆和/或机具的操作相关联的某些参数。

在所示实施例中，控制系统36包括手动控件58，该手动控件58被配置为使操作者能够在自动控制脱离时(例如，在从拖车卸载自主农用车辆等时)控制自主农用车辆。手动控件58可以包括手动转向控件、手动传动控件、手动制动控件或其组合，以及其它控件。在所示实施例中，手动控件58通信地耦接到控制器44。控制器44被配置为一旦接收到指示自主农用车辆的手动控制的信号就脱离自主农用车辆的自动控制。相应地，如果操作者手动控制自主农用车辆，那么自动控制终止，从而使操作者能够控制自主农用车辆。

在所示实施例中，农用车辆10包括一个或多个激光雷达传感器20和/或雷达传感器22。虽然图2中的激光雷达传感器20和雷达传感器22以(例如，激光雷达传感器在雷达传感器左侧)配置示出，但这仅仅是示例，并且可以使用任何合适的配置。每个传感器20和22可以检测环境(例如，农田14)的属性并向控制器44提供数据。例如，雷达传感器22可以经由天线68将无线电波66发送到环境中。然后，无线电波66可以与环境交互。然后，一些无线电波可能由于障碍物28而被反射，并且雷达传感器22可以经由天线68检测到反射的无线电波66。基于无线电波行进的速度和当无线电波66被发送和接收时之间的时间量，可以(例如，经由控制器44和/或传感器22)确定离障碍物28的距离。雷达传感器22可以向控制器44发送指示障碍物28和农用车辆10之间的距离的(一个或多个)信号(例如，所确定的距离和/或当无线电波66被发送和接收时之间的时间量)。

在所示实施例中，激光雷达传感器20可以包括一个或多个激光器70。激光雷达传感器20可以在各个方向发送光脉冲72，诸如红外(ir)光、彩色光或任何合适频率的电磁辐射，以与环境交互。一些光72可能由于障碍物28而被反射，并且激光传感器20可以接收反射光(例如，经由光电二极管74)。基于光72行进的速度和当光72被发送和接收时之间的时间量，可以(例如，经由控制器44和/或传感器20)确定障碍物28和农用车辆10之间的距离。激光雷达传感器20可以向控制器发送指示障碍物28和农用车辆10之间的距离的(一个或多个)信号(例如，所确定的距离和/或当发送光72时与光电检测器74检测到光72时之间的时间量)。此外，取决于发送光72的方向，可以确定检测到障碍物28的方向。

在某些实施例中，控制系统可以包括其它和/或附加控制器/控制系统，诸如上面讨论的机具控制器/控制系统。例如，机具控制器/控制系统可以被配置为控制由农用车辆拖曳的农具的各种参数。在某些实施例中，机具控制器/控制系统可以被配置为指示(一个或多个)致动器调整农具的至少一个地面接合工具的穿透深度。举例来说，机具控制器/控制系统可以指示(一个或多个)致动器减少或增加耕作机具上的每个耕作点的穿透深度，或者机具控制器/控制系统可以指示(一个或多个)致动器从土壤中接合或脱离播种/种植机具的每个开启器盘/叶片(openerdisc/blade)。另外，机具控制器/控制系统可以指示(一个或多个)致动器在工作位置和运输部分之间转换农具，以调整来自农具的产品的流速，或调整农具(例如，收割机等)的头部的位置，以及其它操作。农用车辆控制系统还可以包括用于(一个或多个)电动液压遥控器、(一个或多个)动力启动轴、(一个或多个)可调整挂接装置或其组合的(一个或多个)控制器/(一个或多个)控制系统，以及其它控制器/控制器系统。

图3是由处理器50执行以创建或更新图2的地图76的处理82的流程图。在方框84处，处理器50可以接收激光雷达传感器数据和雷达传感器数据。如上所述，虽然使用激光雷达传感器和雷达传感器作为示例，但是可以使用任何适合的传感器组合。控制器44可以从激光雷达传感器20接收指示从农用车辆到障碍物28的距离和/或方向的(一个或多个)信号。另外，控制器44可以接收指示到障碍物28的距离的雷达传感器数据。在方框86处，处理器50可以基于雷达数据确定障碍物距离和/或方向。例如，处理器50可以基于当发送无线电波66时和当接收到无线电波66时之间的时间量来确定障碍物28的距离和/或方向。雷达传感器22可以提供到控制器44的距离。

在方框88处，处理器50可以基于激光雷达传感器数据创建或更新具有与障碍物的地点对应的数据点的点云。虽然所示实施例包括激光雷达传感器数据，但在其它实施例中，可经由立体摄像机获取点云数据。在某些实施例中，激光雷达传感器20可以包括多个激光器70以在多个方向上发送光72。然后，处理器50可以基于由激光雷达传感器20接收到的光的距离和/或方向来创建或更新坐标系中被称为点云的一组点。例如，处理器50可以确定坐标系中与根据从障碍物28反射的光的距离和方向的地点对应的点。

在方框90处，处理器50可以基于障碍物距离和方向来创建或更新地图76。地图76可以是具有与农田14的表面上的地点对应的指示特定区域是否包括障碍物(例如，占据网格)的单元的坐标(例如，笛卡尔坐标、极坐标等)地图(例如，1维、2维或3维)。虽然障碍物被示出为物体，但是在一些实施例中，除了环境中的物体之外，障碍物还可以包括不可行驶的地形(例如，陡峭的河岸或崖径(burm)等)。每个网格单元可以包括障碍物或非障碍物状态。另外，每个网格单元可以彼此独立并且具有指示相应网格单元具有障碍物的概率的先验概率(例如，根据先前网格单元数据)。处理器50可以通过计算点云的点之间的梯度(例如，斜率)来确定高度差。如果在与点云相关联的给定单元中的高度差(例如，根据在各种高度处发送的激光)大于相邻单元的，那么处理器50可以确定障碍物正在占据与该网格单元对应的地点。处理器50可以通过计算点云的点之间的梯度(例如，斜率)来确定高度差。如果梯度超过阈值，那么处理器50可以确定存在障碍物。在一些实施例中，用于分析来自激光雷达传感器的点云的网格单元可以与地图76的网格单元不同。例如，在确定是否存在障碍物时，来自点云的点的第一网格可以用于确定点云的点之间的高度差，并且第二网格可以用于指示农田14的表面上包括障碍物或不包括障碍物的地点。另外，虽然使用来自点云的点的梯度作为示例，但是可以使用任何合适的方法来确定网格单元中是否存在障碍物。

处理器50可以利用先前数据结合更新近的激光雷达和雷达传感器数据来确定每个网格单元的状态。例如，每个传感器可以包括真阳性率和真阴性率。处理器50可以将激光雷达传感器数据与激光雷达真阳性率和真阴性率相关联，并且将雷达传感器数据与雷达真阳性率和真阴性率相关联。然后，处理器50可以识别与激光雷达传感器数据和雷达传感器数据相关联的地点的网格单元。处理器50可以基于真阳性率和真阴性率、障碍物占据与网格单元对应的地点的先前网格单元概率以及激光雷达和雷达传感器数据来确定障碍物存在于与网格单元对应的地点处的概率。例如，处理器50可以使用贝叶斯定理以考虑先前的单元概率、真阳性率和真阴性率的概率、以及激光雷达和/或雷达传感器数据来确定障碍物存在于网格单元中的概率。贝叶斯定理可以包括：

其中p(a|b)是在假定传感器检测到障碍物时存在障碍物的概率，p(b|a)是传感器先前检测到障碍物的概率，p(a)是真阳性率(例如，传感器正确的概率)，p(b)是障碍物被检测到的概率。

在一些实施例中，处理器50可以在确定地图中对不同传感器的概率进行加权，例如基于每个传感器的准确度对激光雷达传感器数据、雷达传感器数据、红-蓝-绿(rgb)传感器数据进行加权。处理器50可以通过将所确定的概率与阈值进行比较来确定网格单元是否包括障碍物或者不包括障碍物。如果障碍物的概率大于阈值概率，那么网格单元指示该单元为障碍物。该数据被发送到控制系统以控制车辆的操作。

在一些实施例中，雷达22可以向控制器提供到障碍物28的距离。处理器50可以确定障碍物28位于一定距离处。处理器50可以基于距离以点云格式创建障碍物数据的弧线。处理器50可以确定弧线内的区域不包括障碍物28。

图4是由处理器50执行以基于图3的地图控制车辆的处理92的流程图。处理92可以作为指令(例如，代码)存储在农用车辆10的存储器52中。虽然处理92被描述为由处理器50执行，但这意味着作为示例，并且可以使用任何合适的控制系统来执行处理92。在方框94处，处理器50可以基于来自激光雷达传感器的点云数据和来自雷达传感器的障碍物距离和/或方向获得地图。在某些实施例中，农用车辆10上的另一个控制系统可以包括执行处理92的处理器50。控制器52可以将(一个或多个)信号发送到另一个控制系统以执行处理92。在一些实施例中，控制器52可以经由收发器60将(一个或多个)信号传送到不位于农用车辆10上的另一个控制系统。另一个控制系统可以包括另一个控制器，该另一个控制器执行处理92并向控制器52发送指示使控制器52能够控制转向控制系统46和/或速度控制系统48的指令的信号。

在方框96处，处理器50可以将操作计划与地图72进行比较以确定当前计划是否被地图72上检测到的障碍物阻挡。即，如果激光雷达传感器20和/或雷达传感器22检测到障碍物，那么障碍物可能位于地图上。处理器50可以基于地图72中的障碍物的地点来创建围绕检测到的障碍物行进的可行驶的路径计划。

在方框98处，处理器50可以基于地图与操作计划的比较来发送控制农用车辆10的(一个或多个)信号和/或向操作者发送警报。在某些实施例中，处理器50可以在没有来自操作者的输入的情况下驱动可行驶的路径计划。在其它实施例中，处理器50可以将可行驶的路径计划发送给控制系统的操作者，以使操作者能够接受或拒绝所提出的围绕障碍物的路径行程。在一些实施例中，处理器50可以发送一组可行驶的路径计划以使操作者能够从中进行选择。例如，处理器50可以接收所选择的可行驶的路径计划并基于所选择的计划来控制车辆。处理器50可以接收由操作者绘制的路径并控制车辆沿着绘制的路径行进。此外，操作者可以观察来自农用车辆上的rgb相机的图像以识别障碍物并确定障碍物是可行驶的障碍物(诸如杂草)，还是不可行驶的障碍物(诸如栅栏)。在一些实施例中，处理器50可以通过发送使农用车辆10停止并等待来自操作者的反馈的信号来控制农用车辆10。通过在围绕障碍物行进的路径中控制农用车辆10，农用车辆10可以在减少操作者输入的情况下继续执行农业操作，同时仍然避免与不可行驶的障碍物接触。

取决于传感器，传感器的定位可以使传感器能够获取附加数据。图5a和图5b示出了由激光雷达检测器20获取的数据的扫描模式的曲线图100和104。图5a和5b中的每一个上的方框102和106是近似的车辆尺寸。取决于传感器，一些激光雷达传感器20可以包括与水平面成-15到15度的视场。曲线图100示出了由激光雷达检测器20在相对于农田14的水平位置获取的扫描模式。曲线图104示出了由激光雷达检测器20在朝地面成角度的位置中获取的扫描模式。即，激光雷达传感器可以被定位成向下(例如，5-10度)方向，以通过利用与被定位成与农田14水平的激光雷达传感器20相比激光雷达传感器20的更大百分比的视场来提供由激光雷达检测器20检测到的更高分辨率的扫描模式。

虽然本文仅图示和描述了本发明的某些特征，但本领域技术人员将想到许多修改和变化。因此，应该理解的是，所附权利要求旨在覆盖落入本发明的真正精神内的所有这些修改和变化。