用于便于从车辆卸载农业物料的方法和立体视觉系统的制作方法

文档序号:6533023阅读:207来源:国知局
用于便于从车辆卸载农业物料的方法和立体视觉系统的制作方法
【专利摘要】基于与推进车辆相关联的第一定位接收器(42)的第一操作状态、与收割车辆相关联的第二定位接收器(142)的第二操作状态、一个或多个成像装置(10,12)的第三操作状态,模式控制器(225)确定是否使用出料槽的自动控制模式或出料槽的操作员引导的手动控制模式。在自动控制模式中,图像处理模块(18)适于方便确定出料槽和贮存部分的相对位置,并生成命令数据以将贮存部分和出料槽设置成相对的协作对准,以用于将物料转移到贮存部分中。
【专利说明】用于便于从车辆卸载农业物料的方法和立体视觉系统

【技术领域】
[0001] 本发明涉及一种用于便于从车辆卸载农业物料的方法和立体视觉系统。

【背景技术】
[0002] 某些现有技术系统可能试图使用全球定位系统(GPS)接收器以在卸载或两辆车 辆之间转移农业物料期间,维持两辆车辆之间的适当的间距。然而,因为GPS接收器的估计 位置的误差或不连续性,这种现有技术系统很容易产生间距的偏差。例如,由于电磁干扰、 接收到的卫星信号的多径传播、卫星信号的间断的接收或卫星信号的低信号强度等原因, 一个或更多个GPS接收器可能会错误地估算它的位置。因此,需要一种用于管理从车辆卸 载农业物料的改进的系统,以补偿或解决车辆估算位置或对准方面的误差。


【发明内容】

[0003] 本发明的系统和方法便于农业物料从传送车辆(例如,收割车辆)向接收车辆 (例如,谷物拖车)的转移。该系统和方法包括接收车辆,所述接收车辆有用于推进接收车 辆的推进部分和用于贮存农业物料的贮存部分。基于与推进车辆相关联的第一定位接收器 的第一操作状态、与收割车辆相关联的第二定位接收器的第二操作状态、一个或多个成像 装置的第三操作状态,模式控制器确定是否使用出料槽的自动控制模式或出料槽的操作员 引导的手动控制模式。在自动控制模式中,图像处理模块适于方便确定出料槽和贮存部分 的相对位置,并生成命令数据以将贮存部分和出料槽设置成相对的协作对准关系,用于将 物料转移到贮存部分中。

【专利附图】

【附图说明】
[0004] 图1是用于便于从传送车辆卸载农业物料的传送车辆(例如,联合收割机)的车 辆视觉强化引导系统的另一个实施例的方块图。
[0005] 图2是用于便于从传送车辆卸载农业物料的传送车辆(例如,自推进式饲料收割 机)的车辆视觉强化引导系统的另一个实施例的方块图。
[0006] 图3A是用于便于从传送车辆卸载农业物料的传送车辆(例如,谷物拖车和拖拉 机)的车辆视觉强化引导系统的另一个实施例的方块图。
[0007] 图3B是用于接收车辆的电子的或引导系统的一个实施例的方块图,所述接收车 辆用于与图1或图2的车辆视觉强化引导系统协作。
[0008] 图4A描绘了被安装在传送车辆上并且面朝接收车辆的成像装置的平面图。
[0009] 图4B描绘了沿图4A中的基准线4B-4B观察的水平平面中的视图。
[0010] 图5A描绘了被安装在接收车辆上并且面对着接收车辆的贮存部分的成像装置 (例如,立体视觉系统)的平面图。
[0011] 图5B描绘了沿图5A中的基准线5B-5B观察的水平平面中的视图。
[0012] 图5C描绘了容器或贮存部分内部的材料的各种可能的示意性的分布的二维呈 现,其与沿图5B中的基准线OT-5D的剖视图一致。
[0013] 图ro是传送车辆和接收车辆的平面图,其中传送车辆被对准在由可能的偏移位 置构成的矩阵中。
[0014] 图6描绘了容器模块或图像处理模块的方块图。
[0015] 图7A是出料槽模块或图像处理模块的一个实施例的方块图。
[0016] 图7B是出料槽模块或图像处理模块的一个可替代的实施例的方块图。
[0017] 图8是用于操作便于从车辆(例如,联合收割机)卸载农业物料的车辆视觉强化 引导系统的模式控制器的方法的流程图。
[0018] 图9还是用于便于从车辆(例如,联合收割机)卸载农业物料的车辆视觉强化引 导系统的另一方法的流程图。
[0019] 图10是用于便于从车辆(例如,联合收割机)卸载农业物料的车辆视觉强化引导 系统的又一方法的流程图。
[0020] 优选实施例的描述
[0021] 根据一个实施例,图1显示用于传送车辆的车辆视觉强化引导系统11,其用于管 理农业物料(例如,谷粒)从传送车辆(例如,联合收割机)向接收车辆(例如,谷物拖车或 货车)的卸载。传送车辆可以具有出料槽,用于朝接收车辆的贮存部分引导农业物料。例 如,立体成像系统强化卫星导航接收器或定位接收器(42,142),用于引导一个或更多车辆。 在一个实施例中,系统11包括耦合到图像处理模块18的第一成像装置10和第二成像装置 12。第一成像装置10可以安装在传送车辆上。第一成像装置10可以包括主立体摄像机, 第二成像装置12可以包括副立体摄像机。在一种构造中,第二成像装置12或副立体摄像 机是可选的,并且用于提供第一成像装置10的系统冗余,以便在第一成像装置10失效、故 障、以及无法获得来自第一成像装置10的图像数据时被使用。
[0022] 第一成像装置10和第二成像装置12可以提供数字数据格式的输出作为立体视频 图像图像数据,或具有规则的周期性的时间间隔或其他采样时间间隔的一系列立体的静止 帧图像。每个立体图像(例如,第一图像数据或第二图像数据)包括具有相同背景或相同 背景的一部分的两个成分图像。例如,第一成像装置10具有接收车辆的贮存部分的第一视 场,其中第一视场与第二成像装置12的第二视场(如果存在)至少部分地重叠。在一个实 施例中,第一成像装置10、第二成像装置12、或二者可以包括电荷耦合器件(CXD)、互补金 属氧化物半导体(CMOS)阵列、或用于检测或收集图像数据的其他适当的设备。
[0023] 在一种构造中,光学传感器(110,112)包括曝光表(light meter)、光敏传感器、 光敏电阻器、光敏器件、或硫化镉电池。第一光学传感器110可以与第一成像装置10关联; 第二光学传感器可以与第二成像装置12相关联。第一光学传感器110和第二光学传感器 112中的每一个都被耦合到图像处理模块18。光学传感器(110,112)提供其各自的成像装 置(10,12)的视场中的环境光的读数或强度指示。
[0024] 图像处理模块18可以直接地或间接地耦合到车辆(例如,传送车辆)上可选的用 于向贮存容器(例如,图5A中的85)和/或出料槽(例如,图5A中的89)提供照明的光源 14。例如,图像处理模块18可以控制驱动器、继电器或开关,所述驱动器、继电器或开关接 下来控制在传送车辆上的可选的光源14的开或关。由于光源14是可选择的并且可以在某 些替换实施例中可以移除,因此可选择的光源14以虚线示出。如果光学传感器(110,112) 或曝光表指示环境光强度低于一特定的最小阈值,则图像处理模块18可以激活车辆上的 光源14,以用于贮存容器(例如图5A中的85)、出料槽89或二者的照明。在一种构造中, 光学传感器(110,112)面朝与成像装置(10,12)的镜头或光圈同样的方向。
[0025] 在一个实施例中,螺旋(auger)旋转系统16可以包括:(1)旋转角度传感器116, 该旋转角度传感器116用于检测出料槽89相对于一个或更多旋转轴的出料槽旋转角度 (图5A中的α和图5B中的β),和(2)致动器216,所述致动器216用于移动出料槽89以 改变出料槽旋转角度,并由此改变相对于接收车辆79或其贮存容器85的出料槽位置。致动 器216可包括马达、线性马达、电动液压设备、棘轮或缆索致动的机械设备、或用于移动出 料槽89或出料槽端部87的其他设备。出料槽旋转角度可包括简单角、复合角或多维角,这 些角是参照平行于传送车辆移动方向的基准轴线测量的。在一种构造中,一个或更多个以 下设备通过传输线或副数据总线与车辆控制器46通信:旋转传感器116、旋转致动器210、 螺旋旋转系统16、或螺旋驱动器47。
[0026] 如果致动器216包括电动液压设备,在使出料槽(或改变出料槽旋转角度)的电 动液压设备的液压缸中使用比例控制阀,可以实现对于出料槽角度(例如,α)的更精细的 调节。因此,电动液压设备的比例控制阀支持贮存部分93或容器85中未卸载的农业物料 的平坦的轮廓或分布。许多可购买到的联合收割机典型地配有非比例控制阀,用于控制出 料槽角度或出料槽89的移动;例如如图5C所示,具有非比例控制阀的电动液压装置能够以 无效率的农业物料的多峰或驼峰式分布(例如,508)填充贮存容器,这种分布具有局部的 高的区域和局部的低的区域。
[0027] 车辆控制器46可以耦合到车辆数据总线60以提供数据信息,该数据信息指示何 时用于从传送车辆卸载农业物料的螺旋驱动器47是处于活动状态以及何时处于非活动状 态。螺旋驱动器47可以包括螺旋、用于驱动所述螺旋的电动马达、和用于检测所述螺旋或 其相关联的轴的旋转或转速的旋转传感器。在一个实施例中,所述螺旋(未示出)与用于 贮存农业物料的传送车辆(例如,联合收割机)的容器(例如,谷粒箱)相关联。如果车辆 控制器46 (例如螺旋控制器)指示传送车辆的螺旋正在旋转或处于活动状态,则图像处理 模块18激活出料槽模块22和容器模块20。因此,螺旋旋转系统16、或其相关联的车辆控 制器46,可以通过在传送车辆正在收割而非卸载农业物料到接收车辆的过程中将容器模块 20和出料槽模块22置于非激活状态(或待命模式)而节约数据处理资源或能量消耗,。
[0028] 在图1中,图像处理模块18或任何其他控制器可包括控制器、微型计算机、微处理 器、微控制器、专用集成电路、可编程序逻辑阵列、逻辑设备、运算逻辑单元、数字信号处理 器、或其他数据处理器以及用于支撑这些装置的电子硬件和软件。在一个实施例中,图像处 理模块18包括容器模块20、出料槽模块22、对准模块24、材料轮廓模块27、和仲裁器25。
[0029] 图像处理模块18可以与数据贮存设备19相关联。例如,数据贮存设备19可以包 括电子存储器、非易失性随机存储器、磁盘驱动器、光盘驱动器、磁存储器装置或光学存贮 装置。如果容器模块20、出料槽模块22和对准模块24、材料轮廓模块27和仲裁器25是软 件模块,那么它们将被贮存在数据贮存设备19中。
[0030] 容器模块20识别收集到的图像数据中的或真实世界中的(例如,笛卡尔坐标系或 极坐标系中的)一套二维或三维的点,这些点限定了贮存部分(例如,图5Α中的85)的至 少一部分的容器周边(例如,图5Α中的81)。该套二维或三维的点通过第一成像装置10、 第二成像装置12或二者收集到的图像中的像素位置相对应。容器模块20可以使用或检索 容器基准数据。
[0031] 容器基准数据包括以下的一项或更多项:
[0032] 容器85、容器周边81、容器边缘181的基准尺寸(例如,长、宽、高)、体积、基准形 状、图纸、信号、布局、和构造;接收车辆的整个贮存部分93的基准尺寸、基准形状、图纸、型 号、布局、和构造;接收车辆的贮存部分93的贮存部分轴距、贮存部分旋转半径、贮存部分 钩挂装置(hitch)构造;和钩挂装置枢转点与贮存部分轴距之间的距离。容器基准数据可 以被贮存在数据贮存设备19(例如,非易失性电子存储器)中并且从该设备19中找回。例 如,容器基准数据可以通过传送车辆系统11的数据贮存设备19中的相应的接收车辆识别 符贮存、找回或索引。对于每个接收车辆识别符来说,可以具有相对应的贮存在数据贮存设 备19中的唯一的容器基准数据。
[0033] 在一个实施例中,传送车辆从接收车辆接收数据信息,其中接收车辆中的车辆识 别符是规律的(例如,周期性地被传输)。在另一个实施例中,传送车辆查询接收车辆的 车辆识别器或通过无线通信装置在传送车辆和接收车辆之间建立通信信道,以为卸载做准 备。在另一个实施例中,当接收车辆进入传送车辆的一定径向距离之内时,接收车辆将它的 车辆识别符发送到传送车辆。在又一个实施例中,仅由一种已知构造的接收车辆与相对应 的传送车辆一起使用,并且容器基准数据被贮存或存放在数据贮存设备19中。在后面的 实施例中,传送车辆被至少临时性地编程,专用于具有相同容器的接收车辆,所述容器的尺 寸、容量、比例和形状都是相同的。
[0034] 在一种构造中,容器模块18按照下述方式识别控制器的位置。如果在被收集的 图像数据中的一组像素的线性取向与由容器基准数据规定的容器(图5A中的85)的周边 (图5A中的81)的一个或更多个边缘181相一致,则容器的位置已经被识别。可以通过划 分(除以二)容器相对的侧面之间的距离(例如,最短距离或表面法线距离),或通过识别 穿过容器的角的对角线的交点等方式识别容器85的容器开口 83的目标区域、中心区域或 中央区域。在一种构造中,中央地带可以被规定为容器中的一个(例如,圆形、椭圆或矩形 的)开口,所述开口的表面面积大于或等于出料槽端部的横截面面积至少二倍,当然,其他 表面面积也落入权利要求的范围之内。出料槽模块22识别以下的一项或多项:(1)出料槽 89 (图5A中)的至少一部分上的出料槽像素、或(2)与出料槽89 (图5A中)的出料槽端部 87相关联的出料槽端部像素。出料槽模块22可以使用颜色识别、强度识别、或纹理识别,以 将背景像素从一个或多个选出的出料管像素中识别出来,所述选出的出料管具有用于识别 目的的用在出料管89或出料管89的出料管端部87上的相关联的出料槽像素图案或特性 图案(例如,颜色或颜色图案(例如,红绿蓝(RGB)像素值、像素强度图案、纹理图案、光度、 亮度、色调、或反射率)。
[0035] 对准模块24、主控制器59、或其二者以规则的时间间隔估算或确定移动命令,以 将出料管56保持在容器85的中心区域、中央区域或目标区域上方,以用于卸载农业物料。 对准模块24、主控制器59、或其二者,可以将与传送车辆的速率、速度或方向有关的命令或 要求发送到传送车辆,以维持传送车辆相对于接收车辆的位置的对准。例如,对准模块24 可向主控制器24发送请求,以获得车辆之间的空间偏移量的变化。作为响应,主控制器59 或坐标模块57发送转向命令或导向命令至驾驶控制器32,将制动或减速命令发送到制动 系统34,并且将推进、加速或转矩命令发送到推进控制器40,以实现目标空间偏移量或空 间偏移量的变化。进一步,类似的命令数据可以通过无线通信装置(48,148)发送到接收车 辆,用于观察目的或用于通过图3A的系统311的所述接收车辆的驾驶系统控制器32、制动 控制器36、和推进控制器40执行接收车辆控制的目的。
[0036] 在另一种构造中,对准模块24或图像处理模块18可以在接收车辆的容器85的装 载过程中规律地或周期性地移动、调整或旋转目标区域或中央区域,以实现平均的填充、实 现整个容器85中的农业物料的均匀的高度、或均匀的分布,其中图像处理模块18识别来自 材料轮廓模块27的图像数据中的农业物料的填充状态,或通过无线通信装置(148U49)接 收来自图3A或图3B中的分布式填充状态传感器149 (与容器85相关联)的填充状态数据。
[0037] 成像模块18可以包括材料轮廓模块27或填充水平传感器,用于检测容器85中或 贮存部分93中的农业物料的填充水平或体积分布的一维、二维或三维表征。例如,图5C示 出了容器85的填充状态、或容器85中的农业物料分布的各种示意性的二维表征,其中图5C 将在下文中详细地描述。
[0038] 在一种构造中,坐标模块57或驾驶控制器32调整传送车辆与接收车辆的相对的 (偏移)位置。例如,与传送车辆的驾驶系统30相关联的驾驶控制器32可以基于来自第一 定位接收器42和第二定位接收器142的位置数据和运动数据依照协作对准(cooperative alignment)的方式驾驶传送车辆(例如,该协作对准适合于将材料从传送车辆有效地转移 到接收车辆,同时二者均大致向前运动)。无论有或是没有来自所述一个或更多个定位接收 器(42,142)的这种位置和运动数据,对准模块24、坐标模块57和螺旋旋转系统116都可 以控制出料槽89或出料槽端部87与容器周边81之间的相对位置,以完成平均的填充以实 现期望的填充水平。例如,致动器216或螺旋旋转系统16单独使用或与其车辆控制器46 结合使用,可以调整出料槽89相对于与传送车辆91相关的基准轴线或基准座标系、或相对 于与传送车辆91的行进方向相关的大致垂直的平面的出料槽角度(例如,第一出料槽角度 (α)或旋转角度,第二出料槽角度(β)或倾斜角度,或复合角度(α和β)),其中,出料槽 89与车辆汇合并且相对于车辆旋转。
[0039] 出料槽端部87可以通过在容器周边81内以及在容器85的容器周边81的一定公 差间隙之内改变其出料槽角度或出料槽位置而进行调整,以用于卸载农业物料。出料槽端 部87可以通过各种技术进行调整,所述技术可以替代性或合并地应用。在第一技术下,对 准模块24通过改变出料槽的出料槽角度(例如,第一出料槽角度(α)或旋转角度、第二出 料槽角度(β)或倾斜角度、或二者)调整出料槽端部87,以用于卸载农业物料。旋转致动 器(21或260),或旋转致动器260和倾斜致动器262可以相对于传送车辆调整旋转角度、倾 斜角度、或其二者,以基于采样周期期间收集到的图像数据将出料槽89或出料槽端部87以 协作对准的方式设置。
[0040] 在第二技术下,对准模块24要求(或命令)坐标模块57调整前/后偏移量调整 量(φ或φ )、侧向调整量(△)、或二者,其中坐标模块57控制或设计传送车辆和接收车辆 之间的相对的前/后偏移量和侧向偏移量。在第三技术下,对准模块24主要通过改变出料 槽的出料槽角度调整出料槽端部87以用于卸载农业物料,坐标模块57次要地并且规律地 (例如,周期性地)分别通过前/后偏移量调整量(Φ或Φ )、侧向(△)移动前/后偏移量 和侧向偏移量,以实现农业物料对容器的均匀的填充状态或平面装载。因此,通过改变前和 后偏移量或侧向偏移量而改变传送车辆和接收车辆之间的空间关系以实现目标对准或农 业物料对容器85或贮存部分93的填装的期望的均匀的分布,同时通过采用出料槽角度校 准以用于容器内的农业物料的分布(例如,矩阵中的每个位置)的微调,出料槽端部87可 以有被规律地调整(例如,在由预设的偏移位置的一个或更多个行或列构成的矩阵中),以 用于卸载农业物料。
[0041] 在图像处理模块18中,仲裁器25包括图像数据评价器(evaluator)。例如,仲 裁器25可以包括评价器、判断模块、布尔逻辑电路、电子模块、软件模块、或软件指令,用于 确定:(1)是否使用第一图像数据、第二图像数据、或二者,和/或(2)是否使用图像处理 模块18(或它的输出数据)用于出料槽和容器外周的相对位置的对准(或车辆之间的空 间偏移量的对准)。在一个实施例中,仲裁器基于在一个或多个采样周期期间对一个或更 多个度量、因素或标准的评估,确定是否使用第一图像数据、第二图像数据、和图像处理模 块18的输出数据:像素数据强度的材料变化;环境光条件下的材料变化;图像矫正质量; 差异图像质量;立体对应数据质量;一个或多个图像目标(例如,出料槽、出料槽端部、容器 边缘、贮存部分)的边缘的识别或图像数据质量的可靠性、范围或程度;图像中一个或多个 目标的坐标评估(例如,三维坐标)的可靠性。仲裁器25可以将一个或多个质量指示符 (indicator)(例如,第三指示符信息)发送至模式控制器225(例如,通过数据总线、逻辑数 据通路、物理数据通路、或虚拟数据通路)。
[0042] 模式控制器225连接到数据总线(例如,31)。模式控制器225可以包括感知质量 评价器、判断模块、布尔逻辑电路、电子模块、软件模块、或软件指令,用于确定是否在以下 模式中操作车辆视觉强化引导系统(例如,11、111、或311) :(1)操作员引导的手动模式,其 中在将农业物料从传送车辆转移到驾驶车辆的过程中,一个或更多操作员驾驶接收车辆、 传送车辆或二者;(2)自动模式,其中在将农业物料从传送车辆转移到接收车辆的过程中, 接收车辆、传送车辆或二者被自动地驾驶和对准;或(3)半自动模式或部分自动模式,其中 一个或更多操作员监督并且能够超驰传送车辆和接收车辆的自动驾驶和对准。例如,基于 与传送车辆相关联的第一定位接收器42的第一操作状态、与接收车辆相关联的第二定位 接收器142的第二操作状态、以及(例如,在传送车辆或接收车辆上的)第一成像装置10 或图像处理模块18的第三操作状态,模式控制器225可以确定是否使用出料槽的自动控制 模式或出料槽的操作员引导的手动控制模式。
[0043] 在一种构造中,自动控制模式包括一种操作模式,在该操作模式中,图像处理模块 18处理收集到的像数据以便于确定出料槽89 (例如,出料槽端部87)与贮存部分93 (或它 的容器周边或贮存部分93的中央区域)的相对位置。进一步,在自动控制模式中,图像处理 模块18可以产生命令数据以将贮存部分93 (或它的容器周边或中心区域)和出料槽89 (例 如,出料槽端部87)设置成使出料槽对准,以用于农业物料向贮存部分93的转移。命令数 据可以包括以下的一项或多项:用于接收车辆的驾驶命令数据、用于传送车辆的驾驶命令 数据、或用于旋转或操纵出料槽的任意致动器(例如用于旋转、倾斜或偏转的致动器)的致 动器命令数据。
[0044] 在一个实施例中,模式控制器225包括感知质量评价器,所述感知质量评价器评 估一个或更多个定位接收器(42,142)、成像装置(10,12)、测距仪、测距传感器(440)、位置 推算传感器、惯性传感器(442)、导航传感器、或其他感知传感器的功能、诊断、性能、检测或 质量。在一个说明性例子中,如果第一定位接收器42在采样周期期间提供了满足或超过 精度因子阈值或其他导航卫星可靠性测量值的可靠的位置数据,则第一操作状态是可接受 的;如果第二定位接收器142在采样周期期间提供了满足或超过精度阈值或其他导航卫星 可靠性测量值(例如,总的当量用户测距误差)的可靠的位置数据,则第二操作状态是可接 受的。进一步地,如果第一成像装置10提供了其中容器模块20或出料槽模块22 (例如,或 容器模块20或出料槽模块22中相应的边缘检测模块)能够满足以下任一项的可靠的图像 数据,则第三操作的状态是可接受的:(1)在采样时间周期期间,能够可靠地识别或解析收 集到的图像数据中的出料槽89、出料槽端部87、容器周边81或其一部分、或贮存部分93的 一个或多个边缘;(2)以时间百分比为基础(例如,至少至少99. 99%的时间),可靠地识别 图像数据中的一个或更多基准物体(例如,出料槽或接收车辆上的基准图案或基准图像) 或物体;(3)在采样周期期间可靠地确定(例如,通过立体对应或差异处理)在一个或多个 目标上的材料部分(例如,由基准点构成的组或集群)的坐标(例如,三维坐标):出料槽 89、出料槽端部87、贮存部分、容器周边或其一部分;或(4)可靠地识别(例如,通过边缘探 测器105或其他处理)出料槽端部87的一个或多个边缘以及贮存部分的容器周边81的一 个或多个边缘。
[0045] 在图1和图2的构造中,系统(11或111)可以使用分别通过旋转传感器116和 266检测到的(出料槽89的)旋转角度以及出料槽89的已知长度,以估算出料槽端部87 的(例如,三维)坐标。然而,在旋转角度或旋转传感器(116或266)不存在、不工作、或不 与图像处理模块18通信的情况下,出料槽模块(22或122)可以针对以下任意项使用图像 处理:(1)估算相对于传送车辆的出料槽角度或出料槽的旋转角度,(2)估算出料槽89的位 置(例如,三维坐标),和(3)估算出料槽端部87的位置(例如,三维坐标)。
[0046] 精度因子提供了使用诸如全球定位系统(GPS)或全球导航卫星系统(GLONASS)之 类的卫星导航系统的定位接收器(例如,42、142)的性能的品质因数。相对于时钟误差、电 离层误差、多路径反射误差、和其他误差来说,精度因子捕获定位接收器(42,142)与由定 位接收器接收到的卫星信号之间空间几何形状和分离的随时间变化的影响。每个卫星的伪 距估算的精度可能影响定位接收器(42,142)的三维位置估算和时间估算的准确度。如果 对于指定的定位接收器而言在一段特定的时间内可接收的导航卫星在轨道中的空间距离 太近,则位置估算的准确度可能受到不利影响并且精度因子值可能高于正常的或可接受的 值。
[0047] 在一个实施例中,第一定位接收器42提供第一指示符信息,该第一指示符信息指 示第一定位接收器42满足或超过精度因子阈值;第二定位接收器142提供第二指示符信 息,指示第二定位接收器142超过精度因子阈值;和图像处理模块18提供第三指示符信息, 指示图像处理模块18能够在采样周期期间可靠地识别出料槽端部87的一个或多个边缘以 及贮存部分93的容器周边81的一个或多个边缘。
[0048] 如果模式控制器225与图像处理模块18分离,则图像处理模块18、其硬件或软件 的功能方面的任何失效或中断通常是与模式控制器225的功能方面的任何失效或中断是 独立的并区分的,这增加了系统(例如,11或111)的冗余测量和可靠性。虽然所示的模式 控制器225是与图像处理模块18分离的并位于图像处理模块18的外部,但在可替代的实 施例中,模式控制器225也可以被合并到图像处理模块18中,这样可以降低系统(例如,11 或111)的成本。
[0049] 主控制器59被连接到数据总线(例如,60)。在一个实施例中,主控制器59包括 自动引导模块55和坐标模块57。自动引导模块55或主控制器59可以根据来自第一定位 接收器42和路径规划或期望的车辆路径的(例如,贮存在数据贮存器19中的)位置数据 控制传送车辆。自动引导模块55或主控制器59发送命令数据到驾驶控制器32、制动控制 器36和推进控制器40,以控制传送车辆的路径,以通过用户界面44或驾驶系统30自动地 跟踪路径规划或手动地追踪操作员的驾驶过程。
[0050] 坐标模块57可以在卸载或在车辆之间转移农业物料的过程中,促进传送车辆(例 如,图4A中的91)与接收车辆(例如,图4A中的79)之间的运动的对准(例如,运动路径 设计)。例如,坐标模块57可以在卸载农业物料的过程中,帮助维持车辆之间的均匀的侧向 偏移量(图4A中的△)和均匀的前/后偏移量(图4A中的Φ或φ ),接受任何调节以实 现容器85内材料的均匀分布。总的来说,均匀的侧向偏移量和均匀的前/后偏移量可以被 称为均匀的空间偏移量。在某些实施例中,侧向偏移量和前/后偏移量的维持、或侧向偏移 量和前/后偏移量中任何改变的协调(例如,依据用于均匀装载各自的具体容器或贮存部 分的预建立位置(X,y点)的二维矩阵),对于由对准模块24执行的出料槽89或出料槽端 部87的出料槽角度调整而言是必要的或是期望的先决条件。
[0051] 在领导(leader)模式中的一个实施例中,传送车辆由自动引导模块55或驾驶控 制器32根据路径规划驾驶,或由操作员驾驶。当传送车辆处于领导模式时,主控制器59或 坐标模块57在跟随模式中通过从控制器159控制接收车辆。如果传送车辆在自动模式或 自动驾驶模式中运行,则主控制器59本地地提供命令数据至传送车辆的驾驶控制器32、制 动控制器36、和推进发动机控制器40。这种命令数据可以规范化(或换算)、附加时间戳、 并通过无线通信装置(48,148)发送到接收车辆,以供从控制器159处理。可选择地,传送 车辆的速度、加速度、和方向数据通过无线通信装置(48,148)传送到接收车辆,以使接收 车辆能够(例如,以最小的时间延迟)跟随传送车辆的路径。在自动模式和领导-跟随模 式中,在将农业物料从传送车辆转移到接收车辆的过程中,接收车辆、传送车辆或二者被自 动地驾驶并对准。
[0052] 图像处理模块18将图像数据提供到用户界面处理模块26,所述户界面处理模块 26将状态信息数据和性能信息数据直接地或间接地提供到用户界面44。如图1所示,图像 处理模块18与车辆数据总线31 (例如,控制器区域网(CAN)数据总线)通信。
[0053] 在一个实施例中,定位接收器42、第一无线通信装置48、车辆控制器46、驾驶控制 器32、制动控制器36、和推进控制器40能够通过车辆数据总线31通信。依次地,驾驶控制 器32被连接到传送车辆的驾驶系统30 ;制动控制器36被连接到传送车辆的制动系统34 ; 并且推进控制器40被连接到传送车辆的推进系统38。
[0054] 在图1中,驾驶系统30可包括电力驱动的驾驶系统、电动液压的驾驶系统、齿轮驱 动的驾驶系统、齿条和齿轮驾驶系统、或能够改变车辆或车辆的一个或多个车轮的方向的 其他驾驶系统。制动系统34可包括再生制动系统、电动液压制动系统、机械制动系统、或能 够通过液压、机械、摩擦、或电力等方式使车辆停止的其他制动系统。推进系统38可以包括 以下的一种或多种:⑴电动马达和电子控制器的结合,⑵内燃机,所述内燃机被电子燃 料喷射系统或能够通过电信号控制的其他燃料计量装置控制,或(3)混合动力车辆,其中 内燃机驱动发电机,发电机连接到一个或多个电动马达。
[0055] 系统11帮助将农业物料从传送车辆(例如,收割车辆)转移到接收车辆。系统11 包括接收车辆,所述接收车辆具有用于推进接收车辆的推进部分和用于贮存农业物料的贮 存部分93。诸如第一成像装置10的立体成像装置面朝着接收车辆的贮存部分93。如图1 中所示,第一成像装置10和可选择的第二成像装置12被安装在传送车辆上,与图4A -致。 然而,在可替代的实施例中,如图5A中所示,第一成像装置10和可选择的第二成像装置12 可以安装在接收车辆或接收车辆的推进部分75上,或布置在其他可能的构造中。
[0056] -个或多个成像装置(10,12)被布置成用于收集图像数据。容器模块20识别收 集到的图像数据中的贮存部分93的容器周边81。贮存部分93具有从容器周边向内的开 口,用于收入农业物料。出料槽模块22被配置成用于识别收集到的图像数据中的收割车辆 的出料槽(例如,图4A的89)。对准模块24适于确定出料槽89与容器周边(图4A的81) 的相对位置,并且适于产生命令数据至传送车辆或接收车辆79的推进部分75,以共同对准 的方式操控贮存部分93,使得出料槽89被对准于容器周边81的中心区域83内。驾驶控制 器32与推进部分的驾驶系统30相关联,以根据共同对准来驾驶接收车辆。
[0057] 在一个实施例中,由虚线指示的可选择的立柱(mast)控制器674被连接到车辆数 据总线60、执行数据总线、或图像处理模块18,以控制可选择的可调节的立柱573,以用于 安装和可调节地定位第一成像装置10、第二成像装置12、或二者。立柱控制器674适于改 变第一成像装置10、第二成像装置12或其二者的取向或位于地面上方的高度,其中所述取 向可以别表述为下述任意项目:倾斜角、摇摄角(pan angle,或扫角)、下倾角、俯角、或旋 转角。
[0058] 在一种构造中,用户界面44设置成用于输入容器基准数据或与接收车辆有关的 尺寸参数。例如,容器基准数据或尺寸参数包括在拖车挂钩或枢转点(其使互联推进装置 75与贮存部分93互连)与接收车辆79的贮存部分93的前轮旋转轴线之间的距离。
[0059] 在一个可替代的实施例中,在图1中,第一成像装置10包括单目成像装置,并且第 二成像装置12包括分别地提供第一单目图像数据和第二单目图像数据的单目成像装置。 图像处理模块18或系统(例如,11、111或311)可以根据第一成像装置10和第二成像装 置12的相对位置和取向,由第一单目图像数据(例如,右侧图像数据)和第二单目图像数 据(例如,左侧图像数据)建立立体图像。图像处理模块18确定:(1)将第一成像装置10 和第二成像装置12二者的镜头均二等分的视轴上的至少两个点,和(2)在第一成像装置 10和第二成像装置12之间的线性空间分离,其中第一成像装置10的第一视场77 (在图4A 中)和第二成像装置12的第二视场177至少局部重叠,以在收集到的图像数据中捕获出料 槽89、出料槽端部87和容器周边81。
[0060] 在可替代的实施例中,图1进一步包括可选择的测距传感器440、和可选择的惯性 传感器442,如图1中虚线所示。测距传感器440可包括磁旋转传感器、齿轮驱动传感器、或 非接触传感器,以用于测量传送车辆的一个或多个车轮的旋转,以估算传送车辆在测量时 间周期内移动的距离、或传送车辆的地速。测距传感器440可以连接到车辆数据总线60或 执行数据总线。惯性的传感器442可以包括连接到车辆数据总线60或执行数据总线的一 个或多个加速度计、陀螺仪或其他惯性装置。可选择的测距传感器440和可选择的惯性传 感器442可以增加或补充由第一定位接收器42提供的位置数据或运动数据。
[0061] 图1的系统11十分适合用在作为传送车辆的联合收割机或收割机上。图1的系 统11可与在接收车辆(例如,如图4A中所示)上的第二系统(311)通信并协作,以在从传 送车辆卸载或转移材料期间协调传送车辆和接收车辆的相对对准。图1和图2中类似的类 似的附图标记指示类似的元件。
[0062] 图2的视觉强化引导系统111与图1的系统11相似;但不同之处在于图2的系统 111进一步包括执行数据总线58、网关29、和连接到车辆数据总线60的用于可选择的光源 14和出料槽89的车辆控制器50。车辆控制器50控制光源52 ;出料槽控制器54通过以下一 个或更多部件控制出料槽89 :旋转致动器260、倾斜致动器262、或偏转器致动器264。旋转 致动器260可使出料槽绕大致垂直于地面的第一轴线旋转;倾斜致动器262可使出料槽沿 大致平行于地面或基本垂直于第一轴线的第二轴线以向上或向下的角度倾斜或旋转。偏转 器致动器264可以激活处于出料槽89的出料槽端部87处或附近的偏转器,以避免例如被 收割的物料越过(overshooting)接收车辆的容器或存区域。在一个实施例中,旋转致动 器260、倾斜致动器262、和偏转器致动器264中的每一个都可以包括伺服电机、电动马达、 或电动液压机构,以用于移动或调整出料槽89或其出料槽端部87的取向或出料槽角度。
[0063] 在一种构造中,出料槽控制器54基于操作员输入或图像处理模块18控制出料槽 89、基于来自以下传感器的一个或多个传感器的传感器数据:旋转传感器266、倾斜传感器 268、和偏转器传感器270。旋转传感器260测量绕大致垂直于地面的第一轴线的出料槽的 第一旋转角度;倾斜传感器268测量沿大致平行于地面或基本垂直于第一轴线的第二轴线 的向上或向下的出料槽的第二旋转角度、或倾斜角度。偏转器传感器264可以在出料槽89 的出料槽端部87处或附近测量偏转器角度或偏转器的激活状态或非激活状态,以避免例 如被收割的物料越过接收车辆的容器或贮存区域。在一个实施例中,旋转传感器266和倾 斜传感器268中的每一个都可以包括磁场传感器、霍耳效应传感器、磁致伸缩传感器、可变 电阻器、或其他适当的传感器,以用于测量出料槽89与传送车辆之间、相对于第一轴线、第 二轴线、或其他轴线旋转的角度。在一种构造中,偏转器传感器270可以包括接触传感器或 接触开关,以提供状态信息或状态信号,所述信息或信号指示偏转器相对于出料槽端部87 是否被伸出或缩回。
[0064] 在一种构造中,执行数据总线58可包括控制器区域网络(CAN)执行数据总线。类 似地,车辆数据总线60可以包括控制器区域网络(CAN)数据总线。在一个可替代的实施例 中,执行数据总线58、车辆数据总线60或二者都可以包括ISO (国际标准化组织)数据总线 或IS0BUS、以太网或其他数据协议或通信标准。
[0065] 网关29支持执行数据总线58与车辆数据总线60之间的安全的或受控制的通信。 网关29包括防火墙(例如,硬件或软件)、通信路由器、或其他安全设备,这些安全设备可以 限制或阻止执行数据总线58上的网络元件或设备与车辆数据总线60或车辆数据总线上的 网络元件或设备通信31 (例如,未授权的通信),除非执行数据总线58上的网络元件或设备 遵循特定安全协议、"握手"信号交换方式、密码和密匙、或其他安全措施。进一步地,在一个 实施例中,如果适当的加密密钥被输入或者如果其他安全措施被满足,则网关29可以对至 车辆数据总线60的通信加密,并对来自车辆数据总线60的通信解密。网关29可以允许执 行数据总线58上的网络设备通过开放标准或第三方硬件和软件供应商通信,但车辆数据 总线60上的网络设备仅由传送车辆(例如,自行饲料收割机)的制造商或被该制造商授权 其他厂家提供。
[0066] 图2中,第一定位接收器42、用户界面44、用户界面处理模块26、和网关29被连接 到执行数据总线58,尽管在其他的实施例中这些元件或网络设备可以被连接到车辆数据总 线60。车辆控制器50和出料槽控制器54被连接到车辆数据总线60。因而,车辆控制器50 和出料槽控制器54被直接地或间接地连接到传送车辆(例如,自推进式饲料收割机)上的 可选择光源52以及传送车辆的出料槽89。虽然图2的系统十分适于使用或安装在自推进 式饲料收割机上,但是图2的系统还可以应用到联合收割机、收割机或其他重型设备。
[0067] 图1的系统11与图2的系统111应用于传送车辆,而图3A和图3B的系统应用于 接收车辆。图1、图2、图3A、和图3B中类似的附图标记指代类似的元件。如前文指出的,传 送车辆可以包括收集或收割物料以转移到接收车辆的联合收割机、收割机、自推进式收割 机、车辆或重型设备。在一个实施例中,接收车辆可以包括推进部分(例如,图4A中的75) 和贮存部分(例如,图4A中的93),所述存储部分用于贮存从传送车辆转移来的材料。接收 车辆可以包括拖拉机和谷物拖车或货车的组合,其中拖拉机是推进部分75的示例性的例 子,并且其中谷物拖车是贮存部分93的示例性的例子。这里,图3A的系统311被呈现为图 像处理系统18,该图像处理系统可选择地位于接收车辆上,而不是如图1和图2中所示的位 于传递车辆上。相反,图3B被配置成与图1或图2的系统(11或111)协作,这一配置将在 下文中详细描述。
[0068] 图3A的系统包括第一成像装置10、图像处理模块18、用户界面处理模块26、网关 29、第二定位接收器142、第二无线通信装置148、从控制器159、以及在图3中描绘的其他装 置。在一个实施例中,第一成像装置10被安装在接收车辆的推进部分75 (例如,拖拉机) 上,向后面朝贮存部分93 (例如,运货车)或容器85。例如,(接收车辆的)第二无线通信 装置148适于与图1或图2中的(传送车辆的)第一通信装置48传输数据。第二定位接 收器142提供位置数据、地点数据、高度、速度、或加速度数据。
[0069] 在一个实施例中,在图3A中,图像处理模块18估算传送车辆和接收车辆的相对位 置、以及出料槽端部87与贮存部分93的相对取向,以通过一个或多个控制器(32、36、40) 引导或控制接收车辆的驾驶系统30、制动系统34、和推进系统38,以将传送车辆和接收车 辆放置在目标传送位置,以将材料从出料槽端部87传送到贮存部分93。同时,传送车辆可 以被其操作员或第一定位接收器42控制(驾驶、速度、和加速度)。例如,系统311或图像 处理系统18识别出料槽端部87、或出料槽的护罩或材料离开出料槽89的末端,并且(通过 立体通信、差异或其他图像处理)计算出料槽端部87与贮存部分93、贮存部分93的容器外 周、贮存部分93的中心区域的相对位置。
[0070] 在图3A中,与接收车辆的驾驶系统30相关联的驾驶控制器32能够基于来自第一 定位接收器42和第二定位接收器142的位置数据和运动数据、根据共同对准(例如,适合 材料从转移材料到接收车辆的高效转移)驾驶接收车辆的推进部分。无论有或没有来自一 个或多个定位接收器(42,142)的这种位置和运动数据,图像处理模块18都能够使用图像 数据通过驾驶接收车辆的推进部分使出料槽89或出料槽端部87与接收车辆的贮存部分93 或容器周边81对准,以维持用于卸载或在车辆之间转移材料的共同对准。
[0071] 图3B提供一种构造,其中传送车辆和接收车辆在引导-跟随模式下工作,其中传 送车辆处于引导模式,而接收车辆处于跟随模式,使得接收车辆以目标空间偏移量跟踪或 跟随引导车辆的方向和速度(以及可选择的,加速度)。在图3B中,图像处理模块18仅在 传送车辆上是激活的,并且在接收车辆上是未激活或不存在的。在传送车辆上,图像处理模 块18和第一定位接收器42分别提供图像引导数据(如果可获得或者如果可靠)和第一运 动数据(例如,位置、方向、速度和加速度),所述数据被传送车辆和接收车辆二者使用以用 于引导。
[0072] 在一种构造中,图像引导数据、第一运动数据、或二者被传送车辆上的第一无线通 信装置48发送到接收车辆上的第二无线通信装置148。在接收车辆上,从控制器159从传 送车辆上的第一定位接收器42接收第一运动数据,和从接收车辆上的第二定位接收器142 接收第二运动数据。从控制器159产生误差或控制数据,用于控制接收车辆的驾驶系统30、 制动系统34、和推进系统38,其中误差或控制数据是基于第一运动数据和第二运动数据之 间的差异。
[0073] 在另一种构造中,传送车辆上的主控制器59可以发送控制信号或控制数据信息 到接收车辆上的从控制器159,以控制接收车辆的驾驶系统30、制动系统34、或推进系统 38,以优化出料槽端部87与容器的贮存部分93的相对位置、车辆之间的目标空间间距,或 以避免车辆之间即将发生的碰撞。在接收车辆上,从控制器159可以在主控制器59的控制 下,在从属模式或跟随模式中操作。从控制器159中的自动引导模块155和坐标模块157 根据来自传送车辆的位置数据和路径规划、或其他引导数据或命令数据提供接收车辆的引 导。
[0074] 第二无线通信装置148连接到车辆数据总线60。在图3A或图3B中,用于接收车 辆的系统(311或411)可与图1或图2的传送车辆的系统(11或111)相互协作。无线装 置(48,148)可以交换或传输位置数据、相对位置数据、命令数据、或控制数据,以用于车辆 的位置和取向的控制、调整或协调;更具体地,出料槽89或出料槽端部87在容器85的开口 83上方的位置和取向。在无线通信装置(48,148)之间传输的数据可以包括以下任何数据: (1)来自任一定位接收器(42或142)的位置数据或地点数据;(2)来自传送车辆或接收车 辆上的图像处理模块18的命令或引导数据;(3)来自主控制器59或坐标模块47的命令或 引导数据;(4)来自从控制器159或坐标模块157的命令或引导数据;或(5)来自对准模块 24的对准数据(例如,成像装置的相对位置、车辆上基准点的相对位置、以及出料槽与容器 边缘之间的相对对准)。例如,图像处理模块18或对准模块24可以使用第一定位接收器 42的第一位置数据和第二定位接收器142的第二位置数据,用于确定两个车辆之间的相对 位置或空间偏移量(或第一成像装置10和第二成像装置12的相对位置),以及用于确定出 料槽和容器周边之间的相对对准。
[0075] 图3A的系统31可以支持运输和接收车辆上的电子系统(例如,11和311,111和 311,11和411,以及111和411)的不同的构造或组合。在第一构造中,接收车辆上的成像 装置10可以用于代替传送车辆上的一个或更多成像装置(10,12),或与传送车辆上的一个 或更多成像装置(10,12) -起使用。在第二构造中,图3A的系统31可以通过将收集到的 图像处理数据从第二无线通信装置148传输到第一无线通信装置48,将收集到的图像处理 数据从接收车辆提供至传送车辆。这里,在第二构造中,从接收车辆收集的图像处理数据可 以被称为补充数据、补充图像数据、或额外的图像数据。额外的图像数据可以提供额外的透 视或观察点,这一额外的透视或观察点能够对由传送车辆收集到的图像数据进行补充。例 如,当由传送车辆收集的图像数据受湿气(例如,其镜头上的湿气)、灰尘、差的环境照明、 眩光或反光影响的情况下,这些情形都不会类似地损害或影响所述额外的图像数据,因此 额外的图像数据可以提供更精确的或补充的图像数据。
[0076] 可选择的测距传感器440可以连接到车辆数据总线60或执行数据总线58。惯性 传感器442可以包括连接到车辆数据总线31或执行数据总线60的一个或多个加速度计、 陀螺仪或其他惯性装置。
[0077] 例如,分布式填充状态传感器149 (例如,在图3A和图3B中)可以包括,例如,分 布在容器85内或周围的不同高度水平处的光学高度水平传感器(未示出)、用于在容器85 的不同的容积内或不同的底面区域上(例如,假设的可垂直移动的底板)测量农业物料的 质量的分布的压电质量传感器、或用于在容器85的不同的容积内或不同的底面区域上测 量农业物料的质量的分布的压阻质量传感器。
[0078] 图4A描绘了传送车辆91和接收车辆79的平面图。如图4A中所示,用于说明性的 目的,所示的传送车辆91为带有收割割台185的联合收割机,然而所示的接收车辆79为拖 拉机和谷物拖车。更通常地,接收车辆79包括推进单元75和贮存单元93的组合(例如, 被牵引的贮存单元)。
[0079] 图4A示出了传送车辆(例如,联合收割机)上的第一成像装置10和传送车辆 91的出料槽89上的可选择的第二成像装置12。出料槽89也可被称为卸载螺旋推运器 (unloading auger)。出料槽端部87可以被称为护罩(boot)。第一成像装置10具有由虚 线指示的第一视场77。视场(77,177)的边界仅是说明性的,并且在实际情况中将会有变 化。第二成像装置12具有由虚线指示的第二视场177。在图4A中,出料槽89、或出料槽端 部87通常对准在(接收车辆的)贮存容器85的中心区域83、中央区域或目标区域上方,用 于将材料从传送车辆卸载到接收车辆79。类似地,无论是在通常情况下的收割过程中车辆 是否一起向前移动(例如,具有协调或跟随的车辆方向),还是车辆都是静止的,传送车辆 91和接收车辆79都如图所示的对准在适当的位置。在卸载过程中,主控制器59和从控制 器159帮助维持车辆(91,79)之间的大致均衡的空间偏移量(例如,通常静态偏移量仅在 目标公差范围内变化),接受所述偏移量的任何进一步的调整,以用于容器85的均匀填充。 主控制器59和从控制器159支持均匀的前/后偏移量(Φ或φ)和侧向偏移量(△)的维 护。
[0080] 在图4Α中描绘的一个实施例中,第二成像装置12可以安装在出料槽89上。传送 车辆91可以配有出料槽角度传感器11 (例如,旋转位置传感器),以测量出料槽的旋转角。 对于安装在出料槽的成像装置(例如,如图4Α中所示出料槽上的第二成像装置12)而言, 出料槽89的旋转角可以用以帮助来自第一成像装置10和第二成像装置12的图像数据的 融合,或在第一成像装置10和第二成像装置12针对相同的场景或目标单独地提供单目图 像数据的情况下用于建造立体图像数据。
[0081] 在本文中公开的视场(77,177)重叠的成像装置(10,12)的任一种布置中,来自 第一成像装置10和第二成像装置12的图像数据的数据融合能使图像处理模块18创建贮 存部分85内部的材料分布水平的虚拟轮廓,即使农业物料的整个表面对于两个成像装置 (10,12)之一是不可见的。即使在某些构造中,第二成像装置12未安装在出料槽89上,出 料槽角度传感器116也可以便于在任何收集到的图像数据中将出料槽端部87用作基准点 (例如,用于来自不同成像装置的图像数据的融合、虚拟拼合、或对准)。贮存部分93中的 农业物料的整个表面的虚拟轮廓能使系统(11、111、311)或成像模块18智能地执行用于接 收车辆的贮存部分93的填充策略。
[0082] 在图4B中,第一成像装置10和第二成像装置12安装在传送车辆91上,其中第一 成像装置10安装在第一支撑件573上(例如,具有倾斜或摇头调整装置的单杆),以提供第 一向下视场677或向下倾斜的视场。
[0083] 如果第一成像装置10被抬高或安装在传送车辆91上,相对于贮存部分93足够 高,则第一成像装置10将具有足以观察和记录在农业物料填充贮存部分85过程中的农业 物料(例如,谷物)的表面(或容器内的高度(z)与相应的X,y坐标的关系)的进入贮存 部分93或容器85的观察能力或向下的视场677。第一成像装置10可以安装在传送车辆91 的顶部,面对或直接朝向远离具有用于卸载农业物料的出料槽89的传送车辆的侧面看去。
[0084] 在卸载农业物料期间,如果第一成像装置10比第二成像装置12更加远离贮存部 分93或容器85,则第一成像装置10可以具有关于贮存部分93 (例如,谷物拖车)的合适的 视野,以使贮存部分93与传送车辆91的相对位置的追踪变得更容易。
[0085] 在一个说明性的构造中,与向下的视场(677) -致地,垂直于第一成像装置10、第 二成像装置12、或二者的各自的镜头的光轴从大致水平的平面向下倾斜一下倾角度(ε ) (例如,向下约10°到25° )。如果成像装置(10,12)的视场或光轴从大致水平的平面向 下倾斜,则具有如下几个优点。第一,成像装置(10,12)的视场中能看到的天空背景更少, 这样所收集到的图像数据倾向于具有更均匀的图像强度轮廓。例如,光轴或多个光轴的倾 斜构造(这些光轴垂直于成像装置(1〇,12)的镜头)非常适合于减轻由明亮的日光或中间 的云盖导致的可能的动态量程(dynamic range)的问题。第二,C存部分93的底部部分在 图像数据中变得更明显,使得能够记录与贮存部分93的一个或多个车轮有关的图像数据。 车轮是贮存部分93上的特征,其可以通过图像处理技术有力地跟踪。第三,使立体摄像机 向下倾斜可以减轻灰尘和其他碎片在成像装置(10,12)的透镜或外窗上的聚积。
[0086] 图5A描绘了传送车辆和接收车辆的平面图。类似的附图标记指示图5A和图4中 类似的元件。图5A示出了位于推进装置75 (例如,拖拉机)或接收车辆79的后部上的第 一成像装置10。第一成像装置10有由虚线表示的第一视场277。在图5A中,出料槽89、或 出料槽端部87大致对准于贮存装置93或容器的85的中心区域83、中央区域或目标区域上 方,用于将材料从传送车辆91卸载到接收车辆79。类似地,传送车辆91和接收车辆79以 如图所示的方式对准于适当的位置,并且平稳地就好像车辆(79,91)以协同的方向或大致 平行的方向前进并且相对于彼此没有相对速度或仅具有最小相对速度那样。
[0087] 图5A中,可选择的第二成像装置12可以安装在车辆上以有第二视场377,所述第 二视场377可以与第一视场277稍微地偏距、重叠、或对准,以便在第一成像装置10失效、 故障、不可访问、不可靠或所提供的图像数据质量差时以提供冗余。例如,在第一成像装置 10被灰尘、雾、盐、或空气传播的污染物遮挡的情况下,或在第一成像装置10暴露于不充分 的环境光条件或暴露于过度的来自日光的强光或反射光的情况下,第一成像装置10可能 会不可靠地工作。在图5A中,图像处理模块18能够估算从第一成像装置10、第二成像装 置12、或二者至图像中目标(诸如出料槽89、出料槽端部87、容器周边81、容器85内的农 业物料的高度水平及轮廓(例如,容器85内的各个位置或坐标处的高度水平及轮廓))的 距离或范围。
[0088] 图5B描绘了沿着图5A中的参考线5B-5B沿水平面观察的视图。在一个实施例中, 第一成像装置10安装在接收车辆79上的第一支撑件571上(例如,具有倾斜或摆头调整 装置的单杆),以提供第一向下视场577或第一下倾视场。
[0089] 在一个可替换的实施例中,第一支撑件571包括可调整立柱或望远镜立柱,所述 立柱通过立柱控制器(674)控制,以远程地调整高度、倾斜角、下倾角、旋转角、或摇摄角, 以提供可靠的图像数据以供图像处理模块18处理。
[0090] 如果第一成像装置10被提高或安装在接收车辆79上,并相对于贮存部分93足够 高,那么第一成像装置10将具有足以观察和记录在农业物料填充贮存部分85过程中的农 业物料(例如,谷物)的表面(或容器内的高度(z)与相应的X,y坐标的关系)的进入贮 存部分93或容器85的观察能力或第一向下的视场577。第一成像装置10可以安装在接收 车辆79 (或它的推进单元75)的顶部或驾驶室上,面对或直接朝向远离具有用于卸载农业 物料的出料槽89的传送车辆的侧面。
[0091] 在一个说明性的构造中,与向下的视场577 -致地,垂直于第一成像装置10的各 自的镜头的光轴从大致水平平面向下倾斜一下倾角度(例如,向下约10°到25° )。如果 成像装置10的视场或光轴从大致水平面向下倾斜,则具有如下几个优点。第一,成像装置 10的视场中能看到的天空背景更少,这样所收集到的图像数据倾向于具有更均匀的图像强 度轮廓。例如,光轴的倾斜构造(这些光轴垂直于成像装置10的镜头)非常适合于减轻由 明亮的日光或中间的云盖导致的可能的动态量程的问题。第二,贮存部分93的底部部分在 图像数据中变得更明显,使得能够记录与贮存部分93的一个或多个车轮有关的图像数据。 车轮是贮存部分93上的特征,其可以通过图像处理技术有力地跟踪。第三,使立体摄像机 向下倾斜可以减轻灰尘和其他碎片在成像装置10的透镜或外窗上的聚积。
[0092] 图5C描绘了容器85中的材料的各种可能的示例性分布的二维呈现,与图5A中沿 参考线5C-5C观察的视图一致。在一种构造中,y轴与容器的纵轴或移动方向是一致的,z 轴与容器中材料的高度是一致的,并且X轴垂直于容器移动的方向,其中X,y和z轴大致彼 此正交。
[0093] 在图5C的图中,坚直轴是容器85中材料的平均高度U) 500 ;水平轴表示容器85 的纵轴(y) 502。最大容量504或容器容量由在坚直轴上的虚线指示。容器85的前部51定 位在原点,容器85的后部514定位在坚直轴上。
[0094] 图5C不出了容器85内的材料的三中不例性分布。第一种分布是双峰轮廓508,其 中在容器85内的材料的分布中具有两个主峰。双峰轮廓508由点线示出。在出料槽角度 校准装置由具有非比例阀的电动液压系统控制的情况下,可能出现双峰轮廓508。
[0095] 第二种分布是前偏斜形态轮廓510,其中只具有朝向容器85前方的材料的单个 峰。前偏斜形态轮廓510由交替的长线和短线示出。在容器85的容积或长度(y)大于最 小阈值的情况下以及在出料槽端部87与容器85之间的相对对准在材料卸载的大部分时间 内保持大致静止的情况下,可能出现第二种分布。
[0096] 第三种分布是目标轮廓508,其可以通过遵循如本文中所公开的适当的填充策略 实现。例如,在卸载过程中,出料槽角度可以被调整以促进容器85中的农业物料的均匀分 布。进一步地,车辆(79,91)之间的侧向偏移量(△)或前/后偏移量(Φ或φ )可以根据 相对卸载位置的矩阵(例如,传送车辆的等距点位置相对于接收车辆等间隔位置点的X,y 坐标矩阵)进行调整,特别适用于较长或较宽以至于从车辆之间(79,91)单个相对的卸载 点不能实现均匀填充的容器。
[0097] 图?是传送车辆91和接收车辆79的平面图,其中传送车辆91对准于由运输车辆 与接收车辆79之间的可能的偏离位置(502, 504)构成的矩阵500中。每个偏距位置(502, 504)可以由车辆(79,91)之间的唯一的侧向偏移量(△)和唯一的前/后偏移量(Φ或Φ )的组合来限定。如图所示,矩阵500是由可能的偏移位置(502,504)构成的二维2X3(2 列X3行)矩阵。虽然示出了六个可能的矩阵位置(502,504),但在可替代的实施例中,矩阵 500可具有两个或两个以上的可能的偏移位置数。本文中,传送车辆91占据在矩阵500的 第二行处的第一列中的当前的偏移位置504,其他可能的偏移位置502未被传送车辆91占 据。当由系统(11、111、311)中的任意一个引导时,传送车辆91的图像处理模块18或主控 制器59可以移动到矩阵500内的任何未被占据的或其他可能的偏移位置502,以促进或便 于接收车辆79的容器85或贮存部分中的农业物料的均匀分布。传送车辆91和接收车辆 79之间的空间偏移可以根据矩阵500或空间偏距的预设位置的其他矩阵加以调整,以促进 接收车辆79的贮存部分中的农业物料的均匀分布,其中任何矩阵都与车辆(79,91)之间的 唯一的、相对的侧向偏移量(△)和前/后偏移量(Φ或φ )相关联。
[0098] 在图?的一个实施例中,传送车辆91和接收车辆79二者可以按照大致同样的速 度和方向(例如,在收割过程中的控制系统的公差或误差范围内)向前移动,其中接收车辆 79的位置相对于在矩阵500中的由传送车辆91能够占据的每个位置(502,504)通常是固 定或恒定的。
[0099] 在一个可替换的实施例中,接收车辆79可以被表示为可以占据由可能的偏移位 置构成的的二维矩阵(例如,具有三列和三行的3X3矩阵),而传送车辆91的位置相对于 接收车辆79可以占据的矩阵的每个位置通常是固定或恒定的。在所述替换实施例中,在由 系统(11、111、311)中的任一个引导时,接收车辆79的图像处理模块18或主控制器159可 以移动到矩阵中未被占据的或其他可能的偏移位置,以促进或便于接收车辆79的容器85 或贮存部分中的农业物料的均匀分布。
[0100] 在图6、图7A和图7B中,每个方块或模块可以代表软件模块、电子模块、或二者。 软件模块可以包含软件指令、子程序、面向对象的代码、或其他软件内容。将图6中的方块 或模块相互连接起来的箭头示出了方块之间的数据或信息的流动。箭头可以代表物理通信 路径或虚拟通信路径,或二者。物理通信路径意味着用于发送、接收或传输数据的传输线路 或一个或更多的数据总线。虚拟通信路径意味着模块之间的数据、软件或数据信息的通信。
[0101] 图6是比图1更详细示出了图像处理模块18和容器模块20的方块图。图1、图 6、图7A、和图7B中类似的附图标记指示类似的元件。如图6所示,第一成像装置10、第二 成像装置12、或其二者将原始立体摄像图像(或原始图像数据)输入至图像矫正模块101。 接下来,图像矫正模块101与立体对应(stereo correspondence)模块103和边缘探测器 105通信。边缘探测器105提供输出至线性霍夫变换器107。立体对应模块103和线性霍 夫(Hough)变换器107的输出被提供至容器定位器11。容器定位器11可以访问或接收来 自数据管理器109的贮存的(先验的)挂钩和容器测量值、容器尺寸、容器容积或其他接收 车辆数据。在一个实施例中,容器定位器111可以接收或访问来自角度估算器11榫舌角度 (接收车辆79的推进部分75与贮存部分93之间)估算值以及贮存的挂钩容器测量值。
[0102] 虽然图像矫正模块101被示出为容器模块20的一部分,但在可替换的实施例中, 图像矫正模块101或图像矫正器也可以被合并到第一成像装置10、第二成像装置12、或二 者中。在另一实施例中,(图像处理模块18或成像装置(10,12)中的)图像矫正模块101 向收集到的图像数据或原始立体图像提供图像处理过程,以减少或除去径向透镜变形,和 立体对应所需的图像对准。径向透镜变形与第一成像装置10、第二成像装置12、或二者的 径向镜头相关联。图像矫正模块101的输入是原始立体图像数据,而图像矫正模块101的 输出是矫正后的立体图像数据。
[0103] 在一个说明性的实施例中,图像矫正模块101消除或减少图像数据的相同场景的 一对立体图像之间任何可能的垂直偏移或差异。进一步地,图像矫正模块可以将水平分量 (或立体图像的像素的水平线)对准为平行于第一和第二成像装置(10,12)内的每个成像 装置(例如,左和右的成像装置)的扫描线或公共基准轴线。例如,图像矫正模块可以将像 素从原始坐标重新映射至用于右侧图像、左侧图像或二者的修改后的坐标系,以实现立体 图像的图像或矫正后右和左侧图像的记录(registration)。矫正后的图像支持随后的(例 如由立体对应模块103执行的)图像处理过程的相同场景的左侧图像和右侧图像中的图像 内的相应的像素或物体的有效的处理和容易的识别。
[0104] 在一种构造中,立体对应模块103向收集到的立体图像数据(例如由图像矫正模 块101输出的矫正后的立体图像数据)应用立体匹配算法或差异计算器。立体匹配算法或 差异计算器可以包括绝对差之和算法、平方差之和算法、一致性算法、或其他算法,以确定 右图和左图中的(例如,沿着图像的水平轴线或平行于水平轴的)每组对应的像素的区别 或差异。
[0105] 在说明性的绝对差之和程序中,右侧图像和左侧图像(或图像数据的块或图像数 据中的行)可以被变换成与右图和左图中对应的像素对准。立体匹配算法或差异计算器确 定图像数据的左侧图像和右图中的对应像素之间的差异值。例如,为估算所述差异值,第一 对象像素 (subject pixel)的每个第一像素强度值和该第一像素周围的(例如,像素块或 矩阵中的)第一周围像素强度值的第一和被用于与第二对象像素的每个对应的第二像素 强度值和该第二像素周围的(例如,像素块或矩阵中的)第二周围像素强度值的第二和作 比较。所述差异值可用于形成对应的右侧图像和左侧图像数据的差异图或图像。
[0106] 图像处理模块18、或容器定位器111,估算从第一成像装置10、第二成像装置12或 二者到位于容器周边81、容器边缘181、出料槽89、出料槽端部87或通过边缘探测器105、 线性霍夫变换器107或二者识别出的任何其他线性边缘、曲线、椭圆、圆或物体上的像素或 点的距离或范围。例如,图像处理模块18可以使用差异图或图像,以估算从第一成像装置 10、第二成像装置12或二者到位于容器周边81、容器边缘181、容器开口 83、任意前述项附 近的或其他位置上的像素或点的距离或范围。
[0107] 例如,虽然立体对应模块103被描绘为容器模块20的一部分,但在替换实施例中, 立体对应模块103可以包括位于图像处理系统18或差异模块中的单独的模块。
[0108] 在一个实施例中,容器模块20包括:(1)边缘探测器105,用于测量图像数据中容 器周边81上的一个或更多边缘181或点的强度或可靠性;(2)线性霍夫变换器107,用于识 别图像数据中候选的线段相对于一个或更多成像装置(10,12)的光轴、基准轴线上基准点 的角度和偏移量;(3)容器定位器111,其适于使用空间的和角度的约束以消除那些不能从 逻辑上或不可能形成容器周边81的识别出的线段的一部分、或容器周边81上的点的候选 的线段;和(4)容器定位器111,将未被消除的识别出的线段或识别出的点变换成相对于接 收车辆和收割车辆的基准点或基准框架的二维或三维坐标。
[0109] 边缘探测器105可以将边缘检测算法应用到来自图像矫正模块101的矫正后的图 像数据。任意数目的适当的边缘检测算法可以被边缘探测器105使用。边缘检测指的是识 别和定位图像或收集到的图像数据中的像素之间的不连续性的过程。例如,不连续性可以 表示限定了图像中的物体的边界的像素强度或像素颜色中的材料变化。边缘检测的梯度 技术可以通过下面的方式实现:过滤图像数据以返回第一区域和第二区域中的不同的像素 值,其中第一区域具有比第二区域更大的不连续性或梯度。例如,梯度技术通过估算图像数 据的像素强度的一阶导数的最大值和最小值检测目标的边缘。拉普拉斯算子技术通过搜索 像素强度图像的二阶导数中的零交叉(zero crossings)检测图像中的目标边缘。进一步 地,合适的边缘检测算法的例子包括但是不限于,Roberts、Sobel、和Canny,所述算法对于 本领域普通技术人员而言是已知的。边缘探测器105可以提供指示场内的边缘181的强度 或可靠性的数值输出、信号输出、或符号。例如,边缘探测器可以将在一定范围或量程内的 数字或边缘强度指示符或相对强度或可靠性提供至线性霍夫变换器107。
[0110] 线性霍夫变换器107接收涉及接收车辆的边缘数据(例如,边缘强度指示符),并 识别(例如,容器85、出料槽89、出料槽端部87和开口 83的)图像数据中的强线段(strong line segment)、弯曲的线段或大致线性的边缘的估算的角度和偏移量。估算的角度与相 对于与第一成像装置10、第二成像装置12或二者的镜头相交的线性轴线所成的角或复合 角(例如,多维角)相关联。线性霍夫变换器107包括特征提取器,用于从图像数据中识别 具有特定形状的物体的线性段。例如,线性霍夫变换器107将图像数据中物体的线方程参 数或椭圆方程参数从由边缘检测器105输出的边缘数据中识别出来,或者线性霍夫变换器 107将边缘数据分类为线段、椭圆、或圆。因此,能够检测具有大致线性、矩形、椭圆或圆形特 征的容器或出料槽。
[0111] 在一个实施例中,数据管理器109通过用户界面44支持容器基准数据的输入或选 择。数据管理器109通过图像处理模块18支持容器基准数据(诸如测量货车尺寸)的输 入、检索和存储,以向容器定位器111上的可能是货车开口 83的边缘181的线段或数据点 施加空间约束条件。
[0112] 在一个实施例中,角度估算器113估算接收车辆79的贮存部分93 (例如,货车) 与接收车辆79的推进部分75(例如,拖拉机)的行进方向的轴线之间的角度。角度估算器 113向容器定位器111上的可能是容器开口 83的边缘181的线、或数据点施加角约束条件。 在构造过程中,角度估算器113被稱合到定位器111 (例如,容器定位器或卡尔曼(Kalman) 滤波器)。角度估算器滤波器113输出、或能够提供接收到的贮存部分93相对于车辆推进 部分75的行进方向的轴线的估算的角度。
[0113] 定位器111适于接收车辆的容器周边81或贮存部分93的尺寸的测量值,以便于 有资格作为容器周边81的识别线段的候选线段的确认。在一个实施例中,定位器111适于 接收贮存部分93相对于车辆推进部分75的估算角度,以便于有资格作为容器周边81的线 段的候选线段的确认。定位器111使用空间和角度约束条件以消除图像数据中的不可能是 或逻辑上不可能是容器开口 83或容器边缘181的一部分的候选线,然后选择优选的线(或 容器周边81上的数据点)作为最可能的候选线,用于验证容器开口 83 (其中的材料)或容 器边缘181。定位器111将这些优选的线特征化为或者将它们转化成相对于车辆或另一基 准框架的三维坐标,以表示容器85的容器周边。
[0114] 图7A是方块图,其比图1更详细地示出了图像处理模块18和出料槽模块22。图 1、图6、图7A、图7B中类似的附图标记指代类似的元件。在图7A中,图像矫正模块101与 立体对应模块103以及出料槽分类器121通信。接下来,出料槽分类器121提供输出至出 料槽定位器125。出料槽定位器125访问或接收来自角度传感器115或出料槽位置估算器 123的出料槽位置(或相对于传送车辆的行进方向或车辆基准框架的出料槽角度(α))、来 自立体对应模块103的立体对应数据、和来自出料槽分类器121的输出数据。
[0115] 虽然图像矫正模块101被示出为出料槽模块22的一部分,但是在可替换的实施例 中,图像矫正模块101或图像矫正器也可以被合并到第一成像装置10、第二成像装置12或 其二者中。
[0116] 例如,虽然立体对应模块103被描绘为出料槽模块22的一部分,但在可替换的实 施例中,立体对应模块103也可以包括位于图像处理系统18或差异模块内的单独的模块。
[0117] 在一个实施例中,出料槽模块22包括出料槽分类器121,所述出料槽分类器121被 配置成用于基于矫正后的图像数据或原始图像数据的图像数据(或像素)的反射率、强度、 颜色或纹理特征中的至少一项去识别图像数据中的候选像素,其中所述候选像素代表出料 槽89或出料槽端部87的一部分。
[0118] 在一种构造中,出料槽定位器125适于基于出料槽89的一部分的被分类、被识别 的候选像素或基于图像处理模块18的其他图像处理过程估算出料槽89与成像装置之间的 相对位置。在另一种构造中,出料槽定位器125基于下述项估算出料槽89或出料槽端部 87的相对位置:(1) (a)来自旋转传感器(216或266)的旋转角数据,或(1) (b)来自旋转角 传感器(216或266)的旋转角或出料槽角度(α)与来自倾斜传感器268的倾角的组合,和 (2)自出料槽89旋转所围绕的转动轴线起算的出料槽89的长度。出料槽定位器125能够 基于前述测量值估算出料槽端部87相对于成像装置的安装位置或一个或多个成像装置的 光轴或基准轴线的联合收割机出料槽位置或出料槽角度(α ),以在出料槽89可能被定位 的位置上提供约束数据。
[0119] 出料槽分类器121应用或包括关于算法的软件指令,所述算法基于经处理的或原 始图像数据中的预期颜色和纹理特征识别可能是出料槽89或出料槽端部87的一部分的候 选像素。例如,在一种构造中,可以用比出料槽89或传送车辆的其余部分具有更强光学或 红外反射率、强度、或亮度的涂层或图案描绘、涂覆、标号或标记出料槽端部87。出料槽端部 87的更强的亮度、强度或反射率(或与背景像素相对的图像数据的有关的出料槽像素)可 以通过相对于(成像装置(10,12)的视场中的)传送车辆的出料槽89或其他部分剩余部 分用白色、黄色、铬黄色或亮色彩或阴影描绘或涂覆所述出料槽端部87而获得。
[0120] 在一个实施例中,出料槽位置估算器123接收之前测量值和容器基准数据的输 入,并输出出料槽位置、出料槽角度或其相关误差的估算值。出料槽位置估算器123相对于 以下一项或多项提供联合收割机出料槽位置、或出料槽角度、或其误差的估算值:(1)传送 车辆上出料槽的安装位置或枢转点;或(2)第一成像装置10、第二成像装置12或其二者的 光轴或其他基准轴线或点;或(3)与传送车辆的行进方向或取向有关的轴线。在一个实施 例中,出料槽位置估算器123被连接到出料槽定位器125。
[0121] 在一个实施例中,出料槽定位器125包括卡尔曼滤波器。卡尔曼滤波器输出出料 槽89或出料槽端部87可能被定位的位置上的约束条件、估算的出料槽位置、或出料槽位置 区域、或估算的出料槽位置区域。出料槽定位器125获得被分类为属于联合收割机螺旋出 料槽89的像素,并且使用差异图像(来自于立体对应数据)去估算出料槽与第一成像装置 10、第二成像装置12、或第一和第二成像装置二者、或与车辆有关的基准轴线或座标系的相 对位置。
[0122] 图7B描绘了出料槽模块122的可替换的构造。除出料槽模块22结合有与图6的 那些类似的一些构件或方块之外,出料槽模块122与图7A的出料槽模块22类似。类似的 附图标记指示图1、图6、图7A、和图7B中类似的元件。在图3A中,图7B的出料槽模块122 可以代替出料槽模块22,其中系统31被安装在接收车辆上,除非传送车辆具有用于出料槽 的旋转传感器并且所述旋转传感器将出料槽旋转角发送到系统31用于处理。
[0123] 在图7B中,可选择的边缘探测器105和可选择的线性霍夫变换器107以虚线示 出。可选择的边缘探测器105被连接到线性霍夫变换器107。接着,线性霍夫变换器107被 连接到出料槽定位器125。边缘探测器105和线性霍夫变换器107如上所述与图20的容器 模块20 -起工作,除此之外仅存在如下不同:处理后的图像数据涉及出料槽89和出料槽端 部87的位置或坐标,而不是贮存容器93或其容器周边81的位置。
[0124] 在一个实施例中,边缘探测器105 (无论是单独使用或是与线性霍夫变换器107结 合使用)检测出料槽89的边缘或出料槽端部87的边缘。例如,图像数据中出料槽89的边 缘的检测和它的对应的坐标(例如,三维坐标)可以提供相对于传送车辆或传送车辆上的 基准点的出料槽角度、出料槽的旋转角、或出料槽端部87的取向的指示。虽然来自与出料 槽相关联的任何旋转传感器、倾斜传感器或偏转器传感器的传感器数据都可以用于将所收 集到的图像数据中的用于图像处理的数据限制到感兴趣的特定区域或象限以更有效地处 理这些图像数据,但是图7B的出料槽模块122可以提供出料槽角度、出料槽89的位置、或 出料槽端部87的位置(例如,三维坐标)而无需任何来自于旋转传感器216或旋转传感器 266的传感器数据。
[0125] 图8的流程图开始于方块S800。在方块S800中,过程开始。在方块S802中,模式 控制器225或系统(11、111、311)确定接收车辆的第二定位接收器142在评估时间周期内 是否提供可靠的位置数据。在方块S802中,可靠的位置数据或可接受的位置数据的确定可 以通过以下技术实现,这些技术可以单独地或累加地应用。在执行步骤S802的第一技术的 情况下,如果在采样周期期间精度因子或总的当量用户距离误差小于阈值水平,则第二定 位接收器142提供可靠的位置数据或可接受的位置数据。
[0126] 在执行步骤S802的第二技术的情况下,假定定位接收器142提供可靠的位置数据 或可接受的位置数据,除非该接收器提供误差代码、诊断代码、故障代码、或警报假定提供。
[0127] 在使用第三技术的情况下,第二定位接收器142提供可靠的位置数据或可接受的 位置数据,除非所述第二定位接收器142无法在特定的监控数据端口输出位置数据,或无 法在特定的监控数据端口提供与工作区域或场地中的已知的位置地标或基准位置的对准 相一致的精确的或可靠的位置数据。在第三技术的情况下,传送车辆、接收车辆或二者都规 律地或周期性地(例如,在收割开始时或在农业任务开始时)与已知的位置地标或基准位 置对准,以检查定位接收器(42,142)可靠性性能。
[0128] 如果第二定位接收器142在评估时间周期内提供可靠的位置数据,则该方法继续 执行至方块S806。然而,如果第二定位接收器142在评估时间周期内不能提供可靠的位置 数据,则该方法继续进行至方块S804。
[0129] 在方块S804中,图像处理模块18、仲裁器25、模式控制器225、或系统(11、111、 311)确定至少一个成像装置(例如,10、12、立体视觉成像装置或一对单目成像装置)是否 正在提供可靠的图像数据。在一个例子中,成像装置提供可靠的或可接受的图像数据,其中 容器模块20或出料槽模块22 (例如,或它们内部的各自的边缘检测模块)能够满足以下一 个或多个条件:(1)在采样时间周期内可靠地识别或解析所收集到的图像数据中的出料槽 89或容器周边81的一个或多个边缘,或(2)以时间百分率为基础(例如,在至少99. 99% 的时间内)可靠地识别图像数据中的一个或多个基准物体(例如,出料槽或接收车辆上的 基准图案或基准图像)。如果成像装置(10,12)提供可靠的图像数据,则方法继续执行至方 块S812。然而,如果成像装置(10,12)不能提供可靠的图像数据,则方法继续进行至方块 S808。
[0130] 在方块S806中,模式控制器225或系统(11,111,311)确定传送车辆的第一定位 接收器42是否提供可靠的位置数据。在方块S806中,可靠的位置数据或可接受的位置数据 的确定可以通过以下技术实现,这些技术可以单独地或累加地应用。在执行步骤S802的第 一技术的情况下,如果在采样周期期间精度因子或总的当量用户距离误差小于阈值水平, 则第一定位接收器42提供可靠的位置数据或可接受的位置数据。
[0131] 在执行步骤S802的第二技术的情况下,假定第一定位接收器42提供可靠的位置 数据或可接受的位置数据,除非该接收器提供误差代码、诊断代码、故障代码、或警报。
[0132] 在使用第三技术的情况下,第一定位接收器42提供可靠的位置数据或可接受的 位置数据,除非所述第一定位接收器42无法在特定的监控数据端口输出位置数据,或无法 在特定的监控数据端口提供与工作区域或场地中的已知的位置地标或基准位置的对准相 一致的精确的或可靠的位置数据。在第三技术的情况下,传送车辆、接收车辆或二者都规律 地或周期性地(例如,在收割开始时或在农业任务开始时)与已知的位置地标或基准位置 对准,以检查定位接收器(42,142)可靠性性能。如果传送车辆的第一定位接收器42正在 提供可靠的位置数据,则该方法继续进行至步骤S810。然而,如果第一定位接收器42不能 提供可靠的位置数据,则该方法继续进行至或返回至方块S804。
[0133] 在方块S808中,图像处理模块18、仲裁器25、或模式控制器225确定系统(11, 111,311)不能提供可靠的跟踪数据以用于自动引导和出料槽89和接收部分93的容器85 的对准。因此,图像处理系统18、仲裁器25、或模式控制器225确定系统(11,111,311)应 当在操作员引导的手动模式中操作,以在评估时间周期之后进入控制时间周期。
[0134] 在方块S810中,图像处理模块18、仲裁器25、或模式控制器225确定至少一个成 像装置(例如,1〇、12、立体视觉成像装置或一对单目成像装置)是否提供可靠的图像数据。 在一个例子中,成像装置(10,12)提供可靠的或可接受的图像数据,其中容器模块20或出 料槽模块22 (例如,或它们各自的边缘检测模块)能够满足以下任意条件:(1)在采样时间 周期内可靠地识别或解析所收集到的图像数据中的出料槽89或容器周边81的一个或多个 边缘,或(2)以时间百分率为基础(例如,在至少99. 99%的时间内)可靠地识别图像数据 中的一个或多个基准物体(例如,出料槽或接收车辆上的基准图案或基准图像)。如果成 像装置(10,12)提供可靠的图像数据,则方法继续执行至方块S814。然而,如果成像装置 (10,12)不能提供可靠的图像数据,则方法继续进行至方块S816。
[0135] 在方块S812中,图像处理模块18、模式控制器225、或系统(11,111,311)在手动 模式或半自动模式中操作。在半自动模式中,操作员可以在车辆中超驰、补充或修正由成像 装置(10,12)追踪提供的引导和对准数据、测距数据(通过测距传感器440)、惯性数据(通 过惯性传感器442)和角度估算器113。例如,在步骤S812中,图像处理模块18或模式控制 器225使用照相机追踪、测距数据、和角度估算器113 (例如,卡尔曼滤波器)。角度估算器 113可以被用于估算接收车辆的推进单元与容器之间的角度。
[0136] 在方块S814中,图像处理模块18、模式控制器225、或系统(11,111,311)在自动 模式中操作。例如,图像处理模块18或模式控制器225使用定位接收器(42、142)的位置 数据、至少一个成像装置(1〇、12)的追踪数据,和角度估算器11(例如,卡尔曼滤波器)。角 度估算器113可以用于估算在接收车辆的推进部分75和贮存部分93之间的角度。
[0137] 在方块S816中,图像处理模块18、模式控制器225、或系统在手动模式或半自动模 式中操作。在半自动模式中,一个或更多操作员可以在车辆(79,91)中超驰、补充或修正 由定位接收器(42,142)提供的引导或对准数据。例如,图像处理模块18使用定位接收器 (42、142)的位置数据,以引导车辆或对准出料槽和容器。
[0138] 在方块S808、S812、S814或S816之后,图8的方法可以继续执行方块S817。在方 块S817中,图像处理模块18、模式控制器225或系统可以在循环或返回步骤S802之前等待 一段时间周期(例如,控制时间周期或评估时间周期)。
[0139] 图9是用于推进农业物料从车辆卸载或在传送车辆91和接收车辆79之间卸载的 方法的流程图。图9的方法开始于步骤S900,并且可以使用之前本文中公开的系统(11, 111,311)的以下实施例中的一个或多个。
[0140] 在步骤S900中,传送车辆91 (例如,收割机或联合收割机)将农业物料贮存在传 送车辆91的贮存部分(例如,粮箱)。例如,在传送车辆91在田地中向前移动并收割作物 的同时,传送车辆可将农业物料贮存在传送车辆91的贮存部分。当传送车辆91的贮存部 分或贮存容器(例如,粮箱)变成全满或接近满容量时,接收车辆可以沿移动中的传送车辆 91的一侧移动,用于卸载农业物料(例如,与图4A的描述一致或类似)。
[0141] 在步骤S902中,第一成像装置10面向接收车辆79(例如,谷物拖车)的贮存部分, 并且收集第一图像数据(例如,第一立体图像数据、第一单目图像数据、或立体图像的右侧 图像)。例如,第一成像装置10可以安装在传送车辆91上,面对着接收车辆79、面对着容 器85。在一个实施例中,第一成像装置10具有接收车辆79的贮存部分的第一视场(图4A 中的77)。
[0142] 在可替换的实施例中,第一成像装置10包括单目成像装置,该单目成像装置提供 场景或目标的立体图像数据的第一图像部分(例如,左侧图像)。
[0143] 在步骤S904中,在存在可选择的第二成像装置12的情况下,该第二成像装置12 面朝接收车辆79 (例如,谷物拖车)的贮存部分93,并且收集第二图像数据(例如,第二立 体图像数据、第二单目图像数据、或立体图像的左侧图像)。例如,第二成像装置12可以被 安装在传送车辆91上面对着接收车辆79 (例如,如图4A中所示),或被安装在接收车辆79 上面对着容器85 (图5A)。在一个实施例中,第二成像装置12有接收车辆的贮存部分的第 二视场(177, 377,477),其中第一视场(77, 277)与第二视场(177, 377,477)至少部分地重 叠。
[0144] 在可替换的实施例中,第二成像装置12包括提供场景或目标的立体图像数据的 第二图像部分(例如,右侧图像)的单目成像装置,其中图像处理模块18支持根据第一成 像装置10和第二成像装置12的相对位置和取向、通过(第一单目成像装置的)第一图像 部分与第二图像部分的结合创建立体图像。
[0145] 在步骤S975中,模式控制器225或系统(11,111,或311)确定第一成像装置10的 操作状态是否可接受。如果模式控制器225或系统确定第一成像装置10的操作状态是可 接受的,该方法继续执行步骤S976。例如,可接受的操作状态可能意指以下的一种或多中: (1)第一成像装置10正常工作,(2)由第一成像装置10产生的第一图像数据满足一个或多 个质量标准(例如,矫正、立体对应、像素特征),或(3)在所关注的采样周期期间,第一图像 数据10是视场的可靠的呈现。然而,如果模式控制器10或系统确定第一成像装置10的操 作状态是不可接受的,该方法继续执行步骤S978。
[0146] 在步骤S976中,模式控制器225或系统(11,111,或311)确定第二成像装置12的 操作状态是否是可接受的。如果模式控制器225或系统确定第二成像装置12的操作状态 是可接受的,该方法继续执行步骤S976。例如,可接受的操作状态可能意指以下的一种或多 中:(1)第二成像装置12正常工作,(2)由第二成像装置12产生的第二图像数据满足一个 或多个质量标准(例如,矫正、立体对应、像素特征),或(3)在所关注的采样周期期间,第 二图像数据12是视场的可靠的呈现。然而,如果模式控制器225或系统确定第二成像装置 12的操作状态是不可接受的,该方法继续执行步骤S978。
[0147] 在步骤S977中,模式控制器225或系统(11,111,或311)确定图像处理模块18的 操作状态是否可接受。步骤S977可通过使用各种技术执行,这些技术可以单独地或累加地 应用。在第一技术中,如果图像处理模块18能够在采样时间周期内检测出第一图像数据中 一个或多个目标的边缘(例如,出料槽89的边缘、出料槽端部87的边缘、或容器的贮存部 分93的边缘),则模式控制器225或系统可以认为在所述采样时间周期内图像处理模块18 的操作状态是可接受的。在第二技术中,如果图像处理模块18能够识别图像数据中的出料 槽端部87和出料槽坐标,并且如果图像处理模块18能够在采样时间周期内识别贮存部分 中开口的周边和图像数据中的周边坐标,则模式控制器225或系统可认为在采样时间周期 内图像处理模块的操作状态是可接受的。例如,出料槽坐标可以被表示成与第一成像装置 10、第二成像装置12或二者相关的坐标,并且可以被转换成例如根据传送车辆上的基准点 的真实世界坐标。
[0148] 如果模式控制器225或系统确定图像处理模块18的操作状态是可接受的,则该方 法继续执行步骤S979。然而,如果模式控制器225或系统确定图像处理模块18的操作状态 是不可接受的,则该方法继续执行步骤S980。
[0149] 在步骤S979中,模式控制器225或系统(11,111或311)授权系统在自动控制模 式中操作,其中图像处理模块18处理图像数据以方便确定出料槽端部87和接收车辆的贮 存部分93的相对位置(或空间取向)。例如,自动控制模式由步骤S906和S908支持。
[0150] 在步骤S906中,图像处理模块18或容器模块20识别收集到的图像数据(例如, 第一图像数据、第二图像数据或二者)中贮存部分93的容器周边,其中贮存部分93具有从 容器周边81向内的开口 83,用于农业物料的接收。步骤S906可通过各种技术实现,这些 技术可以单独地或累加地应用。在第一技术中,图像处理模块18或容器模块20可以采用 以下过程或子步骤:(1)测量图像数据(原始图像数据和矫正后的图像数据)中一个或多 个边缘181的强度;(2)识别图像数据中候选线段相对于索引到一个或更多成像装置(10, 12)的光轴、基准轴线(例如,传送车辆的移动方向)、或基准点的角度和偏移量;和(3)使 用空间的和角度的约束条件以取消那些在逻辑上不可能或不可能形成容器周边的识别出 的线段的一部分的识别的候选线段,其中定位器11将识别的线段转换成与接收车辆和/或 收割车辆的基准点或基准框架相关的三维坐标。
[0151] 在第二技术中,图像处理模块18或容器模块20可以接收容器基准数据、或车辆的 容器周边81或贮存部分93的尺寸的测量值,以便于有资格作为容器周边81的识别线段的 候选线段、或候选数据点的识别。
[0152] 在第三技术中,图像处理模块18或容器模块20可以接收贮存部分93相对于车辆 推进部分75的估算角度97,以便于识别有资格作为容器周边81的识别线段的候选线段。
[0153] 在第四技术中,图像处理模块18或容器识别模块20提供贮存部分93相对于车辆 推进部分75的接收的估算角度97。
[0154] 在步骤S908中,图像处理模块18或出料槽模块22识别收集到的图像数据中的传 送车辆(例如,收割车辆)的出料槽89 (或出料槽端部87)。图像处理模块18或出料槽模 块22可以使用各种技术,这些技术可以单独地或累加地应用。在第一技术中,图像处理模 块18或出料槽模块22基于图像数据的预期的颜色和预期的纹理特征识别图像数据(例 如,矫正后的或原始的图像数据)中的候选像素,其中所述候选像素代表出料槽89(例如, 联合收割机螺旋出料槽)或出料槽端部87的一部分。
[0155] 在第二技术中,图像处理模块18或出料槽模块22基于出料槽89的一部分的经分 类、识别的候选像素,估算出料槽89或出料槽端部87相对于成像装置的相对位置或相对角 度。
[0156] 在第三技术中,图像处理模块18或出料槽模块22接收基于前述测量值估算出的 相对于成像装置(10,12)的安装位置、光轴、基准轴线、或基准点的联合收割机出料槽位置 或出料槽角度,以在出料槽56可能定为的位置上施加约束条件。
[0157] 在第四技术中,图像处理模块18或出料槽模块22将估算的联合收割机出料槽位 置、或估算的出料槽角度提供至出料槽定位器125。
[0158] 在步骤S980中,模式控制器225或系统(11,111,或311)授权系统在手动控制模 式或半自动控制模式中操作,以便于确定或控制出料槽87和接收车辆的贮存部分93的相 对位置。手动控制模式指的是传送车辆或接收车辆的操作员通过用户界面44(例如,传送 车辆或接收车辆的驾驶室中的开关、操作杆、方向盘、或脚踏板)控制驾驶系统30、制动系 统34、和推进系统38。
[0159] 半自动控制模式意味着第一定位接收器42提供第一运动数据以根据目标路径规 划(例如,目标线性路径或目标曲线路径)控制传送车辆。类似地,半自动控制模式意味着 第二定位接收器142提供第二运动数据以根据目标路径规划控制接收车辆,使得接收车辆 以期望的目标偏移量跟随或追踪传送车辆的路径(例如,沿平行路径)。然而,半自动控制 模式可能要求传送车辆、接收车辆或二者中的操作员调整(例如,微调)车辆的相对位置 (例如,偏离通过跟随定位接收器(42,142)的第一运动数据、第二运动数据、或二者提供的 规划的目标路径),以适当地对准出料槽端部87和贮存部分93,以用于从传送车辆转移材 料至接收车辆。
[0160] 在一种构造中,如果第一和第二操作状态是可接受的,则模式控制器225适于准 许半自动控制模式中的操作。半自动控制模式包括如下操作模式:主控制器59根据由第一 定位接收器42和第二定位接收器142提供的运动数据协调车辆的运动,以将车辆设置成沿 基本平行的路径大致对准,使得传送车辆的操作员能够手动地调整或微调传送车辆相对于 接收车辆的相对位置和速度,或出料槽89相对于接收车辆的相对位置,以将材料转移进入 贮存部分93,其中半自动模式不使用图像处理模块18的图像数据用于出料槽89或车辆的 任何对准。
[0161] 步骤S981跟随步骤S979。在步骤S981中,主控制器59,从控制器159,或系统产 生命令数据,用于以下的一个或多个:传送车辆、接收车辆、和旋转致动器(21或260)、倾斜 致动器262、和偏转器致动器264。在一个实施例中,命令数据可以包括以下的一项或多项: 用于接收车辆的驾驶命令数据、用于传送车辆的驾驶命令数据、或用于使传送车辆的出料 槽的出料槽端部旋转的致动器命令数据。
[0162] 在步骤S914中,在第一种构造中,控制器(59或159)或驾驶控制器32根据协作 对准驾驶接收车辆。在第二种构造中,车辆控制器或驾驶控制器32可以根据协作对准驾驶 传送车辆。在第三种构造中,传送车辆91和接收车辆79二者的车辆控制器(59或159)或 驾驶控制器32根据协作对准驾驶传送车辆和接收车辆二者,或维持适于在车辆之间卸载 或转移物料的目标空间偏移量。在第四种构造中,致动器116(例如,伺服电机、电动机、线 性电机、和线性-转动齿轮传动组件、或电动液压设备)响应对准模块24或图像处理模块 18 (例如,智能卸载控制器)而控制出料槽89相对于传送车辆的行进方向或其他基准轴线 的出料槽角度、或出料槽端部87。
[0163] 图10是用于促进将农业物料从车辆卸载或在传送车辆(91)与接收车辆(79)之 间卸载的方法的流程图。图9的方法开始于步骤S900,并且可以使用本文之前公开的系统 (11,111,311)的以下实施例中的一个或多个。
[0164] 图10的方法与图9的方法相似,只是图10的方法用步骤S911代替了步骤S910。 图9和图10中类似的附图标记指代类似的元件。
[0165] 在步骤S911中,模式控制器225或图像处理模块18基于第一定位接收器42的第 一操作状态、第二定位接收器142的第二操作状态、和一个或多个成像装置(10,12)的第三 操作状态,确定是否使用出料槽的自动控制模式或出料槽89的操作员引导的手动控制模 式。
[0166] 在一个说明性的例子中,如果第一定位接收器42在采样周期期间提供满足或超 过精度因子阈值或其他导航卫星可靠性测量值的可靠的位置数据,那么第一操作状态是可 接受的;如果第二定位接收器142在采样周期期间提供满足或超过精度因子阈值或其他导 航卫星的可靠性测量值(例如,总的当量用户距离误差)的可靠的位置数据,则第二操作状 态是可接受的;并且如果第一成像装置10提供可靠的图像数据,其中容器模块20或出料槽 模块22 (例如,它们各自的边缘检测模块)能够满足以下任意项,则第三操作状态是可接受 的:(1)在采样时间周期内可靠地识别或解析所收集到的图像数据中的出料槽89或容器周 边81的一个或多个边缘,或(2)以时间百分率为基础(例如,在至少99. 99%的时间内)可 靠地识别图像数据中的一个或多个基准对象(例如,出料槽或接收车辆上的基准图案或基 准图像)或对象。
[0167] 步骤S911可以根据一个或更多程序执行,这些规程可以单独地或累加地应用。在 第一程序中,如果第一、第二和第三操作状态是不可接受的或不可靠的,则在将农业物料从 传送车辆91卸载到接收车辆79的过程中,系统(11,111,311)或模式控制器225回复到手 动模式控制,以用于出料槽89与容器85对准以及送车辆91与接收车辆79的空间对准的 控制。
[0168] 在第二程序中,如果第一操作状态、第二操作状态和第三操作状态是可接受的或 表现出其正在正常工作,则系统(11,111,311)能够在自动模式(例如,完全自动模式)中 操作并且模式控制器225允许针对以下一项或多项使用第一定位接收器42、第二定位接收 器142和成像装置10 : (1)追踪或对准接收车辆79与传送车辆91的相对位置,以用于卸载 过程中的出料槽89与容器85空间对准的控制,并且(2)在将农业物料从传送车辆91卸载 到接收车辆79的过程中,追踪或对准传送车辆91与接收车辆79的空间对准。
[0169] 在第三程序中,如果第一操作状态、第二操作状态和第三操作状态是可接受的或 表现出正在正常工作,则系统(11,111,311)或模式控制器225能够在自动模式(例如,完 全自动模式)中操作,并且确定贮存部分93或容器85(例如,货车)是否被适当地设置在 出料槽89的出料槽端部87下方,从而当物料开始从出料槽端部87流向接收车辆时,将不 会有物料(例如,谷粒)将散落出来。在自动控制模式中,如果贮存部分93被检测并且相 对于传送车辆91和出料槽89被适当地定位,则系统(11,111,311)、成像模块18或车辆控 制器46命令联合收割机启动螺旋卸载机或螺旋驱动器47。
[0170] 在第四程序中,如果第一操作状态和第二操作状态是可接受的,并且如果第三操 作状态是不能接受的,那么模式控制器225允许使用第一定位接收器42和第二定位接收器 142,以在卸载过程中追踪或对准接收车辆79与传送车辆91的相对位置。然而,模式控制 器225可以禁止使用成像装置(10,12)去追踪或对准接收车辆79与传送车辆91的相对对 准相对位置,以用于在卸载过程中控制出料槽89与容器85空间对准。因此,在第四程序下 的操作的模式可以被称为半自动或半手动模式,因为自动的范围仅限于在卸载过程中第一 定位接收器42和第二定位接收器142追踪或对准接收车辆79与传送车辆91的相对位置, 在特定的公差范围内需要接受传送车辆91操作员的手动调整,以手动地对准出料槽89和 接收车辆79的容器85以用于卸载。所述公差仅限于空间分离,以基于传送车辆91和接收 车辆79的各自的尺寸、轴距(wheel base)、转弯半径、速率、速度和方向防止传送车辆91与 接收车辆79之间的碰撞或使碰撞的风险最小化。在第四程序中,第一无线通信装置48可 以将第一位置和第一运动数据从第一定位接收器42无线地发送到第二无线通信装置148。 在接收车辆处,控制器或从控制器(159)可以确定第二定位接收器142的第一位置数据和 第二位置数据之间的位置差异;控制器或从控制器(159)可以确定在第一运动数据和第二 运动数据(例如,速度、加速度、方向或偏航误差)之间的运动差异,以便于以目标空间间距 沿车辆的大致平行的路径执行领导者-跟随者(leader-follower)追踪。在一些情况下, 第一位置数据和第一运动数据被无线地从传送车辆传输到接收车辆,以确定相对位置,其 中在第一位置数据和第一运动数据的传输之前、期间、或之后,可以选择性地无线地传输操 作模式状态数据。
[0171] 在第五程序中,如果第一操作状态和第二操作状态是不可接受的并且如果第三操 作操作状态是可接受的,那么模式控制器225允许(例如,暂时地允许)图像处理系统(11, 111,311)、模式控制器225和驾驶控制器32使用来自第一成像装置10的收集到的图像数 据、来自测距传感器440的测距数据、和来自惯性传感器442的惯性数据。因此,在第五程 序中,模式控制器225准许系统(11,111,311)在(由最后一次可从一个或多个定位接收器 获取位置数据开始的有限的时间周期内)在自动模式中操作,或在半自动模式中操作,其 中在所述半自动模式中,用户可以超驰或调整传送车辆91与接收车辆79之间的空间间距, 或出料槽89与接收车辆79的容器85之间的空间对准。例如,驾驶控制器32在半自动模 式中操作所述系统(11,111,311),其中操作员监视传送车辆91和接收车辆79的驾驶系统 30 ;其中操作员基于测距数据和惯性数据通过主控制器59超驰驾驶控制器32的自动驾驶 控制;在所述有限的时间周期结束之后,模式控制器225仅准许手动模式中操作,除非第一 操作状态和第二操作状态在所述有限的时间周期结束之前变成可接受的或可靠的。
[0172] 在第六程序中,接收车辆79的贮存部分93开始变成满的,系统(11,111,311)、推 进控制器40、制动控制器36、车辆控制器46、和螺旋旋转系统16可以使用农业物料的表面 轮廓执行操作员选择的填充策略(例如,由后至前、由前至后、或其他填充策略)。
[0173] 为在自动控制模式中执行填充策略,系统(11,111,311)可以将农业物料卸载到 容器85的包含较少农业物料的特定区域中,以促进容器85中农业物料的均匀的填充和分 布。在自动控制模式中,系统(11,111,311)能够通过以下一个或多个程序调整传送车辆91 与接收车辆79之间的卸载对准:(1)命令出料槽89相对于传送车辆91或与传送车辆91 相关联的垂直平面旋转或改变其出料槽角度,其中所述垂直平面与出料槽89的至少一个 旋转轴线相交;(2)命令螺旋卸载机或螺旋驱动器47旋转,以将农业物料从传送车辆中的 贮存部移动到接收车辆的贮存部分93 ; (3)命令改变传送车辆91、接收车辆79、或二者的地 速、速度、加速度、或方向;(4)命令一个或多个车辆(79,91)的操作员手动地调整传送车辆 91、接收车辆79、或二者的地速、速度、加速度或方向;或(5)命令一个或更多个控制器(32, 36, 38)指令传送车辆91、接收车辆79或二者以改变它或它们的相对位置。当整个容器85 或贮存部分93填充至由操作员选择的容量或水平时,车辆控制器46或螺旋旋转系统16关 闭螺旋卸载机或螺旋驱动器47。
[0174] 在第七程序中,在手动控制模式中,操作员与系统(11,111,311)的用户界面44相 互作用,以通过以下任意项调整传送车辆与接收车辆之间的卸载对准:(1)操作员改变传 送车辆91、接收车辆79、或二者的地速、速度、加速度或方向,或(2)操作员可以基于通过成 像装置(10,12)在用户界面上显示给操作员的图像,手动地调整出料槽角度。此外,在手动 控制模式中,操作员可以启动或停止螺旋卸载机或螺旋驱动器。
[0175] 本发明的方法和系统非常适合用于增强从传送车辆(例如,联合收割机)到接收 车辆(例如,牵引谷物拖车的拖拉机)的卸载的效率,这种增强是通过使用来自定位接收器 的位置数据促进车辆的速度或速率匹配实现的,其中,出料槽端部和容器周边的对准的微 调是由来自一个或多个成像装置的图像数据支持的。在不使用本发明的方法和系统的情况 下,接收车辆的操作员倾向于设定比用于收割的最优速度以下的恒定的速度,以避免将农 业物料撒落到在地上并且错过接收车辆的容器。因此,与其他可能的方法和系统相比,本发 明的方法和系统非常适于减少收获一块田地的时间以及收集谷物。
[0176] 已经描述了优选的实施例,明显地,在不背离由附随的权利要求限定的本发明的 范围的情况下可以做出各种修改。
【权利要求】
1. 一种用于便利农业物料从传送车辆向接收车辆转移的系统,所述系统包括: 接收车辆,所述接收车辆包括用于推进接收车辆的推进部分和用于贮存农业物料的贮 存部分; 传送车辆,所述传送车辆具有出料槽,该出料槽用于朝接收车辆的贮存部分引导农业 物料; 第一定位接收器,所述第一定位接收器位于传送车辆上或与传送车辆相关联; 第二定位接收器,所述第二定位接收器位于接收车辆上或与接收车辆相关联; 第一成像装置,所述第一成像装置面向接收车辆的贮存部分,所述第一成像装置收集 第一图像数据; 模式控制器,所述模式控制器用于基于第一定位接收器的第一操作状态、第二定位接 收器的第二操作状态、和第一成像装置、图像处理模块、或第一成像装置与图像处理模块二 者的第三操作状态,确定是否使用出料槽位置相对于贮存部分的自动控制模式或出料槽的 操作员引导的手动控制模式;并且 如果所述第一、第二和第三操作状态是可接受的,则所述模式控制器适于准许自动控 制模式下的操作,所述自动控制模式包括一种操作模式,在该操作模式中,图像处理模块处 理收集到的图像数据以便于出料槽与贮存部分的相对位置的确定,并且在该操作模式中, 图像处理模块产生命令数据,以将贮存部分和出料槽设置成相对的协作对准,使得出料槽 被对准以用于将物料转移到贮存部分中。
2. 根据权利要求1所述的系统,其中所述命令数据可包括以下数据中的一项或多项: 用于接收车辆的驾驶命令数据、用于传送车辆的驾驶命令数据、或用于使传送车辆的出料 槽的出料槽端部旋转的致动器命令数据。
3. 根据权利要求1所述的系统, 其中如果第一定位接收器在采样周期期间提供满足或超过精度因子阈值的可靠的位 置数据,则第一操作状态是可接受的, 其中如果第二定位接收器在采样周期期间提供满足或超过精度因子阈值的可靠的位 置数据,则第二操作状态是可接受的,并且 其中如果第一成像装置在采样周期期间提供可靠的图像数据,其中图像处理模块能够 可靠地识别收集到的图像数据中的出料槽、或贮存部分的容器周边、或出料槽与贮存部分 的容器周边二者的一个或多个边缘,则第三操作状态是可接受的。
4. 根据权利要求1所述的系统, 其中如果第一定位接收器在采样周期期间提供满足或超过精度因子阈值的可靠的位 置数据,则第一操作状态是可接受的, 其中如果第二定位接收器在采样周期期间提供满足或超过精度因子阈值的可靠的位 置数据,则第二操作状态是可接受的,并且 其中如果图像处理模块能够可靠地识别出料槽的出料槽端部的一个或多个边缘以及 贮存部分的容器周边的一个或多个边缘,则第三操作状态是可接受的。
5. 根据权利要求4所述的系统, 其中第一定位接收器提供第一指示符信息,所述第一指示符信息指示第一定位接收器 满足或超过精度因子阈值, 其中第二定位接收器提供第二指示符信息,所述第二指示符信息指示第二定位接收器 超过精度因子阈值,并且 其中图像处理模块提供第三指示符信息,所述第三指示符信息指示图像处理模块能够 在采样周期期间可靠地识别出料槽端部的一个或多个边缘以及贮存部分的容器周边的一 个或多个边缘。
6. 根据权利要求1所述的系统,其中如果第一操作状态和第二操作状态是可接受的, 则模式控制器适于准许在半自动控制模式中的操作,所述半自动控制模式包括一种操作模 式,在该操作模式中,主控制器根据由第一定位接收器和第二定位接收器提供的运动数据 协调所述接收车辆和传送车辆的运动,以将所述接收车辆和传送车辆设置成沿基本平行的 路径大致对准,使得传送车辆的操作员能够手动地调整或微调传送车辆相对于接收车辆的 相对位置和速度或出料槽相对于接收车辆的相对位置,以用于将物料转移到贮存部分中, 并且在该操作模式中,所述半自动控制模式不使用图像处理模块的图像数据以用于出料槽 或所述接收车辆和传送车辆的任何对准。
7. 根据权利要求1所述的系统,进一步包括: 驾驶控制器,所述驾驶控制器与推进部分的驾驶系统相关联,用于在自动控制模式中 基于来自第一定位接收器和第二定位接收器的位置数据和运动数据、根据所述协作对准驾 驶接收车辆。
8. 根据权利要求1所述的系统,进一步包括: 驾驶控制器,所述驾驶控制器与传送车辆的驾驶系统相关联,用于在自动控制模式中 基于来自第一定位接收器和第二定位接收器的位置数据和运动数据、根据所述协作对准驾 驶传送车辆。
9. 根据权利要求1所述的系统,进一步包括: 致动器,所述致动器用于相对于传送车辆致动或旋转出料槽,以基于收集到的图像数 据将出料槽和贮存部分设置成协作对准。
10. 根据权利要求1所述的系统,其中如果第一、第二和第三操作状态是不可接受的, 则所述系统返回用于控制出料槽和贮存部分对准的手动控制模式。
11. 根据权利要求1所述的系统,其中第一成像装置被安装在接收车辆上。
12. 根据权利要求1所述的系统,其中第一成像装置被安装在传送车辆上。
13. 根据权利要求1所述的系统,其中如果第一操作状态、第二操作状态和第三操作状 态都是可接受的或表现出正在正常工作,则模式控制器使用第一定位接收器、第二定位接 收器和第一成像装置去追踪接收车辆和传送车辆的相对位置。
14. 根据权利要求1所述的系统,进一步包括: 第一无线通信装置,所述第一无线通信装置位于传送车辆上; 第二无线通信装置,所述第二无线通信装置位于接收车辆上; 如果第一操作状态和第二操作状态是可接受的并且如果第三操作状态是不可接受的, 则所述模式控制器使用第一定位接收器和第二定位接收器去追踪接收车辆和传送车辆的 相对位置; 其中,第一无线通信装置将第一位置数据和第一运动数据从第一定位接收器无线地发 送到第二无线通信装置。
15. 根据权利要求1所述的系统,进一步包括: 测距仪,所述测距仪用于提供测距数据; 惯性传感器,所述惯性传感器用于提供惯性数据,其中如果第一操作状态和第二操作 状态是不可接受的并且如果第三操作状态是可接受的,则模式控制器使用图像数据、测距 数据和惯性数据。
16. 根据权利要求15所述的系统,其中驾驶控制器在操作员监视传送车辆和接收车辆 的驾驶的半自动模式中操作;其中操作员能够基于测距数据和惯性数据超驰驾驶控制。
17. -种用于便利农业物料从传送车辆向接收车辆的转移的方法,所述传送车辆具有 用于将农业物料转移到接收车辆的出料槽,所述方法包括下述步骤: 通过面朝接收车辆的贮存部分的第一成像装置收集第一图像数据; 基于与传送车辆相关联的第一定位接收器的第一操作状态、与接收车辆相关联的第二 定位接收器的第二操作状态、以及第一成像装置的第三操作状态,确定是否使用出料槽的 自动控制模式或出料槽的操作员引导的手动控制模式;和 在自动控制模式中,确定出料槽与贮存部分的相对位置;并且 如果第一、第二和第三操作状态是可接受的,则在自动控制模式中生成命令数据以将 出料槽和贮存部分设置成相对的协作对准,使得出料槽与贮存部分对准。
18. 根据权利要求17所述的系统, 其中如果第一定位接收器在采样周期期间提供满足或超过精度因子阈值的可靠的位 置数据,则第一操作状态是可接受的, 其中如果第二定位接收器在采样周期期间提供满足或超过精度因子阈值的可靠的位 置数据,则第二操作状态是可接受的,并且 其中如果第一成像装置在采样周期期间提供可靠的图像数据,其中容器模块或出料槽 模块能够可靠地识别收集到的图像数据中的出料槽的一个或多个边缘或贮存部分的容器 周边的一个或多个边缘,则第三操作状态是可接受的。
19. 根据权利要求17所述的方法,进一步包括: 在自动控制模式中,基于来自第一定位接收器和第二定位接收器的位置数据和运动数 据、根据所述协作对准,通过驾驶控制器驾驶所述接收车辆。
20. 根据权利要求17所述的方法,进一步包括: 在自动控制模式中,基于来自第一定位接收器和第二定位接收器的位置数据和运动数 据、根据所述协作对准,通过驾驶控制器驾驶所述传送车辆。
21. 根据权利要求17所述的系统,进一步包括: 相对于传送车辆致动或旋转出料槽,以将出料槽和贮存部分设置成协作对准。
22. 根据权利要求17所述的方法,其中如果第一、第二和第三操作状态是不可接受的, 则所述方法返回到用于控制出料槽和贮存部分的对准的手动控制模式。
23. 根据权利要求17所述的方法,其中第一成像装置被安装在接收车辆上。
24. 根据权利要求18所述的方法,进一步包括: 如果第一操作状态、第二操作状态和第三操作状态是可接受的或表现出正在正常工 作,则通过第一定位接收器、第二定位接收器和第一成像装置追踪接收车辆和传送车辆的 相对位置。
25. 根据权利要求17所述的方法,进一步包括: 如果第一操作状态和第二操作状态是可接受的并且如果第三操作状态是不可接受的, 则通过第一定位接收器和第二定位接收器追踪接收车辆和传送车辆的相对位置,其中第一 位置和第一运动数据被从传送车辆无线地发送到接收车辆以确定所述相对位置。
26. 根据权利要求17所述的方法,进一步包括: 如果第一操作状态和第二操作状态是不可接受的并且如果第三操作状态是可接受的, 则通过第一图像数据、测距数据和惯性数据估算接收车辆和传送车辆的相对位置。
27. 根据权利要求26所述的方法,进一步包括: 在操作员监视传送车辆和接收车辆的驾驶的半自动模式中操作传送车辆和接收车辆; 其中操作员能够基于测距数据和惯性数据超驰驾驶控制。
【文档编号】G06F7/70GK104106042SQ201380008663
【公开日】2014年10月15日 申请日期:2013年2月11日 优先权日:2012年2月10日
【发明者】扎克利·T·邦法斯 申请人:迪尔公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1