用于作业机械的控制系统的制作方法

本发明涉及一种用于具有附接件的作业机械的控制系统，其中该附接件可移动地连接至该作业机械。

背景技术：

本公开涉及一种用于在装载操作期间促进作业机械的有效操作的控制系统和方法。装载操作通常包括对堆进行装载、搬运和卸载。堆可以包括诸如泥土、沙子、采石场和预制人造材料等之类的材料。作业机械的子系统的优化操作可能取决于操作者的与堆进行接合相关的有效性和经验。例如，如果作业机械在燃油经济模式下移动并且突然与堆接合，则该机械可能会失速，因为发动机和变速器可能不会足够快地做出反应以克服载荷的突然增加。可替代地，如果操作者通过手动输入过度补偿预期的载荷，则这可能导致燃料过度消耗和轮胎磨损增加。

技术实现要素：

因此，本公开包括一种用于优化具有传感器增强导向系统的作业机械的装载参数的系统，以解决该机械在与堆接合时的低效率。在前后方向上延伸的作业机械具有车架，该车架配置成支撑发动机、变速器、液压缸、发动机速度传感器、以及附接件，该附接件可移动地连接至作业机械以与堆接合。

根据本公开的一方面，用于优化装载参数的传感器增强导向系统包括与作业机械、传感器处理单元和车辆控制单元连接的传感器。该传感器可以面向前向方向。传感器可以配置成收集在传感器的视场中的该堆的图像数据。

传感器处理单元可以与传感器通信耦合。传感器处理单元可以配置成接收来自传感器的图像数据，其中传感器处理单元配置成基于图像数据计算该堆的体积估计值。

车辆控制单元可以与传感器处理单元通信耦合。车辆控制单元可以配置成响应于堆的预测的载荷来修改作业机械的装载参数。

车辆控制单元可以具有存储器单元和数据处理单元。

该存储器单元可以基于图像数据或操作者的输入与来自存储数据库的材料特性相关联。

可以与存储器单元通信的数据处理单元配置成基于体积估计值和材料特性计算堆的预测的载荷。

传感器可以是立体视觉装置或激光距离装置。

传感器处理单元可以包括距离计算单元和图像处理单元。该距离计算单元可以计算该堆离传感器的空间偏移量。图像处理单元可以与传感器和距离计算单元通信。图像处理单元可以基于图像数据和空间偏移量来计算该堆的体积估计值。

装载参数可以是发动机速度、传动比、液压流量、液压压力、轮辋牵引比或阀位置。

在一种实例中，车辆控制单元可以响应于该堆的预测的载荷而向发动机控制器生成发动机速度信号，以至少在附接件与堆接合之前或之时暂时增加发动机速度。

在另一实例中，车辆控制单元响应于该堆的预测的载荷而向变速器控制器生成变速器控制信号，以至少在附接件与堆接合之前或之时暂时增加传动比。

在另一实例中，车辆控制单元响应于堆的预测的载荷而向液压缸生成生液压力信号，以修改液压流量、液压压力或阀位置。

此外，发动机速度传感器可以在该附接件与堆接合之后生成后续的发动机速度信号。车辆控制单元可以将所述后续的发动机速度信号与发动机速度信号进行比较。然后，发动机控制单元可以基于移动平均值来调节未来的发动机速度信号，以便在该附接件与该堆下一次接合时使用。

传感器处理单元还可以包括边缘检测单元。该边缘检测单元可以识别图像数据的颜色或像素强度中的不连续性以识别边缘，其中传感器处理单元基于该不连续性计算体积估计值。

该系统还可以包括地面传感器。该地面传感器面向地面以收集地表面的图像数据从而确定地表面的材料特性。车辆控制单元可以基于地表面的材料特性来修改装载参数。

根据以下详细描述和随附附图，这些和其他特征将变得显而易见，其中通过图示的方式示出和描述了各种特征。本公开能够具有其他且不同的配置，并且其多个细节能够在各种其他方面进行改进，所有这些都不脱离本公开的范围。因此，详细描述和随附附图在本质上被认为是说明性的而不是限制性的或限定性的。

附图说明

附图的详细描述参考随附附图，其中：

图1是示例性作业机械的图示。

图2是用于图1的作业机械的传感器增强导向系统的方框图。

图3a是图2中所示的传感器增强导向系统的一部分的实施例。

图3b是图3a中所示的传感器增强导向系统的一部分的替代实施例。

图3c是图3a中所示的传感器增强导向系统的一部分的另一替代实施例。

图4是示出传感器增强导向系统的简化方框图，其中可以使用其他示例性类型的装置无线地进行通信。

图5是根据本发明的实施例的由图2的控制系统执行的用于优化图1的作业机械的装载参数的方法的流程图。

在所有多个附图中，相似的附图标记用于表示相似的元件。

具体实施方式

在以上附图和以下详细描述中公开的实施例不是详尽无遗的或将本公开限制为这些实施例。而是，在不脱离本公开的范围的情况下，可以进行多种变化和修改。

根据一种实施例，图1示出了具有传感器增强导向系统110的作业机械100，该作业机械100接近材料堆115。尽管图1公开了一种轮式装载机，但替代实施例可以包括反铲挖土机、集材机、推土机、伐木机和其他形式的建筑机械、林业机械或农业机械。传感器增强导向系统110(在图2中示出)在作业机械100接合该堆115瞬间和作业机械100接合该堆115前即刻，优化作业机械100的装载参数120。作业机械100包括车架125，该车架125配置成支撑发动机130、传动装置或变速器135、液压缸140、发动机速度传感器470和操作者台150。附接件155，诸如用于挖掘和装载材料的铲斗，可移动地连接至作业机械100。作业机械100包括由提升致动器和倾斜致动器提供动力和控制的附接件155。移动该附接件155的提升和倾斜致动器通常是液压缸140。然而，提升和倾斜致动器可以替代地是用于移动该附接件110的其他机构(未示出)。连接至提升和倾斜液压缸140的提升和倾斜位置传感器165通过感测提升和倾斜液压缸140的活塞杆延伸而响应于附接件155相对于作业机械100的位置来产生位置信号167。操作者站150可以容纳操作者，并且包括操作者输入装置157，该操作者输入装置157用于控制包括作业机械100的附接件155之类的部件。

作业机械100可以包括支撑该作业机械100的地面接合支撑件160，诸如轮或轨道系统(未示出)。发动机130配置成驱动变速器135，该变速器135为地面接合支撑件160和液压缸140提供动力以移动该附接件155。

材料堆115可以是任何种类的材料，这些材料将被装载到附接件155中并且倾倒在另一个位置处。例如，该堆可以包括沙子、泥土、砾石、采石场和预制人造材料。可替代地，该堆115可以是由坚韧材料形成的路堤或山丘，诸如粘土、嵌入的岩石或其他坚韧的材料。作业机械100在其操作过程中可能遇到要装载的堆115中的材料类型的任何数量的变化。可以理解的是，对堆115的引用包括任何要装载的材料，这些材料可能不仅仅是彼此叠置的一堆物品。

作业机械100包括面向大致前向方向的传感器170。该前向方向可以平行于作业机械100的前后方向、或者沿大致前向方向，其中传感器可以在作业机械100前面的区域中的任何位置处沿一方向移动或面向一方向。传感器170配置成收集在传感器170的视场172(由虚线指示)中的堆的图像数据(在图2中示出)。传感器170可以是例如立体视觉装置230或激光距离装置240(如图2和图3a-3c所示)。

图2示出了传感器增强控制系统110的方框图，该传感器增强控制系统110可以用于作业机械100以优化作业机械100的装载参数120。控制系统110可以包括输入元件193、传感器处理单元195和车辆控制单元(vcu)190。输入元件193包括连接至作业机械100的传感器170，其中传感器170面向大致前向方向(如图1所示)。术语“传感器”统称为如下文详细描述的为单个传感器或多个传感器。传感器170优选地连接至操作者站150的顶表面或接近操作者站150的顶表面，在该顶表面处，从传感器170观察要接合的堆115受到阻碍最少。传感器170配置成收集传感器视场172(在图1中由虚线指示)中的堆115的图像数据175。传感器170可以包括立体视觉装置230、激光距离装置240或其他替代形式的距离成像装置。如在作为传感器增强导向系统110的一部分的详细视图的图3a-3c中所示的各种实施例中举例说明的那样，传感器170包括第一传感器250和可选的第二传感器260，其中第一个传感器250和第二传感器260可通信地耦合或连接至传感器处理单元195。在图3a所示的配置中，第一传感器250可以包括主立体视觉装置230，而第二传感器260可以包括次立体视觉装置230。在图3b所示的配置中，第二传感器260可以是激光距离装置240。在图3a和图3b中的第二传感器260是可选的，并且在从传感器210到堆115(或者更具体地到堆115的表面118)的空间偏移测量发生失效、故障或精度改进的情况下，为第一传感器250提供冗余。图3c示出了包括立体视觉装置230的一个传感器的替代实施例。立体视觉装置230可以以规则的或周期性的间隔或以其他取样间隔提供数字数据格式输出，该输出作为一系列立体静止帧图像的图像数据175。每个立体静止帧图像(例如，第一图像数据或第二图像数据)具有相同视场172或相同视场172的一部分的两个分量图像。

如图1所示，传感器170的视场172可以从大致水平的平面以一下倾角度(例如，距该水平的平面或水平轴线大约5至30度)向下倾斜。这有利地在传感器170的视场中提供相对较少的天空，使得收集的图像数据175倾向于具有更均匀的图像轮廓。例如，倾斜配置也非常适于减轻例如明亮阳光或中间云层的潜在动态档位问题。另外，将传感器170向下倾斜可以减少灰尘和其他碎屑积聚在传感器170的外部表面上。这尤其适用于收集图像数据175的立体视觉装置230。此外，传感器的倾斜配置是成角度的，使得传感器170可以用于确保附接件155(例如铲斗的切割边缘)在倾倒时以及在倾倒后退回时总是清空货车侧板以防止附接件100与货车(未示出)之间的任何碰撞。在一种实施例中，当附接件155处于完全提升高度时，该倾斜构造适于包括货车的侧板边缘。虽然在所有或大多数情形下很容易看见并测量货车的侧板、堆或堆的聚集体的情况下，固定式传感器可能就足够了，但是可移动传感器可以自定向或可以被操作者定型，以便优化在视场中堆的可见性。

传感器处理单元195通信地耦合或连接至传感器170。传感器处理单元195配置成接收来自传感器170的图像数据175，并基于该图像数据175计算该堆115的体积估计值310。如图4所示，传感器处理单元195或如下所述的任何其他控制单元可以位于作业机械100上、位于传感器170上、位于移动装置280上，或诸如云290之类的其他位置，在该云290中，通过无线数据通信装置305(例如，以虚线示出的蓝牙)发生通信。在一些实施例中，单元可以包括控制器、微计算机、微处理器、微控制器、专用集成电路、可编程逻辑阵列、逻辑装置、算术逻辑单元、数字信号处理器或其他数据处理器、以及支持电子硬件和软件。

应理解，传感器处理单元195可以与作业机械的现有控制器相对应，或者可以与单独的处理装置相对应。例如，在一种实施例中，机械控制模块可以形成可以安装在作业机械内的单独的插件模块的全部或一部分，以允许实施所公开的系统和方法而不需要额外的软件被上传到作业机械的现有控制装置上。

返回至图2，传感器处理单元195可以包括距离计算单元295和图像处理单元300。在一种实施例中，距离计算单元295根据来自传感器170的图像数据175计算堆115的空间偏移量303，或者更具体地，计算堆118的表面离传感器170的空间偏移量303。距离计算单元295将立体匹配算法或视差计算器应用于收集的图像数据175。立体匹配算法或视差计算器确定右图像和左图像中的每组对应像素的视差，然后使用该测量的视差和立体视觉装置230的右透镜与左透镜之间的已知距离来估计传感器170与堆118或堆聚集体的表面的距离。可选地，计算出的空间偏移量303可以由第二传感器260(例如激光距离装置)补充，以确认或改善计算的空间偏移量303的精度。在一种示例性实施例中，图2示出了包括立体视觉装置230和激光距离装置240的传感器170。替代实施例先前在图3a-3c中被讨论过。

图像处理单元300与传感器170和距离计算单元295通信。图像处理单元300基于图像数据175和空间偏移量303计算堆115的体积估计值310。在一种示例中，图像处理单元300可以识别收集的图像数据175中的一组二维或三维点(例如，笛卡尔坐标或极坐标)，该组二维或三维点定义堆位置、堆的聚集体122、或两者。该组二维或三维点可以与由立体视觉装置230收集的图像中的像素位置相对应。图像处理单元300可以对图像数据175进行修正以优化分析。图像处理单元300可以使用颜色辨别、强度辨别或纹理辨别来从图像数据175的一个或多个堆聚集体像素识别像素，并将它们与像素图案、像素属性(例如，像红绿蓝(rgb)像素值之类的颜色或颜色图案)、像素强度图案、纹理图案、照度、亮度、色调或反射率相关联，以利用堆115或堆表面118离传感器170的被计算或测量的空间偏移量303计算堆115或堆表面118的面积、以及相对应的体积估计值310。

传感器处理单元195还可以包括边缘检测单元315，该边缘检测单元315可通信地耦合或连接至传感器170和/或图像处理单元300。边缘检测单元315识别图像数据175的像素颜色或像素强度中的不连续性以识别边缘。传感器处理单元195基于该不连续性计算体积估计值310。边缘检测单元315可以对图像数据应用边缘检测算法。可以由边缘检测单元315使用任何数量的合适的边缘检测算法。边缘检测是指识别和定位图像数据175或收集的图像数据中的像素中的不连续性的方法。例如，不连续性可以表示像素强度或像素颜色的材料变化，其定义图像中对象的边界。可以通过对图像数据进行滤波以在具有较大不连续性或梯度的第一区域中返回与具有较小不连续性或梯度的第二区域中的像素值不同的像素值，来实现边缘检测的梯度技术。例如，该梯度技术通过估计图像数据的像素强度的一阶导数的最大值和最小值来检测对象的边缘。拉普拉斯方法通过在像素强度图像的二阶导数中搜索过零点来检测图像中对象的边缘。合适的边缘检测算法的其他示例包括但不限于roberts、sobel和canny，如本领域普通技术人员所知的。边缘检测单元315可以提供场中边缘的强度或可靠性的数字输出、信号输出或符号指示符。例如，边缘检测单元315可以将在一范围或标度或相对强度或可靠性内的数值或边缘强度指示符提供至线性霍夫变换器。

线性霍夫变换器接收与堆115及其聚集体材料有关的边缘数据(例如边缘强度指示符)，并识别图像数据175中堆115的实线段、曲线段或大致线性边缘的估计的角度和偏移量。线性霍夫变换器包括特征提取器，其用于从图像数据175识别具有特定形状的对象的线段。例如，线性霍夫变换器根据由边缘检测单元315输出的边缘数据320识别图像数据中的对象的直线方程参数或椭圆方程参数，或者霍夫变换器将边缘数据320分类为线段、椭圆或圆。因此，可以检测石块、沙子、泥土、岩石或诸如管之类的人造材料的聚集堆的子部件，每个子部件可以具有大致线性、矩形、椭圆形或圆形特征。可替代地，边缘检测单元315可以简单地识别堆115的估计的轮廓，从而计算其面积。

在一种实施例中，传感器处理单元195可以直接或间接地连接至作业机械100上的可选的灯330(图1和图2中示出)，该灯330用于对堆115进行照明。例如，传感器处理单元195可以控制驱动器、继电器或开关，该驱动器、继电器或开关进而控制堆115上的可选的灯330的启用或停用。在一示例中，如果光学传感器或照度计(未示出)指示出环境光水平低于某一最小阈值，则传感器处理单元195可以激活或启用指向立体视觉装置230的视场172的灯330。

继续参考图2，作业机械100上的车辆控制单元190与传感器处理单元195通信耦合或通信连接。车辆控制单元190配置成响应于堆的预测的载荷340来修改作业机械100的装载参数120。车辆控制单元190包括存储器单元350和数据处理单元360。

存储器单元350基于图像数据175、来自操作者输入装置157的操作者输入信号200、或两者，与堆的来自具有材料特性参考数据370的存储数据库270的材料特性相关联。存储数据库270可以包括在作业机械100上或其他位置(例如图4中所示的数据云290或移动装置280)上的、与车辆控制单元190通信的电存储器、磁盘驱动器、光盘驱动器、或磁存储装置或光存储装置。在一示例中，类似于图像处理单元300，存储器单元350可以识别收集的图像数据175中的一组二维或三维点(例如，笛卡尔坐标或极坐标)，该组二维或三维点定义堆位置、堆的聚集体、或两者。该组二维或三维点可以与由立体视觉装置230收集的图像中的像素位置相对应。存储器单元350可以识别、使用或检索材料特性参考数据370。在一种示例性实施例中，存储器单元350可以在交互式屏幕上(例如，在操作者站内或在连接至云或车辆控制单元190的移动装置内)基于图像数据175来预填入堆的建议材料特性参考数据370的列表，其中操作者从该列表中进行手动选择。在另一实施例中，存储器单元350基于图像数据175(例如堆的二维或三维点和色谱)来自动识别并关联或结合材料特性参考数据370。存储器单元350可以使用颜色辨别、强度辨别或纹理辨别来从图像数据的一个或多个堆聚集体像素识别像素，并将它们与来自存储数据库的像素图案、像素属性(例如，像红绿蓝(rgb)像素值之类的颜色或颜色图案)、像素强度图案、纹理图案、照度、亮度、色调或反射率相关联，以及分配适当的材料特性参考数据370(也统称为材料特性)以识别材料特性并计算预测的载荷340。材料特性370可以包括但不限于尺寸、类型、密度、孔隙率、表面纹理、表面摩擦、重量、比热、湿度和几何形状。

数据处理单元360与存储器单元350通信耦合或通信连接。数据处理单元360配置成基于体积估计值310和材料特性370计算堆的预测的载荷340。预测的载荷340是根据这些装载参数120中的任何一个或多个装载参数设置的预期载荷。

在另一实施例中，系统110还可以包括面向地面390或地表面的地面传感器380(在图1和图2中示出)。地面传感器380可以收集地表面的图像数据175以确定地表面的材料特性370，其中车辆控制单元190(在下文中讨论)基于地表面390的材料特性370修改装载参数120。地表面390的材料特性可以与堆115不同，从而影响作业机械100的装载参数120，如轮辋牵引比400，该作业机械100的装载参数120进而影响作业机械100上的载荷。轮辋牵引比400被定义为由机械100的驱动表面(即地面接合支撑件160)施加于地表面390的切向剪切力。地面传感器380优选地位于地面接合支撑件160处或其附近，以有利地改善轮辋牵引比400。在一种实施例中，地面传感器380可以设置成靠近后地面接合支撑件160的后部位置。可替代地，在另一实施例中，地面传感器380可以设置成更靠近作业机械100的前部部分、在前地面接合支撑件160附近。在其他可能的实施例中，可以存在多个地面传感器380，这些地面传感器380位于作业机械100的周缘的前部和后部、或围绕作业机械100的周缘。在图1所示的实施例中，地面传感器380优选地是能够获取图像数据175的立体视觉装置。然而，在替代实施例中，地面传感器380可以包括能够识别地面的材料特性370的任何传感器170(例如湿度传感器、激光雷达、雷达、视觉装置等)。来自传感器170和/或地面传感器380的输入可以响应于堆的预测的载荷340来修改作业机械100的装载参数120，其中从车辆控制单元190传送响应于预测的载荷340的轮辋牵引信号405。

装载参数120包括发动机速度410、传动比420、液压流量430、液压压力440、轮辋牵引比400和阀位置460。

发动机速度传感器470可以设置在控制系统110中以检测发动机130的发动机速度410。此外，变速器输入速度传感器480可以检测变速器135的输入速度，并且变速器输出速度传感器490可以检测变速器135的输出速度。发动机速度传感器470、变速器输入速度传感器480和变速器输出速度传感器490可以通信耦合或连接至车辆控制单元190。

车辆控制单元190可以与发动机控制器500通信耦合或连接。车辆控制单元190可以响应于堆的预测的载荷340而生成发动机速度信号510，以在该附接件155与堆155接合之前或之时暂时增加发动机速度。当与堆115接合时，这有利地为作业机械100提供足够的力，以防止发动机在过载时失速。同时，它可以最大限度地减少燃料消耗浪费、轮胎磨损和操作者效率变化。继续参考图2，发动机速度传感器470可以在该附接件与堆115接合之后生成后续的发动机速度信号520。然后，车辆控制单元190可以将该后续的发动机速度信号520与发动机速度信号510进行比较并基于移动平均值调节未来的发动机速度信号，以供该附接件与该堆下一次接合时使用。在来自数据处理单元360的重量权重确定值可能不准确的情况下，该反馈机制对作业机械100的装载参数120进行校正。例如，材料的含水量和体积密度(可能无法用图像数据175测量)可以变化，使得对于相同的体积，总重量或载荷是不同的。在操作该作业机械100期间，该反馈机制在每次与堆接合时微调装载参数120。然后，这些设置可以存储在车辆控制单元190上的存储器中，或者可以在启动作业机械100时重置。可替代地，这可以被称为将预测的载荷340与作业机械100的车载称重系统相关联的反馈机制。

车辆控制单元190还可以与变速器控制器540通信耦合或连接。车辆控制单元190可以响应于堆的预测的载荷340而生成变速器控制信号550，以在该附接件与堆115接合之前或之时降低传动比420。类似于所述后续的发动机速度信号520，车辆控制单元190可以在与堆115接合之后调节变速器控制信号550，以供该附接件与该堆下一次接合时使用。

车辆控制单元190可以还与控制一个或多个液压缸140的器具控制器450通信耦合或连接。车辆控制单元可以响应于该堆的预测的载荷340而生成液压力信号560，以修改液压流量430、液压压力440和控制阀460的位置中的一者或多者。液压力信号560响应于预测的载荷340而增强操作者的输入命令信号200以移动该附接件155。液压力信号560机械地、液压地和/或电气地连接至液压控制阀460。液压控制阀460从液压泵600接收增压液压流体590，并且基于增强的液压力信号560来将这种增压液压流体590选择性地发送至一个或多个液压缸140。液压缸140通过增压流体伸出或缩回，从而致动附接件155。

参考图5，并且继续参考图1和图2，示出了用于优化作业机械100的装载参数610的方法。在该方法的第一方框620中，传感器170与作业机械100连接，并且传感器170配置成收集在传感器170的视场172中的堆115的图像数据175。传感器170可以位于操作者站150的表面，在该表面处，传感器170的视场172大致是无阻碍的。在第二方框630中，传感器处理单元195接收来自传感器170的图像数据175。在第三方框640中，位于传感器处理单元195上的距离计算单元295根据由传感器170提供的图像数据175计算堆115或堆表面118的空间偏移量303。在第四方框650中，位于传感器处理单元195上的图像处理单元300基于由传感器170提供的图像数据175和/或由位于传感器处理单元195上的距离计算单元295提供的空间偏移量303来计算体积估计值310。在第五方框660中，位于作业机械100的车辆控制单元190上的存储器单元350基于图像数据175、操作者输入200、或两者而与堆115的来自存储数据库270的材料特性370相关联，存储数据库270位于云中或位于车辆控制单元上。在第六方框670中，位于车辆控制单元190上的数据处理单元360基于体积估计值310和识别的材料特性370来计算该堆的预测的载荷340。在第七方框680中，车辆控制单元190基于该堆的预测的载荷340来修改作业机械的装载参数120。装载参数120包括发动机速度410、传动比420、液压流量430、液压压力440、轮辋牵引比400和阀位置460。

这里使用的术语是为了描述特定实施例或实现方式的目的，并且不旨在对本公开进行限制。除非上下文另有明确说明，否则如本文所使用的，单数形式“一”、“一个”和“该”旨在包括复数形式。另外应理解，在本说明书中，术语“有(has)”、“具有(have)”、“含有(having)”、“包含(include、includes、including)”、“包括(comprise、comprises、comprising)”等的任何使用标识了所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组。

在本文中，与附图标记一起使用的参考“a”和“b”仅用于在描述设备的多个实现方式时进行说明。

在本文中讨论的任何方法、过程或系统中的一个或多个步骤或操作可以被省略、重复或重新排序，并且这些步骤或操作在本公开的范围内。

虽然上文描述了本公开的示例实施例，但是这些描述不应被视为限制性的或有限制性意义。而是，在不脱离所附权利要求的范围的情况下，可以进行多种变化和修改。