用于挖掘机的俯视图系统的制作方法

用于挖掘机的俯视图系统的制作方法
【专利摘要】用于提供工业机器比如挖掘机的俯视图的系统和方法。一个系统包括至少一个处理器，其配置成：从安装在所述挖掘机上的至少一个传感器接收涉及所述挖掘机周围的区域的数据；基于所述数据识别多个平面；确定所述多个平面是否定位在与运输卡车相关联的预定配置中；以及如果所述多个平面定位在预定配置中，则将所述多个平面叠加在所述挖掘机和所述区域的俯视图图像上。
【专利说明】用于挖掘机的俯视图系统
[0001] 相关申请
[0002] 本申请要求2012年3月29日提交的美国临时申请No. 61/617, 516和2013年2 月11日提交的美国临时申请No. 61/763, 229的优先权，这两个申请的整个内容都通过引用 并入本文。
[0003] 背景
[0004] 本发明的实施方式涉及提供围绕工业机器比如电绳或动力挖掘机定位的检测到 的物理物体的俯视。


【发明内容】

[0005] 工业机器，比如电绳铲挖掘机或动力挖掘机、拉铲挖土机等，用于执行挖掘操作以 从例如矿山堆去除材料。操作者在挖掘操作期间控制绳铲挖掘机以给铲斗加载材料。操作 者将材料从铲斗中放置到运输卡车中。在放置材料之后，挖掘循环继续且操作者将铲斗摆 回到矿山堆以进行另外的挖掘。
[0006] 随着铲斗移动，具有畅通的摆动路径以避免与其它物体碰撞是重要的。例如，铲斗 可在摆动路径中冲击运输卡车或其它装备。铲斗还可冲击矿山堆、地面或挖掘机的其它部 分，和/或位于挖掘机周围的其它物体。冲击特别是如果强的话可造成对铲斗和冲击的物 体的破坏。此外，冲击可造成对挖掘机的其它部件的破坏。
[0007] 因此，本发明的实施方式提供了用于检测和减轻挖掘机碰撞的系统和方法。为了 检测碰撞，系统和方法检测挖掘机周围的区域内的物体。在检测到物体之后,系统和方法可 以任选地增加挖掘机的控制以减轻与检测到的物体的可能碰撞的冲击。当减轻碰撞时，系 统和方法可以利用听觉、视觉和/或触觉反馈向挖掘机操作者提供警告。
[0008] 具体地，本发明的一个实施方式提供了 一种用于提供挖掘机周围的区域的俯视图 的系统。所述系统包括至少一个处理器。该至少一个处理器配置成：从安装在所述挖掘机 上的至少一个传感器接收数据，其中所述数据涉及所述挖掘机周围的区域；基于所述数据 识别多个平面；以及确定所述多个平面是否定位在与运输卡车相关联的预定配置中。如果 所述多个平面定位在预定配置中，则所述至少一个处理器配置成将所述多个平面叠加在所 述挖掘机和所述区域的俯视图图像上。
[0009] 本发明的另一实施方式还提供了一种用于提供工业机器周围的区域的俯视图的 方法。所述方法包括：在至少一个处理器处从安装在所述工业机器上的至少一个传感器接 收数据，其中所述数据涉及所述工业机器周围的区域。方法还包括通过至少一个处理器基 于所述数据识别多个平面；通过至少一个处理器确定所述多个平面是否定位在与预定的物 理物体相关联的预定配置中；以及如果所述多个平面定位在所述预定配置中，则将所述多 个平面叠加在所述工业机器和所述区域的俯视图图像上。
[0010] 本发明的其它方面将通过考虑详细说明和附图而变得明显。

【专利附图】

【附图说明】 toon] 专利或申请文件包含彩色实现的至少一个附图。具有彩色图的该专利或专利申请 公布的副本将通过官方在请求和付必要费用时提供。
[0012] 图1示出根据本发明的一个实施方式的工业机器和运输卡车。
[0013] 图2示出图1的工业机器的控制器。
[0014] 图3是示出由图2的控制器执行的检测物体的方法的流程图。
[0015] 图4示出由图2的控制器检测的示意性平面。
[0016] 图5示出基于图4的平面由图2的控制器界定的示例性排除的体积。
[0017] 图6示出围绕工业机器捕捉的图像。
[0018] 图7不出基于图6的图像的工业机器的俯视图。
[0019] 图8示出与由图2的控制器检测的平面叠加的图7的俯视图。
[0020] 图9是示出由图2的控制器执行的减轻碰撞的方法的流程图。
[0021] 图10是根据本发明的另一实施方式的工业机器的控制器。

【具体实施方式】
[0022] 在详细解释本发明的任何实施方式之前，应理解，本发明的应用不限于在下面的 描述中阐述或在附图中示出的构造的细节和部件的布置。本发明能够是其它实施方式且以 各种方式被实践或执行。而且，应理解，本文使用的短语和术语用于描述的目的且不应被认 为是限制的。在本文中"包括"、"包含"或"具有"和其变形的使用意味着包含下文列举的项 和其等同物以及另外的项。术语"安装"、"连接"和"联接"被宽泛地使用且包含直接和间 接安装、连接和联接两者。而且，"连接"和"联接"不限于物理的或机械的连接或联接且可 包括电连接或联接，不管是直接还是间接。而且，电子通信和通告可以利用包括直接连接、 无线连接等的任何已知方式来执行。
[0023] 还应注意，可以使用多个基于硬件和软件的设备以及多个不同的结构部件来实施 本发明。此外，应理解，本发明的实施方式可以包括硬件、软件和电子部件或模块，其为论 述的目的可以被示出和描述，好像大部分部件仅在硬件中实施。然而，本领域技术人员中 的一个基于该详细说明的阅读将认识到在至少一个实施方式中，本发明的基于电子的方面 可以在由一个或多个处理器可执行的软件中实现（比如，存储在非暂时性计算机可读介质 上）。这样，应注意，多个基于硬件和软件的设备，以及多个不同的结构部件可以用于实施本 发明。而且，且如随后的段落中描述的，在附图中示出的具体机械构型旨在示范本发明的实 施方式且其他可替代的机械构型是可能的。例如，在说明书中描述的"控制器"可包括标准 处理部件，比如一个或多个处理器、一个或多个计算机可读介质模块、一个或多个输入/输 出接口和连接部件的各种连接件（比如，系统总线）。
[0024] 图1描述了示范性绳铲挖掘机100。绳铲挖掘机100包括用于向前和向后推动绳 铲挖掘机100以及用于转动绳铲挖掘机100(即，通过改变左和右履带相对于彼此的速度和 /或方向）的履带105。履带105支撑包括驾驶室115的基座110。基座110能够围绕摆动 轴线125摆动或旋转，例如，以从挖掘位置移动到倾卸位置并返回到挖掘位置。在某些实施 方式中，履带105的移动对于摆动运动不是必须的。绳铲挖掘机还包括铲斗轴或吊臂130， 其支撑可枢转的铲斗柄135和铲斗140。铲斗140包括用于将容纳在铲斗140中的内容物 倾卸到倾斜位置的门145。
[0025] 挖掘机100还包括；联接在基座110和吊臂130之间以用于支撑铲斗轴130的张 紧悬挂缆绳150 ;附接到基座110内的用于缠绕缆绳155的绞盘（未显示）以升高和降低 铲斗140的起重缆绳155 ;以及附接到另一绞盘（未显示）以打开铲斗140的门145的铲 斗门缆绳160。在某些情形中，挖掘机100是由P&H开采装备公司生产的P&H? 4100系列 挖掘机，尽管挖掘机100可以是电开采装备的其它类型或模型。
[0026] 当开采挖掘机100的履带105静止时，铲斗140是可操作的以基于三个控制动作， 起重、推压和摆动运动。起重控制通过缠绕和解开起重缆绳155来升高和降低铲斗140。推 压控制延伸和缩回柄135和铲斗140的位置。在一个实施方式中，柄135和铲斗140通过 使用齿条和小齿轮系统来推压。在另一实施方式中，柄135和铲斗140使用液压驱动系统 来推压。摆动控制使柄135相对于摆动轴线125旋转。在操作期间，操作者控制铲斗140 从挖掘位置挖掘泥土材料、将铲斗140摆动到倾卸位置、释放门145以倾卸泥土材料并卷起 铲斗140,这使门145关闭且铲斗140摆动到相同的另一挖掘位置。
[0027] 图1还描述了运输卡车175。在操作期间，绳铲挖掘机100通过打开门145将容纳 在铲斗140内的材料倾卸到运输卡车床176内。尽管绳铲挖掘机100被描述为与运输卡车 175 -起使用，但是绳铲挖掘机100还能够将材料从铲斗140倾卸到其它材料收集器，比如 移动式开采破碎机或直接地倾卸到地面。
[0028] 如上面在概述部分中描述的，随着操作者摆动铲斗140,铲斗140可与其它物体比 如运输卡车175 (比如，运输卡车175的床176)和挖掘机100的其它部件（比如履带105、 位于挖掘机100的后部的平衡重量，等）碰撞。这些碰撞（比如，金属-金属冲击）可以对 铲斗140、挖掘机100和冲击的物体造成破坏。因此，挖掘机100包括检测物体和增加铲斗 140的控制以减轻铲斗140和检测的物体之间的碰撞的控制器。
[0029] 控制器包括如果合适的话是可操作的以便除了别的之外监测挖掘机100的操作 和增强挖掘机100的控制的硬件和软件的组合。根据本发明的一个实施方式的控制器300 在图2中示出。如图2所示，控制器300包括检测模块400和减轻模块500。检测模块400 除了别的之外还包括处理单元402 (比如，微处理器、微控制器或其它合适的可编程设备）、 非暂时性计算机可读介质404和输入/输出接口 406。处理单元402、存储器404和输入/ 输出接口 406通过一个或多个控制和/或数据总线（比如公共总线408)连接。类似地，减 轻模块500除了别的之外还包括处理单元502 (比如，微处理器、微控制器或其它合适的可 编程设备）、非暂时性计算机可读介质504和输入/输出接口 506。处理单元502、存储器 504和输入/输出接口 506通过一个或多个控制和/或数据总线（比如公共总线508)连 接。应理解，在其它构造中，检测模块400和/或减轻模块500包括另外的、较少的或不同 的部件。
[0030] 如下面更详细地描述的，检测模块400检测物体并向减轻模块500提供关于检测 的物体的信息。减轻模块500使用来自检测模块400的信息和关于挖掘机100的其它信息 (比如，电流位置、运动等）来识别或检测可能的碰撞并且可选择地减轻碰撞。应理解，控 制器300的功能可以在各种配置中在检测模块400和减轻模块500之间分配。例如，在某 些实施方式中，可替代地或除减轻模块500的功能之外，检测模块400基于检测的物体（以 及直接地或间接地通过减轻模块500接收的关于挖掘机100的其它信息）检测可能的碰撞 并向操作者提供警告。检测模块400还可以向减轻模块500提供关于识别的可能碰撞的信 息，且减轻模块500可以使用该信息自动地减轻碰撞。
[0031] 将控制器300分成检测模块400和减轻模块500允许每一个模块的功能独立地和 在各种配置中使用。例如，检测模块400可以在没有减轻模块500的情况下使用以检测物 体、检测碰撞和/或向操作者提供警告。此外，减轻模块500可配置成接收来自多个检测 模块400的数据（例如，每一个检测模块400检测特定的物体或挖掘机100周围的特定区 域）。而且，通过在两个模块之间分离控制器300,每一个模块可以单独地测试以确保模块 正确地操作。
[0032] 计算机可读介质404和504存储程序指令和数据。包括在每一个模块400和500 中的处理器402和502配置成检索来自介质404和504的指令并除了别的之外执行该指令 以执行本文描述的控制过程和方法。每一个模块400和500的输入/输出接口 406和506 将来自模块的数据传输到外部系统、网络和/或设备并且接收来自外部系统、网络和/或设 备的数据。输入/输出接口 406和506还可以将从外部源接收的数据存储到介质404和 504和/或分别向处理器402和502提供数据。
[0033] 如图2所示，减轻模块500与用户接口 370通信。用户接口 370允许用户执行推 压控制、摆动控制、起重控制和门控制。例如，接口 370可包括一个或多个操作者控制的输 入设备，比如操纵杆、控制杆、脚踏及其它致动器。用户接口 370经由输入设备接收操作者 输入并将数字运动命令输送到减轻模块500。例如，运动命令包括起重上升、起重下降、推压 延伸、推压缩回、顺时针摆动、逆时针摆动、铲斗门释放、左履带向前、左履带后退、右履带向 前和右履带后退。如将更详细地解释的。减轻模块500配置成增强操作者运动命令。在某 些实施方式中，减轻模块500还可通过用户接口 370向操作者提供反馈。例如，如果减轻模 块500正增强铲斗140的操作者控制，则减轻模块500可使用用户接口 370通知操作者自 动控制（例如，使用视觉、听觉或触觉反馈）。
[0034] 减轻模块500还与多个挖掘机位置传感器380通信以监控铲斗140和/或挖掘机 100的其它部件的位置和状态。例如，在某些实施方式中，减轻模块500联接到一个或多个 推压传感器、摆动传感器、起重传感器和挖掘机传感器。推压传感器指示柄135和铲斗140 的延伸或缩回水平。摆动传感器指示柄135的摆动角度。起重传感器基于起重缆绳155的 位置指示铲斗140的高度。挖掘机传感器指示铲斗门145是打开（用于倾卸）还是关闭。 挖掘机传感器还可以包括重量传感器、加速传感器和倾斜传感器以向减轻模块500提供关 于铲斗140内的载荷的另外的信息。在某些实施方式中，推压传感器、摆动传感器和起重传 感器中的一个或多个是指示用于移动铲斗140的马达（比如，推压马达、摆动马达和/或起 重马达）的绝对位置或相对运动的解算器。例如，为了指示相对运动，当起重马达旋转以缠 绕起重缆绳155来升高铲斗140时，起重传感器输出指示起重的旋转量和运动方向的数字 信号。减轻模块500将这些输出转变成铲斗140的高度位置、速度和/或加速度。
[0035] 如图2所示，在某些实施方式中，检测模块400也与用户接口 370通信。例如，用 户接口 370可包括显示器，且检测模块400可在显示器上显示检测的物体的指示。可替代 地或另外，如果检测模块400检测到挖掘机100的预定距离内的物体和/或如果检测模块 400检测到与检测的物体的可能碰撞，则检测模块400可在用户接口 370上显示警告。应理 解，在某些实施方式中，显示器与用户接口 370分开。此外，在某些实施方式中，显示器可以 是远离挖掘机100定位的控制台的一部分且可配置成经过一个或多个有线或无线连接与 检测模块400和/或减轻模块500通信。
[0036] 检测模块400还与用于检测物体的多个物体检测传感器390通信。传感器390可 包括数字摄像机和/或激光扫描仪（比如，2-D或3-D扫描仪）。例如，在某些实施方式中， 传感器390包括一个或多个SICKLD-MRS激光扫描仪。在其它实施方式中，可替代地或另外， 传感器390包括一个或多个TYSX G3 EVS AW立体摄像机。在其中传感器390包括激光扫 描仪和摄像机两者的实施方式中，如果摄像机不可用或没有正确地起作用，则检测模块400 可仅使用激光扫描仪，且反之亦然。在某些实施方式中，传感器390包括至少三个激光扫描 仪。一个扫描仪可定位在挖掘机100的左侧（由挖掘机操作者观看）（以跟踪材料向挖掘 机100的左侧的倾卸）。第二扫描仪可以定位在挖掘机100的右侧（被挖掘机操作者观看） (以跟踪材料向挖掘机100的右侧的倾卸）。第三扫描仪可定位在挖掘机100的后部以检 测大体位于挖掘机100后面的物体（例如，其可能与挖掘机100的后部的平衡重量碰撞）。
[0037] 如上面提到的，检测模块400和减轻模块500配置成分别从介质404和504获取 指令并除了别的之外执行涉及执行用于挖掘机1〇〇的控制过程和方法的指令。例如，图3 是示出由检测模块400执行的物体检测方法的流程图。如图3所示，检测模块400从物体 检测传感器390获得数据（在600)并基于该数据识别可能与挖掘机100碰撞的物体（例 如，可能与铲斗140碰撞的物体）。在某些实施方式中，检测模块400执行局部检测方法以 寻找随着铲斗140移动可能与铲斗140碰撞的在铲斗140的中间路径（即，在挖掘机100 周围的预定的感兴趣区域）中的物体。例如，在局部检测方法内，检测模块400可从聚焦在 挖掘机100周围的预定的感兴趣区域（比如，铲斗140的左侧或右侧）的传感器390获得 数据。在某些实施方式中，局部检测方法还分类检测的物体，比如检测的物体是不是挖掘机 100的一部分。
[0038] 可替代地或另外，检测模块400执行勘测挖掘机周围检测的物体的位置的全局检 测方法。全局检测方法可集中在比与局部检测方法相关联的感兴趣区域大的预定的感兴趣 区域。全局检测方法还可以尝试识别特定的物体。例如，全局检测方法可以确定检测的物 体是否是运输卡车的一部分、地面的一部分、墙壁的一部分等。
[0039] 在某些实施方式中，检测模块400配置成检测特定的物体，比如运输卡车175。为 了检测卡车175,检测模块400基于来自传感器390的数据识别平面（在602)。特别是，检 测模块400可配置成识别在与运输卡车175共同关联的配置中的一个或多个水平和/或垂 直平面。例如，如图1所示，运输卡车175通常包括在卡车175的驾驶室702上方延伸的近 似水平的栏板700。运输卡车175还包括近似水平的床176。此外，运输卡车175通常包括 垂直的前平面、两个垂直的侧平面和垂直的后平面。相应地，检测模块400可配置成基于由 传感器390提供的数据来识别多个平面，其可以对应于运输卡车175的前部、侧面、后部、栏 板700和床176。
[0040] 例如，如图4所示，运输卡车175的区域可以由多个界线702界定。界线702包括 界定卡车175的前端的前界线702a、界定卡车175的后端的后界线702b、界定远离挖掘机 100的卡车175的第一侧的远侧界线702c和界定较靠近挖掘机100的卡车的第二侧的近侧 界线702d。运输卡车175还可以由标记栏板700的后边缘的栏板线704界定。
[0041] 线702和704界定构成卡车175的各种平面。特别是，如图4所示，前界线702a、 远侧界线702c和后界线702b界定远侧侧壁平面706。类似地，前界线702a、近侧界线702d 和后界线702b界定近侧侧壁平面710。前界线702a、远侧界线702c和近侧界线702d也界 定前平面712,且后界线702b、远侧界线702c和近侧界线702d也界定后平面714。
[0042] 此外，栏板线704、前界线702a、远侧界线702c和近侧界线702d界定顶部栏板平 面716。栏板线704、远侧界线702c和近侧界线702d也界定侧栏板平面718。而且，栏板线 704、远侧界线702c、近侧界线702d和近侧界线702b界定床平面720。
[0043] 检测模块400配置成在与运输卡车175相关联的平面的配置匹配的配置中从物体 检测传感器390提供的数据来识别图4中图示的一个或多个平面的组。在某些实施方式中， 检测模块400配置成识别特定尺寸的平面。在其它实施方式中，检测模块400配置成识别 与尺寸无关的任何近似矩形的平面。在还有的其它实施方式中，检测模块400配置成识别 超出预定的尺寸阈值的任何矩形平面。应理解，并非图4示出的所有的平面需要为检测模 块400所检测以检测和识别运输卡车。例如，如果运输卡车的一部分在传感器390的范围 之外或者没有确切地匹配图4中示出的整个平面配置（比如，具有弯曲的栏板），则如果至 少最小数量的平面（例如，前部、后部和床平面）在正确的配置中被模块400检测到，检测 模块400可仍检测到卡车。还应理解，尽管本申请将平面描述为识别运输卡车，但是检测模 块400可以配置成检测特定的平面或其它形状和与其它类型的物体（比如履带105、墙壁、 人、在挖掘机100后部的平衡重量，等）相关联的相关配置。
[0044] 检测模块400使用识别的平面的位置（和尺寸）来确定检测到的物体是否对应于 运输卡车175 (在604)。例如，在某些实施方式中，检测模块400配置成从三维空间（即， x-y-z)中的点云检测平面。具体地，为了识别平面，模块400初始地移除预定高度下方（即， 预定z值下方）的所有点。模块400然后将其余的点投影到二维平面上，这导致二元二维 图像。模块400随后进行二元二维图像上的斑点检测。斑点检测使用数学算法来检测在性 能（比如，亮度、颜色等）上与周围区域不同的数字图像内的区域。因此，检测的区域或"斑 点"是数字图像的区域，在该区域中区域的某些性能是恒定的或在预定的值范围内变化的 (即，在斑点内的所有点是相似的）。
[0045] 在检测了图像中的所有斑点之后，检测模块400消除不符合预定尺寸（比如，预定 的宽度/长度比阈值）的任何斑点。检测模块400然后进行在每一个其余斑点上的线检测 以确定斑点是否包括通常与运输卡车175相关联的四个界线702和栏板线704。如果是，模 块400检查四个界线702形成矩形（比如，前界线702a和后界线702b平行和垂直于远侧 界线702c和近侧界线702d)且栏板线704平行于前界线702a和后界线702b。使用在点云 中的四个界线702的位置，检测模块400然后确定线702的高度（即，z值）。如果线的高 度指示线正确地界定配合预定的长度/宽度比阈值的近似水平的矩形（即，没有线在未预 期的z平面中），则模块400将在高度方向（S卩，z方向）上的线702和704中的每一个投 影到地面以形成三维空间中的平面。特别是，平面包括前平面712、远侧侧壁平面706、近侧 侧壁平面710、后平面714和侧栏板平面718。模块400还将来自栏板线704的平面投影到 前平面712,其界定顶部栏板平面716。此外，模块400将来自后平面714的顶部高度的平 面投影到栏板线704下方的高度的一半，这形成床平面720。
[0046] 在识别运输卡车175的平面之后，检测模块400可以基于平面界定运输卡车175 的位置、尺寸和定向。在某些实施方式中，检测模块400使用网格跟踪识别的物体（即，识 别的平面）的位置、定位和定向。检测模块400可以将网格提供给减轻模块500,且减轻模 块500可以使用网格确定铲斗140和检测的运输卡车175之间的可能碰撞并且任选地相应 地减轻碰撞。
[0047] 在某些实施方式中，检测模块400还基于识别的运输卡车175的平面界定排除的 体积（在606)。例如，根据由检测模块400识别的代表运输卡车175的特定平面，检测模块 400界定包括标记挖掘机100 (比如，铲斗140)不应进入的运输卡车140周围的区域的平面 的体积。例如，图5示出针对图4中示出的平面由检测模块400界定的排除的体积。如图5 所示，包括栏板平面716的排除的体积800是立方体形的且从平面向上无限地延伸。因此， 排除的体积800指示挖掘机100的任何一部分都不应定位在栏板700上方（例如，保护驾 驶室702中的操作者）。
[0048] 类似地，检测模块400可界定用于远侧侧壁平面706和近侧侧壁平面710的排除 的体积。例如，如图5所示，包括远侧侧壁平面706的体积802是三角形形状的且从卡车 175的远侧侧面向外延伸到地面。如图5所示，体积802形成为指示铲斗140到达卡车175 的侧面越近，铲斗140应升高到大于卡车175的侧面的高度以减轻与卡车175的远侧侧面 的碰撞。如图5所示，检测模块400可产生包括近侧侧壁平面710的类似形状的排除的体 积804。还如图5所示，检测模块400可界定包含后平面714的排除的体积806。例如，如 图5所示，体积806包括后平面714,是梯形形状的，且从卡车175的后部和侧面向外朝向 地面延伸。体积804被形成为图5所示的，以指示随着铲斗140接近卡车175的后部，铲斗 140应升高以减轻与卡车175的后部的碰撞。应理解，在某些实施方式中，除此之外或作为 替代，检测模块400可基于界定挖掘机100可安全地在其内操作的区域的识别的平面界定 包含的体积。
[0049] 在某些实施方式中，在检测模块400检测到一个或多个平面之后，检测模块400可 以锁定该平面。在该情形中，检测模块400不再尝试检测或识别物体。然而，锁定的平面可 用于测试减轻模块500,甚至在检测的物体被移除的情况下。例如，在运输卡车175在特定 位置被检测到之后，运输卡车175可物理地被移除同时减轻模块500被测试以基于之前由 检测模块400检测的卡车的锁定位置来确定模块500是否成功地增强了对铲斗140的控制 以避免与卡车175的碰撞。在这方面，减轻模块500的功能可被测试而不会在减轻模块500 出故障的情况下冒有对挖掘机100或运输卡车175破坏的危险。
[0050] 返回到图3,检测模块400向减轻模块500提供关于检测到的物体（例如，识别的 平面和排除的体积）的数据（在608)。在某些实施方式中，检测模块400还向用户接口 370 (或者对于挖掘机100是本地地或远离挖掘机100的单独的显示器）提供关于检测到的 物体的数据（在610)。用户接口 370可向用户显示关于检测到的物体的信息。例如，用户 接口 370可显示由检测模块400识别的平面和/或排除的体积，如图4和图5所示。如图4 所示，用户接口 370可显示当前由检测模块400检测的卡车平面在相对于挖掘机100的正 确位置。用户接口 370还可以选择性地显示排除的体积（如图5所示）。在某些实施方式 中，用户接口 370还显示挖掘机100的三维表示810。特别是，用户接口 370可显示表示了 铲斗的X、Y和Z位置、柄角度和铲斗140的当前摆动角度或方向的挖掘机100的表示810。 挖掘机100的正确位置和运动可从减轻模块500获得，如下面描述的，减轻模块500获得挖 掘机100的当前状态以确定可能的碰撞。当从检测模块400接收到更新数据时检测到的物 体的位置可以在用户接口 370上更新（例如，实质上连续地），且类似地，当从减轻模块500 接收到更新数据时由表示810示出的挖掘机100的当前位置可在用户接口上更新（例如， 实质上连续地）。
[0051] 可以各种方式显示平面和/或排除的体积。例如，在某些实施方式中，用户接口 370在邻近挖掘机100的区域的摄像机视图上叠加检测到的平面。特别是，包括宽角度透镜 比如鱼眼透镜的一个或多个静止的视频摄像机可安装在挖掘机100上且可用于捕捉挖掘 机100周围的一个或多个区域的图像。例如，图6示出利用四个数字摄像机在挖掘机周围 捕捉的四个图像。来自每一个摄像机的图像可以是展开的（例如，平坦化的）且可以对展 开的图像进行三维变换以产生挖掘机100的俯视图，如图7所示。
[0052] 俯视图还可以包括挖掘机100的来自于俯视图的图形表示820。在某些实施方式 中，表示820可以基于挖掘机100的当前状态（例如，铲斗140的当前摆动角度）来修改。 由检测模块400确定的平面和/或排除的体积可以叠加在挖掘机100的俯视图上。例如，如 图8所示，由检测模块400识别的表示运输卡车的平面830可以基于识别的运输卡车175相 对于挖掘机100的位置而叠加在俯视图上。操作者或其它观察者可以使用俯视图和叠加的 平面830来（i )核实检测到的物体是否真的是运输卡车和（ii )快速地确定挖掘机100 相对于识别的运输卡车或其它检测的物体的当前位置。在某些实施方式中，叠加的平面830 的特征（例如，形状、尺寸、颜色、动画等）可用于传达关于检测到的物体的信息。例如，如 果运输卡车175定位在围绕挖掘机100界定的预定的危险区域内（比如，距挖掘机0至10 英尺），则平面830可以被着色成红色。否则，平面可着色成黄色。而且，代表巨石、墙壁、人 和其它非卡车物体的检测到的平面830可以与代表运输卡车175的检测的平面830的颜色 不同的颜色来显示。利用叠加的平面830的不同颜色和其它特征可以向挖掘机操作者提供 挖掘机周围的快速参考，即使操作者仅通过他的或她的周边视觉观察显示的平面830或其 它图像。
[0053] 图9示出通过减轻模块500执行的减轻碰撞的方法。如图9所示，减轻模块500 从检测模块400获得关于检测的物体的数据（比如，位置、尺寸、尺度、分类、平面、排除的体 积，等）（在900)。减轻模块500还从挖掘机位置传感器380和用户接口 370获得数据（在 902)。减轻模块500使用获得的数据确定挖掘机100 (例如，铲斗140)的当前位置和挖掘 机（例如，铲斗140)的任何当前运动。如上面提到的，在某些实施方式中，减轻模块500向 检测模块400和/或用户接口 370提供用于向用户显示的关于挖掘机100的当前位置和行 进或运动方向的信息（在904)。
[0054] 减轻模块500还使用挖掘机100的当前位置和行进或运动方向来识别挖掘机100 比如铲斗140的一部分和检测的物体之间的可能碰撞（在906)。在某些实施方式中，减轻 模块基于铲斗140是否朝前接近并当前地定位在距检测的物体预定的距离内或与检测的 物体相关联的排除的体积内来识别可能的碰撞。例如，减轻模块500识别铲斗140的速度矢 量。在某些实施方式中，速度矢量与铲斗140的球销相关联。在其它实施方式中，模块500 识别多个速度矢量，比如铲斗140的多个外点的矢量。减轻模块500可以基于挖掘机100 的向前运动而产生一个或多个速度矢量。在产生一个或多个速度矢量之后，模块500进行 几何计算以无限地延伸速度矢量并确定是否任何矢量与由检测模块400识别的平面相交 (参见图4)。在其它实施方式中，模块500进行几何计算以确定是否任何矢量与由检测模 块400识别的排除的体积中的任何相交（参见图5)。
[0055] 如果存在交叉，则模块500识别出碰撞是可能的。当减轻模块500确定碰撞是可能 的时，减轻模块500可以产生一个或多个警报（例如，听觉的、视觉的或触觉的）并向挖掘 机操作者发出警报。减轻模块500还可以可选择地增强挖掘机100的控制以防止碰撞或减 小与检测到的物体碰撞的冲击速度（在908)。特别是，减轻模块500可以施加当铲斗140 太靠近检测到的物体时减慢铲斗140的力场。减轻模块500还可以施加当铲斗140靠近检 测到的物体时限制铲斗140的速度的速度场。
[0056] 例如，模块500可以产生在识别的交叉点处的排斥场。排斥场基于操作者输入修 改通过用户接口 370产生的运动命令。特别是，减轻模块500向运动命令施加排斥场以减 小命令。例如，减轻模块500接收运动命令，使用排斥场确定将命令减小多少，并输出新的 修改的运动命令。包括在挖掘机100中的一个或多个控制器接收运动命令或其一部分，并 基于运动命令操作挖掘机的一个或多个部件。例如，摆动柄135的控制器如在运动命令中 所指示的摆动柄135。
[0057] 应理解，因为速度矢量无限地延伸，所以甚至当铲斗140与检测到的物体相距较 大距离时，可以识别出交叉。然而，由减轻模块500施加的排斥场可以与最大半径和最小半 径相关联。如果检测到的交叉在最大半径之外，则减轻模块500不增强挖掘机100的控制 且因此，没有碰撞减轻发生。
[0058] 随着铲斗140更靠近排斥场的中心移动，排斥场向运动命令施加增加的负因素。 例如，当铲斗140首先在排斥场的最大半径内移动时，排斥场将运动命令减小一小的量，t匕 如近似1%。随着铲斗140更靠近排斥场的中心移动，排斥场将运动命令减小较大的量直 到铲斗140在最小的力半径内，此处，减小近似为100%且铲斗140停止。在某些实施方式 中，排斥场仅施加到铲斗140朝检测的物体的运动。因此，操作者可以仍手动地将铲斗140 移动离开检测的物体。在某些情形中，铲斗140可被多个排斥场（比如，与多个检测的物体 或检测的物体的平面相关联）排斥。多个排斥场防止了铲斗140在多个方向移动。然而， 在大部分情形中，铲斗140将仍能够在允许铲斗140移动离开检测的物体的至少一个方向 上手动地移动。
[0059] 因此，减轻模块500可防止挖掘机100和其它物体之间的碰撞或者可以减轻这种 碰撞和所产生的冲击的力。当防止或减轻碰撞（例如，通过限制挖掘机的运动或限制挖 掘机的运动速度）时，减轻模块500可利用听觉、视觉或触觉反馈向操作者提供警报（在 910)。警报通知操作者与挖掘机100的故障相比增强的控制是碰撞减轻控制的一部分（例 如，铲斗140的非响应性）。
[0060] 在某些实施方式中，与其它碰撞检测系统不同，本申请中描述的系统和方法不需 要对检测的物体比如运输卡车175的修改。特别是，在某些布置中，不需要在运输卡车175 中安装和与运输卡车175 -起使用向挖掘机100提供关于运输卡车175的位置的信息的传 感器或设备和相关的通信链接。例如，在某些现有的系统中，在运输卡车上安装了视觉基准 和其它被动/主动位置感测装备（比如，GPS设备），且挖掘机使用来自该装备的信息来跟 踪运输卡车的位置。消除对这种修改的需要减少了系统和方法的复杂性且减少了运输卡车 175的成本。
[0061] 类似地，某些现有的碰撞检测系统要求系统利用所有可利用的运输卡车（例如， 所有制造、模型等）的特性（例如，图像、尺寸、尺度、颜色等）进行编程。检测系统使用这 些编程的特性识别运输卡车。然而，这种类型的编程增加了系统的复杂性且要求大量的和 频繁的更新来在出现新的卡车或存在对现有运输卡车的修改时检测所有可利用的运输卡 车。相比之下，如上面描述的，检测模块400使用平面识别运输。利用通常与运输卡车相关 联的平面和平面配置增加了检测模块400的精度且消除了对大量编程和相关更新的需要。 此外，通过基于多于仅一个特性比如尺寸来检测物体，检测模块400更精确地检测运输卡 车。例如，使用上述的平面配置，检测模块400可以在运输卡车和尺寸与运输卡车类似的其 它装备件或其它环境部件（比如，大巨石）之间进行区分。
[0062] 应理解，尽管上述功能涉及检测和减轻挖掘机100 (即，铲斗140)和运输卡车175 之间的碰撞，但是相同的功能可用于检测和/或减轻挖掘机100的任何部件和任何类型的 物体之间的碰撞。例如，功能可用于检测和/或减轻履带105和铲斗140之间、履带105和 挖掘机100周围的物体比如巨石或人之间、挖掘机100后部的平衡重量和位于挖掘机100 后方的物体之间的碰撞，等等。而且，还应理解，在本申请中描述的控制器300的功能可以 与其它控制器组合以执行另外的功能。除此之外或可替代地，控制器300的功能还可以在 多于一个控制器之中进行分配。而且，在某些实施方式中，控制器300可以按各种模式操 作。例如，在一种模式中，控制器300可以检测可能的碰撞但是可以不增强铲斗140的控制 (即，仅操作检测模块400)。在该模式中，控制器300可以记录关于检测的物体和/或检测 的与检测到的物体的可能碰撞的信息和/或可以警告物体的操作者和/或可能的碰撞。
[0063] 还应理解，尽管控制器300的功能在上面关于两个模块（即，检测模块400和减轻 模块500)进行了描述，但是该功能可以按各种配置在两个模块之间分配。而且，在某些实 施方式中，如图10所示，控制器300包括执行检测模块400和减轻模块500的功能的组合 模块。
[0064] 本发明的各种特征和优点在所附权利要求中阐述。
【权利要求】
1. 一种用于提供挖掘机周围的区域的俯视图的系统，所述系统包括： 至少一个处理器，其配置成： 从安装在所述挖掘机上的至少一个传感器接收数据，所述数据涉及所述挖掘机周围的 所述区域， 基于所述数据识别多个平面， 确定所述多个平面是否定位在与运输卡车相关联的预定配置中，以及 如果所述多个平面定位在所述预定配置中，则将所述多个平面叠加在所述挖掘机和所 述区域的俯视图图像上。
2. 根据权利要求1所述的系统，其中所述至少一个处理器还配置成基于铲斗和所述多 个平面中的至少一个之间的距离来设定叠加的多个平面中的至少一个的颜色。
3. 根据权利要求1所述的系统，其中所述至少一个处理器还配置成制作叠加的多个平 面中的至少一个的动画。
4. 根据权利要求1所述的系统，其中所述至少一个处理器还配置成修改叠加的多个平 面中的至少一个以警告所述挖掘机的操作者所述铲斗和所述运输卡车之间的可能碰撞。
5. 根据权利要求1所述的系统，其中所述至少一个处理器还配置成将示出所述挖掘机 的俯视图的图像置加在所述俯视图图像上。
6. 根据权利要求4所述的系统，其中所述至少一个处理器还配置成基于所述铲斗的当 前位置修改示出所述挖掘机的俯视图的图像。
7. 根据权利要求1所述的系统，其中所述至少一个处理器还配置成在包括在所述挖掘 机中的用户接口上显示所述俯视图图像。
8. 根据权利要求1所述的系统，其中所述至少一个处理器还配置成在远离所述挖掘机 的用户接口上显示所述俯视图图像。
9. 根据权利要求1所述的系统，其中所述至少一个传感器包括至少一个激光扫描仪。
10. 根据权利要求1所述的系统，其中所述至少一个传感器包括至少一个立体摄像机。
11. 根据权利要求1所述的系统，其中所述至少一个传感器包括至少一个激光扫描仪 和至少一个立体摄像机。
12. 根据权利要求1所述的系统，其中所述至少一个处理器配置成通过确定所述多个 平面是否包括水平栏板平面、水平卡车床平面、垂直前平面、两个垂直侧平面和一垂直后平 面来确定所述多个平面是否定位在所述预定配置中。
13. -种用于提供工业机器周围的区域的俯视图的方法，所述方法包括： 在至少一个处理器处从安装在所述工业机器上的至少一个传感器接收数据，所述数据 涉及所述工业机器周围的所述区域， 通过所述至少一个处理器基于所述数据识别多个平面， 通过所述至少一个处理器确定所述多个平面是否定位在与预定的物理物体相关联的 预定配置中，以及 如果所述多个平面定位在所述预定配置中，则将所述多个平面叠加在所述工业机器和 所述区域的俯视图图像上。
14. 根据权利要求13所述的方法，还包括基于所述工业机器的至少一个可移动的部件 和叠加的多个平面中的至少一个之间的距离来设定叠加的多个平面中的至少一个的颜色。
15. 根据权利要求13所述的方法，还包括制作叠加的多个平面中的至少一个的动画。
16. 根据权利要求13所述的方法，还包括修改叠加的多个平面中的至少一个以警告所 述挖掘机的操作者所述工业机器的至少一个可移动的部件和所述物理物体之间的可能碰 撞。
17. 根据权利要求13所述的方法，还包括将示出所述工业机器的俯视图的图像叠加在 所述俯视图图像上。
18. 根据权利要求17所述的方法，还包括基于所述工业机器的至少一个可移动的部件 的当前位置修改示出所述工业机器的俯视图的图像。
19. 根据权利要求13所述的方法，还包括在包括在所述挖掘机中的用户接口上显示所 述俯视图图像。
20. 根据权利要求13所述的方法，还包括在远离所述挖掘机的用户接口上显示所述俯 视图图像。
21. 根据权利要求13所述的方法，其中从至少一个传感器接收数据包括从激光扫描仪 和立体摄像机中的至少一个接收数据。
22. 根据权利要求13所述的方法，其中确定多个平面是否定位在预定配置中包括确定 所述多个平面是否包括水平栏板平面、水平卡车床平面、垂直前平面、两个垂直侧平面和一 垂直后平面。
【文档编号】E02F9/20GK104302848SQ201380017457
【公开日】2015年1月21日 申请日期:2013年3月29日 优先权日:2012年3月29日
【发明者】小布赖恩·K·哈格雷夫, 马修·J·赖兰, 瑞安·A·穆诺兹, 史蒂文·科克斯利恩, 保罗·西斯尼罗斯 申请人:哈尼施费格尔技术公司