在操作推土机的同时测量和绘制地形的方法和控制系统的制作方法
【专利摘要】在操作推土机的同时测量和绘制地形的方法和控制系统。推土机(1)包括：驱动单元，包括一组驱动轮；电机，与驱动轮中的至少一个连接以提供推土机的可移动性；铲刀，改变地形的表面；至少一个相机，拍摄环境的图像，以已知方式相对于推土机设置并且对准；控制和处理单元，所述方法包括：将推土机在地形中移动，同时通过用至少一个相机拍摄地形片段的图像序列使得图像序列中的至少两个图像覆盖地形中的大量相同点来生成图像数据的集合，地形片段是在移动的同时由至少一个相机的各个位置处的所述相机的视场限定的，向图像数据的集合应用同时定位和绘制算法或立体摄影测量算法，从而推导地形数据，通过向地形数据应用绝对标度信息来缩放点云。
【专利说明】
在操作推土机的同时测量和绘制地形的方法和控制系统
技术领域
[0001 ]本发明涉及包括至少一个相机的方法和控制系统，相机用于在正在移动的推土机的帮助下生成地形信息。
【背景技术】
[0002]诸如推土机的一般地理位置改变机器通常包括提供众多功能的监测系统和传感器，用它们检测并且避免障碍物并且将机器定位在地形中。现有的系统主要被设计成向车辆的操作者提供地形信息，其中，该信息是通过监测材料运输和工作周期而推导出的。
[0003]在US 5，964，298和US 5，925，085中得知使用用于确定铲刀相对于工作地点的位置信息的定位系统的掘土机。在得知工作地点的指定的实际表面轮廓的情况下，重型推土机的驾驶员可见的显示装置显示出工作地点地图上的两个表面轮廓之间的差别。位置系统允许将轮廓差别数据与当前位置相关联。
[0004]另外，在US5，646，844中得知以下方法:该方法从多个机器提供位置信息，这些位置信息被共用以生成公共的、经动态更新的地点数据库，该数据库表明机器的相对位置和实时的地点进展。
[0005]此外，从US 2011/0169949和US 8，478，492中得知用于施工车辆的控制系统，控制系统包括相机作为基本组件，相机观察车辆上的器械并且确定其位置和取向。
[0006]这些系统共享地使用卫星定位系统中，用于将收集到的数据分派给位置记录。
【发明内容】
[0007]本发明的目的是提供一种用于推土机的改进型工作地点监测系统，该监测系统使用包括至少一个相机的控制系统，其中，推土机(特别地，推土机的铲刀)以更有效且更精确地将地形成形的方式来移动。
[0008]此外，本发明的目的是提供一种改进型推土机，该推土机能够在应用推土过程的同时推导地形信息，以提供地形中的精确取向和定位。
[0009]本发明的又一个目的是提供与各个地形片段的相对位置信息相关的地形状况的有关信息。特别地，地形信息与绝对位置信息关联和/或被提供到推土机的操作者。
[0010]本发明的其它目的是提供用于此推土机的相应导航功能，以使推土机能够自动受控制地移动。
[0011]此外，本发明的目的是在不需要操作者干预的情况下使用推土机，特别地，提供对推土机的自发控制。该目的还是指特别地通过使用地上地形信息来控制和导航推土机。
[0012]这些目的是通过实现独立权利要求书的特征来实现的。在从属的专利权利要求中描述了进一步以替代或有利方式开发本发明的特征。
[0013]本发明涉及一种在操作推土机的同时生成缩放(scaled)地形信息的方法，所述推土机包括:
[0014]?驱动单元，其包括
[0015]□—组驱动轮，其特别地是连续履带的部分，以及
[0016]□电机，其与所述驱动轮中的至少一个连接，以提供所述推土机的可移动性，
[0017].铲刀，其用于改变所述地形的表面，
[0018].至少一个相机，其用于拍摄环境的图像，特别地所述地形的图像，所述相机以已知方式相对于所述推土机设置并且对准，以及
[0019]?控制和处理单元，
[0020]其中，所述方法包括:
[0021 ].将所述推土机在所述地形中移动，同时通过用所述至少一个相机拍摄地形片段的图像序列使得所述图像序列中的至少两个图像特别地连续图像覆盖所述地形中的大量相同点来生成图像数据的集合，其中，所述地形片段是在移动的同时由所述至少一个相机的各个位置处的所述相机的视场限定的，
[0022].并且向所述图像数据的集合应用
[0023]□同时定位和绘制(SLAM)算法或者
[0024]□立体摄影测量算法
[0025]从而推导出地形数据，所述地形数据包括
[0026]□点云，其代表拍摄的所述地形，以及
[0027]□位置数据，其与所述地形中的所述推土机的相对位置相关，以及
[0028].通过向所述地形数据应用绝对标度信息来缩放所述点云，特别地，缩放所述位置数据。
[0029]所述位置数据与地形中的推土机的实际(相对)位置相关。拍摄的地形片段中的每个与推土机的各个位置相关，因为用于拍摄这各个图像的相机的姿势是已知的并且能从图像序列推导出推土机的相对位置。换句话讲，所述地形数据可包括关于推土机的位置和拍摄的地形片段的位置的位置信息。
[0030]所述位置数据的缩放特别地将被理解为限定坐标系中的相应位置，S卩，根据位置来推导真实坐标(x，y和z)。
[0031]此外，所述位置数据特别地与地形中的推土机的取向相关，因此可提供以推土机为参考的6DoF(六个自由度)信息。
[0032]同时定位和绘制(SLAM)是同时特别地基于环境内的静态特征或地标构建环境(地形)的地图并且使用这个地图来得到车辆(推土机)的位置估计的过程。车辆依赖于自身的能力从通过安装在推土机上的相机返回的数据中提取有用的导航信息。
[0033]收集地形信息的方法先开始推土机的未知位置并且没有例如地形中的其位置或地标位置的先验知识。
[0034]基于视觉的系统用于向SLAM算法提供数据来形成用于推土机的导航系统。也被称为可视SLAM(VSLAM)的这种技术使用相机进行被动感测，以得到低电力和动态定位系统。使用图像处理在相机获取的图像中定位特征，特别地，不同(连续)图像中的地形的相同点。
[0035]这些特征被输入SLAM算法，SLAM算法然后能够准确地计算各特征的三维位置，因此特别地能够随着推土机围绕地形移动来开始创建三维地图。该系统可创建其环境的地图，同时使用该地图来定位它本身。
[0036]推土机的相机可被实现为全景相机，S卩，提供围绕至少一个轴的直至360°的视场的相机。此相机特别地通过特定光学器件(如同通过具有特定设计的镜头)来提供相当大的视场和/或包括某种反射镜用于将相机的初始视场分开和/或放大。特别地，全景相机包括用于提供直至360°的视场的抛物线或锥形的反射镜。
[0037]根据本发明的特定实施方式，通过从所述推土机的传感器单元接收移动数据来推导所述绝对标度信息，所述传感器单元提供关于通过移动所述推土机所覆盖的距离的信息，所述传感器单元被设计为
[0038].传感器，其用于检测所述推土机的所述轮中的至少一个的转数，和/或
[0039].距离测量单元，特别地，DISTO模块，其用于通过发射激光并且接收被所述对象反射的激光来测量与对象的距离，和/或
[0040].测距相机，特别地，RIM相机，和/或[0041 ].惯性测量单元(BlU)，和/或
[0042]?接收单元，其用于
[0043]□全球导航卫星系统(GNSS)信号，和/或
[0044]□差分全球导航卫星系统(DGNSS)信号。
[0045]根据本发明的特定实施方式，通过拍摄所述地形中的已知外观和/或位置的参考主体的参考图像并且通过基于拍摄的参考图像中的所述参考主体的外观和特别地所述相机的已知放大比率进行图像处理推导绝对标度信息来推导绝对标度信息，特别地，其中，所述参考主体的尺寸、空间取向和/或形状是预先已知的。
[0046]通过对地标(参考对象)的相对观察，根据本发明的方法，提供车辆位置的估计和地标位置的估计的同时计算。在继续运动的同时，车辆创建地标的完整地图并且使用这些来提供车辆位置的连续估计。通过跟踪车辆和环境中的可识别特征(对象)之间的相对位置，可同时估计车辆的位置和特征的位置二者。在没有关于推土车位置的外部信息的情况下，这个算法表现出具有在未知环境中进行导航所必需工具的自发系统。
[0047]关于推土机生成的数据的处理，根据本发明，将所述图像数据的集合和/或所述地形数据发送到数据库，所述图像数据的集合和/或所述地形数据被存储在所述数据库中，其中，
[0048].所述推土机包括含数据库的存储单元，和/或
[0049].用于控制所述推土机的远程控制单元包括含数据库的存储单元，和/或
[0050].所述数据库是通过数据云来实施的，特别地存储在远程服务器上，特别地，其中，
[0051]□基于所述同时定位和绘制(SLAM)算法或所述立体摄影测量算法，通过云计算用所述图像数据推导所述地形数据，和/或
[0052]□通过云计算来执行所述点云的缩放。
[0053]根据本发明的其它实施方式，
[0054]借助所述工作机器提供的网络，特别地，分布式网络，
[0055].将所述图像数据和/或所述地形数据发送到位于所述地形中的其它工作机器，和/或
[0056].从位于所述地形中的其它工作机器接收图像数据和/或地形数据
[0057]其中，各工作机器包括以下用途的装置
[0058].用于处理所述图像数据和/或地形数据，以更新当前地形状态和/或
[0059]?将所述图像数据和所述地形数据发送到数据库和/或
[0060]?发送和/或参考与所述地形中的其它工作机器的相对位置相关的位置数据。
[0061]作为工地上的各工作机器将它收集的地形数据发送到特定中央数据库的替代方式，工作机器用点对点网络互连，尽管至少一个数据库可以是没有内置于机器或车辆中的部分。这个联网布置的主要优点是，与网络连接的所有工作机器-包括至少一个数据库-实时更新每个个体工作机器收集的地形信息。不同于集中式网络，在此分布式网络中，用于使所有点被更新的将连接的点的最少量是I个。这样可一直保持至少一个数据库，即使并非所有工作机器与它直接连接。然而，网络不限于所描述的网络类型。
[0062]根据本发明的其它特定实施方式，从所述图像数据的集合和/或从所述地形数据中提取代表至少一个指定地形片段的实际状态的至少一个状态参数。然后，将所述至少一个状态参数与各个状态下的预定阈值进行比较，以及基于所述预定阈值和所述状态参数的比较来推导构造信息。
[0063]所述状态参数特别地提供地形因子的群组中的至少一个地形因子，所述地形因子的群组包括至少以下的因子:
[0064]?所述地形的粒度，
[0065]?所述地形的质地，
[0066]?所述地形的亮度或颜色，
[0067]?所述地形的湿度，
[0068]?所述地形的平坦度，
[0069].所述地形的体积，以及
[0070].所述地形的高度。
[0071]根据关于构造信息的更特定实施方式，所述构造信息特别地与相关推荐一起被提供到所述推土机的用户，所述相关推荐关于相应至少一个指定地形片段的建议的推土。
[0072]根据本发明的其它实施方式，基于所述地形数据，特别地，基于所述点云，移动所述推土机和/或铲刀，特别地，自动移动，其中，
[0073].所述地形数据代表拍摄的所述地形的至少一种实际形状，
[0074].提供代表所述地形的目标形状的构造数据，以及
[0075]?基于所述构造数据来引导所述铲刀，使得所述地形的实际形状被转移到目标形状。
[0076]特别地，所述推土机基于所述地形数据设置在所述地形中的指定位置和/或基于所述地形数据和所述构造数据根据地形的指定形状来引导所述铲刀。
[0077]这个功能性提供了推土机的自主驱动和/或推土机的铲刀的自动运动。特别地，构造数据被作为代表地面的至少一个指定形状的数字数据(例如，CAD数据)来提供。优选地，用一方面的指定数字地形模型和另一方面的连续创建和更新的数字地形3D模型(带有海拔高度信息的数字地形地图)推导构造数据。
[0078]基于所述点云，特别地基于所述地形数据，特别地基于.通过其它工作机器收集的并且.借助网络得到的所述地形数据，创建数字地形地图，特别地，数字地形3D模型。
[0079]因此，本发明的以上方面还提供了基于推土机的至少一个相机收集的推导出的构造信息来控制地形中的其它工作机器。
[0080]此外，根据本发明的推土机可包括确定其实际位置。为此，通过将拍摄的至少一个定位图像的推导出的定位图像数据与预先知道的图像数据进行比较来确定推土机的位置。
[0081]特别地，确定推土机的位置，其中，用定位图像数据，推导限定的特性集合(特别地，限定特性的各个幅度的各个值的集合)，并且将其与参考特性的集合(特别地，特性的相关参考值)进行比较，所述参考特性的集合与预先知道的图像数据相关，由于参考特性的各集合与地形中定义的位置相关联，因此通过进行该比较来推导地形中的推土机位置。
[0082]根据本发明的另一个实施方式，将识别到这些对象，将从数字地形图中排除或减去这些对象，特别地，移动对象，特别地，推土机的部分。
[0083]例如，在推土机自主移动的同时，识别构成所述推土机的路径中，特别地所述推土机的推荐路径中的障碍物的对象，由此自动地避免所述推土机与识别到的对象发生碰撞。
[0084]识别还可应用于将从所述数字地形地图中排除或减去的对象，特别地，移动对象，特别地，所述推土机本身的部分。
[0085]识别保持接收至少一个其它工作机器将提供的处理的地形片段，特别地，所述地形片段的当前状态，可致使借助网络将信号发送到所述至少一个其它工作机器，特别地，弓丨导所述至少一个其它工作机器在相应地形片段中履行对应的处理。
[0086]本发明还涉及一种用于推土机的控制系统，所述推土机包括至少驱动单元，所述驱动单元包括:一组驱动轮，其特别地是连续履带的部分；以及电机，其与所述驱动轮中的至少一个连接，以提供所述推土机的可移动性；以及铲刀，其用于改变所述地形的表面，所述控制系统包括至少一个相机，其用于拍摄地形的图像，所述相机以相对于所述推土机的已知方式设置并且对准；以及控制和处理单元，其用于控制所述推土机。
[0087]此外，用于所述推土机的所述控制系统提供适于通过执行分别地控制以下步骤来生成缩放地形信息的功能:
[0088]?在所述地形中移动推土机的同时，同时通过用所述相机拍摄地形片段的图像序列来生成图像数据的集合，使得所述图像序列中的至少两个图像特别地连续图像覆盖所述地形中的大量相同点，其中，所述地形片段是在移动的同时在所述相机的各个位置处由所述相机的视场区域限定的，
[0089].向所述图像数据的集合应用
[0090]□同时定位和绘制(SLAM)算法或者
[0091]□立体摄影测量算法
[0092]从而推导出地形数据，所述地形数据包括
[0093]□点云，其代表拍摄的所述地形，以及
[0094]□位置数据，其与所述地形中的所述推土机的相对位置相关，以及
[0095]?通过向地形数据应用绝对标度信息来缩放所述点云，特别地，缩放位置数据。
[0096]特别地，用于推土机的所述控制系统被设计成，使得能通过所述控制系统由所述推土机执行如上所列出的方法，特别地，其中，通过所述控制和处理单元来提供所述方法的执行。
[0097]特别地，所述控制系统包括
[0098]?计数传感器，其用于对所述推土机的所述轮特别地至少一个驱动轮的转数进行计数，所述计数传感器提供所述绝对标度信息，和/或
[0099].距离测量单元，特别地，DISTO模块，其用于通过发射激光并且接收被所述对象反射的激光来测量与对象的距离，和/或
[0100].测距相机，特别地，RIM相机，和/或
[0101]?旋转装置，其用于旋转所述相机，使得所述相机能在指定方向上对准，以便拍摄提供所述绝对标度信息的地形片段或参考主体，和/或
[0102].至少一个倾斜传感器，特别地，陀螺仪，和/或
[0103].罗盘，和/或
[0104].至少一个廓线仪，和/或
[0105].至少一个扫描仪，和/或
[0106].至少一个惯性传感器，其将设置在所述铲刀上，和/或
[0107]?接收单元，其用于
[0108]□全球导航卫星系统(GNSS)信号，和/或[0?09] □差分全球导航卫星系统(DGNSS)信号。
[0110]此外，所述控制系统特别地包括:显示器，其用于向所述推土机的操作者展示用于改变所述地形的推荐，和/或控制装置，其用于控制所述推土机的路径和/或所述铲刀的位置。
[0111]此外，本发明涉及一种具有计算机可执行指令的计算机程序产品，所述计算机可执行指令用于特别地当在根据以上描述的控制系统上运行所述计算机可执行指令时控制并且执行以上方法。
【附图说明】
[0112]以下，参照附图中示意性示出的工作示例，仅仅以举例的方式，更详细地描述或说明根据本发明的方法和装置。具体地，
[0113]图1a示出包括相机和控制单元的根据本发明的推土机；
[0114]图1b示出包括两个对准的相机和控制单元的根据本发明的其它推土机；
[0115]图1c示出包括两个对向的相机和控制单元的根据本发明的其它推土机；
[0116]图1d示出包括四个相机和控制单元的根据本发明的其它推土机；
[0117]图2a示出从空间透视看的根据图1a的推土机；
[0118]图2b示出从空间透视看的根据图1b的推土机；
[0119]图2c示出从空间透视看的根据图1c的推土机；
[0120]图2d示出从空间透视看的根据图1d的推土机；
[0121]图3示出从空间透视看的工作地点，包括具有整体数据库的中间站和工作机器(特别地，推土机)，中间站和工作机器建立了用于交换图像数据和/或地形数据的分布式网络。
【具体实施方式】
[0122]图1a示出具有控制系统的推土机I，该控制系统包括相机2和控制单元3。推土机还包括铲刀4和带有轮子6的连续履带5。相机2具有视场7并且附接到推土机I的前方，用于在推土机正在地形中移动的同时，拍摄地形(环境)的图像(生成图像数据的集合)。相机2基本上指向推土机I的前方。相机2被设置用于拍摄地形的图像序列，其中，选择用于拍摄图像的速率(帧/秒)，使得两个(连续)图像覆盖地形中的大量相同点，g卩，帧速率特别地能根据推土机I的速率来调节。
[0123]在进行推土或驾驶到下一个工作的同时连续改变推土机I的位置(和取向)并且相机2的位置(和取向)也正在改变时，拍摄的各图像覆盖不同的地形片段。拍摄的地形片段因此是由相机7的各个姿势和视场区域来限定的。
[0124]通过对控制和处理单元3执行相应算法，基于一系列(连续)图像来执行SLAM(同时定位和绘制)。处理单元3可与推土机I的控制单元3形成一体或者可被实施为从推土机接收数据(借助无线通信)并且将处理后的数据或控制信号提供到推土机I的远程单元(未示出)，例如，控制和处理单元3与推土机I的远程或现场控制器(未示出)形成一体。通过应用SLAM算法来产生地形数据。中央数据库8(未示出)例如可包括这种远程单元、远程控制器或现场控制器。
[0125]在执行SLAM算法的背景下，用图像数据的集合(拍摄的图像)来计算点云形式的地形的表面的空间表示(地形数据)，例如，3D模型。另选地，-因为绘制和定位的原理对应于SLAM原理-也位于本发明的范围内，可通过定义的运动恢复结构(SfM)算法来进行这个计算，其中，该算法可以是用代码存储的程序的部分。SLAM或SfM算法可以基于带有观察源的透射或仿射相机投影模型，这些观察源包括图像对、图像元组和/或视频序列、和诸如稀疏特征对应性、稠密光流场、线或曲线、或没有从图像中提取任何标记的直接SfM技术的标记类型。
[0126]在本发明的背景下，SLAM和SfM将被认为是用于生成地形信息的等同方法。
[0127]例如，描述了包括以下步骤的以下算法:发现图像数据集合的至少一些图像中的多个图像对应性(地形中的相同点)。这是使用诸如SIFT、SURF、BRISK、BRIEF等的特征检测和匹配算法来进行。另选地，就视频序列而言，可针对各视频帧使用跟踪算法来发现对应性。可使用例如Kanade-Lucas-Tomasi (KLT)特征跟踪器或其它跟踪算法来进行跟踪。
[0128]使用一对连续图像，在本地坐标系中确定相对相机姿势(S卩，位置和取向)。算法使用鲁棒搜索来发现这对图像的相机2的3D平移和旋转，例如，第二图像相对于第一图像的相对位置和取向。根据这些位置，使用前方交会法计算这两个图像中看到的所有特征的3D位置。这样提供了这两个初始图像(帧)的3D点的集合和位置和取向。
[0129]在下一个步骤中，在现有的重构中添加额外图像(帧)。通过使用已经重构的3D点，可使用后方交会来计算在拍摄图像期间相机2呈现的位置和取向。在添加新图像之后，使用重构帧中的所有测量来精炼3D点的位置。
[0130]特别地，作为最终或中间步骤，使用光束平差法来精炼整体解决方案。算法的这个部分是重新投影误差的非线性最小平方极小化。这样将优化所有相机位置和所有3D点的位置和取向。
[0131]如果记录包含同一位置的多个图像，例如，当推土机停止移动时，将来自同一位置的这些图像匹配。这样将增大整体准确度。
[0132]另选地，可使用其它SLAM算法来恢复相机2的位置和取向。为了进一步加速进程，在记录数据期间，图像可被传递到控制和评价单元3。
[0133]在方法的其它发展形式中，可通过用诸如稠密匹配算法(例如，深度图融合或平面扫描)的算法计算稠密点云(例如，各图像像素的3D坐标)来实现地形表面的空间表示的其它改进。
[0134]在下一个步骤中，在关于已知绝对参考物(例如，塔、建筑物、电线杆或桥)的信息的帮助下，特别地针对所拍摄的地形片段(地形的空间表示)中的每个，缩放点云，特别地，推土机的位置数据。有利地，使用已知的参考主体来确定地形数据的垂直和水平取向二者。
[0135]根据本发明的特定实施方式，通过拍摄和处理已知形状和/或结构(特别地，细长的参考主体)的图像，能够进行这种地形数据的缩放，细长参考主体例如由于其细长形状而限定例如长轴并且包括至少两个定义的可视觉上检测到的标记，由此，在参考主体上限定至少两个点。参考主体可被设计为例如标度条或彼此间具有限定距离的两个或更多个光学标记的条。
[0136]已知至少两个点之间的绝对距离，特别地，还有这至少两个点相对于主体长轴的空间关系。这个参考主体被布置在将被进行推土的地形的上面或者旁边。在相机2的帮助下，对至少一些图像连同所拍摄地形图像或者除了所拍摄地形图像之外进行参考主体的成像。例如，另外，基于SLAM评价，针对这至少两个点确定相对于地形的至少两个空间位置。然后，基于确定的至少两个空间位置之间的测得距离和参考主体的至少两个点之间的已知绝对距离来测量点云。
[0137]还可通过图像中能检测到的具有已知距离的地形中定义的点或对象来形成此参考主体。可通过用诸如测距计(电子测距计，EDM)的测量装置进行测量，推导出此已知距离，测量装置可以例如DISTO模块的形式集成在推土机中。可通过具有与周围环境不同的性质的边缘或点来限定此视觉上能检测到的点。视觉上能检测到的点还可包括诸如色斑或如同圆形的几何形状的光学标记。例如，因此可通过已知尺寸(诸如，对象或其部分的高度或宽度)的对象来形成参考主体。
[0138]根据本发明的另一个特定实施方式，通过在生成图像数据集合的同时(也就是说，在移动的同时)测量推土机I的行进距离来推导绝对标度信息。
[0139]出于此目的，推土机I包括测量单元，测量单元用于检测推土机I(特别地，连续履带5)的轮子6中的至少一个的旋转或旋转状态。此单元可被实施为计数传感器，对轮子6或连续履带5中的一者的旋转转数进行计数，或者可被构建为角度检测单元，用于连续确定轮子6之一相对于推土机I的角位置。此单元可被具体制定为角度编码器。另外，-在推土机包括连续履带5的情况下-为了确定行驶距离要检测并且留意右连续履带和左连续履带之间的相对移动，通过这种手段，能够将推土机转向，以及-在推土机只包括单个轮子的情况下_为了确定行驶距离要检测并且留意至少一个转向轴的对准。
[0140]此外，各个轮子6的尺寸(例如，直径、半径或周长)是已知的，因此能够基于轮子旋转的检测和轮子6的尺寸来推导推土机I的移动距离。换句话讲，提供地形中的推土机I的位置改变的绝对测量。
[0141]将相机拍摄的图像或各个地形片段与对应测得的移动距离相关联。据此，通过将测得距离与推导出的点云和/或与推土机I的位置相关的位置数据进行比较，能缩放基于所拍摄图像的地形数据(点云)。在其它步骤中，能处理地形的缩放地图。
[0142]因此，根据用于提供绝对标度的替代形式中的每个，给出用于收集缩放地形信息并同时生成地形地图的有效方法。因此，推土机I可以是未知地形中的位置，其中，通过基于在推土机I在地形中移动的同时拍摄的图像执行SLAM，能实现推土机I的导航。
[0143]图1b中的推土机I的控制系统装配有两个相机2、2’和控制单元3。相机2具有视场7并且相机2’具有视场7’。视场7和7’重叠，使得相机共享它们都进行拍摄的地形片段。这两个相机附接到推土机I的前方，用于在推土机在地形中移动(生成图像数据的集合)的同时拍摄地形(环境)的图像。相机2、2’被设置成拍摄地形的图像序列，其中，用于拍摄图像的速率(帧/秒)特别地能根据推土机I的速率来调节。
[0144]在相机2、2’相对于彼此对准并且相机2、2’相对于推土机I的位置已知(摄影基线)的情况下，通过立体摄影测量的一般原理，可测量与目标物的距离，由此，使用所拍摄图片的特征元素作为进行计算的基础。
[0145]图1c示出具有彼此对准的两个相机2’、2〃的推土机，S卩，一个朝向推土机的前方，一个朝向推土机的后方。对于视场7，相机2具有将被推土的地形片段的视图10，而对于视场7’，相机2〃具有已经被推土的地形片段的视图10’。连同关于推土机行进的距离一起，控制单元3可计算已移动的土方量和/或查看是否在给定构造容差的范围内履行了推土步骤。还可使用第二相机2〃给出对通过推土机的控制系统并且可选地在分配在地形中的其它工作机器的帮助下构建的地图或3D模型的立即更新。当推土机I实际在向前方向上推土时，这个功能是尤其可应用的。
[0146]图1d示出本发明的第四实施方式，S卩，推土机带有四个相机2、2’、2”、2”’。根据图lb，一侧的相机2和2’和另一侧的相机2”和2”’共享它们视场的部分。因此，可视范围7和7’重叠并且指向推土机的前方，可视范围7”和7”’重叠并且指向推土机的后方。用这种组装，控制单元根据图1b和图1c的描述提供功能性。
[0147]这个监测构思可扩展到推土机周围的任何其它方向，而在临界情况下，该构思在控制系统可使用的360°全景监测系统中将不再适用。
[0148]图2a、图2b、图2c和图2d示出相应从从空间透视看的图la、图lb、图1c和图1d的实施方式。
[0149]相机的观察范围不可避免地拍摄到如同例如实际推土机的铲刀4、快速移动经过推土机前方的同事或其它移动的工作机器一样的移动或非移动对象，而这些对象并非待创建的地图或3D模型的部分。可在对象识别功能或者通过网络进行的(移动的工作机器之间的)直接通信过程的帮助下，从相机拍摄的图像数据或点云中减去这些对象。
[0150]因此，根据本发明的控制系统可用于避障目的。如有必要，检测到的和/或识别到的有可能阻挡推土机道路并且造成碰撞的对象会促使推土机生成警报信号和/或停止移动。
[0151]图3示出从空间透视看的工地(地形)。包括整体数据库(中央数据库)的中央局8可以是许多工作机器1、I’、I”、I1生成的分布式网络的部分，这些工作机器特别地是根据本发明的推土机。通过双虚线指示网络。优选地，各网络点保持与每个其它网络点的双向连接。因有障碍物9，9n，所有一些工作机器无法与网络的其它构件建立连接。通过细单虚线和相应干扰点处的禁止符号来指示这些受干扰或被中断的连接。除了地球的土堆之外，其它可能的障碍物可以是建筑或森林。通过与范围内的所有网络构件共享信息(图像数据或地形数据)的事实，这种网络类型对于障碍物是稳健的并且即使不与中央站8直接连接，也保持每个网络构件更新关于共享的信息。例如，因有山丘9，推土机I没有借助推土机I’、1”和I1与基站8直接连接，而是与其间接连接。
[0152]中央局站8可承担用借助分布式网络接收并且随后被保存在其整体数据库中的信息来整体管理工地。然而，每个网络构件(即，根据本发明的包括控制系统的每个推土机或提供相应信息的其它工作机)可包括此整体数据库以及处理接收到的数据所必需的处理单元。其它工作机器还可以是诸如挖掘机、运料车、辊压机或装载机的土方机器，而非推土机。
[0153]根据本发明的另一个方面，控制系统通过将地形的实际状态与地形的指定形状进行比较来识别和分派土方工作。如果例如在地形片段被推土之后，下一个构造步骤将是挖洞，可通过控制系统借助网络请求更适于这个工作的合适的工作机器(挖掘机)。
【主权项】
1.一种在操作推土机(I)的同时生成缩放地形信息的方法，所述推土机(I)包括: ?驱动单元，其包括 □一组驱动轮(5)，其特别地是连续履带(6)的部分，以及 □电机，其与所述驱动轮(5)中的至少一个连接，以提供所述推土机(I)的可移动性， ?铲刀(4)，其用于改变地形(10、10’)的表面， ?至少一个相机(2、2’、2”、2”’)，其用于拍摄环境的图像，特别地所述地形(10、10’)的图像，所述相机(2、2 ’、2”、2” ’)以已知方式相对于所述推土机(I)设置并且对准，以及?控制和处理单元(3)， 其中，所述方法包括: ?将所述推土机(I)在所述地形(10、10’)中移动，同时通过用所述至少一个相机拍摄地形片段的图像序列、使得所述图像序列中的至少两个图像、特别地连续图像、覆盖所述地形(10、10’)中的大量相同点，来生成图像数据的集合，其中，所述地形片段是在移动的同时由所述至少一个相机(2、2’、2”、2”’)的各个位置处的所述相机(2、2’、2”、2”’)的视场(7、7’、7”、7”’)限定的， ?并且向所述图像数据的集合应用 □同时定位和绘制(SLAM)算法或者 □立体摄影测量算法 从而推导出地形数据，所述地形数据包括 □点云，其代表拍摄的所述地形(10、10 ’)，以及 □位置数据，其与所述地形(10、10 ’)中的所述推土机(I)的相对位置相关，以及 ?通过向所述地形数据应用绝对标度信息来缩放所述点云，特别地，缩放所述位置数据。2.根据权利要求1所述的方法，其特征在于，通过从所述推土机(I)的传感器单元接收移动数据来推导所述绝对标度信息，所述传感器单元提供关于通过移动所述推土机(I)所覆盖的距离的信息，所述传感器单元被设计为 ?传感器，其用于检测所述推土机(I)的所述轮(6)中的至少一个的转数，和/或 ?距离测量单元，特别地，DISTO模块，其用于通过发射激光并且接收在对象处反射的 激光来测量与所述对象的距离，和/或 ?测距相机，特别地，RM相机，和/或 ?惯性测量单元(MU)，和/或 ?接收单元，其用于 □全球导航卫星系统(GNSS)信号，和/或 □差分全球导航卫星系统(DGNSS)信号。3.根据权利要求1至2中的任一项所述的方法，其特征在于，通过拍摄所述地形(10、10’)中的已知外观和/或位置的参考主体的参考图像并且基于拍摄的参考图像中的所述参考主体的外观和特别地所述相机(2、2’、2”、2”’)的已知放大比率通过图像处理推导所述绝对标度信息来推导所述绝对标度信息，特别地，其中，所述参考主体的尺寸、空间取向和/或形状是预先已知的。4.根据权利要求1至3中的任一项所述的方法，其特征在于，将所述图像数据的集合和/或所述地形数据发送到数据库并且将所述数据存储在所述数据库中，其中， ?所述推土机(I)包括含所述数据库的存储单元，和/或 ?用于控制所述推土机(I)的远程控制单元包括含所述数据库的存储单元，和/或?所述数据库是通过数据云来实施的，特别地存储在远程服务器上，特别地，其中，□基于所述同时定位和绘制(SLAM)算法或所述立体摄影测量算法，通过云计算用所述图像数据推导所述地形数据，和/或 □通过云计算来执行所述点云的缩放。5.根据权利要求1至4中的任一项所述的方法，其特征在于， 借助工作机器(ura'11)提供的网络，特别地，分布式网络 ?将所述图像数据和/或所述地形数据发送到位于所述地形中的其它工作机器(Γ、1”、10和/或 ?从位于所述地形中的其它工作机器(I ’、Γ、I1)接收图像数据和/或地形数据 其中，各工作机器(1、I，、I”、I1)包括 ?用于处理所述图像数据和/或地形数据，以更新当前地形状态的装置，和/或?用于将所述图像数据和/或地形数据发送到数据库的装置，和/或?用于发送和/或参考与所述地形(10、10’)中的其它工作机器(I ’、I”、I1)的相对位置相关的位置数据的装置。6.根据权利要求1至5中的任一项所述的方法，其特征在于， ?从所述图像数据的集合和/或从所述地形数据中提取代表至少一个指定地形片段的实际状态的至少一个状态参数， ?将所述状态参数与各个状态的预定阈值进行比较，以及 ?基于所述预定阈值和所述状态参数的比较来推导构造信息， 特别地，其中，所述状态参数提供地形因子的群组中的至少一个地形因子，所述地形因子的群组包括至少以下的因子: ?所述地形的粒度， ?所述地形的质地， ?所述地形的亮度或颜色， ?所述地形的湿度， ?所述地形的平坦度， ?所述地形的体积，以及 ?所述地形的高度。7.根据权利要求6所述的方法，其特征在于，所述构造信息特别地与相关推荐一起被提供到所述推土机(I)的用户，所述相关推荐与相应至少一个指定地形片段的建议的推土有关。8.根据权利要求1至7中的任一项所述的方法，其特征在于，基于所述地形数据，特别地，基于所述点云，移动所述推土机(I)和/或铲刀(4)，特别地，自主地这样做，其中， ?所述地形数据代表拍摄的所述地形(10、10’)的至少一种实际形状， ?提供代表所述地形的目标形状的构造数据，以及 ?基于所述构造数据来引导所述铲刀(4)，使得所述地形的实际形状(10、10’)被转移到目标形状， 特别地，其中，所述推土机(I)基于所述地形数据设置在所述地形中的指定位置并且基于所述地形数据和所述构造数据根据地形的指定形状来引导所述铲刀(4)。9.根据权利要求1至8中的任一项所述的方法，其特征在于，基于所述点云，特别地基于所述地形数据，特别地基于通过其它工作机器U1)收集的并且借助网络得到的所述地形数据，创建数字地形地图，特别地，数字地形3D模型。10.根据权利要求1至9中的任一项所述的方法，其特征在于，识别 ?构成所述推土机(I)的路径中，特别地所述推土机(I)的推荐路径中的障碍物的对象，由此自动地避免所述推土机(I)与识别的对象发生碰撞，和/或 ?将从所述数字地形地图中排除或减去的对象，特别地，移动对象，特别地，所述推土机(I)的部分，和/或 ?地形片段，特别地，所述地形片段的当前状态，其保持接收至少一个其它工作机器将提供的处理，并且借助网络将信号发送到所述至少一个其它工作机器，特别地，引导所述至少一个其它工作机器在相应地形片段中履行对应的处理。11.一种用于推土机(I)的控制系统，所述推土机(I)包括至少 ?驱动单元，其包括 □一组驱动轮(6)，其特别地是连续履带(5)的部分，以及 □电机，其与所述驱动轮(6)中的至少一个连接，以提供所述推土机(I)的可移动性，以及 ?铲刀(4)，其用于改变地形的表面， 所述控制系统包括至少 ? 一个相机(2、2’、2”、2”’)，其用于拍摄地形的图像，所述相机(2、2’、2”、2”’)以已知方式相对于所述推土机(I)设置并且对准，以及?控制和处理单元(3)， 其特征在于， 所述控制系统提供适于通过执行分别地控制以下步骤来生成缩放地形信息的功能: ?在所述地形中移动所述推土机(I)的同时，同时通过用所述相机拍摄地形片段的图像序列来生成图像数据的集合，使得所述图像序列中的至少两个图像、特别地连续图像、覆盖所述地形中的大量相同点，其中，所述地形片段是在移动的同时在所述相机(2、2’、2”、2” ’)的各个位置处由所述相机(2、2’、2”、2” ’)的观察区域限定的， ?向所述图像数据的集合应用 □同时定位和绘制(SLAM)算法或者 □立体摄影测量算法 从而推导出地形数据，所述地形数据包括 □点云，其代表拍摄的所述地形，以及 □位置数据，其与所述地形中的所述推土机(I)的相对位置相关，以及 ?通过向所述地形数据应用绝对标度信息来缩放所述点云，特别地，缩放所述位置数据。12.根据权利要求11所述的控制系统，其特征在于，所述控制系统被设计成使得能由所述控制系统执行根据权利要求1至10中的任一项所述的方法，特别地，其中，通过所述控制和处理单元(3)来提供所述方法的执行。13.根据权利要求11至12中的任一项所述的控制系统，其特征在于， 所述控制系统包括 ?计数传感器，其对所述推土机(I)的轮(5、6)特别地至少一个驱动轮(5)的转数进行计数，所述计数传感器提供所述绝对标度信息，和/或 ?距离测量单元，特别地，DISTO模块，其用于通过发射激光并且接收在对象处反射的激光来测量与所述对象的距离，和/或?测距相机，特别地，RM相机，和/或 ?旋转装置，其用于旋转所述相机(2、2 ’、2”、2” ’)，使得所述相机(2、2 ’、2”、2” ’)能在 指定方向上对准，以便拍摄所述地形片段或提供所述绝对标度信息的参考主体，和/或 ?至少一个倾斜传感器，特别地，陀螺仪，和/或 ?罗盘，和/或 ?至少一个廓线仪，和/或 ?至少一个扫描仪，和/或 ?至少一个惯性传感器，其设置在所述铲刀(4)上，和/或 ?接收单元，其用于 □全球导航卫星系统(GNSS)信号，和/或 □差分全球导航卫星系统(DGNSS)信号。14.根据权利要求11至13中的任一项所述的控制系统，其特征在于， 所述控制系统包括 ?显示器，其用于向所述推土机(I)的操作者展示用于改变所述地形的推荐，和/或 ?控制装置，其用于控制 □所述推土机(I)的路径，和/或 □所述铲刀(4)的位置。15.—种具有计算机可执行指令的计算机程序产品，所述计算机可执行指令用于特别地当被推土机(I)的控制系统运行时控制并且执行权利要求1至11中的一项所述的方法，所述控制系统是根据权利要求11至14中的任一项所述的控制系统。
【文档编号】G01C11/00GK106066645SQ201610211608
【公开日】2016年11月2日
【申请日】2016年4月7日 公开号201610211608.8, CN 106066645 A, CN 106066645A, CN 201610211608, CN-A-106066645, CN106066645 A, CN106066645A, CN201610211608, CN201610211608.8
【发明人】波·佩特尔松, 贝内迪克特·泽布霍塞尔
【申请人】赫克斯冈技术中心