本发明涉及一种测量对象位置的形状测量系统、具有该形状测量系统的作业机械、以及测量对象位置的形状测量方法。
背景技术
以往存在具有拍摄装置的作业机械。在专利文献1中,记载有如下技术:基于存储于存储部的施工计划数据和立体拍摄装置的位置信息生成施工计划图像数据,并将施工计划图像数据与通过立体拍摄装置拍摄的现状图像数据进行叠加,将叠加后的合成图像以三维的方式显示在三维显示装置上。
专利文献1:日本特开2013-036243号公报
技术实现要素：
然而,存在如下要求:想要变更在执行基于立体方式的图像处理时使用的测量条件,例如变更立体拍摄装置的拍摄范围、或变更由立体拍摄装置拍摄的数据的分辨率等。关于上述的测量条件的变更,在专利文献1中既没有公开也没有启示,存在改善的余地。
本发明的目的在于变更在执行基于立体方式的图像处理时使用的测量条件。
根据本发明的第一种方式,提供一种形状测量系统,其包括:对象检测部，其安装于作业机械，并检测上述作业机械周围的对象；以及运算部，其利用由上述对象检测部检测出的检测结果，求取表示上述对象的三维形状的形状信息，上述运算部能够变更求取上述形状信息的范围。
根据本发明的第二种方式,提供一种形状测量系统,在第一种方式中,在上述形状信息中，追加与位置精度相关的属性信息。
根据本发明的第三种方式,提供一种形状测量系统,在第一种方式中,上述运算部从管理装置、移动终端装置或上述作业机械的输入装置接收用于变更求取上述形状信息的范围的信号。
根据本发明的第四种方式,提供一种形状测量系统,在第二种方式中,在上述形状信息中，在求取上述对象的形状信息的范围为第一测量范围的情况下，对在上述第一测量范围内的测量结果追加表示上述位置精度高的信息。
根据本发明的第五种方式,提供一种形状测量系统,在第四种方式中,在上述形状信息中，在从求取上述对象的形状信息的、比上述第一测量范围大的范围即第二测量范围去除上述第一测量范围的区域，对在上述区域内的测量结果追加表示上述位置精度低的信息。
根据本发明的第六种方式,提供一种形状测量系统,在第二种方式中,对测量出的位置所追加的与上述位置精度相关的属性信息，根据测量出的位置距上述对象检测部的距离进行变更。
根据本发明的第七种方式,提供一种形状测量系统,在第二种方式中,具有显示装置，其将与上述位置精度相关的属性信息与上述形状信息一起进行显示。
根据本发明的第八种方式,提供一种形状测量系统,在第二种方式中,上述形状信息由多个网格划分，各网格具有上述对象的位置信息以及与位置精度相关的属性信息。
根据本发明的第九种方式,提供一种形状测量系统,在第二种方式中,上述形状信息由多个网格划分，上述运算部利用至少2个具有上述对象的位置信息的上述网格，求取不具有上述对象的位置信息的网格的上述位置信息。
根据本发明的第十种方式,提供一种形状测量系统,在第二种方式中,上述形状信息由多个网格划分，网格的大小设定成，随着距上述对象检测部的位置的距离变大而变大。
根据本发明的第十一种方式,提供一种作业机械,具有:第一种方式至第十种方式的任一种方式涉及的形状测量系统。
根据本发明的第十二种方式,提供一种形状测量方法,包括以下步骤:通过作业机械检测上述作业机械周围的对象；以及利用上述检测出的结果，求取表示上述对象的三维形状的形状信息并将其输出，并且能够变更求取上述形状信息的范围。
根据本发明的方式,能够变更在执行基于立体方式的图像处理时使用的测量条件。
附图说明
图1为表示实施方式涉及的液压挖掘机的立体图。
图2为实施方式涉及的液压挖掘机的驾驶席附近的立体图。
图3为表示实施方式涉及的形状测量系统、作业机械的控制系统及施工管理系统的图。
图4为表示形状测量系统的检测处理装置、作业机械的控制系统具有的各种设备类、以及管理装置的硬件构成例的图。
图5为用于说明实施方式涉及的作业机械的形状测量系统求取的形状信息的图。
图6为表示用于测量对象的形状信息的范围的图。
图7为表示包含在形状信息中的网格的图。
图8为表示显示装置以能够识别与测量出的位置精度相关的属性信息的方式进行显示的示例的图。
图9为表示具有位置信息的网格及不具有位置信息的网格的图。
图10为表示包含在形状信息中的干扰信息及作业机的图。
具体实施方式
下面参照附图,对用于实施本发明的方式(实施方式)进行详细说明。
液压挖掘机的整体结构
图1为表示实施方式涉及的液压挖掘机1的立体图。图2为实施方式涉及的液压挖掘机1的驾驶席附近的立体图。作为作业机械的液压挖掘机1具有车身1b和作业机2。车身1b具有回转体3、驾驶室4和行走体5。回转体3能够以回转中心轴zr为中心回转的方式安装于行走体5。回转体3收纳有液压泵及发动机等装置。
回转体3安装有作业机2而进行回转。在回转体3的上部安装有扶手9。扶手9上安装有天线21、22。天线21、22是用于gnss(globalnavigationsatellitesystems,gnss是指全球导航卫星系统)用天线。天线21、22沿着与车身坐标系(xm,ym,zm)的ym轴平行的方向，隔开规定距离地配置。天线21、22接收gnss电波,并输出与所接收的gnss电波对应的信号。天线21、22也可以是用于gps(globalpositioningsystem,全球定位系统)用天线。
驾驶室4载置于回转体3的前部。驾驶室4的顶棚安装有通信用天线25a。行走体5具有履带5a、5b。通过履带5a、5b旋转,使液压挖掘机1行走。
作业机2安装于车身1b的前部。作业机2具有动臂6、斗杆7、作为作业部件的铲斗8、动臂缸10、斗杆缸11和铲斗缸12。在实施方式中,车身1b的前方是指,从图2所示的驾驶席4s的椅背4ss朝向操作装置35的方向一侧。车身1b的后方是指,从操作装置35朝向驾驶席4s的椅背4ss的方向一侧。车身1b的前部是指,车身1b的前方一侧的部分,与车身1b的配重体wt相反侧的部分。操作装置35是用于操作作业机2和回转体3的装置,具有右侧杆35r和左侧杆35l。
动臂6的基端部通过动臂销13安装于车身1b的前部而能够转动。斗杆7的基端部通过斗杆销14安装于动臂6的前端部而能够转动。斗杆7的前端部,通过铲斗销15以能够转动的方式安装有铲斗8。
图1所示的动臂缸10、斗杆缸11和铲斗缸12分别是通过液压油的压力即液压被驱动的液压缸。动臂缸10通过液压进行伸缩,由此驱动动臂6。斗杆缸11通过液压进行伸缩,由此驱动斗杆7。铲斗缸12通过液压进行伸缩,由此驱动铲斗8。
铲斗8具有多个铲齿8b。多个铲齿8b沿着铲斗8的宽度方向排成一列。铲齿8b的前端是齿尖8bt。铲斗8为作业部件的一个示例。作业部件并不限于铲斗8。
回转体3具有位置检测装置23和作为姿态检测装置的一个示例的imu(inertialmeasurementunit,惯性测量装置)24。位置检测装置23利用从天线21、22获取的信号,检测并输出在全局坐标系(xg,yg,zg)上的天线21、22的当前位置及回转体3的方位。回转体3的方位表示在全局坐标系上的回转体3的朝向。回转体3的朝向,例如能够以围绕全局坐标系的zg轴的回转体3的前后方向的朝向来表示。方位角是指，回转体3的前后方向上的基准轴围绕全局坐标系的zg轴的旋转角。回转体3的方位能够通过方位角来表示。
拍摄装置
如图2所示,液压挖掘机1在驾驶室4内具有多个拍摄装置30a、30b、30c、30d。多个拍摄装置30a、30b、30c、30d是用于检测对象形状的对象检测部的一个示例。以下,在不区分多个拍摄装置30a、30b、30c、30d的情况下,可称为拍摄装置30。多个拍摄装置30中的拍摄装置30a和拍摄装置30c配置于作业机2一侧。虽然不限定拍摄装置30的种类,但是在实施方式中,例如使用具备ccd(couplechargeddevice,电荷耦合器件)图像传感器或cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)图像传感器的拍摄装置。
如图2所示,拍摄装置30a与拍摄装置30b隔开规定间隔且朝向相同方向或不同方向地配置于驾驶室4内。拍摄装置30c与拍摄装置30d隔开规定间隔且朝向相同方向或不同方向地配置于驾驶室4内。将多个拍摄装置30a、30b、30c、30d中的2个组合而构成立体拍摄装置。在实施方式中,构成为由拍摄装置30a、30b组合而成的立体拍摄装置和由拍摄装置30c、30d组合而成的立体拍摄装置。
在实施方式中,拍摄装置30a和拍摄装置30b朝向上方,拍摄装置30c和拍摄装置30d朝向下方。至少拍摄装置30a和拍摄装置30c朝向液压挖掘机1的正面,在实施方式中朝向回转体3的正面。拍摄装置30b和拍摄装置30d也可以以稍微朝向作业机2一方,即稍微朝向拍摄装置30a和拍摄装置30c一侧的方式配置。
在实施方式中,液压挖掘机1具有4个拍摄装置30,但是液压挖掘机1具有的拍摄装置30个数至少为2个即可,并不限于4个。这是因为,液压挖掘机1中由至少一对拍摄装置30构成立体拍摄装置,并对对象进行立体拍摄。
多个拍摄装置30a、30b、30c、30d配置于驾驶室4内的前上方。上方是指，与液压挖掘机1具有的履带5a、5b的接地面正交,且远离接地面的方向一侧。履带5a、5b的接地面是指，履带5a、5b中的至少一方接地的部分的、由不在同一直线上的3个点确定的平面。下方是指，上方的相反方向一侧,即与履带5a、5b的接地面正交且接近接地面的方向一侧。
多个拍摄装置30a、30b、30c、30d对存在于液压挖掘机1的车身1b前方的对象进行立体拍摄。对象是指，例如液压挖掘机1施工的对象即施工对象、除液压挖掘机1以外的作业机械的施工对象及在施工现场作业的作业人员的施工对象中的至少一个。多个拍摄装置30a、30b、30c、30d从液压挖掘机1的规定位置,在实施方式中为驾驶室4内的前上方对对象进行检测。在实施方式中,利用通过至少一对拍摄装置30进行的立体拍摄的结果,对对象进行三维测量。多个拍摄装置30a、30b、30c、30d配置的位置并不限于驾驶室4内的前上方。
多个拍摄装置30a、30b、30c、30d中，例如以拍摄装置30c为基准。多个拍摄装置30a、30b、30c、30d这4个分别具有坐标系。将这些坐标系称为拍摄装置坐标系。图2中，仅示出作为基准的拍摄装置30c的坐标系(xs,ys,zs)。拍摄装置坐标系的原点,例如是各拍摄装置30a、30b、30c、30d的中心。
在实施方式中,各拍摄装置30a、30b、30c、30d的拍摄范围,比液压挖掘机1的作业机2能够施工的范围大。根据上述方式,各拍摄装置30a、30b、30c、30d能够可靠地对作业机2可挖掘的范围的对象进行立体拍摄。
上述的车身坐标系(xm,ym,zm)是以固定在车身1b,在实施方式中为回转体3的原点为基准的坐标系。在实施方式中,车身坐标系(xm,ym,zm)的原点,例如是回转体3的回转支承的中心。回转支承的中心位于回转体3的回转中心轴zr上。车身坐标系(xm,ym,zm)的zm轴是成为回转体3的回转中心轴zr的轴，xm轴是沿回转体3的前后方向延伸、且与zm轴正交的轴。xm轴是在回转体3的前后方向上的基准轴。ym轴是与zm轴及xm轴正交的、沿回转体3的宽度方向延伸的轴。上述的全局坐标系(xg,yg,zg)是通过gnss测量的坐标系是以固定在地球的原点为基准的坐标系。
车身坐标系并不限于实施方式的示例。车身坐标系例如可以将动臂销13的中心作为车身坐标系的原点。动臂销13的中心是指，用正交于动臂销13延伸的方向的平面切割动臂销13时的截面的中心且在动臂销13延伸的方向上的中心。
形状测量系统、作业机械的控制系统及施工管理系统
图3为表示实施方式涉及的形状测量系统1s、作业机械的控制系统50及施工管理系统100的图。图3所示的形状测量系统1s、作业机械的控制系统50及施工管理系统100的装置结构仅为一个示例,并不限于实施方式的装置结构示例。例如,包含在控制系统50的各种装置也可以不是分别独立的。即,多个装置的功能可以通过一个装置来实现。
形状测量系统1s包括多个拍摄装置30a、30b、30c、30d和检测处理装置51。作业机械的控制系统50(以下适当地称之为控制系统50)包括形状测量系统1s和用于控制液压挖掘机1的各种控制装置。形状测量系统1s和各种控制装置设置于图1所示的液压挖掘机1的车身1b,在实施方式中设置于回转体3。
控制系统50具有的各种控制装置包括:图3所示的输入装置52、传感器控制装置53、发动机控制装置54、泵控制装置55和作业机控制装置56。除此之外,控制系统50具有施工管理装置57,其管理液压挖掘机1的状态及由液压挖掘机1进行的施工的状况。此外,控制系统50具有:显示装置58,其显示液压挖掘机1的信息,或将施工的指导图像显示在画面58d；以及通信装置25，其与位于液压挖掘机1的外部的管理设备60的管理装置61、其它作业机械70、移动终端装置64及除管理设备60的管理装置61以外的装置中的至少一个进行通信。进一步,控制系统50具有用于获取控制液压挖掘机1所需的信息的位置检测装置23和作为姿态检测装置的一个示例的imu24。
在实施方式中,检测处理装置51、输入装置52、传感器控制装置53、发动机控制装置54、泵控制装置55、作业机控制装置56、施工管理装置57、显示装置58、位置检测装置23及通信装置25与信号线59连接,来互相进行通信。在实施方式中,使用信号线59进行的通信的标准为can(controllerareanetwork,控制器局域网),但不限于此。以下,在称为液压挖掘机1时,有时会指液压挖掘机1具有的检测处理装置51及输入装置52等的各种电子装置。
图4为表示形状测量系统1s的检测处理装置51、作业机械的控制系统50具有的各种设备类及管理装置61的硬件构成例的图。如图4所示,在实施方式中,液压挖掘机1具有的检测处理装置51、传感器控制装置53、发动机控制装置54、泵控制装置55、作业机控制装置56、施工管理装置57、显示装置58、位置检测装置23、及通信装置25和管理装置61,具有处理部pr、存储部mr和输入输出部io。处理部pr例如由如cpu(centralprocessingunit,中央处理单元)这样的处理器和存储器来实现。
存储部mr使用非易失性或易失性的存储器、磁盘、软盘及磁光盘中的至少一个,该非易失性或易失性的存储器包括ram(randomaccessmemory,随机存取存储器)、rom(readonlymemory,只读存储器)、快闪存储器、eprom(erasableprogrammablereadonlymemory,可擦可编程只读存储器)、eeprom(注册商标)(electricallyerasableprogrammablereadonlymemory,电可擦可编程只读存储器)等。
输入输出部io是指，液压挖掘机1或管理装置61用于与其它设备及内部装置之间进行数据及信号的发送接收的接口电路。内部装置包括液压挖掘机1内的信号线59。
液压挖掘机1和管理装置61将用于使处理部pr实现各自功能的计算机程序存储于存储部mr。液压挖掘机1的处理部pr和管理装置61的处理部pr通过从存储部mr读取并执行上述的计算机程序,来实现各自装置的功能。液压挖掘机1具有的各种电子装置、设备及管理装置61,可以通过专用的硬件来实现,也可以通过使多个处理电路协同来实现各自的功能。下面,对液压挖掘机1具有的各种电子装置及设备进行说明。
检测处理装置51通过对由一对拍摄装置30拍摄而得到的对象的一对图像执行基于立体方式的图像处理,来求取对象的位置,具体而言是在三维坐标系中的对象的坐标。如上所述,检测处理装置51利用通过以至少一对拍摄装置30对同一对象进行拍摄而得到的一对图像,对对象进行三维测量。即,至少一对拍摄装置30和检测处理装置51基于立体方式对对象进行三维测量。基于立体方式的图像处理是指，基于由2个不同的拍摄装置30对同一对象进行观测而得到的2个图像获得距该对象的距离的方法。距对象的距离例如可表现为通过浓淡处理将距对象的距离信息可视化的距离图像。距离图像相当于表示对象的三维形状的形状信息。
检测处理装置51,获取通过至少一对拍摄装置30进行检测、即进行拍摄而得到的对象的信息,并基于所获取的对象的信息求取表示对象的三维形状的形状信息。在实施方式中,至少一对拍摄装置30通过拍摄对象,生成对象的信息并将其输出。对象的信息是由至少一对拍摄装置30拍摄而得到的对象的图像。检测处理装置51通过对对象的图像执行基于立体方式的图像处理,来求取形状信息并将其输出。在实施方式中,具有至少一对拍摄装置30的液压挖掘机1的施工对象或施工后的对象,由至少一对拍摄装置30进行拍摄,然而也可以是其它作业机械70的施工对象或施工后的对象,由至少一对拍摄装置30进行拍摄。
在实施方式中,施工对象及施工后的对象,只要是具有拍摄装置30的液压挖掘机1、其它作业机械70、除液压挖掘机1以外的作业机械及作业人员中的至少一个的施工对象及施工后的对象即可。
检测处理装置51具有运算部51a和变更部51b。运算部51a利用由作为对象检测部的至少一对拍摄装置30检测出的对象的信息,求取表示对象的三维形状的形状信息并将其输出。具体而言,运算部51a,通过对由至少一对拍摄装置30拍摄而得到的一对图像执行基于立体方式的图像处理,来求取形状信息并将其输出。
变更部51b变更在运算部51a求取形状信息时使用的测量条件。运算部51a和变更部51b的功能是由图4所示的处理部pr实现的。上述的测量条件,是用于决定在运算部51a求取形状信息时的条件的测量条件,在后文中对其进行详细说明。
在实施方式中,至少一对拍摄装置30相当于对象检测部,其安装于液压挖掘机1,检测液压挖掘机100周围的对象并输出对象的信息。检测处理装置51相当于形状检测部,其利用由至少一对拍摄装置30检测出的对象的信息,来输出表示对象的三维形状的形状信息。
检测处理装置51与集线器31和拍摄开关32连接。集线器31与多个拍摄装置30a、30b、30c、30d连接。拍摄装置30a、30b、30c、30d与检测处理装置51可以不使用集线器31而连接。由拍摄装置30a、30b、30c、30d对对象进行检测的结果,即对对象进行拍摄的结果,通过集线器31输入至检测处理装置51。检测处理装置51经由集线器31获取由拍摄装置30a、30b、30c、30d拍摄的结果,在实施方式中为对象的图像。在实施方式中,如果拍摄开关32被操作,则至少一对拍摄装置30对对象进行拍摄。拍摄开关32设置于图2所示的驾驶室4内的操作装置35的附近。拍摄开关32的设置位置不限于此。
输入装置52是用于对形状测量系统1s及控制系统50输入命令、输入信息、或改变设定的装置。输入装置52,例如是按键、点击设备和触控面板,但不限于此。也可以是,通过在后述的显示装置58的画面58d设置触控面板,使显示装置58具有输入功能。此时,控制系统50可以不具有输入装置52。
传感器控制装置53,与用于检测液压挖掘机1状态的信息及液压挖掘机1周围状态的信息的传感器类仪器连接。传感器控制装置53,将从传感器类仪器获取的信息转换成其它的电子装置及设备能够处理的格式,并将其输出。液压挖掘机1状态的信息,例如是液压挖掘机1的姿态的信息及作业机2的姿态的信息等。在图3所示的示例中,imu24、第一角度检测部18a、第二角度检测部18b及第三角度检测部18c作为检测液压挖掘机1状态的信息的传感器,与传感器控制装置53连接,但是传感器类仪器不限于此。
imu24检测作用于自身的加速度及角速度,即作用于液压挖掘机1的加速度及角速度，并将其输出。从作用于液压挖掘机1的加速度及角速度可知液压挖掘机1的姿态。只要是能够检测出液压挖掘机1的姿态,可以是imu24以外的装置。在实施方式中,第一角度检测部18a、第二角度检测部18b及第三角度检测部18c,例如是行程传感器。这些检测部分别通过检测动臂缸10、斗杆缸11和铲斗缸12的行程长度,来间接地检测出动臂6相对于车身1b的回转角、斗杆7相对于动臂6的回转角和铲斗8相对于斗杆7的回转角。根据由第一角度检测部18a、第二角度检测部18b及第三角度检测部18c检测出的动臂6相对于车身1b的回转角、斗杆7相对于动臂6的回转角及铲斗8相对于斗杆7的回转角、以及作业机2的尺寸,可知在车身坐标系中的作业机2的部分的位置。例如,作为作业机2的部分的位置例如是铲斗8的齿尖8bt的位置。第一角度检测部18a、第二角度检测部18b及第三角度检测部18c可以是电位计或倾斜计，而代替行程传感器。
发动机控制装置54控制液压挖掘机1的动力发生装置即内燃机27。内燃机27例如是柴油发动机,但不限于此。另外,液压挖掘机1的动力发生装置可以是将内燃机27和发电电动机组合而成的混合动力方式的装置。内燃机27驱动液压泵28。
泵控制装置55控制从液压泵28流出的液压油的流量。在实施方式中,泵控制装置55生成控制指令的信号,其用于调整从液压泵28流出的液压油的流量。泵控制装置55利用所生成的控制信号变更液压泵28的斜板角,由此变更从液压泵28流出的液压油的流量。从液压泵28流出的液压油被提供给控制阀29。控制阀29将从液压泵28提供的液压油,提供给动臂缸10、斗杆缸11、铲斗缸12及液压马达5m等的液压设备,以对其进行驱动。
作业机控制装置56,例如执行使铲斗8的齿尖8bt沿作为目标的施工面移动的控制。作业机控制装置56相当于作业机控制部。以下适当地,将该控制称为作业机控制。作业机控制装置56在执行作业机控制时,例如以使铲斗8的齿尖8bt沿目标施工面移动的方式控制控制阀29来控制作业机2,该目标施工面包含于作为施工时的目标的信息即目标施工信息。
施工管理装置57,例如收集从检测处理装置51所求取的形状信息中的液压挖掘机1对对象进行施工后的施工结果的形状信息、及表示液压挖掘机1即将要施工的对象的现状地形的形状信息中的至少一方,并存储于存储部57m。施工管理装置57将存储于存储部57m的形状信息通过通信装置25发送至管理装置61或移动终端装置64。施工管理装置57将存储于存储部57m的施工结果的形状信息通过通信装置25发送至管理装置61或移动终端装置64。施工管理装置57,也可以收集检测处理装置51所求取的形状信息及目标施工信息中的至少一方，不将其在存储部57m中进行存储,而发送至管理装置61或移动终端装置64。存储部57m相当于图4所示的存储部mr。以下,存在将液压挖掘机1对施工对象进行施工后的施工结果的形状信息适当地称为施工结果的情况。
施工管理装置57设置于液压挖掘机1的外部,例如可以设置于管理装置61。在这种情况下,施工管理装置57,从液压挖掘机1通过通信装置25获取施工结果的形状信息、及表示液压挖掘机1即将要施工的对象的现状地形的形状信息中的至少一方。
施工结果,例如是通过以下方式求取的形状信息,至少一对拍摄装置30对施工后的对象进行拍摄,由检测处理装置51通过对拍摄结果执行基于立体方式的图像处理来求取形状信息。以下,将表示即将要施工的对象的现状地形的形状信息,适当地称为现状地形信息。另外,形状信息可能存在以下两种情形,即表示施工结果的情况和表示现状地形的情况。现状地形信息,例如是以以下方式求取的形状信息,至少一对拍摄装置30对液压挖掘机1、其它作业机械70或作业人员即将要施工的对象进行拍摄,由检测处理装置51求取形状信息。
施工管理装置57,例如将一天的作业结束后的施工结果收集起来并发送至管理装置61及移动终端装置64中的至少一方,或将一天的作业中的多回的施工结果收集起来并发送至管理装置61及移动终端装置64中的至少一方。施工管理装置57,例如可以在早上作业前,将施工前的形状信息发送至管理装置61或移动终端装置64。
在实施方式中,施工管理装置57,例如在一天的作业中,收集中午和作业结束时的2回的施工结果并将其发送至管理装置61或移动终端装置64。施工结果,可以是对整个施工现场中进行了施工的范围进行拍摄而得到的施工结果,也可以是对整个施工现场进行拍摄而得到的施工结果。通过将发送至管理装置61或移动终端装置64的施工结果作为进行了施工的范围的施工结果,能够抑制拍摄时间、图像处理时间及施工结果发送时间的增加,因此比较理想。
显示装置58将液压挖掘机1的信息显示在如液晶显示面板那样的显示器的画面58d,或将施工的指导图像显示在画面58d,除此以外，在实施方式中,在执行上述的作业机控制的情况下,求取作业机2的位置。显示装置58求取的齿尖8bt的位置,是实施方式中为铲斗8的齿尖8bt的位置。显示装置58,获取由位置检测装置23检测出的天线21、22的当前位置、由第一角度检测部18a、第二角度检测部18b及第三角度检测部18c检测出的回转角、存储于存储部mr的作业机2的尺寸、以及imu24的输出数据,并使用这些来求取铲斗8的齿尖8bt的位置。在实施方式中,由显示装置58求取铲斗8的齿尖8bt的位置,但是可以由除显示装置58以外的装置求取铲斗8的齿尖8bt的位置。
通信装置25是实施方式中的通信部。通信装置25通过通信线路ntw与管理设备60的管理装置61、其它作业机械70及移动终端装置64中的至少一个进行通信,并相互传递信息。通信装置25所传递的信息中,从控制系统50发送至管理装置61、其它作业机械70及移动终端装置64中的至少一个的信息,包括关于施工的信息。关于施工的信息包含上述的形状信息及从形状信息获得的信息中的至少一方。从形状信息获得的信息包含例如上述的目标施工信息及形状信息中将形状信息加工而得到的信息,但不限于此。关于施工的信息,可以是先存储于检测处理装置51的存储部、输入装置52的存储部及施工管理装置57的存储部57m,之后通过通信装置25将其发送,也可以是不对其进行存储而进行发送。
在实施方式中,通信装置25通过无线通信进行通信。因此,通信装置25具有无线通信用天线25a。移动终端装置64例如是管理液压挖掘机1的作业的管理人员携带的装置,但不限于此。其它作业机械70具有与具有控制系统50的液压挖掘机1及管理装置61中的至少一方进行通信的功能。其它作业机械70可以是具有控制系统50的液压挖掘机1,也可以是不具有控制系统50的液压挖掘机,还可以是除液压挖掘机1以外的作业机械。通信装置25可以通过有线通信与管理设备60的管理装置61、其它作业机械70及移动终端装置64中的至少一个进行通信,并相互传递信息。
施工管理系统100包括:管理设备60的管理装置61、形状测量系统1s、控制系统50、以及具有控制系统50的液压挖掘机1。施工管理系统100可以进一步包含移动终端装置64。包含于施工管理系统100的、具有控制系统50的液压挖掘机1的数目,可以是单个,也可以是多个。如图3所示,管理设备60具有管理装置61和通信装置62。管理装置61通过通信装置62及通信线路ntw至少与液压挖掘机1进行通信。管理装置61可以与移动终端装置64进行通信,或可以与其它作业机械70进行通信。液压挖掘机1和其它作业机械70,可以搭载无线通信设备,以能够直接进行无线通信。而且,液压挖掘机1及其它作业机械70中的至少一方,可以搭载能够执行在管理设备60的管理装置61等执行的处理的设备或电子装置。
管理装置61从液压挖掘机1接收施工结果及现状地形信息中的至少一方,并管理施工的进程状况。
对象的施工
在实施方式中,控制系统50通过利用图2所示的多个拍摄装置30中的至少2个对施工的对象进行拍摄,来获得表示施工对象的形状的形状信息。控制系统50例如通过通信装置25将形状信息发送至管理装置61。管理装置61接收从液压挖掘机1发送的形状信息,并用于施工管理。
对象的拍摄及形状信息的生成
图5为用于说明实施方式涉及的作业机械的形状测量系统1s求取的形状信息的图。在实施方式中,作为液压挖掘机1即将要施工的部分的施工对象obp位于液压挖掘机1的前方。形状信息是根据施工对象obp而求取的。形状测量系统1s在根据施工对象obp生成形状信息时,使至少一对拍摄装置30对施工对象obp进行拍摄。在实施方式中,若液压挖掘机1的操作人员通过操作图3所示的拍摄开关32来向检测处理装置51输入拍摄指令,则检测处理装置51使至少一对拍摄装置30对施工对象obp进行拍摄。
形状测量系统1s的检测处理装置51,通过对由至少一对拍摄装置30拍摄而得到的施工对象obp的图像执行基于立体方式的图像处理,来求取施工对象obp的位置信息、实施方式中为三维位置信息。检测处理装置51所求取的施工对象obp的位置信息,由于是在拍摄装置30的坐标系中的信息,因此被转换成在全局坐标系中的位置信息。全局坐标系中的对象例如施工对象obp的位置信息为形状信息。在实施方式中,形状信息是至少包含一个在全局坐标系中的施工对象obp的表面的位置pr(xg,yg,zg)的信息。位置pr(xg,yg,zg)是在全局坐标系中的坐标,是三维位置信息。检测处理装置51将根据由至少一对拍摄装置30拍摄而得到的图像来获得的施工对象obp的位置,转换成在全局坐标系中的位置。施工对象obp的表面的位置包括施工后和施工中的施工对象obp的表面的位置。
检测处理装置51对由至少一对拍摄装置30拍摄而得到的施工对象obp的整个区域,求取施工对象obp的表面的位置pr(xg,yg,zg)并将其输出。在实施方式中,检测处理装置51生成所求取的位置pr(xg,yg,zg)的数据文件。数据文件是n个(n为1以上的整数)的位置pr(xg,yg,zg)的集合。数据文件也相当于实施方式中的形状信息。
在实施方式中,检测处理装置51生成数据文件后,将其存储于自身的存储部。施工管理装置57也可以将检测处理装置51所生成的数据文件从通信装置25发送至图3所示的管理装置61、移动终端装置64及其它作业机械70中的至少一个。
在实施方式中,若图3所示的拍摄开关32被操作,则至少一对拍摄装置30对对象进行拍摄。检测处理装置51的运算部51a通过对由拍摄装置30拍摄而得到的图像执行基于立体方式的图像处理,来生成形状信息。检测处理装置51的运算部51a输出数据文件。数据文件通过施工管理装置57和通信装置25,或者通过通信装置25发送至管理装置61及移动终端装置64中的至少一方。
检测处理装置51为了对液压挖掘机1的周围进行监控,在每个规定的时间内,例如每10分钟使至少一对拍摄装置30对对象进行拍摄。由至少一对拍摄装置30拍摄而得到的三维图像存储于检测处理装置51的存储部,累计了一定程度的信息后通过通信装置25发送至管理装置61。上述的三维图像,可以在向管理装置61发送数据文件的时刻被发送,也可以在被拍摄后立即发送至管理装置61。
在实施方式中,将以下几种情况作为条件(许可条件)由检测处理装置51允许进行利用了拍摄装置30的三维测量,即：检测处理装置51例如识别到多个拍摄装置30已启动的情况、信号线59未断线的情况、imu24的输出处于稳定的情况、以及基于gnss的定位fix(正常)的情况。在至少有一个许可条件不成立时,即使拍摄开关32被操作,检测处理装置51也不会允许进行利用了拍摄装置30的三维测量。imu24的输出处于稳定状态是指，液压挖掘机1处于静止状态。在拍摄装置30进行的三维测量中设定上述的条件,由此抑制对象的测量精度的下降。控制系统50可以利用许可条件中的任一个条件,也可以不利用许可条件。
从液压挖掘机1发送的数据文件存储于管理装置61的存储部。在数据文件发送至移动终端装置64时,数据文件可以存储于移动终端装置64的存储部。管理装置61能够通过对多个不同场所的数据文件进行总合,来获得施工现场的地形。管理装置61利用根据多个不同场所的数据文件获得的施工现场的地形,能够进行施工管理。管理装置61在对多个数据文件进行总合时,在x坐标及y坐标相同的位置的数据存在有多个的情况下,可以基于预设的规则优先选择任意数据。作为预设的规则的示例,例如优先选择时间最新的位置数据。
如上所述,根据作为形状信息的数据文件,能够获得与施工现场的施工相关的各种信息。利用数据文件生成现状信息、或求取填土量或所去除的土的量等的处理,可以由管理装置61、移动终端装置64及液压挖掘机1的施工管理装置57中的任一装置执行。另外，管理装置61、移动终端装置64及液压挖掘机1的施工管理装置57中的任一装置可以执行上述的处理,并通过通信线路ntw将结果发送至其它设备。上述的处理的结果,并不仅是通过通信,也可以是将其存储于存储设备后,转交给其它设备。
测量条件的变更
如上所述,形状测量系统1s的检测处理装置51具有的变更部51b变更在求取形状信息时使用的测量条件。此时,变更部51b在通过信号线59接收变更测量条件的指令(以下适当地称之为变更指令)时,变更测量条件。变更指令例如由管理装置61或移动终端装置64发送,并通过通信装置25及信号线59提供给变更部51b。除此之外,变更指令可以由液压挖掘机1的输入装置52提供给变更部51b。在由管理装置61发送变更指令时,通过输入装置68将变更指令提供给管理装置61。
测量条件例如可以是由检测处理装置51的运算部51a求取被测量对象的形状信息的范围。具体而言,检测处理装置51的运算部51a若从变更部51b接到变更指令,则能够变更在一对拍摄图像的重复区域中实际测量形状信息的对象的范围,该一对拍摄图像的重复区域是指由一对拍摄装置30拍摄而得到的对象的信息。在实施方式中,对象是现状地形。对象的信息是由至少一对拍摄装置30进行检测即进行拍摄而得到的图像。对象的形状信息是现状地形的三维形状的信息,其是通过对作为对象的信息的对象的图像执行基于立体方式的图像处理来生成的。
图6为表示测量对象的形状信息的范围a的图。图6所示的范围a是运算部51a求取形状信息的范围,是一对拍摄装置30的拍摄范围的重复区域的部分或全部区域。在由一对拍摄装置30对对象进行拍摄时,对象的信息表示从各拍摄装置30输出的2个图像。
若一对拍摄装置30测量对象的形状信息的范围a变大,则通过由一对拍摄装置30进行一次拍摄,就能够获得广范围的形状信息。在实施方式中,图3所示的检测处理装置51的变更部51b,将由一对拍摄装置30测量的对象的范围a作为测量条件,基于来自移动终端装置64、管理装置61或液压挖掘机1的输入装置52的变更指令,变更对象的测量范围a。
在实施方式中,变更部51b按照变更指令,将作为测量条件的对象的测量范围a变更为第一范围a1和比第一范围a1大的范围即第二范围a2。第一范围a1是距拍摄装置30的位置pt的距离在d1内的范围,第二范围a2是距拍摄装置30的位置pt的距离在距离d2内的范围,该距离d2大于距离d1。
如上所述,检测处理装置51的变更部51b基于变更指令变更由一对拍摄装置30拍摄而得到的对象的测量范围a。因此,检测处理装置51通过使对象的测量范围a成为相对较大的范围,能够相对减少至少一对拍摄装置30的拍摄次数。因此,检测处理装置51能够高效率地测量形状信息。检测处理装置51使对象的测量范围a相对较大来测量形状信息,对于宽广的施工现场特别有效。
另一方面,若检测处理装置51使对象的测量范围a相对较大来测量形状信息,则特别是在相对于一对拍摄装置30较远的区域(图6中的从第二测量范围a2中去除第一测量范围a1的区域)中的形状信息的测量精度与相对于一对拍摄装置30较近的区域(图6中的第一测量范围a1)相比会变得相对较低。因此,要求形状信息的较高的测量精度时,检测处理装置51通过使对象的测量范围a成为相对较小的范围,能够提高形状信息的精度。
在实施方式中,运算部51a,若从变更部51b接收变更指令,则变更由一对拍摄装置30拍摄而得到的对象的信息中用于测量对象的形状信息的范围,但不限于此。例如,也可以是运算部51a不通过变更部51b而从管理装置61、移动终端装置64或液压挖掘机1的输入装置52接收变更指令。
若将能够输出变更指令的装置例如仅限定于管理装置61,由于液压挖掘机1的操作人员无法自由地切换测量范围,因此能够防止无意中降低形状信息的测量精度。即,例如若设定为只有现场监督人员能够切换测量范围,则能够以设想的测量精度测量对象的形状信息。另外,即使是设定为从移动终端装置64或液压挖掘机1的输入装置52输出变更指令,为了输出变更指令,例如设定为需要只有现场监督人员知道的密码等,因此与上述情况相同,能够以设想的测量精度测量对象的形状信息。
在实施方式中,形状信息由多个网格分割,该多个网格分别配置于全局坐标系中的各x坐标及y坐标且具有预设大小。将在各网格位置中的对象的z坐标位置定义为在网格中的对象的位置信息。网格的大小可以被变更,也可以将网格的大小作为测量条件中的一个。
图7为表示包含在形状信息中的多个网格ms的图。如图7所示,从检测处理装置51输出的形状信息包括在各网格ms配置的位置中的对象的位置信息(z坐标位置)。不能通过执行基于立体方式的图像处理获得对象的位置的部分的网格,不具有对象的位置信息。
网格ms的形状为矩形。网格ms一个边的长度为d1,与长度为d1的边正交的边的长度为d2。长度d1和长度d2可以等同,也可以不同。网格ms具有的位置信息(x坐标,y坐标,z坐标)是网格ms的位置的代表值,例如可以是网格ms的4个角的平均值或在网格ms中心的位置。另外,网格ms的形状不限于矩形,例如可以是三角形或五角形等的多边形。
检测处理装置51的变更部51b基于用于变更网格ms的大小的变更指令,能够变更形状信息的网格ms的大小。例如在变更部51b通过大幅变更网格ms的边的长度d1、d2来变更网格ms的大小时,包含于形状信息的位置信息变少(位置信息的密度变小)。其结果,形状信息的信息量被减少,然而形状信息的测量精度降低。在使网格ms的大小相对变小时,包含于形状信息的位置信息变多,因此能过从形状信息获得对象的详细的位置信息,另一方面形状信息的信息量增加。
在实施方式中,随着距一对拍摄装置30的位置pt的距离变大,可以使网格ms的大小变大。例如,可以使在第二范围a2中去除第一范围a1的区域内的网格ms的大小比在第一范围a1的区域内的网格ms的大小大。随着距一对拍摄装置30的距离逐渐变远,因地形的波动等的影响,无法测量出在网格ms中的位置信息,但是通过使远离一对拍摄装置30的网格ms变大,从而能容易地测量出在该网格ms的区域内的位置信息。
网格ms除了位置信息以外，可以还具有与位置精度相关的属性信息。作为与位置精度相关的属性信息,例如可以是在所测量的位置的测量精度的信息即精度信息,也可以是在所测量的位置相对于一对拍摄装置30的距离数据,或者在能够切换多个测量范围或测量方法时,还可以是表示利用哪种测量范围或测量方法测量出的位置信息的数据。若将对象的形状信息所测量(所求取)的范围a以能够测量从一对拍摄装置30达到较远的区域的方式进行设定,则通过立体拍摄装置进行的地形测量的特性上,特别是在较远区域位置的测量精度下降。因此,例如检测处理装置51的运算部51a能够对所测量的位置的测量结果(x,y,z坐标)追加与位置精度相关的属性信息。即,形状信息除了位置信息以外，还具有与在各所测量的位置中的位置精度相关的属性信息。
具体而言,在将测量范围设为图6所示的第一范围a1进行测量时,运算部51a可以对第一范围a1的测量结果一律追加表示所测量的位置精度高的信息。另外,在将对象的形状信息所测量(所求取)的范围设为第二范围a2进行测量时,运算部51a可以对第二范围a2的测量结果一律追加表示所测量的位置精度低的信息。
进一步,不管将测量范围设为哪一个,运算部51a可以对第一范围a1内的测量结果即网格ms的位置信息追加表示其位置精度高的信息；对从第二范围a2去除第一范围a1的区域内的测量结果即网格ms的位置信息追加表示其位置精度低的信息。不管是第一范围a1和第二范围a2哪个区域,运算部51a可以对位于相对于一对拍摄装置30较近位置的网格ms追加表示其位置精度高的信息；对位于相对于一对拍摄装置30较远位置的网格ms追加表示其位置精度低的信息,该与精度相关的属性信息根据距离可以被阶段性地设定。总之,运算部51a可以对作为形状信息的规定范围的每个网格ms追加与位置精度相关的属性信息,并且将对网格ms追加的与位置精度相关的属性信息根据距作为对象检测部的一对拍摄装置30的距离进行变更。
位置精度高的信息及位置精度低的信息,例如,与预设的基准的位置精度进行比较来规定高低。另外,位置精度的高低例如可以设定为第一范围a1的位置精度高,且随着距第一范围a1的距离变大,阶段性地或连续地使位置精度变低。
根据上述方式,获取作为形状信息的数据文件的管理装置61在总合多个数据文件时,基于与精度相关的属性信息,能够采用精度相对高的位置信息。其结果,能够提高通过合并而得到的施工现场的地形的位置精度。
图8为表示显示装置以能够识别与所测量的位置精度相关的属性信息的方式进行显示的示例的图。显示装置,在实施方式中为管理装置61的显示装置67、移动终端装置64及液压挖掘机1内的显示装置58中的至少一个,在显示由一对拍摄装置30测量的、作为施工对象的现状地形数据时,可以以能够识别与所测量的位置精度相关的属性信息的方式进行显示。例如,显示装置将与位置精度相关的属性信息与形状信息一起进行显示。此时,显示装置根据与位置精度相关的属性信息变更形状信息的显示方式而进行显示。即,与位置精度相关的属性信息根据形状信息的显示方式进行显示。在图8所示的示例中,在位置精度高的区域ah和低的区域al中显示方式被变更。根据上述的方式,由于能容易识别位置的测量精度低的区域,因此能够根据需要通过精度高的测量方法高效地进行再测量。
在某一网格的区域内,在通过检测处理装置51的运算部51a测量出对象的位置信息(z坐标位置)时,存储该网格内的位置信息,而在该网格的区域内无法测量出位置信息时,不存储该网格内的位置信息。即使是在这种情况下,利用位于该网格附近的、存储有位置信息的多个网格,能够推算出位置信息未被测量的网格的位置信息。作为测量条件的一个条件,可以设定为能够选择是否推算出位置信息未被测量的网格的位置信息。
图9为表示具有位置信息的网格msxp、msxm、msyp、msym及不具有位置信息的网格mst的图。检测处理装置51的运算部51a,能够利用至少2个具有对象的位置信息的网格,求取不具有对象的位置信息的网格mst的位置信息。变更部51b根据变更指令，选择是否求取不具有对象的位置信息的网格mst的位置信息。
运算部51a在求取网格mst的位置信息时,根据形状信息搜索网格mst。运算部51a在发现了不具有位置信息的网格mst时,例如以网格mst为基准沿着作为第一方向的x方向及y方向的“+”方向及“-”方向的两个方向,搜索具有位置信息的网格。在搜索结果中存在具有位置信息的网格时,运算部51a利用在各自方向上存在于最接近的位置的至少2个网格msxp、msxm、msyp、msym的位置信息,并通过插补求取网格mst的位置信息。搜索的方向并不限于x方向及y方向,可以是沿倾斜方向进行搜索。插补的方法为已知的方法即可,例如可以是双线性插值。
检测处理装置51利用至少2个具有对象的位置信息的网格来求取不具有对象的位置信息的网格mst的位置信息,因此能够获得不能够通过执行基于立体方式的图像处理求取形状信息的部分的位置信息。另外,由于能够选择是否求取不具有对象的位置信息的网格的位置信息,所以例如在不需要位置信息时,也可以不求取不具有对象的位置信息的网格的位置信息。根据上述方式,能够减少形状信息的信息量。
图10为表示包含在形状信息中的干扰信息及作业机的图。在实施方式中,运算部51a可以从形状信息去除电线、树木及房屋等的干扰信息。此时,运算部51a可以将是否去除干扰信息作为测量条件。去除干扰信息的情况假设为以下情况。例如,检测处理装置51在对象的规定的位置(位于某一x坐标及y坐标的网格)中检测出电线的情况下，检测处理装置51有可能同时检测出在对象的同一位置(同一网格)存在现状地形。此时,在一个位置(一个网格)中两个高度(z坐标)上存在位置信息。在这种情况下,通过不测量在该位置(网格)的位置信息,就能够去除不可靠的数据即干扰信息。
在实施方式中,能够将测量条件设为运算部51a选择是否去除干扰信息及由运算部51a所去除的干扰信息的大小中的至少一方。在将运算部51a选择是否去除干扰信息作为测量条件时,变更部51b基于变更指令判断是使运算部51a去除形状信息中的干扰信息还是不去除干扰信息。运算部51a基于变更部51b的判断结果,去除形状信息中的干扰信息,或不进行任何处理。通过如上所述的处理,在不需要去除干扰信息时,降低运算部51a的处理负荷。
在由运算部51a去除的干扰信息的大小为测量条件时,变更部51b基于变更指令变更由运算部51a去除的干扰信息的大小。运算部51a对相比于通过变更部51b变更后的大小的干扰信息大的干扰信息进行去除。通过如上所述的处理,由于运算部51a不会对程度大小为无需去除的干扰信息进行去除,所以降低运算部51a的处理负荷。
形状测量系统1s具有:至少一对拍摄装置30；运算部51a,其利用由至少一对拍摄装置30检测出的对象的信息,求取表示对象的三维形状的形状信息并将其输出；以及变更部51b,其变更在运算部51a求取形状信息时使用的测量条件。测量条件在运算部51a通过对由至少一对拍摄装置30获得的对象的信息执行基于立体方式的图像处理来求取形状信息时被使用。因此,形状测量系统1s通过变更部51b,能够变更在执行基于立体方式的图像处理时使用的测量条件。
实施方式涉及的形状测量方法包括:检测由作业机械施工的对象,并输出上述对象的信息的工序；以及利用所输出的上述对象的信息,求取表示上述对象的三维形状的形状信息并将其输出的工序,该方法能够变更在求取上述形状信息时使用的测量条件。因此,形状测量方法能够变更在执行基于立体方式的图像处理时使用的测量条件。
作业机械只要能够对施工对象进行施工,例如进行挖掘及运载等即可,并不限于液压挖掘机,也可以是例如轮式装载机和推土机这样的作业机械。
在实施方式中,形状信息被预设大小的多个网格划分,但不限于此,例如也可以不使用网格而基于由立体拍摄装置测量出的点(以xy坐标为基准)来测量现状的形状并进行管理。
在实施方式中,作为对象检测部利用至少一对拍摄装置30进行了说明,但是对象检测部不限于此。例如可以是使用如激光扫描仪这样的3d扫描仪作为对象检测部来替代一对拍摄装置30。3d扫描仪检测对象的信息,并基于由3d扫描仪检测出的对象的信息,运算部51a能够运算出对象的形状信息。
在实施方式中,检测处理装置51基于多个拍摄装置图像通过立体处理来进行三维测量处理,但是也可以是检测处理装置51将拍摄装置图像发送至外部,并由管理设备60的管理装置61执行基于立体方式的图像处理,还可以是由移动终端装置64进行。
以上对实施方式进行了说明,但上述内容并不限定该实施方式。另外,上述的结构要素包含本领域的技术人员能够容易想到的结构要素、实质相同的结构要素、所谓的等同范围的结构要素。上述结构要素能够适当地进行组合。在不脱离实施方式的核心思想的范围内,可以对结构要素进行各种省略、替换及变更中的至少一个。
符号说明
1液压挖掘机
1b车身
1s形状测量系统
2作业机
3回转体
4驾驶室
5行走体
23位置检测装置
25通信装置
30,30a,30b,30c,30d拍摄装置(对象检测部)
50作业机械的控制系统
51检测处理装置
51a运算部
51b变更部
52输入装置
57施工管理装置
57m存储部
60管理设备
61管理装置
64移动终端装置
100施工管理系统