作业机械的检测处理装置及作业机械的检测处理方法与流程

本发明涉及作业机械的检测处理装置及作业机械的检测处理方法。

背景技术：

已知有搭载拍摄装置的作业机械。在专利文献1中，公开了如下技术：基于施工计划数据和立体拍摄装置的位置信息生成施工计划图像数据，将施工计划图像数据和由立体拍摄装置拍摄而得到的现状图像数据进行叠加，并将叠加后的合成图像以三维的方式显示在三维显示装置上。

专利文献1:日本特开2013-036243号公报

技术实现要素：

在通过设置于作业机械的拍摄装置对作业机械的前方的地形进行拍摄时，有可能拍摄到作业机械的作业机。在由拍摄装置获取的图像数据中，由于拍摄到的作业机是噪声成分，所以难以获取地形良好的三维数据。在通过拍摄装置对地形进行拍摄时，可通过使作业机提升来抑制拍摄到作业机。但是，若每当通过拍摄装置进行拍摄时使作业机提升，则作业效率会降低。

本发明的方式的目的在于，提供一种作业机械的检测处理装置及作业机械的检测处理方法，能够抑制作业效率的降低，并且获取良好的三维数据。

根据本发明的第一方式，可提供一种作业机械的检测处理装置，包括：测量数据获取部，其获取由设置于作业机械的测量装置测量出的对象的测量数据；作业机位置数据计算部，其计算表示上述作业机械的作业机的位置的作业机位置数据；以及三维数据计算部，其基于上述测量数据及上述作业机位置数据，计算作为对象数据的去除了上述作业机的至少一部分的三维数据。

根据本发明的第二方式，可提供一种作业机械的检测处理装置，包括：测量数据获取部，其获取由设置于作业机械的测量装置测量出的对象的测量数据；位置数据获取部，其获取其他的作业机械的位置数据；以及三维数据计算部，其基于上述测量数据及其他的作业机械的位置数据，计算作为对象数据的去除了其他的上述作业机械的至少一部分的三维数据。

根据本发明的第三方式，可提供一种作业机械的检测处理方法，包括：获取由设置于作业机械的测量装置测量出的对象的测量数据；计算表示上述作业机械的作业机的位置的作业机位置数据；以及基于上述测量数据及上述作业机位置数据，计算作为对象数据的去除了上述作业机的至少一部分的三维数据。

根据本发明的第四方式，可提供一种作业机械的检测处理方法，包括：获取由设置于作业机械的测量装置测量出的对象的测量数据；以及基于上述测量数据及其他的作业机械的位置数据，计算作为对象数据的去除了其他的上述作业机械的至少一部分的三维数据。

根据本发明的方式，可提供一种作业机械的检测处理装置及作业机械的检测处理方法，能够抑制作业效率的降低，并且获取良好的三维数据。

附图说明

图1是表示实施方式1涉及的作业机械的一个示例的立体图。

图2是表示实施方式1涉及的拍摄装置的一个示例的立体图。

图3是示意性地表示实施方式1涉及的作业机械的侧视图。

图4是示意性地表示实施方式1涉及的作业机械的控制系统及形状测量系统的一个示例的图。

图5是表示实施方式1涉及的检测处理装置的一个示例的功能框图。

图6是用于说明通过实施方式1涉及的一对拍摄装置计算三维数据的方法的示意图。

图7是表示实施方式1涉及的形状测量方法的一个示例的流程图。

图8是表示实施方式1涉及的图像数据的一个示例的图。

图9是表示实施方式2涉及的形状测量方法的一个示例的流程图。

图10是示意性地表示实施方式3涉及的形状测量方法的一个示例的图。

具体实施方式

以下，参照附图，说明本发明涉及的实施方式，不过本发明并不限于此。以下说明的实施方式的结构要素能够适当地组合。此外，有时也可以省略部分结构要素。

在以下说明中，对三维全局坐标系(xg，yg，zg)、三维车身坐标系(xm，ym，zm)和三维拍摄装置坐标系(xs，ys，zs)进行规定，并对各部分的位置关系进行说明。

全局坐标系由水平面内的xg轴、在水平面内与xg轴正交的yg轴、以及与xg轴及yg轴正交的zg轴规定。将以xg轴为中心的旋转方向或倾斜方向设为θxg方向；将以yg轴为中心的旋转方向或倾斜方向设为θyg方向；将以zg轴为中心的旋转方向或倾斜方向设为θzg方向。zg轴方向为铅垂方向。

车身坐标系由以下三个轴规定：以被规定在作业机械的车身上的原点为基准沿一个方向延伸的xm轴；与xm轴正交的ym轴；以及与xm轴及ym轴正交的zm轴。xm轴方向为作业机械的前后方向，ym轴方向为作业机械的车宽方向，zm轴方向为作业机械的上下方向。

拍摄装置坐标系由以下三个轴规定：以被规定在拍摄装置上的原点为基准沿一个方向延伸的xs轴；与xs轴正交的ys轴；以及与xs轴及ys轴正交的zs轴。xs轴方向为拍摄装置的上下方向，ys轴方向为拍摄装置的宽度方向，zs轴方向为拍摄装置的前后方向。zs轴方向与拍摄装置的光学系统的光轴平行。

实施方式1

作业机械

图1是表示本实施方式涉及的作业机械1的一个示例的立体图。在本实施方式中，对作业机械1为液压挖掘机的示例进行说明。在以下说明中，将作业机械1可称为液压挖掘机1。

如图1所示，液压挖掘机1具有车身1b和作业机2。车身1b具有回转体3和支承回转体3以使其能够回转的行走体5。

回转体3能够以回转轴zr为中心回转。回转轴zr与zm轴平行。回转体3具有驾驶室4。液压泵及内燃机配置于回转体3。行走体5具有履带5a、5b。通过履带5a、5b旋转，使液压挖掘机1行走。

作业机2与回转体3连结。作业机2具有：与回转体3连结的动臂6；与动臂6连结的斗杆7；与斗杆7连结的铲斗8；对动臂6进行驱动的动臂缸10；对斗杆7进行驱动的斗杆缸11；以及对铲斗8进行驱动的铲斗缸12。动臂缸10、斗杆缸11和铲斗缸12分别是通过液压驱动的液压缸。

动臂6通过动臂销13与回转体3连结而能够旋转。斗杆7通过斗杆销14与动臂6的前端部连结而能够旋转。铲斗8通过铲斗销15与斗杆7的前端部连结而能够旋转。动臂销13包括相对于回转体3的动臂6的旋转轴ax1。斗杆销14包括相对于动臂6的斗杆7的旋转轴ax2。铲斗销15包括相对于斗杆7的铲斗8的旋转轴ax3。动臂6的旋转轴ax1、斗杆7的旋转轴ax2、以及铲斗8的旋转轴ax3与车身坐标系的ym轴平行。

铲斗8为作业部件的一种。此外，与斗杆7连结的作业部件不限于铲斗8。与斗杆7连结的作业部件例如可以是倾斜斗，也可以是法面铲斗或具备凿岩用钎具的凿岩用附属部件。

在本实施方式中，检测出由全局坐标系(xg，yg，zg)规定的回转体3的位置。全局坐标系为以固定在地球的原点为基准的坐标系。全局坐标系为通过gnss(globalnavigationsatellitesystem)规定的坐标系。gnss是指全球导航卫星系统。作为全球导航卫星系统的一个示例，可以列举gps(globalpositioningsystem，全球定位系统)。gnss具有多个定位卫星。gnss检测由维度、经度及高度的坐标数据规定的位置。

车身坐标系(xm，ym，zm)为以固定在回转体3的原点为基准的坐标系。车身坐标系的原点例如是回转体3的回转支承的中心。回转支承的中心位于回转体3的回转轴zr上。

液压挖掘机1具有：检测作业机2的角度的作业机角度检测器22；检测回转体3的位置的位置检测器23；检测回转体3的姿态的姿态检测器24；以及检测回转体3的方位的方位检测器25。

拍摄装置

图2是表示本实施方式涉及的拍摄装置30的一个示例的立体图。图2是表示液压挖掘机1的驾驶室4附近的立体图。

如图2所示，液压挖掘机1具有拍摄装置30。拍摄装置30设置于液压挖掘机1，并作为对液压挖掘机1的前方的对象进行测量的测量装置发挥功能。拍摄装置30对液压挖掘机1的前方的对象进行拍摄。另外，液压挖掘机1的前方是指，在车身坐标系中的+xm方向，是相对于回转体3作业机2所在的方向。

拍摄装置30设置于驾驶室4的内侧。拍摄装置30配置于驾驶室4的前方(+xm方向)且上方(+zm方向)。

上方(+zm方向)是指，与履带5a、5b的接地面正交的方向，且离开接地面的方向。履带5a、5b的接地面是指，由履带5a、5b中的至少一方接地的部分上的不在同一直线上的至少三点规定的平面。下方(-zm方向)是指，上方的相反方向，并与履带5a、5b的接地面正交的方向，且接近接地面的方向。

驾驶席4s及操作装置35配置于驾驶室4。驾驶席4s具有椅背4ss。前方(+xm方向)是指，从驾驶席4s的椅背4ss接近操作装置35的方向。后方(-xm方向)是指，前方的相反方向，且从操作装置35接近驾驶席4s的椅背4ss的方向。回转体3的前部是回转体3的前方的部分，是回转体3的与配重体wt相反一侧的部分。操作装置35为了作业机2及回转体3的操作而由驾驶人员操作。操作装置35包括右操作杆35r及左操作杆35l。搭乘于驾驶室4内的驾驶人员对操作装置35进行操作，来实施作业机2的驱动及回转体3的回转。

拍摄装置30拍摄位于回转体3的前方的拍摄对象。在本实施方式中，拍摄对象包括在施工现场被施工的施工对象。施工对象包括由液压挖掘机1的作业机2进行挖掘的挖掘对象。另外，施工对象可以是由其他的液压挖掘机1ot的作业机2进行挖掘的挖掘对象，也可以是由不同于具有拍摄装置30的液压挖掘机1的作业机械进行施工的施工对象。此外，施工对象还可以是由作业人员进行施工的施工对象。

另外，施工对象为包括施工前的施工对象、施工中的施工对象、及施工后的施工对象的概念。

拍摄装置30具有光学系统和图像传感器。图像传感器包括ccd(couplechargeddevice，电荷耦合器件)图像传感器或cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)图像传感器。

在本实施方式中，拍摄装置30包括多个拍摄装置30a、30b、30c、30d。拍摄装置30a、30c配置在比拍摄装置30b、30d靠+ym侧(作业机2侧)。拍摄装置30a与拍摄装置30b在ym轴方向上隔开间隔地配置。拍摄装置30c与拍摄装置30d在ym轴方向上隔开间隔地配置。拍摄装置30a、30b配置在比拍摄装置30c、30d靠+zm侧。在zm轴方向上，拍摄装置30a与拍摄装置30b实质上配置在同一位置。在zm轴方向上，拍摄装置30c与拍摄装置30d实质上配置在同一位置。

由四个拍摄装置30(30a、30b、30c、30d)中的两个拍摄装置30组合而构成立体拍摄装置。立体拍摄装置是指，通过从多个不同的方向同时对拍摄对象进行拍摄，能够获取拍摄对象在纵深方向上的数据的拍摄装置。在本实施方式中，由拍摄装置30a、30b组合而构成第一立体拍摄装置，由拍摄装置30c、30d组合而构成第二立体拍摄装置。

在本实施方式中，拍摄装置30a、30b朝向上方(+zm方向)。拍摄装置30c、30d朝向下方(-zm方向)。另外，拍摄装置30a、30c朝向前方(+xm方向)。拍摄装置30b、30d朝向比前方稍微靠+ym侧(作业机2侧)。即，拍摄装置30a、30c朝向回转体3的正面，拍摄装置30b、30d朝向拍摄装置30a、30c侧。此外，也可以是拍摄装置30b、30d朝向回转体3的正面，拍摄装置30a、30c朝向拍摄装置30b、30d侧。

拍摄装置30对位于回转体3的前方的拍摄对象进行立体拍摄。在本实施方式中，利用基于至少一对拍摄装置30的立体图像数据对施工对象进行三维测量，并计算施工对象的三维数据。施工对象的三维数据为施工对象的表面(地表)的三维数据。施工对象的三维数据包括在全局坐标系中的施工对象的三维形状数据。

对多个拍摄装置30(30a、30b、30c、30d)分别规定拍摄装置坐标系(xs，ys，zs)。拍摄装置坐标系是以固定在拍摄装置30的原点为基准的坐标系。拍摄装置坐标系的zs轴与拍摄装置30的光学系统的光轴重合。另外，在本实施方式中，多个拍摄装置30a、30b、30c、30d中将拍摄装置30c设定为基准拍摄装置。

检测系统

接着，说明本实施方式涉及的液压挖掘机1的检测系统。图3是示意性地表示本实施方式涉及的液压挖掘机1的侧视图。

如图3所示，液压挖掘机1具有：检测作业机2的角度的作业机角度检测器22；检测回转体3的位置的位置检测器23；检测回转体3的姿态的姿态检测器24；以及检测回转体3的方位的方位检测器25。

位置检测器23包括gps接收机。位置检测器23设置于回转体3。位置检测器23检测由全局坐标系规定的回转体3的位置即绝对位置。回转体3的绝对位置包括xg轴方向的坐标数据、yg轴方向的坐标数据和zg轴方向的坐标数据。

回转体3上设置有一对gps天线21。在本实施方式中，一对gps天线21设置于扶手9，该扶手9设置于回转体3的上部。一对gps天线21配置于车身坐标系的ym轴方向上。一对gps天线21隔开规定距离。一对gps天线21从gps卫星接收电波，并将基于接收到的电波生成的信号输出至位置检测器23。位置检测器23基于由一对gps天线21提供的信号，分别检测由全局坐标系规定的一对gps天线21的位置即绝对位置。

位置检测器23基于一对gps天线21的绝对位置的至少一方实施运算处理，来计算出回转体3的绝对位置。在本实施方式中，回转体3的绝对位置可以是一方的gps天线21的绝对位置。另外，回转体3的绝对位置也可以是一方的gps天线21的绝对位置与另一方的gps天线21的绝对位置之间的位置。

姿态检测器24包括惯性测量装置(imu；inertialmeasurementunit)。姿态检测器24设置于回转体3。姿态检测器24计算由全局坐标系规定的、回转体3相对于水平面(xgyg平面)的倾斜角度。回转体3相对于水平面的倾斜角度包括：表示回转体3在ym轴方向(车宽方向)上的倾斜角度的侧倾角θ1；以及表示回转体3在xm轴方向(前后方向)上的倾斜角度的俯仰角θ2。

姿态检测器24检测作用于姿态检测器24的加速度和角速度。通过检测作用于姿态检测器24的加速度和角速度，来检测作用于回转体3的加速度和角速度。基于作用于回转体3的加速度和角速度，导出回转体3的姿态。

方位检测器25基于一方的gps天线21的绝对位置和另一方的gps天线21的绝对位置，计算回转体3相对于由全局坐标系规定的基准方位的方位。基准方位例如是北。方位检测器25计算连接一方的gps天线21的绝对位置和另一方的gps天线21的绝对位置的直线，并基于由计算出的直线和基准方位构成的角度来计算回转体3相对于基准方位的方位。回转体3相对于基准方位的方位包括表示由基准方位和回转体3的方位构成的角度的横摆角(方位角)θ3。

作业机2具有：动臂行程传感器16，其配置于动臂缸10，用于检测表示动臂缸10的驱动量的动臂行程；斗杆行程传感器17，其配置于斗杆缸11，用于检测表示斗杆缸11的驱动量的斗杆行程；以及铲斗行程传感器18，其配置于铲斗缸12，用于检测表示铲斗缸12的驱动量的铲斗行程。

作业机角度检测器22检测动臂6的角度、斗杆7的角度、以及铲斗8的角度。作业机角度检测器22基于由动臂行程传感器16检测出的动臂行程，计算表示动臂6相对于车身坐标系的zm轴的倾斜角度的动臂角度α。作业机角度检测器22基于由斗杆行程传感器17检测出的斗杆行程，计算表示斗杆7相对于动臂6的倾斜角度的斗杆角度β。作业机角度检测器22基于由铲斗行程传感器18检测出的铲斗行程，计算表示铲斗8的齿尖8bt相对于斗杆7的倾斜角度的铲斗角度γ。

另外，动臂角度α、斗杆角度β及铲斗角度γ，例如可以由设置于作业机2的角度传感器来检测，而不使用行程传感器。

形状测量系统

图4是示意性地表示本实施方式涉及的包括液压挖掘机1的控制系统50及服务器61的形状测量系统100的一个示例的图。

控制系统50配置于液压挖掘机1。服务器61设置于液压挖掘机1的远离位置。控制系统50与服务器61能够通过通信线路ntw进行数据通信。另外，通信线路ntw不仅与控制系统50和服务器61连接，也与移动终端装置64和其他的液压挖掘机1ot的控制系统50ot连接。液压挖掘机1的控制系统50、服务器61、移动终端装置64和其他的液压挖掘机1ot的控制系统50ot能够通过通信线路ntw进行数据通信。通信线路ntw包括移动电话网络及互联网中的至少一方。另外，通信线路ntw也可以包括无线lan(localareanetwork，局域网)。

控制系统50具有多个拍摄装置30(30a、30b、30c、30d)、检测处理装置51、施工管理装置57、显示装置58和通信装置26。

另外，控制系统50具有作业机角度检测器22、位置检测器23、姿态检测器24和方位检测器25。

检测处理装置51、施工管理装置57、显示装置58、通信装置26、位置检测器23、姿态检测器24、及方位检测器25与信号线59连接而能够相互进行数据通信。应用于信号线59的通信标准例如为can(controllerareanetwork，控制器局域网)。

控制系统50包括计算机系统。控制系统50具有运算处理装置和存储装置，该运算处理装置包括如cpu(centralprocessingunit,中央处理单元)这样的处理器；该存储装置包括如ram(randomaccessmemory,随机存取存储器)这样的非易失性存储器和rom(readonlymemory，只读存储器)这样的易失性存储器。通信用天线26a与通信装置26连接。通信装置26能够与服务器61、移动终端装置64、及其他的液压挖掘机1ot的控制系统50ot中的至少一个通过通信线路ntw进行数据通信。

检测处理装置51基于由至少一对拍摄装置30拍摄而得到的施工对象的一对图像数据，计算施工对象的三维数据。检测处理装置51通过对施工对象的一对图像数据以立体方式进行图像处理，来计算表示在三维坐标系中的施工对象的多个部位的坐标的三维数据。立体方式的图像处理是指，根据由两个不同的拍摄装置30对同一拍摄对象进行观测而得到的两个图像，获得相对于该拍摄对象的距离的方法。相对于拍摄对象的距离，例如能够表现为通过浓淡处理将相对于拍摄对象的距离数据可视化而成的距离图像。

集线器31及拍摄开关32与检测处理装置51连接。集线器31与多个拍摄装置30a、30b、30c、30d连接。由拍摄装置30a、30b、30c、30d获取的图像数据通过集线器31提供给检测处理装置51。另外，集线器31可以省略。

拍摄开关32设置于驾驶室4。在本实施方式中，在由驾驶室4内的驾驶人员操作拍摄开关32时，能够通过拍摄装置30实施施工对象的拍摄。另外，在液压挖掘机1工作的状态下，可以按照规定期间自动地由拍摄装置30进行施工对象的拍摄。

施工管理装置57管理液压挖掘机1的状态及由液压挖掘机1进行的施工的状况。施工管理装置57获取例如表示在一天的作业结束阶段的施工结果的完结施工数据，并将其发送至服务器61及移动终端装置64中的至少一方。另外，施工管理装置57获取表示在一天的作业中途阶段的施工结果的中间施工数据，并将其发送至服务器61及移动终端装置64中的至少一方。

完结施工数据和中间施工数据包括由检测处理装置51基于由拍摄装置30获取的图像数据计算出的施工对象的三维数据。即，一天的作业的中途阶段及结束阶段的施工对象的现状地形数据发送至服务器61及移动终端装置64中的至少一方。另外，除了完结施工数据和中间施工数据之外，施工管理装置57还可以将例如由拍摄装置30获取的图像数据的获取时间数据、获取位置数据、以及获取了图像数据的液压挖掘机1的识别数据的至少一个包含在内，发送至服务器61及移动终端装置64中的至少一方。另外，液压挖掘机1的识别数据例如包括液压挖掘机1的型号。

显示装置58包括如液晶显示器(lcd；liquidcrystaldisplay)或有机el显示器(oeld；organicelectroluminescencedisplay，有机电致发光显示器)等的平板显示器。

移动终端装置64例如由管理液压挖掘机1的作业的管理人员持有。

服务器61包括计算机系统。服务器61包括运算处理装置和存储装置，该运算处理装置包括如cpu这样的处理器；该存储装置包括如ram这样的易失性存储器和rom这样的非易失性存储器。通信装置62及显示装置65与服务器61连接。通信装置62与通信用天线63连接。通信装置62能够与液压挖掘机1的控制系统50、移动终端装置64、及其他的液压挖掘机1ot的控制系统50ot中的至少一个通过通信线路ntw进行数据通信。

图5是表示本实施方式涉及的检测处理装置51的一个示例的功能框图。检测处理装置51包括计算机系统，该计算机系统具有：包含处理器的运算处理装置；包含非易失性存储器及易失性存储器的存储装置；以及输入输出接口。

检测处理装置51具有图像数据获取部101、三维数据计算部102、位置数据获取部103、姿态数据获取部104、方位数据获取部105、作业机角度数据获取部106、作业机位置数据计算部107、显示控制部108、存储部109和输入输出部110。

图像数据获取部101、三维数据计算部102、位置数据获取部103、姿态数据获取部104、方位数据获取部105、作业机角度数据获取部106、作业机位置数据计算部107、及显示控制部108的功能由运算处理装置来实现。存储部109的功能由存储装置来实现。输入输出部110的功能由输入输出接口来实现。

拍摄装置30、作业机角度检测器22、位置检测器23、姿态检测器24、方位检测器25、拍摄开关32及显示装置58与输入输出部110连接。图像数据获取部101、三维数据计算部102、位置数据获取部103、姿态数据获取部104、方位数据获取部105、作业机角度数据获取部106、作业机位置数据计算部107、显示控制部108、存储部109、拍摄装置30、作业机角度检测器22、位置检测器23、姿态检测器24、方位检测器25、拍摄开关32和显示装置58能够通过输入输出部110进行数据通信。

图像数据获取部101从一对拍摄装置30获取由设置于液压挖掘机1的至少一对拍摄装置30所拍摄的施工对象的图像数据。即，图像数据获取部101获取基于至少一对拍摄装置30的立体图像数据。图像数据获取部101作为测量数据获取部发挥功能，用于获取由设置于液压挖掘机1的拍摄装置30(测量装置)拍摄到(测量出)的液压挖掘机1的前方的施工对象的图像数据(测量数据)。

三维数据计算部102基于由图像数据获取部101获取的图像数据，计算施工对象的三维数据。三维数据计算部102基于由图像数据获取部101获取的图像数据，计算在拍摄装置坐标系中的施工对象的三维形状数据。

位置数据获取部103从位置检测器23获取液压挖掘机1的位置数据。液压挖掘机1的位置数据包括表示由位置检测器23检测出的在全局坐标系中的回转体3的位置的位置数据。

姿态数据获取部104从姿态检测器24获取液压挖掘机1的姿态数据。液压挖掘机1的姿态数据包括表示由姿态检测器24检测出的在全局坐标系中的回转体3的姿态的姿态数据。

方位数据获取部105从方位检测器25获取液压挖掘机1的方位数据。液压挖掘机1的方位数据包括表示由方位检测器25检测出的在全局坐标系中的回转体3的方位的方位数据。

作业机角度数据获取部106从作业机角度检测器22获取表示作业机2的角度的作业机角度数据。作业机角度数据包括动臂角度α、斗杆角度β及铲斗角度γ。

作业机位置数据计算部107计算表示作业机2的位置的作业机位置数据。作业机位置数据包括动臂6的位置数据、斗杆7的位置数据及铲斗8的位置数据。

作业机位置数据计算部107基于由作业机角度数据获取部106获取的作业机角度数据、以及存储于存储部109的作业机数据，计算车身坐标系中的动臂6的位置数据、斗杆7的位置数据及铲斗8的位置数据。动臂6、斗杆7及铲斗8的位置数据包括动臂6、斗杆7及铲斗8的多个部位各自的坐标数据。

此外，作业机位置数据计算部107基于由位置数据获取部103获取的回转体3的位置数据、由姿态数据获取部104获取的回转体3的姿态数据、由方位数据获取部105获取的回转体3的方位数据、由作业机角度数据获取部106获取的作业机角度数据、以及存储于存储部109的作业机数据，计算全局坐标系中的动臂6、斗杆7及铲斗8的位置数据。

作业机数据包括作业机2的设计数据或规格数据。作业机2的设计数据包括作业机2的三维cad数据。作业机数据包括作业机2的外形数据和作业机2的尺寸数据中的至少一方。在本实施方式中，如图3所示，作业机数据包括动臂长度l1、斗杆长度l2及铲斗长度l3。动臂长度l1是旋转轴ax1与旋转轴ax2之间的距离。斗杆长度l2是旋转轴ax2与旋转轴ax3之间的距离。铲斗长度l3是旋转轴ax3与铲斗8的齿尖8bt之间的距离。

三维数据计算部102基于由图像数据获取部101获取的施工对象的图像数据，计算车身坐标系中的施工对象的三维数据。车身坐标系中的施工对象的三维数据包括车身坐标系中的施工对象的三维形状数据。三维数据计算部102对拍摄装置坐标系中的施工对象的三维数据进行坐标转换，来计算出车身坐标系中的施工对象的三维数据。

此外，三维数据计算部102基于由位置数据获取部103获取的回转体3的位置数据、由姿态数据获取部104获取的回转体3的姿态数据、由方位数据获取部105获取的回转体3的方位数据、及由图像数据获取部101获取的施工对象的图像数据，计算在全局坐标系中的施工对象的三维数据。在全局坐标系中的施工对象的三维数据包括在全局坐标系中的施工对象的三维形状数据。三维数据计算部102对车身坐标系中的施工对象的三维数据进行坐标转换，来计算出全局坐标系中的施工对象的三维数据。

显示控制部108将由三维数据计算部102计算出的施工对象的三维数据显示在显示装置58。显示控制部108将由三维数据计算部102计算出的施工对象的三维数据转换成显示装置58能够显示的显示形式的显示数据，并将该显示数据显示在显示装置58。

三维处理

图6是用于说明通过本实施方式涉及的一对拍摄装置30计算三维数据的方法的示意图。在以下的说明中，说明通过一对拍摄装置30a、30b计算三维数据的方法。计算三维数据的三维处理包括所谓的立体测量处理。另外，通过一对拍摄装置30a、30b计算三维数据的方法与通过一对拍摄装置30c、30d计算三维数据的方法相同。

存储部109存储有表示一对拍摄装置30a、30b的测量装置位置数据、即拍摄装置位置数据。拍摄装置位置数据包括拍摄装置30a及拍摄装置30b各自的位置及姿态。此外，拍摄装置位置数据包括一对拍摄装置30a与拍摄装置30b的相对位置。拍摄装置位置数据是由拍摄装置30a、30b的设计数据或规格数据可知的已知数据。表示拍摄装置30a、30b的位置的拍摄装置位置数据包括：拍摄装置30a的光学中心oa的位置及光轴的朝向、拍摄装置30b的光学中心ob的位置及光轴的朝向、连接拍摄装置30a的光学中心oa与拍摄装置30b的光学中心ob的基线的尺寸中的至少一个。

在图6中，存在于三维空间的测量点p被投影于一对拍摄装置30a、30b的投影面。此外，测量点p的像点及拍摄装置30b的投影面的点eb的像点被投影于拍摄装置30a的投影面，从而规定出核线。同样地，测量点p的像点及拍摄装置30a的投影面的点ea的像点被投影于拍摄装置30b的投影面，从而规定出核线。此外，由测量点p、点ea和点eb规定出核面。

在本实施方式中，图像数据获取部101获取由拍摄装置30a拍摄到的图像数据、以及由拍摄装置30b拍摄到的图像数据。由拍摄装置30a拍摄到的图像数据及由拍摄装置30b拍摄到的图像数据，分别是投影于投影面的二维图像数据。在以下的说明中，可将由拍摄装置30a拍摄到的二维图像数据称为右图像数据，将由拍摄装置30b拍摄到的二维图像数据称为左图像数据。

由图像数据获取部101获取的右图像数据及左图像数据被输出到三维数据计算部102。三维数据计算部102基于拍摄装置坐标系中规定出的右图像数据中的测量点p的像点的坐标数据、左图像数据中的测量点p的像点的坐标数据、以及核面，计算拍摄装置坐标系中的测量点p的三维坐标数据。

对三维图像数据，基于右图像数据及左图像数据，计算施工对象的多个测量点p各自的三维坐标数据。由此，计算出施工对象的三维数据。

在本实施方式中，三维数据计算部102在立体图像处理中，在计算出包括拍摄装置坐标系中的多个测量点p的三维坐标数据的三维数据之后，通过进行坐标转换，来计算出包括车身坐标系中的多个测量点p的三维坐标数据的三维数据。

形状测量方法

接着，对本实施方式涉及的形状测量方法进行说明。在使用拍摄装置30对施工对象进行拍摄时，由拍摄装置30拍摄出的图像数据中有可能拍摄到液压挖掘机1的作业机2的至少一部分。在由拍摄装置30拍摄出的图像数据中，由于拍摄到的作业机2是噪声成分，所以难以获取施工对象的良好的三维数据。

在本实施方式中，三维数据计算部102基于由图像数据获取部101获取的图像数据、以及由作业机位置数据计算部107计算出的作业机位置数据，计算作为对象数据的去除了作业机2的至少一部分的三维数据。

在本实施方式中，三维数据计算部102对由作业机位置数据计算部107计算出的车身坐标系中的作业机位置数据进行坐标转换，来计算出拍摄装置坐标系中的作业机位置。三维数据计算部102基于拍摄装置坐标系中的作业机位置数据，确定出由图像数据获取部101获取的图像数据中的作业机2的位置，并计算作为对象数据的去除了作业机2的至少一部分的三维数据。三维数据计算部102对作为拍摄装置坐标系中计算出的三维数据的对象数据进行坐标转换，来计算出作为车身坐标系中的三维数据的对象数据。

图7是表示本实施方式涉及的形状测量方法的一个示例的流程图。图像数据获取部101从拍摄装置30获取右图像数据及左图像数据(步骤sa10)。如上所述，右图像数据及左图像数据是二维图像数据。

三维数据计算部102对由作业机位置数据计算部107计算出的车身坐标系中的作业机位置数据进行坐标转换，并计算出拍摄装置坐标系中的作业机位置数据。三维数据计算部102基于拍摄装置坐标系中的作业机位置数据，确定右图像数据及左图像数据中各自的作业机2的位置(步骤sa20)。

如上所述，存储部109存储有表示拍摄装置30a、30b的位置的拍摄装置位置数据。三维数据计算部102能够基于拍摄装置位置数据及作业机位置数据，确定右图像数据中的作业机2的位置、以及左图像数据中的作业机2的位置。

例如，只要得知车身坐标系中的作业机2的位置、以及车身坐标系中的拍摄装置30的位置及姿态(朝向)，就能够确定在拍摄装置30的拍摄范围(拍摄装置30的光学系统的可视区域)中拍摄到作业机2的范围。三维数据计算部102能够基于作业机2与拍摄装置30的相对位置，计算右图像数据中的作业机2的位置、以及左图像数据中的作业机2的位置。

图8是表示本实施方式涉及的右图像数据的一个示例的图。另外，在使用图8的说明中，对右图像数据进行说明，但对于左图像数据也同样如此。

如图8所示，在右图像数据中有可能拍摄到作业机2。三维数据计算部102基于拍摄装置位置数据及作业机位置数据，确定在拍摄装置坐标系中规定的右图像数据中的作业机2的位置。如上所述，作业机位置数据包括作业机数据，作业机数据包括如三维cad数据那样的作业机2的设计数据。此外，作业机数据包括作业机2的外形数据及作业机2的尺寸数据。因此，三维数据计算部102在构成右图像数据的多个像素中能够确定表示作业机2的像素。

三维数据计算部102基于作业机位置数据，从右图像数据中去除包括作业机2的部分数据。同样地，三维数据计算部102基于作业机位置数据，从左图像数据中去除包括作业机2的部分数据(步骤sa30)。

也就是说，三维数据计算部102在右图像数据的多个像素中使表示用于立体测量处理的作业机2的像素无效化。同样地，三维数据计算部102在左图像数据的多个像素中使表示用于立体测量处理的作业机2的像素无效化。换言之，三维数据计算部102将投影于拍摄装置30a、30b的投影面的表示作业机2的测量点p的像点去除或无效化。

三维数据计算部102基于作为去除包括作业机2的部分数据后的图像数据的周边数据，计算作为对象数据的去除作业机2后的三维数据(步骤sa40)。

也就是说，三维数据计算部102基于从右图像数据中去除包括作业机2的部分数据后的二维周边数据、以及从左图像数据中去除包括作业机2的部分数据后的二维周边数据，进行三维处理，并计算作为对象数据的去除作业机2后的三维数据。三维数据计算部102对在拍摄装置坐标系中规定的对象数据进行坐标转换，来计算出在车身坐标系或全局坐标系中规定的对象数据。

作用及效果

如上所说明，根据本实施方式，即使拍摄到作业机2，也能够基于由图像数据获取部101获取的图像数据、以及由作业机位置数据计算部107计算出的作业机位置数据，计算出作为去除作业机2的至少一部分后的三维数据的对象数据。

在由拍摄装置30获取的图像数据中，拍摄到的作业机2是噪声成分。在本实施方式中，由于包括作为噪声成分的作业机2的部分数据被去除，所以三维数据计算部102能够基于周边数据，计算出施工对象的良好的三维数据。此外，即使不使作业机2上升而通过拍摄装置30对施工对象进行拍摄，也由于能够计算出施工对象的良好的三维数据，所以能够抑制作业效率的降低。

另外，在本实施方式中，如参照图8进行说明那样，部分数据按照作业机2的外形来规定。部分数据可以包括作业机2的一部分，周边数据可以包括作业机的一部分。此外，部分数据也可以包括施工对象的一部分。

实施方式2

对实施方式2进行说明。在以下的说明中，对与上述实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。

在上述实施方式中，从二维的右图像数据及左图像数据中去除部分数据。在本实施方式中，说明以下的示例、即在基于右图像数据及左图像数据计算出包括作业机2的三维数据之后，从该三维数据中去除包括作业机2的部分数据。

图9是表示本实施方式涉及的形状测量方法的一个示例的流程图。图像数据获取部101从拍摄装置30获取右图像数据及左图像数据(步骤sb10)。

三维数据计算部102基于由图像数据获取部101获取的右图像数据及左图像数据而进行三维处理，并计算施工对象的三维数据(步骤sb20)。三维数据计算部102在计算出拍摄装置坐标系中的施工对象的三维数据之后进行坐标转换，并计算车身坐标系中的施工对象的三维数据。

三维数据计算部102基于由作业机位置数据计算部107计算出的车身坐标系中的作业机位置数据，确定车身坐标系中的作业机2的位置(步骤sb30)。三维数据计算部102对车身坐标系中的作业机2的位置进行坐标转换，并确定拍摄装置坐标系中的作业机2的位置。

三维数据计算部102从在步骤sb20中计算出的三维数据中，去除在步骤sb30中确定出的包括作业机2的部分数据(三维数据)，来计算出作为去除作业机2后的三维数据的对象数据(步骤sb40)。

也就是说，三维数据计算部102基于作业机位置数据，从由通过三维处理而获取的多个测量点p构成的三维点云数据中，推定出表示作业机2的多个测量点p，并从三维点云数据中去除由推定出的表示作业机2的多个测量点p构成的三维部分数据。

三维数据计算部102对在拍摄装置坐标系中规定出的对象数据进行坐标转换，来计算出在车身坐标系或全局坐标系中规定出的对象数据。

如上所说明，在本实施方式中，在由拍摄装置30拍摄出的图像数据中拍摄到作业机2的情况下，在基于右图像数据及左图像数据而计算出包括作业机2的三维数据之后，从该三维数据中去除包括作业机2的部分数据。在本实施方式中，也能够抑制作业效率的降低，并且获取液压挖掘机1前方的施工对象的良好的三维数据。

实施方式3

对实施方式3进行说明。在以下的说明中，对与上述实施方式相同或等同的结构要素标注相同的符号，并简略或省略其说明。

在上述实施方式中，说明了去除包括作业机2的部分数据的示例。在本实施方式中，对去除包括其他的液压挖掘机1ot的部分数据的示例进行说明。

图10是示意性地表示本实施方式涉及的形状测量方法的一个示例的图。如图10所示，在使用设置于液压挖掘机1的拍摄装置30来对施工对象obp进行拍摄时，在由拍摄装置30拍摄出的图像数据中有可能拍摄到其他的液压挖掘机1ot的至少一部分。在由拍摄装置30拍摄出的图像数据中，由于拍摄到的其他的液压挖掘机1ot是噪声成分，所以难以获取施工对象的良好的三维数据。

在本实施方式中，位置数据获取部103获取其他的液压挖掘机1ot的位置数据。三维数据计算部102基于由图像数据获取部101获取的图像数据、以及由位置数据获取部103获取的其他的液压挖掘机1ot的位置数据，计算作为对象数据的去除其他的液压挖掘机1ot的至少一部分后的三维数据。

与液压挖掘机1同样地，其他的液压挖掘机1ot具有gps天线21、以及检测车辆的位置的位置检测器23。其他的液压挖掘机1ot将由位置检测器23检测出的其他的液压挖掘机1ot的位置数据，通过通信线路ntw逐次发送到服务器61。

服务器61将其他的液压挖掘机1ot的位置数据，发送到液压挖掘机1的检测处理装置51的位置数据获取部103。液压挖掘机1的检测处理装置51的三维数据计算部102基于其他的液压挖掘机1ot的位置数据，确定由图像数据获取部101获取的图像数据中的其他的液压挖掘机1ot的位置，并计算作为对象数据的去除其他的液压挖掘机1ot的至少一部分后的三维数据。

在本实施方式中，三维数据计算部102基于其他的液压挖掘机1ot的位置数据，确定由图像数据获取部101获取的图像数据中的其他的液压挖掘机1ot的范围。三维数据计算部102可以将例如以其他的液压挖掘机1ot的位置数据为中心的规定距离(例如，在xg轴方向、yg轴方向及zg轴方向上分别为±5m或半径为5m的球体)的范围，作为图像数据中的其他的液压挖掘机1ot的范围。三维数据计算部102可以基于由图像数据获取部101获取的图像数据、其他的液压挖掘机1ot的位置数据、以及作为已知数据的其他的液压挖掘机1ot的外形数据和尺寸数据中的至少一方，确定图像数据中的其他的液压挖掘机1ot的范围。其他的液压挖掘机1ot的外形数据及尺寸数据可以由服务器61保存，并且从服务器61发送至液压挖掘机1，也可以存储于存储部109。

另外，在本实施方式中，可以从二维的右图像数据及左图像数据中去除包括其他的液压挖掘机1ot的部分数据，也可以在基于右图像数据及左图像数据而计算出包括其他的液压挖掘机1ot的三维数据之后，从该三维数据中去除包括其他的液压挖掘机1ot的部分数据。

如上所说明，根据本实施方式，即使拍摄到其他的液压挖掘机1ot，由于包括作为噪声成分的其他的液压挖掘机1ot的部分数据被去除，所以三维数据计算部102也能够基于周边数据，计算出施工对象的良好的三维数据。

另外，在上述实施方式中，计算了车身坐标系中的作业机位置数据，并在三维处理中将作业机位置数据坐标转换成拍摄装置坐标系，并在拍摄装置坐标系中去除了部分数据。可以在车身坐标系中进行部分数据的去除，也可以在全局坐标系中进行部分数据的去除。还可以在任意的坐标系中去除部分数据，并适当地进行坐标转换。

此外，在上述本实施方式中，对在液压挖掘机1设置有四个拍摄装置30的示例进行了说明。拍摄装置30在液压挖掘机1至少设置两个即可。

另外，在上述实施方式中，服务器61可以具有检测处理装置51的一部分或全部的功能。也就是说，服务器61可以具有图像数据获取部101、三维数据计算部102、位置数据获取部103、姿态数据获取部104、方位数据获取部105、作业机角度数据获取部106、作业机位置数据计算部107、显示控制部108、存储部109和输入输出部110中的至少一个。例如，由液压挖掘机1的拍摄装置30拍摄出的图像数据、由作业机角度检测器22检测出的作业机2的角度数据、由位置检测器23检测出的回转体3的位置数据、由姿态检测器24检测出的回转体3的姿态数据、以及由方位检测器25检测出的回转体3的方位数据，可以通过通信装置26及通信线路ntw提供给服务器61。服务器61的三维数据计算部102能够基于图像数据及作业机位置数据，计算作为对象数据的去除作业机1的至少一部分后的三维数据。

从液压挖掘机1及多个其他的液压挖掘机1ot，向服务器61提供图像数据及作业机位置数据的这两种。服务器61基于从液压挖掘机1及多个其他的液压挖掘机1ot提供来的图像数据及作业机位置数据，能够在广范围内收集施工对象obp的三维数据。

另外，在上述实施方式中，分别从右图像数据及左图像数据中去除了包括作业机2的部分数据。可以从右图像数据和左图像数据的任意一方中去除包括作业机2的部分数据。在从右图像数据和左图像数据的任意一方中去除了包括作业机2的部分数据的情况下，在计算三维数据时，不会计算出作业机2的部分数据。

另外，在上述实施方式中，测量液压挖掘机1前方的施工对象的测量装置是拍摄装置30。测量液压挖掘机1前方的施工对象的测量装置可以是三维激光扫描仪。在这种情况下，由三维激光扫描仪测量出的三维形状数据相当于测量数据。

此外，在上述实施方式中，作业机械1为液压挖掘机。作业机械1只要是能够对施工对象进行施工的作业机械即可，也可以是能够对施工对象进行挖掘的挖掘机械及能够运载砂土的运载机械。作业机械1例如可以是轮式装载机，也可以是推土机，还可以是自卸车。

附图标记说明

1液压挖掘机(作业机械)

1b车身

2作业机

3回转体

4驾驶室

4s驾驶席

4ss椅背

5行走体

6动臂

7斗杆

8铲斗

8bt齿尖

10动臂缸

11斗杆缸

12铲斗缸

13动臂销

14斗杆销

15铲斗销

16动臂行程传感器

17斗杆行程传感器

18铲斗行程传感器

21gps天线

22作业机角度检测器

23位置检测器

24姿态检测器

25方位检测器

26通信装置

26a通信用天线

30(30a、30b、30c、30d)拍摄装置

31集线器

32拍摄开关

35操作装置

35l左操作杆

35r右操作杆

50控制系统

51检测处理装置

57施工管理装置

58显示装置

59信号线

61服务器

62通信装置

63通信用天线

64移动终端装置

65显示装置

100形状测量系统

101图像数据获取部(测量数据获取部)

102三维数据计算部

103位置数据获取部

104姿态数据获取部

105方位数据获取部

106作业机角度数据获取部

107作业机位置数据计算部

108显示控制部

109存储部

110输入输出部

ax1旋转轴

ax2旋转轴

ax3旋转轴

ntw通信线路