容器测量系统的制作方法

1.本发明涉及一种计算容器的三维信息的容器测量系统。


背景技术：

2.例如，在专利文献1等中记载有计算容器的三维信息的技术。该文献所记载的技术，用相机拍摄容器的四个特征点，计算各特征点的三维位置。
3.然而，有时存在用相机无法正确地拍摄特征点等情况，难以稳定地计算特征点的三维信息。其结果,难以稳定地计算容器的三维信息。
4.现有技术文献专利文献专利文献1：日本专利公开公报特开2000-064359号。


技术实现要素：

5.在此，本发明的目的在于提供一种可以稳定地计算容器的三维信息的容器测量系统。
6.本发明涉及的容器测量系统具备距离图像获取部和运算部。所述距离图像获取部，被设置在进行对具有平面部的容器的装载作业的作业设备上，用于获取所述容器的距离图像。所述运算部对所述距离图像获取部获取到的所述容器的距离图像进行处理。所述运算部基于所述容器的所述距离图像计算所述平面部的三维位置。所述运算部基于所述平面部的三维位置计算包含所述容器的三维位置以及三维形状的三维信息。
附图说明
7.图1是从侧面观察利用容器测量系统30的运输车10以及作业设备20的侧视图。
8.图2是表示由图1所示的距离图像获取部40获取的距离图像d的示意图。
9.图3是表示设置在图1所示的作业设备20上的容器测量系统30的方框图。
10.图4是表示图3所示的容器测量系统30的动作流程的示意图。
11.图5是表示图2所示的容器12的三维信息的显示例的示意图。
12.图6是表示图3所示的容器测量系统30的变形例的动作的流程图。
13.图7是图2所示的容器12的一部分没有被映射到距离图像d中时的相当于图2的示意图。
具体实施方式
14.下面参照图1至图5对容器测量系统30（参照图3）和利用容器测量系统30的运输车10（参照图1）以及作业设备20（参照图1）进行说明。
15.运输车10，如图1所示，是具有容器12的车辆。运输车10是用于运输由作业设备20装载的物体（装载对象物）的车辆，既可以是翻斗车也可以是卡车。运输车10具备主体部11
和容器12。主体部11可以行走并支撑容器12。主体部11具备驾驶室11a。
16.容器12收纳装载对象物。被收纳在容器12中的装载对象物例如既可以是砂土也可以是废弃物（产业废弃物等）。容器12是运输车10的载物台。容器12被配置在运输车10的比驾驶室11a位于后侧。以下，关于运输车10的方向，将从驾驶室11a朝向容器12的一侧称为“运输车后侧”，将从容器12朝向驾驶室11a的一侧称为“运输车前侧”。容器12既可以相对于主体部11可移动，也可以被固定在主体部11。容器12例如是没有盖子的箱形等（参照图2）。容器12具备平面部13。另外，容器12也可以不是运输车10的载物台，例如也可以直接放在地面等处。以下，对容器12是运输车10的载物台的情况进行说明。
17.如图2所示，平面部13是容器12之中平面状或大致平面状的部分。平面部13只要是整体上呈平面状或大致平面状即可。平面部13也可以具有凹凸、具有平缓的曲面。平面部13具备地板面13a、后面13b、侧面13c、前面13d。地板面13a是容器12的底面（下侧的面）。后面13b是容器12的运输车后侧的面，从地板面13a的运输车后侧的部分向上突出。侧面13c是容器12的左右面，从地板面13a的左右的端部向上突出。前面13d是容器12的运输车前侧的面，从地板面13a的运输车前侧的部分向上突出。前面13d比侧面13c更向上突出，比后面13b也更向上突出。地板面13a是底面的一个例子。后面13b、两个侧面13c以及前面13d是包围底面的面的一个例子。
18.如图1所示，作业设备20是进行将装载对象物装载到容器12的作业（装载作业）的设备。作业设备20例如既可以铲起装载对象物也可以夹住抓取装载对象物。作业设备20例如是进行建筑作业的工程机械，例如挖掘机等。作业设备20具备下部行走体21、上部回转体23、附属装置25。
19.下部行走体21使作业设备20行走。下部行走体21例如具备履带。上部回转体23可回转地搭载在下部行走体21上。上部回转体23具备驾驶室23a。附属装置25是使装载对象物移动的部分。附属装置25具备动臂25a、斗杆25b、远端附属装置25c。动臂25a可起伏地安装在上部回转体23上（可以上下地旋转）。斗杆25b可旋转（可推拉）地安装于动臂25a。远端附属装置25c设置在附属装置25的远端部，可旋转地安装于斗杆25b。远端附属装置25c既可以是铲起装载对象物（例如，泥土和沙子）的铲斗，也可以是夹住抓取装载对象物的装置（抓斗等）。
20.容器测量系统30（参照图3）是测量容器12的三维的信息（三维信息）的系统。容器测量系统30测量容器12相对于作业设备20的位置、方向以及形状。如图3所示，容器测量系统30具备距离图像获取部40、坐标信息获取部51、控制器50。另外，关于图3所示的动作信息获取部155将在以后说明。
21.距离图像获取部40获取包含图1所示的容器12的距离图像d（参照图2）。距离图像d是包含距离的信息（纵深的信息）的图像。距离图像获取部40被设置在作业设备20上。距离图像获取部40被配置在以下的位置，即，在作业设备20进行装载作业时能够获取到容器12以及容器12的周边部的距离图像d（参照图2）的位置。距离图像获取部40例如既可以配置（设置）在驾驶室23a的内部，也可以配置在驾驶室23a的外部，在图1所示的例子为配置在驾驶室23a的上面。另外，距离图像获取部40也可以自动跟踪容器12，以便可以获取到容器12的距离图像d（参照图2）。距离图像获取部40具备二维信息获取部42和三维信息获取部43。
22.二维信息获取部42（摄像装置）获取（摄像）包含容器12的二维的图像信息。二维信
息获取部42是相机等。三维信息获取部43（3d传感器、距离测量装置）获取容器12的三维的信息。三维信息获取部43测量从三维信息获取部43到容器12的各个部（详细情况后述）为止的距离。具体而言，例如，三维信息获取部43既可以具备lidar（light detection and ranging或laser imaging detection and ranging），也可以具备立体相机，还可以具备tof（time of flight）传感器。三维信息获取部43基于上述测量到的距离生成距离图像d，并将其输入到控制器50。
23.坐标信息获取部51（参照图3）获取坐标信息（后述）。例如，图3所示的坐标信息获取部51既可以获取作业设备20（参照图1）的操作人员手动输入的坐标信息，也可以获取存储在存储介质等中的坐标信息，还可以经由通信获取坐标信息。坐标信息获取部51既可以设置在作业设备20上，也可以设置在作业设备20的外部（离开作业设备20的位置）。控制器50也可以设置在外部。例如，控制器50可以设置在与作业设备20可通信地连接的服务器中。
24.控制器50进行信号的输入/输出、判断、计算等的运算、信息的存储等。控制器50包含运算部53以及存储部153m。运算部53处理距离图像获取部40获取到的容器12（参照图2）的距离图像d（参照图2）。进一步具体而言，运算部53，基于图2所示的容器12的距离图像d，计算构成容器12的平面部13的三维的位置（三维位置）。然后，运算部53（参照图3），基于平面部13的三维位置，计算容器12的三维信息。运算部53进行的处理的详情情况如下所述。另外，图3所示的存储部153m将在以后说明。
25.动作容器测量系统30（参照图3）如下所述进行动作。以下，主要参照图4主要对运算部53（参照图3）的处理进行说明。参照图2对容器12进行说明，参照图3对上述容器测量系统30的各构成要素（距离图像获取部40、运算部53等）进行说明。如图4所示，运算部53进行二维信息的处理s20、三维信息的处理s30以及坐标信息的获取（s41）。而且，运算部53组合这些信息计算容器12的三维信息（s50、s61至s63、s70），并输出计算出的三维信息（s80）。
26.二维信息的处理s20等图3所示的运算部53进行二维信息的处理s20（参照图4）。其理由如下所述。如果运算部53直接处理由三维信息获取部43获取到的距离图像d，有时会存在困难。例如，存在处理速度较慢的情况等。在此，运算部53提取由二维信息获取部42获取到的二维信息（以下称为“图像”）中的容器12（参照图2）的位置。而且，运算部53从三维信息获取部43获取到的距离图像d（点群数据）之中提取与图像中容器12（参照图2）的位置对应的部分（点群数据的一部分）。为了如此提取点群数据的一部分，运算部53进行二维信息的处理s20（参照图4）。容器测量系统30关于二维信息的处理s20等的动作的具体例子如下所述。另外，在运算部53可以直接处理由三维信息获取部43获取到的距离图像d的情况下，运算部53没有必要进行二维信息的处理s20。
27.二维信息获取部42获取包含容器12（参照图2）的图像（图4所示的步骤s21）。该图像的信息被输入到运算部53。而且，运算部53根据获取到的图像推测容器12的形状（图4所示的步骤s22）。具体而言，如图2所示，运算部53提取（识别、推测）特征点f（f1至f8）在图像中的位置以及链接l（l1至l9）在图像中的位置。运算部53，例如，通过执行从图像提取特定的形状的软件来提取特征点f以及链接l。例如，该软件可以是利用了深度学习技术的软件等。由此，运算部53提取包含容器12的图像、包含特征点f在图像中的位置以及链接l在图像
中的位置的二维信息（图4所示的步骤s23）。
28.特征点f是与平面部13的角对应的点。链接l是连接特征点f彼此的线段，例如与平面部13的边对应。在图2所示的例子中，特征点f的位置分别对应于前面13d的上端的两个点的位置（f1、f2）、两个侧面13c的运输车前侧的上端的两个点的位置（f3、f4）以及后面13b的角的四个点的位置（f5至f8）。例如，在前面13d的下端被映射在图像中的情况下，也可以将前面13d下端的位置作为特征点f（参照图1）进行提取。在图2所示的例子中，链接l的位置分别对应于前面13d中的比侧面13c位于上侧部分的四边形的四个边的位置（l1至l4）的位置。而且，链接l的位置分别对应于侧面13c的上边的位置（l5、l6）以及后面13b的四个边（进一步具体而言，与后面13b基本上重叠的四边形的四个边）（l7至l10）。
29.三维信息的处理s30等三维信息获取部43（参照图3）获取包含容器12的距离图像d（图4所示的步骤s31）。该距离图像d的信息被输入到运算部53。具体而言，运算部53获取距离信息的点群数据（以下简称为“点群”）（图4所示的步骤s32）。
30.坐标信息的获取等坐标信息获取部51（参照图3）获取坐标信息（图4所示的步骤s41）。坐标信息是用规定的坐标表示距离图像获取部40获取到的信息的信息（校准信息、传感器融合信息）。上述“规定的坐标”例如是以图1所示的作业设备20的特定的位置为原点的坐标（设备坐标）。图1是用x、y、z表示设备坐标的三个轴的一个例子。设备坐标的原点的位置可以进行各种各样的设定，在图1所示的例子中，是在上部回转体23相对于下部行走体21的旋转轴上且是上部回转体23的下端部的点的位置。另外，规定的坐标也可以是以作业设备20的外部的特定位置（例如，作业现场的特定位置等）为原点的坐标。以下，对规定的坐标为设备坐标的情况进行说明。
31.坐标信息包含用于将通过二维信息的处理s20（参照图4）获得的二维信息转换为设备坐标的信息。坐标信息包含用于将通过三维信息的处理s30（参照图4）获得的距离图像d（参照图2）转换为设备坐标的信息。坐标信息包含用于使二维信息与三维信息（距离图像d）重叠的信息。坐标信息也可以包含表示二维信息获取部42和三维信息获取部43之间的相对位置的转换矩阵。具体而言，例如，坐标信息包含用于转换距离图像获取部40的透视投影的参数。进一步具体而言，坐标信息包含外部参数以及内部参数，所述外部参数由距离图像获取部40的设置的位置、角度等而决定，所述内部参数由因距离图像获取部40的透镜引起的距离图像d（参照图2）的失真等而决定。另外，在有关距离图像获取部40的参数发生了变化的情况下（例如，设置位置、角度、机型等发生了变化的情况下），坐标信息获取部51获取新的坐标信息。
32.其次，如图4所示，运算部53将通过二维信息的处理s20获得的二维信息、通过三维信息的处理s30获得的三维信息（距离图像d（参照图2））、坐标信息进行组合（综合）（图4所示的步骤s42）。具体而言，运算部53，基于坐标信息，将二维信息和三维信息（距离图像d）转换成设备坐标。
33.特征点f以及链接l的三维信息（处理s50）运算部53计算图2所示的特征点f以及链接l的三维坐标（图4所示的处理s50）。运算部53计算与特征点f的位置对应的平面部13的角的三维坐标（设备坐标中的三维坐标）。
其结果，也计算出连接特征点f的链接l的三维信息。通过该计算，可以获得容器12（具体而言为特征点f以及链接l）的三维信息。另一方面，在本实施方式，通过如下所述计算平面部13的三维信息，还可以提高容器12的三维信息的精度。
34.平面部13的三维信息的处理（s60）运算部53，基于容器12的距离图像d，计算构成容器12的平面部13的三维位置。具体而言，运算部53进行如下的处理。
35.运算部53从三维信息获取部43（参照图3）获取到的距离图像d（整个点群）中提取与平面部13对应的部分的信息（点群的一部分）。运算部53从距离图像d提取特定的平面部13的点群。例如，运算部53从距离图像d中提取与前面13d（特定面）以及后面13b（特定面）对应的部分的点群。运算部53也可以提取与侧面13c以及地板面13a的至少其中一个面（特定面）对应的部分的点群。在容器12为空（或大致为空）的情况下，运算部53也可以从距离图像d提取所有的平面部13（地板面13a、后面13b、侧面13c以及前面13d）的点群。另外，在以下，将作为点群的提取的对象的平面部13（特定面）简称为“平面部13”。
36.具体而言，运算部53，基于图像中的链接l的位置，决定（选择）从距离图像d提取的点群。进一步具体而言，运算部53从距离图像d提取被链接l包围的部分（范围内）即与平面部13对应的部分的点群。具体而言，在从距离图像d提取前面13d的点群的情况下，运算部53提取被链接l1、l2、l3、l4包围的部分的点群。在从距离图像d提取后面13b的点群的情况下，运算部53提取被链接l7、l8、l9、l10包围的部分的点群。
37.运算部53根据从距离图像d提取到的点群进行用于计算平面部13的三维信息的处理（图4所示的步骤s62）。例如，运算部53也可以对构成点群的点和点之间的信息进行插值(interpolate)。例如，运算部53也可以进行排除异常值或者减少异常值的影响的处理（鲁棒估计(robust estimation)），具体而言，可以进行通过例如ransac（random sample consensus）法等的处理。例如，运算部53也可以进行决定与平面部13的各个面（前面13d、后面13b等）对应的区域的处理（划分、分割）。例如，运算部53也可以将从距离图像d提取到的点群划分为平面部13的区域和平面部13以外的区域。例如，在平面部13和距离图像获取部40（参照图1）之间存在障碍物（后述）的情况下，运算部53也可以将从距离图像d提取到的点群划分为平面部13的区域和障碍物的区域。
38.运算部53计算平面部13的三维信息（图4所示的步骤s63）。运算部53计算出的平面部13的三维信息包含三维位置（三维坐标）的信息。其结果，在运算部53计算出的平面部13的三维信息中包含平面部13的方向（例如，法线的方向）的信息。平面部13的三维信息也可以包含在平面部13的面内的三个点以上的三维坐标。平面部13的三维信息也可以包含平面部13的法线的方向和在平面部13的面上的一个点以上的三维坐标。
39.在上述“特征点f以及链接l的三维信息（处理s50）”的处理中，计算出链接l的三维位置的结果也计算出了平面部13的形状（外形）的信息。另一方面，在“平面部13的三维信息的处理（s60）”中，在运算部53计算出的平面部13的三维信息中即可以包含也可以不包含平面部13的形状（外形）的信息。
40.有时存在平面部13的一部分没有被映射（没有被包含）在距离图像d中的情况。例如，在平面部13的一部分与距离图像获取部40（参照图1）之间存在障碍物的情况下或者平面部13的一部分位于距离图像d的范围外的情况下（参照图7），平面部13的一部分没有被映
射到距离图像d中。上述“障碍物”假设为图1所示的作业设备20的一部分（具体而言是附属装置25）、装载对象物（砂土等）、作业设备20周围的雨、雪、砂等。在平面部13的一部分没有被映射到距离图像d（参照图2）中的情况下，通过三维信息获取部43无法获取到从没有被映射到距离图像d中的部分到三维信息获取部43的距离。另一方面，运算部53，基于图2所示的平面部13的被映射到距离图像d中的部分的三维位置，计算（推测）平面部13的没有被映射到距离图像d中的部分的三维位置。在该推测中，假设被映射到距离图像d中的部分和没有被映射到距离图像d中的部分在同一个平面上连续。另外，运算部53也可以假设平面部13的形状为四角形，基于平面部13的被映射到距离图像d中的部分的三维形状，计算（推测）平面部13中的没有被映射到距离图像d中的部分的三维形状。
41.其次，运算部53组合（综合）计算出的各个信息，获得容器12的三维信息（在图4为“容器信息”）（图4所示的步骤s70）。进一步具体而言，如上所述，运算部53，通过上述“特征点f以及链接l的三维信息（处理s50）”（以下简称为“处理s50”），计算特征点f以及链接l的三维信息。而且，运算部53，通过“平面部13的三维信息的处理（s60）”（以下称为“处理s60”），计算平面部13的三维信息。而且，运算部53组合特征点f以及链接l的三维信息以及平面部13的三维信息，计算容器12的三维信息（决定最终输出的信息）。上述“容器12的三维信息”是包含三维位置以及三维形状的信息。
42.例如，运算部53也可以基于在处理s60计算出的平面部13的三维信息（更高精度的信息）来校正在处理s50计算出的特征点f的三维位置。例如，运算部53也可以基于在处理s60计算出的平面部13的形状（更高精度的信息）来校正在处理s50计算出的被链接l包围的部分的形状。
43.具体而言，容器12的三维信息包含特征点f（平面部13的角的部分）的三维位置的信息。此外，容器12的三维信息包含链接l（平面部13的边的部分）的三维位置的信息。此外，容器12的三维信息包含链接l的尺寸的信息。此外，容器12的三维信息包含表示被链接l包围的部分（平面部13的面的部分）的点群的三维位置的三维形状的信息。另外，容器12的三维信息也可以包含仅为地板面13a、后面13b、侧面13c、前面13d之中的一部分的平面部13（仅限于特定面）的形状的信息。在图2所示的例子中，容器12的三维信息包含前面13d之中比侧面13c的上端更位于上侧的上侧部分的三维位置以及形状（包含尺寸）、侧面13c的上端的边的三维位置、后面13b的三维位置以及形状。
44.其次，运算部53输出容器12的三维信息（图4所示的步骤s80）。运算部53可以将容器12的三维信息输出到运算部53的内部，例如，也可以输出到运算部53进行的其它的运算或控制。运算部53也可以将容器12的三维信息输出到运算部53的外部。容器12的三维信息例如如下所述被使用。
[0045]“应用例1”容器12的三维信息可以用于各种控制。“应用例1a”容器12的三维信息既可以用于图1所示的作业设备20的自动操作，也可以用于辅助作业设备20的操作。“应用例1b”容器12的三维信息也可以用于为了避免作业设备20与容器12之间的冲突的控制（限制自动地动作的控制或通报等）。“应用例1c”容器12的三维信息也可以用于关于作业设备20和容器12之间的相对位置的控制。“应用例1c1”容器12的三维信息例如也可以用于自动地变更作业设备20与容器12之间的相对位置的控制，也可以用于将作业设备20与容器12的相对位置通知给操作人员等的控制。“应用例1c2”容器12的三维信息例如也可以用于计算
远端附属装置25c从远端附属装置25c的当前的位置到释放装载对象物的位置（释放位置（例如，排土位置））为止的轨迹。容器12的三维信息也可以用于使远端附属装置25c自动地移动或辅助移动到装载对象物的释放位置的控制。
[0046]“应用例2”容器12的三维信息也可以显示在画面等的显示部上。显示部既可以设置在运输车10的驾驶室11a，也可以设置在作业设备20的驾驶室23a，还可以设置在运输车10的外部和作业设备20的外部。“应用例2a”容器12的三维信息可以用于显示从容器12的特定部分到作业设备20的特定部分为止的距离。上述“容器12的特定部分”既可以是后面13b也可以是侧面13c还可以是前面13d。上述“作业设备20的特定部分”例如既可以是远端附属装置25c也可以是驾驶室23a还可以是设备坐标的原点。“应用例2b”容器12的三维信息可以用于显示特征点f的三维坐标（参照图5）。另外，在该显示的坐标的原点不需要一定要与计算容器12的三维信息时所使用的原点（设备坐标的原点）相同。“应用例2c”图2所示的容器12的三维信息也可以用于显示有关容器12和距离图像获取部40（参照图3）之间的障碍物。例如，容器12的三维信息可以用于显示有关容器12内的装载对象物（土等）的量。
[0047]
探讨在运算部53不使用平面部13的三维信息而仅计算特征点f的三维信息的情况下，可能会出现以下的问题：“问题例1”在这种情况下，容易受到外部干扰的影响，难以稳定地计算出特征点f的三维信息。“问题例1a”例如，在特征点f与拍摄特征点f的相机之间存在障碍物的情况下，相机不能拍摄特征点f。为此，运算部53无法识别特征点f。“问题例1b”而且，在运算部53试图从相机拍摄的图像中识别作为点的特征点f时，存在运算部53将错误的点作为特征点f进行识别可能性。于是，运算部53将错误的点的三维位置作为特征点f的三维位置进行计算。“问题例1c”而且，由于相机的杂讯的影响，存在无法确保特征点f的三维信息的计算精度的可能性。另一方面，为了抑制杂讯的影响，如果不是在图像中而是在与实际的容器12的特征点f对应的位置设置光源等，需要成本。
[0048]
其次对运算部53不使用容器12的距离图像d而仅是基于容器12的二维信息（图像）的图像处理计算特征点f的三维信息的情况进行探讨。另外，例如，如专利文献1的0029段落等所述，也可以基于容器12的四个点在图像的位置和容器12的三个点之间的已知距离（实际的距离）的信息，计算容器12的四个点的三维位置。“问题例2a”这种情况也与上述“问题例1”相同，因为容易受到外部干扰的影响，所以难以稳定地计算特征点f的三维信息。“问题例2b”此外，在这种情况下，容器12的三个点之间的距离（实际的距离）必须为已知。为此，对于三个点之间的距离不是已知的容器12，无法计算容器12的四个点的三维位置。具体而言，例如，假设运输车10的种类或尺寸发生了变更，如果不知道变更后的运输车10的容器12的三个点之间的距离，就无法计算容器12的四个点的三维位置。
[0049]
在运算部53计算容器12的四个点即在左右侧面13c的运输车前侧的端部以及运输车后侧的端部的四个点（左右侧面13c的前后四个点）的三维信息的情况下，存在以下的问题。“问题3”在这种情况下，不能获得到前面13d的形状的信息。在此，前面13d突出于左右的侧面13c之上。为此，在仅计算侧面13c的前后四个点的三维信息的情况下，运算部53无法识别前面13d相对于侧面13c突出多少。在仅将左右侧面13c的前后四个点的三维信息用于作业设备20的自动操作的情况下，例如，存在远端附属装置25c可能会与前面13d接触的风险。
[0050]
而本实施方式，运算部53不仅基于特征点f还基于平面部13的三维信息计算容器
12的三维信息。因此，可以稳定地计算出容器12的三维信息，能提高鲁棒性(robustness )。例如，即使平面部13的点群的一部分受到外部干扰的影响，也可以根据平面部13的剩余部分的点群计算出平面部13的三维信息。而且，在本实施方式，因为运算部53计算出的容器12的三维信息中包含容器12的三维形状的信息，所以容易将容器12的三维信息用于控制。具体而言，例如，在容器12的三维信息中包含前面13d的三维形状的情况下，能以使远端附属装置25c不与前面13d接触的方式进行自动操作的控制、避免冲突的控制等。而且，在本实施方式，即使容器12的形状或尺寸、容器12相对于作业设备20（参照图1）的角度等容器12的状态发生变化，也可以在每次状态发生变化时计算出容器12的三维信息。因此，例如，即使运输车10的种类、运输车10相对于作业设备20的角度等发生变化，也可以计算出容器12的三维信息。另外，本实施方式也可以只解决上述各种问题之中的一部分问题。
[0051]
效果图2所示容器测量系统30的效果如下所述。
[0052]
第一发明的效果容器测量系统30具备距离图像获取部40和运算部53。距离图像获取部40设置于向图1所示的容器12进行装载作业的作业设备20，可以获取到图3所示的容器12的距离图像d。运算部53（参照图3）对由距离图像获取部40（参照图3）获取到的容器12的距离图像d进行处理。
[0053]“构成1”运算部53（参照图3）基于容器12的距离图像d计算构成容器12的平面部13的三维位置。运算部53基于平面部13的三维位置计算包含容器12的三维位置和三维形状的三维信息。
[0054]
在上述“构成1”，基于平面部13的三维位置计算容器12的三维信息。因此，与仅基于例如特征点f这样的点的三维位置计算容器12的三维信息的情况相比，可以稳定且高精度地计算出容器12的三维信息。其结果，可以将容器12的三维信息正确地应用于控制等。
[0055]
第二发明的效果“构成2”运算部53（参照图3），基于平面部13之中被映射到距离图像d中的部分的三维位置，计算平面部13之中没有被映射到距离图像d中的那部分的三维位置。
[0056]
通过上述“构成2”，即使平面部13的一部分没有被映射到距离图像d中，也可以计算出平面部13的三维位置。因此，即使平面部13的一部分没有被映射到距离图像d中，也可以稳定且高精度地计算出容器12的三维信息。
[0057]
第三发明的效果“构成3”容器12是用于运输由作业设备20装载的物品的运输车10的载物台。
[0058]
在上述“构成3”，由于容器12是运输车10的载物台，容器12可移动。而且，如果运输车10的种类发生变化，也容易想象容器12的形状或尺寸会发生变化。即使在容器12发生了这样的变化的情况下，也可以通过上述“构成1”计算出容器12的三维信息。
[0059]
变形例主要参照图3、图6以及图7，对图3所示的容器测量系统30的变形例，针对与上述实施方式的不同点进行说明。另外，省略对变形例之中与上述实施方式的共同点的说明。变形例的容器测量系统30还具备动作信息获取部155。而且，控制器50还具备存储部153m。
[0060]
存储部153m存储运算部53计算出的容器12（参照图2）的三维信息。
[0061]
动作信息获取部155获取与图1所示的作业设备20的动作相关的信息。动作信息获取部155（参照图3）也可以获取上部回转体23相对于下部行走体21的旋转的信息（回转的信息）。动作信息获取部155也可以获取与下部行走体21的行走有关的信息（例如，相对于地面的行走距离或行走速度）。动作信息获取部155也可以获取附属装置25的动作的信息。具体而言，动作信息获取部155也可以获取动臂25a相对于上部回转体23的旋转的信息、斗杆25b相对于动臂25a的旋转的信息以及远端附属装置25c相对于斗杆25b的旋转的信息。上述“旋转的信息”例如，既可以是旋转角度也可以是旋转角度的变化量（速度等）。动作信息获取部155既可以是角度传感器也可以利用卫星定位系统还可以利用全站仪(total station)。
[0062]
动作变形例的容器测量系统30（参照图3）如下所述进行动作。作业设备20（参照图1，以下的作业设备20也相同），在进行了某个动作（假设动作α）时，图2所示的距离图像d中的容器12的映射姿势或方式发生变化。于是，在动作α之前被映射到距离图像d的容器12的一部分，如图7所示，有可能没有被映射到距离图像d中，或者也有可能被隐藏在障碍物中。在此，在进行动作α之前的如图2所示的容器12的三维信息被存储到存储部153m（参照图3）。而且，有关动作α的信息通过动作信息获取部155（参照图3）获取。而且，运算部53（参照图3），基于在进行动作α之前的容器12的三维信息和有关动作α的信息，计算（推测）进行了动作α之后的容器12（参照图7）的三维信息。以下，参照图6主要对运算部53（参照图3，以下的运算部53也相同）的处理的具体例子进行说明。
[0063]
运算部53判断是否初始化存储部153m（参照图3）的信息（图6所示的步骤s101）。该初始化例如在开始图2所示的向容器12的装载作业之前进行。具体而言，例如，运算部53判断是否满足初始化存储部153m（参照图3）的信息的条件（初始化的条件）。初始化的条件由运算部53预先（在图6所示的步骤s101之前）设定。例如，初始化的条件可以包含容器12的三维信息没有被存储到存储部153m（参照图3）的情况。初始化的条件也可以包含通过作业设备20的操作人员的手动操作（按钮操作等）所选择的进行初始化的情况。初始化的条件也可以包含容器12和作业设备20之间的距离在规定范围内的情况。
[0064]
在初始化存储部153m（参照图3）的信息的情况下（图6所示的步骤s101为“是”），运算部53计算容器12的三维信息（图6所示的步骤s102）。该计算通过图4所示的各个处理来进行。然后，运算部53将图2所示的容器12的三维信息存储到存储部153m（参照图3）（图6所示的步骤s103）。
[0065]
在不对存储部153m的信息进行初始化的情况下（图6所示的步骤s101为“否”），处理前往步骤s111（参照图6）。例如，在容器12的三维信息在作业开始之后被存储到存储部153m（参照图3），并且，容器12和作业设备20之间的距离在规定范围内的情况下等（例如在装载作业中的情况下），不对存储部153m的信息进行初始化。
[0066]
在步骤s111（参照图6），运算部53计算容器12的三维信息。该计算通过图4所示的各个处理来进行。在步骤s111，如图7所示，由于容器12的至少一部分没有被映射到距离图像d中，存在运算部53无法计算出容器12的至少一部分的三维信息的情况。而且，因为是在初始化（步骤s102）存储部153m（参照图3）之后立即计算当前的（最新的）容器12的三维信息，所以运算部53可以不计算容器12的三维信息。
[0067]
其次，运算部53判断容器12是否被映射（包含）在距离图像d中（图6所示的步骤
s112）。进一步具体而言，运算部53，以可以计算出容器12的三维信息的程度，判断容器12是否被映射到距离图像d中。容器12是否被映射到距离图像d中的判断基准可以被设定成各种各样。例如，运算部53可以判断容器12的整体是否被映射到距离图像d中。运算部53也可以判断平面部13（特定面）的整体是否被映射到距离图像d中。例如，运算部53也可以，以可以计算平面部13（特定面）的三维位置的程度，判断平面部13是否被映射到距离图像d中。运算部53也可以判断所有的特征点f（f1到f8）是否被映射到距离图像d中。运算部53也可以判断所有的链接l（l1至l10）是否被映射到距离图像d中。在容器12被映射到距离图像d中的情况下（图6所示的步骤s112为“是”），处理前往步骤s113（参照图6）。在容器12没有被映射到距离图像d中的情况下（图6所示的步骤s112为“否”），处理前往步骤s120（参照图6）。
[0068]
容器12被映射到距离图像d中的情况下在步骤s113（参照图6），运算部53判断是否更新存储在存储部153m（参照图3）中的容器12的三维信息（图6所示的步骤s113）。进一步具体而言，在运算部53设定阈值，该阈值与运算部53计算出的容器12的三维信息（称为“当前的三维信息”）和被存储在存储部153m中的容器12的三维信息（称为“被存储的三维信息”）之间的差异的大小有关。该“差异的大小”，具体而言,例如既可以包含特征点f的坐标的差异的大小也可以包含链接l的位置或方向的差异的大小。在作业设备20以及容器12没有移动的情况下（或几乎没有移动的情况下），差异的大小在阈值以内。在作业设备20以及容器12中的至少一方移动的情况下，差异的大小超过阈值。
[0069]
如果差异的大小在阈值以内（图6所示的步骤s113为“是”），运算部53不将被存储的三维信息更新为当前的三维信息。在这种情况下，处理前往步骤s180（参照图6）。
[0070]
在差异的大小超过阈值的情况下（图6所示的步骤s113为“否”），运算部53将被存储的三维信息更新为当前的三维信息（图6所示的步骤s115）。在进行该更新时，运算部53也可以向运算部53的内部或外部输出信号（图6所示的步骤s114）。例如，运算部53也可以将表示更新了三维信息的信息输出到运算部53进行的其它的处理（例如，控制）。运算部53也可以输出例如对作业设备20的操作人员等的通知（警报等）。该通知既可以通过声音也可以通过显示进行通知。是否进行该通知也可以根据某个条件（操作人员的开关操作、运算部53的判断等）进行切换。其次，运算部53将当前的三维信息作为容器12的三维信息进行输出（图6所示的步骤s180）。步骤s180的输出的处理是与图4所示的步骤s80的输出相同的处理。
[0071]
容器12没有被映射到距离图像d中的情况下在图7所示的容器12没有被映射到距离图像d中的情况下（图6所示的步骤s112为“否”），运算部53使用被存储的三维信息（图6所示的步骤s120）。进一步具体而言，运算部53进行如下所示处理。
[0072]
运算部53获取由动作信息获取部155（参照图3）获取到的作业设备20的动作α的信息。而且，运算部53，基于作业设备20的动作α的信息，校正被存储的三维信息。具体而言，例如，在上部回转体23相对于图1所示的下部行走体21回转（动作α）的情况下，容器12的三维位置发生变化（旋转移动）。此时，运算部53，即使不使用距离图像获取部40获取到的信息，基于上部回转体23的回转角度的变化也可以计算（推测）出上部回转体23回转后的容器12的三维位置。同样，在下部行走体21行走（动作α）的情况下，运算部53，即使不使用距离图像获取部40获取到的信息，也可以计算出下部行走体21行走之后的容器12的三维信息。其次，
运算部53将基于作业设备20的动作α的信息校正后的被存储的三维信息作为容器12的三维信息进行输出（图6所示的步骤s180）。
[0073]
图7所示的例子表示了容器12的一部分没有被映射到距离图像d中的情况，但是，即使是在容器12的全部没有被映射到距离图像d中的情况下，运算部53也可以基于被存储的三维信息计算出容器12的三维信息。而且，在作业设备20既没有回转也没有行走的情况下，运算部53使用被存储的三维信息也可以计算出容器12的三维信息。例如，在容器12与距离图像获取部40（参照图1）之间配置了障碍物的情况下等，存在容器12的至少一部分没有被映射到距离图像d中的可能性。在这种情况下，也可以将被存储的三维信息作为容器12的三维信息进行输出（图6所示的步骤s180）。例如，在上述障碍物是附属装置25的情况下，运算部53也可以基于动作信息获取部155（参照图3）获取到的附属装置25的动作α的信息，确定容器12之中没有被映射到距离图像d中的部分。
[0074]
其次，运算部53判断作业设备20对装载对象物的装载作业是否完成（图6所示的步骤s191）。例如，在容器12内装载对象物达到规定量而结束的情况下等完成装载作业。运算部53判断是否满足了用于判断完成了装载作业的条件（作业完成的条件）。作业完成的条件由运算部53预先（在图6所示的步骤s191之前）设定。作业完成的条件例如可以包含从作业设备20到运输车10为止的距离达到规定距离以上等。在满足了作业完成的条件的情况下（图6所示的步骤s191为“是”），运算部53结束计算容器12的三维信息的处理。在没有满足作业完成的条件的情况下（图6所示的步骤s191为“否”），运算部53重复计算容器12的三维信息的处理，具体而言，例如，返回到步骤s111（参照图6）。
[0075]
效果图3所示变形例的容器测量系统30的效果如下所述。
[0076]
第四发明的效果容器测量系统30具备动作信息获取部155。动作信息获取部155获取与包含作业设备20（参照图1）的回转以及行走的至少其中之一的动作α有关的信息。
[0077]“构成4”运算部53具备存储运算部53计算出的容器12（参照图2）的三维信息的存储部153m。运算部53，基于在进行动作α之前被存储在存储部153m的容器12的三维信息和动作信息获取部155获取到的有关动作α的信息，计算进行了动作α之后的容器12的三维信息（参照图6所示的步骤s120）。
[0078]
根据上述“构成4”，与不进行上述“构成4”的计算的情况相比，可以更准确地计算出容器12（参照图7）的三维信息。具体而言，例如，如果图1所示的作业设备20进行某个动作（动作α），在距离图像获取部40获取到的距离图像d中，存在从容器12被映射到该距离图像d中的状态（参照图2）变成容器12的一部分没有被映射到该距离图像d中的状态（参照图7）。如此，即使在图7所示的容器12的至少一部分没有被包含在距离图像d中的情况下，运算部53也可以基于被存储的三维信息和与动作α有关的信息，准确地计算出容器12的三维信息。
[0079]
第五发明的效果“构成5”在运算部53设定阈值，该阈值与运算部53计算出的容器12（参照图7）的三维信息（当前的三维信息）和被存储在存储部153m的容器12（参照图7）的三维信息（被存储的三维信息）之间的差异的大小有关。运算部53，在上述的差异超过了阈值的情况下，将被存储在存储部153m的容器12（参照图7）的三维信息更新为运算部53计算出的容器12（参照
图7）的三维信息（参照图6所示的步骤s115）。
[0080]
在上述“构成5”，在当前的三维信息与被存储的三维信息之间的差异超过了阈值的情况下，被存储的三维信息被更新为当前的三维信息。因此，即使在图1所示的作业设备20以及容器12的至少其中之一移动的情况下，也可以利用被存储的三维信息进行容器12的三维信息的计算（上述“构成4”的计算）。
[0081]
变形例上述实施方式以及变形例可以进行各种变形。也可以变更上述实施方式以及变形例的各构成要素的配置或形状。例如，既可以变更图4和图6所示的各个处理的顺序，也可以不执行处理的一部分。例如，“规定范围”、“阈值”等的范围或值既可以恒定，也可以通过手动操作来改变，还可以根据某些条件自动地改变。例如，既可以变更构成要素的数量，也可以不设置构成要素的一部分。例如，作为相互不同的多个部件或部分而说明的部件或部分也可以是一个部件或部分。例如，作为一个部件或部分说明的部件或部分也可以分成相互不同的多个部件或部分而设置。
[0082]
实施方式的总结本发明的实施方式可以如下所述进行总结。
[0083]
本发明涉及的容器测量系统包括：距离图像获取部，被设置在进行对具有平面部的容器的装载作业的作业设备上，用于获取所述容器的距离图像；和，运算部，对所述距离图像获取部获取到的所述容器的所述距离图像进行处理，其中，所述运算部，基于所述容器的所述距离图像计算所述平面部的三维位置，并基于所述平面部的三维位置计算包含所述容器的三维位置以及三维形状的三维信息。
[0084]
根据该构成，基于平面部的三维位置计算容器的三维信息。因此，与仅基于例如特征点f这样的点的三维位置计算容器的三维信息的情况相比，可以稳定且高精度地计算出容器的三维信息。其结果，可以将容器的三维信息正确地应用于控制等。
[0085]
在所述的容器测量系统，优选，所述运算部，基于所述平面部之中被包含在所述距离图像中的部分的三维位置，计算所述平面部之中没有被包含在所述距离图像中的部分的三维位置。
[0086]
根据该构成，即使平面部的一部分没有被映射到距离图像中，也可以计算出平面部的三维位置。因此，即使平面部的一部分没有被映射到距离图像中，也可以稳定且高精度地计算出容器的三维信息。
[0087]
在所述的容器测量系统，优选还包括：动作信息获取部，用于获取与包含所述作业设备的回转以及行走的至少其中之一的动作有关的信息；和，存储部，用于存储所述运算部计算出的所述容器的所述三维信息，其中，所述运算部，基于在进行所述动作之前被存储在所述存储部的所述容器的所述三维信息和与所述动作信息获取部获取到的所述动作有关的信息，计算进行了所述动作之后的所述容器的所述三维信息。
[0088]
根据该构成，即使在容器的至少一部分没有被包含在距离图像中的情况下，运算部也可以基于被存储的三维信息和与动作有关的信息，准确地计算出容器的三维信息。
[0089]
在所述的容器测量系统优选，所述运算部具有阈值，该阈值与所述运算部计算出的所述容器的所述三维信息和被存储在所述存储部的所述容器的所述三维信息之间的差异的大小有关，所述运算部，在所述差异的大小超过了所述阈值的情况下，将被存储在所述
存储部的所述容器的所述三维信息更新为所计算出的所述容器的所述三维信息。
[0090]
根据该构成，因为在被存储的三维信息和容器的当前的三维信息之间的差异在阈值以上的情况下更新被存储的容器的三维信息，可以防止在所述阈值为微小的值的情况下就进行所述更新，可以减轻运算部的处理负担。
[0091]
在所述的容器测量系统优选，所述容器是用于运输由所述作业设备装载的物品的运输车的载物台。根据该构成，可以正确地计算出运输车的载物台的三维信息。
[0092]
在所述的容器测量系统优选，假设所述平面部以同一平面状连续，所述运算部基于所述平面部之中被包含在所述距离图像中的部分的三维位置，推测所述平面部之中没有被包含在所述距离图像中的部分的三维位置。
[0093]
根据该构成，因为假设平面部为连续的平面，可以正确地计算出没有被映射到距离图像中的平面部的一部分的三维信息。
[0094]
在所述的容器测量系统优选，所述平面部包含所述载物台的底面和包围所述底面的面。
[0095]
根据该构成，可以求出载物台的底面和包围该底面的面的三维信息。
[0096]
在所述的容器测量系统优选，所述平面部的三维位置是所述平面部的角以及边的三维位置，所述平面部的形状信息是被所述边包围的点群的三维位置。
[0097]
根据该构成，可以计算出包含容器的各平面部的角和边以及被边包围的点群的三维位置的三维位置。