自行式工业机械的显示装置制造方法

自行式工业机械的显示装置制造方法
【专利摘要】本发明的目的在于，使用对自行式工业机械的周边进行拍摄的相机并将俯瞰图像显示于监视器上时，尽可能多地显示映入到相机的自行式工业机械的下部的图像。具有：视点转换部(22)，其生成俯瞰图像，该俯瞰图像是对设置在自卸卡车(1)上的多台相机(10)所拍摄的相机图像分别以使上方成为视点的方式进行视点转换后的图像；重叠处理部(25)，其进行如下处理：将标志图像(31)中的下部区域作为透射区域(33)并使其透射，将俯瞰图像(32)中的与透射区域(33)对应的区域作为下部图像(34)而进行重叠；图像合成部(26)；其在将标志图像(31)配置于中央且在其周围合成俯瞰图像(32)而生成显示图像时，基于透射区域(33)来设定将显示各俯瞰图像(32)的区域划分的边界线(L1)至(L4)；和监视器(14)，其显示图像合成部(26)所合成的图像。
【专利说明】自行式工业机械的显示装置

【技术领域】
[0001]本发明涉及自行式工业机械的显示装置，在自卸卡车或液压挖掘机等自行式工业机械进行行驶操作时对其进行支援。

【背景技术】
[0002]自行式工业机械利用于各种各样的作业现场。自行式工业机械中的一种为自卸卡车。自卸卡车具有能够在车身的车架上起伏的载货台(货斗:vessei)，在该货斗中装载碎石物或砂土等搬运对象物。而且，自卸卡车将砂土等向规定的堆放地搬运并卸载。在将装载于货斗的砂土等卸载时，使自卸卡车后退至卸载位置而停止。在该状态下使货斗倾斜来卸载砂土等。然后，当卸载结束时将货斗返回至原位置并使自卸卡车前进。
[0003]另一方面，自行式工业机械的一种为液压挖掘机。液压挖掘机具有下部行驶体和上部旋转体，其中，该下部行驶体具有履带式或轮式的行驶机构，该上部旋转体能够相对于下部行驶体旋转。在上部旋转体上设有驾驶室(操作室)，作为作业机构，在上部旋转体上设有相对于上部旋转体以能够进行俯仰动作的方式连结的动臂、以能够沿上下方向转动的方式与动臂的前端连结的斗杆、和进行砂土的挖掘等作业的铲斗。
[0004]对于搭乘在自卸卡车或液压挖掘机等自行式工业机械的驾驶室中的操作员来说，虽然确保了前方的视场，但是会在后方和左右侧方产生死角。因此，产生操作员难以用肉眼视觉辨认的方向。因此，在专利文献I中公开了如下技术:为了辅助操作员认知液压挖掘机的周边状况，将俯瞰图像显示在设于驾驶室中的监视器上。
[0005]在该专利文献I的技术中，在液压挖掘机上设有用于监视液压挖掘机的后方及左右侧方的三台相机，来进行液压挖掘机的周边监视。各相机的光轴朝向斜下方，通过将其坐标转换为从上方的视点，生成虚拟地从上方俯视而得到的俯瞰图像。因此，生成与三台相机分别对应的俯瞰图像，将液压挖掘机的俯视图显示在画面中央的位置，并将三幅俯瞰图像合成，由此，得到从上方整体俯瞰液压挖掘机的图像。通过将该图像显示在驾驶室的监视器上，能够使操作员认知液压挖掘机的周边状况。由此，能够对操作员的行驶操作进行支援。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2012-74929号公报


【发明内容】

[0009]在自行式工业机械中，通过将液压挖掘机的周边的俯瞰图像显示在驾驶室的监视器上，能够在画面上显示由操作员的肉眼成为死角的部分，这在认知自行式工业机械的周边状况的方面是重要的。因此，专利文献I的技术起到极高的效果。
[0010]但是，成为操作员肉眼的死角的部分不仅有自行式工业机械的周边，其下部也成为操作员的死角。在自行式工业机械的下部存在某些障碍物时，自行式工业机械的行驶受到限制。例如，在自卸卡车的情况下，在自卸卡车的下部存在障碍物时，虽然砂土的装载作业已结束，但自卸卡车的行驶仍受到限制。
[0011 ] 作为自卸卡车而存在普通自卸卡车和重型自卸卡车，但总之是大型的，在自卸卡车的下部形成有广阔空间。尤其是，在装载重量超过100吨的重型自卸卡车中，车身下部空间广大。因此，充分存在障碍物进入自卸卡车下部的可能性。在该情况下，从安全性的观点出发，限制自卸卡车的行驶。这在具有下部行驶体的液压挖掘机等自行式工程机械中也是同样的。因此，在液压挖掘机等中，使操作员认知其周边状况是重要的，但使操作员认知下部状况也是重要的。
[0012]关于该方面，由于为了显示俯瞰图像而使设置在自行式工业机械上的各相机的光轴朝向斜下方，所以根据相机的安装位置的不同，存在自行式工业机械的下部局部映现于相机的部分视场的情况。因此，通过将映入到相机的部分视场的自行式工业机械的下部的图像显示在监视器上，能够认知自行式工业机械的下部状况。
[0013]但是，暂且不论针对自行式工业机械下部的拍摄而设置专用相机的情况，用于生成上述俯瞰图像的相机原本就是用于对自行式工业机械的周边进行拍摄的相机。因此，即使自行式工业机械的下部的一部分映入，映入区域也会成为局部受限定的区域。但是，即使是受限定的区域，将下部的图像显示于监视器上也是非常有用的。
[0014]因此，本发明的目的在于，在使用相机对自行式工业机械的周边进行拍摄并将俯瞰图像显示于监视器上时，尽可能地扩展映入于相机的自行式工业机械的下部的图像。
[0015]为了解决以上课题，本发明的自行式工业机械的显示装置具有:多台相机(摄影机，camera)，其设置在自行式工业机械上，对该自行式工业机械的周边进行拍摄，并将斜下方作为光轴；视点转换部，其生成俯瞰图像，该俯瞰图像是对各相机所拍摄的相机图像分别以使上方成为视点的方式进行视点转换后的图像；重叠处理部，其进行如下处理:将该俯瞰图像和使上述自行式工业机械标志化而成的车身的标志图像显示在监视器上，将该标志图像中的包含于上述相机的上述自行式工业机械的下部区域作为透射区域，以规定的透射率使其透射而进行重叠；图像合成部，其使上述标志图像成为能够识别透射区域和非透射区域的显示方式，并与上述俯瞰图像合成显示；以及显示装置，其配置在上述自行式工业机械的驾驶室中，并显示上述图像合成部所合成的图像。
[0016]在与车身的标志图像一起将周围的俯瞰图像显示于监视器上时，在车身标志图像的显示区域中，在俯瞰车身时被隐藏，但将由相机拍摄的区域作为透射区域，使车身以相对于不发生透射的非透射区域能够识别的方式显示。作为识别显示的方式，能够以边界线划分透射区域与非透射区域之间，或者在透射区域与非透射区域之间设置浓淡差。而且，还能够对透射区域和非透射区域中的某一区域着色。
[0017]根据相机的配置与车身结构各部分的配置关系，也存在原本应当进入相机视场但由于车辆结构部件而导致视场被局部妨碍的部位。在该情况下，作为死角部的区域，也可以使其为与其他区域不同的显示方式。
[0018]通过将透射区域与标志区域的边界的端部作为基准，能够最大限度地利用透射区域。由此，能够在透射区域上广阔地显示下部的图像。
[0019]另外，也可以是，上述相机为拍摄后方的后方相机，以上述自行式工业机械的行驶体的后端为基准来形成上述边界线。
[0020]下部的图像大多映出于后方相机的视场。此时，后方相机不包含与自行式工业机械的行驶体的后端相比为前方的视场，因此，通过以标志图像的行驶体的后端为基准来形成边界线，能够广阔地显示下部的区域。
[0021]另外，也可以是，在上述搬运车辆的车架的最后端上设置上述相机，将上述相机安装在不会与上述搬运车辆的货斗发生干涉的范围中的比上述搬运车辆的后轮高的位置且安装在其后方。
[0022]通过将后方相机安装在搬运车辆的比后轮高的位置，能够较大地拍摄搬运车辆的下部的区域。而且，通过将后方相机安装在后轮的后方，能够将妨碍相机的最大视场范围的主要原因(主要是后轮)从视场消除，因此能够较大地显示下部的图像。
[0023]另外，也可以是，在通过对上述搬运车辆的行驶进行操作的行驶操作部进行后退操作时，将上述显示图像显示在上述显示装置上。
[0024]在搬运车辆的货斗后方下部形成有广阔空间，障碍物容易进入该空间。因此，在进行后退操作时，通过显示货斗下部的图像，能够使操作员更好地认知货斗下部的状况。
[0025]另外，也可以是，将上述显示装置的显示区域分割，来显示上述图像合成部所生成的上述显示图像和多台上述相机中的拍摄上述下部图像的相机图像。
[0026]通过同时显示俯瞰图像和相机图像双方，能够从俯瞰图像认知下部图像,能够直接认知与下部图像对应的相机所拍摄的相机图像。
[0027]发明效果
[0028]本发明在将俯瞰图像和自行式工业机械的标志图像显示于监视器上时，通过将标志图像的一部分作为透射图像而显示，能够广阔地利用透射区域。由此，能够在透射区域上较大地显示下部的图像。

【专利附图】

【附图说明】
[0029]图1是自卸卡车的左视图。
[0030]图2是自卸卡车的俯视图。
[0031]图3是表示安装在驾驶室中的监视器的一个例子的图。
[0032]图4是显示控制器的框图。
[0033]图5是说明视点转换处理的原理图。
[0034]图6是表示显示在画面部上的显示图像的一个例子的图。
[0035]图7是说明在图6中将下部图像重叠的例子的图。
[0036]图8是表示产生了死角的情况下的显示图像的一个例子的图。
[0037]图9是表示使边界线不同的图6的其他例子的图。
[0038]图10是表示将画面分割来显示俯瞰图像和相机图像的图。
[0039]图11是表示自卸卡车的后方的图。
[0040]图12是将货斗拆除时的自卸卡车的后方的立体图。
[0041]图13是液压挖掘机的左视图。

【具体实施方式】
[0042]以下，参照附图，对本发明的实施方式进行说明。作为自行式工业机械，存在搬运车辆、工程机械、道路施工机械等，作为搬运车辆主要存在自卸卡车，作为工程机械主要存在液压挖掘机。在此，作为自行式工业机械而适用了自卸卡车，但也可以适用自卸卡车以外的自行式工业机械。作为自卸卡车，存在刚性自卸(rigid dump)和铰接自卸(articulatedump)，可以适用任一个。此外，以下，“左”是指从驾驶室观察到的左侧，“右”是指从驾驶室观察到的右侧。
[0043]图1表示自卸卡车I的左视图，图2表示俯视图。如这些图所示，自卸卡车I构成为具有驾驶室2、车架3、货斗4、前轮5、后轮6、和驱动用液压缸7。另外，在自卸卡车I的前后左右设有相机10 (前方相机10F、后方相机10B、右方相机10R、左方相机10L)，将各相机10所拍摄的影像作为相机图像而输出。此外，图1的虚线表示后方相机1B的视场范围。
[0044]前方相机1F是以前方为视场的相机，后方相机1B是以后方为视场的相机，右方相机1R是以右侧方为视场的相机，左方相机1L是以左侧方为视场的相机。在图2中，将前方相机1F的视场范围作为前方视场范围VF，将后方相机1B的视场范围作为后方视场范围VB，将右方相机1R的视场范围作为右方视场范围VR，将左方相机1L的视场范围作为左方视场范围VL，并以虚拟线表示。图中，各视场范围作为矩形而例示，但视场范围不限定于矩形。
[0045]各相机10对自卸卡车I的周边进行拍摄,其拍摄方向为斜下方。即，光轴方向为斜下方。此外，配置于自卸卡车I上的相机10的台数能够为任意数量。但是，希望具有对由操作员肉眼产生视场死角的方向进行拍摄的后方相机10B、右方相机10R、和左方相机10L。另外，在铰接自卸的情况下，也可以设置更多的相机。
[0046]驾驶室2是为了供操作员搭乘并操作自卸卡车I而设置的，大多配置于自卸卡车I的左侧。另外，在驾驶室2中设有各种操作机构。车架3构成自卸卡车I的构架，在车架3的前方设有前轮5，在后方设有后轮6。货斗4为载货台，装载砂土或矿物等。在货斗4上安装有驱动用液压缸7而能够倾转。由此，能够将装载于货斗4中的砂土等卸载。
[0047]图3表不驾驶室2的一个例子。在驾驶室2中，设有操作行驶方向的方向盘11、显示自卸卡车I的仪表类等的仪表板12和支柱13。而且，在支柱13上安装有监视器14。监视器14是具有画面部15和输入部16而构成的显示装置。画面部15是显示规定信息的画面，输入部16是为了适当地操作画面部15的显示内容而设置的。此外，监视器14的位置只要是在驾驶室2的内部即可，可以设于任意位置。另外，也可以省略输入部16而将画面部15作为触摸传感面板。
[0048]图4表示与监视器14连接的显示控制器17及与显示控制器17连接的车身控制器18。如该图所示，显示控制器17具有图像修正部21、视点转换部22、下部图像生成部23、标志图像保持部24、重叠处理部25、图像合成部26、基准点存储部27和显示图像生成部28。显示控制器17的各部分能够通过软件实现，也能够通过CPU执行各部分的功能。
[0049]图像修正部21输入前方相机10F、后方相机10B、右方相机10R、左方相机1L所拍摄的图像。然后，对于输入的图像，基于相机光学系统参数等，进行透镜失真修正、像差修正、对比度修正、色调修正等各种图像修正。由此，使输入的图像的画质提高。图像修正部21输入的修正后的图像作为相机图像而输出至视点转换部22。
[0050]视点转换部22对从图像修正部21输入的相机图像进行视点转换处理，生成俯瞰图像(虚拟视点图像)。如上述那样，各相机10将斜下方作为光轴方向，将其转换为从上方的虚拟视点。如图5所示，相机10 (前方相机10F、后方相机10B、右方相机10R、左方相机10L)的物镜的光轴A相对于地表G具有规定角度Θ，由此,相机10的光轴朝向斜下方。在视点转换部22中，以使光轴方向成为垂直方向的方式将虚拟相机1V虚拟地设定为高度H，并坐标转换为该虚拟相机1V俯视地表G而得到的图像数据。像这样转换为上方视点的图像成为虚拟的俯视图像(俯瞰图像)。
[0051]如图4所示，视点转换部22进行了视点转换处理后的俯瞰图像输出至下部图像生成部23及图像合成部26。下部图像生成部23在相机10的视场中包含自卸卡车I的下部的情况下，获取俯瞰图像中的自卸卡车I的下部部分，下部图像也为俯瞰图像。
[0052]此外，在全部相机10中，不一定在视场中均包含自卸卡车I的下部。因此，对于视场中不包含自卸卡车I的下部的相机10，不会生成下部图像。在本实施方式中，仅在后方相机1B的视场中包含自卸卡车I的下部，从后方相机1B生成下部图像，但也可以从后方相机1B以外的相机10生成下部图像。
[0053]标志图像保持部24保持标志图像。标志图像是将自卸卡车I作为标志(符号)而显示在画面部15上时的图像。因此，标志图像成为再现自卸卡车I的形状的图像。如果此时的再现性高，则操作员能够正确地认知自卸卡车I的形状。但是，也可以是不如实地再现自卸卡车I的形状的图像。
[0054]重叠处理部25从下部图像生成部23输入下部图像，并从标志图像保持部24输入标志图像。然后，重叠处理部25进行图像处理，使标志图像中的与下部图像对应的区域作为透射区域并以规定的透射率透射，而将下部图像重叠在该透射区域上。该图像处理为迭加(superimpose)处理(图像的重叠处理)，如果透射率不为100%,则标志图像和下部图像双重地显示于相同位置。透射率能够任意控制。
[0055]图像合成部26输入视点转换部22进行了视点转换后的俯瞰图像，并输入重叠处理部25进行了处理后的标志图像。然后，将标志图像设为中央，在其周围配置各俯瞰图像而进行合成。从前方相机1F生成前方俯瞰图像，从后方相机1B生成后方俯瞰图像，从右方相机1R生成右方俯瞰图像，从左方相机1L生成左方俯瞰图像。然后，将标志图像作为中心，在前侧配置前方俯瞰图像，在后侧配置后方俯瞰图像，在右侧配置右方俯瞰图像，在左侧配置左方俯瞰图像而进行合成。
[0056]此时，图像合成部26从基准点存储部27读取基准点。虽然以标志图像为中央在周边合成各俯瞰图像，但设定从标志图像以放射状形成的边界线。边界线是用于将显示各俯瞰图像的区域划分而设定的。基准点存储部27存储形成该边界线时的标志图像的基准点(起点)。该基准点是基于上述的透射区域而设定的。
[0057]此外，不限于在自卸卡车I上设置前后左右四台相机10。例如，也存在不设置前方相机1F的情况。在该情况下，由于无法得到前方俯瞰图像，所以不对前方俯瞰图像进行合成。即，与所设置的相机10相应地，生成该相机10所拍摄的方向上的俯瞰图像并进行合成。但是，希望对成为操作员的视场死角的左方俯瞰图像、右方俯瞰图像、后方俯瞰图像进行合成。
[0058]显示图像生成部27将图像合成部26所合成的图像作为一个显示图像而生成。该显示图像输出至监视器14。在监视器14的画面部15上对显示图像进行显示。搭乘在驾驶室2中的操作员能够视觉辨认显示于画面部15上的显示图像。在画面部15上不仅可以显示一幅图像，也能够将画面部15的显示区域分割成多个区域来显示多幅图像。
[0059]如图4所示，显示控制器17与车身控制器18连接。在车身控制器18上连接有用于控制自卸卡车I的各种操作机构。其中之一为换挡杆29。换挡杆29是供操作员对自卸卡车I的行驶进行操作的行驶操作部，在前进位置、中立位置、后退位置这三个位置之间位移。在换挡杆29位于前进位置时，自卸卡车I前进，在位于后退位置时自卸卡车I后退。另夕卜，在位于中立位置时自卸卡车I停止。从换挡杆29向车身控制器18输入换挡杆位于哪个位置(前进位置、中立位置、后退位置)的换挡杆位置信息。然后，换挡杆位置信息作为车身信息而输出至显示控制器17。
[0060]使用以上结构，显示控制器17生成显示于监视器14的画面部15上的显示图像。在此，说明在画面部15的整个区域进行俯瞰图像显示的情况，但也可以将画面部15的区域分割并在分割而成的区域上进行俯瞰图像显示。关于俯瞰图像显示，是在显示区域的中央显示标志图像并在其周边(周围)显示俯瞰图像的方式。
[0061]图6在画面部15的整个区域的中央设有方形区域，并在该中央的区域上显示有标志图像31。如上述那样，标志图像31是将自卸卡车I的形状再现的标志(符号)。此外，在自行式工业机械为自卸卡车I以外的机械的情况下，显示将该自行式工业机械的车身形状再现的标志图像31。因此，在画面部15的中央部分显示有标志图像31，俯瞰图像显示在该标志图像31的周围。
[0062]将标志图像31作为中央，以放射状形成有边界线LI至L4。而且，设有通过标志图像31及边界线LI至L4而前后左右地分割的区域。在标志图像31的前方的区域上显示有前方俯瞰图像32F，在后方的区域上显示有后方俯瞰图像32B，在右方的区域上显示有右方俯瞰图像32R，在左方的区域上显示有左方俯瞰图像32L。将俯瞰图像32F、后方俯瞰图像32B、右方俯瞰图像32R、和左方俯瞰图像32L总称为俯瞰图像32。
[0063]为了至少显示各俯瞰图像32，各相机10必须进行拍摄。为此，操作员使发动机启动等，各相机10开始拍摄。如上述那样，各相机10对斜下方进行拍摄，前方相机1F对前方的斜下方的影像进行拍摄，后方相机1B对后方的斜下方的影像进行拍摄，右方相机1R对右侧方的斜下方的影像进行拍摄，左方相机1L对左侧方的斜下方的影像进行拍摄。
[0064]然后，各相机10将拍摄到的影像作为相机图像而输出(传输)至显示控制器17。各相机10以规定的拍摄周期进行拍摄，并按拍摄周期传输相机图像。由此，能够在画面部15上显示动态图像。此外，也可以显示静态图像。
[0065]如图4所示，图像修正部21对从各相机10输出的相机图像进行规定的修正处理。由此，相机图像的画质提高。进行了修正处理的相机图像在视点转换部22中被视点转换。根据前方相机1F所拍摄的相机图像而生成前方俯瞰图像32F，根据后方相机1B所拍摄的相机图像而生成后方俯瞰图像32B，根据右方相机1R所拍摄的相机图像而生成右方俯瞰图像32R，根据左方相机1L所拍摄的相机图像而生成左方俯瞰图像32L。所生成的各俯瞰图像32输出至图像合成部26。
[0066]另外，通过将标志图像31作为中心来显示各俯瞰图像32，如图6那样，能够将从上方俯视自卸卡车I而得到的图像显示于画面部15。图6是俯瞰图像显示，操作员能够良好地认知自卸卡车I的周边状况。如图6所示，在服务车作为障碍物SI而正在接近的情况下，通过进行俯瞰图像显示，操作员能够直观地认知自卸卡车I与障碍物SI之间的位置关系O
[0067]例如，俯瞰图像显示在自卸卡车I起步时，确认在周边是否存在某些障碍物时是有效的。尤其是，即使对于从操作员来看成为死角的方向，由于能够确认障碍物是否正在接近，所以是有效的。因此，各俯瞰图像32将自卸卡车I的较近距离作为显示范围。S卩，将在图5中说明的各相机10的光轴与地表G之间的角度Θ设定得较大。由此，通过进行图6那样的俯瞰图像显示，而能够良好地显示与自卸卡车I接近的周边状况。
[0068]在此，如图1的以虚线示出的区域所示，后方相机1B安装于货斗4的下部位置。而且，由于后方相机1B将斜下方作为光轴，所以虽然对自卸卡车I的后方进行拍摄，但在视场中也包含自卸卡车1(货斗4)的下部。尤其是，如上所述，后方相机10的光轴与地表G的角度Θ较大，另外在后方相机10中使用了具有广阔视场角的透镜，因此，自卸卡车I的下部的广阔区域包含于视场中。下部区域为进行了视点转换处理后的俯瞰图像，在下部图像生成部23中生成广阔的下部图像。
[0069]因此，能够将包含于后方相机1B的视场中的自卸卡车I的下部图像显示在监视器14的画面部15上。因此，本实施方式中，下部图像生成部23从视点转换部22获取后方俯瞰图像32B。而且，下部图像生成部23将后方俯瞰图像32B中的、自卸卡车I的下部部分作为下部图像而生成。
[0070]如图6所示，标志图像保持部24保持将自卸卡车I的形状再现的标志图像31。在该图的例子中，标志图像31显示有前轮5和后轮6等，另外也显示各相机10的安装位置。将标志图像保持部24所保持的标志图像31输出至重叠处理部25。
[0071]重叠处理部25将标志图像31中的与下部图像对应的区域作为透射区域33。该透射区域33在图中是以阴影线示出的区域。后方相机1B的安装位置、视场角、光轴方向等是预先设定的，从而能够预先认知标志图像31中的与下部图像对应的透射区域33。因此，透射区域33在标志图像31中的位置、范围确定。而且，下部图像(附图标记为34)与透射区域33的位置、范围是一致的。
[0072]因此，重叠处理部25使透射区域33以规定的透射率透射，并将基于后方相机1B所拍摄的影像的下部图像34重叠(迭加)。图7表示其一个例子。在该图中，在下部图像34中映出障碍物S2。操作员通过视觉辨认画面部15的下部图像34，而能够认知在自卸卡车I的下部、该情况下为在货斗4的下部存在障碍物S2。由此，操作员能够认知若操作换挡杆29使自卸卡车I后退，则后轮6与障碍物S2会发生干涉。即，操作员能够认知使换挡杆29位移至后退位置受到限制。
[0073]如上述那样，通过使用各相机10 (后方相机10B、右方相机10R、左方相机10L)所拍摄的影像进行视点转换处理，而进行俯瞰图像显示。由此，看一眼就能够认知自卸卡车I的周边状况。在虚拟地将视点设定于上方时，俯瞰图像显示成为俯视地表G的图像。因此，按理来说由于货斗4或驾驶室2等构造物而不会在俯瞰图像显示中显示自卸卡车I的下部的图像。
[0074]但是，在后方相机1B的视场中包含自卸卡车I的下部。因此，下部图像生成部23生成下部图像34，重叠处理部25使标志图像31的透射区域33透射并合成下部图像34，由此，能够在标志图像31中具有自卸卡车I的下部的图像的信息。总之，作为显示在监视器14的画面部15上的图像，包括车身的标志图像31、由前方俯瞰图像32F、后方俯瞰图像32B及左右的侧方俯瞰图像32L、32R构成的车身外的俯瞰图像、和作为俯瞰图像而显示的下部图像34。而且，将标志图像31的一部分作为透射区域33。由此，操作员不仅能够认知自卸卡车I的周边状况，也能够基于标志图像31的下部图像来认知自卸卡车I的下部状况。并且，由于这是利用了原本用于进行俯瞰图像显示的各相机10，所以不需要特别设置用于拍摄下部的专用相机。
[0075]此外，如图6和图7所示，在将标志图像31的驾驶室2再现的位置上配置有方向图标35。方向图标35表操作员的朝向。在此用三角形的箭头表方向。该方向图标35也可以根据自卸卡车I的行进方向而变化。由于在显示控制器17中，作为车身信息而从车身控制器18输入行进方向的信息，所以也可以根据行进方向而使三角形旋转。例如，在使自卸卡车I后退的情况下，成为与图6的三角形的朝向相反的方向。
[0076]然而，图像合成部26将标志图像31配置在中央的区域，并将各俯瞰图像32配置在通过以放射状形成的边界线LI至L4划分而成的区域中来进行合成。通常如图8所示，从显示有标志图像31的方形区域的四个顶点(四角)以放射状形成边界线LI至L4。其中，如图2所示，各视场范围VB、VF、VR、VL局部重复，以将重复的区域均等地分割的方式形成边界线LI至L4是自然的，另外，这也是为了在图像处理方面实现处理的简化。而且，俯瞰图像32F、32B、32L、32R通过相对于下部图像34能够识别的显示方式而显示。作为该能够识别的显示方式，以表示车身的标志图像31的边界线进行显示，除此以外，也能够例如对透射区域33和除此以外的区域设置浓淡差，或在某一方上实施着色等，由此成为能够识别的显示。
[0077]如图8所示，由边界线LI和L2形成的区域通过后方相机1B所拍摄的图像而显示后方俯瞰图像32B。因此，能够在透射区域33中的边界线LI和L2所夹持的区域上显示下部图像。另一方面，透射区域33中的边界线L2的左侧为基于左方相机1L所拍摄的相机图像而得到的图像的显示区域。同样地，透射区域33中的边界线LI的右侧为基于右方相机1R所拍摄的相机图像而得到的图像的显示区域。
[0078]透射区域33中的边界线LI的左侧的区域包含在后方相机1B的视场中，但不包含在右方相机1R的视场中。同样地，透射区域33中的边界线L2的右侧的区域包含在后方相机1B的视场中，但不包含在左方相机1L的视场中。由此，在透射区域33中产生两个死角33D。这两个死角33D是由于右方相机1R及左方相机1L不将透射区域33包含于视场中而产生的。即，若使用以显示标志图像31的方形区域的四角为基准而形成的边界线LI及L2，则不会在死角33D的部分上显示下部图像34。
[0079]因此，尽管原本能够在透射区域33的整个区域上显示基于后方相机1B的下部图像34，但会使一部分成为死角33D而无法显示。假设在死角33D存在障碍物S2时，尽管在后方相机1B的视场中包含障碍物S2，但不会显示在画面部15上。由此，操作员无法认知障碍物S2。因此，对于该死角33D的区域，作为无法显示区域而使其成为例如涂黑状态。
[0080]因此，在本实施方式中，图像合成部26在将标志图像31作为中心并在其周围合成各俯瞰图像32时，从基准点存储部27读取基准点Pl至P4。基准点Pl至P4示出在形成边界线LI至L4时，将标志图像31的外形中的哪个位置作为基准(起点)。
[0081]同时如图6及图7所示，标志图像31是基本上将自卸卡车I的形状再现的符号，是预先制成的。但是，标志图像31的一部分成为透射区域33，能够在该透射区域33上重叠显示下部图像34。因此，标志图像31能够分为透射区域33和除此以外的区域(标志区域31A)。其中，标志区域31A与标志图像31同样地是预先制成的符号，是固定的符号。另一方面，透射区域33尽管构成标志图像31的一部分，但不如说是用于显示图像的区域，根据下部图像34而改变显示内容。
[0082]因此，图像合成部26在显示标志图像31的区域为方形的情况下，不是从该方形区域的四角设定边界线LI至L4，而是基于透射区域33来设定边界线LI至L4。在此，将标志图像31中的透射区域33与标志区域31A的边界的端部作为基准来设定边界线LI及L2。由于在标志图像31的前方不存在透射区域33，所以从标志图像31的方形区域的角部设定边界线L3及L4。但是，其等同于从标志区域31A的角部设定边界线L3及L4。
[0083]边界线LI至L4以基准点Pl至P4为基准而设定。图像合成部26从基准点存储部27读取基准点Pl至P4。基准点Pl至P4设定于标志图像31中的除透射区域33以外的区域、即标志区域31A的四角。由于透射区域33是预先被认知的，所以也能够预先设定基准点Pl至P4。即，预先认知在标志图像31的外形的哪个位置上设定基准点Pl至P4。
[0084]而且，图像合成部26从基准点Pl至P4形成边界线LI至L4。如图7所示，边界线L3及L4从标志图像31的角部形成，但边界线LI及L2不从标志图像31的角部形成，而是从透射区域33与标志区域31A的边界的端部形成。
[0085]透射区域33由包含在后方相机1B所拍摄的影像中的下部图像34的尺寸决定。因此，透射区域33根据后方相机1B所拍摄的影像的视场而决定。通过对后方相机1B使用广角透镜，能够将广阔范围作为视场，能够扩大最大视场范围。该情况下，下部图像34及透射区域33的尺寸也增大。但是，如图8所示，在存在妨碍后方相机1B的视场那样的构造物的情况下，存在无法摄像的死角33D的区域，由于该构造物而导致后方相机1B的视场变小。作为该构造物主要存在后轮6。即，由于后轮6而导致前方难以成为后方相机1B的视场。在此，如图7所示，后轮6的后端位于透射区域33与标志区域31A的边界的端部。因此，从后轮6的后端形成边界线LI及L2。
[0086]如以上那样，图像合成部26将基准点Pl至P4作为基准来设定边界线LI至L4，并在由边界线LI至L4及标志图像31划分形成的前后左右的各区域上合成各俯瞰图像32。在由边界线LI及L2和标志图像31划分形成的区域上显示有后方俯瞰图像32B。并且，由于从透射区域33的前方的角部形成边界线LI及L2，所以如图7所示，能够在透射区域33的整个区域上显示下部图像34。因此，基于显示在下部图像34上的障碍物S2，操作员能够明确地认知障碍物S2的存在。
[0087]以上，示出了将后轮6的后端作为基准来设定边界线LI及L2的情况，但也可以将后轮6的后端以外的位置作为基准来设定边界线。同样地，将透射区域33与标志区域31A的边界的端部作为基准点Pl及P2来设定边界线LI及L2，但如图8所示，也可以使基准点Pl及P2向标志图像31的前方后后方移动。在该情况下，边界线LI及L2的起点位置(基准点Pl及P2)也发生变化。
[0088]无论怎样，由于成为死角33D的区域无法得到视场，所以对于该区域，如图8所示，全部涂黑而能够认知是无法得到图像的区域。在此，通过使基准点Pl及P2向标志图像31的后方移动，而使死角33D的区域仅为稍许。在该情况下，也可以使基准点Pl及P2向标志图像31的前方移动。另外，当使基准点Pl及P2向前方移动时，不包含在后方相机1B的视场中的区域也会成为后方俯瞰图像32B用的区域，因此，该情况也下会产生死角。但是，关于该情况，在允许稍许死角的情况下，也可以使基准点Pl及P2稍向前方移动。
[0089]总之，通过基于透射区域33来设定边界线LI及L2，能够将产生于透射区域33的死角33D抑制到最小限度，能够将下部图像34显示在透射区域33的整个区域，从而能够最大限度地有效利用。而且，通过使成为死角33D的区域以相对于其他区域能够明确识别的状态显示，在操作员的视觉辨认性的方面，能够得到最佳效果。
[0090]另外，在图6至图8的例子中，边界线LI至L4形成至画面部15的角部(四角)，但也可以形成至角部以外的部位。图9表示其一个例子。如该图所示，边界线LI及L2形成至从画面部15的角部离开的位置。在后方相机1B为高像素且为广角的情况下，也可以优先显示后方相机1B所拍摄的后方俯瞰图像32B。在该情况下，也可以根据后方相机1B的视场角如图9那样形成边界线LI及L2。
[0091]另外，如图10所不,也可以将画面部15分割为两部分，在一个分割区域15A上进行合成来显示俯瞰图像，并在另一个分割区域15B上显示后方相机1B的相机图像(没有进行视点转换的图像)。若在后方相机1B的视场范围内存在障碍物S2，则会显示在分割区域15A的下部图像34上。由于分割区域15B显示后方相机1B的相机图像，所以操作员通过视觉辨认分割区域15B，能够更具体地认知障碍物S2。
[0092]另外，在图6至图10的例子中，说明了画面部15的纵像素数大于横像素数的情况，但也可以相反。即，画面部15不为纵长，而为横长。
[0093]如上述那样，边界线LI及L2是以后轮6的后端为基准而设定的。这是自行式工业机械为自卸卡车I的情况。在自行式工业机械不为自卸卡车I而为履带式液压挖掘机的情况下，将履带的后端作为基准来设定边界线LI及L2，在为轮式液压挖掘机的情况下，将后轮的后端作为基准来设定边界线LI及L2。总之，能够将使自行式工业机械行驶的机构、即行驶体的后端作为基准来设定边界线LI及L2。
[0094]在自卸卡车I的情况下，即使在后方相机1B中使用了视野角广阔的透镜，也存在因后轮6使后方相机1B的视场范围缩窄的情况。因此，为了最大限度地有效利用后方相机1B的视场范围，将后方相机1B安装在自卸卡车I的车架3的最后端。而且，安装在比后轮6高的位置且安装在其后方。但是，不要使货斗4和后方相机1B发生干涉。
[0095]通过将后方相机1B安装在比后轮6高的位置且安装在其后方，能够使后方相机1B的视场范围包含自卸卡车I的下部的广阔区域，并且不会被后轮6妨碍后方相机1B的视场。因此，能够使透射区域33为最广阔的区域，能够显示广阔区域的下部图像34。
[0096]图11及图12表示其一个例子。如图11及图12所示，在车架3的最后端上安装有尾灯41。尾灯41是为了向自卸卡车I的后方供给照明光而设置的。在尾灯41的上方延伸出遮蔽板42。该遮蔽板42是为了使尾灯41的光不会映入到后方相机1B而设置的。在遮蔽板42的上部设有支承座43，在支承座43上安装有后方相机10B。
[0097]如从图11及图12可以明确那样，能够将后方相机1B安装在比后轮6高的位置且安装在其后方。由此，后轮6不会妨碍后方相机1B的视场，能够显示广泛区域的下部图像34。操作员能够通过该下部图像34良好地认知自卸卡车I的下部状况。
[0098]但是，为了将后方相机1B安装在比后轮6高的位置且安装在其后方，也能够通过使用例如托架等，将后方相机1B配置在所希望的位置。但是，自卸卡车I行驶于不平地面，行驶时伴随着激烈的振动。因此，在该情况下，对于后方相机1B所拍摄的影像会产生非常大的偏斜。
[0099]因此，如图11及图12所示，将车架3作为基础来固定后方相机10B。车架3是构成自卸卡车I的基本结构的构架，即使行驶于不平地面时也能够得到高稳定性。因此，能够减少后方相机1B所拍摄的影像的偏斜，能够进行稳定的拍摄。
[0100]接下来，对基于自卸卡车I的行驶操作的、图像合成部26的处理进行说明。搭乘在驾驶室2中的操作员操作换挡杆29，而使自卸卡车I行驶。如上述那样，换挡杆29有前进位置、中立位置、后退位置，根据换挡杆29位置，来确定是否使自卸卡车I行驶，以及使其行驶的情况下的行驶方向。换挡杆29进入哪个位置的信息(换挡杆位置信息)输入至车身控制器18，车身控制器18作为车身信息而将换挡杆位置信息输出至显示控制器17。
[0101]重叠处理部25输入换挡杆位置信息。由此，重叠处理部25认知自卸卡车I的行驶方向。重叠处理部25根据换挡杆位置信息、即换挡杆29的位置，进行是否使各透射区域33透射的控制。
[0102]在换挡杆29进入后退位置时，自卸卡车I后退。在该情况下，在后方的透射区域33中存在障碍物S2时，会与自卸卡车I发生干涉。因此，该情况下，重叠处理部25通过认知自卸卡车I的后退，而进行使透射区域33B透射并使下部图像34合成的图像处理。因此，显示出图7那样的画面。由此，操作员通过在后退时视觉辨认下部图像34，能够认知自卸卡车I的下部后方的状况。
[0103]以上对作为自行式工业机械而适用了自卸卡车I的例子进行了说明，但作为自行式工业机械，也能够使用图13所示的液压挖掘机50。液压挖掘机50构成为具有:具有履带式行驶体的下部行驶体51 ;和相对于下部行驶体51以能够旋转的方式连结的上部旋转体52。上部旋转体52具有驾驶室53、作业机构54、构造室55、和配重56。作业机构54由动臂57、斗杆58、和铲斗59构成。以上是普通的液压挖掘机50的结构。
[0104]在液压挖掘机50上安装有前方相机60F、后方相机60B、右方相机60R、左方相机60L(未图示)。这些相机以与上述的前方相机10F、后方相机10B、右方相机10R、左方相机1L相同的目的安装，是为了对液压挖掘机50的周边状况进行俯瞰显示而设置的。另外，前方相机60F安装在驾驶室53附近，后方相机60B安装在配重56的下部。右方相机60R及左方相机60L安装在构造室55上。
[0105]在配重56的下部形成有广阔空间。此时，后方相机60B对后方进行拍摄，但由于光轴朝向斜下方，所以配重56的下部包含于视场中。因此，通过将配重56的下部图像显示在标志图像上，能够得到与上述自卸卡车I的情况相同的效果。
[0106]附图标记说明
[0107]I 自卸卡车
[0108]2 驾驶室
[0109]3 车架
[0110]4 货斗
[0111]5 前轮
[0112]6 后轮
[0113]10 相机
[0114]14 监视器
[0115]15画面部
[0116]15A分割区域
[0117]15B分割区域
[0118]17显示控制器
[0119]18车身控制器
[0120]21图像修正部
[0121]22视点转换部
[0122]23下部图像生成部
[0123]24标志图像保持部
[0124]25重叠处理部
[0125]26图像合成部
[0126]27基准点存储部
[0127]28显示图像生成部
[0128]29换挡杆
[0129]31标志图像
[0130]3IA标志区域
[0131]32俯瞰图像
[0132]33透射区域
[0133]33D死角
[0134]34下部图像
【权利要求】
1.一种自行式工业机械的显示装置，其特征在于，具有: 多台相机，其设置在自行式工业机械上，对该自行式工业机械的周边进行拍摄，并将斜下方作为光轴； 视点转换部，其生成俯瞰图像，所述俯瞰图像是对各相机所拍摄的相机图像分别以使上方成为视点的方式进行视点转换后的图像； 重叠处理部，其进行如下处理:将该俯瞰图像和使所述自行式工业机械标志化而成的车身的标志图像显示在监视器上，将该标志图像中的包含于所述相机的所述自行式工业机械的下部区域作为透射区域，以规定的透射率使其透射而进行重叠； 图像合成部，其使所述标志图像成为能够识别透射区域和非透射区域的显示方式，并与所述俯瞰图像合成显示；以及 显示装置，其配置在所述自行式工业机械的驾驶室中，并显示所述图像合成部所合成的图像。
2.如权利要求1所述的自行式工业机械的显示装置，其特征在于， 所述图像合成部在所述标志图像中的所述透射区域与除此以外的标志区域的边界的端部之间形成边界线。
3.如权利要求1所述的自行式工业机械的显示装置，其特征在于， 在所述透射区域与所述俯瞰图像的显示区域之间具有浓淡差。
4.如权利要求1所述的自行式工业机械的显示装置，其特征在于， 通过对所述透射区域着色来识别所述俯瞰图像的显示区域。
5.如权利要求1所述的自行式工业机械的显示装置，其特征在于， 在所述透射区域中，通过将成为所述相机的死角的区域全部涂黑而使其成为图像非显示区域。
6.如权利要求1所述的自行式工业机械的显示装置，其特征在于， 所述相机是拍摄后方的后方相机，以所述自行式工业机械的行驶体的后端为基准来形成所述边界线。
7.如权利要求6所述的自行式工业机械的显示装置，其特征在于， 在所述搬运车辆的车架的最后端设置所述相机，将所述相机安装在不会与所述搬运车辆的货斗发生干涉的范围中的比所述搬运车辆的后轮高的位置且安装在其后方。
8.如权利要求7所述的自行式工业机械的显示装置，其特征在于， 在通过对所述搬运车辆的行驶进行操作的行驶操作部进行后退操作时，将所述显示图像显示在所述显示装置上。
9.如权利要求1至8中任一项所述的自行式工业机械的显示装置，其特征在于， 将所述显示装置的显示区域分割，来显示所述图像合成部所生成的所述显示图像和多台所述相机中的拍摄所述下部图像的相机图像。
【文档编号】H04N5/225GK104380724SQ201380029810
【公开日】2015年2月25日 申请日期:2013年5月30日 优先权日:2012年6月8日
【发明者】古渡阳一, 稻野边庆仁, 清水克彦, 石本英史 申请人:日立建机株式会社