工作机械的周围监视装置制造方法
【专利摘要】目的在于以正确且良好的目视确认性来监视工作机械周围的状况，提升工作机械的安全性和作业效率。具有：多台照相机，其在上部回转体（5）设置有多台，其中两台设置成使视野范围彼此部分重复；视点变换部（23），其根据由各照相机取得的照相机图像生成以成为上方视点的方式进行视点变换而得到的虚拟视点图像；图像合成部（24），其生成以将视点变换部（23）生成的多个虚拟视点图像显示到各自对应的显示区域的方式合成得到的合成图像；显示图像生成部（25），其将合成图像作为第一图像，将为各照相机中的某一个照相机拍摄的图像且为视野内包含虚拟视点图像间的分界线的图像作为第二图像，生成包含第一图像与第二图像的显示图像；以及监视器（14），其在画面上对显示图像进行显示。
【专利说明】工作机械的周围监视装置
【技术领域】
[0001]本发明涉及工作机械的周围监视装置，该工作机械的周围监视装置是为了确保工作机械的安全而设置，用于监视工作机械周围的状况。
【背景技术】
[0002]作为工作机械的一例的液压挖掘机是自行式的工作机械，具有下部行驶体，该下部行驶体具有履带式或者轮式的行驶单元。在下部行驶体经回转装置设置有上部回转体。在上部回转体设置有用于进行砂土的挖掘等作业的作业单元。该作业单元具有:动臂，其能够进行俯仰动作地与上部回转体连接；以及斗杆，其能够在上下方向转动地与该动臂的末端连接，进行砂土的挖掘等作业的挖斗作为附属装置(attachment)经连杆机构与斗杆的末端连接。由此，构成多关节作业机构。
[0003]在液压挖掘机等自行式工作机械中，为了确保作业的安全，谋求工作机械的操作性的提升，而从以往开始就采用设置了周围监视装置的工作机械，该周围监视装置用于监视回转体周围的状况。该周围监视装置构成为在上部回转体装配照相机，并且在驾驶室内在操作员(驾驶员)落座的驾驶室的前方位置设置监视器。该监视器将照相机拍摄到的图像显示为动画状态的影像。
[0004]但是，照相机被固定地保持在上部回转体上，限定了其视野范围。成为作业对象的前方位置的视野当然是必需的，但是为了得到上部回转体的后方和左右两侧方的视野，而构成为在上部回转体装配多个照相机。由此，能够确保遍及上部回转体大致整周的视野，从而实现了作业的安全确保和工作机械的操作性提升。
[0005]在专利文献I中公开了这种工作机械的周围监视装置。在该专利文献I的技术中，构成为设置了对液压挖掘机的右侧方、左侧方、以及后方进行拍摄的各照相机，针对各照相机的图像，对将照相机的视点虚拟性地移动到上方时的虚拟视点图像(俯瞰图像)进行显示。通过显示该虚拟视点图像，能够正确地掌握动态或固定的障碍物与工作机械的距离。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2008-248613号公报
【发明内容】
[0009]发明要解决的课题
[0010]如专利文献I所示的那样，通过生成将虚拟视点放置于工作机械的上方的虚拟视点图像进行显示，看一眼就能够正确地掌握障碍物到工作机械的距离。由此，操作员能够识别出工作机械周围的状况，在提升作业的安全性方面得到极高的效果。在专利文献I中，对多个照相机的虚拟视点图像进行合成构成全景图像，使当前的全景图像与过去的全景图像重合，由此生成显示用的全景图像。
[0011]另外，全景图像是将多个虚拟视点图像合成而生成的，但是作为各虚拟视点图像的源的图像是基于对不同的视野进行拍摄的照相机。即，针对分别以工作机械的车体的左右侧方和后方为视野的各照相机拍摄的图像使虚拟视点处于上方而展开成水平面所得到的图像为虚拟视点图像。此时，关于后方的虚拟视点图像和侧方的虚拟视点图像之间的分界部，在后方照相机和侧方照相机中视野范围局部重叠。由此，去掉了在虚拟视点图像中不显示的区域。
[0012]但是，虚拟视点图像是将从斜上方拍摄的照相机的视点虚拟地设置到上方时在水平面方向展开而得到的图像，当在虚拟视点图像间的分界部存在立体物时，该立体物的上部(比地面高的部分)有从虚拟视点图像消失的可能性。该情况下，在合成显示虚拟视点图像的全景图像中，不会显示位于分界部的立体物的上部。因此，实际上尽管在工作机械的附近存在固定或动态的障碍物，障碍物却从虚拟视点图像消失，操作员不能识别出障碍物的存在。由此，不能准确地对工作机械周围的状况进行监视。
[0013]另外，当虚拟视点图像间的分界部存在障碍物时，也有时并非立体物的全部而是一部分在虚拟视点图像不显示。该情况为障碍物的一部分从虚拟视点图像消失，而另一部分在虚拟视点图像出现的状态。但是，在虚拟视点图像中只显示有障碍物的一部分，如果操作员不注意确认虚拟视点图像，有时仍然会忽视障碍物的存在。由此，由于操作员不能直观地掌握障碍物的存在，因此不能充分地监视工作机械周围的状况。
[0014]因此，本发明的目的在于以正确且良好的目视确认性来监视工作机械周围的状况，提升工作机械的安全性和作业效率。
[0015]用于解决课题的手段
[0016]为了解决以上的课题，本发明的工作机械的周围监视装置是用于监视将前部工作机械设置于回转体的工作机械的周围的工作机械的周围监视装置，所述回转体相对于行驶体能够回转，所述工作机械的周围监视装置的特征在于，具有:多台照相机，在所述回转体设置有多台照相机，其中两台设置成使视野范围彼此部分重复；视点变换部，其根据由所述各照相机取得的照相机图像生成以成为上方视点的方式进行视点变换而得到的虚拟视点图像；图像合成部，其生成以将所述视点变换部生成的多个所述虚拟视点图像显示到各自对应的显示区域的方式进行合成而得到的合成图像；显示图像生成部，其将所述合成图像作为第一图像，将为所述各照相机中的某一个照相机拍摄的图像且视野内包含所述虚拟视点图像间的分界线的图像作为第二图像，生成包含所述第一图像与所述第二图像两者的显示图像；以及监视器，其在画面上显示所述显示图像生成部生成的所述显示图像。
[0017]根据该工作机械的周围监视装置，通过将第一图像和第二图像两者显示到监视器，即使障碍物的一部分或全部由于障碍物存在于虚拟视点图像的分界部而从虚拟视点图像消失，通过第二图像也能够明确地识别出障碍物的存在。由此，能够使操作员以正确且良好的目视确认性来识别出工作机械周围的状况，能够提升安全性以及作业效率。
[0018]另外，特征在于，所述显示图像生成部将所述第二图像中的表示所述各虚拟视点图像的显示范围的虚拟显示范围与所述第二图像重叠显示。
[0019]在第二图像显示系统中，通过将各虚拟视点图像的范围重叠显示为虚拟显示范围，通过该虚拟显示范围和障碍物的关系，能够使操作员明确地识别出障碍物消失的可能性。由此，能够以更正确且良好的目视确认性来识别工作机械周围的状况，能够提升安全性和作业效率。[0020]另外，特征在于，所述显示图像生成部将所述第二图像中的消失范围与所述第二图像重叠显示，所述消失范围表示相邻的所述虚拟视点图像间的区域中的立体物的上部有可能消失的范围。
[0021]在第二图像显示系统中，通过重叠显示为消失范围，通过在消失范围内是否存在障碍物，操作员能够明确地识别出障碍物消失的可能性，所述消失范围表示相邻的虚拟视点图像间的区域中的立体物有可能消失的范围。由此，能够以更正确且良好的目视确认性来识别工作机械周围的状况，能够提升安全性和作业效率。
[0022]另外，特征在于，所述显示图像生成部将所述第二图像中的所述虚拟显示范围以及消失范围与所述第二图像重叠显示，并以不同的显示形式来显示所述虚拟显示范围和所述消失范围，所述消失范围表示相邻的所述虚拟视点图像间的区域中的立体物的上部有可能消失的范围。
[0023]通过在第二图像中显示虚拟显示范围和消失范围两者，操作员能够进一步明确虚拟范围以及消失范围与障碍物的关系。由此，能够以正确且良好的目视确认性来识别工作机械周围的状况，能够提升安全性和作业效率。
[0024]另外，特征在于，所述显示图像生成部能够将所述第二图像中的所述虚拟显示范围与消失范围中的任一方或者双方与所述第二图像重叠显示，在重叠显示所述虚拟显示范围和所述消失范围两者时以不同的显示形式来显示所述虚拟显示范围和所述消失范围，所述消失范围表示相邻的所述虚拟视点图像间的区域中的立体物的上部有可能消失的范围，所述显示图像生成部能够对显示所述虚拟显示范围与所述消失范围的任一方的模式、显示两者的模式、以及都不显示的模式进行切换。
[0025]如果是熟练度低的操作员，通过将虚拟显示范围和消失范围中的任一方或双方重叠显示到第二图像中，能够辅助操作员识别出障碍物消失的可能性。另一方面，如果是熟练度高的操作员，即使不显示虚拟显示范围和消失范围也能够识别出障碍物消失的可能性，相反地使第二图像的目视确认性降低。因此，能够根据操作员的熟练度来选择最佳的显示方式。
[0026]另外，特征在于，所述工作机械的周围监视装置具有障碍物检测部，该障碍物检测部根据所述照相机取得的所述照相机图像来检测障碍物，所述显示图像生成部将形成于所述障碍物检测部检测出的所述障碍物的周围的标记重叠显示到所述第一图像和所述第二图像中的任一方或双方中。
[0027]通过将表示障碍物的标记重叠显示到第一图像、第二图像中，即使障碍物从虚拟视点图像部分地消失，由于显示有标记，操作员能够根据该标记识别出障碍物。由此，操作员能够可靠地识别出障碍物，能够识别出工作机械周围的状况。
[0028]发明效果
[0029]关于本发明，不仅将照相机拍摄到的虚拟视点图像显示到监视器，还将成为用于生成该虚拟视点图像的源的、照相机拍摄的图像显示到监视器，即使立体物的上部由于立体物存在于虚拟视点图像间的分界而消失，操作员也能够从照相机的图像中识别出障碍物。由此，能够使操作员以正确且良好的目视确认性来识别工作机械周围的状况，能够提升作业的安全性和作业效率。【专利附图】
【附图说明】
[0030]图1是表示作为工作机械的一例的液压挖掘机的外观图。
[0031]图2是液压挖掘机的正视图。
[0032]图3是表示选择了挖斗监视照相机的图像时的监视器的一例的图。
[0033]图4是显示控制器以及与其连接的各部的方框图。
[0034]图5是表示选择了右方照相机的图像时的监视器的一例的图。
[0035]图6是表示选择了后方照相机的图像时的监视器的一例的图。
[0036]图7是表示选择了左方照相机的图像时的监视器的一例的图。
[0037]图8是表示上部回转体进行了回转时的监视器的画面例的图。
[0038]图9是表示各模式下的重叠显示于照相机拍摄图像的内容的图。
[0039]图10是表示模式A下的监视器的画面例的图。
[0040]图11是表示模式B下的监视器的画面例的图。
[0041]图12是表示模式C下的监视器的画面例的图。
[0042]图13是变形例中的显示控制器以及与其连接的各部的方框图。
[0043]图14是表示变形例中的模式D的监视器的画面例的图。
[0044]图15是表示变形例中的模式A的监视器的画面例的图。
[0045]图16是表示变形例中的模式B的监视器的画面例的图。
[0046]图17是表示变形例中的模式C的监视器的画面例的图。
【具体实施方式】
[0047]以下，参照附图对本发明的实施方式进行说明。以下，对作为工作机械应用了具有履带行驶单元的液压挖掘机的示例进行说明，但是例如也能够应用轮式装载机等液压挖掘机以外的工作机械。另外，液压挖掘机也可以不具有履带式的行驶单元而具有轮式的行驶单元。
[0048]如图1所示，液压挖掘机I构成为具有车体2、和前部工作机械3。车体2具有下部行驶体4和上部回转体5，在下部行驶体4和上部回转体5之间设置有回转装置。在上部回转体5设置有供操作员乘坐且用于操作液压挖掘机I的驾驶室6，另外进行砂土的挖掘等作业的前部工作机械3在驾驶室6的右手边，在大致并排的位置设置于上部回转体5。在上部回转体5，在驾驶室6以及前部工作机械3的后方位置设置有机房7等，在最后端部设置有配重8。
[0049]前部工作机械3是具有动臂10、斗杆11、以及挖斗12而构成的挖掘砂土的挖掘作业单元。动臂10的基端部通过连接销而轴支在上部回转体5的框架，能够进行俯仰动作。斗杆11能够在上下方向转动地与动臂10的末端连接，挖斗12能够转动地与动臂10的末端连接。通过驱动液压缸IOa来进行动臂10的俯仰动作。另外，通过液压缸Ila来驱动斗杆11，通过液压缸12a来驱动挖斗12。
[0050]操作员在驾驶室6中以面向前方的状态来进行操作，在上部回转体5的前方确保了充分的视野。并且，还确保了驾驶室6的左侧的斜前方的视野。但是，即使是左侧，对于斜后方来说如果操作员不向后看也不能直接目视确认。另外，在驾驶室6的右侧设置了前部工作机械3，视野的相当一部分被动臂10阻挡，实际上不能进行基于肉眼的目视确认。[0051]另外，在上部回转体5的后方设置有机房7和配重8，如果操作员在驾驶室6的内部不向后看无法得到视野。且机房7和配重8的上表面为高位，即使操作员在驾驶室6的内部采取向后看的姿势，得到视野的也是远处的位置，无法对接近上部回转体5的位置进行目视确认。
[0052]因此，为了能够监视上部回转体5的后方、左侧方以及右侧方，为了辅助性地确保视野而设置了监视用的照相机13B (后方照相机13B)，照相机13R (右方照相机13R)、以及照相机13L (左方照相机13L)三台照相机。S卩，在配重8的上表面，在左右大致中间位置设置后方照相机13B，在机房7的左方向的上表面设置左方照相机13L，在上部回转体5右侧的机房7或容器的上表面设置右方照相机13R。
[0053]后方照相机13B取得上部回转体5的后方的广阔范围的图像，通过该后方照相机13B、左方照相机13L、以及右方照相机13R，在上部回转体5的驾驶室6的内部，操作员得到除了以正常的姿势得到前方视野以外的、遍及大致整周的视野。另外，在斗杆11的下部设置有以挖斗12为视野的照相机13F (挖斗监视照相机13F)。
[0054]通过各照相机13B、13R、13L的镜头的视野角和它们的配设位置，至少各镜头的视野范围的一部分被设定成重合。具体来说，后方照相机13B的视野角的左右两侧部分与左右照相机13R、13L的视野角部分重复。由此，在上部回转体5的周围，没有成为盲区的地方。
[0055]并且，在驾驶室6的内部设置有监视器14，从各照相机13B、13R、13L取得的图像以动画状态显示在监视器14。监视器14将由各照相机13B、13R、13L取得的照相机图像显示为原本的图像(照相机拍摄图像)，且还显示为以成为上方视点的方式进行视点变换而得到的图像(虚拟视点图像)。在一个画面同时显示照相机拍摄图像和虚拟视点图像。
[0056]这里，以后方照相机13B为例，如图2所示，使后方照相机13B的物镜的光轴朝向相对于上部回转体5的后方带有角度Θ的斜下方。此时，将液压挖掘机I的下部行驶体4的接地面设为L，能够得到相对于该接地面L带有角度Θ的照相机图像。以将该接地面L作为虚拟平面的虚拟视点VF的光轴为垂直方向(与水平面正交的方向)的方式进行坐标变换而得到的图像被生成为虚拟视点图像。即，从虚拟视点VF俯视接地面L而得到的虚拟图像为虚拟视点图像。
[0057]由此，从带有角度Θ的斜上方的照相机图像被变换为虚拟视点图像(或者俯瞰图像)并显示在监视器14上。另外，左右两侧照相机13R、13L也与后方照相机13B —样，光轴相对于接地面L的倾斜角为Θ。相对于后方照相机13B朝向上部回转体5的后方，左右照相机13R、13L朝向侧方。即，后方照相机13B相对于作为虚拟平面的接地面L的方向与左右两侧的照相机13L、13R相差大致90度。S卩，各照相机13B、13R、13L拍摄的方向分别相差90度。
[0058]另外，这里照相机13B、13R、13L拍摄的视野方向相差90度，但是即使不是90度，只要视野的方向不同就能够设为任意角度。另外，各照相机13B、13R、13L能够设置于上部回转体5的任意位置。
[0059]图3表示监视器14的结构。如该图所示，监视器14构成为具有显示图像的显示部15、和设置了开关的输入部16。显示部15具有虚拟视点图像显示区域17和照相机拍摄图像显示区域18。虚拟视点图像显示区域17是显示虚拟视点图像的区域。虚拟视点图像是第一图像，将使液压挖掘机的俯视图图形化而得到的工作机械图像17M显示在中央位置。在工作机械图像17M周围的区域显示根据由照相机13B、13R、13L取得的照相机图像进行视点变换而得到的虚拟视点图像。
[0060]虚拟视点图像具有:虚拟视点后方图像17B，其是基于后方照相机13B拍摄到的照相机图像的虚拟视点图像；虚拟视点右方图像17R，其是基于由右方照相机13R拍摄到的照相机图像的虚拟视点图像；以及虚拟视点左方图像17L，其是基于由左方照相机13L拍摄到的照相机图像的虚拟视点图像。并且，在虚拟视点后方图像17B与虚拟视点右方图像17R之间形成有作为分界部的分界线19R，在虚拟视点后方图像17B与虚拟视点右方图像17R之间形成有作为分界部的分界线19L。
[0061]另一方面，在照相机拍摄图像显示区域18显示照相机拍摄图像。照相机拍摄图像是第二图像，对后方照相机13B、右方照相机13R、以及左方照相机13L中的某一个照相机拍摄的图像进行显示而不变换为虚拟视点。因此，在照相机拍摄图像显示区域18显示的照相机拍摄图像是照相机拍摄的图像本身。
[0062]因此，监视器14对虚拟视点图像和照相机拍摄图像进行显示。图4表示用于对监视器14进行显示控制的显示控制器20。如该图所示，显示控制器20构成为具有:存储保持部21、图像修正部22、视点变换部23、图像合成部24、显示图像生成部25、以及图像整形部26。显示控制器20与具备车体控制部31的车体控制器30连接，并从车体控制器30获得车体息。
[0063]存储保持部21对照相机13B、13R、13L的拍摄视场角和镜头失真等照相机光学系统参数、搭载位置和姿势信息、变换成后述的虚拟视点图像时的虚拟视点信息、显示图像用的工作机械图像17M和比例尺值等各种信息进行存储。
[0064]图像修正部22与各照相机13B、13R、13L、13F连接，根据存储在存储保持部21的照相机光学系统参数等对从各照相机13B、13R、13L、13F取入的照相机图像进行色差修正和对比度修正、以及色调修正等图像修正。由此，使取入的照相机图像的画质提高。由图像修正部22进行修正处理后的照相机图像被输出给视点变换部23和图像整形部26。
[0065]视点变换部23根据图像修正部22修正处理后的各照相机图像以成为上方视点的方式来对这些照相机图像进行视点变换。另外，进行视点变换的是后方照相机13B、右方照相机13R、以及左方照相机13L取得的照相机图像，挖斗监视照相机13F取得的照相机图像不进行视点变换的处理。通过该视点变换处理生成后方以及左右两侧方的虚拟视点后方图像17B、虚拟视点右方图像17R、以及虚拟视点左方图像17L。
[0066]在监视器14的虚拟视点图像显示区域17中分配有用于显示这三个方向的虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L的显示区域，这些图像分别在分配给自己的显示区域进行显示。即，以工作机械图像17M为中心将虚拟视点后方图像17B分配到后侧的区域，将虚拟视点左方图像17L分配到左侧区域，将虚拟视点右方图像17R分配到右侧区域。
[0067]图像合成部24进行虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L的分配。即，图像合成部24将由视点变换部23进行了视点变换处理而得到的虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L分配到各自的区域进行合成。由此，生成虚拟视点图像。另外，如上所述，在图像上形成表示虚拟视点后方图像17B与虚拟视点右方图像17R的分界部的分界线19R、和表示虚拟视点后方图像17B与虚拟视点左方图像17L的分界部的分界线19L。
[0068]如图3所示，在整合显示了虚拟视点图像显示区域17所显示的虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L的虚拟视点图像中，形成了危险区ZI和注意区Z2。危险区Zl表示可能与障碍物(动态或固定)接触的圆形区域，所述障碍物是应该避免与液压挖掘机I的碰撞的对象。根据标准的回转姿态的前部工作机械3的斗杆11的末端回转范围来决定该危险区Zl。
[0069]另外，注意区Z2是与在危险区Zl的外侧形成的圆形区域之间的环状区域，是为了唤起操作员注意而设置的区域。注意区Z2外侧的圆形区域被决定为具有危险区Zl的圆形的大致二倍的半径的区域。这里，虚拟视点图像显示区域17的显示范围与危险区Zl的范围大致相等，但是也可以表不具有比危险区Zl更富余的范围。
[0070]如图4所示，图像修正部22修正处理后的照相机图像被输出到图像整形部26。图像整形部26被输入了四个修正处理后的照相机图像(后方照相机13B、左方照相机13L、右方照相机13R、以及挖斗监视照相机13F的照相机图像)，并选择四个照相机图像中的某一个照相机图像。该选择作业由设置在监视器14的输入部16来进行。
[0071]S卩，如图3所示，输入部16构成为具有四个开关16a、16b、16c、16d、16e，其中开关16a是用于选择后述的模式的开关。另外，开关16b是用于选择左方照相机13L的照相机图像的开关，开关16c是用于选择后方照相机13B的照相机图像的开关，开关16d是用于选择右方照相机13R的照相机图像的开关，开关16e是用于选择挖斗监视照相机13F的照相机图像的开关。
[0072]图像整形部26受理这些开关16b?16e的输入而选择出各照相机图像中的某一个照相机图像。图像整形部26对选择出的照相机图像进行如下的图像处理:对后述的虚拟视点范围与消失范围的任一方或双方进行重叠显示。虚拟视点范围与消失范围相对于选择出的照相机图像被重叠显示为引导记号(guide symbol)ο通过开关16a来选择该引导记号的模式。图像整形部26处理得到的照相机图像作为照相机拍摄图像输出到显示图像生成部25。
[0073]如图4所示，图像合成部24合成处理得到的虚拟视点图像以及图像整形部26处理得到的照相机拍摄图像这两个图像被输入到显示图像生成部25。显示图像生成部25在由图像合成部24合成三个图像(虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L)而得到的虚拟视点图像的中心配置工作机械图像17M来制作虚拟视点图像。将该虚拟视点图像显示到显示部15的虚拟视点图像显示区域17。
[0074]且，将从图像整形部26输入的照相机拍摄图像显示到照相机拍摄图像显示区域
18。由此，监视器14的显示部15 (显示画面)的上部和下部同时显示虚拟视点图像和照相机拍摄图像。将具有这些虚拟视点图像和照相机拍摄图像的图像作为显示图像输出给监视器14的显示部15。显示部15进行控制来对该显示图像进行显示。
[0075]另外，如图4所示，显示控制器20与车体控制器30连接，从车体控制器30的车体控制部31输入各种车体信息。在液压挖掘机I设置有动臂10、斗杆11以及挖斗12的各液压缸10a、lla、12a，还设置有液压马达和回转马达，该液压马达用于驱动构成下部行驶体4的左右行驶单元，该回转马达用于回转驱动上部回转体5。这些液压缸、液压马达以及回转马达被统称为液压致动器，在图4中将它们表示为液压致动器组32。[0076]另外，在驾驶室6的内部设置有具有多个操作杆的操作杆组33，当操作员对构成操作杆组33的某一个操作杆进行操作时，操作杆的上方进入到车体控制部31，通过来自车体控制部31的指令来驱动构成液压致动器组32的各液压致动器。另外，来自操作杆组33的指令能够采用以电信号直接传递给液压致动器组32的结构，但是也可以构成为使指令为液压信号，将只与操作杆的操作量相关的信号取入到车体控制部31。
[0077]另外，在车体控制部31，将对动臂10、斗杆11以及挖斗12的相对角度和上部回转体5相对于下部行驶体4的回转角度进行检测的角度检测器34a、34b、34c、34d设为角度检测器组34。角度检测器34a检测动臂10的转动角度，角度检测器34b检测斗杆11的转动角度，角度检测器34c检测挖斗12的转动角度，角度检测器34d检测上部回转体5相对于下部行驶体4的回转角度。另外，速度检测器35a、35b被设为速度检测器组35，检测下部行驶体4的左右行驶马达5a、5b的旋转速度。
[0078]车体控制部31从这些液压致动器组32、操作杆组33、角度检测器组34、速度检测器组35取得各种信息，上述信息作为车体信息输出到显示控制器20。显示控制器20根据车体信息，对工作机械的姿态信息和速度信息、操作信息这样的各种信息进行识别。
[0079]以上是结构。接下来，对动作进行说明。乘坐在驾驶室6中的操作员按下图3所示的监视器14的输入部16的开关16a?16e中的某一个开关。如上所述，开关16b?16e是为了将各照相机13L、13B、13R、13F拍摄的照相机图像中的某一个显示到照相机拍摄图像显示区域18而设置的。因此，开关16b?16e直观地明示与照相机13L、13B、13R、13F的对应关系。
[0080]这里，开关16b?16e设置有通过点亮来表示选择了自身的中心区域，以该区域为中心在上下左右方向分割出四个区域。并且，各区域的方向表示选择了照相机13L、13B、13R、13F拍摄的图像。开关16b强调左侧区域，由此表示选择了左方照相机13L拍摄的照相机图像。开关16c强调下侧区域，由此表示选择了后方照相机13B拍摄的照相机图像。开关16d强调右侧区域，由此表示选择了右方照相机13R拍摄的照相机图像。开关16e强调上侧区域，由此表示选择了挖斗监视照相机13F拍摄的照相机图像。
[0081]如上所述，开关16b?16e的中央能够点亮，通过点亮能够明示操作员选择了哪一个开关16b?16e。另外，明不开关16b?16e对应的照相机图像的方法不限于上述的方法，只要是能够知晓开关16b?16e与照相机13B、13L、13R、13F拍摄的图像的关联性可以米用任意的显不方式。
[0082]在图3的示例中，操作员按下了开关16e。因此，明示出选择了挖斗监视照相机13F，且通过点亮中央部分来识别出选择了开关16e。选择了该开关16e的信息被输出到图像整形部26。
[0083]在显示控制器的图像修正部22中，将各照相机13B、13R、13L、13F拍摄的照相机图像作为数据输入，针对该照相机图像进行修正处理。视点变换部23对修正处理后的照相机13B、13R、13F的照相机图像进行视点变换处理，从而生成虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L。然后，图像合成部24对虚拟视点后方图像17B、虚拟视点右方图像17R、虚拟视点左方图像17L进行合成处理，生成整合而成的虚拟视点图像。显示图像生成部25相对于该整合处理得到的虚拟视点图像将工作机械图像17M追加到中央。[0084]另一方面，图像整形部26选择图像修正部22修正处理后的照相机图像中的、由开关16e确定的挖斗监视照相机13F的照相机图像，并将该照相机图像输出给显示图像生成部25。另外，如后述那样，图像整形部26能够相对于照相机图像将虚拟视点范围和消失范围的任一方或双方重叠显示为引导记号，但是当选择了挖斗监视照相机13F的照相机图像时，不进行该重叠显示的处理。
[0085]显示图像生成部25输入图像合成部24整合且追加了工作机械图像17M的虚拟视点图像以及图像整形部26处理过的照相机图像。然后，在虚拟视点图像显示区域17显示虚拟视点图像。即，在虚拟视点图像显示区域17中以工作机械图像17M为中心显示合成了虚拟视点左方图像17L、虚拟视点后方图像17B、虚拟视点右方图像17R而得到的虚拟视点图像。
[0086]另一方面，在照相机拍摄图像显示区域18中显示挖斗监视照相机13F拍摄的照相机拍摄图像。该照相机拍摄图像没有进行虚拟视点变换，为挖斗监视照相机13F拍摄的图像。显示图像生成部25将虚拟视点图像以及照相机拍摄图像作为显示图像输出给显示部
15。显示部15显示该显示图像，由此，在画面上显示图3所示那样的图像。
[0087]此时，视觉上明示出选择了构成输入部16的各开关16a?16e中的开关16e。并且，该开关16e表示选择了挖斗监视照相机13F的图像，由此操作员能够直观地识别出照相机拍摄图像显示区域18所显示的照相机拍摄图像是挖斗监视照相机13F拍摄的图像。
[0088]接下来，当操作员按下开关16d时，识别出在照相机拍摄图像显示区域18显示与该开关16d对应的照相机拍摄图像，即右方照相机13R拍摄的照相机图像。图5表示按下开关16d时的监视器14。图6表示操作员按下开关16c时的监视器14。该情况下，在照相机拍摄图像显示区域18显示与开关16c对应的照相机拍摄图像，即后方照相机13B拍摄的照相机图像。另外，图7表示操作员按下开关16b时的监视器14。该情况下，在照相机拍摄图像显示区域18显示与开关16b对应的照相机拍摄图像，即左方照相机13L拍摄的照相机图像。
[0089]在图5至图7的虚拟视点图像以及图6的照相机拍摄图像中，作为固定的或动态的障碍物，表示有作业员M。这里，操作员按下了选择后方照相机13B的开关16c，如图6所示在照相机拍摄图像显示区域18显示后方照相机13B的照相机拍摄图像。如该图所示，作业员M站立于液压挖掘机I的后方，在照相机拍摄图像中显现出了作业员M。
[0090]虚拟视点图像是这样的图像:当将后方照相机13B以及左右照相机13R、13L的视点虚拟地设置于上方时在水平面展开的图像。在图6的情况下，作业员M站立于后方照相机13B的中央附近，因此在虚拟视点后方图像17B中以在水平面展开的形式来显示作业员M0
[0091]在该状态下，操作员对操作杆组33进行操作，使上部回转体5相对于下部行驶体4回转。当使上部回转体5回转时，各照相机13B、13R、13L拍摄的视野发生变化。图8的(a)表示最初的没有回转的状态(B卩，图6的状态)，但是通过回转上部回转体5，照相机拍摄图像以及虚拟视点图像发生变化。
[0092]从同图(a)的状态开始回转，成为同图(b)的状态，进一步回转时成为同图(C)的状态。由此，在照相机拍摄图像中作业员M的站立位置从中央附近的位置向左端部移动。虚拟视点图像也与回转一起发生变化。在图7的(a)的状态下，由于作业员M完全进入后方照相机13B的范围内，因此作业员M的像也显示在虚拟视点后方图像17B中。
[0093]另一方面，随着回转的进行，作业员M的像侵入分界线19L，而从虚拟视点后方图像17B局部地退出。由此，操作员M的像局部地从虚拟视点图像消失。虚拟视点图像是将视点虚拟地设置于上方时在水平面方向展开而得到的图像。于是，当作业员M位于后方照相机13B与左方照相机13L的视野范围的分界部时，作为虚拟视点图像，其上部消失而不会显现。因此，如图8的(b)的虚拟视点图像所示，位于分界线19L的作业员M基本看不见了。
[0094]图8的(C)是从同图(b)进一步回转的情况，作业员M的像从虚拟视点后方图像17B完全退出，但是作业员M的像的一部分出现在虚拟视点左方图像17L中。但是，即使在该情况下，作业员M的像的一部分落在分界线19L，另一部分消失了。因此，根据作业员M的位置的不同，其像的一部分或全部从虚拟视点图像消失。因此，当监视器14只显示了虚拟视点图像时，由于作业员M的位置的不同，在虚拟视点图像中无法识别出作业员M的像。
[0095]另外，这里表示了通过回转上部回转体5，使作业员M相对于各照相机13B、13R、13F的视野移动的情况，但是即使不使上部回转体5回转，而作业员M发生了移动的情况下，有时作业员M的像的一部分或全部也同样地从虚拟视点图像消失。
[0096]因此，有时仅通过虚拟视点图像不能识别出作业员M。因此，监视器14不仅显示虚拟视点图像，还显示没有进行虚拟视点变换的后方照相机13B拍摄的照相机拍摄图像。通过作业员M位于分界线19L、19R，有时作业员M的像的一部分或全部从虚拟视点图像消失，但是照相机拍摄图像是没有进行虚拟视点变换的未加工的图像。只要是后方照相机13B的视野范围内，就能够明确地在该照相机拍摄图像中显现出作业员M。因此，即使在虚拟视点图像中不能识别出作业员M的像，通过照相机拍摄图像也能够明确地识别出作业员M。
[0097]在虚拟视点图像显示区域17中显示虚拟视点图像。由此，得到从上部俯视液压挖掘机I周围的图像，因此能够明确地识别出液压挖掘机I与障碍物(固定部或作业员M等)的位置关系。因此，由于能够准确地掌握液压挖掘机I周围的状况，因此能够良好地确保作业的安全性。
[0098]此时，当障碍物在虚拟视点图像中位于分界线19L、19R时，该立体物的上部可能从虚拟视点图像中消失而无法进行识别。因此，将用于生成虚拟视点图像的照相机图像直接作为照相机拍摄图像与虚拟视点图像同时进行显示，由此即使发生了障碍物的消失，也能够通过照相机拍摄图像明确地识别出障碍物的存在。由此，能够以正确且良好的目视确认性使操作员识别出工作机械周围的状况，能够提升作业的安全性和作业效率。
[0099]接下来，对按下构成监视器14的输入部16的各开关中的开关16a的情况进行说明。开关16a是用于对是否在照相机拍摄图像中显示重叠显示的虚拟视点范围和消失范围进行选择的开关。操作员通过按下该开关16a来选择虚拟视点范围和消失范围的引导模式的显示方式。当按下开关16a时，为了表示按下了开关自身而点亮开关16a。并且，每当按下开关16a时都进行模式的切换。
[0100]图9表示引导模式与显示内容的关系。每当按下一次开关16a，变化为模式A、模式B、模式C、模式D，若在模式D时按下开关16a则返回模式A。另外，在选择了模式D时，设置成不点亮开关16a。
[0101]在通过按下开关16a而选择了模式A时，只将虚拟视点范围与照相机拍摄图像重叠显示，在选择了模式B时只将消失范围与照相机拍摄图像重叠显示，在选择了模式C时将虚拟视点范围和消失范围两者与照相机拍摄图像重叠显示，在选择了模式D时虚拟视点范围和消失范围中的任一个都不与照相机拍摄图像重叠显示。
[0102]当按下一次开关16a时选择模式A。即，只将虚拟视点范围与照相机拍摄图像重叠显示。通过按下输入部16的开关16a，显示控制器20的图像整形部26识别出选择了模式A0由此图像整形部26将从图像修正部22输送的后方照相机13B的图像作为照相机拍摄图像，将虚拟视点范围与该照相机拍摄图像重叠显示。
[0103]如图10所示，虚拟视点范围41表示照相机拍摄图像的显示内容中的、虚拟视点左方图像17L、虚拟视点后方图像17B、虚拟视点右方图像17R的范围。虚拟视点图像是将视点虚拟地设置到上方时的在水平面展开而得到的图像，当变换为照相机拍摄图像的显示系统时，将虚拟视点左方图像17L、虚拟视点后方图像17B、虚拟视点右方图像17R显现到后方照相机13B的照相机拍摄图像中。因此，照相机拍摄图像中的虚拟视点范围41具有:虚拟视点左方图像17L的范围(虚拟视点左方范围41L)、虚拟视点后方图像17B的范围(虚拟视点后方范围41B)、以及虚拟视点右方图像17R的范围(虚拟视点右方范围41R)。
[0104]图10在照相机拍摄图像中表示后方照相机13B拍摄的照相机图像，在该照相机拍摄图像的中央形成有虚拟视点后方范围41B，形成有其左右的虚拟视点左方范围41L以及虚拟视点右方范围41R的一部分。该照相机拍摄图像与各虚拟视点范围41存在一定的关系，能够预先得到。
[0105]因此，图像整形部26将虚拟视点后方范围41B、虚拟视点右方范围41R、虚拟视点左方范围41L作为引导模式显示到照相机拍摄图像。在图10中虚线所示的区域为引导模式。由此，操作员对引导模式进行目视确认，能够从视觉上识别出照相机拍摄图像中的虚拟视点后方范围41B、虚拟视点右方范围41R、虚拟视点左方范围41L。
[0106]此时，若作业员M位于虚拟视点图像间的分界线19L、19R，则立体物的上部从虚拟视点图像中消失，有时作业员M的局部或全部从虚拟视点图像消失。此时，通过对照相机拍摄图像进行目视确认，能够掌握作业员M位于引导模式的分界，即虚拟视点后方范围41B与虚拟视点右方范围41R之间的分界，或虚拟视点后方范围41B与虚拟视点左方范围41L之间的分界。在图10的(a)中，通过目视确认引导模式能够识别出作业员M进入到照相机拍摄图像的虚拟视点后方范围41B。
[0107]另一方面，通过使上部回转体5回转，如图10的(b)所示，作业员M正从虚拟视点后方范围41B退出。操作员通过对表示照相机拍摄图像的虚拟视点后方范围41B的引导模式进行目视确认，能够从视觉上识别出作业员M消失的可能性。即，在虚拟视点图像中，作业员M的像几乎消失，但是根据照相机拍摄图像，由于作业员M位于分界线19L，因此能够使操作员识别出作业员M的像已局部消失。
[0108]在图10的(C)中，作业员M完全从虚拟视点后方范围41B脱离，但是通过目视确认照相机拍摄图像的引导模式，能够识别出作业员M的像的一部分出现在虚拟视点左方范围41L。因此，能够使操作员识别出作业员M位于虚拟视点后方图像17B与虚拟视点左方图像17L的分界线19L，作业员M有从虚拟视点图像消失的可能性。
[0109]接下来，当按下开关16a时，转移到模式B。在模式B中只显示消失范围。消失范围42是虚拟视点图像间的区域中的立体物的上部有可能消失的范围，在图11中，当作业员M位于消失范围42时，作业员M的像的一部分从虚拟视点图像消失。消失范围42与虚拟视点范围41相同，成为在照相机拍摄图像中已确定的范围，图像整形部26将消失范围42重叠显示到照相机拍摄图像中。
[0110]如图11的(a)所示，在照相机拍摄图像中，当作业员M没有位于消失范围42时，作业员M不会消失而显示在虚拟视点图像中。另一方面，通过回转上部回转体5，照相机拍摄图像中的作业员M的位置发生变化，作业员M从照相机拍摄图像的中央附近的位置向左端部移动。此时,在虚拟视点图像中作业员M的像位于分界线19L。由此，如图11的(b)所示，在虚拟视点图像中作业员M的大部分消失了。
[0111]从该状态起进一步回转上部回转体5时,照相机拍摄图像进一步向左端部移动。此时，作业员M从虚拟视点后方图像17B完全消失，但是作业员M出现在虚拟视点左方图像17L。在照相机拍摄图像中，作业员M位于消失范围42，作业员M的像局部显示在虚拟视点左方图像17L。因此，通过将消失范围42重叠显示到照相机拍摄图像，操作员能够从视觉上识别出障碍物(作业员M)有从虚拟视点图像消失的可能性。
[0112]图10所示的虚拟视点范围41的引导模式与图11所示的消失范围42的引导模式使显示方式发生了变化。在图10以及图11中，通过虚线来表示虚拟视点范围41的引导模式，通过在虚线中加入网纹来表示消失范围42的引导模式。虚拟视点范围41表示障碍物是否进入到虚拟视点图像中，消失范围42表示障碍物有可能消失的范围。因此，两者的范围是不同的，为了区别虚拟视点范围41和消失范围42而改变了显示方式。当然，使引导模式的显示方式发生变化的方法不限于图10和图11的方式，可以使用任意的方法。
[0113]接下来，当操作员按下开关16a时，转移到模式C。在模式C中将虚拟视点范围41和消失范围42两者重叠显示到照相机拍摄图像中。图像整形部26将虚拟视点范围41和消失范围42两者重叠显示到照相机拍摄图像中。消失范围42是虚拟视点左方范围41L与虚拟视点后方范围41B之间的区域，还是虚拟视点后方范围41B与虚拟视点右方范围41R之间的区域。因此，通过虚拟视点范围41与消失范围42形成连续的区域。
[0114]与上述的情况相同，这里虚拟视点范围41与消失范围42也使引导模式的显示方式变化。由此，在照相机拍摄图像中，能够从视觉上区别显示虚拟视点范围41与消失范围42各自的区域。通过以不同的引导模式来显示虚拟视点范围41与消失范围42，能够从视觉上识别出虚拟视点图像的范围和障碍物消失的范围。
[0115]通过显示虚拟视点范围41与消失范围42两者，能够使操作员从视觉上识别出虚拟视点范围41的障碍物不消失的范围和消失范围42的障碍物有可能消失的范围。由此，操作员能够得到较多的信息，能够更准确地识别出液压挖掘机I周围的状况。
[0116]接下来，当操作员按下开关16a时，转移到模式D。此时，开关16a没有点亮。模式D是不将虚拟视点范围41与消失范围42两者显示到照相机拍摄图像的模式。因此，在模式D的情况下，图像整形部26不重叠显示引导模式，直接将照相机图像输出给显示图像生成部25。因此，在该情况下，由于虚拟视点范围41与消失范围42两者没有显示在照相机拍摄图像中，因此没有明确地显示基于引导模式的作业员M的消失的可能性。
[0117]但是，如果是熟练度(熟悉度)高的操作员，根据虚拟视点图像以及照相机拍摄图像能够判断出是否存在作业员M消失的可能性。该情况下，对于熟练度高的操作员来说，将引导模式显示到照相机拍摄图像反而成为使目视确认性降低的要因。因此，通过选择模式D，来不显示引导模式地显示后方照相机13B的照相机图像本身。[0118]另一方面，熟练度低的操作员通过选择模式A、模式B或模式C将虚拟视点范围41、消失范围42这样的引导模式显示到照相机拍摄图像中，由此能够以正确且良好的目视确认性识别出液压挖掘机I周围的状况。因此，通过构成为能够根据熟练度选择显示的方式(模式)，能够选择出与操作员的技能或意向对应的显示方式。
[0119]接下来，对变形例进行说明。图13表示本变形例的显示控制器20。本变形例的显示控制器20将障碍物检测部51追加到图4所示的显示控制器20中。其他结构与图4的显示控制器20相同。障碍物检测部51设置于图像修正部22的后段，由障碍物检测部51进行了障碍检测处理后的照相机图像被输出到视点变换部23以及图像整形部26。
[0120]障碍物检测部51从图像修正部22修正处理后的照相机图像检测出称为障碍物(作业员或车辆等)的特征点，将标记52重叠显示到检测出的障碍物的周围。图14表示将椭圆形的标记52重叠显示到模式D中的虚拟视点图像以及照相机拍摄图像所显示的作业员M。标记52只要是形成于障碍物周围即可，可以不是椭圆形，也可以是圆形或四边形。
[0121]如图14的(a)所示，将椭圆形的标记52重叠显示到虚拟视点图像以及照相机拍摄图像的作业员M周围。自该状态起，当上部回转体5回转时，如图14的(b)所示，在虚拟视点图像中作业员M的像位于分界线19L，在照相机拍摄图像中作业员M从画面中央向端部移动。此时，由于在虚拟视点图像中作业员M的像的大部分消失了，因此难以识别出作业员M的像本身。但是，标记52显示在作业员M的像的周围，即使看不见作业员M的像，由于显示了标记52，因此操作员能够根据该标记52识别出作业员M的存在。另外，在照相机拍摄图像中在作业员M的周围也形成标记52，操作员能够识别出作业员M的存在。
[0122]图14的(C)的情况也是同样的，作业员M的像从虚拟视点后方图像17B完全退出，在虚拟视点左方图像17L的一部分出现了作业员M的像。因此，作业员M的像局部地显示在虚拟视点左方图像17L中，难以通过作业员M的像本身识别出作业员M的存在。此时，通过显示标记52操作员能够容易地识别出作业员M的存在。另外，由于在照相机拍摄图像中在作业员M的周围也形成标记52，因此操作员能够识别出作业员M的存在。
[0123]另外，在图15的模式A时的虚拟视点图像以及照相机拍摄图像、图16的模式B时的虚拟视点图像以及照相机拍摄图像、图17的模式C时的虚拟视点图像以及照相机拍摄图像中，通过将标记52形成到作业员M的周围，操作员能够容易地识别出作业员M的存在。且根据标记52、虚拟视点范围41、消失范围42能够容易地识别出作业员M消失的可能性。由此，操作员能够明确地识别出液压挖掘机I周围的状况，能够实现确保作业的安全性以及提升作业的安全性。
[0124]符号说明
[0125]I液压挖掘机
[0126]3前部工作机械
[0127]4下部行驶体
[0128]5上部回转体
[0129]6驾驶室
[0130]10 动臂
[0131]11 斗杆
[0132]12 挖斗[0133]13B后方照相机
[0134]13L左方照相机
[0135]13R右方照相机
[0136]13F挖斗监视照相机
[0137]14监视器
[0138]15显示部
[0139]16输入部
[0140]17B虚拟视点后方图像
[0141]17L虚拟视点左方图像
[0142]17R虚拟视点右方图像
[0143]16a ?16e 开关
[0144]17虚拟视点图像显示区域
[0145]18照相机拍摄图像显示区域
[0146]19L、19R 分界线
[0147]20显示控制器
[0148]21存储保持部
[0149]22图像修正部
[0150]23视点变换部
[0151]24图像合成部
[0152]25显示图像生成部
[0153]26图像整形部
[0154]41虚拟视点范围
[0155]41B虚拟视点后方范围
[0156]41L虚拟视点左方范围
[0157]4IR虚拟视点右方范围
[0158]42消失范围
[0159]51障碍物检测部
[0160]52 标记
【权利要求】
1.一种工作机械的周围监视装置，其用于监视将前部工作机械设置于回转体的工作机械的周围，所述回转体相对于行驶体能够回转，其特征在于，所述工作机械的周围监视装置具有: 多台照相机，在所述回转体设置有多台照相机，其中两台设置成使视野范围彼此部分重复； 视点变换部，其根据由所述各照相机取得的照相机图像生成以成为上方视点的方式进行视点变换而得到的虚拟视点图像； 图像合成部，其生成以将所述视点变换部生成的多个所述虚拟视点图像显示到各自对应的显示区域的方式进行合成而得到的合成图像； 显示图像生成部，其将所述合成图像作为第一图像，将为所述各照相机中的某一个照相机拍摄的图像且视野内包含所述虚拟视点图像间的分界线的图像作为第二图像，生成包含所述第一图像和所述第二图像两者的显示图像；以及 监视器，其在画面上显示所述显示图像生成部生成的所述显示图像。
2.根据权利要求1所述的工作机械的周围监视装置，其特征在于， 所述显示图像生成部将所述第二图像中的表示所述各虚拟视点图像的显示范围的虚拟显示范围与所述第二图像重叠显示。
3.根据权利要求1所述的工作机械的周围监视装置，其特征在于， 所述显示图像生成部将所述第二图像中的消失范围与所述第二图像重叠显示，所述消失范围表示相邻的所述虚拟视点图像间的区域中的立体物的上部有可能消失的范围。
4.根据权利要求2所述的工作机械的周围监视装置，其特征在于， 所述显示图像生成部将所述第二图像中的所述虚拟显示范围以及消失范围与所述第二图像重叠显示，并以不同的显示形式来显示所述虚拟显示范围和所述消失范围，所述消失范围表示相邻的所述虚拟视点图像间的区域中的立体物的上部有可能消失的范围。
5.根据权利要求2所述的工作机械的周围监视装置，其特征在于， 所述显示图像生成部能够将所述第二图像中的所述虚拟显示范围与消失范围中的任一方或者双方与所述第二图像重叠显示，在重叠显示所述虚拟显示范围和所述消失范围两者时以不同的显示形式来显示所述虚拟显示范围和所述消失范围，所述消失范围表示相邻的所述虚拟视点图像间的区域中的立体物的上部有可能消失的范围， 所述显示图像生成部能够对显示所述虚拟显示范围和所述消失范围中的任一方的模式、显示两者的模式、以及都不显示的模式进行切换。
6.根据权利要求1所述的工作机械的周围监视装置，其特征在于， 所述工作机械的周围监视装置具有障碍物检测部，该障碍物检测部根据所述照相机取得的所述照相机图像来检测障碍物， 所述显示图像生成部将形成于所述障碍物检测部检测出的所述障碍物的周围的标记重叠显示到所述第一图像和所述第二图像中的任一方或双方中。
【文档编号】B60R1/00GK103797789SQ201280045207
【公开日】2014年5月14日 申请日期:2012年8月21日 优先权日:2011年9月16日
【发明者】石本英史 申请人:日立建机株式会社