作业机械的周围监视装置的制造方法_2

文档序号:8270307阅读:来源:国知局
一方面,上部旋转体20主要由以下部分构成:设置在未图示的旋转体架上的发动机和蓄电池;收容有燃料箱等各种设备类的发动机室21 ;设在该发动机室21的前方左侧的驾驶室22 ;从该驾驶室22的右侧向前方延伸的前作业机23 ;和为了谋求与该前作业机23的重量平衡而设在发动机室21后方的配重24。
[0046]驾驶室22在供操作员搭乘的舱室22a内除设置有操作前作业机23的操作杆、旋转杆和仪表类等以外,还设置有后述的周围监视显示器。前作业机23主要由以下部分构成:从旋转体架侧向前方延伸的动臂23a ;摆动自如地设在该动臂23a的前端的斗杆23b ;和摆动自如地设在该斗杆23b的前端的铲斗23c。这些动臂23a、斗杆23b、铲斗23c分别通过因液压而伸缩的动臂液压缸23d、斗杆液压缸23e、铲斗液压缸23f而分别动作。
[0047]另外,在该发动机室21的两侧、驾驶室22的上部、和配重24的上部,设置有用于连续地拍摄各个方向的四个摄像机30a、30b、30c、30d。S卩,摄像机30a以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的右侧区域,且摄像机30b以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的左侧区域,且摄像机30c以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的前方区域,且摄像机30d以180°的视场角在倾斜俯视的方向上连续地拍摄上部旋转体20的后方区域。
[0048]而且,这些各摄像机30a、30b、30c、30d所拍摄到的各图像(原图像)如图2所示地分别输入到本发明的周围监视装置200的显示控制器210中。此外,该摄像机30a、30b、30c、30d由例如具有在耐久性和耐气候性等优异的CCD或CMOS等摄像元件和广角透镜的广角摄像机等构成。另外,在以下说明中,将设置(搭载)有这些各摄像机30a、30b、30c、30d的上部旋转体20的各部分总称为车身20。
[0049]图2是表示搭载在该液压挖掘机100上的周围监视装置200的一个实施方式的结构图。如图所示,该周围监视装置200主要由显示控制器210和周围监视显示器220构成。显示控制器210具有对照面高度设定部211、上方视点图像生成部212和俯瞰图像生成部213。此外,该显示控制器210由具有未图示的CPU和RAM、ROM、输入输出接口等的图像处理LSI (硬件)构成,并且该CPU通过预先存储于ROM等中的各种数据和专用的图像处理程序等来实现上述各部分211至213的功能。
[0050]对照面高度设定部211输入来自控制该液压挖掘机100的车身控制器230的车身控制信号,并基于该输入信号设定在由俯瞰图像生成部213合成上方视点图像时的虚拟的对照面高度。此外,作为输入到该对照面高度设定部211的来自车身控制器230的车身控制信号,并没有特别限定,例如是左右的行驶杆41 (42)、旋转杆43 (44)、锁定杆45的操作信号等。
[0051]上方视点图像生成部212根据各摄像机30a、30b、30c、30d所拍摄到的多幅(四幅)原图像,以例如30帧/秒的单位来生成上方视点图像,并将生成的上方视点图像(动态图像)输出到俯瞰图像生成部213。具体而言,当从各摄像机30a、30b、30c、30d分别输入原图像的NTSC等合成信号后,该上方视点图像生成部212对这些各合成信号进行A/D转换,在解码成RGB信号之后分别存储到专用的帧存储器中。然后,在进行透镜失真修正处理之后,通过基于投影变换矩阵的平面投影转换处理、或三维空间下的投影处理等公知的图像转换处理而将各原图像转换处理为将视点移动到其上方的上方视点图像。
[0052]图3及图5是关于该上方视点图像生成部212的上方视点图像的转换处理的说明图。首先,图3所示的车身20周围的各矩形区域E1、E2、E3、E4分别表示能够由该车身20的各摄像机30a、30b、30c、30d拍摄到的区域,各矩形区域E1、E2、E3、E4分别在其两端部分与相邻的区域重复地拍摄。
[0053]图5(a)表示出了这些各摄像机30a、30b、30c、30d所拍摄到的各矩形区域E1、E2、E3、E4的原图像31的一例。各摄像机30a、30b、30c、30d所拍摄到的原图像31由于用左右的视场角为约180°的广角透镜拍摄,所以通常如格子线32所示那样以中央部放大而周边部缩小的方式失真。图5(b)是基于上方视点图像生成部212进行透镜失真修正处理后的修正图像33。修正处理后的图像33如地面(路面)上的横纵的虚拟坐标线34所示那样,修正成基于各摄像机30a、30b、30c、30d的视点的按照透视法的形状。此外,该透镜失真修正处理通过例如使用了专用的像素转换表的像素坐标转换处理而进行,其中该专用的像素转换表预先保存于存储器中,且记载有构成转换前图像的各像素的地址与转换后各像素的地址之间的对应关系。
[0054]图5 (C)表示出了在图5(b)中进行了透镜失真修正处理的地面(路面)图像33的视点转换处理后的上方视点图像35。在该视点转换处理后的上方视点图像35中,视点从车身侧部转换到车身上方,图5(b)的虚拟坐标线34转换成虚拟正交坐标线36。此外,该视点转换处理也通过使用了预先保存于存储器中的专用的像素转换表的像素坐标转换而进行。
[0055]俯瞰图像生成部213像这样从生成的各上方视点图像35切割出实际显示的图像,进行合成而生成以与作业机械对应的图像为中心的周围的俯瞰图像(动态图像)。图5(c)中,虚线所包围的梯形的切割区域eO至elOO示出了为了消除各上方视点图像35的重复部分来得到容易观察的合成图像,而通过该俯瞰图像生成部213从各上方视点图像35切割并进行显示的显示图像的例子。而且,该俯瞰图像生成部213如图4所示将从这四个各上方视点转换图像35切割出的显示图像el?e4环状地接合在以与液压挖掘机100对应的图像G为中心的其周围,而生成一个连续的车身周围整体的俯瞰图像300,并将其图像数据输出到帧存储器。
[0056]图6示出了由该俯瞰图像生成部213生成并在周围监视显示器220上显示的俯瞰图像300的一例,并且在其中央部设有用于显示预先生成的与液压挖掘机100对应的车身图像G的矩形的显示区域S。而且,以该显示区域S为中心在其前后左右分别具有独立的梯形的显示区域SI至S4,在这些各显示区域SI至S4中与该区域配合地分别配置有从所述各上方视点图像35切割出的显示图像el至e4。
[0057]即,在显示区域SI中,配置有来自上方视点图像35R的切割区域el的显示图像,该上方视点图像35R是如图4所示那样从摄像机30a所拍摄到的上部旋转体20的右侧方的拍摄图像得到的,并在显示区域S2中,配置有来自上方视点图像35L的切割区域图像e2的显示图像,该上方视点图像35L是从摄像机30b所拍摄到的上部旋转体20的左侧方的拍摄图像得到的。另外,在显示区域S3中,配置有来自上方视点图像35F的切割区域e3的显示图像,该上方视点图像35F是由摄像机30c所拍摄到的上部旋转体20的前方的拍摄图像构成的,并在显示区域S4中,配置有来自上方视点图像35B的切割区域e4的显示图像,该上方视点图像35B是由摄像机30d所拍摄到的上部旋转体20的后方的拍摄图像构成的。其结果可知,在图6的俯瞰图像300的例子中,至少在液压挖掘机100的右斜后方存在有两个人物P2、P3。
[0058]周围监视显示器220以输入并显示该俯瞰图像生成部213所生成的车身周围整体的俯瞰图像300的方式形成。具体而言,将输入的俯瞰图像300的数据存储到输出用帧存储器中,在将该合成图像的数据(RGB信号)编码成合成信号后,进行D/A转换而显示到显示部221上。此外,在该周围监视显示器220上除显示部221以外还设有输入部222,操作员通过操作该输入部222,而能够任意进行电源的通断、所显示的合成图像的放大、缩小、旋转、显示范围的变更、向通常的摄像机拍摄图像或双画面图像的切换等各种操作。
[0059]接下来,主要参照图9的流程图来说明这样构成的本发明的周围监视装置200的作用。首先,该周围监视装置200的显示控制器210在接通电源后进行初始的系统检测,若没有异常则转移到最初的步骤S100。在步骤SlOO中,如上述那样通过设置在车身20四周的四个摄像机30a、30b、30c、30d来拍摄车身周围而获取其图像,并转移到下一步骤S102。
[0060]在步骤S102中对拍摄到的四个原图像31如上述那样进行上方视点转换处理而生成各自的上方视点图像35(图5(c)),并转移到步骤S104。在步骤S104中,判断对照面高度Z的设定中是否有修正,S卩,判断对照面高度是否与标准的切割区域不同,在判断为对照面高度Z的设定中没有修正时(否)跳转到步骤S108,但是在判断为对照面高度Z的设定中有修正时(是)转移到步骤S106。
[0061]在步骤S106中,如后述那样在根据该对照面高度Z的修正值而调整各上方视点图像35的切割区域(显示图像)后转移到步骤S108并生成俯瞰图像,在步骤SllO中在周围监视器220上显示该俯瞰图像并结束处理。
[0062]在这里,步骤S104中的对照面高度Z是指,将上方视点图像35的切割区域以实际的地表面(高度Om)的切割领域(标准的切割领域)作为基准,而称为比其高的虚拟的地表面的高度,例如多层级地设定为0.5m和1.0m等。图6的俯瞰图像300是在该对照面高度是Om的情况下,即,根据以实际的地表面(高度Om)为基准所切割出的显示图像来生成的图像。在该情况下,虽然在液压挖掘机100的右斜后方清楚地映出两个人物P2、P3的整体,但是尽管在左斜后方的边界线部分存在有一个人物P1,却只映出其脚下部分而大部分都消失了,所以成为难以识别其存在的状况。
[0063]像这样在图6的俯瞰图像300中只映出人物Pl的脚下部分的理由在于,如图5 (C)
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1