作业机械的周边监视装置的制造方法
【技术领域】
[0001]本发明涉及根据由搭载于作业机械的多个摄像机拍摄到的多个图像来合成俯瞰图像，并使用该俯瞰图像来进行周边监视的作业机械的周边监视装置。
【背景技术】
[0002]以往公知有一种利用了图像生成装置的操作辅助系统，该图像生成装置将由拍摄作业机械周边的多个摄像机拍摄到的图像的各个转换成俯瞰图像，将这些俯瞰图像的相邻的图像结合成格子状，通过防止在结合面消失的具有高度的物体的消失，并且成为应用了同色错觉的格子形状而明暗差不明显(例如，参照专利文献1。)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2012 —109741号公报
【发明内容】
[0006]发明要解决的课题
[0007]然而，在俯瞰图像中，立体物的图像为向摄像机的拍摄方向倾倒那样的图像。因此，如专利文献1所记载的那样显示合成图像的情况下，图像的倾倒方向因每个摄像机不同，所以即使是只存在一个立体物的情况下，也显示有2个倾倒像。因此，宛如能看到存在2个物体。另外，因为将由2个摄像机拍摄到的图像交互地合成，所以拍摄到的物体的信息量(像素数)减半或减少，物体成为透明化的图像。由于这些情况，产生驾驶员难以辨别监视对象这样的问题。
[0008]用于解决课题的方法
[0009]根据本发明的第一方式，作业机械的周边监视装置具备:多个拍摄装置，其拍摄作业机械的周围影像;俯瞰图像生成部，其将多个拍摄装置的各拍摄图像转换成上方视点图像，并基于这些上方视点图像生成作业机械周围的俯瞰图像；以及显示部，其在俯瞰图像显示区域显示俯瞰图像，俯瞰图像生成部在生成第一上方视点图像与第二上方视点图像的重复区域中的俯瞰图像时，基于虚拟监视对象的高度，设定显示第一上方视点图像的第一区域以及显示第二上方视点图像的第二区域的至少一方、和显示基于第一上方视点图像以及第二上方视点图像的合成显示图像的第三区域，其中，第一上方视点图像对应于多个拍摄装置所包含的第一拍摄装置的拍摄图像，第二上方视点图像对应于多个拍摄装置所包含的第二拍摄装置的拍摄图像。
[0010]发明效果
[0011]根据本发明，能够提供能够使重复区域中的合成图像显示区域比以往更窄，且容易监视周边状况的可视性优异的周边监视装置。
【附图说明】
[0012]图1是表示搭载有本发明的周边监视装置的作业机械(液压挖掘机100)的图。
[0013]图2是表示搭载于液压挖掘机100的周边监视装置10的构成的框图。
[0014]图3是表示设置于车体20的各摄像机30a、30b、30c的可拍摄区域的图。
[0015]图4是对合成图像生成部210中的上方视点图像的转换处理进行说明的图。
[0016]图5是对显不图像el?e3的裁剪进彳丁说明的图。
[0017]图6是表示俯瞰图像300中的显示图像el?e3以及重复区域c0、cl的图。
[0018]图7是对倾倒长度N进行说明的图。
[0019]图8是对区域设定线L1、L2和图像的消失进行说明的图。
[0020]图9是表示重复区域c0、cl中的合成显示区域b6、b7的图。
[0021]图10是对合成显示区域b6、b7中的显示形态(描绘技法)进行说明的图。
[0022 ]图11是表示合成显示区域b6中的倾倒像Pa 1、Pc 1的图。
[0023]图12是对合成显示区域b6的设定方法进行说明的图。
[0024]图13是对针对死角zO的合成显示区域的设定方法进行说明的图。
[0025]图14是对周边监视器220中的显示区域进行说明的图。
[0026]图15是表示设定了监视范围E20的情况下的合成显示区域b6、b7的图。
[0027]图16是表示示意性地表示自卸卡车2的立体图和被周边监视装置显示的范围的图。
[0028]图17是表示显示于周边监视器220的俯瞰图像300的图。
[0029]图18是表示变形例中的区域设定线的一个例子的图。
[°03°]图19是表示与死角z3对应设定的合成显示区域b9的图。
[0031]图20是表示变形例中的合成显示区域匕9、1310、1311、1312的图。
[0032]图21是表示周边监视器220中的各显示区域的图。
[0033]图22是对上方视点图像(俯瞰图像)进行说明的图。
【具体实施方式】
[0034]以下，参照附图对用于实施本发明的方式进行说明。图1是表示搭载有本发明的周边监视装置的作业机械的图，是液压挖掘机100的整体立体图。液压挖掘机100主要由下部行驶体13、和以可旋转的方式设置在该下部行驶体13上的上部回转体20构成。
[0035]下部行驶体13具有相互平行地位于未图示的行驶体框架的一对履带11、11，在这些各履带11、11分别设置有用于驱动各个履带而行驶的液压驱动式的行驶马达12。
[0036]上部回转体20主要由对设置于未图示的回转体框架上的发动机、电池、燃料箱等各种设备类进行收纳的发动机室21、设置于该发动机室21的前方左侧的驾驶室22、从该驾驶室22的右侧向前方延伸的前作业机23、为了实现与该前作业机23的重量平衡而设置于发动机室21的后方的配重24构成。
[0037]在驾驶室22中，除了设置有在操作人员搭乘的舱室22a内操作前作业机23的操作杆、仪表类等以外，还设置有后述的周边监视器。前作业机23主要由从回转体框架侧向前方延伸的起重臂23a、以摆动自如的方式设置于该起重臂23a的前端的悬臂23b、以及以摆动自如的方式设置于该悬臂23b的前端的铲斗23c构成。这些起重臂23a、悬臂23b、铲斗23c分别通过分别利用液压伸缩的起重臂缸23d、悬臂缸23e、铲斗缸23f动作。
[0038]在发动机室21的两侧和配重24的上部设置有用于连续拍摄各个方向的3个摄像机30a、30b、30c。摄像机30a以180°的视角斜向下俯视的方式连续拍摄上部回转体20的左侧的区域。摄像机30b以180°的视角斜向下俯视的方式连续拍摄上部回转体20的右侧的区域。摄像机30c以180°的视角斜向下俯视的方式连续拍摄上部回转体20的后方的区域。
[0039]摄像机30a、30b、30(:例如由具备耐久性、耐气候性等优异的CCD、CM0S等拍摄元件和广角镜头的广角摄像机等构成。此外，在以下的说明中，将设置(搭载)有这些各摄像机30a、30b、30c的上部回转体20的各部统一称为车体20。
[0040]图2是表示搭载于液压挖掘机100的周边监视装置10的构成的框图。周边监视装置10主要由控制器200、摄像机30a、摄像机30b、摄像机30c以及周边监视器220构成。控制器200具有合成图像生成部210。由各摄像机30a、30b、30c拍摄到的各图像(原图像)被分别输入控制器200的合成图像生成部210。合成图像生成部210由具备未图示的CPU、RAM、R0M、输入输出接口等的图像处理LSI(硬件)构成，CPU通过预先存储于ROM等的各种数据、专用的图像处理程序等而实现上述合成图像生成部210的功能。
[0041 ]合成图像生成部210由利用各摄像机30a、30b、30c拍摄到的多个(3个)原图像以例如30帧/秒的单位生成上方视点图像，并输出生成的上方视点图像(动画)。具体而言，若从各摄像机30a、30b、30c分别输入原图像的NTSC等复合信号，则该合成图像生成部210对这些各复合信号进行A/D转换而解码为RGB信号后分别积蓄于专用的帧存储器。之后，进行透镜畸变修正处理后通过单应性矩阵的平面射影转换处理、三维空间中的投影处理等公知的图像转换处理，将各原图像转换处理成将视点转移到其上方得到的上方视点图像。
[0042]图3是表示设置于车体20的各摄像机30a、30b、30c的可拍摄区域的图，是从车体20的上方俯瞰观察车体20以及其周边区域的图。车体左侧方的矩形区域E1是摄像机30a的可拍摄区域。车体右侧方的矩形区域E2是摄像机30b的可拍摄区域。车体后方的矩形区域E3是摄像机30c的可拍摄区域。
[0043]矩形区域E1的后端区域和矩形区域E3的左端区域重复，该重复区域被摄像机30a以及摄像机30c重复拍摄。另外，矩形区域E2的后端区域和矩形区域E3的右端区域重复，该重复区域被摄像机30b以及摄像机30c重复拍摄。
[0044]图4是对合成图像生成部210中的上方视点图像的转换处理进行说明的图。图4(a)是表示由各摄像机30a、30b、30 c拍摄到的各矩形区域E1、E2、E3的原图像31的一个例子的图。各摄像机30a、30b、30c以左右的视角大约180°的广角镜头进行拍摄，所以拍摄到的原图像31—般如格子线32所示那样以中央部被放大而周边部被缩小的方式畸变。
[0045]在合成图像生成部210中，进行针对原图像31的透镜畸变修正处理。图4(b)是透镜畸变修正处理后的修正图像33。修正处理后的修正图像33如地面(路面)上的纵横的虚拟坐标线34所示那样，被修正为按照各摄像机30a、30b、30c的视点的透视法的形状。此外，该透镜畸变修正