工作车辆的显示系统以及生成方法与流程

文档序号:20708908发布日期:2020-05-12 16:51阅读:245来源:国知局
工作车辆的显示系统以及生成方法与流程

本发明涉及工作车辆的显示系统以及生成方法。



背景技术:

具有一种技术,由相机对工作车辆的周围进行拍摄,将从上方俯视工作车辆的周围的俯瞰图像在显示器进行显示。例如,在专利文献1所述的显示系统中,车载于工作车辆的多个相机获取工作车辆周围环境的图像数据。显示系统的控制装置通过将获取的图像映射至半球面形状的投影模型,生成俯瞰图像。

现有技术文献

专利文献

专利文献1:国际公开公报wo2016/031009号



技术实现要素:

发明所要解决的技术问题

在上述显示系统中,投影模型的形状始终为半球面形状且恒定。因此,难以由俯瞰图像掌握工作车辆周围环境的实际形状。例如,投影模型的底面始终为平坦的平面。因此,即使在工作车辆周围的地表面具有倾斜或凹凸的情况下,将其拍摄后的图像也投影为平坦的投影面。因此,难以从俯瞰图像掌握倾斜或凹凸的地形。

本发明的目的在于生成能够容易地掌握工作车辆周围环境的形状的显示图像。

用于解决技术问题的技术方案

一个方式的工作车辆的显示系统包括:相机、形状传感器、以及控制装置。相机拍摄工作车辆周围环境的图像,并输出表示图像的图像数据。形状传感器对周围环境的三维形状进行测定,输出表示三维形状的3d形状数据。控制装置获取图像数据和3d形状数据。控制装置基于3d形状数据,生成三维投影模型。三维投影模型表现周围环境的三维形状。通过基于图像数据将图像投影于三维投影模型,生成表示工作车辆周围环境的显示图像的显示图像数据。

在本方式的工作车辆的显示系统中,利用形状传感器对工作车辆周围环境的三维形状进行测定,并基于测定的三维形状,生成三维投影模型。因此,三维投影模型具有与工作车辆周围环境的实际形状相同、或近似的形状。因此,通过将相机拍摄的图像投影于三维投影模型,能够生成容易掌握工作车辆周围环境的形状的显示图像。

其它方式的生成方法是为了生成表示工作车辆周围环境的显示图像的显示图像数据而由控制装置执行的生成方法,包括如下的处理。第一处理是获取表示工作车辆周围环境的图像的图像数据。第二处理是获取表示周围环境的三维形状的3d形状数据。第三处理是基于3d形状数据,生成表现周围环境的三维形状的三维投影模型。第四处理是通过基于图像数据将图像投影于三维投影模型,生成显示图像数据。

在本方式的生成方法中,利用形状传感器对工作车辆周围环境的三维形状进行测定,并基于测定的三维形状,生成三维投影模型。因此,三维投影模型具有与工作车辆周围环境的实际形状相同、或近似的形状。因此,通过将相机拍摄的图像投影于三维投影模型,能够生成容易掌握工作车辆周围环境的形状的显示图像。

发明的效果

根据本发明,能够生成容易掌握工作车辆周围环境的形状的显示图像。

附图说明

图1是表示实施方式的工作车辆的侧视图。

图2是表示第一实施方式的显示系统的结构的图。

图3是用于说明利用形状传感器获取的3d形状数据的图。

图4是表示第一实施方式的显示图像的一个例子的图。

图5是表示利用第二实施方式的显示系统的控制装置执行的处理的流程图。

图6是用于说明点群密度的警告条件的图。

图7是用于说明倾斜的警告条件的图。

图8是用于说明起伏的警告条件的图。

图9是表示第二实施方式的显示图像的一个例子的图。

图10是表示由显示系统评价的地形的例子的图。

图11是表示其它实施方式的工作车辆的侧视图。

具体实施方式

下面,参照附图,对实施方式的工作车辆的显示系统进行说明。本实施方式的显示系统为用于显示工作车辆及其周围环境的系统。图1是表示实施方式的工作车辆1的侧视图。在本实施方式中,工作车辆1为推土机。工作车辆1具有:车辆主体3、工作装置4、以及行驶装置5。

车辆主体3具有发动机室6。在发动机室6内配置有发动机7、以及液压泵8等驱动装置。在车辆主体3的后部安装有松土装置9。

行驶装置5是用于使工作车辆1行驶的装置。行驶装置5具有在工作车辆1的宽度方向的一方及另一方侧部配置的一对履带11。履带11为在工作车辆1的长度方向延伸的环状链条。通过驱动履带11,工作车辆1进行行驶。

工作装置4配置在车辆主体3的前方。工作装置4应用在挖掘、运土、或整地等作业中。工作装置4具有:刮板12、倾斜油缸13、提升油缸14、以及臂部15。刮板12经由臂部15,支承在车辆主体3。刮板12在上下方向上可摆动地设置。倾斜缸13和提升缸14由从液压泵8排出的工作油驱动,改变刮板12的姿势。

图2是表示第一实施方式的显示系统2的结构、以及利用显示系统2进行的处理的流程的方框图。如图2所示,显示系统2具有多个相机c1-c4。多个相机c1-c4安装在车辆主体3。多个相机c1-c4为鱼眼相机。多个相机c1-c4各自的视角为180度。但是,多个相机c1-c4各自的视角可以小于180度。或者多个相机c1-c4各自的视角也可以大于180度。多个相机c1-c4具有:前相机c1、第一侧相机c2、后相机c3、以及第二侧相机c4。

如图1所示,前相机c1安装在车辆主体3的前部。如图1所示,详细地说,车辆主体3具有前相机支承部16。前相机支承部16从车辆主体3的前部向上方、且前方延伸。前相机c1安装在前相机支承部16。后相机c3安装在车辆主体3的后部。

第一侧相机c2安装在车辆主体3的一侧部。第二侧相机c4安装在车辆主体3的另一侧部。在本实施方式中,第一侧相机c2安装在车辆主体3的左侧部,第二侧相机c4安装在车辆主体3的右侧部。但是,也可以,第一侧相机c2安装在车辆主体3的右侧部,第二侧相机c4安装在车辆主体3的左侧部。

前相机c1对车辆主体3的前方进行拍摄,获取包括工作车辆1周围环境的图像。后相机c3对车辆主体3的后方进行拍摄,获取包括工作车辆1周围环境的图像。第一侧相机c2对车辆主体3的左侧进行拍摄,获取包括工作车辆1周围环境的图像。第二侧相机c4对车辆主体3的右侧进行拍摄,获取包括工作车辆1周围环境的图像。相机c1-c4输出表示获取的图像的图像数据。

如图2所示,显示系统2包括:控制装置20、形状传感器21、姿势传感器22、位置传感器23、以及显示器24。形状传感器21对工作车辆1周围环境的三维形状进行测定,输出表示三维形状的3d形状数据d1。形状传感器21对工作车辆1周围环境上的多个点的位置进行测定。3d形状数据d1表示工作车辆1周围环境上的多个点的位置。工作车辆1的周围环境例如包括工作车辆1周围的地表面。即,3d形状数据d1包括工作车辆1周围的地表面上的多个点的位置。特别是3d形状数据d1包括工作车辆1的前方的地表面上的多个点的位置。

详细地说,形状传感器21测定周围环境上的多个点的位置距工作车辆1的距离。多个点的位置根据多个点距工作车辆1的距离求出。在本实施方式中,形状传感器21为光探测和测距(lidar:laserimagingdetectionandranging,激光成像探测与测距)。形状传感器21通过照射激光,并对其反射光进行测量,而测定至测量点的距离。

形状传感器21例如包括在铅垂方向上排列的多个激光测距元件。形状传感器21使多个激光测距元件绕在铅垂方向上延伸的轴在宽度方向上旋转,并且以规定周期进行多个点的位置的测定。因此,形状传感器21每隔规定的旋转角测定至周围环境上的点的距离,获取三维点群的位置。

形状数据包括针对各点由何种元件进行测定之类的信息、以何种旋转角进行测定之类的信息、以及各元件的位置关系的信息。另外,控制装置20具有表示各元件与工作车辆1的位置关系的信息。因此,控制装置20能够根据形状数据获取周围环境上各点、以及工作车辆的位置关系。

姿势传感器22检测工作车辆1的姿势,输出表示姿势的姿势数据d2。姿势传感器22例如为imu(惯性测量装置:inertialmeasurementunit,惯性测量单元)。姿势数据d2包括车辆前后方向相对于水平的角度(俯仰角)、以及车辆宽度方向相对于水平的角度(横摇角)。imu输出姿势数据d2。

位置传感器23例如为gnss(globalnavigationsatellitesystem:全球导航卫星系统)接收器。gnss接收器例如为gps(globalpositioningsystem:全球定位系统)用接收机。gnss接收器从卫星接收定位信号,通过定位信号获取表示工作车辆1的位置坐标的位置数据d3。gnss接收器输出位置数据d3。

形状传感器21例如安装在前相机支承部16。或者形状传感器21也可以安装在车辆主体3的其它部分。姿势传感器22和位置传感器23安装在车辆主体3。或者位置传感器23也可以安装在工作装置4。

控制装置20与相机c1-c4通过有线、或无线可通信地连接。控制装置20从相机c1-c4接收图像数据。控制装置20与形状传感器21、姿势传感器22、以及位置传感器23通过有线、或无线可通信地连接。控制装置20从形状传感器21接收3d形状数据d1。控制装置20从姿势传感器22接收姿势数据d2。控制装置20从位置传感器23接收位置数据d3。

控制装置20进行编程,以基于上述图像数据、3d形状数据d1、姿势数据d2、以及位置数据d3,生成用于表示工作车辆1周围环境的显示图像is。控制装置20可以配置在工作车辆1的外部。或者控制装置20也可以配置在工作车辆1的内部。控制装置20包括运算装置25和存储装置26。

运算装置25由cpu等处理器构成。运算装置25进行用于生成显示图像is的处理。存储装置26由ram或rom等存储器、或硬盘等辅助存储装置26构成。存储装置26存储用于生成显示图像is的数据以及程序。

显示器24例如为crt、lcd或oeld。但是,显示器24不限于上述显示器,也可以为其它类型的显示器。显示器24基于来自控制装置20的输出信号,显示显示图像is。

接着,对显示图像is的生成详细地进行说明。首先,利用相机c1-c4进行拍摄。控制装置20从相机c1-c4获取前方图像im1、左方图像im2、后方图像im3、以及右方图像im4。前方图像im1为车辆主体3的前方的图像。左方图像im2为车辆主体3的左方的图像。后方图像im3为车辆主体3的后方的图像。右方图像im4为车辆主体3的右方的图像。

控制装置20基于从形状传感器21获取的3d形状数据d1,生成三维投影模型m1。如图3所示,控制装置20基于工作车辆1周围环境上的多个点的位置,生成表现周围环境的形状的多边形网格。三维投影模型m1包括将多个点之中邻接的点连结的多边形。

如图3所示,详细地说,控制装置20将通过基于形状传感器21的一次扫描而测定的多个点p(1,1)、p(2,1)、…、p(i,j)、…之中邻接的点进行连结,来生成网格。在此,p(i,j)表示在各铅垂方向上由第i个激光测距元件测定、且在宽度方向上以第j个旋转角得到的点。控制装置20针对点p(i,j)、p(i+1,j)、p(i,j+1)、p(i+1,j+1),生成三角形(p(i,j)、p(i+1,j)、p(i,j+1))和三角形(p(i+1,j)、p(i,j+1)、p(i+1,j+1))。由此,控制装置20生成以三角形的多边形表示的三维投影模型m1。

需要说明的是,形状传感器21周期性地对周围环境的三维形状进行测定。控制装置20对3d形状数据d1进行更新,并基于更新后的3d形状数据d1,生成三维投影模型m1。

控制装置20根据相机c1-c4所获取的图像im1-im4,生成周围合成图像is1。周围合成图像is1为俯瞰性表示工作车辆1周围的图像。通过利用纹理映射(テクスチャマッピング,texturemapping)将相机c1-c4所获取的图像im1-im4投影在三维投影模型m1,而生成周围合成图像is1。

另外,控制装置20将表示工作车辆1的车辆图像is2合成于显示图像。车辆图像is2为三维地表示工作车辆1自身的图像。控制装置20根据姿势数据d2确定显示图像is上的车辆图像is2的姿势。控制装置20根据位置数据d3确定显示图像is上的车辆图像is2的朝向。控制装置20以显示图像is上的车辆图像is2的姿势和朝向与工作车辆1的实际姿势及朝向一致的方式将车辆图像is2合成于显示图像is。

需要说明的是,控制装置20也可以根据相机c1-c4所获取的图像im1-im4,生成车辆图像is2。例如,在相机c1-c4所获取的图像中分别包含有工作车辆1的部分,控制装置20也可以通过将图像中的各部分投影在车辆模型m2,来生成车辆图像is2。车辆模型m2为具有工作车辆1的形状的投影模型,也可以保存在存储装置26中。或者车辆图像is2可以为预先拍摄的既定图像、或预先作成的三维的计算机图形图像。

显示器24显示显示图像is。图4是表示显示图像is的一个例子的图。如图4所示,显示图像is是三维地表示工作车辆1及其周围的图像。如图4所示,结合工作车辆1周围倾斜的实际地形,使用具有倾斜形状的三维投影模型m1,显示显示图像is。另外,结合工作车辆1倾斜的实际姿势,车辆图像is2以倾斜的状态显示于显示图像is。

显示图像is实时地进行更新,作为动态图像进行显示。因此,在工作车辆1行驶时,根据周围环境、工作车辆的姿势、朝向、位置的实际变化,显示图像is中的周围合成图像is1、车辆图像is2的姿势、朝向、以及位置也实时变化地显示。

为了表现工作车辆1的姿势、朝向、以及位置的变化,依照表示从工作车辆1开始行驶时的姿势、朝向、以及位置起的变化的旋转矩阵,使三维投影模型m1及车辆模型m2旋转,并依照平移矢量使之平移。旋转矢量和平移矢量从上述姿势数据d2及位置数据d3获取。

针对用于图像合成的具体方法,例如可以使用在“spatio-temporalbird’s-eyeviewimagesusingmultiplefish-eyecameras,”(proceedingsofthe2013ieee/siceinternationalsymposiumonsystemintegration,pp.753-758,2013.)(使用多个鱼眼相机的时空鸟瞰图像,”(2013年ieee/sice系统集成国际研讨会论文集,pp.753-758,2013年))中表示的方法。也可以使用在“visualizationofthesurroundingenvironmentandoperationalpartina3dcgmodelfortheteleoperationofconstructionmachines,”(proceedingsofthe2015ieee/siceinternationalsymposiumonsystemintegration,pp.81–87,2015.)(用于建筑机械远程操作的3dcg模型中的周围环境和操作部分的可视化,”(2015ieee/sice系统集成国际研讨会论文集,pp.81-87,2015年))中表示的方法。

需要说明的是,在图4中,显示图像is是从左侧方来观察工作车辆1及其周围的图像。但是,控制装置20能够将显示图像is切换为从前方、后方、右侧方、上方、或各方向的倾斜方向观察工作车辆1及其周围的图像。

在如上所述的本实施方式的显示系统2中,利用形状传感器21对工作车辆1周围环境的三维形状进行测定,并基于测定的三维形状生成三维投影模型m1。因此,三维投影模型m1具有与工作车辆1周围的实际地形相同、或近似的形状。因此,能够以反映了工作车辆1周围的实际地形的形状将周围环境的图像呈现在显示图像is中。因此,在本实施方式的显示系统2中,能够生成能够容易掌握工作车辆1周围环境的形状的显示图像is。

另外,利用姿势传感器22测定工作车辆1的实际姿势,结合测定的姿势,使车辆图像is2显示在显示图像is中。因此,能够以反映了工作车辆1的实际姿势的姿势,将车辆图像is2呈现在显示图像is中。由此,能够向操作人员明确地呈现工作车辆1已进入倾斜面、进行转弯操作的情况等工作车辆1的姿势变化。

接着,对第二实施方式的显示系统2进行说明。在第二实施方式的显示系统2中,控制装置20基于3d形状数据d1,对在周围环境中含有的多个区域进行评价。在本实施方式中,控制装置20将上述三维投影模型m1的三角形多边形定义为一个区域。需要说明的是,关于显示系统2的结构以及显示图像is的生成方法,因为与第一实施方式相同,所以省略说明。

控制装置20将各区域分类为多个级别进行评价。在本实施方式中,控制装置20将各区域分类为第一级和第二级。第一级表示是允许工作车辆1进入的区域。第二级表示是禁止工作车辆1进入的区域。

图5是表示为了进行区域评价而由控制装置20进行的处理的流程图。在步骤s101中,控制装置20针对各区域判定是否已满足点群密度的警告条件。点群密度的警告条件由如下的式(1)表示。

max(l1(i),l2(i),l3(i))>k×lc(1)

l1(i)、l2(i)、l3(i)为将规定各区域的点连结的线段的长度。如图6所示,控制装置20计算表示各区域的三角形(pi,pi+1,pi+2)各边的长度l1(i)、l2(i)、l3(i),作为各区域线段的长度。

即,控制装置20将各区域(pi,pi+1,pi+2)的线段的长度与规定的阈值k×lc进行比较,判定各区域(pi,pi+1,pi+2)是否包括比阈值k×lc大的线段。在某区域(pi,pi+1,pi+2)满足点群密度的警告条件时,即,在某区域(pi,pi+1,pi+2)包括比阈值k×lc大的线段时,在步骤s102中,控制装置20将该区域(pi,pi+1,pi+2)判定为第二级。

如图1所示,“lc”为履带11的长度。履带11的长度是放置在平坦面上的履带与平坦面相接的长度,称为接地长度。“k”为大于0、小于1的规定系数。因此,阈值k×lc基于履带11的长度而被规定,例如系数“k”为1/2。但是,系数“k”也可以为1/2以外的值。系数“k”可以为固定值,或者也可以由操作人员任意地设定。履带11的长度lc可以为与接地长度相关的某长度。例如可以为履带11的前后方向的全长。在该情况下,系数k的值可以适当改变。

点群密度的警告条件也可以还包括由如下的式(2)表示的条件。

max(l1(i),l2(i),l3(i))>k′×lc′(2)

在此,lc’为左右履带11的中心间距,称为履带轨距。系数k’大致为1。控制装置20也可以在式(1)与式(2)双方都满足时,判定为已满足警告条件。

在某区域(pi,pi+1,pi+2)未满足点群密度的警告条件时,即,在某区域(pi,pi+1,pi+2)不包括比阈值k×lc大的线段时,处理进入步骤s103。

在步骤s103中,控制装置20针对未满足点群密度的警告条件的区域,判定是否满足倾斜的警告条件。倾斜的警告条件由如下的式(3)进行表示。

cos-1(nav·ez)>θmax(3)

在此,如图7所示,控制装置20求出成为目标的区域(pi,pi+1,pi+2)、以及在其周围的规定范围a1(i)内含有的区域的法线矢量ni,并计算这些区域的法线的平均值nav。将法线的平均值nav与重力方向所成的角确定为,成为该目标的区域(pi,pi+1,pi+2)的倾斜角。上述倾斜的警告条件意味着成为目标的区域(pi,pi+1,pi+2)的倾斜角超过阈值θmax。在式(3)中,ez为重力方向的单位矢量。

阈值θmax例如为允许工作车辆1进入的上限倾斜角。但是,阈值θmax也可以为其它的值。阈值θmax可以为固定值,或者也可以由操作人员任意地设定。规定范围a1(i)例如由以成为目标的区域(pi,pi+1,pi+2)的图心为中心的半径r的圆进行表示。半径r可以为固定值。或者半径r也可以由操作人员任意地设定。

在某区域(pi,pi+1,pi+2)满足倾斜的警告条件时,即,在某区域(pi,pi+1,pi+2)的倾斜角比阈值θmax大时,在步骤s102中,控制装置20将该区域(pi,pi+1,pi+2)判定为第二级。在某区域(pi,pi+1,pi+2)未满足倾斜的警告条件时,即,在某区域(pi,pi+1,pi+2)的倾斜角为阈值θmax以下时,处理进入步骤s104。

在步骤s104中,控制装置20针对未满足点群密度的警告条件的区域,判定是否满足起伏的警告条件。起伏的警告条件由如下的式(4)进行表示。

如图8所示,n是在成为目标的判定范围a2(i)内含有的点的数量。在此的判定范围a2(i)可以与步骤s103中的规定范围a1(i)相同,或者也可以不同。zi为点pi的重力方向上的高度。zav为在判定范围a2(i)中含有的点的高度的平均值。σ2z表示判定范围a2(i)内的点的高度的方差。上述起伏的警告条件是指在成为目标的判定范围a2(i)中含有的点的高度的方差σ2z已超过阈值σ2max。即,起伏的警告条件是指判定范围a2(i)的起伏变化大。

阈值σ2max例如为允许工作车辆1进入的起伏的变化的上限。但是,阈值σ2max也可以为其它的值。阈值σ2max可以为固定值,或者也可以由操作人员任意地设定。

在某判定范围a2(i)满足起伏的警告条件时,在步骤s102中,控制装置20将在该判定范围a2(i)内含有的区域判定为第二级。在某判定范围a2(i)未满足起伏的警告条件时,处理进入步骤s105。

在步骤s105中,控制装置20针对未满足点群密度的警告条件、倾斜的警告条件、以及起伏的警告条件的所有条件的区域,判定为第一级。

接着,控制装置20将显示图像is显示在显示器24。控制装置20在显示图像is中,以对应于评价的方式,显示多个区域的各区域。详细地说,控制装置20以与第一级的区域不同的颜色显示第二级的区域。

图9是表示第二实施方式的显示图像is的一个例子的图。在图9所示的显示图像is中,在工作车辆1的右方存在一个陡峭的下坡斜面sp2。在工作车辆1的左方存在一个陡峭的上坡斜面sp3。

控制装置20将工作车辆1的正面区域sp1判定为第一级。另外,控制装置20将右方的下坡斜面sp2和左方的上坡斜面sp3判定为第二级。控制装置20将右方的下坡斜面sp2和左方的上坡斜面sp3以与正面区域sp1不同的颜色表现在显示图像is中。

在如上所述的第二实施方式的显示系统2中,控制装置20基于3d形状数据d1,对在周围环境中含有的多个区域进行评价,以与第一级的区域不同的方式,将第二级的区域显示在显示图像is上。因此,操作人员通过显示图像is,能够容易地注意到第二级的区域的存在。另外,显示图像is投影于反映了工作车辆1周围的实际地形的三维投影模型m1。因此,能够以与实际的地形接近的形状,将判定为第二级的区域表现在显示图像is上。

控制装置20将满足点群密度的警告条件的区域判定为第二级,并以与第一级的区域不同的方式显示在显示图像is上。在此,就各点之间的范围而言,由于是未由形状传感器21进行测量的部分,所以,意味着各区域的线段l1(i)、l2(i)、l3(i)的长度越长而未由形状传感器21进行测量的范围越大。因此,如图10(a)所示,即使在点pi与点pi+1之间存在陡峭的倾斜,也可能存在不能由形状传感器21进行测量的情况。

在本实施方式的显示系统2中,在某区域中,在线段的长度l1(i)、l2(i)、l3(i)之中至少一个长度比阈值k×lc长时,将该区域判定为第二级。因此,能够将不能得到足够的点群密度的区域判定为第二级。因此,能够将因为与形状传感器21分离较远而不能得到足够的点群密度的区域判定为第二区域。或者可以将因为地形遮挡激光而不能测定准确的地形的区域判定为第二级。

阈值k×lc由履带11的长度规定。在不能测量的区域比由履带11的长度规定的阈值k×lc长的情况下,当在该区域存在凹陷地形时,存在工作车辆1的倾斜超过上限倾斜角θmax的可能性。在本实施方式的显示系统2中,将上述区域判定为第二级,可以以与第一级的区域不同的方式显示在显示图像is上。

控制装置20将满足倾斜的警告条件的区域判定为第二级,以与第一级的区域不同的方式显示在显示图像is上。因此,例如如图10(b)所示,可以将存在超过工作车辆1所允许的上限倾斜角θmax的陡峭倾斜的区域判定为第二级,以与第一级的区域不同的方式显示在显示图像is上。

控制装置20根据将成为判定目标的区域的倾斜角、和在其周围的规定范围a1(i)中含有的其它区域的倾斜角组合后的平均值,对成为目标的区域进行评价。由此,能够缓和因距形状传感器21的距离及地形而使点群密度变化的影响,从而精度良好地进行评价。

控制装置20将满足起伏的警告条件的判定区域a2(i)判定为第二级,以与第一级的判定区域不同的方式显示在显示图像is上。在起伏较大的地形上,在该地形中含有的点的高度的变化急剧。因此,控制装置20根据在某判定范围a2(i)内的各点的高度的方差,对判定范围a2(i)的起伏的急剧程度进行评价。由此,例如如图10(c)所示,能够将起伏较大的区域判定为第二级,以与第一级的区域不同的方式显示在显示图像is上。

需要说明的是,图9所示的显示图像is为在从工作车辆1的右前方观察的视点上生成的映像,但控制装置20也可以任意地改变视点,生成显示图像is。控制装置20例如可以根据操作人员的操作,切换视点。由此,能够以看到工作车辆1的周围环境之中、操作人员特别希望确认的部分的方式生成显示图像is,。

上面,对本发明的实施方式进行了说明,但本发明不限于此,在不脱离本发明主旨的范围内可以进行各种变更。

工作车辆1不限于推土机,也可以为轮式装载机、液压挖掘机、自卸卡车等其它类型的车辆。工作车辆1也可以为从在工作车辆1的外部配置的控制装置20进行远程操作的车辆。在该情况下,如图11所示的工作车辆100,驾驶室也可以从车辆主体3中省略。需要说明的是,在图11中,对于与图1所示的工作车辆1对应的部分,使用相同的标记。或者工作车辆1也可以为由在工作车辆1上搭载的驾驶室内的操作人员直接操作的车辆。

相机的数量不限于四个,也可以为三个以下、或五个以上。相机不限于鱼眼相机,也可以为其它类型的相机。相机的配置不限于上述实施方式的配置,也可以为不同的配置。

姿势传感器22不限于imu,也可以为其它的传感器。位置传感器23不限于gnss接收器,也可以为其它的传感器。形状传感器21不限于光探测和测距,也可以为雷达等其它的测定装置。

在第二实施方式中,也可以省略或改变警告条件的一部分。或者可以添加其它的警告条件。也可以改变警告条件的内容。区域的评价不限于第一级与第二级两个级别,也可以在更多的级别中进行评价。

工业实用性

根据本发明,能够生成能够容易地掌握工作车辆周围环境的形状的显示图像。

附图标记说明

1,100工作车辆;11履带;21形状传感器;20控制装置;22姿势传感器;c1-c4相机;is显示图像;m1三维投影模型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1