投影型显示装置、投影型显示装置的控制方法、投影型显示装置的控制程序与流程

文档序号:18322332发布日期:2019-08-03 10:36阅读:183来源:国知局
投影型显示装置、投影型显示装置的控制方法、投影型显示装置的控制程序与流程

本发明涉及投影型显示装置、投影型显示装置的控制方法、及投影型显示装置的控制程序。



背景技术:

专利文献1及专利文献2中公开有利用hud(head-updisplay)来提高使用液压挖掘机、轮式装载机、推土机、或自动平地机等操作者可从驾驶室观察作业机的各种作业用机械进行建筑作业或土木作业时的作业效率的技术。

专利文献1中记载有利用hud将铲斗的升降方向和升降量的信息显示于驾驶员座前方的液压挖掘机。

专利文献2中记载有利用hud将施工计划图显示于驾驶员座前方的液压挖掘机。

另外,专利文献3中记载有将施工计划图、表示施工现状的信息、表示铲斗位置现状的铲斗图像显示于驾驶室内的显示装置的液压挖掘机。

以往技术文献

专利文献

专利文献1:日本特开2014-129676号公报

专利文献2:日本特开2010-018141号公报

专利文献3:日本特开2012-255286号公报



技术实现要素:

发明要解决的技术课题

根据专利文献2及专利文献3的技术,可一边确认施工计划图一边操作作业用机械,因此能够提高作业效率。但是,仅靠显示施工计划图或当前的铲斗位置,对熟练度低的操作者来说难以进行按照目标的施工。

根据专利文献1的技术,由于一起显示施工计划图和铲斗的升降量,因此作为针对熟练度低的操作者的作业辅助是有效的。但是,也有应施工的范围是大范围的情况,在该情况下,操作者需要判断需要在应施工的范围内的哪个位置使铲斗升降。专利文献1中未考虑这种判断的辅助的必要性。

另外,在专利文献1的液压挖掘机中,可考虑重复进行如下工序:操作者通过使车身回转或前进而使铲斗移动到适当的位置停止,在该位置按照由hud显示的升降量操作铲斗。在这种工序中,因操作者的熟练程度而异,车身也有可能徒劳地移动,作业效率有可能降低。

在此以建筑机械为例进行了说明,但在搭载于在驾驶员座前方搭载有驾驶员可操作的作业机的交通工具(例如,叉车等)的hud中,同样也产生了提高作业效率这样的课题。

本发明是鉴于上述情况而创建的,其目的在于,提供一种能够提高具有作业机的交通工具的作业效率的投影型显示装置、投影型显示装置的控制方法、及投影型显示装置的控制程序。

用于解决技术课题的手段

本发明的投影型显示装置搭载在交通工具上,上述交通工具具有可动的作业机、以及安装上述作业机且具有驾驶室的主体部,其中,上述投影型显示装置具备:检测部,其检测上述交通工具的位置及上述驾驶室的方向;投影显示部,其包括基于输入的图像信息对从光源出射的光进行空间调制的光调制部,将利用上述光调制部进行空间调制而得到的图像光投影到搭载于上述驾驶室的投影面上并显示基于上述图像光的虚像;以及显示控制部,其控制输入上述光调制部的上述图像信息并控制由上述投影显示部显示的虚像,上述显示控制部根据指定存储于存储部的上述交通工具的位置、上述驾驶室的方向及上述作业机的姿势的作业计划信息和利用上述检测部检测到的上述位置及上述方向,使模拟上述作业机的作业机虚像显示于上述投影显示部。

本发明的投影型显示装置的控制方法中,上述投影型显示装置搭载在交通工具上,上述交通工具具有可动的作业机、以及安装上述作业机且具有驾驶室的主体部,其中,上述投影型显示装置具有:光调制部,其基于输入的图像信息对从光源出射的光进行空间调制;以及投影显示部,其将利用上述光调制部进行空间调制而得到的图像光投影到搭载于上述驾驶室的投影面上并显示基于上述图像光的虚像,上述投影型显示装置的控制方法包括:检测步骤,检测上述交通工具的位置及上述驾驶室的方向;以及显示控制步骤,根据指定存储于存储部的上述交通工具的位置、上述驾驶室的方向及上述作业机的姿势的作业计划信息和通过上述检测步骤检测到的上述位置及上述方向,使模拟上述作业机的作业机虚像显示于上述投影显示部。

本发明的投影型显示装置的控制程序中,上述投影型显示装置搭载在交通工具上,上述交通工具具有可动的作业机、以及安装上述作业机且具有驾驶室的主体部,其中,上述投影型显示装置具有:光调制部,其基于输入的图像信息对从光源出射的光进行空间调制;以及投影显示部,其将利用上述光调制部进行空间调制而得到的图像光投影到搭载于上述驾驶室的投影面上并显示基于上述图像光的虚像,上述投影型显示装置的控制程序是用于使计算机执行如下步骤的程序:检测步骤,检测上述交通工具的位置及上述驾驶室的方向;以及显示控制步骤,根据指定存储于存储部的上述交通工具的位置、上述驾驶室的方向及上述作业机的姿势的作业计划信息和通过上述检测步骤检测到的上述位置及上述方向,使模拟上述作业机的作业机虚像显示于上述投影显示部。

发明效果

根据本发明,可提供能够提高具有作业机的交通工具的作业效率的投影型显示装置、投影型显示装置的控制方法、及投影型显示装置的控制程序。

附图说明

图1是表示搭载作为本发明的投影型显示装置的一实施方式的hud10的建筑机械1的概略结构的示意图。

图2是表示图1所示的建筑机械1的驾驶室5的内部结构例的示意图。

图3是表示图1所示的建筑机械1的驾驶室5内的结构例的示意图。

图4是表示图1及图2所示的hud10的内部结构的示意图。

图5是图4所示的系统控制部60的功能块图。

图6是用于说明图5所示的系统控制部60的动作的流程图。

图7是用于说明图5所示的系统控制部60的动作的流程图。

图8是表示图1所示的hud10的投影显示部50的显示例的示意图。

图9是表示图1所示的hud10的投影显示部50的显示例的示意图。

图10是表示图1所示的hud10的投影显示部50的显示例的示意图。

图11是表示图1所示的hud10的投影显示部50的显示例的示意图。

图12是表示图1所示的hud10的投影显示部50的显示例的示意图。

图13是表示图1所示的hud10的投影显示部50的显示例的示意图。

图14是表示图1所示的hud10的投影显示部50的显示例的示意图。

图15是表示图1所示的hud10的投影显示部50的显示例的示意图。

图16是表示图1所示的hud10的投影显示部50的显示例的示意图。

图17是表示图1所示的hud10的投影显示部50的显示例的示意图。

图18是表示图1所示的hud10的投影显示部50的显示例的示意图。

具体实施方式

以下,参照附图对本发明的实施方式进行说明。

图1是表示搭载作为本发明的投影型显示装置的一实施方式的hud10的建筑机械1的概略结构的示意图。

建筑机械1是液压挖掘机,由下部行驶体2、可回转地支撑于下部行驶体2的上部回转体3、及由上部回转体3支撑的前作业部4等各部分构成。下部行驶体2及上部回转体3构成建筑机械1的主体部。

下部行驶体2具备用于在公路及作业现场行驶的金属制或橡胶制的履带。

上部回转体3具备设置有用于操作前作业部4的操作装置及用于操作者就座的驾驶员座6的驾驶室5、检测驾驶室5的方向的方位传感器14、以及检测建筑机械1的位置(纬度及经度)的gps(globalpositioningsystem)接收机15。

前作业部4具备通过上部回转体3沿重力方向和与重力方向正交的方向(图中的上下方向及与纸面垂直的方向)可移动地支撑的动臂(arm)4c、通过动臂4c相对于动臂4c可旋转地支撑的悬臂(boom)4b、以及通过悬臂4b相对于悬臂4b可旋转地支撑的铲斗4a。铲斗4a是可直接接触地面或搬出物等作业对象物的部分,构成作业机。

此外,也可以是取代铲斗4a而将钢筋切割机、混凝土破碎机、抓铲机、或冲击式破碎机等其它作业机安装于悬臂4b的结构。

铲斗4a可借助动臂4c及悬臂4b相对于驾驶室5在图中的上下方向上移动。另外,铲斗4a能够以与就座于驾驶员座6的操作者的视线方向及重力方向正交的方向为轴进行旋转。另外,悬臂4b能够以与图中的纸面垂直的方向为轴进行旋转。

虽省略了图示,但在前作业部4设有用于检测前作业部4的姿势的角速度传感器及3轴加速度传感器等传感器组。

在驾驶室5,在驾驶员座6的前方设有前挡风玻璃11,该前挡风玻璃11的一部分成为被进行了反射后述的图像光的加工的区域。而且,该区域构成投影从hud10出射的图像光的投影范围11a。方位传感器14设为用于检测前挡风玻璃11的正面的方向。

hud10设置在驾驶室5内,利用投影到前挡风玻璃11的一部分区域即投影范围11a的图像光,以由就座于驾驶员座6的操作者在前挡风玻璃11前方可视认到虚像的方式进行显示。

图2是表示图1所示的建筑机械1的驾驶室5的内部结构例的示意图。

如图2所示,在操作者就座于驾驶员座6的状态下,将hud10设于操作者的上方且后方。hud10根据gps接收机15的检测信号、方位传感器14的检测信号、设于前作业部4的传感器组的检测信号、以及预先存储于内部的作业计划信息,将用于作业辅助的虚像显示于前挡风玻璃11的前方。

建筑机械1的操作者通过观察投影到前挡风玻璃11的投影范围11a且在此被反射的图像光,可作为虚像视认到用于辅助建筑机械1进行的作业的图像或文字等信息。另外,投影范围11a具有在反射从hud10投影的图像光的同时,透过来自外部(外界)的光的功能。因此,操作者可与外界的景色重叠地视认基于从hud10投影的图像光的虚像。

在图1的例子中,hud10搭载在液压挖掘机上来使用,但只要是在驾驶员座前方搭载操作者可操作的作业机的作业用机械(例如,轮式装载机、推土机、自动平地机、或叉车等),就可以同样地搭载。

图3是表示图1所示的建筑机械1的驾驶室5内的结构例的示意图。

驾驶室5被前挡风玻璃11、右侧挡风玻璃21及左侧挡风玻璃22围绕。驾驶室5在驾驶员座6周围具备用于操作前作业部4的曲伸及上部回转体3的回转的左操作杆23和用于操作前作业部4的铲斗4a的挖掘及打开的右操作杆24等。此外,对左操作杆23和右操作杆24的操作功能的分配是一个例子,不限于此。

在前挡风玻璃11上存在投影从hud10出射的图像光的投影范围11a,该投影范围11a在反射图像光的同时,透过来自外部(外界)的光。

此外,建筑机械1虽省略了图示,但设有在利用下部行驶体2行驶时操作的行驶用的方向盘、油门及刹车等。

图4是表示图1及图2所示的hud10的内部结构的示意图。

hud10具备光源单元40、光调制元件44、驱动光调制元件44的驱动部45、投影光学系统46、扩散板47、反射镜48、放大镜49、控制光源单元40及驱动部45的系统控制部60、以及可由闪存存储器等存储介质构成的存储部70。

光源单元40具备光源控制部40a、出射红色光的红色光源即r光源41r、出射绿色光的绿色光源即g光源41g、出射蓝色光的蓝色光源即b光源41b、二向色棱镜43、设于r光源41r与二向色棱镜43之间的准直透镜42r、设于g光源41g与二向色棱镜43之间的准直透镜42g、以及设于b光源41b与二向色棱镜43之间的准直透镜42b。

二向色棱镜43是用于将分别从r光源41r、g光源41g及b光源41b出射的光导向同一光路的光学部件。即,二向色棱镜43使通过准直透镜42r被平行光化的红色光透过并向光调制元件44出射。另外,二向色棱镜43反射通过准直透镜42g被平行光化的绿色光并向光调制元件44出射。而且,二向色棱镜43反射通过准直透镜42b被平行光化的蓝色光并向光调制元件44出射。作为具有这种功能的光学部件,并不限于二向色棱镜。例如也可以使用交叉二向色反射镜。

r光源41r、g光源41g及b光源41b分别使用激光器或led(lightemittingdiode)等发光元件。r光源41r、g光源41g及b光源41b构成hud10的光源。在本实施方式中,作为hud10的光源,设为包括r光源41r、g光源41g及b光源41b这三个光源,但光源的数量也可以为一个、两个或四个以上。

光源控制部40a将r光源41r、g光源41g及b光源41b各自的发光量设定为预定的发光量模式、并按照该发光量模式进行使光从r光源41r、g光源41g及b光源41b依次出射的控制。

光调制元件44基于图像信息对从二向色棱镜43出射的光进行空间调制,并将进行了空间调制的光(红色图像光、蓝色图像光、及绿色图像光)向投影光学系统46出射。

作为光调制元件44,例如可使用lcos(liquidcrystalonsilicon)、dmd(digitalmicromirrordevice)、mems(microelectromechanicalsystems)元件或液晶显示元件等。

驱动部45基于从系统控制部60输入的图像信息而驱动光调制元件44,使与图像信息对应的光(红色图像光、蓝色图像光、及绿色图像光)从光调制元件44向投影光学系统46出射。

光调制元件44和驱动部45构成hud10的光调制部。

投影光学系统46是用于将从光调制元件44出射的光投影在扩散板47上的光学系统。该光学系统并不限定于透镜,也可使用扫描仪。例如也可以利用扩散板47使从扫描型扫描仪出射的光扩散而进行面光源化。

反射镜48使被扩散板47扩散的光向放大镜49反射。

放大镜49将基于被反射镜48反射过来的光的图像放大并投影到投影范围11a。

光源单元40、光调制元件44、驱动部45、投影光学系统46、扩散板47、反射镜48及放大镜49构成投影显示部50,该投影显示部50基于从系统控制部60输入的图像信息对从r光源41r、g光源41g、及b光源41b出射的光进行空间调制,将进行空间调制得到的图像光投影到投影范围11a。投影范围11a构成可通过投影显示部50显示虚像的显示范围。

系统控制部60控制光源控制部40a及驱动部45,使基于图像信息的图像光经由投影光学系统46向扩散板47出射。

图4所示的扩散板47、反射镜48及放大镜49被进行了光学设计,使得基于投影到投影范围11a的图像光的图像能够在前挡风玻璃11前方的位置作为虚像来视认。

系统控制部60以处理器为主体而构成,包括存储处理器执行的程序等的rom(readonlymemory)及作为工作存储器的ram(randomaccessmemory)等。

存储部70存储多个作业计划信息。

作业计划信息是分别指定应由铲斗4a开始挖掘的建筑机械1的位置(纬度及经度)、该位置的驾驶室5的方向、该位置的开始挖掘时的铲斗4a的姿势(包括铲斗4a的上下方向的位置及铲斗4a距驾驶室5的距离等)、及该位置的挖掘量的信息。此外,在作业计划信息中,也可以省略挖掘量的信息。

以下,将由作业计划信息指定的建筑机械1的位置称作计划位置,将由作业计划信息指定的驾驶室5的方向称作计划方向,将由作业计划信息指定的铲斗4a的姿势称作计划姿势。

图4所示的传感器组80是设于前作业部4的3轴加速度传感器及角速度传感器等。由传感器组80检测到的加速度信息及角速度信息、表示由方位传感器14检测到的驾驶室5的方向的方位信息、表示由gps接收机15检测到的纬度及经度的建筑机械1的位置信息被输入系统控制部60。

系统控制部60基于从存储部70读出的作业计划信息、从方位传感器14输入的方位信息及从gps接收机15输入的位置信息,生成用于显示模拟铲斗4a的作业机虚像的图像信息,并将基于该图像信息的图像光投影到投影范围11a。此外,hud10虽设为具备存储部70,但并不限于此。hud10也可以读出存储在外置于hud10的存储介质中的作业计划信息。另外,hud10也可以经由网络从处于建筑机械1外部的存储介质中读出作业计划信息。

图5是图4所示的系统控制部60的功能块图。

系统控制部60具备检测部61、重叠判定部62及显示控制部63。检测部61、重叠判定部62及显示控制部63是通过系统控制部60的处理器执行包含存储于rom的控制程序的程序而形成的功能块。

检测部61基于从传感器组80输入的加速度信息及角速度信息,检测由铲斗4a的上下方向的位置及铲斗4a距驾驶室5的距离决定的铲斗4a的姿势。以下,将由检测部61检测的铲斗4a的姿势称作检测姿势。

另外,检测部61基于从方位传感器14输入的方位信息,检测驾驶室5的方向(前挡风玻璃11的正面的方向)。以下,将由检测部61检测的驾驶室5的方向称作检测方向。

而且,检测部61基于从gps接收机15输入的位置信息,检测建筑机械1的位置。以下,将由检测部61检测的建筑机械1的位置称作检测位置。

显示控制部63控制输入驱动部45的图像信息并控制由投影显示部50显示的虚像。

显示控制部63基于存储于存储部70的多个作业计划信息中的任一者和由检测部61检测的检测位置及检测方向,使在投影范围11a的规定位置模拟铲斗4a的铲斗虚像(作业机虚像)显示于投影显示部50,从而将适合开始挖掘作业的建筑机械1的位置、驾驶室5的方向及铲斗4a的姿势提示给操作者。

当检测位置与计划位置一致且检测方向与计划方向一致时,重叠判定部62根据检测姿势和计划姿势,判定由投影显示部50显示的铲斗虚像与铲斗4a在从驾驶员座6观察时是否处于重叠的状态。铲斗虚像与铲斗4a重叠的状态除了铲斗虚像的外缘与铲斗4a的外缘完全重叠的状态以外,也包括这两个外缘稍微错位的状态。

另外,检测位置与计划位置一致是指不限于检测位置与计划位置完全一致的情况,还包括检测位置与计划位置之差成为预定值以下的情况。检测方向与计划方向一致是指不限于前挡风玻璃11的正面与进行挖掘作业的位置相对且检测方向与计划方向完全一致的情况,还包括前挡风玻璃11的正面与进行挖掘作业的位置相对且检测方向与计划方向之差成为预定值以下的情况。

具体而言,重叠判定部62求出检测姿势与基于存储于存储部70的作业计划信息的计划姿势之差,当该差低于阈值时,判定为铲斗虚像与铲斗4a在从驾驶员座6观察时重叠,当该差为阈值以上时,判定为铲斗虚像与铲斗4a在从驾驶员座6观察时不重叠。

此外,也可以预先将能够拍摄与就坐于驾驶员座6的操作者的视野相同的范围的数码相机设置在驾驶室5内,重叠判定部62通过对该数码相机的摄像图像进行解析来判定由投影显示部50显示的铲斗虚像与铲斗4a在从驾驶员座6观察时是否重叠。

在利用重叠判定部62判定为铲斗虚像与铲斗4a在从驾驶员座6观察时重叠的情况下,显示控制部63生成包含用于向操作者通知已成为应开始挖掘作业的状态的通知信息的图像信息并输入驱动部45,并使该通知信息显示。

通知信息是用于通知铲斗4a与计划姿势已一致的信息,是操作者可容易视认的图像或文字等信息。

图6及图7是用于说明图5所示的系统控制部60的动作的流程图。图8~图18是表示投影显示部50的显示例的示意图。

在hud10中,在存储部70中预先存储有多个作业计划信息dn(n是2以上的整数),在多个作业计划信息dn中各自对应存储有作业的执行顺序。此外,执行顺序越早,“n”的值成为越小的值。

当启动hud10,并设定为作业辅助模式时,显示控制部63首先从存储部70读出执行顺序排在第1位的作业计划信息dn(步骤s1)。

接着,检测部61基于来自方位传感器14的方位信息及来自gps接收机15的位置信息,检测建筑机械1的位置和驾驶室5的方向(步骤s2)。

接着,显示控制部63判定基于在步骤s1中从存储部70读出的作业计划信息的计划位置与在步骤s2中检测到的检测位置是否一致(步骤s3)。

当步骤s3的判定为yes时,显示控制部63判定基于在步骤s1中从存储部70读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向是否一致(步骤s4)。

当步骤s4的判定为yes时,显示控制部63基于由在步骤s1中从存储部70读出的作业计划信息指定的计划姿势,如图8所示,使模拟铲斗4a的铲斗虚像101c和指示为使铲斗4a与该铲斗虚像101c重叠的文本图像111显示于投影显示部50(步骤s5)。文本图像111是用于指示铲斗4a的操作内容的信息。此外,文本图像111的显示并不是必需的。

铲斗虚像101c是在铲斗4a处于计划姿势的状态下,虚拟表示从驾驶员座6向投影范围11a内观察的该铲斗4a。因而,通过进行使该铲斗虚像101c与铲斗4a重叠的操作,能够使铲斗4a的空间上的位置与计划上的位置一致。

当在步骤s5中显示铲斗虚像时,重叠判定部62判定铲斗虚像与铲斗4a是否重叠(步骤s6)。

从图8所示的状态开始,通过操作者使铲斗4a向上方移动而成为图9所示的状态,当判定为铲斗虚像101c与铲斗4a重叠时(步骤s6:yes),如图9所示,显示控制部63利用投影显示部50显示表示已成为开始挖掘的最佳姿势的文本图像112和指示铲斗4a的移动方向及挖掘量(10m)的图像113(步骤s7)。文本图像112构成通知信息。

在如图9所示显示图像之后,显示控制部63等待基于操作者的手动操作的向下一作业计划信息dn转入的指示,当收到该指示时(步骤s8:yes),将“n”变更为“n+1”(步骤s9),使处理返回步骤s1。显示控制部63在未接到该指示时(步骤s8:no),使处理返回步骤s7并继续图9的显示。

在步骤s4中,显示控制部63在判定为基于在步骤s1中从存储部70读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向不一致的情况下(步骤s4:no),判定基于在步骤s1中从存储部70读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向之差是否为阈值以上(图7、步骤s11)。

当步骤s11的判定为yes时,显示控制部63不进行基于计划姿势的铲斗虚像的显示,而是利用投影显示部50显示指示为了使驾驶室5的方向接近计划方向所需的驾驶室5的旋转方向的旋转指示虚像(步骤s12)。

在图10中,作为旋转指示虚像,示出了指示使驾驶室5向左回转的旋转箭头图像102和表示“请向左回转直至铲斗图像显示”这样的文字的文本图像103。旋转箭头图像102和文本图像103是指示驾驶室5的方向的变更的信息。

当步骤s11的判定为no时,显示控制部63根据基于在步骤s1中从存储部70读出的作业计划信息的计划姿势、以及基于在步骤s1中读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向之差,确定铲斗虚像的显示位置及显示尺寸,并利用投影显示部50在确定的显示位置以确定的显示尺寸显示铲斗虚像(步骤s13)。

步骤s11的判定为no的情况是建筑机械1的位置虽跟计划的一样,但驾驶室5的方向比计划方向向左偏移、或向右偏移的状态。

因此,显示控制部63为了表现该方向的偏移,在基于作业计划信息所包含的计划姿势的铲斗虚像的显示尺寸保持不变的状态下,根据计划方向与检测方向之差控制该铲斗虚像的显示位置。

具体而言,当检测方向比计划方向靠右侧时,如图11所示,显示控制部63将铲斗虚像101a的显示尺寸设为跟计划位置与检测位置一致时的显示尺寸(图7所示的铲斗虚像101c的尺寸)相同,并使其显示位置比计划方向与检测方向一致时的显示位置向左侧移动跟检测方向与计划方向之差成正比的距离。此外,图11表示建筑机械1的驾驶室5从图10所示的状态向左回转时的显示例。

图12表示建筑机械1的驾驶室5从图11所示的状态进一步向左回转时的显示例。在图12中,由于计划方向与检测方向之差比图11的情况小,因此在比铲斗虚像101a靠右侧的位置显示铲斗虚像101a。

在步骤s13的处理之后,显示控制部63利用投影显示部50显示指示使驾驶室5的方向接近基于作业计划信息的计划方向的旋转指示虚像(步骤s14)。

在图11及图12中,作为旋转指示虚像,示出了显示表示向左回转的旋转箭头图像102和“请向左回转并使铲斗与铲斗图像重叠”这样的文本图像104的例子。图11及图12所示的旋转箭头图像102和文本图像104是用于指示铲斗4a的操作内容的信息。

在步骤s12的处理或步骤s14的处理之后,处理返回图6的步骤s4,进行步骤s11~步骤s14的处理直至计划方向与检测方向一致。

在步骤s3中,当判定为基于在步骤s1中从存储部70读出的作业计划信息的计划位置与在步骤s2中检测到的检测位置不一致时(步骤s3:no),显示控制部63判定基于在步骤s1中从存储部70读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向是否一致(步骤s15)。

当步骤s15的判定为yes时,显示控制部63根据基于在步骤s1中从存储部70读出的作业计划信息的计划姿势、以及基于在步骤s1中读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向之差,确定铲斗虚像的显示位置及显示尺寸,并利用投影显示部50在确定的显示位置以确定的显示尺寸显示铲斗虚像(步骤s16)。

步骤s15的判定为yes的情况是建筑机械1的驾驶室5的方向虽跟计划的一样,但建筑机械1的位置比计划位置靠前方或者靠后方的状态。

因此,显示控制部63为了表现该位置的偏移,在基于作业计划信息所包含的计划姿势的铲斗虚像的显示位置保持不变的状态下,根据计划位置与检测位置之差控制该铲斗虚像的显示尺寸。

具体而言,当计划位置比检测位置靠前方时,如图13所示,显示控制部63使铲斗虚像101d的显示尺寸比计划位置与检测位置一致时的显示尺寸(图7所示的铲斗虚像101c的尺寸)小。计划位置与检测位置之差越大,显示控制部63使铲斗虚像101d的显示尺寸越小。

图14表示建筑机械1从图13所示的状态前进时的显示状态。在图14中,由于计划位置与检测位置之差比图13的情况小,因此显示了尺寸比铲斗虚像101d的尺寸大的铲斗虚像101e。

另外,当计划位置比检测位置靠后方时,如图15所示,显示控制部63使铲斗虚像101f的显示尺寸比计划位置与检测位置一致时的显示尺寸(图7所示的铲斗虚像101c的尺寸)大。计划位置与检测位置之差越大,显示控制部63使铲斗虚像101f的显示尺寸越大。

在步骤s16的处理之后,显示控制部63利用投影显示部50显示指示使建筑机械1的位置接近作业计划信息所包含的计划位置的移动指示虚像(步骤s17)。

在图13及图14中,作为移动指示虚像,示出了显示表示前进的箭头图像121和“请前进并使铲斗与铲斗图像重叠”这样的文本图像122的例子。

在图15中,作为移动指示虚像,示出了显示表示后退的箭头图像123和“请后退并使铲斗与铲斗图像重叠”这样的文本图像124的例子。箭头图像121、文本图像122、箭头图像123及文本图像124是用于指示铲斗4a的操作内容的信息。

在步骤s17的处理之后,处理返回步骤s2。

当步骤s15的判定为no时,显示控制部63判定基于在步骤s1中从存储部70读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向之差是否为阈值以上(步骤s18)。

当步骤s18的判定为yes时,显示控制部63不进行基于计划姿势的铲斗虚像的显示,而是利用投影显示部50显示指示为了使驾驶室5的方向接近计划方向所需的建筑机械1的移动方向的移动指示虚像(步骤s19)。

在图16中,作为移动指示虚像,示出了指示向左前方移动的文本图像105。文本图像105成为指示建筑机械1的位置及驾驶室5的方向的变更的信息。

当步骤s18的判定为no时,显示控制部63根据基于在步骤s1中从存储部70读出的作业计划信息的计划姿势、基于在步骤s1中读出的作业计划信息的计划方向与在步骤s2中检测到的检测方向之差、以及基于在步骤s1中读出的作业计划信息的计划位置与在步骤s2中检测到的检测位置之差,确定铲斗虚像的显示位置及显示尺寸,并利用投影显示部50在确定的显示位置以确定的显示尺寸显示铲斗虚像(步骤s20)。

步骤s18的判定为no的情况是建筑机械1的位置比计划偏移、且驾驶室5的方向比计划稍微偏移的状态。

因此,显示控制部63为了表现该位置和方向的偏移,根据计划方向与检测方向之差控制基于作业计划信息所包含的计划姿势的铲斗虚像的显示位置,根据计划位置与检测位置之差控制基于作业计划信息所包含的计划姿势的铲斗虚像的显示尺寸。

具体而言,当检测方向比计划方向靠右侧、且检测位置比计划位置靠后方时,如图17所示,显示控制部63使铲斗虚像101g的显示尺寸比计划位置与检测位置一致时的显示尺寸(图7所示的铲斗虚像101c的尺寸)跟计划位置与检测位置之差成反比例地变小,而且,使其显示位置比计划方向与检测方向一致时的显示位置向左侧移动跟检测方向与计划方向之差成正比的距离。此外,图17表示建筑机械1从图16所示的状态向左前方移动并显示铲斗虚像时的显示例。

图18表示建筑机械1从图17所示的状态进一步向左前方移动时的显示例。在图18中,由于计划方向与检测方向之差比图17的情况小,因此在比铲斗虚像101g靠右侧的位置显示铲斗虚像101h。另外,由于计划位置与检测位置之差比图17的情况小,因此以比铲斗虚像101g大的尺寸显示铲斗虚像101h。

在步骤s20的处理之后,显示控制部63利用投影显示部50显示指示使建筑机械1的位置及驾驶室5的方向接近基于作业计划信息的计划方向和计划位置的移动指示虚像(步骤s21)。

在图17及图18中,作为移动指示虚像,示出了显示“请向左前方移动并使铲斗与铲斗图像重叠”这样的文本图像106的例子。

在步骤s19的处理或步骤s21的处理之后,处理返回步骤s2。

如以上所述,根据hud10,基于存储于存储部70的作业计划信息和建筑机械1的检测位置及驾驶室5的检测方向,能够将模拟铲斗4a的铲斗虚像显示在表示计划上的挖掘点的位置。

因此,操作者能够利用该铲斗虚像来确认适合开始作业的建筑机械1的位置、方向及铲斗4a的姿势。因而,即使是熟练度低的操作者进行操作时,通过使铲斗4a与铲斗虚像重叠,也能够以按照作业计划信息的适当的状态开始作业。由此,不用进行徒劳的移动,就能够进行按计划施工,能够实现作业效率的提高。

另外,根据hud10,当未显示铲斗虚像、或者虽显示了铲斗虚像但建筑机械1的位置或驾驶室5的方向不是计划的那样时,如图10~图18所例示的那样,显示指示为变更建筑机械1的位置或驾驶室5的方向中的至少一方的信息。通过按照该信息操作建筑机械1,能够使建筑机械1的位置及驾驶室5的方向容易地对准建筑机械1的计划位置及驾驶室5的计划方向,因此能够提高作业效率。

另外,根据hud10,当判定为铲斗虚像与铲斗4a重叠时,如图9所示,显示作为通知信息的文本图像112。因此,操作者能够容易地掌握铲斗4a成为适当姿势的情况。

此外,在图9的显示例中,取代显示文本图像112,通过改变铲斗虚像101c的显示颜色,或者闪烁显示铲斗虚像101c,也可以向操作者通知铲斗4a的姿势与计划姿势一致的信息。在该情况下,铲斗虚像101c的一部分构成通知信息。

另外,取代显示文本图像112,在hud10中追加扬声器,显示控制部63也可以利用该扬声器向操作者通知铲斗4a的姿势与计划姿势一致的信息。另外,也可以将文本图像112的显示与铲斗虚像101c的显示颜色变更或闪烁显示相组合,或者将文本图像112的显示与扬声器进行的通知相组合。通过设为这种结构,操作者能够更准确地推进作业。

另外,图8所示的文本图像111、图10及图11所示的旋转箭头图像102及文本图像104、图13及图14所示的箭头图像121及文本图像122、图15所示的箭头图像123及文本图像124、以及图17及图18所示的文本图像106的显示并不是必需的。另外,也可以通过操作者的操作来切换这些图像显示的通断。

例如,在操作者感到投影到投影范围11a的显示内容妨碍作业的情况下,通过断开除铲斗虚像以外的图像的显示,能够实现作业效率的稳定化。

另外,在图9的显示例中,显示控制部63还可以显示施工计划图。通过设为这种结构,操作者能够一边确认施工图像一边进行施工,能够有效地推进作业。

如以上所说明,本说明书中公开有以下事项。

(1)一种投影型显示装置,其搭载在交通工具上,上述交通工具具有可动的作业机、以及安装上述作业机且具有驾驶室的主体部,其中,上述投影型显示装置具备:检测部,其检测上述交通工具的位置及上述驾驶室的方向;投影显示部,其包括基于输入的图像信息对从光源出射的光进行空间调制的光调制部,将利用上述光调制部进行空间调制而得到的图像光投影到搭载于上述驾驶室的投影面上并显示基于上述图像光的虚像;以及显示控制部,其控制输入上述光调制部的上述图像信息并控制由上述投影显示部显示的虚像,上述显示控制部根据指定存储于存储部的上述交通工具的位置、上述驾驶室的方向及上述作业机的姿势的作业计划信息和利用上述检测部检测到的上述位置及上述方向,使模拟上述作业机的作业机虚像显示于上述投影显示部。

(2)根据(1)所述的投影型显示装置,其中,上述显示控制部基于由上述作业计划信息指定的上述方向与利用上述检测部检测到的上述方向之差控制上述作业机虚像的显示位置。

(3)根据(1)或(2)所述的投影型显示装置,其中,上述显示控制部基于由上述作业计划信息指定的上述位置与利用上述检测部检测到的上述位置之差控制上述作业机虚像的显示尺寸。

(4)根据(1)~(3)中任一项所述的投影型显示装置,其中,当由上述作业计划信息指定的上述方向与利用上述检测部检测到的上述方向之差为阈值以上时,上述显示控制部使指示上述驾驶室的方向的变更的信息取代上述作业机虚像而显示于上述投影显示部。

(5)根据(1)~(4)中任一项所述的投影型显示装置,其中,上述投影型显示装置还具备重叠判定部,上述重叠判定部判定由上述投影显示部显示的上述作业机虚像与上述作业机在从上述驾驶室的驾驶员座观察时是否重叠,当由上述重叠判定部判定为上述作业机虚像与上述作业机重叠时,上述显示控制部向上述驾驶室内的操作者通知上述作业机已成为最佳姿势。

(6)根据(5)所述的投影型显示装置,其中,当由上述重叠判定部判定为上述作业机虚像与上述作业机重叠时,上述显示控制部使用于向上述驾驶室内的上述操作者通知上述作业机已成为上述最佳姿势的通知信息显示于上述投影显示部。

(7)根据(5)所述的投影型显示装置,其中,当由上述重叠判定部判定为上述作业机虚像与上述作业机重叠时,上述显示控制部利用声音向上述驾驶室内的上述操作者通知上述作业机已成为上述最佳姿势。

(8)根据(1)~(7)中任一项所述的投影型显示装置,其中,在使上述作业机虚像显示的情况下,上述显示控制部还使用于指示上述作业机的操作内容的信息显示于上述投影显示部。

(9)一种投影型显示装置的控制方法,上述投影型显示装置搭载在交通工具上,上述交通工具具有可动的作业机、以及安装上述作业机且具有驾驶室的主体部,其中,上述投影型显示装置具有:光调制部,其基于输入的图像信息对从光源出射的光进行空间调制;以及投影显示部,其将利用上述光调制部进行空间调制而得到的图像光投影到搭载于上述驾驶室的投影面上并显示基于上述图像光的虚像,上述投影型显示装置的控制方法包括:检测步骤,检测上述交通工具的位置及上述驾驶室的方向;以及显示控制步骤,根据指定存储于存储部的上述交通工具的位置、上述驾驶室的方向及上述作业机的姿势的作业计划信息和通过上述检测步骤检测到的上述位置及上述方向,使模拟上述作业机的作业机虚像显示于上述投影显示部。

(10)根据(9)所述的投影型显示装置的控制方法,其中,在上述显示控制步骤中,基于由上述作业计划信息指定的上述方向与通过上述检测步骤检测到的上述方向之差控制上述作业机虚像的显示位置。

(11)根据(9)或(10)所述的投影型显示装置的控制方法,其中,在上述显示控制步骤中,基于由上述作业计划信息指定的上述位置与通过上述检测步骤检测到的上述位置之差控制上述作业机虚像的显示尺寸。

(12)根据(9)~(11)中任一项所述的投影型显示装置的控制方法,其中,在上述显示控制步骤中,当由上述作业计划信息指定的上述方向与通过上述检测步骤检测到的上述方向之差为阈值以上时,使指示上述驾驶室的方向的变更的信息取代上述作业机虚像而显示于上述投影显示部。

(13)根据(9)~(12)中任一项所述的投影型显示装置的控制方法,其中,上述投影型显示装置的控制方法还包括重叠判定步骤,判定由上述投影显示部显示的上述作业机虚像与上述作业机在从上述驾驶室的驾驶员座观察时是否重叠,在上述显示控制步骤中,当通过上述重叠判定步骤判定为上述作业机虚像与上述作业机重叠时,向上述驾驶室内的操作者通知上述作业机已成为最佳姿势。

(14)根据(13)所述的投影型显示装置的控制方法,其中,在上述显示控制步骤中,当通过上述重叠判定步骤判定为上述作业机虚像与上述作业机重叠时,使用于向上述驾驶室内的上述操作者通知上述作业机已成为上述最佳姿势的通知信息显示于上述投影显示部。

(15)根据(13)所述的投影型显示装置的控制方法,其中,在上述显示控制步骤中,当通过上述重叠判定步骤判定为上述作业机虚像与上述作业机重叠时,利用声音向上述驾驶室内的操作者通知上述作业机已成为上述最佳姿势。

(16)根据(9)~(15)中任一项所述的投影型显示装置的控制方法,其中,在上述显示控制步骤中,在使上述作业机虚像显示的情况下,还使用于指示上述作业机的操作内容的信息显示于上述投影显示部。

(17)一种投影型显示装置的控制程序,上述投影型显示装置搭载在交通工具上,上述交通工具具有可动的作业机、以及安装上述作业机且具有驾驶室的主体部,其中,上述投影型显示装置具有:光调制部,其基于输入的图像信息对从光源出射的光进行空间调制;以及投影显示部,其将利用上述光调制部进行空间调制而得到的图像光投影到搭载于上述驾驶室的投影面上并显示基于上述图像光的虚像,上述投影型显示装置的控制程序用于使计算机执行:检测步骤,检测上述交通工具的位置及上述驾驶室的方向;以及显示控制步骤,根据指定存储于存储部的上述交通工具的位置、上述驾驶室的方向及上述作业机的姿势的作业计划信息和通过上述检测步骤检测到的上述位置及上述方向,使模拟上述作业机的作业机虚像显示于上述投影显示部。

产业上的可利用性

根据本发明,能够提高具有建筑机械或农用机械等这样的作业机的交通工具的作业效率。

符号说明

1建筑机械

2下部行驶体

3上部回转体

4前作业部

4a铲斗

5驾驶室

6驾驶员座

10hud

11前挡风玻璃

11a投影范围

14方位传感器

15gps接收机

40光源单元

40a光源控制部

41rr光源

41gg光源

41bb光源

42r、42g、42b准直透镜

43二向色棱镜

44光调制元件

45驱动部

46投影光学系统

47扩散板

48反射镜

49放大镜

50投影显示部

60系统控制部

61检测部

62重叠判定部

63显示控制部

70存储部

80传感器组

101a、101c、101d、101e、101f,101g、101h铲斗虚像

103、104、105、106、111、112、122、124文本图像

102旋转箭头图像

113图像

121、123箭头图像

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1