抬头显示器的制作方法

[0001]
本发明涉及抬头显示器(head－up display：hud)。


背景技术：

[0002]
在专利文献1中，公开了一种车载用显示系统，该车载用显示系统“具备：影像投影部，向观察者的单眼投影包含具有显示目标对象的影像的光束；以及角度信息获取部，获取所述观察者搭乘的车辆的姿势以及方位中的至少任意一个与角度有关的车辆角度信息以及与所述车辆的外界背景中的所述显示目标对象的目标的位置处的背景物的角度有关的外界角度信息中的至少任意一个信息，所述影像投影部根据由所述角度信息获取部获取到的所述车辆角度信息以及所述外界角度信息中的至少任意一个信息，使所述显示目标对象在所述影像内的角度变化(摘要摘录)”。
[0003]
现有技术文献
[0004]
专利文献
[0005]
专利文献1：日本特开2010-156608号公报


技术实现要素：

[0006]
在由普通的单镜头摄像机进行的感测中，以在道路上绘制的平行的白线看起来交叉的点(消失点)为基准，根据距消失点的高度(角度)来计算，从而推测距离。该计算以视野内的全部道路为相同的高度为前提，所以当将上述高度的计算方法应用于如在前方具有坡度那样的并非平坦的路面时，不仅包括距消失点的距离，还包括基于坡度的路面的高度。因此，坡度路面的坐标是对根据消失点而计算出的高度加上基于坡度的路面的高度而得到的，在坡度路面的坐标中产生不小的误差。因而，为了进行与前方路面的形状相匹配的ar显示，需要路面的三维坐标，但仅凭单镜头摄像机的话，只能针对平坦的路面准确地计算坐标，所以存在无法进行沿着路面的坡度的ar显示这样的课题。
[0007]
本发明是鉴于上述实际情况而完成的，其目的在于提供能够更适合地进行针对坡度路面的ar显示的hud。
[0008]
为了解决上述课题，本发明具备权利要求书所记载的结构。如果举出一个例子，则是一种抬头显示器，将包含显示目标对象的影像光照射到被投射构件，将所述显示目标对象作为虚像而显示，所述抬头显示器的特征在于，具备：影像显示装置，包括光源以及显示面，输出从所述光源产生的光透射显示于所述显示面的显示目标对象而生成的影像光；虚像光学系统，将所述影像光进行放大投射；以及主控制装置，连接于所述影像显示装置，所述主控制装置根据由搭载于配备有所述抬头显示器的交通工具的路面检测传感器检测到的、处于位于所述交通工具的行进方向前方的前方路面上的多个测量点，获取所述前方路面的路面信息，使用所述路面信息来运算虚像面位置，该虚像面位置是用于在显示所述显示目标对象的虚像的虚像面中沿着所述前方路面使所述虚像显示的所述虚像的显示位置，运算与所述虚像面位置对应的所述显示面的显示位置，对所述影像显示装置输出用于使所
述显示目标对象显示于该显示面的显示位置的控制信号。
[0009]
根据本发明，能够提供能够更适合地进行针对坡度路面的ar显示的hud。此外，上述以外的课题、结构以及效果通过以下的实施方式的说明变清楚。
附图说明
[0010]
图1是hud的概略结构图。
[0011]
图2是hud的系统结构图。
[0012]
图3是示出由hud进行的虚像显示处理的流程的流程图。
[0013]
图4a是示出前方路面的推测处理的概要的图(y－z平面)。
[0014]
图4b是示出前方路面的推测处理的概要的图(x－y平面)。
[0015]
图5是示出想要描绘显示目标对象的实空间中的3维位置的图(y－z平面)。
[0016]
图6a是示出与接地面平行的显示目标对象的形状(图中左；基本形状)和与路面角度相应地使基本形状旋转的旋转后的显示目标对象的形状(图中右；旋转形状)的图。
[0017]
图6b是示出沿着前方路面使显示目标对象显示的状态的图(y－z平面)。
[0018]
图7是示出为了沿着前方路面使旋转后的显示目标对象的虚像显示而在虚像面使虚像显示的位置(虚像面位置p
”’
oi
)的图(y－z平面)。
[0019]
图8是示出虚像面位置与显示元件的显示面上的位置的位置关系的图。
[0020]
图9是示出对没有坡度变化的前方路面进行了ar显示的例子的图。
[0021]
图10是示出针对有坡度变化的前方路面不考虑坡度地进行了ar显示的例子的图。
[0022]
图11是示出针对有坡度变化的前方路面考虑坡度地进行了ar显示的例子的图。
[0023]
图12a是示出用lidar系统观察障碍物时的状态的图。
[0024]
图12b是示出用摄像机坐标系观察与图12a相同的障碍物时的状态的图。
[0025]
图13a是示出从摄像机坐标上的路面位置变换为摄像机投影面上的位置的处理的图。
[0026]
图13b是示出从摄像机投影面变换为图像的位置的处理的图。
[0027]
图14是示出障碍物的虚像面位置的图(y－z平面)。
[0028]
图15a是示出不考虑前方路面的坡度地对障碍物进行了ar显示的例子的图。
[0029]
图15b是示出考虑前方路面的坡度地对障碍物进行了ar显示的例子的图。
[0030]
图16是示出求出第3实施方式的显示目标对象的实空间上的高度的处理的图。
[0031]
图17是第4实施方式的hud的系统结构图。
[0032]
符号说明
[0033]
1：hud；20：hud控制装置(主控制装置)；60：lidar；70：摄像机；80：gps接收机；100：虚像面；101：虚像；200：接地面；210：前方路面。
具体实施方式
[0034]
以下，根据附图，详细地说明本发明的实施方式。此外，在用于说明实施方式的所有图中，原则上对相同构件附加相同的符号，省略其重复的说明。在以下所示的各实施方式中，作为搭载有抬头显示器(hud)的交通工具，以汽车为例子进行说明，但交通工具也可以为如电车、液压挖掘机那样的作业机械。另外在本实施方式中，作为交通工具，以车辆为例
子，所以行驶体为车轮，而在为电车的情况下可以为轮子，在为作业机械的情况下，可以为履带。
[0035]
<第1实施方式>
[0036]
参照图1以及图2，说明本实施方式的hud1的结构。图1是hud1的概略结构图。图2是hud1的系统结构图。
[0037]
如图1所示，hud1配备于车辆2所具备的仪表板4内。仪表板4具备用于使从hud1射出的影像光l通过的仪表板开口部7。影像光l由车辆2的挡风玻璃3反射而入射到驾驶员5的眼睛。驾驶员5在比挡风玻璃3更靠前方对由该影像光l形成的箭头显示目标对象的虚像101进行视觉辨认。此外，被投射构件不限于挡风玻璃3，只要为投射影像光l的构件，也可以使用合成器等其它构件。
[0038]
hud1构成为包括外装框体50、安装于外装框体50的hud控制装置20以及影像显示装置30、以及将从影像显示装置30射出的影像光l进行放大投影的虚像光学系统40。
[0039]
在外装框体50的上表面形成作为影像光l的出射口的框体开口部51。框体开口部51由用于防止尘土、灰尘侵入到外装框体50的防眩板52覆盖。防眩板52由使可见光透射的构件构成。
[0040]
影像显示装置30使用lcd(liquid crystal display，液晶显示器)来构成。更详细而言，影像显示装置30形成为包括光源31、照明光学系统32以及射出包含显示目标对象的影像光l的显示元件33(参照图2)。照明光学系统32配置于光源31以及显示元件33之间，将从光源31射出的光引导到显示元件33。
[0041]
虚像光学系统40构成为从靠近影像显示装置30的位置起依次沿着影像光l的出射方向配置透镜单元43和凹面镜41。进而，本实施方式的虚像光学系统40包括使凹面镜41旋转的凹面镜驱动部42。在图1中，虽然未图示，但也可以在透镜单元43与凹面镜41之间设置使影像光l的光路折返的折返镜。折返镜为使从透镜单元43射出的影像光l朝向凹面镜41反射的镜子。当追加折返镜时，能够使影像光l的光路长变得更长，使虚像面100更靠前方显示。在图1中，在虚像面100，作为显示目标对象而显示表示左转的箭头显示目标对象的虚像101。
[0042]
透镜单元43为透镜的集合体，该透镜的集合体包括用于调整凹面镜41与影像显示装置30的光学距离的至少一个以上的透镜。
[0043]
凹面镜41为使透射透镜单元43的影像光l朝向框体开口部51反射的构件。由凹面镜驱动部42使凹面镜41转动。凹面镜驱动部42例如使用镜旋转轴和使该镜旋转轴旋转的马达来构成，将马达的旋转传递给凹面镜41的镜旋转轴，从而凹面镜41旋转，改变影像光l的反射角度，朝向挡风玻璃3反射。其结果，使影像光l的投射方向变化，挡风玻璃3中的影像光l的反射角度发生变化。由于影像光l的反射角度发生变化，所以虚像面100(参照图7)自身的高度发生变化。
[0044]
本实施方式的hud1的特征点在于，沿着位于车辆2的行进方向前方的前方路面210(参照图4a)的坡度，使显示目标对象作为虚像而进行ar(augmented reality，增强现实)显示。因此，hud1调整在虚像面100(参照图7)显示虚像101时的距前轮6以及后轮的接地面200的高度(为实空间中的高度。以下，称为“显示目标对象高度”)。在本实施方式中，当通过变更虚像面100内的虚像101的显示位置(以下，称为“虚像面位置”)，从而实现显示目标对象
高度的调整，此外，改变凹面镜41的角度而虚像面100自身的高度发生变化时，当在不同的高度的虚像面100在相同的虚像面位置处显示虚像101的情况下，显示目标对象高度偏离虚像面100自身的高度差量。以下，为了便于说明，以虚像面100自身不发生变化，即凹面镜41的角度不发生改变为前提进行说明。
[0045]
在车辆2的前表面，设置作为路面检测传感器的lidar(light detection and ranging，光检测和测距)60。此外，图1所示的lidar60的设置位置、高度是一个例子，也可以为不同的设置位置、高度。
[0046]
在挡风玻璃3的上部车内侧设置作为障碍物检测传感器的摄像机70，在仪表板4上设置作为位置计算传感器的gps(global positioning system，全球定位系统)接收机80。此外，图1所示的摄像机70的设置位置仅仅是一个例子，也可以设置于车外。另外，gps接收机80的设置位置也仅仅是一个例子，不限定于仪表板4上。
[0047]
如图2所示，在车辆2中，自动驾驶系统900与hud1经由车载网络(can：control area network，控制区域网)90连接。
[0048]
自动驾驶系统900主要包括行驶驱动装置400、行驶控制装置500、路面推测装置600、图像处理装置700以及导航装置800。行驶驱动装置400包括引擎控制装置410、转向马达420以及制动器430。行驶控制装置500经由can90从路面推测装置600、图像处理装置700以及导航装置800分别获取路面信息、障碍物信息、地图信息、导航信息，将用于使用这些信息来进行自动驾驶的控制信号、例如引擎控制信号、操舵角信号以及制动信号输出到行驶驱动装置400。
[0049]
运算表示前方路面210的推测公式的处理(路面推测处理)也可以由hud1执行，但在本实施方式中，作为例子而说明了由作为自动驾驶系统900的一个构成要素的路面推测装置600根据来自lidar60的测量点数据来运算前方路面210的平面的推测公式并将包含该推测公式的路面信息输出到hud1的情况。另外，作为例子说明了摄像机70、图像处理装置700、gps接收机80以及导航装置800也分别为自动驾驶系统900的一个构成要素、并且在hud1中被用于显示目标对象的虚像101的显示处理的情况。此外，也可以与路面推测装置600同样地，将摄像机70、gps接收机80等作为hud1的专用物品而构成。
[0050]
在第1实施方式中，lidar60测量直至前方路面210上的多个测量点(例如图4a中的测量点p1、p2、p3)为止的距离以及位置，生成测量点数据，路面推测装置600运算用实空间中的3轴正交坐标系对包括这些测量点数据的平面进行定义的推测公式。然后，将该推测公式作为路面信息而输出到hud1。进而，路面推测装置600既可以运算前方路面210的平面相对于接地面200所成的角(路面角度θ
r
：参照图4a)，其还作为路面信息而输出到hud1，也可以是由hud控制装置20运算路面角度θ
r
。此外，在后述第3实施方式中，路面信息仅为路面角度θ
r
。
[0051]
上述“实空间中的3轴正交坐标系”由接地面200所包含的2轴正交坐标系(x－z坐标系)和与该2轴正交坐标系正交的y轴定义。x轴相当于车辆2的左右方向轴，z轴相当于沿着车辆2的行进方向的前后方向轴，y轴相当于以接地面200为基准的高度方向轴。
[0052]
另外，图像处理装置700根据来自摄像机70的输出(摄像图像)来探测位于车辆2的前方的障碍物，hud1获取表示其障碍物的种类以及位置的虚像显示对象物信息。
[0053]
进而，导航装置800根据来自gps接收机80的输出(gps电波)来计算车辆2的当前位
置，hud1获取车辆2的位置信息。
[0054]
hud控制装置20包括第1ecu(electric control unit，电子控制单元)21、经由系统总线而与该第1ecu21连接的第1非易失性存储器(rom)22、存储器(ram)23、光源调整部24、失真校正部25、显示元件控制部26、第1can通信部27以及凹面镜控制部28。第1can通信部27经由can90而分别与路面推测装置600、图像处理装置700以及导航装置800连接。光源调整部24连接于光源31，失真校正部25连接于显示元件控制部26，显示元件控制部26连接于显示元件33。进而，凹面镜控制部28连接于凹面镜驱动部42。
[0055]
路面推测装置600构成为连接第2ecu601、第2can通信部602以及lidar控制部603。第2ecu601的输入级连接于lidar60的输出级，lidar60的输出(测量点数据)被输入到第2ecu601。
[0056]
各测量点数据包括通过如下方式而得到的值：lidar60将激光照射到前方路面210，接收来自激光照射到前方路面210的地点(测量点)的反射波，根据接收到的反射波的光强度以及激光飞行时间而运算出直至测量点为止的距离以及位置。
[0057]
第2ecu601运算包括3个以上的测量点数据的平面的推测公式以及该平面与接地面200所成的角(路面角度θ
r
)，将其运算结果作为路面信息而从第2can通信部602发送到hud控制装置20。
[0058]
第2ecu601的输出级经由lidar控制部603连接于lidar60的输入级。第2ecu601经由lidar控制部603将控制信号输出到lidar60。
[0059]
图像处理装置700构成为连接第3ecu701、第3can通信部702以及摄像机控制部703。第3ecu701的输入级连接于摄像机70的输出级，摄像机70所生成的摄像图像被输入到第3ecu701。第3ecu701对摄像图像进行图像识别处理，判断在被拍摄体中是否包括虚像显示对象物、例如前进道路显示对象物、障碍物。然后，在被拍摄体为虚像显示对象物的情况下，将表示其种类和位置的虚像显示对象物信息从第3can通信部702发送到hud控制装置20。
[0060]
第3ecu701的输出级经由摄像机控制部703连接于摄像机70的输入级。第3ecu701经由摄像机控制部703将控制信号输出到摄像机70。
[0061]
导航装置800构成为连接第4ecu801、第4can通信部802以及第4非易失性存储器803。第4ecu801的输入级连接于gps接收机80，第4ecu801根据gps接收机80接收到的gps电波来运算车辆2的当前位置，将位置信息从第4can通信部802发送到hud控制装置20。另外，第4ecu801也可以运算车辆2到目的地为止的路径，将路径信息发送到hud控制装置20。将位置信息、路径信息总称为前进道路信息。
[0062]
第4ecu801的输出级还连接于第4非易失性存储器803，沿时间序列积蓄位置信号。第4ecu801也可以读出过去的位置信息，求出位置信息的时间序列变化，从而计算车辆2的行进方向。另外，第4ecu801也可以根据过去的位置信息来执行航位推算处理，使用其结果对根据gps电波而求出的当前位置进行校正，将校正后的当前位置输出到hud控制装置20。第4非易失性存储器803也可以保存地图信息。
[0063]
行驶控制装置500包括第5ecu501以及第5can通信部502。然后，第5ecu501经由can90从第5can通信部502获取路面信息、虚像显示对象物信息、前进道路信息，输出针对行驶驱动装置400的控制信号。另外，也可以将警报器450连接于行驶控制装置500。然后，第
5ecu501也可以使用虚像显示对象物信息来执行碰撞可能性判定处理，在存在碰撞的危险性的情况下，对警报器450输出警报信号。在该情况下，也可以使由警报器450进行的警报发报与后述hud1针对障碍物的虚像显示同步。上述光源调整部24、失真校正部25、显示元件控制部26、凹面镜控制部28、lidar控制部603、摄像机控制部703的各个部分、以及在后述第4实施方式中使用的扫描镜控制部26a既可以以使cpu、mpu等运算元件与该运算元件执行的程序协调的方式构成，也可以作为实现各部分的功能的控制电路而构成。另外，从第1can通信部27至第5can部502为止的各通信部是将用于与can90连接的通信器、通信接口、驱动软件适当地进行组合而构成的。
[0064]
图3是示出由hud1进行的虚像显示(ar显示)处理的流程的流程图。
[0065]
当hud1的主电源成为接通时(s01/是)，摄像机70开始摄像(s10)，由lidar60进行的路面测量开始(s20)，gps接收机80接收gps电波，开始由导航装置800获取前进道路信息(s30)。在hud1的主电源成为接通之前(s01/否)进行待机。
[0066]
图像处理装置700读入来自摄像机70的摄像图像，进行图像识别处理(s11)。在此的图像识别处理是指检测映入到摄像图像的被拍摄体，识别该被拍摄体是否为由hud1当作虚像显示对象物的被拍摄体的处理。第1实施方式的虚像显示对象物设为前进道路显示对象物。因而，第3ecu701判定作为被拍摄体的前进道路显示对象物、例如前方路面、交叉点、分岔点、汇合点、拐角中的至少一个是否映入到摄像图像，在拍摄到的情况下，将虚像显示对象物信息输出到can90。
[0067]
路面推测装置600从lidar60获取测量点数据，推测前方路面(s21)。然后，将前方路面210相对于车辆2的接地面200的路面信息输出到hud控制装置20。
[0068]
导航装置800根据来自gps接收机80的gps电波，生成包含车辆2的当前位置以及行进方向的前进道路信息，输出到hud控制装置20。
[0069]
hud控制装置20当根据虚像显示对象物信息而判断为有虚像显示对象物时(s40/是)，运算路面推测装置600推测出的前方路面210相对于接地面200的路面角度θ
r
(s41)。路面角度θ
r
(参照图4)与前方路面210相对于接地面200的坡度意思相同。
[0070]
然后，hud控制装置20根据在步骤s41中求出的路面角度θ
r
，计算显示目标对象的实空间上的高度(s42)。另外，hud控制装置20计算用于沿着具有坡度的前方路面210使显示目标对象的虚像101(参照图1)显示的显示目标对象旋转角(s43)。显示目标对象旋转角的详细内容将在后面叙述。
[0071]
进而，hud控制装置20根据在步骤s41中求出的坡度，计算作为在虚像面100使显示目标对象的虚像101显示的位置的虚像面位置p
”’
oi
(参照图7)(s44)。各步骤的处理内容的详细内容将在后面叙述。
[0072]
之后，hud控制装置20将显示目标对象显示于与虚像面位置p
”’
oi
相当的显示元件33的显示面上的位置，射出影像光l，将显示目标对象作为虚像101而显示(相当于ar显示)(s45)。该虚像101显示于驾驶员5观察虚像显示对象物的视线与虚像面100的交点上，所以能够使显示目标对象与虚像显示对象物(例如路面、障碍物)重叠或者接近地进行ar显示。
[0073]
如果hud1的电源不为关断(s46/否)，则返回到步骤s10、s20以及步骤s30，继续进行处理。另一方面，当hud1的电源成为关断时(s46/是)，结束处理。
[0074]
(步骤s21：前方路面推测处理)
[0075]
图4a是示出前方路面210的推测处理的概要的图(y－z平面)，图4b是示出前方路面210的推测处理的概要的图(x－y平面)。图4a、图4b中的x轴、y轴、z轴的各轴为构成已说明的实空间中的3轴正交坐标系的各轴。该3轴正交坐标系的原点处于车辆2的最前方的路面、也就是说使接地面200无限远地延长的面上。
[0076]
将由lidar60测定出的前方路面210在3维实空间上的测量点设为p
i
(i＝1、2、3、
…
)。测量点p
i
的坐标由(x
i
，y
i
，z
i
)构成。图4a、图4b示出3个测量点p1、p2、p3。当将包括各测量点p1、p2、p3的平面a设为ax+by+cz＝d时，a、b、c、d能够通过下式(1)来计算。
[0077]
[数学式1]
[0078][0079]
其中，p
12
为由p1和p2构成的矢量，p
13
为由p1和p3构成的矢量。
×
表示外积运算。
[0080]
(s41：前方路面210相对于接地面200的路面角度θ
r
的运算处理)
[0081]
z轴包含于接地面200，所以在图4a中，前方路面210相对于接地面200的倾斜度、即路面角度θ
r
能用与z轴所成的倾斜度表示。包括前方路面210的平面a的法线矢量为n＝(a，b，c)
t
，所以前方路面210的路面角度θ
r
能够通过以下的式(2)来计算。
[0082]
[数学式2]
[0083][0084]
(s42：显示目标对象在实空间上的高度)
[0085]
图5是示出想要描绘显示目标对象的实空间中的3维位置的图(y－z平面)。在图5中，显示目标对象120未沿着前方路面210，不考虑坡度而以与接地面200同样的形状显示。显示目标对象高度还能够使用路面角度θ
r
来求出，但在根据平面的推测公式而求出时更易于理解，所以以下，说明使用平面的推测公式来求出显示目标对象高度的处理。
[0086]
在图5中，当将想要描绘显示目标对象的实空间中的3维位置p
o
的进深方向的位置设为z
o
，将横向的位置设为x
o
，将高度方向的位置设为y
o
时，高度方向的位置y
o
能够根据平面a的推测公式，通过下式(3)来计算。
[0087]
[数学式3]
[0088][0089]
其中，将想要描绘显示目标对象的实空间中的3维位置设为p
o
＝(x
o
，y
o
，z
o
)。
[0090]
(s43：显示目标对象的旋转角计算)
[0091]
图6a是示出与接地面200平行的显示目标对象的形状(图中左；基本形状)和与路
面角度相应地使基本形状旋转的旋转后的显示目标对象的形状(图中右；旋转形状)的图。图6b是示出沿着前方路面210使显示目标对象120显示的状态的图(y－z平面)。
[0092]
如图6a所示，为了使显示于接地面200的显示目标对象120(基本形状)上的点p
oi
＝(x
oi
，y
oi
，z
oi
)
t
(i＝1、2、3、
…
)沿着以路面角度θ
r
倾斜的前方路面210而显示，通过下式(4)，根据路面角度θ
r
旋转而求出点p’oi
的坐标。点p’oi
为旋转后的显示目标对象120a上的各点。以下，设为显示目标对象120的虚像的重心处于原点。
[0093]
[数学式4]
[0094][0095]
通过本步骤，使用来自搭载于车辆2的lidar60的测量点数据，与前方路面210相对于接地面200的路面角度θ
r
相匹配地使显示目标对象120旋转。然后，如图6b所示，使旋转后的显示目标对象120a移动到前方路面210中的想要显示的位置p”oi
。此外，位置p”oi
为用实空间中的3轴正交坐标系表示的坐标。p”oi
的坐标能用下式(5)表示。
[0096]
[数学式5]
[0097][0098]
(s44：计算显示目标对象的虚像面位置)
[0099]
图7是示出为了沿着前方路面210使旋转后的显示目标对象120a的虚像显示而在虚像面100使虚像显示的位置(虚像面位置p
”’
oi
)的图(y－z平面)。当将实空间上的虚像面100设为ex+fy+gz＝h、将视点设为p
e
时，虚像面上的显示目标对象的位置p
”’
oi
通过下式(6)求出。视点p
e
在实空间中的3轴正交坐标系的坐标优选为车辆2的驾驶员5的实际的视点的坐标，但在本实施方式中，为了便于说明，使用固定值(例如，也可以为如视场范围(eyellipse：眼椭圆)的中心坐标那样的设计值)，预先提供视点p
e
在实空间中的3轴正交坐标。但是，作为其它方案，也可以将检测驾驶员5的视点的视点检测装置连接于hud1，使用由视点检测装置检测到的3轴正交坐标系定义的视点p
e
的坐标。
[0100]
[数学式6]
[0101][0102]
(s45：虚像显示)
[0103]
图8是示出虚像面位置与显示元件33的显示面33a上的位置的位置关系的图。后述的虚像面－显示面对应数据是指图8的关系性、即将虚像面中的x－z坐标与显示面内的s－t坐标关联起来的数据。
[0104]
包含虚像的影像光l通过使由从光源31射出的光透射显示元件33的显示面33a而生成。因而，虚像面100的面积也伴随影像光l扩散而扩大，但虚像面100内的显示位置(虚像面位置p
”’
oi
)和与该显示位置对应的显示元件33的显示面33a中的显示位置唯一地确定。
[0105]
因而，将显示目标对象显示于显示元件33的显示面33a，用显示面33a中的2轴正交坐标系(s－t坐标系)表示此时的显示位置p
””
oi
。另外，用实空间中的3轴正交坐标系中的
x－y坐标表示显示于显示位置p
””
oi
的显示目标对象的虚像被显示的虚像面位置p
”’
oi
的坐标。然后，生成将显示位置p
””
oi
的s－t坐标与虚像面位置p
”’
oi
的x－y坐标对应起来的虚像面－显示面对应数据。
[0106]
虚像面－显示面对应数据存储于由第1非易失性存储器22的一部分区域构成的校准数据存储部22a。
[0107]
然后，第1ecu21当通过式(6)求出虚像面位置p
”’
oi
时，参照虚像面－显示面对应数据，换算为显示面33a上的显示位置p
””
oi
。之后，第1ecu21将旋转后的显示目标对象120a和显示元件33上的显示位置p
””
oi
输出到失真校正部25。失真校正部25将进行了失真校正的旋转后的显示目标对象120a和显示面33a的显示位置p
””
oi
输出到显示元件控制部26。显示元件控制部26以使旋转后的显示目标对象120a显示于显示面33a的显示位置p
””
oi
的方式，驱动显示元件33。
[0108]
接着，第1ecu21对光源调整部24输出光源31的点亮指示，光源调整部24使光源31点亮。由此，从光源31发出出射光，包含显示于显示面33a的显示位置p
””
oi
的显示目标对象的影像光l从hud1射出。然后，利用该影像光l，将旋转后的显示目标对象120a作为虚像而显示于虚像面100的位置p
”’
oi
。此外，图8的虚像面－显示面对应数据表示凹面镜41为某个角度、例如φ1的情况下的数据例子。当凹面镜角度φ
i
发生改变时，即使虚像面100的位置p
”’
oi
相同，与其对应的显示面33a中的显示目标对象的显示位置也发生改变。例如虚像面100的位置p
”’
oi
在凹面镜角度为φ1的情况下，能用p
””
oi
的s－t坐标系表示为(s
a1
，t
a1
)，在凹面镜角度为φ2的情况下能表示为(s
a2
，t
a2
)。因而，预先在校准数据存储部22a保存有多个与凹面镜角度φ
i
相应的虚像面－显示面对应数据
i
，第1ecu21参照控制输出到凹面镜控制部28的凹面镜角度φ
i
的信号，读出虚像面－显示面对应数据
i
，运算显示面33a中的显示目标对象120a的显示位置。
[0109]
根据图9～图11，进行基于与现有技术的比较的效果说明。
[0110]
图9是示出对没有坡度变化的前方路面进行了ar显示的例子(以往例子)的图。在图9中表示行进方向的箭头沿着处于与接地面200相同的平面上的前方路面显示。
[0111]
图10是示出针对有坡度的前方路面210而不考虑坡度地进行了ar显示的例子的图。前方路面210相对于接地面200有上坡坡度，前方路面210存在于在实空间中比接地面200高的位置。当对该前方路面210不考虑坡度地进行ar显示时，箭头的显示目标对象看起来像是向前方路面210刺入或者刺穿。
[0112]
图11是示出针对有坡度变化的前方路面考虑坡度地进行了ar显示的例子(相当于本实施方式)的图。如图11所示，当针对有坡度变化的前方路面210考虑坡度(路面角度θ
r
)地改变显示目标对象的显示高度、且使显示目标对象旋转地显示时，不会看起来像是向前方路面210刺入或者刺穿，而是能够沿着前方路面210使箭头的显示目标对象显示。
[0113]
根据本实施方式，使用来自lidar60的输出，求出前方路面210的路面角度θ
r
，使用路面角度θ
r
使显示目标对象的基本形状旋转。进而，求出用于沿着前方路面210的坡度而显示的显示目标对象高度，计算实现它的显示目标对象的虚像面位置。然后，将旋转后的显示目标对象显示于与虚像面位置p
”’
oi
对应的显示面33a上的显示位置p
””
oi
，射出影像光l，从而即使前方路面210相对于接地面200具有坡度，相比于以往例子，也能够使显示目标对象沿着前方路面210显示。
[0114]
另外，在本实施方式中，使用搭载于车辆2的lidar60的输出来测量前方路面210相对于接地面200的路面角度θ
r
，根据该路面角度θ
r
来变更显示目标对象的显示位置以及旋转角度，但还被认为即使不使用该结构，而使用高精度地图的道路形状信息也能够实现。但是，根据地图的更新频度，有可能道路状态与地图信息不一致，在从制作出地图信息的时间点至当前时间点为止道路状态、道路坡度发生变化的情况下，有可能无法获取当前状况下的正确的道路形状信息。相对于此，根据本实施方式，依次获取道路形状信息，从而能够实时追踪道路状态、道路坡度而进行ar显示，所以例如能够抑制虚像刺穿地显示于前方路面210这样的没有现实感的ar显示，进行更符合现实情景的ar显示。
[0115]
<第2实施方式>
[0116]
第2实施方式的特征点在于，虚像显示对象物为步行者、车辆等障碍物。在由图像处理装置700检测到步行者、车辆等障碍物的情况下，能够使用摄像机投影面上的位置以及路面信息来推测检测到的障碍物的3维坐标，所以能够高精度地进行ar显示。
[0117]
在第2实施方式中，与第1实施方式相比，其特征在于以下的3个处理。
[0118]
(处理1)由lidar60获取到的路面信息与摄像机70的摄像图像的对应关联
[0119]
(处理2)获取在摄像图像上存在检测到的障碍物(虚像显示对象物的一个例子)的测量点
[0120]
(处理3)沿着包括附近的测量点的平面而显示对障碍物附加的显示目标对象的虚像
[0121]
(关于处理1)
[0122]
该处理1为开始图3的处理以前执行的处理，为如下处理：在距车辆2的距离为已知的位置处设置已知大小的被拍摄体，由摄像机70以及lidar60分别测量，将摄像图像所拍摄到的被拍摄体与由lidar60检测到的被拍摄体上的测量点的位置对应起来，从而生成将摄像机坐标系的坐标与实空间的3轴正交坐标系的坐标关联起来的摄像机-实空间对应数据。
[0123]
摄像图像所拍摄到的被拍摄体用摄像机坐标系的2维坐标表示。因而，当lidar60测量出处于同一被拍摄体上的测量点时，能够得到各测量点的实空间上的3轴正交坐标系的坐标，所以能够得到将3轴正交坐标系的坐标与摄像机坐标系的2维坐标关联起来的摄像机-实空间对应数据。由此，能够使用摄像机-实空间对应数据来鉴别用映入到摄像图像的被拍摄体的摄像机坐标系表示的2维坐标和lidar60检测到的被检测体的3轴正交坐标，计算摄像图像的被拍摄体的3维坐标。
[0124]
摄像机-实空间对应数据存储于校准数据存储部22a，用于显示目标对象的虚像面位置的决定处理等。
[0125]
具体而言，在摄像机-实空间对应数据中，对应关联有由lidar60获取到的测量点数据(由x、y、z分量构成的点群p
l
)位于摄像机70的摄像图像的哪个像素。一般而言，摄像机70与lidar60的设置位置不同，所以考虑以摄像机位置为原点的摄像机坐标系和以lidar位置为原点的lidar坐标系。图12a、图12b示出处理1的概要。图12a示出用lidar坐标系观察障碍物650时的状态。图12b示出用摄像机坐标系观察与图12a相同的障碍物650时的状态。在图12a、图12b中，分别对坐标附加下标c和l。
[0126]
在图12a中，有由lidar60测定出的路面的3维位置p
li
(i＝1、2、3)。在图12b中，用摄像机坐标系表示3维位置p
ci
(i＝1、2、3)。
[0127]
当用平移矢量t表示lidar60的位置与摄像机70的位置的区别，用旋转矩阵r表示姿势的区别时，摄像机坐标系中的路面位置p
ci
能够通过下式(7)来计算。
[0128]
[数学式7]
[0129]
p
ci
＝rp
li
+t
···
(7)
[0130]
接下来，如图13a、图13b所示，将摄像机坐标上的路面位置pci变换为摄像机投影面上的位置p
pi
以及图像上的位置p
ii
(图13b)。当将摄像机70的焦点距离设为f时，摄像机投影面上的位置p
pi
能够如下式(8)那样计算。
[0131]
[数学式8]
[0132][0133]
进而，当将摄像机的图像传感器的宽度设为w
s
、将高度设为h
s
，将图像的宽度设为w
i
、将高度设为h
i
时，图像上的位置p
ii
能够如下式(9)那样计算。
[0134]
[数学式9]
[0135][0136]
(关于处理2)
[0137]
如图13b所示，在第2实施方式中，在步骤s11中，第1ecu21确认在摄像图像上的路面位置p
i1
、p
i2
、p
i3
之中是否存在障碍物p
iv
。第1ecu21在满足全部下式(10)～(12)的情况下，判断为在p
i1
、p
i2
、p
i3
之中存在障碍物p
iv
。
[0138]
[数学式10]
[0139]
(p_i3-p_i1)
×
(p_iv-p_i1)＜0
···
(10)
[0140]
(p_i2-p_i3)
×
(p_iv-p_i3)＜0
···
(11)
[0141]
(p_i1-p_i2)
×
(p_iv-p_i2)＜0
···
(12)
[0142]
其中，在式(11)～式(13)中，
×
表示外积运算。
[0143]
(关于处理3)
[0144]
在满足上述(处理2)的情况下，第1ecu21在步骤s40中判断为在由p
l1
、p
l2
、p
l3
构成的平面a上存在障碍物。
[0145]
将摄像机原点与摄像机投影面上的障碍物位置p
pv
进行连结的直线与平面a的交点为障碍物在实空间上的位置p
cv
，所以第1ecu21通过下式(13)来计算在处理2中求出的障碍物在实空间上的位置p
cv
＝(x
cv
，y
cv
，z
cv
)。此外，在下式(13)中，p
pv
＝(x
pv
，y
pv
，z
pv
)表示摄像机投影面的障碍物的位置。
[0146]
[数学式11]
[0147][0148]
(s44：障碍物的虚像面位置)
[0149]
图14是示出障碍物的虚像面位置的图(y-z平面)。hud控制装置20的第1ecu21通过与已说明的步骤s44相同的方法来求出虚像面中的障碍物的位置。p
cv
为以摄像机位置为原点的障碍物位置，所以使用在(处理1)中求出的摄像机-实空间对应数据，将位置p
cv
变换为在(处理1)中决定的坐标系中的位置p
v
。当将摄像机坐标与在(处理1)中决定的坐标系的位置和朝向的区别设为平移矢量t2、旋转矩阵r2时，位置p
v
通过下式(14)来计算。
[0150]
[数学式12]
[0151]
p
v
＝r2p
cv
+t2···
(14)
[0152]
当将实空间上的虚像面100设为ex+fy+gz＝h、将视点设为p
e
时，虚像面100上的障碍物的位置p
′
v
通过下式(15)来求出。
[0153]
[数学式13]
[0154][0155]
根据第2实施方式，针对如障碍物那样不定期地出现并在地图信息中无法定义的对象物，也能够对显示目标对象进行ar显示。
[0156]
与以往例子进行比较，说明第2实施方式的ar显示效果。图15a是示出不考虑前方路面的坡度地对障碍物进行了ar显示的例子的图。图15b是示出考虑前方路面的坡度地对障碍物进行了ar显示的例子的图。
[0157]
在不考虑坡度的情况下，如图15a所示，由前方车辆构成的障碍物650和显示目标对象660分离地显示。相对于此，根据本实施方式，如图15b所示，能够使显示目标对象660与障碍物650接近地显示。在图15b中只是接近，但还能够与障碍物650重叠。
[0158]
<第3实施方式>
[0159]
在第1实施方式中，根据用3轴正交坐标系表示的前方路面的推测公式而求出显示目标对象在实空间上的高度，但也可以使用前方路面210相对于3轴正交坐标中的x-z轴(车轮接地面)的坡度(路面角度θ
r
)，求出显示目标对象在实空间上的高度。图16是示出求出第3实施方式的显示目标对象在实空间上的高度的处理的图。
[0160]
在图16中，将表示前方路面210的平面的公式设为ax+by+cz＝d。关于平面与接地面200的交线上的位置x0的点(x0，0，z’)，能够根据ax0+0+cz’＝d，通过下式(16)来表示。
[0161]
[数学式14]
[0162][0163]
接下来，显示目标对象在实空间上的高度y0通过下式(17)来求出。
[0164]
[数学式15]
[0165][0166]
<第4实施方式>
[0167]
在第1～3实施方式中，使用了利用lcd的影像显示装置30，但也可以为使用了mems(micro electro mechanical systems：微机电系统)的影像显示装置300。图17是第4实施方式的hud的系统结构图。
[0168]
图17所示的hud1a使用利用了mems的影像显示装置300来构成。mems包括：激光光源301；扫描镜302以及扫描镜驱动部(马达)302a，所述扫描镜302反射激光，所述扫描镜驱动部(马达)302a改变扫描镜302的镜面的角度；扩散板303，使用了微透镜阵列；以及继电器光学系统304，输入来自扩散板303的影像光，向凹面镜41射出。继电器光学系统304为代替图2的透镜单元43的构件。
[0169]
激光光源301照射的激光由扫描镜302反射，到达扩散板303。扫描镜302一边改变反射角度，一边将激光照射到扩散板303。在扩散板303中激光一次成像，成为能够视觉辨认显示目标对象的状态。因而，扩散板303相当于显示面33a。从扩散板303朝向继电器光学系统304的光包含成像的显示目标对象的影像信息，所以相当于影像光l。
[0170]
hud1a所具备的hud控制装置20a不具备第1实施方式的hud控制装置20的显示元件控制部26，而具备扫描镜控制部26a。光源调整部24连接于激光光源301，进行亮灭控制以及光量调整。
[0171]
扫描镜控制部26a对扫描镜驱动部302a进行驱动控制，使扫描镜302旋转地改变镜面的朝向。由此，在扩散板303中显示目标对象被显示的位置发生改变。
[0172]
进而，hud控制装置20a具备输入i/f27a。lidar60、摄像机70以及导航装置800分别连接于输入i/f27a。第1ecu21经由输入i/f27a获取lidar60、摄像机70以及导航装置800的各输出，进行路面推测处理以及障碍物探测等图像处理，实现与第1实施方式同样的ar显示。
[0173]
另外，hud控制装置20a也可以经由can90获取车辆信息，例如从速度传感器950获取行驶速度而进行ar显示。
[0174]
根据本实施方式，在使用了mems的影像显示装置300中，也能够进行与前方路面的坡度相匹配的ar显示。另外，即使是不如第1实施方式那样搭载自动驾驶系统900的车辆，通过将各种传感器安装于hud1a，也能够进行与前方路面的坡度相匹配的ar显示。
[0175]
上述各实施方式并不限定本发明，在不脱离本发明的要旨的范围中的各种变更方案属于本发明的技术范围。例如，在各处理的说明中使用的计算公式仅仅是该处理的一个实施方式，也可以应用带来该处理所需的计算结果的其它计算公式。
[0176]
另外，路面检测传感器只要为能够检测直至前方路面210上的测量点为止的距离以及位置(车辆2的左右方向的位置)的传感器，就不限于lidar60，也可以为毫米波雷达、立
体摄像机。
[0177]
进而也可以不使用第1～第3实施方式的利用了lcd的影像显示装置30，而使用利用了mems的影像显示装置300。另外，也可以不使用第4实施方式的利用了mems的影像显示装置300，而使用利用了lcd的影像显示装置30。