显示控制装置、车辆、显示控制方法以及非暂时性计算机可读记录介质与流程

1.本公开涉及一种显示控制装置、车辆、显示控制方法以及显示控制程序。


背景技术：

2.在日本特开平3-148800号公报中，记载了一种如下的技术，即，通过拍摄单元来产生环境的影像，并且根据在导航系统中产生的导航数据而形成指示信号(例如，表示应当遵循的方向的箭头标记等)，并通过视频合并模块等从而使环境的影像与指示信号以重叠的方式显示在显示单元上。


技术实现要素：

3.发明所要解决的课题
4.但是，当在像日本特开平3-148800号公报这样，出于示出应当行进的道路、或者强调存在于行进方向的前方的物体等目的而使用hud(head-up display：平视显示器)装置的情况下，则需要使屏幕(如果是车辆，则为挡风玻璃)的前方的实像和投影到屏幕上的虚像(图像)以在用户看来无偏差的方式重叠在一起。
5.本公开的目的为，可获得一种能够以在用户看来图像和实像无偏差地重叠的方式进行显示的显示控制装置、显示装置、车辆、显示控制方法以及记录了显示控制程序的非暂时性计算机可读记录介质。
6.用于解决课题的方法
7.第一方式为，一种显示控制装置，包括：处理器；存储器，其与所述处理器连接，并对反射显示于显示器上的光的镜子的角度、和表示被显示在所述显示器上的图像的与外界相对应的虚拟的显示位置的纵深信息的对应关系进行存储，所述处理器被构成为，接受来自用户的输入，并根据已被接受的所述输入而对所述镜子的角度进行变更，且基于与角度变更后的所述镜子的角度相对应的所述纵深信息来对所述图像的显示位置进行调节，从而使显示于所述显示器上的图像进行显示。
8.在第一方式中，在存储器中存储有反射在ar(augmented reality：增强现实)-hud等显示装置上显示的光的镜子的角度、和表示能够在显示装置上显示的图像的沿着显示装置的纵深信息方向的位置的纵深信息之间的对应关系。并且，根据来自用户的输入而对镜子的角度进行变更，并使显示于显示器上的图像显示在基于与角度变更后的镜子的角度相对应的纵深信息而求出的显示位置上。由此，能够以在用户看来图像与实像无偏差地重叠的方式而在显示器上显示图像。
9.第二方式为，在第一方式所述的显示控制装置中，在所述存储器中，存储有与所述镜子的每个角度相对应的所述纵深信息，所述处理器被构成为，使用与所述角度变更后的所述镜子的角度建立了对应关系的所述纵深信息来对所述显示位置进行调节。
10.在第二方式中，图像的显示位置以与镜子的角度变更联动的方式而进行切换，从
而即使在接受了对镜子的角度进行变更的输入的情况下，也能够以在用户看来图像与实像无偏差地重叠的方式而在显示装置上显示图像。
11.第三的方式为，在第一方式所述的显示控制装置中，在所述存储器中，存储有与汇总了所述镜子的多个角度的每个组相对应的所述纵深信息，所述处理器被构成为，使用与所述角度变更后的所述镜子的角度所属于的组建立了对应关系的所述纵深信息来对所述显示位置进行调节。
12.在第三方式中，图像的显示位置以与跨镜子的角度的组的镜子的角度变更联动的方式而进行切换，从而即使在接受了对镜子的角度进行变更的输入的情况下，也能够以在用户看来图像与实像无偏差地重叠的方式而在显示装置上显示图像。
13.第四方式为，在第三方式所述的显示控制装置中，所述处理器被构成为，接受来自用户的追加的输入，并根据已被接受的所述追加的输入从而进一步对所述镜子的角度进行变更。
14.根据第四方式，即使在由于某些原因而使得在用户看来图像与实像偏离的情况下，也能够以在用户看来图像与实像无偏差地重叠的方式而在显示装置上显示图像。
15.第五方式为，在第一方式至第四方式中的任意一项所述的显示控制装置中，被存储于所述存储器中的所述纵深信息表示显示有所述图像的矩形范围的上边以及下边的外界中的虚拟位置。
16.根据第五方式，作为显示于显示器上的图像的显示位置，而能够求出图像的与所述纵深信息方向的位置相对应的沿着所述显示器的高度方向的位置。
17.第六方式为，一种车辆，其搭载有第一方式至第五方式中的任意一个方式所述的显示控制装置；所述显示器。
18.由于搭载有第一方式至第五方式中的任意一个方式所涉及的显示控制装置，因此与第一方式至第五方式同样地，能够以在用户看来图像与实像无偏差地重叠的方式而在显示器上显示图像。
19.第七方式为，一种显示控制方法，其中，在存储器中，对反射显示于显示器上的光的镜子的角度、和表示被显示在所述显示器上的图像的与外界相对应的虚拟的显示位置的纵深信息的对应关系进行存储，通过处理器，从而接受来自用户的输入，并根据已被接受的所述输入而对所述镜子的角度进行变更，且基于与角度变更后的所述镜子的角度相对应的所述纵深信息来对所述图像的显示位置进行调节，从而使显示于所述显示器上的图像进行显示。
20.根据第七方式，与第一方式同样地，能够以在用户看来图像与实像无偏差地重叠的方式而在显示装置上显示图像。
21.第八方式为，一种非暂时性计算机可读记录介质，其上记录有在存储器中存储了反射显示于显示器上的光的镜子的角度和表示被显示在所述显示器上的图像的与外界相对应的虚拟的显示位置的纵深信息的对应关系的状态下，使处理器执行如下处理的显示控制程序，其中，所述处理包括如下内容，即，接受来自用户的输入，并根据已接受的所述输入从而对所述镜子的角度进行变更，且基于与角度变更后的所述镜子的角度相对应的所述纵深信息来对所述图像的显示位置进行调节，从而使显示于所述显示器上的图像进行显示。
22.根据第八方式，与第一方式同样地，能够以在用户看来图像与实像无偏差地重叠
的方式而在显示装置上显示图像。
23.发明效果
24.本公开能够以在用户看来图像与实像无偏差地重叠的方式在显示装置上显示图像。
附图说明
25.图1为表示第一实施方式所涉及的显示控制装置的结构的一个示例的框图。
26.图2为显示控制ecu的cpu的功能框图。
27.图3为表示ar-hud的结构的一个示例的框图。
28.图4为表示显示控制ecu中的处理的一个示例的流程图。
29.图5a为表示用户的眼睛的高度较高的情况下的ar-hud的显示框的一个示例的说明图。
30.图5b为对用户的眼睛的高度较高的情况下的用户的眼睛的高度与眼动范围(eye box)之间的关系进行例示的说明图。
31.图5c为表示用户的眼睛的高度为中等程度的情况下的ar-hud的显示框的一个示例的说明图。
32.图5d为对用户的眼睛的高度为中等程度的情况下的用户的眼睛的高度与眼动范围之间的关系进行例示的说明图。
33.图5e为表示用户的眼睛的高度较低的情况下的ar-hud的显示框的一个示例的说明图。
34.图5f为对用户的眼睛的高度较低的情况下的用户的眼睛的高度与眼动范围之间的关系进行例示的说明图。
35.图6a为表示用户的眼睛的高度较低的情况下的ar-hud的显示的一个示例的说明图。
36.图6b为对用户的眼睛的高度较低的情况下的镜子角度与用户的眼睛的高度之间的关系进行例示的说明图。
37.图6c为表示用户的眼睛的高度为中等程度的情况下的ar-hud的显示的一个示例的说明图。
38.图6d为表示用户的眼睛的高度为中等程度的情况下的镜子角度与用户的眼睛的高度之间的关系的说明图。
39.图6e为表示用户的眼睛的高度较高的情况下的ar-hud的显示的一个示例的说明图。
40.图6f为对用户的眼睛的高度较高的情况下的镜子角度与用户的眼睛的高度之间的关系进行例示的说明图。
41.图7为示出了用户的眼睛的位置的高度、表示用户的视线与路面交叉的位置的纵深信息、和用户的视线的中心俯角之间的关系的说明图。
42.图8为使用镜角、ep高度、俯角、以及纵深信息的对应表来分别对显示框的位置以及显示图像的透视(perspective)进行调节的情况下的说明图。
43.图9为在第二实施方式中，使用步数、镜角、ep高度、俯角、以及纵深信息的对应表
来分别对显示框的位置、以及显示图像的透视进行调节的情况下的说明图。
具体实施方式
44.以下，参照附图来对本公开的实施方式的一个示例进行详细地说明。
45.〔第一实施方式〕
46.图1为，表示本实施方式所涉及的显示控制装置100的结构的一个示例的框图。显示控制装置100为，被搭载在车辆上并对作为显示器的ar-hud30的显示进行控制的装置，并且包括显示控制ecu(electronic control unit：电子控制单元)10、和取得与车辆周边的状况相关的信息的周边状况取得器件组50、和ar-hud30。
47.显示控制ecu10具备作为硬件处理器的一个示例的cpu(central processing unit：中央处理器)12、存储器14、通信接口(i/f)16以及作为存储器的一个示例的储存器18，cpu12、存储器14、通信i/f16以及储存器18经由地址总线、数据总线以及控制总线等各种总线而被相互连接在一起。在通信i/f16上，连接有周边状况取得器件组50、和用户进行操作的ar-hud操作面板。
48.储存器18为对信息以及程序等进行存储的装置，例如为硬盘(hdd)、或者快闪存储器等非易失性的储存器。如图1所示那样，在储存器18中，作为一个示例而存储有用于对ar-hud30的显示进行控制的显示控制程序20、和对与用户的视线相应的ar-hud30的虚像的外界中的虚拟的显示位置进行规定的对应关系表22。在本实施方式中，通过将显示控制程序20在存储器14中展开并加载至cpu12而执行该程序，从而使cpu12如图2所示那样地作为显示控制器24而发挥功能。
49.周边状况取得器件组50包括：基于来自卫星的信息从而对本车位置进行定位的gps(global positioning system：全球定位系统)52、能够与车辆的外部的通信设备进行所谓的v2x(vehicle to everything：车联万物)通信的车载通信器54、基于由gps52定位的定位结果以及被存储在地图信息存储器58中的地图信息从而将车辆引导至目的地的导航系统56、从向车辆周围照射的电波(毫米波)的反射波中对车辆周围的障碍物等进行检测的雷达60、和取得车辆周围的图像信息的摄像机62等。
50.图2表示显示控制ecu10的cpu12的功能框图。对通过cpu12执行显示控制程序而被实现的功能进行说明。显示控制程序具备接受来自用户的图像的显示位置的指示的接受功能、以及参照储存器18的对应关系表22并根据来自用户的指示从而对ar-hud30的显示进行控制的显示控制功能。通过cpu12加载并执行具有这些各个功能的显示控制程序，从而使cpu12如图2所示那样作为显示控制器24以及接收器26而发挥功能。
51.图3为，表示ar-hud30的结构的一个示例的框图。ar-hud30具备将所生成的显示图像经由作为凹面镜的镜子36而投影到车辆的挡风玻璃40上的投影仪32、和对镜子36的角度进行变更从而变更显示图像的投影位置的镜角变更作动器34。在挡风玻璃40的车厢内侧表面上，实施能够显示半反射镜(half mirror)等的投影图像并且用户能够透过挡风玻璃40而对车辆之外的景象进行目视确认的处理。此外，镜角变更作动器34由步进电机等能够实施准确的定位控制的装置构成。
52.图4为，表示显示控制ecu10中的处理的一个示例的流程图。图4所示出的处理，例如在车辆的驾驶员座侧的车门被打开时开始实施。
53.在步骤400中，对有无检测出用户的乘车进行判断。对于有无用户的乘车而言，作为一个示例，对被设置于驾驶员座的座面等上的落座传感器是否检测出来了进行判断。落座传感器为，例如使用了压电元件等的对由用户的落座所产生的压力变化进行检测的传感器。在步骤400中，在检测出了用户的乘车的情况下，将步骤转移至步骤402，而在没有检测出用户的乘车的情况下，则进行待机，直到检测出用户的乘车为止。
54.在步骤402中，取得用户在乘车时所使用的钥匙信息。在本实施方式中，用户使用可分别识别的钥匙来实施车辆的车门的上锁、解锁、发动机的起动等。在步骤402中，既可以取得在用户对车辆的车门进行解锁时该用户所使用的钥匙的钥匙信息，也可以以接收该用户所持有的钥匙经常发送的信息的方式来取得钥匙信息。
55.在步骤404中，对车辆的点火开关是否成为导通进行判断，在点火开关成为导通的情况下，将步骤转移至步骤406。在步骤404中，在车辆的点火开关没有成为导通的情况下，进行待机，直到点火开关成为导通为止。
56.在步骤406中，对所取得的钥匙信息是否为被登记在车辆的储存器18等中的信息进行判断。在步骤406中，在所取得的钥匙信息是已被登记的信息的情况下，将步骤转移至步骤410，在所取得的钥匙信息不是已被登记的信息的情况下，将步骤转移至步骤408。
57.在步骤408中，实施ar-hud30的高度调节。在本实施方式中，作为即使眼睛的位置ep发生了变动也能够对影像进行目视确认的范围而导入了眼动范围(eb)这一概念。在图5a～图5f中，将眼动范围eb的高度设为40mm，在图5a、图5c、图5e中，将与眼动范围eb相对应的范围作为显示框70而进行显示。显示框70通过对镜子36的角度进行变更，从而像图5a、图5c、图5e所示那样被上下调节。
58.图5b、图5d、图5f示出了眼睛的位置相对于眼动范围eb的变化。图5b示出了眼睛的位置ep处于眼动范围eb的上限的状态。其结果为，对于用户能够目视确认的显示框70而言，即使通过镜子36的角度调节而使显示位置向上方向被调节了，也如图5a所示那样下端部成为不可见。
59.图5d示出了眼睛的位置ep处于眼动范围eb的范围内的状态。其结果为，对于用户能够目视确认的显示框70而言，如图5c所示那样成为整个区域。
60.图5f示出了眼睛的位置ep处于眼动范围eb的下限的状态。其结果为，对于用户能够目视确认的显示框70而言，即使通过镜子36的角度调节而使显示位置向下方向被调节了，也如图5e所示那样上端部成为不可见。
61.图6a为，用户的坐高较低、且眼睛的位置ep如图6b所示那样处于较低的位置的情况下的ar-hud30的显示的说明图。
62.图6c为，用户的坐高为中等程度、且眼睛的位置ep如图6d所示那样处于中等程度的位置的情况下的ar-hud30的显示的说明图。如前文所述那样，在用户的眼睛的位置ep为中等程度的高度的情况下，能够对显示框70的整体进行目视确认。
63.图6e为，用户的坐高较高、且眼睛的位置ep如图6f所示那样处于较高的位置的情况下的ar-hud30的显示的说明图。
64.图6b、图6d、图6f的各自所示出的椭圆形的区域为，表示体格不同的用户的眼睛的位置的分布的眼椭圆(eyellipse)82。虽然原则上眼睛的位置ep存在于眼椭圆82上，但根据用户的体格，也存在有如图6d那样眼睛的位置ep从眼椭圆82偏离的情况。
65.在图6c中，对于表示车辆的行进方向的箭头标记状的虚像即显示图像76的透视(距离感)而言，如果设想了用户的眼睛的位置ep如图6d所示那样为中等程度的高度的情况并进行调节，则能够使显示图像76与作为实像的行进道路80(想转弯的道路)一致。
66.但是，如图6b所示那样，当用户的眼睛的位置ep较低时，显示框70的位置向上方移动，如果以具有与显示图像76同样的透视的方式来对显示图像72进行显示，则显示图像72将与作为实像的行进道路80不一致。
67.此外，如图6f所示那样，当用户的眼睛的位置ep较高时，显示框70的位置向下方移动，如果以具有与显示图像76同样的透视的方式来对显示图像72进行显示，则显示图像72将与作为实像的行进道路80不一致。
68.为了抑制像图6a、图6e那样显示图像72与行进道路80变得不一致的现象，需要根据用户的眼睛的位置ep来对显示图像72的透视进行调节。
69.在图6a所示的情况下，通过以生成将显示图像72在远近方向上压缩而得到的显示图像74的方式来进行显示，从而使显示图像74与行进道路80一致。在图6e所示的情况下，通过以生成将显示图像72在远近方向上放大而得到的显示图像78的方式来进行显示，从而使显示图像78与行进道路80一致。另外，虽然在图6a、图6c、图6e中显示了显示框70，但由于显示框70为对显示图像76等进行显示的范围的基准，因此在被批量生产的产品中也可以不予显示。
70.图7为，示出了用户的眼睛的位置的高度ep1、ep2、ep3、表示用户的视线与路面交叉的位置的纵深信息l1max-l1min、l2max-l2min、l3max-l3min、和用户的视线的中心俯角φ1、φ2、φ3之间的关系的说明图。在本实施方式中，如图8所示那样，使用镜子36的角度即镜角、用户的眼睛的位置的高度即ep高度、俯角、以及纵深信息的对应表，从而分别对显示框70的位置以及显示图像的透视进行调节。
71.ep高度、俯角、以及纵深信息的各自的关系，例如以如下方式而被计算出来。在图7中，作为前提而设定如下内容，即，预先规定了纵深信息l1max-l1min、l2max-l2min、l3max-l3min等。l1max、l1min、l2max、l2min、l3max、l3min分别为距ep高度的垂线的下端与路面的交点o的距离，并且示出了作为虚像的显示框70的上边以及下边的外界中的虚拟的位置。显示控制ecu10通过具备根据纵深信息l1max-l1min、l2max-l2min、l3max-l3min的每一个而对显示图像的透视进行调节的算法的软件来实施图像处理。
72.在图7中，作为代表例而采用了ep高度为ep2的情况。在ep2的情况下，由于纵深信息为l2max-l2min，因此该纵深信息的中间点l2m成为由下述的式(1)所表示的距交点o的距离l2m。
73.l2m＝(l2max-l2min)/2+l2min
…
(1)
74.此外，中心俯角φ2的正切成为下述的式(2)。
75.tanφ2＝ep2/l2m
…
(2)
76.因此，中心俯角φ2由下述的式(3)而被求出。
77.φ2＝tan-1
(ep2/l2m)
…
(3)
78.以下，以同样的方式而利用多种多样的ep高度、以及纵深信息来对中心俯角进行计算。只要中心俯角被计算出来，则也能够计算出镜子角度。
79.图8为，本实施方式中的镜角变更作动器34的动作次数即步数、镜角、ep高度、俯
角、以及纵深信息的对应表的一个示例。图8中的步骤为，直到镜子36的角度成为预定的镜子角度为止的、构成镜角变更作动器34的步进电机等的动作次数。例如，当将构成镜角变更作动器34的步进电机等的一次动作下的角度变化量设为δθ时，镜子角度θ1与步数n1之间的关系将成为下述的式(4)那样。然后，以下，以同样的方式计算出步数n12、n25等。
80.n1＝θ1/δθ
…
(4)
81.在本实施方式中，基于图8所示的对应表，从而实施显示框70的显示位置、显示图像的透视的调节。详细而言，在图4的步骤408中，当用户实施显示框70的位置的调节、ep高度的变更、或者俯角的调节等操作时，与该操作相关的信号将被输入至cpu12的接收器26中。作为一个示例，在用户实施操作时，在ar-hud30上显示出显示框70以及调节用的显示图像，用户以易于看见显示框70以及调节用的显示图像的方式来进行调节。接收器26能够接受来自用户的追加输入，且显示控制器24根据通过接收器26而被接受到的追加输入从而进一步地对镜子36的角度进行变更。
82.对于cpu12的显示控制器24而言，当有与用户的操作相关的信号被输入至接收器26中时，将参照被存储在储存器18中的像图8那样的对应表，从而对镜子角度、以及显示图像的透视进行调节。然后，与调节相关的各个信息以与用户的钥匙信息建立对应关系的方式而存储在储存器18中。
83.当在步骤406中所取得的钥匙信息已被登记的情况下，在步骤410中，从储存器18中取得与钥匙信息建立了对应关系的信息，并按照所取得的信息来对ar-hud30的显示进行调节。
84.在步骤412中，实施按照步骤408、410中的ar-hud30的显示的调节来对显示图像进行显示的内容显示处理。在步骤414中，对车辆的点火开关是否已关断进行判断，在点火开关已关断的情况下，结束处理，在点火开关没有关断的情况下，继续进行步骤412的内容显示处理。
85.如以上所说明的那样，根据本实施方式，参照预先规定了镜角变更作动器34的动作次数即步数、镜角、ep高度、俯角、以及纵深信息的每一个的对应表，从而根据作为直至用户的视线与路面交叉的位置为止的距离即纵深信息来对显示图像的透视进行调节，并对显示有显示图像的范围即显示框70的位置进行调节。通过这样的调节，从而能够以使作为虚像的显示图像的位置和作为实像的外界的目标物的位置一致的方式来让用户进行目视确认。
86.虽然如本实施方式那样，在不对显示图像的透视、以及作为显示有显示图像的范围的显示框70的位置进行调节的情况下，可考虑放大眼动范围eb，但由于如果增大眼动范围，则所需的凹面镜的尺寸将变大，从而ar-hud的筐体尺寸将扩大，因此向车辆上的搭载就变得困难。此外，为了确认信息，用户使视点移动的范围将被扩大，从而会让用户疲劳，并且在信息的目视确认性、安全性上存在问题。
87.在本实施方式中，如上文所述那样，由于通过显示图像的透视的调节、显示有显示图像的范围的调节，从而能够以使作为虚像的显示图像的位置和作为实像的外界的目标物的位置一致的方式来让用户进行目视确认，因此能够在抑制用户的疲劳的同时，保证信息的目视确认性以及安全性。
88.〔第二实施方式〕
89.接下来，对本公开的第二实施方式进行说明。虽然在本实施方式中，在基于与图8不同的对应表来实施显示图像的透视的调节和镜角的调节这一点上与前述的第一实施方式有所不同，但其他结构与第一实施方式是相同的。因此，设为在本实施方式中对于与第一实施方式相同的结构标记相同的符号，并省略详细的说明。
90.图9为，本实施方式中的镜角变更作动器34的动作次数即步数、镜角、ep高度、俯角、以及纵深信息的对应表的一个示例。在本实施方式中，将与步数n1～n8相对应的镜角、ep高度、以及俯角分别设为组g1，将与步骤n9～n16相对应的镜角、ep高度、以及俯角分别设为组g2，并且，将与步数n17～n24相对应的镜角、ep高度、以及俯角分别设为组g3，且在各个组内将纵深信息设为同一值。
91.在图8所示的对应表中，如果步数、镜角、ep高度、以及俯角不同，则使不同的纵深信息与之对应，并且在步数、镜角、ep高度、以及俯角每次变化时，对显示图像的透视进行了调节。
92.但是，由于显示图像的透视的调节在cpu12中的运算负荷不少，因此在本实施方式中，只要步数、镜角、ep高度、以及俯角的变化在预定范围内，则在显示图像中实施相同的透视调节。而且，作为虚像的显示图像的位置和作为实像的外界的目标物的位置的微调，将通过对镜角进行调节来应对。
93.如以上所说明的那样，根据本实施方式，只要步数、镜角、ep高度、以及俯角的变化在预定范围内，则能够通过在显示图像中实施相同的透视调节，从而抑制cpu12的运算负荷。
94.另外，在上述各个实施方式中，cpu以外的各种处理器、例如gpu(graphic processing unit：图形处理单元)也可以执行cpu读取软件(程序)并执行的处理。或者，处理器也可以为fpga(field-programmable gate array：现场可编程门阵列)等的在制造后能够变更电路结构的pld(programmable logic device：可编程逻辑器件)、以及asic(application specific integrated circuit：特定用途集成电路)等的具有为了执行特定的处理而被专门设计的电路结构的处理器即专用电路等。此外，既可以通过这些各种处理器中的一个来执行处理，也可以通过相同种类或者不同种类的两个以上的处理器的组合(例如，多个fpga、以及cpu与fpga的组合等)来执行处理。此外，这些各种处理器的硬件性的结构，更加详细而言为，将半导体元件等电路元件组合而成的电路。
95.此外，虽然在上述各个实施方式中，对程序被预先存储(安装)在磁盘驱动器等中的方式进行了说明，但并未被限定于此。程序也可以以被存储在cd-rom(compact disk read only memory：光盘只读存储器)、dvd-rom(digital versatile disk read only memory：数字通用光盘只读存储器)、以及usb(universal serial bus：通用串行总线)存储器等的非暂时性的(non-transitory)存储介质中的方式而被提供。此外，程序也可以设为经由网络而从外部装置被下载的方式。