平视显示器装置及其显示控制方法与流程
本发明涉及平视显示器(hud：headupdisplay)装置等显示装置的技术，涉及对驾驶员提供增强现实(ar：augmentedreality)的图像信息的技术。
背景技术：
作为具有ar功能的ar显示装置、其系统，有搭载于汽车等的hud装置。在该hud装置(还有时称为ar-hud)中，在驾驶员等利用者的视野中的挡风玻璃、合成器等的视觉辨认区域(画面)中，相对被透射的实像，通过影像光的投射而重叠显示虚像。以下，有时将虚像记载为ar图像。关于虚像，例如可以举出针对包括本车的前方的道路、车等的实像的用于驾驶支援等的图像信息。作为详细的例子，可以举出车速等车辆信息的图像、表示行进方向的导航等的箭头图像、表示相向车、行人以及自行车等的接近的注意提醒、用于强调标识等的框图像等。另外，作为用于生成虚像的源数据，能够利用车载的传感器、引擎控制部、车辆导航系统等的信息。
hud装置例如具备显示元件、光源、用于向视觉辨认区域引导影像光的透镜、反射镜等光学系统。来自显示元件的影像光经由反射镜等被投射到挡风玻璃、合成器等的视觉辨认区域内的区域(以下有时记载为ar显示区域、hud显示范围等)。在画面内的区域中被反射的光入射到驾驶员的眼睛而在视网膜上成像，驾驶员识别为虚像。
作为与车载的hud装置有关的现有技术例，可以举出日本特开2010-70066号公报(专利文献1)。在专利文献1中，记载了如下内容：作为平视显示器，使影像的投影位置由于车辆的振动、驾驶员的姿势的变化而从一方的眼睛的视线上偏移减少，来提高显示的信息的视觉辨认性。
现有技术文献
专利文献
专利文献1：日本特开2010-70066号公报
技术实现要素：
在包括以往的hud装置的车载系统中，使用ar功能在挡风玻璃等的视觉辨认区域中在被透射的实像上重叠显示虚像。此时，取决于驾驶员的眼睛的位置(有时记载为视点位置)，有时在观察该视觉辨认区域的情况下在实像的物体和虚像中产生显示的偏移。换言之，基于hud装置的设计上的虚像的显示位置和驾驶员实际视觉辨认的虚像的显示位置有时不一致。
作为上述实像和虚像的显示的偏移产生的因素，可以举出眼睛的位置由于驾驶员活动而改变姿势等动作而从基本设定的眼睛的位置变动的情况、体型等不同的人观察相同的基本设定的hud装置的视觉辨认区域的情况等。
在hud技术中，根据观察视觉辨认区域的观察者(例如驾驶员)的眼睛的位置例如铅直方向的高度位置，虚像和实像的相对位置关系偏移等看起来会不同。在观察者的视网膜上成像的图像的状态根据hud装置形成的虚像的位置和观察者的眼睛的位置的关系而定。在hud装置所形成的虚像的位置和观察者的眼睛的位置不满足预定的关系的情况下，观察的人无法视觉辨认虚像。为了使观察的人能够视觉辨认图像而眼睛的位置必须进入的范围被称为眼箱(eyebox)。
例如，在驾驶员的视点位置相对包括基本设定的视点位置的眼箱的范围在铅直方向上变动而从眼箱的范围偏离的情况下，无法观察虚像或者虚像的全部显示范围。驾驶员为了能够观察到虚像而进行光学系统例如反射镜等的角度调整，但作为调整的结果，实像和虚像的显示发生偏移。在驾驶员的视野的视觉辨认区域中，虚像显示于相对实像的物体大幅偏移的位置，驾驶员难以视觉辨认或者无法视觉辨认虚像。实像和虚像的显示的偏移越大，则驾驶员越难以视觉辨认虚像并且难以实现将实像和虚像关联起来的识别。即，这样的虚像对于驾驶员而言不合适。
本发明的目的在于，关于具有ar功能的hud装置的技术，提供能够减少实像和虚像的显示的偏移而实现合适的ar显示的技术。
本发明中的代表性的实施方式是平视显示器装置，其特征在于具有以下所示的结构。
一个实施方式的平视显示器装置通过向车辆的挡风玻璃或者合成器投射影像，以使与所述车辆的前方的风景重叠的方式对驾驶员显示虚像，其中，平视显示器装置具备：图像输入部，输入由照相机拍摄的图像，从所述图像抽出预定的物体；信息获取部，获取包括所述图像内的所述物体的位置的物体信息及包括空间内的与所述物体的距离的距离信息；图像生成部，生成用于相对所述物体重叠显示的所述虚像的图像；变换部，使用获取的所述信息进行变换处理，在该变换处理中，至少包括铅直上下方向在内地校正作为在所述挡风玻璃或者合成器的视觉辨认区域中能够显示所述图像的范围的显示区域的位置及所述显示区域内的所述图像的显示位置；显示控制部，使用校正后的所述数据进行相对所述视觉辨认区域重叠显示所述图像的控制；以及显示部，依照所述控制，相对所述视觉辨认区域重叠显示所述图像，所述变换部以使所述显示区域内的所述图像的显示位置与从基本设定的驾驶员的视点位置经由所述视觉辨认区域观察到所述物体的情况下的所述物体的位置对准的方式，进行所述变换处理。
根据本发明中的代表性的实施方式，关于具有ar功能的hud装置的技术，能够减少实像和虚像的显示的偏移而实现合适的ar显示。
附图说明
图1是示出包括本发明的实施方式1的hud装置的车载系统的结构的图。
图2是示出在实施方式1中从旁侧观察汽车的驾驶座位附近的状态的图。
图3是示出在实施方式1中从驾驶员观察前方的物体、虚像的情况下的位置、距离等的图。
图4是示出在实施方式1中驾驶员的视点的位置的变动的第1状态的图。
图5是示出在实施方式1中驾驶员的视点的位置的变动的第2状态的图。
图6是示出在实施方式1中驾驶员的视点的位置的变动的第3状态的图。
图7是示出在实施方式1中驾驶员的视点的位置的变动的第4状态的图。
图8是示出在实施方式1中驾驶员的视点的位置的变动的第5状态的图。
图9是示出在实施方式1中驾驶员的视点的位置的变动的第6状态的图。
图10是示出在实施方式1中控制部的主要处理的流程的图。
图11是示出在实施方式1中作为从驾驶员观察的视觉辨认区域的例子没有显示的偏移的状态的图。
图12是示出在实施方式1中作为从驾驶员观察的视觉辨认区域的例子有显示的偏移的状态的第1例的图。
图13是示出在实施方式1中作为从驾驶员观察的视觉辨认区域的例子有显示的偏移的状态的第2例的图。
图14是示出在实施方式1中照相机的图像的例子的图。
图15是示出在实施方式1中空间内的本车和其他车的距离等的图。
图16是示出在实施方式1中ar平面以及变换后的ar显示区域的图。
图17是示出在实施方式1中在ar平面的ar显示区域中配置ar图像的例子的图。
图18是示出在实施方式1中从ar平面向曲面的视觉辨认区域的坐标变换的图。
图19是示出在实施方式1中ar图像的变换的例子的图。
图20是示出在实施方式1中显示位置变换部的使用变换表的计算的图。
图21是示出包括本发明的实施方式2的hud装置的车载系统的结构的图。
图22是示出在实施方式2中作为从驾驶员观察的视觉辨认区域的例子而显示的偏移被减少的状态的例子的图。
图23是示出在实施方式2中显示位置变换部的变换处理的图。
图24是示出在实施方式2中作为显示位置变换部的变换处理的一部分从ar平面向曲面的视觉辨认区域的坐标变换的图。
图25是示出包括本发明的实施方式3的hud装置的车载系统的结构的图。
图26是示出在实施方式3中从旁侧观察汽车的驾驶座位附近的状态的图。
图27是示出在实施方式3中显示位置变换部的变换处理的图。
(符号说明)
1：hud装置；2：照相机；3：照相机；5：视觉辨认区域；7：ar显示区域；9：挡风玻璃；10：控制部；11：图像输入部；12：信息获取部；13：ar图像生成部；14：显示位置变换部；15：ar显示部；20：显示部；21：显示驱动电路；22：显示元件；23：光源；24：光学系统；25：驱动部；100：车载系统；101：ecu；102：车外拍摄部；103：影像数据存储部；104：通信部；105：gps接收器；106：车辆导航部；108：传感器部；109：db部。
具体实施方式
以下，根据附图详细说明本发明的实施方式。此外，在用于说明实施方式的全部附图中对同一部分原则上附加同一符号，省略其重复的说明。
(实施方式1)
使用图1～图20说明本发明的实施方式1的平视显示器装置(hud装置)等。实施方式1的hud装置是具有ar功能的ar显示装置，示出被安装为车载的ar-hud的情况。实施方式1的显示控制方法是具有由实施方式1的hud装置执行的步骤的方法。实施方式1的hud装置具有通过控制部的程序处理进行在ar显示时自动地校正实像和虚像的显示位置的偏移的变换处理的功能。在实施方式1中，即使在驾驶员不调节光学系统的反射镜等的情况下也会在其设定状态下校正ar显示内容。
[比较例的课题]
作为相对实施方式1的比较例，在包括以往的hud装置的车载系统中，有如以下那样的课题。比较例的hud装置不具有如实施方式1那样的校正实像和虚像的显示的偏移的功能。以往，作为利用例，驾驶员就坐于汽车的驾驶座位并根据自己的体型、姿势调节座位之后，调节hud装置的视觉辨认区域的ar显示区域(能够显示ar图像的hud显示范围)而进行基本设定。例如，驾驶员手动地调节hud装置的光学系统的反射镜的角度，以成为在自己的视线的前面的视觉辨认区域内的合适的位置能够观察到ar显示区域的虚像的状态。此外，有时将这样的调节记载为基本设定。
在驾驶员是标准体型的人的情况下，在该基本设定完成的状态下，能够合适地视觉辨认在视觉辨认区域的ar显示区域中显示的虚像，能够在驾驶中利用ar功能。即使驾驶员的视点位置稍微变动，只要进入到基本设定的眼箱的范围内，在ar显示区域中有富余就能够实现虚像的视觉辨认。在该情况下，驾驶员也无需特别地进行反射镜的角度的重新调节等。
然而，在比较例的hud装置中，有时在ar功能的利用时，相对hud装置的设计上的ar显示区域内的虚像的显示位置，实际从驾驶员的视点观察到的虚像的显示位置产生偏移。例如，在驾驶员的视点位置从基本设定的视点位置在铅直方向上变化的情况下，有时在驾驶员的视野的视觉辨认区域中在相对实像的物体偏移的位置显示虚像而驾驶员不易视觉辨认虚像。例如，在驾驶员的视点位置的变化大而从包括基本设定的视点位置的眼箱的范围偏离的情况下，虚像无法被视觉辨认、或者以实像和虚像的显示的偏移大的状态被视觉辨认。在视觉辨认区域内的实像和虚像的距离等中出现显示的偏移。在偏移的大小未达到一定程度的情况下，驾驶员能够将物体和虚像关联起来识别。但是，在偏移的大小成为一定程度以上的情况下，作为ar的虚像是不适合的。
另外，在比较例的hud装置中，驾驶员的视点位置和用于在ar功能中使用的照相机的位置不同。另外，在比较例的hud装置中，照相机的拍摄方向、视角和从驾驶员的视点观察到的ar显示区域的方向、视角不同。因此，在比较例的hud装置中，在设计上的ar图像的显示位置和从驾驶员观察到的ar图像的位置中有时产生偏移。
[hud装置以及车载系统]
图1示出包括实施方式1的hud装置1的车载系统100的结构。车载系统100是搭载于汽车的系统。作为利用者的驾驶员操作车载系统100以及hud装置1而利用。该hud装置1是特别地具有ar功能的ar-hud装置。
车载系统100具有ecu(enginecontrolunit：引擎控制部)101、hud装置1、包括照相机2的车外拍摄部102、影像数据存储部103、通信部104、gps(globalpositioningsystem，全球定位系统)接收器105、车辆导航部106、传感器部108、db部109等，它们与车载总线以及can(carareanetwork，车域网)110连接。车载系统100具有其他未图示的声音输出部、操作部、电源部等。
hud装置1具有控制部10、显示部20。hud装置1具有ar功能。hud装置1通过使用ar功能在挡风玻璃9的视觉辨认区域5的ar显示区域7中显示ar图像，能够对驾驶员传递各种信息。hud装置1具有自动地校正在视觉辨认区域5中能够显示虚像的hud显示范围即ar显示区域7的位置的功能。通过该功能，能够减少从驾驶员的视点观察视觉辨认区域5时的实像和虚像的显示的偏移。hud装置1还能够并用声音输出部，对驾驶员进行声音输出例如利用车辆导航功能、ar功能的引导、警报等。hud装置1还具备操作面板、操作按钮等，还能够实现由驾驶员实施的手动操作输入例如ar功能的on/off、用户设定、光学系统24的反射镜的角度的调节等。
控制部10控制hud装置1的整体。控制部10具备cpu、rom、ram等硬件以及对应的软件。控制部10、其他各部分也可以通过微计算机、fpga等硬件而被安装。控制部10例如通过由cpu从rom读出程序并执行依照程序的处理，实现图像输入部11等各部分。控制部10根据需要将各种数据、信息储存到内部的存储器或者外部的存储器，进行读出等。控制部10在存储器中的非易失性存储器中保持用于ar功能的设定信息等。设定信息包括用于显示位置变换部14的变换处理的设定信息、用户设定信息。用户设定信息包括光学系统24的反射镜的角度的基本设定信息等。
控制部10输入由照相机2拍摄的图像，使用获取的各信息，生成作为用于在视觉辨认区域5的ar显示区域7中显示虚像的ar数据的影像数据，提供给显示部20。控制部10具有在生成ar数据时校正视觉辨认区域5的ar显示区域7的位置以及ar显示区域7内的ar图像的显示位置的功能。另外，控制部10能够控制显示部20而调节光学系统24的反射镜的角度的状态，由此，能够调节视觉辨认区域5的ar显示区域7的位置而进行基本设定。
显示部20由投射型影像显示装置(投影仪)等构成。显示部20具有显示驱动电路21、显示元件22、光源23、光学系统24、驱动部25，它们被连接。显示部20根据来自控制部10的控制以及影像数据，生成用于在视觉辨认区域5中显示虚像的影像光并投射到视觉辨认区域5。
显示驱动电路21依照来自ar显示部15的影像数据，生成用于ar显示的显示驱动信号，提供给显示元件22以及光源23而实施驱动控制。
光源23根据显示驱动信号，生成向显示元件22的照明光。光源23例如由高压汞灯、氙灯、led元件或者激光元件等构成。来自光源23的光经由未图示的照明光学系统而入射到显示元件22。照明光学系统使照明光会聚而均匀化，照射到显示元件22。
显示元件22根据显示驱动信号以及来自光源23的照明光，生成影像光，射出到光学系统24。显示元件22例如由slm(spatiallightmodulator：空间光调制器)、dmd(digitalmicromirrordevice，数字微镜设备，日本注册商标)、mems设备或者lcd(透射型液晶面板、反射型液晶面板)等构成。
光学系统24包括用于将来自显示元件22的影像光引导到挡风玻璃9的视觉辨认区域5的透镜、反射镜等元件(图2)。光学系统24连接有驱动部25。来自显示元件22的影像光被光学系统24的透镜扩大等，被反射镜反射等，被投射到视觉辨认区域5。即，在视觉辨认区域5的一部分中，构成作为被投射影像光的hud显示范围的ar显示区域7。该影像光在视觉辨认区域5的ar显示区域7中被反射，入射到驾驶员的眼睛，在视网膜上成像。由此，在驾驶员的视野的视觉辨认区域5中，在ar显示区域7中在透射的实像上重叠显示虚像。
驱动部25是用于驱动光学系统24的光学系统驱动部，包括用于驱动透镜、反射镜等的马达等部件。驱动部25依照驾驶员的手动操作输入或者来自控制部10的控制，驱动光学系统24，例如变更反射镜的角度。驱动部25例如具备用于调节反射镜的角度的操作按钮。驾驶员能够通过该操作按钮的上下的手动操作，以被设定为标准的角度为基准，正负地变更反射镜的角度。例如，在操作按钮的第1部分被按压的期间，反射镜的角度向正方向(增大角度的方向)变化，在第2部分被按压的期间，反射镜的角度向负方向(减小角度的方向)变化。
ecu101进行包括引擎控制的车辆控制、车载系统100的整体的控制。ecu101换言之是车辆控制部。ecu101也可以具有用于驾驶支援、驾驶自动控制的高水平的功能。在该情况下，ecu101也可以将与该功能相关的信息输出到hud装置1而控制hud装置1，使hud装置1进行与该功能相关的ar图像的显示。ecu101根据来自传感器部108的检测信息，掌握包括车速等行驶状态的车辆信息以用于控制。另外，hud装置1能够从ecu101获取车辆信息而利用于ar显示。
车外拍摄部102包括照相机2，在本车的停止中、行驶中等，使用1台以上的照相机2对本车的外界的状况进行拍摄，获取影像数据(包括时间序列的图像帧)以及车辆周围信息。车外拍摄部102将该影像数据等储存到影像数据存储部103或者输出到ecu101、hud装置1。
照相机2是车外照相机，以预定的朝向、视角设置在车辆的预定的位置(图2)。照相机2的位置例如是车辆前部保险杠附近、挡风玻璃9的边附近、或者车辆旁边的后视镜附近等。照相机2以包括车辆以及驾驶员的前方的方式以预定的朝向(拍摄方向)以预定的视角的范围进行拍摄，输出影像数据。
车外拍摄部102可以具备处理照相机2的图像的信号处理部，也可以不具备该信号处理部。该信号处理部也可以能够处理1台以上的照相机2的图像，计算车辆周围信息等。该信号处理部也可以设置于ecu101、hud装置1。车外拍摄部102也可以根据照相机2的图像的解析，判断本车的周围的其他车、人、建筑物、路面、地形、气候等的状况。
车外拍摄部102也可以具备测量本车和实像的物体的距离的功能。在车外拍摄部102中作为照相机2具备2个以上的照相机例如立体照相机的情况下，能够使用该左右的2个照相机拍摄的2个图像，按照基于公知的两眼视差的距离测量方式计算与物体的距离。另外，在车外拍摄部102中仅具备1个照相机的情况下，也能够根据该照相机的图像内的物体的位置，计算与物体的距离。另外，也可以通过并用照相机2的图像和其他传感器的检测信息，计算与物体的距离。
影像数据存储部103存储来自照相机2的影像数据等。影像数据存储部103可以处于车外拍摄部102内，也可以处于hud装置1内。
通信部104是包括进行针对车外的移动网络、因特网等的通信的通信接口装置的部分。通信部104能够根据来自ecu101、hud装置1等的控制，例如与因特网上的服务器等进行通信。例如，hud装置1能够经由通信部104从服务器参照、获取用于在ar显示中使用的源数据、关联信息等。
通信部104也可以包括车车间通信用无线接收机、路车间通信用无线接收机、vics(vehicleinformationandcommunicationsystem：道路交通信息通信系统，日本注册商标)接收机等。车车间通信是本车与周边的其他车之间的通信。路车间通信是本车与周边的道路、信号灯等设备之间的通信。
gps接收器105根据来自gps卫星的信号，获取本车的当前的位置信息(例如纬度、经度、高度等)。ecu101、hud装置1、车辆导航部106能够从gps接收器105获取本车的当前的位置信息以用于控制。
车辆导航部106是搭载于车辆的已有的车辆导航系统的部分，保持地图信息、从gps接收器105获取到的位置信息等，使用这些信息进行公知的导航处理。ecu101、hud装置1能够从车辆导航部106获取信息来进行控制。hud装置1也可以从车辆导航部106参照地图信息等而用作ar显示的源数据。例如，hud装置1也可以根据该源数据，作为ar图像的例子，生成用于向目的地的行进方向的导航的箭头图像。
传感器部108具有搭载于汽车的公知的传感器组，输出检测信息。ecu101、hud装置1获取该检测信息来进行控制。作为包含于传感器部108的传感器设备的例子，有车速计、加速度传感器、陀螺仪传感器、地磁传感器(电子罗盘)、引擎发动传感器、换档位置传感器、方向盘操舵角传感器、前灯传感器、外部光传感器(色度传感器、照度传感器)、红外线传感器(接近物体传感器)、温度传感器等。加速度传感器以及陀螺仪传感器检测加速度、角速度以及角度等，作为本车的状态。
传感器部108也可以具备测量本车和物体的距离的距离传感器。距离传感器例如能够用光学的传感器实现，能够根据发出的光遇到物体并返回为止的时间计算距离。在有距离传感器的情况下，hud装置1的信息获取部12能够从该距离传感器获取距离信息。
db部109由存储设备等构成，db储存有用于在ar显示中利用的源数据、信息。源数据例如有用于生成ar图像(例：框图像)的基本图像数据等。信息例如有与物体(例：相向车)有关的基本信息、关联信息、基准图像等。此外，db部109可以设置于hud装置1内，也可以设置于车载系统100的外部的通信网上的数据中心等。也可以在db部109的db中储存经由通信部104从外部获取到的信息。另外，db部109的db也可以为与车辆导航部106的db的合并。
挡风玻璃9是汽车的一部分，由具有透射性以及刚性的玻璃、预定的光学特性的膜等构成(图2)。在挡风玻璃9的视觉辨认区域5中，在ar功能的利用时构成ar显示区域7，在ar显示区域7中相对实像重叠显示虚像。此外，也可以在挡风玻璃9的跟前设置ar专用显示板(合成器等)。视觉辨认区域5与能够通过调节配置ar显示区域7的范围对应。
图像输入部11输入由照相机2拍摄的图像，从图像抽出用于ar的预定的物体。信息获取部12获取物体信息、距离信息、车辆信息等，作为为了ar显示以及显示位置变换等所需的信息。物体信息是包括图像内的物体的位置的信息。距离信息是包括空间内的本车和物体的距离的信息。车辆信息是包括车速等的信息。ar图像生成部13生成用于对物体重叠显示的基本的ar图像。
显示位置变换部14换言之是校正部。显示位置变换部14使用由信息获取部12获取的信息进行变换处理，在该变换处理中，校正在视觉辨认区域5中能够显示ar图像的hud显示范围即ar显示区域7的位置以及ar显示区域7内的ar图像的显示位置。ar显示部15针对显示部20使用校正后的数据进行相对视觉辨认区域5重叠显示ar图像的控制。
[驾驶座位]
图2概略地示出在实施方式1中在从旁侧(x方向)观察汽车的驾驶座位附近的平面下各部分的配置结构例。在驾驶座位的前方有挡风玻璃9，作为其一部分有视觉辨认区域5，作为视觉辨认区域5的一部分有ar显示区域7。在驾驶座位的前方的仪表盘的一个部位例如控制台的位置，设置有hud装置1的显示部20、未图示的车辆导航部106等。在图2中，示出了显示元件22和光学系统24中的反射镜24a。示出从显示元件22例如影像光向前方(z方向)射出并被反射镜24a反射到上方(y方向)的挡风玻璃9的情况。来自反射镜24a的反射光在挡风玻璃9的内侧的视觉辨认区域5中被反射到驾驶员的眼睛。此外，光学系统24的结构能够不限于此，只要向视觉辨认区域5投射影像光(反射镜24a的反射光)的位置以及角度可变即可。
用点p1表示驾驶员的眼睛以及视点的位置。另外，用单点划线表示来自眼睛的位置的点p1的视线l1。此外，视点位置也可以与眼睛的位置不同。例如，视点位置可以被计算为左右的两眼的中间点，也可以被计算为头、脸的中心点等。
示出视觉辨认区域5中的ar显示区域7以及表示虚像的位置的点p5。点p5例如是ar显示区域7的中心点。示出驾驶员的视线l1通过该点p5的情况。点p5是视线l1的与前面的视觉辨认区域5的交点。
示出车辆中的照相机2的设置位置的点p2以及拍摄方向l2。在本例子中，在车辆旁边的后视镜附近设置有照相机2。示出拍摄方向l2是z方向的情况。
用单点划线表示影像光的光轴。在图2中，示出了与ar显示区域7对应的影像光的范围。作为光学系统24的一部分，具有反射镜24a。反射镜24a是自由曲面反射镜等，例如是凹面镜。反射镜24a具有设置以及朝向的角度θ。反射镜24a通过来自驱动部25的驱动而其角度θ可变。反射镜24a具有在x方向(与视觉辨认区域5内的水平方向、左右方向对应)上延伸的旋转轴。反射镜24a通过利用该旋转轴的转动而其角度θ被变更。角度θ是图示的yz面内的旋转角度，在预定的角度范围内可变。
在图2中，作为反射镜24a的角度θ的定义，将与来自显示元件22的入射方向(z方向)对应的水平面设为0度，表示为作为反射镜24a的反射面的凹面的中心轴(用虚线表示)所成的角度(仰角)。在本例子中，角度θ是45度左右。在控制中使用的反射镜24a的角度不限于该角度θ，也可以使用其他角度。无论如何，相对视觉辨认区域5的反射光的投射的角度是可变的。凹面处的影像光的反射角度、向视觉辨认区域5的投射角度能够根据角度θ等计算。
根据如上所述至少角度θ可变的反射镜24a的构造，能够调节视觉辨认区域5内的ar显示区域7的y方向(与视觉辨认区域5内的垂直方向、上下方向对应)的位置。即，特别地，能够根据角度θ以在从驾驶员的视点观察时在视觉辨认区域5内使ar显示区域7上下移动的方式进行调节(基本设定)。
此外，关于x方向也同样地也可以设为使反射镜24a的预定的角度(例如z方向的旋转轴的角度)可变的构造。在该情况下，能够调节视觉辨认区域5内的ar显示区域7的x方向的位置。另外，取决于反射镜24a的曲面的设计，还能够具有从后述ar平面8向曲面的视觉辨认区域5的坐标变换(失真校正)的功能。
照相机2和视点的位置关系如以下所述。在车载系统100以及hud装置1中，空间内的照相机2的位置(点p2)被预先设定。另外，将驾驶员的视点位置(点p1)大致确定为与驾驶座位的附近对应的预定的范围内的位置。因此，照相机2的位置(点p2)和视点的位置(点p1)作为预定的关系具有大致固定的距离等的关系，这些位置能够通过计算相互变换。
[位置、距离]
图3概略地示出与图2同样的从汽车的驾驶座位的驾驶员观察前方的道路上的物体的实像和在该实像上重叠显示的虚像的情况下的位置、距离等。从图3的右侧，示出驾驶员的视点(眼睛)的位置p1(与图2的点p1对应)、照相机2的位置p2(与点p2对应)、视觉辨认区域5上的ar显示区域7以及虚像的位置p5(与点p5对应)、视觉辨认区域5的前方的空间内的ar显示区域7以及虚像的位置p3、视觉辨认区域5的前方的实像的物体的位置p4。各位置具有三维空间内的位置坐标。例如，具有位置p1的位置坐标(x1，y1，z1)。同样地，具有位置p2(x2，y2，z2)、位置p3(x3，y3，z3)、位置p4(x4，y4，z4)、位置p5(x5，y5，z5)等。
如图3所示，在实施方式1的hud装置1的计算上，以使得与视觉辨认区域5的前方的实像301的物体的位置p4对应的方式，在视觉辨认区域5的前方的位置p3构成ar显示区域7以及虚像302。在从驾驶员的视点位置观察的视觉辨认区域5中，位置p3的ar显示区域7以及虚像302被构成为位置p5(图2的点p5)的ar显示区域7以及虚像。在视线l1的前方，存在实像301的物体(例如相向车、路面的标志等)。另外，在重叠显示相对该实像301的物体的虚像的情况下，计算在视觉辨认区域5的前方ar显示区域7内的虚像302。从视点位置p1在视觉辨认区域5的点p5的ar显示区域7内能够观察到该虚像。
用距离d12表示眼睛的位置p1和照相机2的位置p2的距离。在图3中，仅特别地示出z方向的距离分量，但还有x方向以及y方向的距离分量。示出眼睛的位置p1和虚像302的位置p3的距离(虚像距离)d13、照相机2的位置p2和虚像302的位置p3的距离d23。示出眼睛的位置p1和实像301的物体的位置p4的距离(物体距离)d14、照相机2的位置p2和实像301的物体的位置p4的距离d24。示出照相机2的位置p2和本车的前方前端(保险杠附近)的距离d6。另外，示出眼睛的位置p1处的从地面起的铅直方向(y方向)的高度(视点高度)h1。同样地，示出照相机2的位置p2的高度h2。
根据眼睛的位置p1或者照相机2的位置p2或者视觉辨认区域5的位置p5等，适当地换算本车的位置。用距离dy表示从本车的位置起的与物体(实像301)的距离中的y方向的分量。
照相机2的拍摄方向l2示出比水平面稍微朝下的情况。示出照相机2的拍摄方向l2相对水平方向(z方向)的角度
车载系统100以及hud装置1具有如上所述使用车外拍摄部102或者传感器部108等测量本车和物体的距离的功能。该距离测量功能能够应用公知的各种手段。本车和物体的距离与照相机2的位置p2和物体的位置p4的距离d24、视点位置p1和物体的位置p4的距离d14大致相同。由于本车的挡风玻璃9的视觉辨认区域5、照相机2、驾驶员的视点等具有预定的位置关系，所以能够根据该关系相互换算这些各种距离。例如，如果根据从照相机2的位置p2起的与物体的距离d24进行反映距离d12的计算，则得到从视点位置p1起的与物体的距离d14。另外，在得到本车和物体的距离的情况下，还能够使用基于gps的本车的位置信息以一定程度的精度计算物体的位置信息。
[视点位置(1)]
图4～图9示出包括实施方式1以及比较例的驾驶座位上的驾驶员的视点位置、视线以及它们的变动等。
图4示出驾驶员的视点位置等的第1状态。第1状态是如下状态:作为第1驾驶员标准的体型的人调节驾驶座位之后，以与该姿势(第1姿势)下的视点位置匹配的方式调节反射镜24a(在图4中未图示)的角度θ，在视觉辨认区域5中基本设定了ar显示区域7。
在该第1状态下，示出第1驾驶员的眼睛的位置p1a。位置p1a具有位置坐标(x1a，y1a，z1a)。位置p1a在y方向上具有高度h1a、位置y1a。位置p1a在z方向上具有位置z1a。还示出以位置p1a为中心的基本设定的眼箱ea。示出来自位置p1a的视线l1a。
以虚线的ar显示区域7a表示处于视觉辨认区域5的前方的基本设定的ar显示区域7。以虚线的ar显示区域7b表示对应的视觉辨认区域5内的ar显示区域7。视觉辨认区域5的点ca表示ar显示区域7a以及ar显示区域7b的中心点。视线l1a表示从位置p1a以视线l1a观察ar显示区域7的点ca的情况的视线。在该情况下，视线l1a具有ar显示区域7的视角βa。视线l1a作为以水平面为0度的倾斜角度而具有角度αh。倾斜角度是眼睛隔着视觉辨认区域5在前方观察虚像302时的相对水平面的角度。
[视点位置(2)]
在图5中，作为第2状态，示出相对图4而驾驶员的视点位置不同的情况。为了比较，也示出第1状态的位置p1a等。第2状态例如表示与图4的第1驾驶员相同的人变更了驾驶座位、姿势的情况下的第2姿势的状态。或者，表示作为与图4的第1驾驶员不同的人的第2驾驶员例如体型相对大的人的情况下的第2姿势的状态。特别地，在第2姿势中，眼睛的位置为比第1状态的位置p1a在y方向上高且在z方向靠后的位置p1b。位置p1b具有位置坐标(x1b，y1b，z1b)以及从地面起的高度h1b。还示出以位置p1b为中心的情况的眼箱eb。位置p1b是从第1状态的位置p1a的眼箱ea偏离到外部的位置。
视线l1a2表示从第2状态的眼睛的位置p1b观察与图4相同的基本设定的ar显示区域7的点ca的情况的视线。视线l1a2具有ar显示区域7的视角βa2。视线l1a2作为观察虚像的情况的倾斜角度而具有角度αh2。
[视点位置(3)]
在图6中，作为第3状态，示出与图5的第1或者第2驾驶员的第2姿势的视点的位置p1b相同但视线不同的情况。图6示出在与图5的视点的位置p1b匹配地通过反射镜24a(在图6中未图示)的角度调节了ar显示区域7的位置之后从位置p1b观察调节后的ar显示区域7的中心的点cb的情况下的视线l1b等。视觉辨认区域5的ar显示区域7b的点cb与图5的ar显示区域7b的点ca相比在y方向上朝上侧移动。视线l1b具有ar显示区域7的视角βb。视线l1b作为倾斜角度而具有角度αh3。
[视点位置(4)]
在图7中，作为第4状态，示出使从图4的第1状态的视点的位置p1a观察基本设定的ar显示区域7的点ca的情况下的视线l1a和从图5的第2状态的视点的位置p1b观察相同的ar显示区域7的点ca的情况下的视线l1a2相重的状态。另外，在图7中，示出还包括视觉辨认区域5的前方的位置p3的ar显示区域7以及虚像302在内地从旁侧观察的状态。在该状态下，反射镜24a的角度θ的状态是角度θa。图7的状态换言之表示与图5对应地从第2状态的人的视点的位置p1b观察与第1状态的人的视点的位置p1a匹配的基本设定的ar显示区域7的情况。
示出从第1状态的位置p1a经由点ca在前面观察到的ar显示区域7a1和从第2状态的位置p1b经由点ca在前面观察到的ar显示区域7a2。在基本设定状态下，hud装置1在计算上构成的是ar显示区域7a1。在第1姿势的人的情况下，在来自视点的位置p1a的视线l1a下，实像的物体和ar显示区域7a1的虚像能够观察到未偏移。相对于此，在姿势变更后的第2姿势的人的情况下，在来自视点的位置p1b的视线l1a2下，实际观察到的是ar显示区域7a2的虚像。因此，在处于ar显示区域7a1的前面的实像的物体、处于ar显示区域7a2的前面的实像的物体和各自的虚像中，产生显示的偏移。
用角度α表示从视点位置观察ar显示区域7以及虚像的情况下的估计角度。用以水平面为0度的仰角表示估计角度。在从位置p1a经由点ca的视线l1a下观察ar显示区域7a1的虚像的情况是角度α1。在从位置p1b经由相同的点ca的视线l1a2下观察ar显示区域7a2的虚像的情况是角度α2。角度α1和角度α2不同。来自第2状态的视点的估计角度大于来自第1状态的视点的估计角度(α1<α2)。此外，估计角度和倾斜角度具有对应关系。这样，根据视点位置以及视线的估计角度等的变化，产生实像和虚像的显示的偏移。在该第4状态的情况下，从第2姿势的驾驶员的视点的位置p1b难以视觉辨认ar显示区域7内的虚像或者视觉辨认困难。
[视点位置(5)]
在图8中，作为第5状态，示出使从图4的第1状态的视点的位置p1a观察基本设定的ar显示区域7的点ca的情况下的视线l1a和从图6的第3状态的视点的位置p1b观察调节后的ar显示区域7的点cb的情况下的视线l1b相重的状态。另外，在图8中，同样地示出还包括视觉辨认区域5的前方的位置p3的ar显示区域7以及虚像302在内地从旁侧观察的状态。在该状态下，反射镜24a的角度θ的状态通过调节而从角度θa被变更为角度θb。图8的状态换言之表示与图6对应地从第2状态的人的视点p1b观察与第2状态的人的视点匹配的ar显示区域7的情况。
示出从第1状态的位置p1a经由点ca先前观察到的ar显示区域7a1和从第2状态的位置p1b经由点cb先前观察到的ar显示区域7a3。在调节以及姿势变更后的第2姿势的人的情况下，在来自视点的位置p1b的视线l1b下，实际观察到的是ar显示区域7a3的虚像。因此，在该人的视野中，在处于ar显示区域7a1的前面的实像的物体和ar显示区域7a3的虚像中，产生显示位置的偏移。
在从位置p1b经由点cb的视线l1b下观察ar显示区域7a3的虚像的情况下的倾斜角度是角度α3。通过调节，角度α3小于角度α2。因此，实像和虚像的显示的偏移虽然与图7的第4状态的情况相比减少，但依然有偏移。即，从第2状态的人的视点的位置p1b难以视觉辨认ar显示区域7的虚像。
另外，以往，即使在以从图7的状态成为图8的状态的方式再次调节反射镜24a的角度θ的情况下，从第2姿势的驾驶员的视点的位置p1b也难以视觉辨认ar显示区域7的虚像，所以也不易进行调节作业。例如，设为作为体型相对大的人的第2驾驶员想要与调节驾驶座位后的视点的位置p1b匹配地再次调节ar显示区域7。此时，hud装置1在视觉辨认区域5中将成为用于ar显示区域7的设定以及调节的引导的图像(例如表示ar显示区域7的框的图像或者预定的标志等)显示为虚像。此时，在驾驶员通过手动操作将反射镜24a的角度θ稍微改变时，视觉辨认区域5中的ar显示区域7的位置相对大幅变化。由此，还有变化后的ar显示区域7从视觉辨认区域5偏离到外部的情况而不易调节。即使将ar显示区域7调节到了视觉辨认区域5内的点cb，由于如上所述依然存在偏移，所以在虚像的视觉辨认性中仍存在问题。
在相对实施方式1的比较例的hud装置中，在图3中，照相机2的视角
[视点位置(6)]
在图9中，作为第6状态，示出相对图7、图8的状态而通过实施方式1中的自动的校正校正了ar显示区域7的位置以及ar显示区域7内的ar图像的显示位置的情况的状态。反射镜24a的角度θ的状态是与图8相同的角度θb。相对来自视点的位置p1b的视线l1b的前面的ar显示区域7a3的虚像，在校正后的状态下，能够观察为来自视点的位置p1b的视线l1c的前面的ar显示区域7a4的虚像。ar显示区域7通过变换而从校正前的ar显示区域7a3成为校正后的ar显示区域7a4。视线l1c是从位置p1b经由校正后的ar显示区域7的中心的点cc观察ar显示区域7a4的虚像的情况下的视线。由此，在从第2姿势的驾驶员的视点的位置p1b观察ar显示区域7的情况下，没有实像和虚像的显示的偏移、或者该偏移被减少。
[处理流程]
图10示出hud装置1的控制部10的主要处理的流程。该处理包括ar显示区域7的位置的变换处理。控制部10在本车的行驶中以及ar功能的利用中实时地进行这样的处理。图10具有步骤s1～s6。以下，按照步骤的顺序进行说明。
(s1)控制部10的图像输入部11将车外拍摄部102的照相机2的影像数据的图像帧从影像数据存储部102读出等而依次输入。
(s2)图像输入部11进行从输入的图像内抽出用于ar的预定的物体的区域、位置等的处理。预定的物体例如是成为显示ar图像的对象的相向车、行人、自行车等、为了ar控制所需的路面的行车道、标志、路旁带、建筑物、交通标识等。此外，该抽出处理能够通过包括特征量抽出、图像匹配等图像解析的公知技术实现。
(s3)信息获取部12针对s1的输入图像以及抽出物体，获取为了ar图像的生成以及ar显示区域7的位置变换所需的预定信息。预定的信息有物体信息、距离信息、车辆信息等。
信息获取部12如以下那样获取物体信息。在信息获取部12中，例如，作为来自s1的图像的物体的抽出结果信息，获取图像内的物体区域的位置、尺寸、形状、判别出的物体的种类(例如相向车、人、自行车、路面、标识等)等信息。另外，信息获取部12也可以从车辆导航部106、db部109的db参照预先登记的物体信息并获取。
信息获取部12如以下那样获取距离信息。信息获取部12例如从车外拍摄部102或者传感器部108，获取包括本车和物体的距离的距离信息。信息获取部12例如在车外拍摄部102具有距离测量功能的情况下，从车外拍摄部102获取距离信息。信息获取部12在传感器部108具有距离传感器的情况下，从传感器部108获取距离信息。或者，信息获取部12使用从图像输入部11、传感器部108获取的图像、信息来计算距离。
信息获取部12如以下那样获取车辆信息。信息获取部12例如从ecu101或者传感器部108获取包括行驶信息的车辆信息。行驶信息例如包括表示右转、左转、直行等状态的信息。ecu101根据传感器部108掌握包括本车的车速等的车辆信息。信息获取部12从ecu101获取该车辆信息。另外，信息获取部12例如从传感器部108、gps接收器105或者车辆导航部106获取本车的当前的位置信息、行驶方向信息等。信息获取部12也可以从车辆导航部106获取导航信息。信息获取部12也可以经由通信部104从外部获取车车间通信信息、路车间通信信息、vics信息。
(s4)ar图像生成部13根据s1～s3的图像、信息，生成用于与对象物体关联起来重叠显示的基本的ar图像。此时，ar图像生成部13也可以为了生成ar图像，从车辆导航部106、ecu101、db部109等输入源数据而使用。源数据例如可以举出车辆导航部106的地图信息、本车的当前的位置信息、目的地、路径的信息、ecu101的车辆信息、db内的物体信息等。它们依赖于作为ar功能而提供什么样的图像信息而没有特别限定。在本例子中，如后述图11那样，作为ar图像而提供至少相向车的框图像、导航的箭头图像等，所以具有为此的源数据。ar图像生成部13输出生成的ar图像数据。
(s5)另一方面，在显示位置变换部14中，根据s1～s3的信息以及s4的ar图像数据，进行用于自动地校正以及确定视觉辨认区域5的ar显示区域7的位置以及ar显示区域7内的ar图像的显示位置的变换处理。该校正是与实像和虚像的显示的偏移有关的校正，换言之是与视觉辨认区域5内的ar显示区域7的位置的偏移有关的校正。显示位置变换部14在变换后的ar显示区域7内配置ar图像。即，显示位置变换部14确定变换后的ar显示区域7内的ar图像的显示位置。
显示位置变换部14通过进行基于预定的变换表(或者预定的变换计算式)的变换处理，确定变换后的ar显示区域7的位置以及该ar显示区域7内的ar图像的显示位置。显示位置变换部14将输入值输入到变换表来进行变换处理，并将输出值输出。输入值是基于s3的获取信息的图像内的物体的位置坐标、空间内的本车和物体的距离等。输出值是视觉辨认区域5(ar平面8)内的ar显示区域7、ar图像的位置等。后述变换处理的内容详情。
(s6)ar显示部15进行用于根据s4以及s5的数据以及信息在视觉辨认区域5的ar显示区域7中显示ar图像的控制处理而使显示部20进行ar显示。ar显示部15使用s5的变换后(校正后)的数据，在与视觉辨认区域5对应的计算上的ar平面8中，生成用于在ar显示区域7中显示ar图像的ar数据。另外，此时，ar显示部15还进行用于从ar平面8向挡风玻璃9的曲面的视觉辨认区域5对应的坐标变换(失真校正)的处理。ar显示部15将作为生成的ar数据的影像数据提供给显示部20。之后，如上所述，显示驱动电路21依照ar数据生成显示驱动信号，驱动光源23以及显示元件22。由此，来自显示元件22的影像光经由光学系统24的反射镜24a等被投射以及反射到视觉辨认区域5的ar显示区域7，相对实像的物体重叠显示ar图像。同样地反复进行如以上的主要处理。以下，使用具体例说明ar显示区域7的位置的变换处理等。
[视觉辨认区域(1)]
图11示出从驾驶员的视点位置观察的挡风玻璃9的视觉辨认区域5中的ar显示区域7、ar图像的例子。图11示出在实像和虚像中没有显示的偏移的状态的情况。此外，在图11等中，简单地以矩形的xy平面示出视觉辨认区域5。在视觉辨认区域5内，作为实像，视觉辨认到本车的前方的道路500、相向车501、建筑物、天空等。用虚线框表示视觉辨认区域5的ar显示区域7的位置的例子。该虚线框实际上不被显示。在本例子中，示出在视觉辨认区域5的中央附近设定有相对小的尺寸且矩形的ar显示区域7的情况，但能够不限于此。点c1表示ar显示区域7的中心位置。
在ar显示区域7内，根据需要而显示ar图像。作为ar图像的例子，示出ar图像g1、g2。ar图像g1是为了强调相向车501的存在而显示如包围相向车501的区域那样的框图像的例子。能够通过ar图像g1对驾驶员提醒注意。ar图像g1能够根据从照相机2的图像检测出相向车而显示。ar图像g1例如还能够进行基于来自ecu101的车辆信息的显示控制。例如，也可以根据本车的车速以及与相向车501的距离的判断，控制ar图像g1的有无显示、显示颜色、有无亮灭等。ar图像g2是在本车的前方的道路500的路面上显示用于本车的行进方向的导航的箭头图像的例子。ar图像g2例如是表示右转的箭头图像。ar图像g2例如根据车辆导航部106的目的地以及路径的信息而被生成以及显示。此外，关于如上述的ar图像的内容、显示的方式，仅为一个例子而不限定于此。
点q1表示作为视觉辨认区域5内以及照相机2的图像内的物体的相向车501的区域的中心位置。ar图像g1的显示中心位置是点q1。点q2是道路500上的1个位置(例如交叉路内)。ar图像g2的显示中心位置是点q2。
如图3等那样，照相机2的位置和驾驶员的视点位置不同，所以由照相机2拍摄的图像的内容与驾驶员的视野的视觉辨认区域5的内容不同，但为大致对应的内容。控制部10通过进行与照相机2的位置和驾驶员的视点位置的不同(距离d12)对应的校正的计算，将照相机2的图像和视觉辨认区域5对应起来。此外，以下为简化说明，设为视觉辨认区域5和图像6大致相同。换言之，示出假设为照相机2的位置p2与本车位置、视点位置一致的情况。这些位置关系虽然有各种情况，但如上所述能够相互变换。本车位置是在本车区域中预先设定的任意点的位置，例如是图15的本车的位置m1，是挡风玻璃9的中心点等。
此外，图11的ar图像的显示例是将实像的物体的位置和ar图像的显示位置设为相同的点的方式的情况，但能够不限于此。作为其他方式，还能够实现在物体的位置的临近位置抽出ar图像并附加线等而关联起来显示的方式等。
[视觉辨认区域(2)]
图12示出驾驶员的视野的视觉辨认区域5以及与其对应的照相机2的图像6的例子。图12的例子示出在视觉辨认区域5内设定有ar显示区域7但在实像和虚像中有显示的偏移的状态的情况。该情况与图7、图8的情况对应。在照相机2的图像6中，作为二维坐标系，用小写的x表示横向(面内水平方向)，用小写的y表示纵向(面内垂直方向)。用(x，y)表示图像6内的像素的点q的位置坐标。
在图12的状态下，相对视觉辨认区域5以及图像6内的相向车501的位置(点q1)，ar显示区域7以及ar图像g1、g2的位置为比图11的状态向下偏移的位置。例如，作为ar图像g1的框图像相对相向车501的区域有偏移，一部分与相向车501的区域重叠而未包围相向车501的区域。如果显示的偏移的大小未达到一定程度，则驾驶员能够识别相向车501和ar图像g1的关系性，但该偏移越大，则作为ar图像越不适合。
[视觉辨认区域(3)]
图13示出作为视觉辨认区域5的其他例子而ar显示区域7的一部分从视觉辨认区域5内偏离到外部的情况。例如，在将反射镜24a的角度θ从上述图7的状态调节为图8的状态时，有时无法顺利地调节而成为如图13那样的状态。在图13的状态下，显示的偏移大，作为ar图像不适合。ar图像g1被中断而仅显示一部分，难以视觉辨认而无法识别与相向车501的关系。完全观察不到ar图像g2。对于驾驶员，实像和虚像的偏移越大，则将实像和虚像关联起来的识别越难。这样的显示的偏移最好尽可能小。
[照相机图像]
图14示出与图11等对应的照相机2的图像6的例子，特别概略地示出从图像6抽出相向车501的区域的情况。图像输入部11从照相机2的图像6中根据特征抽出等图像解析而检测包含于ar显示区域7内的ar对象即预定的物体的区域以及位置坐标。在本例子中，图11的相向车501是对象物体。图像输入部11检测该物体的中心的点q1的位置坐标(x1，y1)，抽出以该点q1为中心的区域601。区域601在此单纯地设为包含相向车501的区域的四边形，但能够不限于此。图像输入部11可以将对象物体区域检测为梯形、椭圆等的区域，也可以更详细地检测像素区域、形状等。此外，在图像输入部11的物体区域的抽出时，能够根据预先设定的物体的特征信息、定义信息或者基准图像等用公知的手法检测。
图像6内的ar显示区域7表示与基本设定的例子中的视觉辨认区域5内的ar显示区域7的位置对应起来的位置。ar显示区域7的中心的点c1具有图像6内的位置坐标(xc1，yc1)。
同样地，在将本车的前方的道路500的路面的交叉路等作为对象物体的情况下，将该物体区域的代表性的1个位置表示为点q2的位置坐标(x2，y2)。图像输入部11检测交叉路等区域的点q2。
[与物体的距离]
图15示出三维空间的水平面(xz平面)中的本车和其他车的位置关系以及距离。其他车是ar对象物体、例如是相向车501。将本车的位置设为m1，用(xm1，ym1，zm1)表示其位置坐标。将其他车的位置设为m2，用(xm2，ym2，zm2)表示其位置坐标。此外，此处的本车以及其他车的位置坐标与基于gps的位置坐标(纬度、经度、高度等)对应起来。另外，示出此处的本车以及其他车的位置设定为挡风玻璃的中央附近的情况。如上所述，本车的挡风玻璃9的视觉辨认区域5、驾驶员的视点位置、照相机2的位置等具有预定的位置关系，它们能够相互变换。
用距离d表示空间内的本车的位置m1和其他车的位置m2的距离。用距离dz表示距离d中的与本车的前方对应的z方向上的本车的位置m1和其他车的位置m2的距离。另外，用距离dx表示距离d中的与本车的左右对应的x方向上的本车的位置m1和其他车的位置m2的距离(间隔)。虽然未图示，在高度方向(y方向)上也具有距离分量(图3中的距离dy相当)。关于距离dz，在图3中距离d14或者距离d24对应。
hud装置1以预定的方式测量本车的位置m1和其他车(相向车501)的位置m2的距离。例如，在使用上述车外拍摄部102的立体照相机的情况下，能够根据左右的2个图像内的物体(其他车)的位置坐标(x，y)通过两眼视差方式计算距离d。
[ar平面(1)]
图16示出hud装置1的ar功能的计算上的二维平面即ar平面8。与视觉辨认区域5以及图像6对应起来构成ar平面8。该ar平面8是在实际的曲面的视觉辨认区域5的ar显示区域7中显示ar图像之前的状态的平面。在ar平面8中，与图像6同样地，用小写的x表示横轴，用小写的y表示纵轴，用(x，y)表示点q的位置坐标。
显示位置变换部14在ar平面8中进行ar显示区域7以及ar图像的变换处理。显示位置变换部14根据变换前的ar显示区域7，通过变换处理，确定变换后的ar显示区域7，配置于ar平面8。用点r1的位置坐标(xr1，yr1)表示变换后的ar显示区域7的中心点。ar显示区域7还具有基于设定的横宽rh1、纵宽rh2。
显示位置变换部14使用来自信息获取部12的物体信息(图14的物体的位置坐标)以及距离信息(图15的距离d)，通过预定的变换处理，得到ar平面8中的ar显示区域7内的ar图像的显示位置。用点v的位置坐标(x，y)表示该ar平面8中的ar图像的显示位置。点v是配置ar图像时的基准点(例如中心点)。例如，确定了与相向车501的区域的点q1的位置坐标(x1，y1)对应的点v1的位置坐标(xv1，yv1)。另外，确定了与路面上的点q2的位置坐标(x2，y2)对应的点v2的位置坐标(xv2，yv2)。
[ar平面(2)]
图17示出针对图16的ar平面8中的ar显示区域7的ar图像的配置例。显示位置变换部14在ar显示区域7内的确定的各位置坐标配置ar图像。示出配置后的ar图像g1、g2。例如，在以ar显示区域7内的点v1为中心的显示位置，配置有ar图像g1(与ar图像g1对应)。另外，在以点v2为中心的显示位置，配置有ar图像g2(与ar图像g2对应)。ar图像g1、ar图像g2是基于由ar图像生成部13生成的基本ar图像的图像。ar图像生成部13例如根据源数据的框图像，生成以具有与物体区域尺寸对应的显示尺寸、预定的显示颜色等的方式调整后的基本ar图像(框图像)701。ar图像生成部13例如根据源数据的箭头图像，生成调整了显示尺寸、显示颜色、显示倾斜(例如与路面平行)等后的基本ar图像(箭头图像)702。显示位置变换部14根据基本ar图像701、702，在ar显示区域7中配置ar图像g1、g2。
此外，在上述处理例中，显示位置变换部14进行ar显示区域7的位置的变换以及变换后的ar显示区域7内的ar图像的配置(显示位置的确定)，但能够不限于此。例如，也可以在显示位置变换部14中仅进行ar显示区域7的位置变换，ar图像生成部13或者ar显示部15进行向变换后的ar显示区域7内的ar图像配置(显示位置的确定)。
此外，在ar平面8与实际的视觉辨认区域5之间介有反射镜24a等光学系统24，所以显示元件22以及ar平面8的图像内容包括成为上下反转等的内容的情况。
[坐标变换(失真校正)]
图18示出用于从ar平面8向与挡风玻璃9对应的三维的曲面的视觉辨认区域5对应的坐标变换(失真校正)。由于预先已知汽车的挡风玻璃9的视觉辨认区域5的曲面形状、尺寸等，所以能够将从ar平面8向视觉辨认区域5的坐标变换规定为预定的校正计算。该坐标变换能够通过预定的投影、射影变换等而规定。图18的(a)示出变换前的ar平面8，是具有x轴、y轴的正交坐标系。在图18的(b)中，简单地用二维的坐标系表示变换后的曲面的视觉辨认区域5(省略z方向)。此外，该坐标变换还能够汇总为变换表内的一部分。
通过该坐标变换，ar平面8中的ar显示区域7的位置以及ar图像的显示位置与曲面的视觉辨认区域5中的位置对应起来。例如，(a)的ar平面8的ar显示区域7的中心的点r1成为(b)的变换后的曲面的ar显示区域7w的点w。例如，ar图像g1的点v1(xv1，yv1)成为变换后的ar显示区域7w的点w1(xw1，yw1)。
ar显示部15将如图18的(b)那样的变换后的数据作为ar数据提供给显示部20。由此，通过来自显示部20的投射显示，在视觉辨认区域5中显示如图11那样的ar内容(ar图像g1等)。此时，如图12那样的实像和虚像(ar显示区域7的ar图像)的偏移被减少。
[处理详情(1-1)]
接下来，说明控制部10的处理的详情以及具体例。
(1)首先，在上述s1、s2中，图像输入部11获取照相机2的图像6内的物体的区域及其中心点的位置坐标(x，y)等。例如，得到图14的图像6内的相向车501的区域601以及点q1的位置坐标(x1，y1)等。
(2)在s3中，信息获取部12根据图像6内的物体的位置坐标(x，y)，获取空间内的本车的位置和物体的位置的距离。例如，得到图15的与相向车501的距离d(dx，dy，dz)。
距离获取的详情如以下所述。例如，在使用作为车外拍摄部102的照相机2的立体照相机来测定距离的情况下，首先，能够使用照相机2的左右的2个图像根据公知的两眼视差方式计算图3的照相机2的位置p2和物体的位置p4的距离d24。或者，同样地，在使用距离传感器的情况下能够检测距离传感器和物体的距离。
接下来，信息获取部12将得到的距离d24换算为驾驶员的视点的位置p1和物体的距离d14。其例如能够使用照相机2的位置p2和视点的位置p1的距离d12来换算。距离d12也可以使用预先设定的概略值。或者，在具备后述驾驶员拍摄部107的情况下，也可以使用其功能来测定视点的位置p1而计算距离d12。
(3)在s4中，ar图像生成部13生成用于与物体重叠显示的基本ar图像。例如是与ar图像g1对应的图17的基本ar图像701等。控制部10使用显示位置变换部14进行以下的ar显示区域7以及ar图像的变换处理。
(4)在s5中，显示位置变换部14使用图像6内的物体的位置坐标(x，y)以及空间内的与物体的距离等信息，在ar平面8中确定ar显示区域7的位置以及ar显示区域7内的ar图像的显示位置等。此时，显示位置变换部14进行基于变换表的变换处理。显示位置变换部14将输入值输入到变换表并输出变换后的输出值。在图16的例子中，作为变换后的ar显示区域7的位置，得到中心的点r1的位置坐标(xr1，yr1)、横宽rh1、纵宽rh2，作为该ar显示区域7内的ar图像的显示位置，得到点v1(xv1，yv1)、点v2(xv2，yv2)等。
(5)在s5中，显示位置变换部14在ar平面8中在变换后的ar显示区域7内的确定的显示位置配置ar图像。在图17的例子中，在点v1配置有ar图像g1，在点v2配置有ar图像g2。ar显示部15进行从ar图像配置后的ar平面8向曲面的视觉辨认区域5的坐标变换，生成显示用的ar数据。在图18的例子中，生成坐标变换后的ar显示区域7w以及ar图像。
[处理详情(1-2)]
实施方式1的显示位置变换部14的变换处理(s5)的详情如以下所述。
首先，与ar图像信息有关的坐标变换如以下所述。如图14的例子那样，用q(x，y)表示照相机2的图像6中的对象物体的基准点的像素坐标。例如，与相向车501的区域601对应的点q1的图像坐标是(x1，y1)。
作为照相机2的初始设定值，设为以下。
■从地上起的设置位置：h(图3的点p2、位置p2、高度h2)
■相对水平面的安装角度：
■照相机传感器的垂直视角：
■照相机传感器的水平视角：
■照相机传感器的垂直像素数：ny(图14的图像6的纵宽ny)
■照相机传感器的水平像素数：nx(图14的图像6的横宽nx)
■照相机传感器与本车z方向前端(前保险杠等)之间的距离：j(图3的距离d6。或者也可以设为点p2和点p5的距离)。
另外，在此，将从本车至对象物体为止的前方(z方向)的距离设为e(图15的距离dz)。将从本车至对象物体为止的横向(x方向)的距离设为f(图15的距离dx)。
在该情况下，根据对象物体的像素坐标(x，y)，能够用下述式1计算距离e，能够用下述式2计算距离f。此外，关于距离f的值，设为在符号为负的情况下表示左、在符号为正的情况下表示右。
(式1)
(式2)
作为hud装置1的初始设定值，设为以下。
■虚像的倾斜角度：αhud(图4的角度αh等)
■从地面起的驾驶员的眼睛的位置：hhud(图3的高度h1)
■hud的垂直视角：βv(图3的ar显示区域7的视角β的垂直分量)
■hud的水平视角：βh(图3的ar显示区域7的视角β的水平分量)
■hud的垂直像素数：nyhud(图16的ar显示区域7的纵宽rh2)
■hud的水平像素数：nxhud(图16的ar显示区域7的横宽rh1)。
将本车的视觉辨认区域5的前方的虚像302的显示位置距离信息设为距离en、距离fn。距离en是前方(z方向)的距离(图3的距离d13、距离d23对应)。距离fn是左右(x方向)的距离。另外，将hud装置1的显示元件22中的显示像素坐标设为(xhud，yhud)。距离en用下述式3表示。距离fn用下述式4表示。显示像素坐标(xhud，yhud)被设定为满足下述式3以及式4。
(式3)
en＝hhud·tan(90°-(αhud+βv/2)+(yhud/nyhud)·βv)-j
(式4)
fn＝en·tan(((xhud-(nxhud/2))/nxhud)·(βh/2))
接下来，示出如图17那样在ar显示区域7中配置ar图像时的ar图像的变换的详情。图19示出该ar图像的变换的例子。在本例子中，关于图11的ar图像g2，示出从图17的作为箭头图像的基本ar图像702向ar图像g2的变换。图19的(a)示出变换前的箭头图像。该ar图像是包含箭头图像的框具有直角的长方形的形状。用点c1～c4表示长方形的角的4点。示出长方形的横宽gr、纵宽gs。将点c1的显示像素坐标设为(xhud，yhud)。
图19的(b)示出第1变换后的箭头图像。在该ar图像中，包含箭头图像的框为梯形。第1变换是用于设为与路面平行的箭头图像的变换，还是ar显示区域7的位置的变换前。例如，ar图像生成部13进行至第1变换。用点c1b～c4b表示梯形的角的4点。在第1变换中，根据变换前的长方形的4点(c1～c4)，通过公知的射影变换，得到变换后的梯形的4点(c1b～c4b)。用gr2表示梯形的下边的宽度，用gr3表示上边的宽度，用gs2表示纵宽。
图19的(c)示出第2变换后的箭头图像。从第1变换后的箭头图像，通过与ar显示区域7的位置的变换对应的第2变换，得到第2变换后的箭头图像的梯形的4点(c1w～c4w)。在第2变换的计算时，在上述式3、式4中，以满足点c1w～c4w这4点的位置坐标的方式计算4点的显示位置距离信息(en，fn)。显示位置变换部14(或者ar显示部15)以得到的4点c1w～c4w为基准，通过公知的射影变换，使箭头图像整体从图19的(b)变形为(c)那样。
控制部10基于上述计算，根据照相机2的图像6内的物体的位置坐标信息(x，y)以及空间内的与物体的距离信息，计算空间内的实像301的物体的位置信息(图15的位置m2)。能够以本车的位置(图15的位置m1)为基准，使用式1以及式2的距离e以及距离f(图15的距离d)计算空间内的物体的位置。
控制部10以与上述空间内的实像301的物体的位置信息(位置m2)匹配的方式，确定空间内的ar显示区域7内的虚像302的显示位置。即，以使虚像302以及实像301的物体的位置在来自视点的位置p1的视线l1上重叠的方式，确定ar显示区域7内的虚像302的显示位置。该虚像302的显示位置在图3的空间中与位置p3(x3，y3，z3)对应，在图16的ar平面8中例如与点v1(xv1，yv1)对应。控制部10根据该虚像302的显示位置，在ar平面8的ar显示区域7内配置ar图像(图17)。然后，控制部10对配置后的ar平面8进行坐标变换(图18)，作为ar数据输出。
另外，ar显示部15在如图18那样进行2轴的平面的坐标变换时，将2轴的各方向分割为多个，保持分割区域的交点的数据。在图18的例子中，在x方向上使用9点而分割为8个单位区域，在y方向上使用5个点而分割为4个单位区域。然后，ar显示部15使用预定的坐标变换表进行坐标变换。ar显示部15能够使用从交点的插值运算，得到交点以外的点的数据。
[变换表(1)]
图20示出实施方式1中的显示位置变换部14的使用变换表的计算的概念。在实施方式1中，显示位置变换部14使用变换表t1(第1变换表)。例如，在控制部10内的存储器(rom)中预先设定了变换表t1。
显示位置变换部14将上述图像内的物体的位置(q(x，y))以及本车和物体的距离d作为输入值，输入到变换表t1，通过利用变换表t1的变换，作为输出值，输出ar显示区域7内的ar图像的显示位置(v(x，y))。
[效果等]
如上所述，根据实施方式1的hud装置1，具有自动地校正ar显示区域7以及ar图像的位置的功能，所以能够消除或者减少实像和虚像的显示的偏移，实现合适的ar显示。关于本车的照相机2的位置p2、驾驶员的视点的位置p1，与以往相比能够增大容许变动的范围。
此外，在实施方式1中，说明了主要在上下方向(y方向)上校正以及变换ar显示区域7以及ar图像的位置，但能够不限于此，在左右方向(x方向)上也能够同样地进行校正以及变换。
(实施方式2)
使用图21～图24说明本发明的实施方式2的hud装置等。实施方式2等中的基本结构与实施方式1相同。以下，说明实施方式2等中的与实施方式1不同的结构部分。在实施方式2的hud装置1中，除了根据照相机2的图像通过控制部10的处理而校正显示的偏移以外，还具有检测光学系统24的反射镜24a的角度θ的功能，根据该角度θ校正显示的偏移。例如，在驾驶员的视点位置与基本设定的视点位置相比上下大幅变动的情况下，实像和虚像的显示的偏移变大，仅通过实施方式1的校正的功能无法应对。因此，在实施方式2中，具有根据能够通过调节光学系统24的反射镜24a的角度θ而变更ar显示区域7的位置的机构与该角度θ的状态对应地校正ar显示内容的功能。
[比较例的课题]
在相对实施方式2的比较例的hud装置中，存在以下的课题。如上述图4～图8那样，根据驾驶员的姿势、体型的状态，视点位置不同，另外，观察ar显示区域的情况的视线不同。驾驶员根据自己的视点位置以在视觉辨认区域5中能够观察到hud的ar显示区域7的虚像的方式进行包括反射镜24a的角度θ的调节的基本设定。
例如，在标准的姿势、体型的人的情况下，成为如图3、图4那样的状态，作为基本设定，是视点的位置p1a以及眼箱ea。在该基本设定的状态之后，在视点位置进入到眼箱ea内的情况下，实像和虚像的显示的偏移消除或者变小，所以驾驶员易于视觉辨认虚像。例如，从位置p1a如图11那样能够观察到视觉辨认区域5。在该状态之后，在第1驾驶员将姿势改变为图5的第2姿势的情况下、体型不同的第2驾驶员以第2姿势利用等情况下，视点位置偏离到基本设定的眼箱ea外。在该情况下，实像和虚像的显示的偏移变大，驾驶员变得难以视觉辨认虚像。
在图5以及图7的例子中，在从第2姿势的人的视点的位置p1b观察与第1姿势的人的视点p1a匹配的基本设定的ar显示区域7的虚像的情况下，实像和虚像的偏移大，而虚像是难以视觉辨认的。在图6以及图8的例子中，在从第2姿势的人的视点的位置p1b观察与第2姿势的人的视点p1b匹配地调节的ar显示区域7的虚像的情况下，存在实像和虚像的偏移，虚像依然是难以视觉辨认的。例如，在体型相对大的第2驾驶员的情况下，反射镜24a的角度θ再次通过调节而从角度θa被变更为角度θb的状态。
在图8的例子中，作为反射镜24a的角度θ的状态，在与第1姿势的人的视点的位置p1a对应的基本设定中，是在(a)的位置的反射镜24a中示出的角度θa。在角度θa的状态下，影像光的中心轴被投射到视觉辨认区域5的点ca的位置而被反射。视线l1a是经由视觉辨认区域5的ar显示区域7的点ca观察视觉辨认区域5的前方的ar显示区域7a1的虚像302的情况。在与第2姿势的人的视点的位置p1b对应的设定中，是在(b)的位置的反射镜24a中示出的角度θb。在角度θb的状态下，影像光的中心轴被投射到视觉辨认区域5的点cb的位置而被反射。视线l1b是经由视觉辨认区域5的ar显示区域7的点cb观察视觉辨认区域5的前方的ar显示区域7a3的虚像302的情况。
第2姿势的人的视点的位置p1b高于第1姿势的人的视点的位置p1a(h1a<h1b，y1a<y1b)。因此，在视觉辨认区域5中，如图12的例子那样，能够观察到虚像(例如ar图像g1)相对实像301的物体(例如相向车501)的位置向下侧的位置偏移。
如图7、图8的例子那样，从与驾驶员的姿势等对应的视点位置观察ar显示区域7的虚像时的视线的估计角度、倾斜角度不同。例如，在图7中，α1≠α3。根据该角度，在实像301的物体与虚像302之间产生偏移。
作为相对实施方式2的比较例的hud装置，在不具有实施方式2的hud装置1的功能的情况下，从图5、图6的第2姿势的人的视点的位置p1b例如如图12、图13那样在视觉辨认区域5中存在实像和虚像的显示的偏移。因此，驾驶员难以视觉辨认或者无法视觉辨认虚像。
在比较例的hud装置中，作为基本设定功能，具有通过手动操作调节反射镜24a的角度θ的机构，虽然能够粗略地调节相对视觉辨认区域5的ar显示区域7的位置，但无法进行关于实像和虚像的显示的偏移的自动的校正。另外，例如在体型相对大的人、体型相对小的人的情况下，最初在基本设定时难以进行使得成为在视觉辨认区域5内能够观察到ar显示区域7的虚像的状态的调节。
因此，在实施方式2的hud装置1中，具有检测光学系统24的反射镜24a的角度θ的状态并以与该角度θ的状态匹配地校正ar显示区域7内的ar图像的显示位置的方式进行变换处理的功能。由此，实现在驾驶员与视点位置匹配地调节了反射镜24a的角度θ的情况下实像和虚像的显示的偏移比以往少的合适的ar显示。
[hud装置]
图21示出包括实施方式2的hud装置1的车载系统100的结构。hud装置1的显示部20在驱动部25中具备检测部26。检测部26检测光学系统24的反射镜24a的角度θ等。在驱动部25中，虽然未图示，具备能够通过驾驶员的手动操作变更反射镜24a的角度θ的操作按钮等。另外，在驱动部25中，具备依照来自控制部10的控制变更角度θ的功能。根据该操作按钮等输入，从驱动部25驱动马达等而变更反射镜24a的角度θ(例如图8)。在角度θ被变更的情况下，检测部26检测此时的角度θ。检测部26可以始终检测角度θ而输出，也可以仅在被变更时检测角度θ而输出。检测部26将包括检测出的角度θ的角度信息输出到控制部10。此外，关于检测部26检测角度θ的方式，没有特别限定。
控制部10的信息获取部12获取来自检测部26的角度信息，与其他信息一起输出到显示位置变换部14。此外，也可以显示位置变换部14从检测部26输入角度信息。显示位置变换部14使用该角度信息以及上述物体信息、距离信息，进行ar显示区域7以及ar图像的显示位置的变换处理等。该变换处理与实施方式1的变换处理不同。显示位置变换部14确定为根据反射镜24a的角度θ的状态在上下方向(y方向)上校正ar显示区域7内的ar图像的显示位置。由此，使得相对实像301的物体的虚像302的显示位置与适合的位置一致。
[视觉辨认区域]
在实施方式2的hud装置1中，根据角度θ的状态校正ar显示区域7内的ar图像的显示位置。因此，例如在从图5、图6的第2姿势的人的视点的位置p1b观察视觉辨认区域5的ar显示区域7的情况下，例如如图22那样能够观察到实像和虚像的显示的偏移被减少的视觉辨认区域5。
图22示出实施方式2中的视觉辨认区域5的例子。在该视觉辨认区域5中，关于ar显示区域7的位置，与图12的ar显示区域7的位置几乎无变化，相对实像301的物体(例如相向车501)向下侧的位置稍微偏移。然而，关于ar显示区域7内的ar图像的显示位置，通过实施方式2的变换，偏移以被减少的方式被校正。例如，显示ar图像g1b、g2b。作为ar图像g1b的框图像被校正为相对图12的ar图像g1的显示位置成为更上侧的位置，接近图11的相向车501的位置(点q1)。在ar图像g1b中，通过变换还被校正了显示尺寸。以使虚像(ar图像g1b)相对物体区域(相向车501)大致重叠的方式，显示位置关系大致被改善为适合的状态。从第2姿势的人的视点的位置p1b，能够观察为实像和虚像的显示的偏移被减少的视觉辨认区域5。另外，关于作为ar图像g2b的箭头图像，也同样地以相对图12的ar图像g2的显示位置成为更上侧的位置的方式被校正，接近图11的位置(点q2)。从视点的位置p1b在大致交叉路的路面上能够观察到ar图像g2b。驾驶员能够大致合适地视觉辨认ar图像g1b、g2b。
[处理详情(2-1)]
接下来，说明实施方式2中的控制部10的处理的详情以及具体例。
(1)驾驶员坐到驾驶座位，以使驾驶座位的状态与自己的体型、姿势匹配的方式调节。例如，在标准的体型的第1驾驶员的情况下，成为图4的第1姿势。例如，在体型相对大的第2驾驶员的情况下，成为图5的第2姿势。
(2)驾驶员在利用hud装置1的ar功能的情况下，作为基本设定，进行ar显示区域7的调节。驾驶员通过手动操作例如操作按钮的上下的输入而调节显示部20的反射镜24a的角度θ，从而调节视觉辨认区域5内的ar显示区域7的位置。驱动部25依照手动操作的输入信号驱动马达，而使反射镜24a的角度θ在正负的方向上变化。此外，此时hud装置1在视觉辨认区域5中显示成为用于调节的引导的预定的虚像。根据手动操作，该引导的虚像变动。驾驶员一边观察该引导的虚像，一边以成为自己感觉合适的位置的方式调节。此外，根据调节(基本设定)，还确定了与该时间点的视点的位置p1对应的眼箱。例如，设定眼箱ea。
(3)检测部26检测调节后的反射镜24a的角度θ，将该角度信息输出到控制部10。
(4)显示位置变换部14根据照相机2的图像6内的物体的点q的位置坐标(x，y)、空间内的与物体的距离d以及角度θ，在ar平面8的ar显示区域7中，以校正从视点的位置观察ar显示区域7的情况下的ar图像的显示位置的方式进行变换处理。该变换处理实时地进行，包括如以下那样的处理。
显示位置变换部14与实施方式1同样地根据图像6内的物体的中心的点q的位置坐标(x，y)以及空间内的与物体的距离d的信息，计算ar显示区域7内的ar图像的显示位置的点v的像素坐标(x，y)。此时，显示位置变换部14使用用于实施方式2的变换表进行变换处理。
[变换表(2)]
图23示出实施方式2中的显示位置变换部14的使用变换表的计算的概念。在实施方式2中，显示位置变换部14使用变换表t2(第2变换表)。变换表t2由实施方式1的变换表t1和预定的系数k1的乘运算构成。
实施方式2中的变换的基准例如预先与如图2～图4那样的标准的姿势的人的第1状态的视点位置等对应地设计。即，作为基准，首先能够使用与实施方式1同样的变换表t1。对该变换表t1乘以在实施方式2中用于考虑反射镜24a的角度θ的系数k1来构成变换表t2。
系数k1通过预定的函数f2确定。函数f2是包括反射镜24a的角度θ作为变量的函数。作为函数f2的输入值包括角度θ。作为函数f2的输出值得到系数k1。大致根据反射镜24a的形状规定函数f2。函数f2例如预先设定于控制部10内的存储器(rom)。
进而，作为实施方式2的变形例，为了使使用变换表t2的变换处理的计算高速化，能够应用如以下那样的方式。变换表t2的乘运算(t1×k1)、函数f2有时复杂。在该情况下，作为变形例，使用公知的拉格朗日插值方式使其计算简化而高速化。此外，通过该简化，计算的精度不会降低，ar显示的偏移的校正的精度被确保。
[处理详情(2-2)]
以下是实施方式2中的变换处理的详情。在该变换处理中，作为相对实施方式1的变换处理不同的结构点，有使用驾驶员的视点位置、上下方向(y方向)的偏移这点。在包括hud装置1的系统中，在如图7、图8的例子那样从驾驶员的视点观察虚像时的估计角度、对应的倾斜角度不同的情况下，上述式3以及式4中的倾斜角度αhud不同。作为倾斜角度αhud不同的结果，显示元件22的显示像素坐标(xhud，yhud)不同。因此，需要与变换表t1有关的校正，使用系数k1校正而成为变换表t2。例如，在比较倾斜角度αhud大的情况和倾斜角度αhud小的情况时，成为如图24那样。
图24示出在实施方式2中与ar显示区域7的变换相关的ar平面8的变换。该变换包括上述坐标变换。在显示位置变换部14中，作为变换处理的一部分，还进行从ar平面8向曲面的视觉辨认区域5的坐标变换。图24的(a)示出变换前的ar平面8以及ar显示区域7，与上述同样地是2轴(x，y)的平面。在此，为了简化，相同地示出ar平面8和ar显示区域7。图24的(b)示出变换后的ar平面8以及ar显示区域7。在变换后的ar平面8中，实线的矩阵801表示倾斜角度αhud小的情况，与实施方式1的变换表t1对应。虚线的矩阵802表示倾斜角度αhud大的情况，与实施方式2的变换表t2对应。矩阵802能够观察为相对矩阵801更倾斜的梯形形状。
通过对实施方式1的变换表t1乘以与反射镜24a的角度θ对应的用于校正的系数k1，能够用作变换表t2。换言之，通过针对矩阵801乘以系数k1，得到矩阵802。应用如矩阵802那样和与角度θ对应起来的视点位置、倾斜角度对应的变换表t2而变换ar显示区域7内的ar图像的显示位置。由此，在从驾驶员的视点位置观察到的视觉辨认区域5中，实像和虚像的显示的偏移被减少。此外，在实施方式2中，在倾斜角度αhud小的情况下，如果将系数k1设为1，则与变换表t1的应用相当。
[效果等]
如上所述，根据实施方式2的hud装置1，具有根据反射镜24a的角度θ的状态自动地校正ar显示区域7内的ar图像的显示位置的功能，所以能够消除或者减少实像和虚像的显示位置的偏移来实现合适的ar显示。在具有能够根据驾驶员的姿势、体型的差异调节反射镜24a的角度θ来调节ar显示区域7的位置的机构的情况下，能够实现使显示的偏移减少的更合适的ar显示。
(实施方式3)
使用图25～图27说明本发明的实施方式3的hud装置等。在实施方式3的hud装置1中，除了实施方式1的基于控制部10的处理的ar显示内容的校正以及实施方式2的与反射镜24a的角度θ对应的校正等以外，还具有检测驾驶员的视点位置的功能。该功能使用车载系统100的驾驶员拍摄部107。在实施方式3的hud装置1中，具有根据该驾驶员的视点位置自动地调节反射镜24a的角度θ的功能。即，根据角度θ设定视觉辨认区域5内的ar显示区域7的位置。另外，在实施方式3的hud装置中，具有根据该视点位置、角度θ以及ar显示区域7的位置的状态校正ar显示区域7内的ar图像的显示位置的功能。
[比较例的课题]
在相对实施方式3的比较例的hud装置中，存在以下的课题。作为基本的课题，与实施方式1以及实施方式2的比较例的hud装置的课题相同。首先，在图4～图8中，根据第1姿势、第2姿势的驾驶员的视点的位置p1，以成为能够观察到ar显示区域7的ar图像的位置的方式调节反射镜24a的角度θ。例如，在图8的情况下，以与第2姿势的人的视点的位置p1b匹配的方式，反射镜24a的角度θ从角度θa被变更为角度θb。在这样的情况下，从视点的位置p1b观察视觉辨认区域5的前方的位置p3的ar显示区域7的虚像302时的估计角度、倾斜角度不同。由此，在从驾驶员的视点观察的情况下，实像和虚像的显示产生偏移。
因此，在实施方式3的hud装置1中，具有根据驾驶员的视点位置(图3的位置p1)的检测进行以与该视点位置匹配的方式校正ar显示区域7内的ar图像的显示位置的变换处理的功能。
[hud装置]
图25示出包括实施方式3的hud装置1的车载系统100的结构。车载系统100具备驾驶员拍摄部107。驾驶员拍摄部107包括照相机3，使用1台以上的照相机3对包括驾驶员的眼睛的车内的预定的范围进行拍摄，进行预定的处理。照相机3是驾驶员照相机、车内照相机，输出拍摄的影像数据。在车辆的预定的位置，以预定的拍摄方向、视角设置有照相机3(图26)。驾驶员拍摄部107使用1台以上的照相机3的图像，检测驾驶员的视点的位置p1(点p1)、视线l1(图26)。驾驶员拍摄部107将至少包括检测出的视点位置、视线的视点信息输出到hud装置1的控制部10。此外，包括眼睛的位置p1的视点信息可以设为左右的两眼的各位置的信息，也可以设为两眼的中间点等位置。
驾驶员拍摄部107将照相机3的影像数据、通过预定的处理得到的视点信息等输出到hud装置1、ecu101。hud装置1、ecu101能够使用该视点信息等进行控制。驾驶员拍摄部107也可以将照相机3的影像数据、得到的信息储存到影像数据存储部103。
驾驶员拍摄部107具备使用照相机3的图像进行预定的处理的信号处理部。该信号处理部也可以设置于ecu101、hud装置1内。驾驶员拍摄部107的功能能够使用公知技术构成。在实施方式3中，驾驶员拍摄部107具有根据照相机2的图像的解析检测驾驶员的眼睛的位置、视线方向等的功能、即所谓眼动跟踪(视线追踪)功能。此外，驾驶员拍摄部107也可以被安装为眼动跟踪(视线追踪)装置。此外，在实施方式1中，也作为变形例也可以在车载系统100中具备驾驶员拍摄部107。
控制部10具备与驾驶员拍摄部107协作地检测驾驶员的视点位置的视点位置检测功能。在实施方式3中，特别地，视点位置检测功能使用信息获取部12来实现。信息获取部12从驾驶员拍摄部107获取包括视点位置、视线的视点信息。信息获取部12除了上述物体信息、距离信息、车辆信息以外，还保持以及输出视点信息。此外，也可以并非通过驾驶员拍摄部107，而是通过控制部10等计算视点位置等。在该情况下，例如信息获取部12从驾驶员拍摄部107输入照相机3的图像，通过公知的手法解析该图像而得到视点位置等。
显示位置变换部14使用来自信息获取部12的视点信息中的眼睛的位置p1等，进行ar显示区域7内的ar图像的显示位置的变换处理等。该变换处理与实施方式1、实施方式2的变换处理不同。显示位置变换部14根据视点的位置p1以及角度θ的状态，在上下方向(y方向)上校正ar显示区域7内的ar图像的显示位置。由此，使从驾驶员的视点位置观察的情况下的相对实像的虚像的显示位置与适合的位置一致。
驾驶员拍摄部107例如具有以下的功能。驾驶员拍摄部107根据照相机3的图像判断眼睛的部分，检测空间内(车内)的驾驶员的眼睛的位置。在图26中，是点p1(位置p1)的位置坐标(x1，y1，z1)。另外，驾驶员拍摄部107也可以根据头、眼睛的位置，判断、检测驾驶员的姿势、活动等。另外，驾驶员拍摄部107例如也可以根据判断眼睛中的瞳孔、光反射点的公知的方式检测驾驶员的视线方向(图26的视线l1)。另外，例如驾驶员拍摄部107能够通过判断图像内的眼睛的眨眼等状态而检测驾驶员的疲劳状态、瞌睡等。
[驾驶座位]
图26与图2大致相同而示出实施方式3中的驾驶座位附近。在图26中，在车内的预定的位置p3，设置有驾驶员拍摄部107的照相机3。示出车辆中的照相机3的设置位置的点p3以及拍摄方向l3。在本例子中，在驾驶座位的斜上附近设置有照相机3。拍摄方向l3表示朝向斜下的驾驶座位以及驾驶员的脸的情况。在实施方式3中，具有包括照相机3的驾驶员拍摄部107，所以即使在驾驶员的视点位置变动的情况下，也能够追踪该视点位置来检测。即，也能够测量变动的视点位置和物体的距离等。
[视觉辨认区域]
在实施方式3的hud装置1中，具有根据视点位置的状态自动地调节反射镜24a的角度θ来校正视觉辨认区域5的ar显示区域7的位置并且校正ar显示区域7内的ar图像的显示位置的功能。因此，例如在从图7的第2姿势的人的视点的位置p1b观察视觉辨认区域5的情况下，能够观察为实像和虚像的显示的偏移被减少的视觉辨认区域5。例如，能够观察到与实施方式2的图22的例子同样的视觉辨认区域5。在该视觉辨认区域5中，ar显示区域7内的ar图像的显示位置被校正为接近实像的物体，显示的偏移被减少。另外，伴随与视点位置的变动对应的校正，反射镜24a的角度θ也例如从图7的角度θa的状态被自动地调节为图8的角度θb的状态。即，不需要利用手动操作的调节，能够削减驾驶员的工夫。
[处理详情(3-1)]
接下来，说明实施方式3中的控制部10的处理的详情以及具体例。
(1)hud装置1在ar功能的利用时，使用驾驶员拍摄部107的照相机3检测驾驶员的眼睛的位置，输出视点信息。
(2)控制部10的信息获取部12获取该视点信息。信息获取部12根据包含于视点信息的空间内的眼睛的位置p1的信息、例如两眼的中间点的位置坐标(x1，y1，z1)，计算视点位置变动的情况下的变动量(设为偏移量δ)。信息获取部12在该计算时，使用以作为基准的基本设定的视点位置例如图4的位置p1a为中心的眼箱ea，计算从基准的位置p1a起的变动后的眼睛的位置的变动量(偏移量δ)。偏移量δ例如包含y方向(上下)的偏移量δh以及z方向(前后)的偏移量δd。此外，在驾驶员拍摄部107具备计算该偏移量δ的功能的情况下，能够省略控制部10中的偏移量δ的计算。信息获取部12将包括该偏移量δ的视点信息输出到显示位置变换部14。
(3)显示位置变换部14以根据视点位置的变动调整反射镜24a的角度θ的方式控制驱动部25。驱动部25依照来自控制部10的控制信号变更反射镜24a的角度θ。
(4)控制部10以根据视点位置的变动调整反射镜24a的角度θ的方式控制驱动部25。驱动部25依照来自控制部10的控制信号，变更反射镜24a的角度θ。
(5)检测部26检测通过自动调节变更后的反射镜24a的角度θ的状态，将角度信息输出到控制部10的信息获取部12。
(6)控制部10的信息获取部12掌握该调整后的角度θ的状态，向显示位置变换部14输出角度θ的状态。
(7)显示位置变换部14根据包括偏移量δ的视点信息以及角度θ的状态，使用用于实施方式3的预定的变换表t3(第3变换表)，进行确定ar平面8中的ar显示区域7内的ar图像的位置坐标(x，y)的变换处理。该变换处理实时地进行，包括如以下那样的处理。显示位置变换部14与实施方式1同样地根据图像6内的物体的点q的位置坐标(x，y)以及空间内的与物体的距离d的信息，计算ar显示区域7内的ar图像的显示位置的点v的像素坐标(x，y)。此时，显示位置变换部14使用变换表t3进行变换处理。
(8)之后，控制部10也从(1)同样地进行与视点位置的变动的检测对应的角度θ的调节(ar显示区域7的位置的设定)以及ar显示区域7内的ar图像的校正。
[变换表(3)]
图27示出实施方式3中的显示位置变换部14的使用变换表t3的计算的概念。变换表t3被规定为与视点的位置p1对应的变换。变换的基准例如预先与如图2～图4那样的标准的人的第1状态对应地设计。即，作为基准，能够应用与实施方式1同样的变换表t1。对该变换表t1乘以用于实施方式3的系数k2而构成变换表t3。系数k2是与视点位置对应的系数。
系数k2通过预定的函数f3确定。函数f3是包括视点位置的偏移量δ作为变量的函数。作为函数f3的输入值，包括视点位置的偏移量δ。作为函数f3的输出值，得到系数k2。大致根据反射镜24a的形状确定函数f3。函数f3预先储存于控制部10的存储器(rom)内。
偏移量δ是从基准的眼睛的位置(例如位置p1a)起的变动时的偏移量，包括y方向的偏移量δh、z方向的偏移量δd。y方向的偏移量δ例如与图5的位置y1a(高度h1a)和位置y1b(高度h1b)的差分相当。信息获取部12能够从驾驶员拍摄部107获取该偏移量δ、或者根据获取的视点信息计算偏移量δ。
另外，在实施方式3中，作为变形例，为了使使用变换表t3的变换处理的计算高速化，能够与实施方式2同样地应用拉格朗日插值方式。
此外，作为实施方式3的变形例，控制部10也可以根据视点位置的偏移量δ的大小、例如根据与阈值范围的比较，控制反射镜24a的角度θ以及ar显示区域7的调节有无执行、定时等。例如，控制部10也可以控制为在视点位置的偏移量δ是与基准的眼箱对应的范围内的情况下不执行角度θ的变更以及变换处理、在视点位置的偏移量δ是范围外的情况下执行角度θ的变更以及变换处理。
[处理详情(3-2)]
在包括hud装置1的系统中，视点位置相对作为基准的眼睛的位置(基本设定的眼箱内的位置)由于驾驶员的姿势的变化等而变动。例如，从图4的位置p1a变动为图5的位置p1b。作为该变动时的视点位置的偏移量δ，设为上下方向(y方向)的偏移量δh以及前后方向(z方向)的偏移量δd。在该情况下，如图7、图8的例子那样，从驾驶员的视点位置观察虚像时的估计角度、倾斜角度不同。因此，上述式3以及式4中的倾斜角度αhud不同。作为倾斜角度αhud不同的结果，显示元件22的显示像素坐标(xhud，yhud)不同。因此，需要与变换表t1有关的校正，使用系数k2校正而成为变换表t3。
在实施方式3中，控制部10根据变动的视点位置的掌握，自动地调节光学系统24的反射镜24a的角度θ。控制部10根据视点位置的偏移量δ，计算适合的角度θ(或者角度θ的变更量)。能够使用规定偏移量δ和角度θ的关系的预定的函数等来实现该计算。控制部10在调节角度θ的情况下向驱动部24输出为此的控制信号。驱动部24依照该控制信号驱动马达等而使反射镜24a的角度θ变更。
[效果等]
如上所述，根据实施方式3的hud装置1，具有根据驾驶员的眼睛的位置p1的状态自动地校正ar显示区域7内的ar图像的显示位置的功能，所以能够消除或者减少实像和虚像的显示的偏移，实现合适的ar显示。另外，在实施方式3中，能够削减驾驶员的手动操作调节反射镜24a的工夫。
以上，根据实施方式具体地说明了本发明，但本发明不限于上述实施方式，能够在不脱离其要旨的范围内实现各种变更。能够实现实施方式的构成要素的追加、删除、分离、合并、置换、组合等。实施方式的功能等的一部分或者全部可以用集成电路等硬件实现，也可以用软件程序处理实现。各软件可以在产品出厂时间点预先储存到装置内，也可以在产品出厂后从外部装置经由通信获取。本发明不限于车载系统，能够应用于各种用途。
- 还没有人留言评论。精彩留言会获得点赞！