头戴式显示器、平视显示器和影像显示方法与流程

本发明涉及头戴式显示器、平视显示器和影像显示方法。

背景技术：

人的视网膜中存在对长波长(红色附近)反应的红视锥细胞、对中波长(绿色附近)反应的绿视锥细胞和对短波长(蓝色附近)反应的蓝视锥细胞这3种视锥细胞。普遍认为，当光入射到人眼时，这些视锥细胞发生反应，响应入射的光中的红色、绿色、蓝色各自的波长而辨识颜色。颜色的辨识因这3种视锥细胞的灵敏度即所谓色觉特性而不同。例如有些人的对红色附近反应的红视锥细胞的灵敏度较低，则这些人会将红色的颜色成分辨识得较少。因此，在所观看的风景中，红色与褐色将变得难以区别。如上所述，颜色的感受因人而异。

于是，在专利文献1中，作为一种面向颜色辨识困难的人，使其与具有标准视敏度的人以同样的颜色辨识风景的颜色的色觉辅助装置，公开了这样的结构，“包括：拍摄外部环境并按每种颜色生成图像数据的彩色相机，保存了图像数据的每种颜色的输入输出特性的查找表，使查找表的输出按预先设定的增益放大的乘法器，将乘法器输出再现为图像的显示器，和将该显示器上再现的图像对瞳孔投影的投影透镜，其中，将拍摄得到的每种颜色的图像数据转换为佩戴者易于辨别颜色的图像数据再进行显示(摘抄自摘要)”。

现有技术文献

专利文献

专利文献1：日本特开2014-165768号公报

技术实现要素：

发明要解决的技术问题

在专利文献1中，使拍摄到的影像的红色、绿色、蓝色之各颜色成分的亮度按色觉特性相应地放大，并将该放大影像利用沉浸型头戴式显示器对人眼投影。由此，用户能够间接地以正确的颜色辨识所拍摄的影像的颜色。

不过，专利文献1是沉浸型头戴式显示器，因此用户不能直接观看风景，存在难以掌握远近关系、或者装置发生故障时视野将会被遮挡等的缺陷。

于是，在代替沉浸型头戴式显示器将专利文献1的技术应用于可辨识外部环境的透视型头戴式显示器的情况下，头戴式显示器的佩戴者透过影像(虚像)直接观看风景(实像)并同时辨识颜色，所以存在这样的新的问题，即，需要使显示位置对齐以使影像(虚像)与风景(实像)重合，以及，由于佩戴者辨识的是影像与风景混合的颜色，所以不能够正确地辨识风景的颜色。

本发明鉴于上述问题，目的在于提供一种用户能够直接观看风景并同时辨识正确的颜色的技术。

解决问题的技术手段

作为一例，上述目的能够由以下技术方案实现。本发明包括多种解决上述问题的技术手段，举其一例如下。一种头戴式显示器，其特征在于，包括：拍摄用户观察的风景的摄像器；存储器，其保存用于对所述摄像器拍摄的原始影像中所含的红色成分、绿色成分和蓝色成分之各颜色成分的亮度进行校正的颜色校正系数；校正影像生成器，其生成进行了颜色校正处理的校正影像，在所述颜色校正处理中，对于构成所述原始影像的红色成分、绿色成分和蓝色成分，将保存在所述存储器中的颜色校正系数之中颜色校正系数相对低的颜色成分增强；影像显示器，其在用户能够观察外部环境的状态下，在所述用户的视野中显示所述校正影像；和特殊影像处理器，其进行用于使所述校正影像与所述原始影像重叠显示的影像处理。

发明效果

根据本发明，能够提供一种用户能够直接观看风景并同时辨识正确的颜色的技术。另外，上述以外的技术问题、技术特征和技术效果，将通过以下实施方式的说明而明确。

附图说明

图1是表示第一实施方式的透视型头戴式显示器的形态的概略图。

图2是表示越过影像观看风景的用户如何辨识颜色的概略图。

图3是表示头戴式显示器的结构之一例的框图。

图4是表示头戴式显示器的通信连接方式之一例的图。

图5是表示各颜色的颜色成分的强度的图。

图6是说明由机械结构决定的参数的图。

图7是表示特殊影像处理器中的处理模式的概要的图，(a)表示用户到拍摄区域与到影像显示区域的距离相同的情况，(b)表示用户到拍摄区域与到影像显示区域的距离不同的情况。

图8是表示用户到拍摄区域与到影像显示区域的距离相同的情况下的特殊影像处理器中的处理的图。

图9是表示用户到拍摄区域与到影像显示区域的距离不同的情况下的特殊影像处理器中的处理的图。

图10是表示头戴式显示器的动作的处理流程的流程图。

图11是表示获取与用户对应的颜色校正系数的情况下的头戴式显示器的框图之一例的概略图。

图12是表示获取与用户对应的颜色校正系数时使用的检查画面之一例的图。

图13是获取与用户对应的颜色校正系数的情况下的头戴式显示器的动作的流程图。

图14是表示低功耗地使用户辨识到正确的颜色的头戴式显示器的框图之一例的概略图。

图15是表示生成校正影像来抑制风景与影像不完全重合的情况下的不自然感的头戴式显示器的框图之一例的概略图。

图16是表示第二实施方式的平视显示器的形态之一例的概略图。

图17是表示搭载在车辆中的平视显示器的框图之一例的概略图。

图18是表示传感器装置的框图之一例的概略图。

图19是表示人眼的位置发生了变化的情况下，驾驶员观看的风景和影像之一例的概略图。

图20是表示即使人眼的位置发生变化，风景与影像也是重合的，驾驶员能够直接观看风景并同时辨识正确的颜色的平视显示器的动作的流程图的概略图。

图21是表示头戴式显示器的动作的流程图的概略图。

具体实施方式

以下，使用附图对本发明实施方式详细进行说明。其中，以下描述用于说明本发明的一个实施方式，但并不限制本发明的范围。从而，对于本领域技术人员而言，其能够实现将这些要素或者全部要素置换为与其同等的要素的实施方式，这样的实施方式也包括在本发明的范围中。

＜第一实施方式＞

第一实施方式举例说明的是，用户能够直接观看风景并同时辨识正确的颜色的作为色觉辅助装置的头戴式显示器。参考图1和图2说明第一实施方式的透视型头戴式显示器的概要。图1是表示本实施方式的透视型头戴式显示器的形态的概略图。图2是表示越过(透过)影像观看风景的用户如何辨识颜色的概略图。

图1所示的透视型头戴式显示器101(以下简称“头戴式显示器101”)是佩戴在用户的头部102的透视型的头戴式显示器，其安装有在使得外部环境能够被观察到的状态下在用户的视野内的一部分或者整个视野内显示影像的影像显示器207，和拍摄用户的视野内的一部分或者整个视野的拍摄器203。影像显示器207包括投射用于生成虚像的影像光的影像投射器105。影像投射器105在用户的视野内的区域103显示影像(虚像)。另外，拍摄器203拍摄用户的视野内的区域104。以下将区域103称为影像显示区域，将区域104称为拍摄区域。

影像显示器207例如可以采用这样的结构，即，利用使用了透镜或全息图、光纤等技术的规定的光学器件，将液晶或数字微镜器件等显示的影像传播至用户的视野内，在用户的视网膜上成像而由用户辨识为影像。

摄像器203例如能够使用相机(摄像机)等，只要能拍摄用户的视野内的一部分或者整个视野即可。摄像器203拍摄风景而得到的影像相当于原始影像。然后，将对该原始影像进行了颜色校正而得到的影像(校正影像)与风景重叠着显示。其中，在风景上重叠校正影像的处理，严格说来相当于使校正影像的位置、大小与拍摄风景得到的原始影像一致的处理(重合)。

参考图2，说明图1的头戴式显示器101的影像与用户直接观察的风景的位置关系。图2的标记106是包含在摄像器203的拍摄区域中的风景，标记107是影像显示区域的影像(校正影像)。来自拍摄区域的风景106的光如图2的虚线所示地到达人眼。因此，为了越过影像直接观看风景并同时辨识颜色，影像显示区域的影像107需要对照着图2的虚线，使风景与影像重叠地显示。由此，拍摄区域的风景106的光和影像显示区域的影像107的光重叠地到达透视型头戴式显示器101的用户的眼睛。即，在同一虚线上，风景106的颜色成分与影像107的颜色成分混合着到达用户的眼睛。

接着参考图3和图4说明头戴式显示器的概略结构。图3是表示头戴式显示器101的结构之一例的框图。图4是表示头戴式显示器的通信连接方式之一例的图。

如图3所示，头戴式显示器101包括控制整个头戴式显示器101的控制器201。进而头戴式显示器101包括与该控制器201连接的下述结构要素，即操作器200、存储器202、摄像器203、通信器204、影像处理器206、影像显示器207、声音处理器208和传感装置210。另外，头戴式显示器101还包括用于与连接至通信器204的外部通信装置通信的通信输入输出器205，与声音处理器208连接的相当于麦克风或耳机的声音输入输出器209，与传感装置210连接的作为各种传感器的连接接口的传感器输入输出器211，和与影像处理器206连接的校正影像生成器212以及特殊影像处理器213。

操作器200是供用户对头戴式显示器101输入指示的用户接口，例如由硬件按钮或拨盘部件构成。

存储器202中保存有用于对影像的红色、绿色、蓝色之各颜色成分的亮度进行校正的颜色校正系数。颜色校正系数能够根据色觉特性——表示用户对红色、绿色、蓝色之各颜色成分的视敏度——而相应地设定。另外，也能够按照用户的偏好而相应地设定。关于颜色校正系数的设定方法，将在后文中叙述。

摄像器203拍摄用户观看的风景。

通信器204通过无线通信进行与网络之间的经由通信输入输出器205的连接。例如，头戴式显示器101可以与图4所示的互联网等的基站401连接，经由互联网402获取信息。另外，头戴式显示器101可以经由通信输入输出器205，利用bluetooth(注册商标)、wifi(注册商标)、uhf、vhf等近距离/远距离无线通信技术与本机外的信息终端(智能手机或平板型终端、pc等)进行通信，经由该信息终端与互联网等连接。进而可以构成为，由信息终端进行以下说明的颜色校正处理并将颜色校正处理后的影像信号(校正影像)发送至头戴式显示器101，由头戴式显示器的影像投射器105投射影像。

声音处理器208进行的处理是，将从声音输入输出器209输入的模拟声音信号转换为数字信号，或者将输入到声音输入输出器209的声音信号从数字信号转换为模拟信号。

传感器输入输出器211能够搭载多种传感器，例如倾斜传感器、加速度传感器等检测用户的姿势和方向、运动的传感器，视线传感器、温度传感器等检测用户的身体状态的传感器，压敏传感器、静电电容传感器等检测用户的指示输入的用作输入输出i/f的传感器，检测用户是否佩戴本机的接近传感器，等等。传感装置210基于来自传感器输入输出器211的传感器信号，执行用于判定有无检测信号的处理。

特殊影像处理器213生成例如3d影像、ar(augmentedreality，增强现实)、vr(virtualreality，虚拟现实)等特殊影像。

以下，对作为色觉辅助装置以使用户能够直接观看风景并同时辨识正确的颜色的头戴式显示器101的主要构成要素，尤其是影像处理器206、校正影像生成器212和特殊影像处理器213详细进行说明。

首先，当摄像器203拍摄了风景后，在影像处理器206中，基于由摄像器203拍摄而生成的信号，生成影像(原始影像)。在校正影像生成器212中，基于存储器202中保存的颜色校正系数，对影像处理器206生成的影像的红色、绿色、蓝色的颜色成分，进行与红色、绿色、蓝色之各颜色校正系数相应地增强亮度的颜色校正处理，生成校正影像。

以下，按具体例说明使用了颜色校正系数的颜色校正处理。其中，

此处对于用户对不同颜色的灵敏度不同的情况进行说明，但本实施方式不限定于灵敏度不同时的颜色校正处理。即使用户对红、蓝、绿的灵敏度相同，本实施方式也能够应用于用户要对红、蓝、绿中的任意颜色以任意的等级进行增强的用途。

此处，令存储器202中保存的红色、绿色、蓝色的颜色校正系数分别为α(红)、α(绿)、α(蓝)，影像处理器206生成的影像(原始影像)的红色、绿色、蓝色的颜色成分的亮度分别为r(红)、g(绿)、b(蓝)，并且，以补偿颜色校正系数低的颜色成分的方式增强了亮度的影像(校正影像)的红色、绿色、蓝色的各亮度分别为r(校正)、g(校正)、b(校正)，则各亮度能够用式(1)、(2)、(3)计算。其中，α(红)、α(绿)、α(蓝)是0到1的范围的值。

r(校正)＝r(红)×(1-α(红))/α(红)……(1)

g(校正)＝g(绿)×(1-α(绿))/α(绿)……(2)

b(校正)＝b(蓝)×(1-α(蓝))/α(蓝)……(3)

接着，使用图5说明用户如何感受由影像和风景的颜色成分混合得到的颜色。图5是表示各颜色的颜色成分的强度的图。图5中，用户的绿色和蓝色的灵敏度最高，红色的灵敏度(颜色校正系数)是它们的50％，即α(红)＝0.5、α(绿)＝1、α(蓝)＝1。该情况下，对于风景的各颜色成分的亮度(参考图5的标记108)，用户以红色减半的色调辨识风景(参考图5的标记109)。

为此，利用下式(4)～(6)求出对影像处理器206生成的影像(原始影像)实施颜色校正后的校正影像的各颜色成分的值。

r(校正)＝r(红)×(1-α(红))/α(红)＝r(红)……(4)

g(校正)＝g(绿)×(1-α(绿))/α(绿)＝0……(5)

b(校正)＝b(蓝)×(1-α(蓝))/α(蓝)＝0……(6)

式(4)中，相对于输入值r(红)，颜色校正后的输出值(式(4)右边)也是r(红)。从而，生成与输入值r(红)等价(强度1)的影像信号。不过，因为α(绿)＝1、α(蓝)＝1，所以不生成绿色和蓝色的影像(参考图5的标记110)。当用户辨识该校正影像时，以校正影像的红色的亮度也减半的色调辨识(参考图5的标记111)。

于是，在用户透过头戴式显示器101观看风景的情况下，用户在风景的颜色(参考图5的标记109)与从头戴式显示器101输出的校正影像(参考图5的标记111)混合的状态下观察(参考图5的标记112)。

即，风景原本的颜色(标记108)中红色的亮度与校正影像的红色的亮度(标记110)到达用户的眼睛，因此红色光以风景原本的颜色的2倍的亮度(强度)到达用户的眼睛，但因为用户对红色的灵敏度是50％，所以结果用户辨识到的红色光成为2倍×50％＝1倍，成为与风景原本的颜色成分相同的亮度，因此用户能够以正确的颜色辨识风景。

本例以保存在存储器202中的颜色校正系数中最高的颜色校正系数(α(绿)、α(蓝))作为基准颜色校正系数，对于比基准颜色校正系数的1/2高的颜色校正系数的颜色成分(α(绿)、α(蓝))，校正影像生成器212生成与摄像器203拍摄的影像相比变暗的影像，对于基准颜色校正系数的1/2以下的颜色校正系数的颜色成分(α(红))，校正影像生成器212生成与摄像器203拍摄的影像相比变亮的影像，在影像显示器207上显示。

根据以上所述，能够用保存在存储部202中的红色、绿色、蓝色的颜色校正系数中最高的颜色校正系数作为基准颜色校正系数，以与基准颜色校正系数的颜色成分相同的亮度辨识颜色校正系数比基准颜色校正系数更低的颜色成分的亮度。

在按照色觉特性——表示用户对红色、绿色、蓝色之各颜色成分的视敏度——而相应地设定颜色校正系数的情况下，能够对视敏度低的颜色成分进行补偿使其达到视敏度最高的颜色成分的亮度，因此用户能够以正确的颜色辨识风景的颜色。

另外，在按照用户的偏好而相应地设定颜色校正系数的情况下，能够使用户以适合其所处的周围环境的颜色进行辨识。例如，周围环境暗的情况下，易于辨识短波长的蓝色的成分，难以辨识长波长的红色的颜色成分。因此，通过使红色的颜色成分变亮、增强而使其变得易于辨识。但是，增强的颜色成分并不限于红色。通过按照用户的偏好而相应地使规定的颜色成分变亮，用户变得易于辨识风景的颜色。

另外，因为摄像器203与影像投射器105的位置相距较远，所以特殊影像处理器213进行用于使校正影像生成器212生成的校正影像与风景重叠显示的影像处理。在本实施方式中，作为该影像处理的一例，对用于进行位置对齐和使图像的大小一致的处理进行说明。摄像器203与影像投射器105的位置关系由头戴式显示器101的机械结构决定，因此拍摄区域104与影像显示区域103的范围的大小、进深、面内的位置关系是已知的。按照机械结构，相应地将拍摄区域104与影像显示区域103重合的区域的影像裁剪出来，将裁剪出的影像显示在影像显示器207上(用影像投射器105投射)。以下，参考图6至图9，说明将裁剪出的影像显示在影像显示器207上并使之与风景重叠的处理。另外，以下说明的特殊影像处理器213所进行的裁剪处理的计算方法并不限定于1种方法，其只是多种方法中的1种。图6是说明由机械结构决定的参数的图。图7是表示特殊影像处理器中的处理模式的概要的图，(a)表示用户到拍摄区域与到影像显示区域的距离相同的情况，(b)表示用户到拍摄区域与到影像显示区域的距离不同的情况。图8是表示用户到拍摄区域与到影像显示区域的距离相同的情况下的特殊影像处理器中的处理的图。图9是表示用户到拍摄区域与到影像显示区域的距离不同的情况下的特殊影像处理器中的处理的图。

如图6所示，令用户到影像显示区域的距离为l，用户到拍摄区域(风景)的距离为l’，影像显示区域的纵、横长度为a、b，拍摄区域的纵、横长度为a’、b’，则基于机械结构可以得到以下参数。

影像显示区域/拍摄区域的尺寸＝a/a’、b/b’……(7)

用户到影像显示区域/拍摄区域的距离＝l/l’……(8)

以用户为基准，拍摄区域与影像范围的位置关系大致存在用户到拍摄区域与到影像范围的距离相同的情况，即l＝l’的情况(图7的(a))，和用户到拍摄区域与到影像范围的距离不同的情况、即l≠l’的情况(图7的(b))。以下，对于各情况下的特殊影像处理器213的处理进行说明。

首先，对于用户到拍摄区域与到影像范围的距离相同的情况(图7的(a))下的处理，参考图8进行说明。

如图8所示，特殊影像处理器213确定拍摄区域104的中心位置1041和影像显示区域103的中心位置1031(参考图8的(a))。

接着以影像显示区域103的中心位置1041为基准，以与影像显示区域103相同的尺寸(纵向a、横向b)对拍摄区域104内的拍摄影像进行裁剪(参考图8的(b))。

特殊影像显示器213在影像显示器207上显示裁剪出的拍摄影像(参考图8的(c))。由此，能够使裁剪出的拍摄影像重叠显示在拍摄影像(风景)上。

另一方面，在用户到拍摄区域104与到影像显示区域103的距离不同的情况下(图7的(b))，如图9所示，特殊影像处理器213计算拍摄区域104的位置(l’)处的影像尺寸(参考图9的(a))。

拍摄区域104的位置处的影像显示区域103’的纵向尺寸：

a”＝(l’/l)×a……(9)

拍摄区域104的位置处的影像显示区域103’的尺寸：

b”＝(l’/l)×b……(10)

接着，确定拍摄区域104的位置(l’)处的影像显示区域103’的中心位置1031’(参考图9的(b))。由此，能够得到实际的影像显示区域103和拍摄区域104的面内的位置关系。

接着参考图10说明作为色觉辅助装置以使用户能够直接观看风景并同时辨识正确的颜色的头戴式显示器101的动作的流程。图10是表示头戴式显示器的动作的处理流程的流程图。

如图10所示，当头戴式显示器101开始动作后(s101)，拍摄器203拍摄风景(s102)。影像处理器206生成由摄像器203拍摄的影像(s103)，校正影像生成器212基于所生成的影像的红色、绿色、蓝色的颜色成分和存储在存储器202中的颜色校正系数，生成以对减少的颜色成分的亮度进行补偿的方式增强了亮度的影像(s104)。

特殊影像处理器213为了使生成的影像与风景重合，而进行从生成的影像中裁剪影像的处理(s105)。影像显示器207在视野中显示经s105处理得到的影像(s106)。在要结束色觉辅助的情况下(s107/是)结束动作(s108)，在要继续色觉辅助的情况下(s107/否)前进至s102，继续动作。

另外，影像处理器206生成的影像可以改变范围地生成——可以按每1个像素生成也可以按每10个像素生成。在以精细的范围生成影像——例如按每1个像素生成时，能够更鲜明地表现风景的颜色。而通过扩大范围——例如按每10个像素生成，能够减轻影像处理器206的负担，加快影像处理的速度。

另外，虽然未特别图示，但通过在头戴式显示器101上设置检测用户的视线的视线检测器，和将摄像器203拍摄的影像的生成范围限制在所述视线检测器检测出的视线附近的影像范围限制器，能够减轻对影像处理器206造成的负担，加快影像处理的速度。另外，能够仅对用户想要观看的部分进行颜色校正，仅对该部位进行增强。

用户的颜色校正系数随身体状况和年龄增长而变化。通过在头戴式显示器101上设置能够获取与用户对应的颜色校正系数的机构，能够实现与个体匹配的色觉辅助。

以下，参考图11至图13说明获取与用户对应的颜色校正系数的情况下的头戴式显示器。图11是表示获取与用户对应的颜色校正系数的情况下的头戴式显示器的框图之一例的概略图。图12是表示获取与用户对应的颜色校正系数时使用的检查画面之一例的图。图13是获取与用户对应的颜色校正系数的情况下的头戴式显示器的动作的流程图。

图11的头戴式显示器101a在图3所示的头戴式显示器101的结构之外还包括颜色校正系数获取器214。颜色校正系数获取器214能够获取与用户对应的颜色校正系数。省略与图3相同的功能部的详细说明。

以下，对获取与用户对应的颜色校正系数的情况下的头戴式显示器101a的各构成要素详细进行说明。

颜色校正系数获取器214在获取用户的颜色校正系数时，例如使影像显示器207显示图12所示的检查画面300。不过，在按照色觉特性相应地设定颜色校正系数的情况下，也可以采用选择预先设定的色觉特性——红色、绿色、蓝色的各视敏度为标准的视敏度的c型色觉、红色的颜色成分的视敏度低的p型色觉、绿色的颜色成分的视敏度低的d型色觉等——的形式。

检查画面300包括描述了检查方法的导引301、在左右半圆中显示了红色或绿色或蓝色的颜色校正系数检查表302、调整颜色校正系数检查表302的左右半圆所含的颜色成分的亮度的比率的亮度比调整构件303、作为操作机构的一个要素的光标304、保存按钮305和中止按钮306。

例如，在颜色校正系数检查表302的左右半圆中分别显示红色和绿色、绿色和蓝色、蓝色和红色。用户利用操作机构304操作亮度比调整构件303，能够变更左右半圆所含的颜色成分的亮度的比率。在与亮度比调整构件303的中间部相比更靠左侧的情况下，左侧的半圆的颜色成分的亮度减少，右侧的半圆的颜色成分的亮度增加。在位于亮度比调整构件303的中间部的情况下，对于具有标准的视敏度的人而言，左右半圆所含的颜色成分看起来亮度相同。在按照色觉特性相应地设定颜色校正系数的情况下，需要操作亮度比调整构件303以使颜色校正系数检查表302的左右半圆所含的颜色成分的亮度看起来相同。另外，在按照用户的偏好相应地设定颜色校正系数的情况下，根据偏好而相应地调整颜色校正系数检查表302的左右半圆所含的颜色成分的亮度。根据调整完成后的颜色校正系数检查表302的左右半圆所含的颜色成分的亮度的比率计算颜色校正系数。例如，在按照色觉特性而相应地设定颜色校正系数的情况下，对于感受绿色和蓝色的颜色成分的亮度的灵敏度相同，而感受红色的颜色成分的亮度的灵敏度低50％的用户来说，其颜色校正系数检查表302的左右半圆所含的颜色成分的亮度的比率是红色与绿色或蓝色相比高至2倍。对颜色校正系数检查表302的左右半圆所含的颜色成分的亮度的比率的倒数以其中的最大值进行标准化，将得到的结果作为红色、绿色、蓝色之各颜色成分的颜色校正系数。不过，在使用了多个颜色校正系数检查表302的情况下，对红色、绿色、蓝色之各颜色成分的比率求平均，对平均化后的比率的倒数以其中的最大值进行标准化，将得到的结果作为红色、绿色、蓝色之各颜色成分的颜色校正系数。通过使用多个颜色校正系数检查表302，能够获得精度更高的颜色校正系数。获得的颜色校正系数被保存在存储器202中。

根据以上所述，能够利用颜色校正系数获取器214随时轻松地获得随身体状况和年龄增长而变化的颜色校正系数。

接着，参考图13说明使用了颜色校正系数获取器214的颜色校正系数的获取处理的流程。

当颜色校正系数获取器214开始动作后(s201)，颜色校正系数获取器214使影像显示器207显示检查画面(s202)。用户经由操作机构304从亮度比调整构件303输入颜色校正系数。控制部201判断保存按钮305或中止按钮306是否被按下。在控制部201判断为中止按钮306被按下的情况下(s203/中止)，结束图13所示的一系列动作(s206)。在控制部201判断为已实施了颜色校正系数的检查时(s203/保存)，颜色校正系数获取器214计算颜色校正系数(s204)，颜色校正系数获取器214将s204中计算得到的颜色校正系数保存在存储器202中(s205)。之后，结束动作(s206)。

以上说明了颜色校正系数获取器214基于用户经检查画面300进行的输入操作而获取用户的颜色校正系数的方法，但是不限定于以上说明的方法。颜色校正系数获取器214只要能够获取与感受红色、绿色、蓝色之各颜色成分的亮度的灵敏度相关联的信息即可。例如，可以用通信器204进行通信来获取在医疗机构等检查到的感受红色、绿色、蓝色之各颜色成分的亮度的灵敏度。

另外，在获取用户的颜色校正系数时，可以分用户所处的环境明亮的情况和昏暗的情况进行。虽然没有特别图示，但可以在头戴式显示器101a中搭载颜色校正系数自动切换器，与用户所处的环境的亮度相应地自动区分使用保存在存储器202中的明亮的情况和昏暗的情况下的颜色校正系数。例如，在用户所处的环境超过了规定亮度的情况下，使用明亮环境下的颜色校正系数生成影像。而在比规定亮度暗的情况下，使用昏暗环境下的颜色校正系数生成影像。由此，能够按照亮处和暗处而相应地进行色觉辅助。

接着，说明低功耗地实现头戴式显示器的动作的方法。

本申请的头戴式显示器是对用户的色觉进行辅助的，能够长时间佩戴使用这一点非常重要。但是，在lcd(liquidcrystaldisplay)这样的控制透射率来调整显示影像的红色、绿色、蓝色之各颜色成分的亮度的显示器中，例如相对于光源的红色、绿色、蓝色之各颜色成分的最大的亮度，使显示影像的亮度为一半的情况下，50％的光透射而剩余的50％为无用的光。从而，即使在显示影像所含的红色、绿色、蓝色之各颜色成分的亮度比光源的最大亮度暗的情况下，光源的红色、绿色、蓝色之各颜色成分也始终以最大亮度发光，所以效率较低。以下，参考图14说明低功耗地使人辨识正确的颜色的头戴式显示器的结构。图14是表示低功耗地使人辨识正确的颜色的头戴式显示器的框图之一例的概略图。

图14所示的头戴式显示器101b在图11的头戴式显示器101a的结构之外，还包括光量检测器215，和调整光源的红色、绿色、蓝色之各颜色成分的光量的光量调整器216。另外，在图13中图示了影像显示器207包括光源装置207a、面板装置207b和影像投射器207c(相当于图1的标记105)的情况下，而已说明的图3的头戴式显示器101(参考图3)、101a(参考图7)也包括这些内部结构，只是省略了图示而已。省略头戴式显示器101b包括的结构中的与头戴式显示器101a相同的结构的详细说明。

以下，对于低功耗地使人辨识正确的颜色的头戴式显示器101b的各构成要素进行详细说明。

光量检测器215检测由校正影像生成器212生成的影像中的红色、绿色、蓝色之各颜色成分的最大的亮度。光量调整器216根据光量检测器215检测出的红色、绿色、蓝色之各颜色成分最大的亮度，相应地使影像显示器207的红色、绿色、蓝色之各光源装置207a发光。由此，在显示影像时，光源装置207a不会以不必要的亮度发光。从而，通过在显示影像中所含的亮度比光源的最大亮度暗的情况下，调整光源的亮度使其成为显示影像中最大的亮度，能够提供低功耗的头戴式显示器。

另外，本实施方式中将风景与影像的颜色成分混合起来使人辨识颜色。因此，与仅用影像使人辨识正确的颜色的情况相比，所需的亮度降低，能够实现进一步的低功耗化。

但是，使影像相对于风景完全一致地重合是困难的。在影像与风景存在偏差的情况下，会导致感到不自然。于是，可以进行校正处理以抑制风景与影像不完全重合的情况下的不自然感。

图15是表示生成校正影像来抑制风景与影像不完全重合的情况下的不自然感的头戴式显示器的框图之一例的概略图

图15所示的头戴式显示器101c在头戴式显示器101b(参考图14)的结构之外，还包括边缘检测和着色器(shader)217。省略与图14相同的功能部的详细说明。

以下，对于头戴式显示器101c的各构成要素详细进行说明。

首先，在边缘检测和着色器217中，对校正影像生成器212生成的影像进行边缘检测。作为进行边缘检测的方法，例如能够根据影像的每个像素所含的颜色成分的色差或亮度差进行检测。接着进行使检测出的边缘部分模糊等处理。作为模糊处理例如对色差或亮度差较高的边缘部分的周边调整颜色成分以使差逐渐消除即可。这样，将校正影像生成器212生成的影像所含的各像素中的亮度和颜色成分的值与周围相比急剧变化的像素检测为边缘，并进行使检测出的边缘的周边部分模糊的处理，由此即使影像与风景存在偏差也不会产生不自然感，用户能够自然地辨识风景的颜色。

根据本实施方式，在透视型头戴式显示器中搭载拍摄器，对该拍摄器拍摄的原始影像使用用户的颜色校正系数进行颜色校正处理而生成校正影像，从校正影像中将相当于原始影像中的影像显示区域的区域裁剪出来显示。由此，用户能够将风景和校正影像重叠在一起辨识，因此用户能够直接观看风景并同时辨识正确的颜色。进而，通过使用透视型头戴式显示器，从而提供了一种即使在头戴式显示器破损的情况下也不会遮挡视野的安全的影像显示装置。

另外，以上说明了对原始图像进行颜色校正处理而生成校正影像，从该校正影像将相当于原始影像中的影像显示区域的区域裁剪出来，但处理顺序不限定于此。例如，也可以先将原始影像中的相当于影像显示区域的区域裁剪出来，对于裁剪出的影像(原始影像的部分区域)进行颜色校正处理而生成校正影像。

＜第二实施方式＞

第二实施方式是将第一实施方式中说明的校正影像生成器212、特殊影像处理器213应用于平视显示器的实施方式。

平视显示器主要是对车辆的挡风玻璃投射影像的影像显示装置。由此，驾驶员能够在观看前方的风景的同时，获得行驶速度和地图信息等。

以下，对于本实施方式的平视显示器的概要进行说明。图16是表示第二实施方式的平视显示器的形态之一例的概略图。

如图16所示，平视显示器501例如配置在车辆507的仪表盘505内部，内部包括投影仪502和供投射来自投影仪502的影像的屏幕503、反射镜504。从平视显示器501出射的影像光508在挡风玻璃的反射面506上反射，到达驾驶员的眼睛。驾驶员将生成在平视显示器501内的屏幕503上的影像光508辨识为反射面506的前方位置上的影像。影像在影像显示区域103中显示。另外，车辆507中搭载有拍摄驾驶员的视野内的一部分或整个视野的车载相机(摄像机)702。车载相机702拍摄驾驶员的视野内的区域104。

以下，对将第一实施方式的校正影像生成器212和特殊影像处理器213应用到搭载在车辆上的平视显示器501中的情况下的结构进行说明。

图17是表示搭载在车辆上的平视显示器的框图之一例的概略图。平视显示器501包括控制整个平视显示器501的hud(hud：headupdisplay)控制器601、能够在平视显示器501与车辆507之间共享信息的车内通信输入输出器602、hud存储器603、hud影像显示器604、hud影像处理器605、校正影像生成器212和特殊影像处理器213。hud控制器601与车内通信输入输出器602、hud存储器603、hud影像显示器604和hud影像处理器605分别连接。进而，hud影像处理器605与校正影像生成器212和特殊影像处理器213分别连接。

车辆507搭载有车载操作器700、控制整个车辆的车辆控制器701、车载相机702、传感器装置703、车外通信器704、制动ecu(ecu：enginecontrolunit)706、相当于麦克风或耳机的车载声音处理器707和地图信息器709，它们经由总线710相互连接。进而，车外通信器704上连接有车外通信输入输出器705，车辆控制器701经由车外通信输入输出器705与外部通信装置进行通信控制。另外，车载声音处理器707上连接有车载声音输入输出器708，车辆控制器701进行声音的输入输出控制。总线710与车内通信输入输出器602连接。由此，平视显示器501与车辆507中搭载的各构成要素经由车内通信输入输出器602连接。

平视显示器501内的hud控制器601相当于第一实施方式的平视显示器的控制器201。同样地，车内通信输入输出器602相当于通信器204，hud存储器603相当于存储器202，hud影像显示器604相当于影像显示器207，hud影像处理器605相当于影像处理器206，分别实现同样的功能。

从而，在hud存储器603中保存有用于对影像的红色、绿色、蓝色之各颜色成分的亮度进行校正的颜色校正系数。另外，校正影像生成器212和特殊影像处理器213的结构与第一实施方式相同。

制动ecu706是控制车辆的整个制动功能的单元。

地图信息器709中保存有道路信息、设施信息、信号灯信息以及标志信息等地图信息。该地图信息器709的地图信息，能够经由车外通信器704进行与外部的通信，改写为最新的信息。

车载操作器700是供用户对车辆507中搭载的各结构输入指示的操作部件。对于传感器装置703在后文中叙述。

图18是表示传感器装置703的框图之一例的概略图。传感器装置703包括用于检测车辆507的方位的地磁传感器703a、用于检测车辆的角度和角速度的陀螺仪703b、检测车辆的速度的速度传感器703c和根据来自卫星的无线电波来测定车辆的位置的全球定位系统(gps)的gps接收机703d。因为这些传感器等分别具有性质不同的误差，所以利用多个传感器分别进行补偿而同时使用。另外，取决于精度，也可以由传感器装置703的一部分构成传感器装置。

另外，传感器装置703基于由传感器等检测出的信号而决定车辆的位置，并且基于该决定的车辆的位置，根据地图信息器709的地图信息读取车辆位置周边的地图信息。然后，通过对车辆的位置与地图信息中所含的道路信息和设施信息、信号灯信息、标志信息的区域信息进行比较，判断车辆位于地图信息中的哪一条道路上或者哪一个设施内，或者周边的信号灯或标志位于何处。传感器装置703提取与本车位置对应的地图信息并输出到平视显示器501。平视显示器501将输入的地图信息投射到挡风玻璃上。另外，hud影像处理器605可以从地图信息中提取标志信息、信号灯信息，实施颜色校正并将其以虚像显示。

另外，传感器装置703也对车辆的行驶轨迹的形状与车辆位置周边的道路形状进行比较，将与车辆的行驶轨迹最为相关的道路确定为车辆正在行驶的道路，从而对基于来自传感器装置703的信号决定的车辆的位置进行校正。

另外，也可以对平视显示器501应用光量检测器215、光量调整器216、边缘检测和着色器217等。能够利用它们获取与驾驶员相应的颜色校正系数、实现平视显示器501的低功耗化、抑制风景与影像不完全重合的情况下的不自然感。

以下，对于将第一实施方式中说明的校正影像生成器212和特殊影像处理器213应用到搭载在车辆中的平视显示器501中的情况下的效果进行说明。

驾驶员越过挡风玻璃观看的风景设想为信号灯和标志、前方车辆的刹车灯等。它们的颜色具有重要的含义，所以驾驶员能够直接观看风景并同时辨识正确的颜色是非常重要的。例如，在驾驶员是红色的视敏度低的驾驶员的情况下，信号灯和标志的红色成分的亮度减小，看起来像是暗褐色。因此，存在红色没能被辨识为提醒注意的颜色、较迟才能发现信号灯和标志等的可能性。另外，这样的驾驶员会假想着存在不能辨识信号灯的颜色而发生事故的可能，因此驾驶时总是被迫处于紧张状态。

通过对平视显示器501应用第一实施方式的校正影像生成器212和特殊影像处理器213，如第一实施方式所示，驾驶员能够直接观看风景并同时辨识正确的颜色。由此，可以正确地辨识信号灯和标志等的颜色，因此能够进一步提高安全性和舒适性。

另外，可以利用传感器装置703检测车辆周边的信号灯和标志的位置，使它们的颜色成分的亮度进一步增大。由此，即使在信号灯和标志的颜色融入周围而难以辨识的状况下，也能够清晰地辨识，因此能够进一步提高安全性和舒适性。

平视显示器501的影像显示在眼睛的位置的前方。驾驶员从前方的信号灯到手边的设备类都需要观看，眼睛的位置持续不断地变化。另外，眼睛的位置也因座位的位置和姿势等而变化。因此，随着眼睛的位置的变化，影像的显示位置会发生偏移。

图19是表示眼睛的位置发生了变化的情况下，驾驶员观看的风景和影像之一例的概略图。

标记104是拍摄区域，标记115是眼睛的位置未发生变化的情况下的驾驶员，标记116是眼睛的位置发生了变化的情况下的驾驶员，标记117是与眼睛的位置未发生变化的情况下的驾驶员115对应的影像显示区域，标记118是与眼睛的位置发生了变化的情况下的驾驶员116对应的影像显示区域，标记119是未与眼睛的位置对应的影像，标记120是与眼睛的位置对应的影像，标记121是拍摄区域的风景，标记122是眼睛的位置未偏移的驾驶员观看的影像。

在驾驶员的眼睛的位置从标记115变化到标记116的情况下，影像显示区域从标记117偏移至标记118。因此，影像显示区域的影像119与拍摄区域的风景121不重合，驾驶员不能够辨识正确的颜色。因此，为了使驾驶员辨识正确的颜色，需要显示图19的与实线对应的影像120。

图20是表示即使眼睛的位置发生变化，风景与影像也是重合的，驾驶员能够直接观看风景并同时辨识正确的颜色的平视显示器的框图之一例的概略图。

图20所示的平视显示器501a在包括眼位置对应特殊影像处理器606以代替平视显示器501的特殊影像处理器213这一点上不同。眼位置对应特殊影像处理器606追踪驾驶员的眼睛的位置的变化，变更校正影像的显示位置而使其与风景重叠(重合)，相当于特殊影像处理器213的一种方式。另外，车辆507包括眼位置检测器711，与总线710连接。其他功能部与图17所示的平视显示器501相同，因此省略详细的说明。

以下，对于平视显示器501a的各构成要素的功能按照其动作流程详细进行说明。图21是表示头戴式显示器501a的动作的流程图的概略图。

平视显示器501a开始动作后(s301)，首先利用车载相机702拍摄风景(s302)。hud影像处理器605生成由车载相机702拍摄的影像(s303)。

校正影像生成器212生成校正影像(s304)，该校正影像是这样得到的，即，在hud影像处理器605生成的影像的红色、绿色、蓝色的颜色成分中，对保存在hud存储器603中的颜色校正系数之中颜色校正系数低的颜色成分进行校正、增强而得到。

接着，利用眼位置检测器710检测眼睛的位置(s305)。

眼位置对应特殊影像处理器606根据眼位置检测器710检测出的眼睛的位置，计算驾驶员的眼睛的位置的偏移量，与该偏移量相应地进行影像处理(s306)。更详细而言，基于拍摄区域104的中心到眼睛的进深方向和面内方向的距离，以及影像显示区域的中心到眼睛的进深方向和面内方向的距离，使影像显示在驾驶员观看风景的视线上。由此，能够生成与眼睛的位置对应的影像。

接着，平视显示器501a将眼位置对应特殊影像处理器606生成的影像显示在hud影像显示器604上(s307)。如果要结束色觉辅助(s308/是)，则结束动作(s309)。在要继续色觉辅助的情况下(s308/否)，返回s302，继续动作。

根据以上所述，即使眼睛的位置发生偏移，风景与影像也是重合的，驾驶员能够直接观看风景并同时辨识正确的颜色。

根据第二实施方式，在车载相机拍摄的影像的红色、绿色、蓝色的颜色成分中，对于保存在hud存储器中的颜色校正系数之中颜色校正系数低的颜色成分，以补偿该颜色成分的方式增强其亮度，将得到的影像利用hud影像显示器显示，从而能够增强信号灯和标志等规定的物体所含的颜色成分的亮度。因此，驾驶员能够直接观看风景并同时辨识正确的颜色，能够提高驾驶的安全性和舒适性。

进而，通过根据眼睛的位置的变化而相应地改变影像的裁剪位置，即使眼睛的位置发生变化也能够进一步减小影像与风景的位置偏差，在风景上重合地显示经颜色校正后的影像。

第二实施方式的平视显示器也存在与第一实施方式的头戴式显示器同样的变更方式。例如，可以进一步包括与第一实施方式相同的颜色校正系数获取器，使驾驶员进行颜色校正系数的输入操作而获取颜色校正系数。另外，也可以包括与第一实施方式相同的光量检测器和光量调整器，实现低功耗化。进而，可以包括与第一实施方式相同的边缘检测和着色器。另外，由于第二实施方式的校正影像生成器执行与第一实施方式的校正影像生成器相同的功能，因此第一实施方式中说明的所有关于校正影像生成器的变更方式，也适用于第二实施方式的校正影像生成器。

附图标记说明

101……头戴式显示器，102……用户，103……影像显示区域，104……拍摄区域，105……影像投射器，106……拍摄区域的风景，107……影像显示区域的影像，108……风景的实际的颜色成分的亮度，109……用户辨识到的颜色成分的亮度，110……校正影像的各颜色成分的亮度，111……用户辨识到的校正影像的各颜色成分的亮度，112……用户辨识到的由风景与校正影像混色得到的各颜色成分的亮度，115……眼睛的位置未发生变化的情况下的驾驶员，116……眼睛的位置发生了变化的情况下的驾驶员，117……与眼睛的位置未发生变化的情况下的驾驶员对应的影像显示区域，118……与眼睛的位置发生了变化的情况下的驾驶员116对应的影像显示区域，119……未与眼睛的位置对应的影像，120……与眼睛的位置对应的影像，121……拍摄区域的风景，122……眼睛的位置未偏移的驾驶员观看的影像，200……操作器，201……控制器，202……存储器，203……摄像器，204……通信器，205……通信输入输出器，206……影像处理器，207……影像显示器，207a……光源装置，207b……面板装置，207c……影像投射器，208……声音处理器，209……声音输入输出器，210……传感装置，211……传感器输入输出器，212……校正影像生成器，213……特殊影像处理器，214……颜色校正系数获取器，215……光量检测器，216……光量调整器，217……边缘检测和着色器，301……描述了检查方法的导引，302……在左右半圆中显示红色或绿色或蓝色的颜色校正系数检查表，303……亮度比调整构件，304……操作机构，305……保存按钮，306……中止按钮，401……基站，402……互联网，501……平视显示器，502……投影仪，503……屏幕，504……反射镜，505……仪表盘，506……挡风玻璃，507……车辆，508……影像光，601……hud控制器，602……车内通信输入输出器，603……hud存储器，604……hud影像显示器，605……hud影像处理器，606……眼位置对应特殊影像处理器，700……车载操作器，701……车辆控制器，702……车载相机，703……传感器装置，703a……地磁传感器，703b……陀螺仪，703c……速度传感器，703d……gps，704……车外通信器，705……车外通信输入输出器，706……制动ecu，707……车载声音处理器，708……车载声音输入输出器，709……地图信息器，710……眼位置检测器。