头戴式显示设备、控制头戴式显示设备的方法和计算机程序与流程

文档序号:12513472阅读:469来源:国知局
头戴式显示设备、控制头戴式显示设备的方法和计算机程序与流程

本发明涉及头戴式显示设备。



背景技术:

存在一种已知的称为增强现实(AR)的技术,用于使用计算机来呈现附加于真实对象的信息,真实对象即存在于真实世界中的对象。在增强现实中,附加于真实对象而显示的信息也称为“虚拟对象”。增强现实的功能被安装在头戴式显示器(以下称为“HMD”或“头戴式显示设备”)上。

HMD利用摄相机来拍摄外部场景的图像、识别通过图像拍摄而获得的图像并且生成或获取虚拟对象。在HMD的安装状态下不阻挡用户视场的透射式HMD使用户仅视觉地识别包括虚拟对象的虚拟图像。用户可以通过观看真实世界中的真实对象以及由虚拟图像所表示的虚拟对象二者来体验增强现实。PTL 1描述了一种用于在透射式HMD中对虚拟图像的显示区和摄相机的图像拍摄区进行对准的技术,以减少用户在实现增强现实时所感觉到的不适感。

引用列表

专利文献

PTL 1:JP-A-2013-186641



技术实现要素:

技术问题

例如当在汽车经销商中使用增强现实来确定要订购的汽车的颜色和配件时、或者当在房屋展示场所中使用增强现实来确定要订购的房屋的墙纸和地板材料时,至少一部分虚拟对象有时被叠加显示在真实对象上。在这种情况下,在真实对象的颜色与虚拟对象的颜色叠加的状态下,用户在视觉上识别的颜色是很重要的。PTL1中描述的技术没有考虑到这种与颜色有关的问题。

因此,需要一种能够在真实对象的颜色与虚拟对象的颜色叠加的状态下控制用户在视觉上识别的颜色的头戴式显示设备。

问题的解决方案

本发明的一些方面的优点是解决至少一部分上述问题,并且本发明可以实现为以下方面。

(1)本发明的一个方面提供了一种头戴式显示设备,用户利用该头戴式显示设备可以在视觉上识别虚拟图像和外部场景。头戴式显示设备包括:图像显示单元,该图像显示单元被配置成使用户在视觉上识别虚拟图像;增强现实处理单元,该增强现实处理单元被配置成使图像显示单元形成包括虚拟对象的虚拟图像,虚拟图像的至少一部分被叠加显示在存在于真实世界中的真实对象上;颜色检测单元,该颜色检测单元被配置成检测真实对象颜色,真实对象颜色是真实对象的颜色;以及颜色调整单元,该颜色调整单元被配置成利用检测到的真实对象颜色来使视觉观察颜色接近目标颜色,该视觉观察颜色是通过将虚拟对象的颜色叠加在真实对象颜色上而获得的颜色。

利用该方面的头戴式显示设备,颜色调整单元可以利用由颜色检测单元所检测到的真实对象颜色来控制视觉观察颜色,视觉观察颜色是通过将真实对象的颜色(真实对象颜色)与虚拟对象的颜色叠加而获得的颜色,换言之,视觉观察颜色是用户在视觉上识别出的颜色。

(2)在一个方面的头戴式显示设备中,颜色调整单元可以通过调整虚拟对象的颜色使得通过对检测到的真实对象颜色和虚拟对象的颜色进行加色混合而获得的颜色接近目标颜色,来使视觉观察颜色接近目标颜色。

利用该方面的头戴式显示设备,颜色调整单元可以通过调整虚拟对象的颜色来使视觉观察颜色接近目标颜色。也就是说,可以在不向包括在头戴式显示设备中的现有部件添加专用部件的情况下控制目标颜色。

(3)在一个方面的头戴式显示设备中,图像显示单元还能够针对每个像素来改变外部场景的透明度,以及颜色调整单元可以通过使图像显示单元改变外部场景的透明度来使视觉观察颜色接近目标颜色。

利用该方面的头戴式显示设备,颜色调整单元可以通过在图像显示单元中改变外部场景的透明度来使视觉观察颜色接近目标颜色。也就是说,可以在头戴式显示设备中控制视觉观察颜色而无需进行专门的图像处理。

(4)在一个方面的头戴式显示设备中,颜色调整单元可以使图像显示单元在所检测到的真实对象颜色的色度等于或高于预定色度时改变外部场景的透明度,并且可以在所检测到的真实对象颜色的色度低于预定色度时调整虚拟对象的颜色使得通过对所检测到的真实对象颜色和虚拟对象的颜色进行加色混合而获得的颜色接近目标颜色。

利用该方面的头戴式显示设备,颜色调整单元根据真实对象颜色的色度(亮度)来适当地区分是通过改变外部场景的透明度来控制视觉观察颜色还是通过调整虚拟对象的颜色来控制视觉观察颜色。当真实对象颜色的色度高(真实对象颜色亮)时,有效的措施例如是通过减少外部场景的透明度来突出虚拟对象的颜色使得明亮的真实对象颜色本身更不易被用户看到。另一方面,当真实对象颜色的色度低(真实对象颜色暗)时,如果使用通过利用加色混合对虚拟对象的颜色进行调整而获得的经调色颜色,则可以扩展可表现的色域。由于可以实现精细颜色再现,因此以这种方式可以有效地改进颜色的分辨率。因此,颜色调整单元可以根据真实对象颜色的色调适当地使用更合适的方法来控制视觉观察颜色。

(5)在一个方面的头戴式显示设备中,颜色调整单元可以针对虚拟对象的每个像素来执行用于使视觉观察颜色接近目标颜色的处理。

利用该方面的头戴式显示设备,颜色调整单元针对虚拟对象的每个像素来执行对视觉观察颜色的控制(用于使视觉观察颜色接近目标颜色的处理)。因此,可以容易地执行对视觉观察颜色的控制。即使当多个颜色混合在虚拟对象中时,也可以控制视觉观察颜色。

(6)在一个方面的头戴式显示设备中,颜色调整单元可以针对每个n*m(n和m是等于或大于2的整数)像素块来执行用于使视觉观察颜色接近目标颜色的处理,其中该像素块是虚拟对象的像素之中的多个相邻像素的集合。

利用该方面的头戴式显示设备,颜色调整单元针对虚拟对象的每个像素块来执行对视觉观察颜色的控制(用于使视觉观察颜色接近目标颜色的处理)。因此,可以抑制对视觉观察颜色的控制的结果对于每个像素的波动。即使当多个颜色混合在虚拟对象中时,也可以控制视觉观察颜色。

(7)在一个方面的头戴式显示设备中,颜色调整单元可以基于真实对象处于其中的真实光环境来确定目标颜色。

利用该方面的头戴式显示设备,颜色调整单元基于真实对象处于其中的真实光环境来确定目标颜色。因此,可以将目标颜色设置成例如与真实环境匹配的颜色。颜色调整单元可以将目标颜色设置成例如在真实环境中显眼的颜色。

(8)在一个方面的头戴式显示设备中,颜色调整单元还可以通过在考虑虚拟光环境的情况下对虚拟对象的颜色进行转换来改变视觉观察颜色。

利用该方面的头戴式显示设备,颜色调整单元在考虑虚拟光环境的情况下改变视觉观察颜色。因此,增加了头戴式显示设备中的视觉观察颜色的再现的范围。可以改进用户的便利性。

(9)在一个方面的头戴式显示设备中,颜色检测单元可以是用于获取表示外部场景的外部场景图像的摄相机。

利用该方面的头戴式显示设备,可以利用普遍的摄相机作为标准功能来检测真实对象颜色。

包括在本发明的上述各方面中的所有多个部件并不都是必要的。为了解决上述问题中的一部分或全部、或者为了实现本说明书中描述的部分或全部效果,可以对多个部件中的一部分适当地执行改变、删除、用新部件替换以及对限制内容的部分删除。为了解决上述问题的一部分或全部、或者为了实现本说明书中描述的部分或全部效果,还可以将包括在本发明的一个方面中的部分或全部技术特征与包括在本发明的其它方面中的技术特征进行组合以形成本发明的另一个方面。

例如,本发明的一个方面可以实现为包括四个部件即图像显示单元、增强现实处理单元、颜色检测单元和颜色调整单元中的部分或全部的设备。也就是说,该设备可以包括或者不包括图像显示单元。该设备可以包括或者不包括增强现实处理单元。该设备可以包括或者不包括颜色检测单元。该设备可以包括或者不包括颜色调整单元。该设备可以实现为例如头戴式显示设备。该设备还可以实现为头戴式显示设备之外的设备。可以将各方面中的头戴式显示设备的部分或全部技术特征应用于该设备。例如,本发明的一个方面中的设备具有以下目的:在真实对象的颜色与虚拟对象的颜色叠加的状态下控制由用户在视觉上识别的颜色。然而,除此之外,对于设备而言,设备尺寸的减小、便利性的改进、设备制造成本的降低、资源节约、制造便利性等也是期望的。

注意,本发明可以以各种形式实现。本发明可以以例如以下形式实现:头戴式显示设备、用于头戴式显示设备的控制方法、包括头戴式显示设备的系统、用于实现方法、设备和系统的功能的计算机程序、用于分发计算机程序的设备以及存储有计算机程序的存储介质。

附图说明

[图1]图1是示出本发明的实施方式中的头戴式显示设备的示意性配置的说明图;

[图2]图2是示出头戴式显示设备在功能方面的配置的框图;

[图3A]图3A是示出由用户在视觉上识别的虚拟图像的示例的说明图;

[图3B]图3B是示出由用户在视觉上识别的虚拟图像的示例的说明图;

[图4]图4是用于说明颜色调整处理的过程的流程图;

[图5]图5是用于说明颜色调整处理的示例的图示;

[图6]图6是用于说明颜色调整处理的另一示例的图示;

[图7]图7是示出第二实施方式中的头戴式显示设备在功能方面的配置的框图;

[图8]图8是用于说明第二实施方式中的颜色调整处理的图示;

[图9]图9是用于说明颜色转换处理的过程的流程图;

[图10]图10是示出环境对应关系表的示例的图示;

[图11A]图11A是示出在修改例中的头戴式显示设备的外观的配置的说明图;

[图11B]图11B是示出在修改例中的头戴式显示设备的外观的配置的说明图。

具体实施方式

A.实施方式

A-1.头戴式显示设备的配置

图1是示出本发明的一个实施方式中的头戴式显示设备的示意性配置的说明图。本实施方式中的头戴式显示设备100是被安装在头部的显示设备,也称为头戴式显示器(HMD)。HMD 100是光学透射式头戴式显示器,用户利用HMD 100可以在视觉上识别虚拟图像,并且同时直接在视觉上识别外部场景。

本实施方式中的HMD 100可以使用HMD 100的CPU来执行用于向“真实对象”添加信息的增强现实(AR)处理,所述“真实对象”是存在于真实世界中的对象。对象可以是指任何人、任何动物或植物、任何物体(包括人造物体和自然物体)等。在增强现实处理中,附加于真实对象而显示的信息称为“虚拟对象”。在增强现实处理中,本实施方式中的HMD 100使用户仅在视觉上识别包括虚拟对象的虚拟图像。用户可以通过观看从HMD 100透射的真实对象和由虚拟图像所表示的虚拟对象二者来体验增强现实。在这样的虚拟现实处理中,本实施方式中的HMD 100可以对通过将真实对象的颜色与虚拟对象的颜色叠加而获得的颜色进行控制,即对用户在视觉上识别的颜色(以下还简称为“视觉观察颜色”)进行控制。

注意,本实施方式中的真实对象包括“真实感兴趣的对象”和“真实背景对象”二者,“真实感兴趣的对象”是用户所感兴趣的对象(即用户正在看的对象),“真实背景对象”是用户不感兴趣的对象(例如尽管处于用户的视场内但用户没有在看的对象)。在该实施方式中,包括真实感兴趣的对象和真实背景对象二者的真实对象可以是增强现实处理的处理目标。

HMD 100包括图像显示单元20以及控制单元(控制器)10,图像显示单元20使用户在用户头部安装有HMD 100的状态下在视觉上识别虚拟图像,控制单元10对图像显示单元20进行控制。注意,为了方便起见,在以下说明中,使用HMD 100的用户在视觉上识别的虚拟图像还被称为“被显示图像”。HMD 100发出基于图像数据而生成的图像光还被称为“对图像进行显示”。

A-1-1.图像显示单元的配置

图2是示出HMD 100在功能方面的配置的框图。图像显示单元20是戴在用户头部的穿戴体。在本实施方式中,图像显示单元20具有眼镜的形状(图1)。图像显示单元20包括右保持单元21、右显示驱动单元22、左保持单元23、左显示驱动单元24、右光学图像显示单元26、左光学图像显示单元28、摄相机61和九轴传感器66。下面将说明在用户戴着图像显示单元20的状态下图像显示单元20中的各单元的位置关系和功能。

如图1所示,右光学图像显示单元26和左光学图像显示单元28被设置成分别位于用户的右眼的前方和左眼的前方。右光学图像显示单元26的一端和左光学图像显示单元28的一端在与用户前额的中间对应的位置处连接。如图2所示,右光学图像显示单元26包括右导光板261、右电子遮挡件261s和调光板(未图示)。右导光板261由透光树脂材料等形成。右导光板261将从右显示驱动单元22输出的图像光引导到用户的右眼RE同时沿着预定的光路反射图像光。

右电子遮挡件261s是在其上以矩阵形状布置有多个像素的透射式液晶面板。右电子遮挡件261s根据像素单元中的供给电压的增加或降低来增加或减少从外部引导到用户的右眼RE的外部光的透射率。在本实施方式的右电子遮挡件261s中,在没有供给电压的情况下,外部光的透射率为100%。在供给电压为最大的状态下,外部光的透射率为0%(外部光被阻挡)。注意,图2中的电子遮挡件的设置是示例。仅需要将右电子遮挡件261s设置在右LCD 241与用户右眼RE之间的光路上。右电子遮挡件261s可以设置在右LCD 241与用户右眼RE之间的光路以外,使得被并入到从右LCD 24导向右眼RE的光中的外部光通过右电子遮挡件261s增加或减少。调光板是薄的板状光学设备,并且被设置成覆盖在图像显示单元20的前侧(与用户的眼睛侧相对的一侧)。调光板保护右导光板261和右电子遮挡件261s,并且抑制例如污渍对右导光板261和右电子遮挡件261s的损坏和附着。通过调整调光板的光透射率,可以调整外部光进入用户眼睛的量,并且调整在视觉上识别虚拟图像的容易程度。注意,可以省略调光板。

左光学图像显示单元28包括左导光板262、左电子遮挡件262s和调光板(未图示)。左导光板262、左电子遮挡件262s和调光板的细节与右光学图像显示单元26的右导光板261、右电子遮挡件261s和调光板相同。注意,右光学图像显示单元26和左光学图像显示单元28还被统一简称为“光学图像显示单元”。右电子遮挡件261s和左电子遮挡件262s还被统一简称为“电子遮挡件”。光学图像显示单元可以采用任何系统,只要光学图像显示单元能在用户的眼睛前方形成虚拟图像即可。例如,可以使用衍射光栅来实现光学图像显示单元,或者可以使用穿透反射式膜来实现光学图像显示单元。

如图1所示,右保持单元21被设置成从右光学图像显示单元26的另一端ER延伸到与用户的太阳穴区域对应的位置。左保持单元23被设置成从左光学图像显示单元28的另一端EL延伸到与用户的太阳穴区域对应的位置。右保持单元21和左保持单元23像眼镜的镜腿一样将图像显示单元20保持在用户的头部。注意,右保持单元21和左保持单元23还被统一简称为“保持单元”。

如图1所示,右显示驱动单元22被设置在右保持单元21的内侧(与用户的头部相对的一侧)。左显示驱动单元24被设置在左保持单元23的内侧。如图2所示,右显示驱动单元22包括接收单元(Rx)53、用作光源的右背光(BL)221和右背光(BL)控制单元201、用作显示设备的右LCD液晶显示器)241和右LCD(控制单元211、以及右投影光学系统251。注意,右背光控制单元201、右LCD控制单元211、右背光221和右LCD 241还被统称为“图像光生成单元”。

接收单元53用作用于控制单元10与图像显示单元20之间的串行传输的接收器。右背光控制单元201基于输入控制信号来驱动右背光221。右背光221是发光体,诸如LED(发光二极管)或电致发光(EL)器件。右LCD控制单元221基于时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、经由接收单元53输入的用于右眼的图像数据Data来驱动右LCD 241。右LCD 241是在其上以矩阵形状布置有多个像素的透射式液晶面板。右投影光学系统251是用于将从右LCD 241射出的图像光变成平行状态的光束的准直透镜。

左显示驱动单元24包括接收单元(Rx)54、用作光源的左背光(BL)222和左背光(BL)控制单元202、用作显示设备的左LCD 242和左LCD控制单元212、以及左投影光学系统252。这些部件的细节与右显示驱动单元22的对应部件相同。注意,右显示驱动单元22和左显示驱动单元24还被统一简称为“显示驱动单元”。

如图1所示,摄相机61被设置在与用户右眼的外眼角的上部对应的位置处。在安装有HMD 100的状态下,摄相机61拍摄图像显示单元20前方的图像,也就是说在用户视场方向上的外部场景(外部的场景)的图像,并且获取外部场景图像。摄相机61是所谓的可见光摄相机。因此,外部场景图像是利用从对象辐射的可见光来表示对象形状的图像。本实施方式中的摄相机61是单目摄相机。然而,也可采用所谓的立体摄相机。摄相机61用作“颜色检测单元”。

如图1所示,九轴传感器66被设置在与用户右侧的镜腿对应的位置处。九轴传感器66是用于检测加速度(三轴)、角速度(三轴)和地磁(三轴)的运动传感器。由于九轴传感器66设置在图像显示单元20中,因此当用户头上戴有图像显示单元20时,九轴传感器66用作检测头戴式显示器100的用户的头部运动的运动检测单元。头部运动包括头部的速度、加速度、角速度、方向和方向的改变。

如图1所示,图像显示单元20包括用于将图像显示单元20连接至控制单元10的连接单元40。连接单元40包括:连接至控制单元10的主体线48、从主体线48分支的右线42和左线44以及设置在分支点处的耦接构件46。耦接构件46中设置有用于连接耳机插头30的插孔。右耳机32和左耳机34从耳机插头30延伸。图像显示单元20和控制单元10经由连接单元40执行各种信号的传输。作为连接单元40的线,可以采用例如金属线缆和光纤。

A-1-2.控制单元的配置

控制单元10是用于控制HMD 100的设备。如图1所示,控制单元10包括:确定键11、照明单元12、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17和电源开关18。确定键11对按压操作进行检测并且输出用于确定控制单元10中的工作内容的信号。照明单元12通过例如LED来实现,并且利用LED的发光状态来通知HMD 100的工作状态(例如光源的接通/断开)。显示切换键13对按压操作进行检测,并且输入例如用于将内容移动图像的显示模式切换为3D和2D的信号。

触控板14检测用户的手指在触控板14的操作表面上进行的操作,并且输出与检测到的内容对应的信号。作为触控板14,可以采用各种类型,诸如静电型、压力型和光学型。亮度切换键15对按压操作进行检测并且输出用于增加或减少图像显示单元20的亮度的信号。方向键16检测键上的与上、下、左和右方向对应的按压操作,并且输出与检测到的内容对应的信号。电源开关18检测开关的滑动操作,以切换HMD 100的电源状态。

如图2所示,控制单元10包括:输入信息获取单元110、存储单元120、电源130、无线电通信单元132、GPS模块134、CPU 140、接口180、发送单元(Tx)51和发送单元(Tx)52。各单元之间通过未示出的总线相互连接。

输入信息获取单元110获取与确定键11、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17和电源开关18的操作输入对应的信号。输入信息获取单元110可以获取通过除上述操作输入之外的各种方法实现的操作输入。例如,输入信息获取单元110可以获取通过脚踏开关(通过用户的脚来操作的开关)而实现的操作输入。例如,输入信息获取单元110可以获取通过视线检测单元(未图示)检测到的用户的视线以及通过与眼睛的移动相关联的命令而实现的操作输入。命令可以被设置成能够由用户来添加。例如,可以使用摄相机61来检测用户姿态。可以获取通过与该姿态相关联的命令所实现的操作输入。在姿态检测中,可以使用用户的指尖、用户手上戴的戒指、用户持有的医疗仪器等作为用于运动检测的标记。如果可以获取通过这些方法所实现的操作输入,则即使在用户难以解放双手的工作中,输入信息获取单元110也可以获取来自用户的操作输入。

存储单元120通过ROM、RAM、DRAM、硬盘等来被配置。存储单元120中存储有各种计算机程序,诸如操作系统(OS)。在存储单元120中存储有色度参考122。

在色度参考122中,预先存储作为在下面说明的颜色调整处理中使用的色度参考的值。在本实施方式中,使用RGB颜色空间或HSB颜色空间中的“S值”作为色度参考。色度参考122的值用来适当地使用控制视觉观察颜色的方法。注意,色度参考122的值能够由用户适当地改变。

电源130向HMD 100的各单元提供电力。作为电源130,例如可以使用二次电池。

无线电通信单元132根据预定的无线电通信标准与外部装置进行无线电通信。预定的无线电通信标准例如是以红外线和蓝牙(注册商标)为示例的短距离无线电通信,或者以IEEE802.11为示例的无线LAN。

GPS模块134接收来自GPS卫星的信号从而检测HMD 100的用户的当前位置,并且生成表示用户当前位置信息的当前位置信息。当前位置信息可以通过例如表示经度和纬度的坐标来实现。

CPU 140读取并执行被存储在存储单元120中的计算机程序,从而用作增强现实处理单元142、颜色调整单元144、OS 150、图像处理单元160、声音处理单元170和显示控制单元190。

增强现实处理单元142执行增强现实处理。增强现实处理是用于向实际存在于真实世界中的真实对象添加虚拟对象并且显示虚拟对象的处理。增强现实处理包括下面说明的过程a1至a6。

(a1)增强现实处理单元142获取由摄相机61拍摄的外部场景图像。

(a2)增强现实处理单元142从在过程a1中获取的外部场景图像所包括的真实对象之中指定一个真实对象集作为虚拟对象的添加目标(以下还称为“目标对象”)。

(a3)增强现实处理单元142获取目标对象关于HMD 100的位置以及目标对象与HMD 100之间的距离。在获取位置和距离时,增强现实处理单元142可以使用通过立体摄相机获取的两个或更多个外部场景图像来计算位置和距离。增强现实处理单元142可以使用未示出的各种传感器(例如深度传感器和测距传感器)来计算位置和距离。

(a4)增强现实处理单元142获取或生成表示虚拟对象的图像、字符、图形符号等。增强现实处理单元142可以将虚拟对象预先存储在存储单元120中,或者可以经由网络从连接至HMD 100的另一设备获取虚拟对象。

(a5)增强现实处理单元142生成附加图像数据,在该附加图像数据中,过程a4中的虚拟对象是按照在过程a3中获取的目标对象的位置和距离来布置的,并且在其他单元中布置成黑色。在该对准中,增强现实处理单元142可以使用目标对象的特征或特性部分(边缘等),或者可以使用标记,诸如附加到目标对象的标记。在布置虚拟对象时,增强现实处理单元142可以对虚拟对象应用图像处理,诸如放大、缩小、旋转或颜色转换。

(a6)增强现实处理单元142将附加图像数据发送至图像处理单元160。图像处理单元160对接收到的附加图像数据执行下面说明的显示处理。

颜色调整单元144执行用于控制视觉观察颜色的颜色调整处理。颜色调整处理是在过程a5和过程a6之间执行的处理,作为增强现实处理的子例程。下面将对颜色调整处理的细节进行说明。

图像处理单元160执行用于图像显示的信号处理。具体地,当内容(视频)经由接口180或无线电通信单元132被输入时,图像处理单元160基于该内容生成图像数据Data。当从HMD 100的另一功能单元接收到图像数据时,图像处理单元160将接收到的图像数据设置为图像数据Data。注意,图像处理单元160可以对图像数据Data执行图像处理,诸如分辨率转换处理、各种类型的色调校正处理诸如亮度和色度调整、以及梯形失真校正处理。图像处理单元160经由发送单元51和发送单元52向图像显示单元20发送图像数据Data、时钟信号PCLK、垂直同步信号VSync和水平同步信号HSync。

显示控制单元190生成用于控制右显示驱动单元22和左显示驱动单元24的控制信号。具体地,显示控制单元190使用控制信号通过右LCD控制单元211和左LCD控制单元212分别控制右LCD 241和左LCD242的驱动的接通/断开、通过右背光控制单元201和左背光控制单元202分别控制右背光221和左背光222的驱动的接通/断开,从而通过右显示驱动单元22和左显示驱动单元24控制图像光的生成和发射。显示控制单元190经由发送单元51和发送单元52将控制信号发送至图像显示单元20。

声音处理单元170获取包括在内容中的声音信号、放大所获取的声音信号并且将经放大的声音信号提供给右耳机32的未示出的扬声器和左耳机34的未示出的扬声器。

接口180根据预定的有线通信标准与外部装置OA进行通信。预定的有线通信标准例如是Micro USB(通用串行总线)、USB、HDMI(高清晰度多媒体接口;HDMI是注册商标)、DVI(数字视频接口)、VGA(视频图像阵列)、复合视频端子(composite)、RS-232C(推荐标准232)或以IEEE802.3为示例的有线LAN。作为外部装置OA,可以使用例如个人计算机PC、蜂窝电话终端和游戏终端。

图3A和图3B是示出用户在视觉上识别的虚拟图像的示例的说明图。图3A示出在未执行增强现实处理时获得的用户视场VR。如上所述,被引导至HMD 100的用户双眼的图像光聚焦在用户的视网膜上,由此用户在视觉上识别虚拟图像VI。在图3A所示的示例中,虚拟图像VI是HMD 100的OS 150的待机画面。用户通过右光学图像显示单元26和左光学图像显示单元28在视觉上识别外部场景SC。以这种方式,在虚拟图像VI被显示在视场VR中的部分中,在该实施方式中的HMD 100的用户可以观看到虚拟图像VI以及该虚拟图像后方的外部场景SC。在虚拟图像VI未被显示在视场VR中的单元中,用户可以通过光学图像显示单元直接观看到外部场景SC。

图3B示出在执行增强现实处理时所获得的用户视场VR。通过执行增强现实处理,用户在视觉上识别包括虚拟对象VO的虚拟图像VI。虚拟对象VO是被布置成与外部场景SC中的山脚交叠的苹果的图像。以这种方式,用户可以通过观看到包括在虚拟图像VI中的虚拟对象VO以及穿过虚拟图像VI看到后面的外部场景SC中的真实对象二者来体验增强现实。

A-2.颜色调整处理

颜色调整处理是用于在增强现实处理期间控制视觉观察颜色的处理。视觉观察颜色是指将真实对象的颜色与虚拟对象的颜色叠加而得到的颜色,换言之,是用户实际在视觉上识别的颜色。颜色调整处理在增强现实处理的过程a5和过程a6之间执行,作为增强现实处理的子例程。注意,在下面说明的颜色调整处理中,使用RGB颜色空间中的“RGB值”或HSB颜色空间中的“HSB值”来指定“颜色”。也就是说,在该实施方式中的“颜色”包括色相、色度和亮度。

图4是用于说明颜色调整处理的过程的流程图。图5是用于说明颜色调整处理的示例的图示。在图5所示的示例中,在汽车经销商中,用户UR在确定要订购的汽车的车身颜色时使用增强现实处理。图6是用于说明颜色调整处理的另一示例的图示。在图6所示的示例中,在汽车经销商中,用户UR在确定给要订购的汽车添加的配件时使用增强现实处理。

在颜色调整处理(图4)的步骤S100中,颜色调整单元144获取虚拟对象。具体地,颜色调整单元144从增强现实处理单元获取包括虚拟图像的附加图像数据。附加图像数据是在增强现实处理的过程a5中生成的数据。颜色调整单元144使用诸如特征部分提取(边缘提取)这样的方法从所获取的附加图像数据中提取虚拟对象。

在图5所示的示例中,颜色调整单元144从增强现实处理单元142获取附加图像数据Data1,并且提取表示车身的虚拟对象VO1。在图6所示的示例中,颜色调整单元144从增强现实处理单元142获取附加图像数据Data2,并且提取表示前扰流板的虚拟对象VO2。

在图4所示的步骤S102中,颜色调整单元144从外部场景图像中获取目标对象。目标对象是要向其添加虚拟对象的真实对象。具体地,颜色调整单元144使摄相机61拍摄外部场景图像并且从摄相机61获取外部场景图像。颜色调整单元144使用诸如特征部分提取(边缘提取)这样的方法从所获取的外部场景图像中提取目标对象。

在图5所示的示例中,颜色调整单元144从摄相机61获取外部场景图像IM1并且提取表示汽车的目标对象(真实对象)FO。类似地,在图6所示的示例中,颜色调整单元144从摄相机61获取外部场景图像IM2并且提取表示汽车的目标对象FO。

在图4的步骤S104中,颜色调整单元144将在颜色调整处理中使用的变量x和变量y设置为1。变量x和变量y二者用来指定一个像素。

在步骤S106中,颜色调整单元144确定虚拟对象的(x,y)像素的目标颜色。根据使用增强现实处理的场景并且依据下面说明的参考b1和参考b2中的一个来确定目标颜色。

(b1)目录颜色

在不考虑目标对象所处的真实环境(特别是光环境)的情况下决定目标颜色。颜色调整单元144可以直接将在步骤S100中提取的虚拟对象的(x,y)像素的颜色设置为目标颜色,或者可以直接将用户指定的颜色设置为目标颜色。注意,虚拟对象的(x,y)像素的颜色是虚拟对象的原始颜色、用于表示虚拟对象的纹理的颜色、用于表示照射到虚拟对象上的光的颜色和用于表示在虚拟对象中产生的阴影的颜色中的任一种颜色。因此,例如,即使虚拟对象是“红色汽车”,虚拟对象的(x,y)像素的颜色根据x和y的值(根据像素的位置)也可以是各种颜色,例如红色、白色、棕色。当用户希望用虚拟对象替换目标对象的至少一部分时,期望采用参考b1。用户例如在模拟如图5所示的经销商中的车体颜色的情况下、或者在模拟房屋展示场所中的墙纸和地板材料的情况下期望替换目标的至少一部分。

(b2)匹配颜色

在考虑到目标对象所处的真实环境(特别是光环境)的情况下决定目标颜色(例如,目标颜色可以与真实环境匹配或者可以在真实环境中显眼)。具体地,颜色调整单元144可以根据下面说明的方法b2-1或方法b2-2来决定目标颜色。在用户希望向目标对象添加虚拟对象时,期望采用参考b2。用户在例如模拟如图6所示的经销商中的配件的情况下、或者在模拟房屋展示场所中的家具的情况下期望添加虚拟对象。

(b2-1)颜色调整单元144计算在步骤S102中获取的目标对象(真实对象)的颜色的统计颜色(例如中间颜色或平均颜色)。颜色调整单元144将计算出的统计颜色设置为目标颜色。

(b2-2)颜色调整单元144对在步骤S102中获取的外部场景图像进行图像识别,从而收集目标对象(真实对象)的各区域的亮度信息(与阴影区域有关的信息、与镜面反射有关的信息、与漫反射有关的信息等)。颜色调整单元144基于所收集的亮度信息来确定要被添加到虚拟对象上的光源类型(点光源、聚光灯、平行光源、环境光、天光、IBL等)、光源的色温、光源的强度等中的至少一个。颜色调整单元144将具有确定的类型、色温、强度等的光源与在步骤S100中获取的虚拟对象进行组合。颜色调整单元144在组合光源之后将虚拟对象的(x,y)像素的颜色设置为目标颜色。

注意,在步骤S106中,可以经由网络将用户指定为虚拟对象的原始颜色的颜色存储在另一设备的存储设备中。存储在另一设备中的颜色可以用于各种用途。例如,存储在另一设备中的颜色可以用于具有用户所指定颜色的产品(例如汽车或墙纸和地板材料)的订购和制造,或者可以用于进行掌握用户品味的分析。

在图4的步骤S108中,颜色调整单元144获取目标对象的(x,y)像素的真实对象颜色。真实对象颜色是目标对象(要向其添加虚拟对象的真实对象)的真实颜色。具体地,颜色调整单元144获取在步骤S102中获取的目标对象的(x,y)像素的颜色作为真实对象颜色。以这种方式,在本实施方式中,将通过摄相机61拍摄的外部场景图像中的目标对象的颜色视为真实对象颜色。因此,可以使用普遍使用的摄相机61作为标准功能来检测真实对象颜色。

在步骤S110中,颜色调整单元144确定在步骤S108中获取的目标对象的(x,y)像素的真实对象颜色的色度(S值)是否等于或高于存储在色度参考122中的参考(S值)。当真实对象颜色的色度等于或高于色度参考122时(步骤S110中为是),在步骤S112及随后步骤的处理中,颜色调整单元144使用电子遮挡件来改变外部场景的透明度以控制视觉观察颜色。另一方面,当真实对象颜色的色度低于色度参考122时(步骤S110中为否),在步骤S118中的处理中,颜色调整单元144调整虚拟对象的颜色以控制视觉观察颜色。

以上对通过使用电子遮挡件来改变外部场景的透明度从而控制视觉观察颜色进行了说明。在图4的步骤S112中,颜色调整单元144在与目标对象的(x,y)像素对应的单元中打开电子遮挡件。具体地,颜色调整单元114将电压提供给图2所示的光电子遮挡件261s的与目标对象的(x,y)像素对应的像素和图2所示的左电子遮挡件262s与目标对象的(x,y)像素对应的像素,以减少外部光在该像素单元中的透射率。在这种情况下,颜色调整单元144可以将提供给电子遮挡件的供给电压设置成最大(100%)并且阻挡外部光。从而,简化了颜色调整单元144中的控制。颜色调整单元144可以与目标对象的(x,y)像素的色度成比例地、在1%到100%的范围内调整提供给电子遮挡件的供给电压以阻挡至少一部分外部光。从而,颜色调整单元144可以精细地控制视觉观察颜色。

在步骤S114中,颜色调整单元144不做改变并且保持虚拟对象的(x,y)像素的CG颜色。CG颜色是包括在图像数据中的虚拟对象的颜色。

以上对通过调整虚拟对象的颜色来控制视觉观察颜色进行了说明。在图4的步骤S118中,当对真实对象颜色i和CG颜色ii进行加色混合时,颜色调整单元114计算作为(或接近)目标颜色iii的颜色。颜色调整单元144将虚拟对象的(x,y)像素的CG颜色改变成计算出的颜色。

(i)在步骤S108中获取的目标对象的(x,y)像素的真实对象颜色

(ii)CG颜色

(iii)在步骤S106中确定的虚拟对象的(x,y)像素的目标颜色

在图4的步骤S116中,颜色调整单元144控制用于将处理推进到下一个像素的变量。具体地,当变量x不是虚拟对象的最终像素时,颜色调整单元144递增变量x并且将处理移至步骤S106。从而,处理目标移至右侧的像素。当变量x是最终像素而变量y不是最终像素时,颜色调整单元144递增变量y,将变量x设置为1,并且将处理移至步骤S106。从而,处理目标移至紧接着的像素行。当变量x和变量y都是最终像素时,颜色调整单元144结束处理并且在调整CG颜色之后将包括虚拟对象的附加图像数据发送到增强现实处理单元142。之后,颜色调整单元144结束处理。

作为图4所示的颜色调整处理的结果,如图5和图6所示,用户UR在视觉上识别处于视场VR中的、包括其CG颜色已调整的虚拟对象VO1和VO2的虚拟图像V1。用户UR在视觉上识别通过图像显示单元20透射的外部场景SC中的真实对象FO(目标对象)。图5所示的虚拟对象VO1被显示成叠加在真实对象FO的车身单元的整个区域上。因此,用户UR可以观看好像汽车的颜色已经改变了一样的图像。图6所示的虚拟对象VO2的一部分被显示成叠加在真实对象FO的车身的下部上。因此,用户UR可以观看好像给汽车添加了前扰流板的图像。

如上所述,在颜色调整处理中,颜色调整单元144可以使用由颜色检测单元(摄相机61)所检测到的真实对象颜色来控制视觉观察颜色,视觉观察颜色是通过将真实对象FO的颜色(真实对象颜色)与虚拟对象VO的颜色(CG颜色)叠加而获得的颜色,换言之,视觉观察颜色是用户在视觉上识别的颜色。因此,本实施方式中的头戴式显示设备(HMD 100)可以在图5和图6所示的各种场景中在考虑实际外观的情况下为用户UR执行更合适的颜色表示。

此外,在步骤S110及随后步骤中的颜色调整处理中,颜色调整单元144根据真实对象颜色的色度(亮度)来适当地区分是通过改变外部场景SC的透明度来控制视觉观察颜色还是通过调整虚拟对象VO的颜色来控制视觉观察颜色。当真实对象颜色的色度高(真实对象颜色亮)时,有效的措施例如是通过减少外部场景SC的透明度来突出虚拟对象VO的颜色使得明亮的真实对象颜色本身更不易被用户看到。另一方面,当真实对象颜色的色度低(真实对象颜色暗)时,如果通过利用加色混合对虚拟对象VO的颜色进行调整而获得调色颜色,则可以扩展可表现的色域。由于可以进行精细颜色再现,因此以这种方式可以有效地改进颜色的分辨率。因此,颜色调整单元144可以根据真实对象颜色的色调适当地使用更合适方法来控制视觉观察颜色。

此外,在颜色调整处理中,颜色调整单元144针对虚拟对象VO的每个像素来执行对视觉观察颜色的控制。

因此,可以容易地执行对视觉观察颜色的控制。即使当虚拟对象VO中混合有多个颜色时,也可以对视觉观察颜色进行控制。注意,除了虚拟对象VO具有多个原始颜色(例如具有蓝色主体和白帆的游艇)的情况以外,也在虚拟对象的原始颜色、用于表示虚拟对象的纹理的颜色、用于表示照射到虚拟对象上的光的颜色和用于表示在虚拟对象中产生的阴影的颜色被混合在一个虚拟对象VO中的情况下(例如红色汽车的前扰流板),在虚拟对象VO中混合有多个颜色。

A-3.颜色调整处理的变型

注意,在颜色调整处理(图4)中,可以将下面说明的变型1至变型3应用于颜色调整处理(图4)。可以独立地或组合地采用变型1至变型3。

A-3-1.变型1

在变型1中,省略了根据真实对象颜色的色度对视觉观察颜色的控制。

在一个示例中,颜色调整单元144在不需要考虑真实对象颜色的色度的情况下、通过使用电子遮挡件均匀地改变外部场景的透明度来控制视觉观察颜色。具体地,只需省略图4中的步骤S110和步骤S118。从而,可以通过改变图像显示单元20中的外部场景SC的透明度来使视觉观察颜色接近目标颜色。因此,可以在头戴式显示设备(HMD 100)中对视觉观察颜色进行控制而无需专门的图像处理。

在另一示例中,颜色调整单元144在不需要考虑真实对象颜色的色度的情况下通过均匀地调整虚拟对象的颜色来控制视觉观察颜色。具体地,只需省略图4中的步骤S110、步骤S112和步骤S114。从而,可以通过调整虚拟对象VO的颜色(CG颜色)来使视觉观察颜色接近目标颜色。因此,可以在不向包括在头戴式显示设备(HMD 100)中的现有部件添加专用部件(右电子遮挡件261s和左电子遮挡件262s)的情况下对视觉观察颜色进行控制。

A-3-2.变型2

在变型2中,针对虚拟对象VO的每个像素块来执行对视觉观察颜色的控制。像素块是虚拟对象VO的像素之中的相邻的n*m(n和m是等于或大于2的整数)个像素的集合。“相邻的像素”是指彼此邻接的多个像素。

在图4的步骤S104中,颜色调整单元144将在颜色调整处理中使用的变量x和变量y设置为2。变量x和变量y二者都用于指定由3×3个像素所构成的像素块。

在对步骤S106、步骤S108和步骤S112进行的说明中,将表述“(x,y)像素”替换成“以(x,y)像素为中心的像素块”。将表述“(x,y)像素的颜色”替换成“以(x,y)像素为中心的像素块的颜色”。颜色调整单元144可以根据构成像素块的像素的统计颜色(例如中间颜色或平均颜色)来计算像素块的颜色。

在对步骤S116的说明中,将表述“增量”替换成“原始值加3”。将表述“将变量x设置为1”替换成“将变量x设置为2”。

注意,在上面说明的示例中,采用了由n=3和m=3的3*3个像素构成的像素块。然而,可以可选地决定n和m的值。n的值可以设置为与m的值不同的值。

根据变型2,由于颜色调整单元144针对虚拟对象VO的每个像素块执行视觉观察颜色的控制,因此可以抑制对视觉观察颜色的控制的结果对于每个像素的波动。即使在虚拟对象VO中混合有多个颜色的情况下,也可以对视觉观察颜色进行控制。

A-3-3.变型3

在变型3中,执行显示系统的对准(校准)。

在HMD 100中,对由光学图像显示单元(左显示驱动单元24和右光学图像显示单元26)、摄相机61和普通用户的眼睛所构造的显示系统进行对准。在变型3中,可以根据HMD 100的用户的个体差异以及HMD 100的个体差异来改变该指定对准的内容。具体地,CPU 140执行下面说明的过程c1和过程c2。从改进对准精度的角度出发,期望以组合的方式执行过程c1和过程c2,并且以先过程c1然后过程c2的顺序执行。然而,可以独立地执行过程c1和过程c2。

(c1)调整用户的瞳孔间距

CPU 140使右LCD 241和左LCD 242显示相同的用于校准的第一图像。在本实施方式中,显示器为无穷大。这时,CPU 140通过用户接口(例如,触控板14)的操作而使显示在左LCD和右LCD之一上的用于校准的第一图像的位置移动。用户对用户接口进行操作以对准用于校准的左第一图像和右第一图像的位置。之后,用户对用户接口(例如确定键11)进行操作以通知CPU 140已决定位置。

当被通知已决定位置时,CPU 140将右LCD 241上的用于校准的第一图像的位置和左LCD 242上的用于校准的第一图像的位置发送至图像处理单元160。图像处理单元160通过参照右LCD 241上的用于校准的第一图像的位置来调整右LCD 241上的图像的显示范围。类似地,图像处理单元160通过参照左LCD 242上的用于校准的第一图像的位置来调整左LCD 242上的图像的显示范围。

(c2)由用户来对准用于校准的图像与真实对象

CPU 140在使右LCD 241和左LCD 242显示用于校准的第二图像的同时,经由摄相机61识别与用于校准的第二图像对应的真实对象(例如,二维标记)。这时,CPU 140追踪真实对象相对于摄相机61(或光学显示单元)的姿势和位置。CPU 140使显示在左LCD和右LCD上的用于校准的第二图像的位置通过用户接口(例如触控板14)的操作而相互关联地移动。在这种情况下,当没有用户操作时,可以根据真实对象的轨迹来改变所显示的用于校准的第二图像的姿势和位置。注意,当执行过程c1时,用于对准的第二图像的显示范围是在通过过程c1进行调整之后的范围。当不执行过程c1时,用于校准的第二图像的显示范围为默认范围。用户在用户觉察到在视觉上识别为虚拟图像的用于校准的左图像和右图像与通过光学图像显示单元在视觉上识别的真实对象交叠(位置、大小和方向中的至少一个基本上相互一致)的情况下,对用户接口(例如确定键11)进行操作。用户通知CPU 140已决定位置。

当被通知已决定位置时,CPU 140获取真实对象在通过摄相机61的图像拍摄而获得图像(外部场景图像)中的位置、在右LCD 241上的用于校准的第二图像的位置和在左LCD 242上的用于校准的第二图像的位置。CPU 140基于与所获取的位置有关的信息对摄相机61的图像拍摄范围以及图像在右LCD 241和左LCD 242上的显示范围进行调整。注意,在过程c2中,用于校准的第二图像可以在LCD 241和LCD 242上移动。然而,用于校准的第二图像可以以固定姿势和固定位置显示。在后一种情况下,用户只需要相对于真实对象移动使得用户觉察到用于校准的第二图像与真实对象交叠即可。

根据变形3中的过程c1,CPU 140可以对主要对应于用户的个体差异的显示系统执行对准。根据变形3中的过程c2,CPU 140可以对主要对应于HMD 100的个体差异的显示系统执行对准。作为对准的结果,CPU 140可以在增强现实处理中更准确地对准真实对象的位置与虚拟对象的位置。注意,用于校准的第一图像和用于校准的第二图像可以是相同的或者可以是不同的。

B.第二实施方式

在本发明的第二实施方式中,在颜色调整处理中,在考虑除了真实光环境之外的虚拟光环境的情况下改变视觉观察颜色。在下面的说明中,仅说明具有与第一实施方式中的部件不同的部件的单元和与第一实施方式中的操作不同的执行操作。注意,在附图中,与第一实施方式中的部件和操作相同的部件和操作是用与上面说明的第一实施方式中的附图标记相同的附图标记来表示的,并且省略对这些部件和操作的详细说明。也就是说,下面未说明的部件和操作与第一实施方式中的部件和操作相同。

B-1.头戴式显示设备的配置

图7是示出第二实施方式中的HMD 100a在功能方面的配置的框图。HMD 100a包括控制单元10a以替代控制单元10。控制单元10a包括颜色调整单元144a以替代颜色调整单元144并且包括存储单元120a以替代存储单元120。在颜色调整单元144a中,颜色调整处理中的一部分处理内容与第一实施方式中的处理内容不同。

存储单元120a除了色度参考122之外还包括环境对应关系表124和预设置组126。在环境对应关系表124中存储有用于指定多个预设置(预设置组126)中的一个预设置的信息。预设置组126由多个预设置构成。在相应的预设置中存储有用于使附加图像数据进行颜色转换的信息。用于执行颜色转换的信息包括例如用于白平衡调整的信息(具体地,例如,每个RGB的色调曲线的调整内容、色温的调整内容、颜色偏差的调整内容中的至少一部分)。

B-2.颜色调整处理

图8是用于说明第二实施方式中的颜色调整处理的图示。在第一实施方式的颜色调整处理中,在不考虑目标对象所处的真实光环境的情况下(图4的步骤S106,b1:目录颜色)或者在考虑真实光环境的情况下(图4的步骤S106,b2:匹配颜色),对视觉观察颜色进行控制(图8中的虚线框)。在第二实施方式中,可以在进一步考虑除了这种真实光环境之外的虚拟光环境的情况下改变视觉观察颜色。注意,“真实光环境”是指颜色调整处理的目标对象所处的真实光环境。“虚拟光环境”是指HMD 100a的用户在视觉上识别的虚拟光环境。

当考虑虚拟光环境时,在图4所示的颜色调整处理的步骤S116中,颜色调整单元144a在将附加图像数据发送到增强现实处理单元142之前进行下面说明的颜色转换处理(图8中的实线框)。另一方面,当不考虑虚拟光环境时,颜色调整单元144a直接执行图4所示的颜色调整处理(图8中的虚线框)。因此,颜色调整单元144a可以执行图8所示的四种处理模式。注意,颜色调整单元144a可以例如通过参照被预先存储在存储单元120a中的设置的内容来确定是否考虑虚拟光环境。设置内容可由用户改变。

B-2-1.颜色转换处理

图9是用于说明颜色转换处理的过程的流程图。颜色转换处理是用于在考虑虚拟光环境的情况下通过使附加图像数据进行颜色转换来改变视觉观察颜色的处理。在步骤S200中,颜色调整单元144a获取目标对象所处的真实光环境。颜色调整单元144a可以例如使用与颜色调整处理(图4)的步骤S106中的参考b2-2相同的方法来获取真实光环境。

在步骤S202中,颜色调整单元144a获取虚拟光环境。可以通过例如参照被预先存储在存储单元120a中的设置的内容来确定虚拟光环境。设置内容可由用户改变。

在步骤S204中,颜色调整单元144a通过参照环境对应关系表124来获取应该采用的预设置。

图10是示出环境对应关系表124的示例的图示。在环境对应关系表124中,为了实现虚拟光环境,与虚拟光环境和真实光环境相关联地存储根据真实光环境应该采用的当前的标识符。在图10所示的示例中,环境对应关系表124指示例如为了实现虚拟光环境“荧光灯”,在真实光环境是“荧光灯”时不采用预设置,在真实光环境是“白炽灯”时采用预设置3,以及在真实光环境是“太阳光”时采用预设置5。这同样适用于虚拟光环境“白炽灯”和“太阳光”。因此,省略与虚拟光环境“白炽灯”和“太阳光”有关的说明。在本实施方式中,日光的颜色被假定为荧光灯并且晴天的太阳光被假定为太阳光。注意,在图10所示的示例中,示出光源的类型作为光环境的示例。然而,作为光环境,例如可以采用场景类元素,诸如晨光和晚霞。

在图9的步骤S204中,颜色调整单元144a使用在步骤S200中获取的真实光环境和在步骤S202中获取的虚拟光环境作为关键值通过环境对应关系表124进行搜索,并且获取预设置的标识符。颜色调整单元144a从预设置组126中获取具有所获取的标识符的当前。

在步骤S206中,颜色调整单元144a将在步骤S204中获取的预设集置应用于附加图像数据的所有像素(这意味着包括黑色单元的所有像素)。因此,将预先存储在预设置中的每个RGB的色调曲曲线的调整、色温的调整、颜色偏差的调整等应用于整个附加图像数数据。例如,在采用预设置5(在真实光环境是太阳光并且虚拟光环境是荧光灯时采用的预设置)的情况下,向整个附加图像数据应用例如用于将色温设置为4000K并且提升B的色调曲线的调整。通过使包括虚拟对象的整个附加图像数据以该这种方式进行颜色转换,颜色调整单元144a可以在考虑虚拟光环境的情况下改变视觉观察颜色。因此,在本实施方式的头戴式显示设备(HMD 100a)中,增加了视觉观察颜色的再现范围。可以为用户改进便利性。

注意,在上面说明的颜色转换处理中,通过附加图像数据的颜色转换实现了在考虑虚拟光环境的情况下对视觉观察颜色进行控制。然而,通过使用电子遮挡件而不使用附加图像数据的颜色转换、或者在附加图像数据的颜色转换之外还使用电子遮挡件,颜色调整单元144a可以在考虑到虚拟光环境的情况下对视觉观察颜色进行改变。在这种情况下,可以将控制内容(例如提供给电子遮挡件的供给电压的调整内容)存储在例如预设置中。

B-3.颜色调整处理的变型

在第二实施方式的颜色调整处理中,可以采用变型1至变型3。可以独立地或组合地采用变型1至变型3。

C.修改例

在本实施方式中,由硬件实现的一部分部件可以替换成软件。相反地,由软件实现的一部分部件可以替换成硬件。此外,下面说明的修改例也是可行的。

修改例1

在本实施方式中,示出了HMD的配置。然而,在不背离本发明的精神的情况下,可以可选地设置HMD的配置。例如可以执行对各部件的添加、删除、转换等。

控制单元和图像显示单元的部件分配仅是示例。可以采用各种形式的分配。例如,可以采用下面说明的形式。

(i)在控制单元上安装处理功能,诸如CPU和存储器,并且在图像显示单元上仅安装显示功能

(ii)在控制单元和图像显示单元二者上都安装处理功能,诸如CPU和存储器

(iii)整合控制单元与图像显示单元(例如,控制单元包含于图像显示单元中并且用作眼镜型可穿戴计算机)

(iv)使用智能电话或者便携式游戏机以替代控制单元

(v)将控制单元和图像显示单元经由无线信号传输线连接,诸如无线LAN、红外通信或蓝牙,并且移除连接单元(线)。注意,在这种情况下,可以对控制单元或图像显示单元进行无线电力供应。

例如,可以可选地改变在本实施方式中示出的控制单元和图像显示单元的配置。具体地,例如,控制单元的发送单元(Tx)和图像显示单元的接收单元(Rx)二者可以包括能够执行双向通信的功能并且可以用作发送单元和接收单元。例如,可以省略包括在控制单元中的一部分操作接口(键、触控板等)。可以在控制单元中包括用诸如杆这样的其他操作接口。例如,可以将诸如键盘和鼠标这样的设备连接到控制单元使得控制单元从键盘和鼠标接收输入。例如,使用二次电池作为电源。然而,电源并不限于二次电池。可以使用各种电池。例如,可以使用原电池、燃料电池、太阳能电池或热电池。

图11A和图11B是示出在修改例中的HMD的外观的配置的说明图。图11A所示的图像显示单元20x包括右光学图像显示单元26x和左光学图像显示单元28x。右光学图像显示单元26x和左光学图像显示单元28x形成得比本实施方式中的光学构件更小并且在用户戴着HMD的情况下被分别倾斜地布置在用户的右眼和左眼之上。图11B所示的图像显示单元20y包括右光学图像显示单元26y和左光学图像显示单元28y。右光学图像显示单元26y和左光学图像显示单元28y形成得比本实施方式中的光学构件更小并且在用户戴着HMD的情况下被分别倾斜地布置在用户的右眼和左眼之下。以这种方式,只需要将光学图像显示单元布置在用户双眼的附近。形成光学图像显示单元的光学构件的大小可以是任意的。光学图像显示单元可以为光学图像显示单元只覆盖用户双眼中的一个单元的形式,即光学图像显示单元不完全覆盖用户双眼的形式。

例如,可以使用被设计用来实现多种功能的ASIC(专用集成电路)来配置包括在控制单元中的处理单元(例如,图像处理单元、显示控制单元、增强现实处理单元)。

例如,HMD是双目型的透射式HMD。然而,HMD可以是单目型的HMD。例如,HMD可以被配置成在用户戴着HMD的状态下阻挡外部场景的透射的非透射式HMD,或者可以被配置成将摄相机安装在非透射式HMD上的视频透视装置。例如,作为耳机,可以采用耳钩型或头带型。可以省略耳机。

例如,可以采用普通的平面显示设备(液晶显示设备、等离子体显示设备、有机EL显示设备等)来代替像眼镜那样佩戴的图像显示单元。在这种情况下,控制单元和图像显示单元可以通过有线或者无线电进行连接。从而,控制单元还可以用作普通平面显示设备的遥控器。

例如,替代像眼镜那样佩戴的图像显示单元,可以采用其他形式的图像显示单元,诸如像帽子那样佩戴的图像显示单元以及并入诸如头盔这样的身体保护器中的图像显示单元。例如,图像显示单元可以被配置成安装在诸如机动车辆和飞机的交通工具或其他运输工具上的平视显示器(HUD)。

例如,图像光生成单元除了各部件(背光、背光控制单元、LCD和LCD控制单元)之外或者替代各部件还可以包括用于实现另一系统的部件。例如,图像光生成单元可以包括有机EL(有机电致发光)显示器和有机EL控制单元。例如,图像生成单元可以包括数字微反射镜器件等以替代LCD。例如,本发明还可以应用于激光视网膜投影型的头戴式显示设备。

修改例2

在本实施方式中,对增强现实处理和颜色调整处理的示例进行说明。然而,在本实施方式中说明的这几种处理的过程仅是示例。对过程的各种修改都是可行的。例如,可以省略一部分步骤或者也可以增加其他步骤。可以改变要执行的步骤的顺序。

例如,颜色调整处理(图4)可以在增强现实处理的过程a4和过程a5之间执行。例如,颜色调整单元可以仅对“颜色”的构成元素之中的色相、色度和亮度中的至少一个进行颜色调整处理。

例如,在颜色调整处理的步骤S106中,颜色调整单元针对每个像素(或者每个像素块)来确定目标颜色。然而,颜色调整单元可以在虚拟对象单元中确定目标颜色。在虚拟对象单元中确定目标颜色的情况下,虚拟对象具有单一颜色。在这种情况下,在步骤S116结束之后,颜色调整单元只需要将处理移至步骤S108。

例如,在颜色调整处理的步骤S108中,在HMD包括诸如颜色传感器这样的其他颜色检测装置的情况下,颜色调整单元可以使用其他颜色检测装置来获取真实对象颜色。

例如,可以对于第一像素(或第一像素块)仅执行一次颜色调整处理的步骤S110中的确定。之后,由于是重复相同的处理,因此可以省略该确定。从而,可以减少颜色调整单元中的处理量。

例如,在颜色调整处理的步骤S110中的确定中,可以同时地使用不同的多个色度参考(第一色度参考和第二色度参考;满足关系:第一色度参考>第二色度参考)。例如,颜色调整单元可以在真实对象颜色的色度等于或高于第一色度参考的情况下执行步骤S112及随后步骤中的处理,在真实对象颜色的色度等于或低于第二色度参考的情况下执行步骤S118及随后步骤中的处理,以及在真实对象颜色的色度低于第一色度参考但高于第二色度参考的情况下同时使用步骤S112及随后步骤中的处理以及步骤S118及随后步骤中的处理。从而,颜色调整单元可以更精细地控制视觉观察颜色。

例如,在颜色调整处理的步骤S112中,颜色调整单元可以获取真实对象附近的紫外线、红外线等,并且根据所获取的紫外线和红外线的状态来确定电子遮挡件的透射率。

例如,在颜色调整处理的步骤S118中,除了基于真实对象颜色的色度和真实对象附近的紫外线和红外线中的任一种对虚拟对象的CG颜色进行调整之外,颜色调整单元还可以同时使用电子遮挡件。

例如,可以可选地改变本实施方式中所说明的真实对象和虚拟对象。例如,可以将“真实背景对象”用作真实对象。真实对象可以是平面的(例如,墙壁或屏幕)。虚拟对象也可以是平面的(例如,看起来好像是附着在作为真实对象而提供的墙壁上的广告的图像)。

例如,在增强现实处理中形成在用户双眼前方的虚拟图像可以仅包括虚拟对象,或者可以包括虚拟对象之外的信息(例如,菜单栏和时钟)。

修改例3

本发明不限于上述实施方式、示例和修改例,而是可以在不背离本发明的精神的情况下被实现为各种配置。例如,为了解决部分或全部问题或者实现部分或者全部效果,可以适当地替换或组合与在发明内容中描述的各方面中的技术特征对应的实施方式、示例和修改例中的技术特征。可以适当地删除技术特征,除非该技术特征在本说明书中被描述为必要技术特征。

附图标记列表

10、10a 控制单元

11 确定键

12 照明单元

13 显示切换键

14 触控板

15 亮度切换键

16 方向键

17 菜单键

18 电源开关

20 图像显示单元

21 右保持单元

22 右显示驱动单元

23 左保持单元

24 左显示驱动单元

26 右光学图像显示单元

28 左光学图像显示单元

30 耳机插头

32 右耳机

34 左耳机

40 连接单元

42 右线

44 左线

46 耦接构件

48 主体线

51 发送单元

52 发送单元

53 接收单元

54 接收单元

61 摄相机(颜色检测单元)

66 九轴传感器

110 输入信息获取单元

100 HMD(头戴式显示设备)

120、120a 存储单元

122 色度参考

124 环境对应关系表

126 预设置组

130 电源

132 无线电通信单元

140 CPU

142 增强现实处理单元

144、144a 颜色调整单元

160 图像处理单元

170 声音处理单元

180 接口

190 显示控制单元

201 右背光控制单元

202 左背光控制单元

211 右LCD控制单元

212 左LCD控制单元

221 右背光

222 左背光

241 右LCD

242 左LCD

251 右投影光学系统

252 左投影光学系统

261 右导光板

262 左导光板

261s 右电子遮挡件

261s 左电子遮挡件

PCLK 时钟信号

VSync 垂直同步信号

HSync 水平同步信号

Data 图像数据

Data1 附加图像数据

Data2 附加图像数据

OA 外部装置

PC 个人计算机

SC 外部场景

VI 虚拟图像

VR 视场

RE 右眼

LE 左眼

ER 端

EL 端

VO 虚拟对象

VO1 虚拟对象

VO2 虚拟对象

FO 目标对象(真实对象)

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1