显示装置、显示系统以及显示装置的控制方法
【专利摘要】能够以简单的结构，将增强现实图像以附加到真实物体的方式来识别。是使使用者将显示画面(26)作为虚像(22)视觉确认，并且以与使用者的辐合角相匹配的焦距使视觉确认该显示画面(26)的透射式的头戴型显示装置(1)，具备识别使用者的视野内的真实物体(A)的图像解析部(72)、检测从使用者到真实物体(A)的距离的距离传感器(41)、使配置有针对真实物体(A)的AR图像(G)的显示画面(26)显示的显示控制部(74)、以及显示显示画面(26)的显示部(30)，显示控制部(74)使以成为与检测出的距离相匹配的辐合角的方式引导使用者的辐合角的画面效果显示到显示画面(26)上。
【专利说明】
显示装置、显示系统以及显示装置的控制方法
【技术领域】
[0001]本发明涉及使使用者将显示画面作为虚像视觉确认的透射式的显示装置、头戴型显示装置、显示系统以及显示装置的控制方法。
【背景技术】
[0002]以往，作为这种透射式的显示装置，公知有佩戴在使用者的头部的光学透射式的头戴型显示装置(参照专利文献1)。在该显示装置中，构成为在使用者将图像视觉确认为虚像的同时，也能够直接视觉确认现实风景(外景)。
[0003]专利文献1:日本特开2012 - 163637号公报
[0004]然而，考虑到对这种透射式的显示装置应用AR(Augmented Reality:增强现实)系统。即，是识别使用者的视野内的真实物体，并以附加于视野内(现实风景)的真实物体的方式来显示增强现实图像的结构。例如，像载置在真实物体的表面那样，来显示增强现实图像。根据这样的结构，是在视觉确认的真实物体上重叠AR图像的结构，所以与对拍摄图像和图像对象进行合成的一般的AR系统相比，能够得到较高的真实感。
[0005]然而，若对这种透射式的显示装置仅应用AR系统，则产生如下的问题。即，在这种透射式的显示装置中，以与使用者的辐合角相匹配的焦距视觉确认图像。因此，存在AR图像的焦距偏离真实物体的位置，而AR图像从真实物体偏离而被识别的问题。因此，不能将AR图像以附加在(例如载置于)真实物体上的方式识别，现实空间与虚拟空间的亲和性显著降低。特别是，使用者的辐合角通常成为与无限远匹配的辐合角，所以AR图像的焦距变为无限远。因此，真实物体越接近使用者，AR图像越偏离真实物体地被识别。
【发明内容】
[0006]本发明的课题在于，应用能够以简单的结构，将增强现实图像以附加到真实物体的方式来识别的显示装置、头戴型显示装置、显示系统以及显示装置的控制方法。
[0007]本发明的显示装置的特征在于，是使使用者将显示画面作为虚像视觉确认，并且以与使用者的辐合角相匹配的焦距来使视觉确认该显示画面的透射式的显示装置，具备:物体识别部，其识别使用者的视野内的真实物体；距离检测部，其检测从使用者到真实物体的距离；显示控制部，其使配置有针对真实物体的增强现实图像的显示画面显示；以及显示部，其显示显示画面，其中，显示控制部使成为与检测出的距离相匹配的辐合角方式引导使用者的视线的图像显示到显示画面上。
[0008]本发明的头戴型显示装置的特征在于，是被佩戴在使用者的头部并且使使用者将显示画面作为虚像视觉确认，并且以与使用者的辐合角相匹配的焦距来使视觉确认该显示画面的透射式的头戴型显示装置，具备:物体识别部，其识别使用者的视野内的真实物体；距离检测部，其检测从使用者到真实物体的距离；显示控制部，其使配置有针对真实物体的增强现实图像的显示画面显示；以及显示部，其显示显示画面，其中，显示控制部使成为与检测出的距离相匹配的辐合角的方式引导使用者的视线的图像显示到显示画面上。
[0009]本发明的显示系统的特征在于，是使使用者将显示画面作为虚像视觉确认，并且以与使用者的辐合角相匹配的焦距来使视觉确认该显示画面的透射式的显示系统，具备:物体识别部，其识别使用者的视野内的真实物体；距离检测部，其检测从使用者到真实物体的距离；显示控制部，其使配置有针对真实物体的增强现实图像的显示画面显示；以及显示部，其显示显示画面，其中，显示控制部使成为与检测出的距离相匹配的辐合角的方式引导使用者的视线的图像显示到显示画面上。
[0010]本发明的显示装置的控制方法的特征在于，是使使用者将显示画面作为虚像视觉确认，并且以与使用者的辐合角相匹配的焦距来使视觉确认该显示画面的透射式的显示装置的控制方法，执行识别使用者的视野内的真实物体的物体识别步骤；检测从使用者到真实物体的距离的距离检测步骤；使配置有针对真实物体的增强现实图像的显示画面显示的显示控制步骤；以及显示显示画面的显示步骤，其中，在显示控制步骤中，使成为与检测出的距离相匹配的辐合角的方式引导使用者的视线的图像显示到显示画面上。
[0011]根据这些结构，通过上述图像，以成为与检测出的真实物体的距离相匹配的辐合角的方式引导使用者的视线(辐合角:对眼的程度)，从而能够使使用者的辐合角与真实物体的位置相匹配，伴随于此能够使增强现实图像的焦距(焦点位置)与真实物体的位置相匹配。即，能够仅通过使特定的图像(例如画面效果)显示(仅通过显示控制)，来调整增强现实图像的焦距，能够以简单的结构，使增强现实图像以附加在真实物体上的方式来识另IJ。因此，能够将增强现实图像附加到真实物体上来显示，能够提高现实空间与虚拟空间的亲和性。此外，优选上述图像的显示先于增强现实图像的显示来进行。另外，上述图像可以是静态图像，也可以是动态图像。
[0012]在上述的显示装置中，优选显示控制部使作为用于调出各应用的图像对象的、使用透视图法被转换为向内的远近图像的多个图像对象显示到显示画面上，并且作为上述图像，使多个图像对象的向内的倾斜程度缓缓地变化。
[0013]在该情况下，优选多个图像对象是图标、菜单以及缩小化的应用画面中的任意一个。
[0014]根据这些结构，使多个图像对象中的向内的倾斜程度变化。即，就像对以多个图像对象为门扇的门进行开关那样进行变化。受到该变化的影响，使用者的辐合角发生变化。这样，通过使多个图像对象的向内的倾斜程度变化，能够利用用于调出各应用的图像对象，弓丨导使用者的辐合角。
[0015]另外，优选显示控制部使在周方向并列地配置从显示画面的外边缘侧向中央侧延伸的多个向导线的向导显示到显示画面上，并且作为上述图像，使向导中的向导线的周方向的间距缓缓地变化。
[0016]根据该结构，使向导线的周方向的间距缓缓地变化，从而使由多个向导线产生的远近视错觉的远近感缓缓地变化。受到该远近感的变化的影响，使用者的辐合角发生变化。这样，通过使多个向导线的间距变化，能够有效地引导使用者的辐合角。
[0017]并且，优选显示控制部使包围显示画面中央的框状图像以及包围显示画面中央的环状图像中的任意一方的图像显示到显示画面上，并且作为上述图像，使一方的图像的大小缓缓地变化。
[0018]另外，优选显示控制部使以真实物体为中心的框状图像以及以真实物体为中心的环状图像的任意一方的图像显示到显示画面上，并且作为上述图像，使一方的图像的大小缓缓地变化。
[0019]根据这些结构，使框状图像或者环状图像的大小缓缓地变化，从而产生框状图像或者环状图像缓缓地向近前方向移动那样的错觉。受到该错觉的影响使使用者的辐合角变化。这样，通过使框状图像或者环状图像的大小变化，能够有效地引导使用者的辐合角。
[0020]另外，优选显示控制部使随着从显示画面的外边缘侧到中央侧逐渐变暗的渐变图像显示到显示画面上，并且作为上述图像，使渐变图像中的明暗的变化程度缓缓地变化。
[0021]根据该结构，使由明暗的渐变图像产生的远近视错觉的远近感缓缓地变化。受到该远近感的变化的影响辐合角发生变化。这样，通过使渐变图像的明暗的变化程度变化，能够有效地引导使用者的辐合角。
[0022]另一方面，优选还具备速度检测部，该速度检测部检测使用者相对于实物体的相对的移动速度，显示控制部基于速度检测部的检测结果来调整上述图像。
[0023]根据该结构，通过加上针对真实物体的使用者的相对的移动速度来调整上述图像，能够高精度地进行针对真实物体的位置的增强现实图像的焦距的校准。
[0024]另外，优选显示控制部使表示使用者的辐合角的指示符显示到显示画面上。
[0025]根据该结构，通过使用者确认指示符，能够确认自身的辐合角。
[0026]进一步优选显示部具有:图像光输出部，其输出图像光；以及导光部，其将输出的图像光导入上述使用者的眼睛，导光部使外光透过，并使该外光与图像光一起入射至使用者的眼睛。
[0027]根据该结构，通过使用所谓的虚像投影型的显示装置，能够提供简单的结构且廉价的透射式的显示装置。
【专利附图】
【附图说明】
[0028]图1是表示实施方式的头戴型显示装置的外观结构的说明图。
[0029]图2是对使用者能够视觉确认的虚像以及现实风景的一个例子进行说明的图。
[0030]图3是对头戴型显示装置的控制结构进行说明的框图。
[0031]图4是对显示画面进行说明的图。
[0032]图5是对多个图标的画面效果进行说明的画面迁移图。
[0033]图6是对远近向导的画面效果进行说明的画面迁移图。
[0034]图7是对目标的画面效果进行说明的画面迁移图。
[0035]图8是对头戴型显示装置的AR图像的显示动作进行说明的流程图。
[0036]图9是对目标的画面效果的第一变形例进行说明的画面迁移图。
[0037]图10是对目标的画面效果的第二变形例进行说明的画面迁移图。
[0038]图11是对渐变图像的画面效果进行说明的画面迁移图。
[0039]图12是对指示符进行说明的画面迁移图。
【具体实施方式】
[0040]以下，参照附图，对本发明的一实施方式的显示装置、头戴型显示装置、显示系统以及显示装置的控制方法进行说明。在本实施方式中，例示应用了本发明的显示装置的头戴型显示装置。该头戴型显示装置是佩戴在使用者的头部的显示装置，也称作头戴式显示器(Head Mounted Display:HMD)。本实施方式的头戴型显示装置是在使使用者将图像视觉确认为虚像的同时也能够直接视觉确认现实风景(外景)的光学透射式的头戴型显示装置(透射式头戴型显示装置、透视型头戴式显示器)，具有眼镜型(风镜型)的形状。
[0041]如图1所示，头戴型显示装置1具有右保持部11、右显示驱动部12、左保持部13、左显示驱动部14、右光学图像显示部15、左光学图像显示部16、外界用照相机17、右耳用的右耳机18以及左耳用的左耳机19。
[0042]右光学图像显示部15以及左光学图像显示部16被配置在头戴型显示装置1的佩戴时的与使用者的右眼以及左眼的眼前对应的位置。右光学图像显示部15的一端与左光学图像显示部16的一端分别在头戴型显示装置1的佩戴时的与使用者的眉间对应的位置连接。右保持部11从右光学图像显示部15的另一端亦即端部ER开始延伸。同样，左保持部13从左光学图像显示部16的另一端亦即端部EL开始延伸。
[0043]右保持部11是从右光学图像显示部15的端部ER到头戴型显示装置1的佩戴时的与使用者的侧头部对应的位置，以与右光学图像显示部15几乎成直角的方式延伸设置的部件。同样，左保持部13是从左光学图像显示部16的端部EL到头戴型显示装置1的佩戴时的与使用者的侧头部对应的位置，以与左光学图像显示部16几乎成直角的方式延伸设置的部件。右保持部11以及左保持部13像眼镜的脚丝(眼镜腿、挂耳部)那样，将头戴型显示装置1保持在使用者的头部。
[0044]右显示驱动部12配置在右保持部11的内侧，换言之，头戴型显示装置1的佩戴时的与使用者的头部对置的一侧，且右光学图像显示部15的端部ER侧。另外，左显示驱动部14配置在左保持部13的内侧，且左光学图像显示部16的端部EL侧。
[0045]外界用照相机17拍摄佩戴头戴型显示装置1的状态下的使用者的视野方向(使用者的前方)的现实风景23。详细内容后述，但外界用照相机17的拍摄图像用于设置于真实物体A的标识器MK的识别，进而用于真实物体A的识别。
[0046]右耳机18以及左耳机19在使用者佩戴了头戴型显示装置1时，分别佩戴在右耳以及左耳，进行针对右耳以及左耳的各种声音输出。
[0047]接下来参照图2，对佩戴了头戴型显示装置1的使用者能够视觉确认的虚像22以及现实风景23的一个例子进行说明。如图2所示，在佩戴了头戴型显示装置1的使用者的视野21中，头戴型显示装置1所生成的显示画面26被显示为虚像22。显示画面26被显示在显示虚像22的(能够显示虚像22的)虚像显示区域27整个区域。另外，在使用者的视野21中，使用者能够透过右光学图像显示部15以及左光学图像显示部16，观看现实风景23。在图2的例子中，作为现实风景23，能够看到作为真实物体A的桌子。即，构成为使用者在视野21内能够同时视觉确认虚像22和现实风景23。在本实施方式中，以与使用者的辐合角相匹配的焦距视觉确认虚像22 (显示画面26)。
[0048]接下来参照图3，对头戴型显示装置1的控制结构进行说明。如图3所示，头戴型显示装置1具有使使用者视觉确认虚像22的显示部30、外界用照相机17、右耳机18、左耳机19、传感器部31、电源部32、无线通信接口 33、以及控制这些各部的控制部34。
[0049]传感器部31检测头戴型显示装置1的控制所涉及的各种信息。具体而言，传感器部31具有距离传感器(距离检测部)41、GPS接收器42以及9轴传感器43。距离传感器41例如通过光学方式、超声波方式，来检测从使用者(严格来说，是头戴型显示装置1)到真实物体A(严格来说是标识器MK)的距离。GPS接收器42接收GPS信号，获取表示使用者(严格来说，是头戴型显示装置1)的位置的位置信息。9轴传感器43检测3轴加速度、3轴角速度以及3轴地磁。
[0050]电源部32向头戴型显示装置1的各部供给电力。无线通信接口 33是用于经由无线网络，进行与外部服务器的通信的部件。
[0051]显示部30具有右显示驱动部(图像光输出部)12、左显示驱动部(图像光输出部)14、作为右光学图像显示部15的右导光板(导光部)46、以及作为左光学图像显示部16的左导光板(导光部)47。
[0052]右显示驱动部12包含作为光源发挥作用的右背光灯(BL)控制部51以及右背光灯(BL) 52、作为显示元件发挥作用的右LCD (Liquid Crystal Display:液晶显示)控制部53以及右IXD54、以及右投影光学系统55。
[0053]右背光灯控制部51基于输入的控制信号，对右背光灯52进行驱动控制。右背光灯52例如是LED (Light Emitting D1de:发光二极管)、电致发光(EL)等发光体。右LCD控制部53基于输入的显示数据，对右IXD54进行驱动控制。右IXD54是将多个像素配置成矩阵状的透射式液晶面板。
[0054]右投影光学系统55是投射(输出)从右LCD54射出的图像光的系统，例如，使用准直透镜来构成。作为右光学图像显示部15的右导光板46由透光性的树脂材料等形成，使从右投影光学系统55输出的图像光沿规定的光路反射并导入使用者的右眼。另外，右导光板46使外光(现实风景23的光)透过，并使该外光与上述图像光一起入射至使用者的眼睛。
[0055]左显示驱动部14与右显示驱动部12相同，包含左背光灯(BL)控制部61、左背光灯(BL)62、左IXD控制部63、左IXD64、以及左投影光学系统65。左显示驱动部14所包含的各要素的结构、功能与右显示驱动部12所包含的各要素相同，所以这里省略说明。另外，作为左光学图像显示部16的左导光板47由透光性的树脂材料等形成，使从左投影光学系统65输出的图像光沿着规定的光路反射并导入使用者的左眼。另外，左导光板47使外光透过，使该外光与上述图像光一起入射至使用者的眼睛。
[0056]这样，通过导入头戴型显示装置1的使用者的双眼的图像光在视网膜成像，使用者例如如图2所示那样在虚像显示区域27内视觉确认虚像22(显示画面26)。即，本头戴型显示装置1具有虚像投影型的头戴式显示器的结构。在本头戴型显示装置1中，以与使用者的辐合角相匹配的焦距使使用者视觉确认虚像22。此外，这里，将使图像光在视网膜成像，称为“显示”或“进行显示”。
[0057]控制部34具有CPU (Central Processing Unit:中央处理器)67、以及存储部68。存储部 68 由 ROM (Read Only Memory:只读存储器)、RAM (Random Access Memory:随机存储器)等构成，储存有各种计算机程序。CPU67通过从存储部68读出计算机程序并执行，来作为操作系统(0S) 71、图像解析部(物体识别部)72、显示控制部74、显示状态控制部75以及声音处理部76发挥作用。
[0058]图像解析部72获取由外界用照相机17拍摄的图像的图像信号，并进行获取的图像信号的解析。图像解析部72通过图像解析来识别设置于真实物体A的物体识别用的标识器MK，再识别设置有标识器MK的真实物体A (标识器MK以及真实物体A请参照图2)。由此识别使用者的视野21内的真实物体A。此外，在本实施方式中，是对真实物体A设置标识器MK，识别该标识器MK再识别真实物体A的结构，但也可以是无标识器，而识别真实物体A的特征位置(特征点)再识别真实物体A的结构。另外，也可以是基于从GPS接收器42以及9轴传感器43得到的使用者的位置信息、从9轴传感器43得到的使用者的头部的方向、以及通过图像解析部72得到的视野21内的标识器MK的位置，来检测现实空间的标识器MK的位置信息，再基于检测出的位置信息识别真实物体A的结构。在这样的情况下，可以是标识器MK的位置信息与真实物体A的对应数据预先存储在头戴型显示装置1的结构，也可以是存储于外部服务器，每次进行标识器MK的位置信息的检测时，通过无线通信接口 33从外部服务器获取对应的真实物体A的信息的结构。
[0059]显示控制部74生成显示数据，并将显示数据发送至显示部30 (右IXD控制部53以及左IXD控制部63)。显示控制部74生成显示画面26的显示数据，并将该显示数据发送至显示部30，从而使显示部30显示显示画面26。即，在本头戴型显示装置1中，通过显示控制部74生成显示画面26的显示数据并发送至显示部30 (显示控制步骤)，利用显示部30，基于发送出的显示数据，显示显示画面26 (使图像光在视网膜上成像)(显示步骤)。
[0060]另外，显示控制部74根据AR应用，使针对识别出的真实物体A的AR图像(增强现实图像)G显示在显示画面26上。具体而言，显示控制部74基于图像解析部72的真实物体A的识别结果，将针对真实物体A的AR图像G，以附加在真实物体A的方式(例如以载置的方式)配置并显示在显示画面26上(参照图2)。S卩，显示控制部74决定AR图像G的显示位置、显示尺寸以及方向使得以附加在真实物体A的方式进行视觉确认，并基于它们使AR图像G配置并显示在显示画面上。此外，针对真实物体A的AR图像G可以是将与各真实物体A对应的各AR图像G存储在存储部68的结构，也可以是通过无线通信接口 33从外部服务器获取与各真实物体A对应的各AR图像G的结构。另外，显示控制部74除了图像解析部72的真实物体A的识别结果，也加上相对于真实物体A的使用者的相对的移动速度来显示AR图像G。即，通过距离传感器41以及9轴传感器43来检测相对于真实物体A的使用者的相对的移动速度(速度检测部)，基于该检测结果和上述真实物体A的识别结果，决定显示画面26上的AR图像G的显示位置、显示尺寸以及方向，基于这些来配置并显示AR图像G。
[0061]另外，详细内容后述，但显示控制部74在AR图像G的显示之前，使以成为与从使用者到真实物体A的距离相匹配的辐合角的方式引导使用者的辐合角的画面效果显示。
[0062]显示状态控制部75通过生成控制右显示驱动部12以及左显示驱动部14的控制信号，并发送至显示部30，来控制显示部30中的图像显示状态。具体而言，显示状态控制部75通过根据控制信号，分别独立地控制右IXD控制部53对右IXD54的驱动的开/关、右背光灯控制部51对右背光灯52的驱动的开/关、左IXD控制部63对左IXD64的驱动的开/关、左背光灯控制部61对左背光灯62的驱动的开/关等，来控制右显示驱动部12以及左显示驱动部14的各自的图像光的生成以及射出。
[0063]声音处理部76将声音信号发送至右耳机18以及左耳机19,使右耳机18以及左耳机19进行声音输出。
[0064]接下来，参照图4对头戴型显示装置1的显示画面26进行说明。显示画面26是配置有用于调出各应用的图标81的画面，例如是主画面。在图4的例子中，图示有显示AR图像G之前的显示画面26。如图4所示，显示画面26具有配置在显示画面26的左右的多个图标(图像对象)81、形成在除了中央的显示画面26整个区域的远近向导(向导)82、以及配置在显示画面26的中央的双重圆环状的目标83。另外，在显示画面26的中央，预先设定有用于观看现实风景23的视野确保区域84。另外，显示画面26的背景为全透过。
[0065]多个图标81仅配置于在左右避开视野确保区域84的退避区域85。多个图标81被平分到左右的退避区域85，并分别配置为两个退避区域85。另外，作为各图标81，配置使用透视图法(远近法)将矩形的图标图像转换为远近图像的图标。具体而言，配置将矩形的图标图像转换为以显示画面26的中央为消失点并且相对于视野确保区域84向内(朝向视野确保区域84侧)的远近图像的图标。即，配置在矩形的图标图像带有透视图的图标。由此，从使用者来看，根据透视图法，多个图标81的矩形的图标图像如贴在左右壁上那样显示。此外，多个图标81中包含有用于调出AR应用的图标81。
[0066]远近向导82具有与以显示画面26中央为消失点的消失线相当的多个第一向导线91、与水平线相当的多个第二向导线92、以及与垂直线相当的多个第三向导线93。多个第一向导线91在周方向上并列地配置，从显示画面26的外边缘侧向中央侧延伸。具体而言，多个第一向导线91避开视野确保区域84，从显示画面26的外缘延伸到视野确保区域84的近前。应予说明，技术方案中所述的“向导线”由第一向导线91构成。
[0067]多个第二向导线92向左右方向延伸并且避开视野确保区域84而配置在显示画面26的上下端部。另一方面，多个第三向导线93向上下方向延伸并且避开视野确保区域84而配置在显示画面26的左右端部。因此，在显示画面26的上下端部，第一向导线91以及第二向导线92根据透视图法，呈顶壁以及底壁的形态。另一方面，在显示画面26的左右端部，第一向导线91以及第三向导线93根据透视图法，呈左侧壁以及右侧壁的形态。S卩，第一向导线91、第二向导线92以及第三向导线93根据透视图法，呈没有前后壁的房间状(箱状)的形态。
[0068]目标83由包围显示画面26的中央的2个环状图像94构成。2个环状图像94形成为直径不同，并且以显示画面26中央为中心点的同心圆状。
[0069]在此，对显示控制部74的画面效果的显示进行说明。如上所述，显示控制部74在AR图像G的显示之前，使以成为与从使用者到真实物体A的距离相匹配的辐合角的方式引导使用者的辐合角(对眼程度)的画面效果显示。具体而言，作为画面效果，通过使显示画面26上的图像(多个图标81、远近向导82以及目标83)的形态缓缓地变化，来引导使用者的辐合角(双眼的各视线)。在本实施方式中，使用者的辐合角为以画面效果显示前的默认的状态下与无限远匹配，以此为基准求出与上述距离相匹配所需要的辐合角的调整量，基于求出的辐合角的调整量，来决定图像的形态的变化量。此外，相对于辐合角的调整量的上述变化量的决定，基于相对于预先通过实验得到的各变化量的各调整量的数据表来进行。
[0070]此外，在本实施方式中，显示控制部74基于相对于真实物体A的使用者的相对的移动速度，来调整画面效果。即，显示控制部74通过距离传感器41以及9轴传感器43检测出相对于真实物体A的使用者的相对的移动速度，并基于从使用者到真实物体A的距离、和该移动速度，来决定上述变化量。换句话说，若使用者移动，则由于距离检测时与画面效果显示时的时间滞后，在检测出的上述距离与显示画面效果时的实际的上述距离产生偏差。在本实施方式中，加上这一点来修正变化量。
[0071]接下来参照图5?6，分别对利用了多个图标81、远近向导82以及目标83的画面效果进行说明。图5是对多个图标81的画面效果进行说明的画面迁移图。如图5所示，作为画面效果，显示控制部74使透视图法上的多个图标81的向内的倾斜程度缓缓地变化。换句话说，像开关以多个图标81为门扇的门那样地缓缓地变化。即，仅以决定出的变化量来缓缓地关闭上述门。由此，使使用者产生多个图标81向近前侧逼近的错觉，从而将使用者引导成对眼，使使用者的辐合角放大。
[0072]图6是对远近向导82的画面效果进行说明的画面迁移图。如图6所示，作为画面效果，显示控制部74使远近向导82中的第一向导线91的周方向的间距缓缓地变化。即，仅以决定出的变化量，缓缓地扩大第一向导线91的周方向的间距。由此，使由多个第一向导线91产生的远近视错觉的远近感缓缓地变化，从而将使用者引导成对眼，使使用者的辐合角放大。
[0073]图7是对目标83的画面效果进行说明的画面迁移图。如图7所示，作为画面效果，显示控制部74使目标83中的2个环状图像94的大小缓缓地变化。即，仅以决定出的变化量，使2个环状图像94缓缓地放大。由此，产生2个环状图像94缓缓地向近前方向移动的错觉，从而将使用者引导成对眼，使使用者的辐合角放大。
[0074]此外，在图5?图7中，分别图示各画面效果，并仅图示了画面效果所利用的各图像，但既可以是显示控制部74先于AR图像G，使这些所有的画面效果显示的结构，也可以是仅使这些画面效果中的任意一个显示的结构。
[0075]接下来参照图8，对头戴型显示装置1的AR图像G的显示动作进行说明。此外，本显示动作在显示有显示画面26的状态下进行，并且通过图外的控制器点击了 AR应用的图标81，从而根据AR应用来执行。
[0076]如图8所示，头戴型显示装置1首先利用外界用照相机17，拍摄现实风景23 (S1)。然后，通过图像解析部72，识别外界用照相机17的拍摄图像中的标识器MK，并识别真实物体A(S2:物体识别步骤)。
[0077]若识别出真实物体A，则通过距离传感器41检测从使用者到识别出的真实物体A的距离(S3:距离检测步骤)，通过距离传感器41以及9轴传感器43，检测出相对于识别出的真实物体A的使用者的相对的移动速度(S4)。
[0078]之后，通过显示控制部74，基于检测出的从使用者到真实物体A的距离、和检测出的上述移动速度，来决定画面效果中的变化量(S5)。然后，基于该变化量，来显示画面效果
(S6)。
[0079]若画面效果的显示结束，则通过显示控制部74，基于图像解析部72的真实物体A的识别结果、和检测出的上述移动速度，以AR图像G附加到真实物体A的方式来决定AR图像G的显示位置、显示尺寸以及方向(S7)。然后，基于决定出的显示位置、显示尺寸以及方向，显示AR图像G(S8)。由此，结束本显示动作。
[0080]根据如以上那样的结构，通过根据画面效果，以成为与检测出的到真实物体A的距离相匹配的辐合角的方式引导使用者的辐合角(对眼的程度)，能够使使用者的辐合角与真实物体A的位置相匹配，伴随于此能够使AR图像G的焦距(焦点位置)与真实物体A的位置相匹配。即，仅通过显示特定的画面效果(仅通过显示控制)，就能够调整AR图像G的焦距，能够以简单的结构，将AR图像G以附加到真实物体A的方式来识别。因此，能够以将AR图像G附加到真实物体A的方式显示，能够提高现实空间与虚拟空间的亲和性。
[0081]另外，作为画面效果，通过使多个图标81的向内的倾斜程度变化，能够利用图标81，来引导使用者的辐合角。
[0082]并且，作为画面效果，通过使远近向导82中的第一向导线91的周方向的间距变化，能够有效地引导使用者的辐合角。
[0083]而且进一步，作为画面效果，通过使环状图像94的大小缓缓地变化，能够有效地引导使用者的辐合角。
[0084]另外，通过检测相对于真实物体A的使用者的相对的移动速度，并根据该相对的移动速度来调整画面效果，能够高精度地进行相对于真实物体A的位置的AR图像G的焦距的校准。
[0085]此外，在本实施方式中，是由2个环状图像94构成目标83，作为画面效果，改变2个环状图像94的大小的结构，但如图9所示，也可以是由包围显示画面26中央的2个框状图像101构成目标83，作为画面效果，改变2个框状图像101的大小的结构。另外。也可以由一个环状图像94或者一个框状图像101构成目标83。
[0086]另外，在本实施方式中，是显示包围显示画面26中央的环状图像94或者框状图像101，作为画面效果，改变该环状图像94或者框状图像101的大小的结构，但如图10所示，也可以是显示以识别出的真实物体A为中心的环状图像94或者框状图像101，作为画面效果，使该环状图像94或者框状图像101的大小变化的结构。
[0087]并且，在本实施方式中，也可以是作为画面效果，利用渐变图像的结构。S卩，如图11所示，显示控制部74使从显示画面26的外边缘侧到中央侧变暗的渐变图像102显示到显示画面26上，并且使渐变图像102中的明暗的变化程度缓缓地变化。即，通过渐变图像102识别为仿佛在左右侧有壁，并且仅以决定出的变化量使明暗的变化程度缓缓地变缓。由此，使使用者产生上述壁向近前侧逼近的错觉，从而将使用者引导成对眼，使使用者的辐合角放大。根据这样的结构，通过使用渐变图像102，能够有效地引导使用者的辐合角。
[0088]而且进一步，在本实施方式中，是使用者的辐合角在画面效果显示前的默认的状态下与无限远匹配，并以此为基准进行辐合角的引导的结构，但也可以是检测使用者的辐合角，并以此为基准进行辐合角的引导的结构。具体而言，头戴型显示装置1还具备检测使用者的各眼球的视线的视线检测传感器(例如红外线方式)，CPU67也作为基于视线检测传感器的检测结果来检测使用者的辐合角的辐合角检测部发挥作用。另外，显示控制部74基于辐合角检测部的检测结果，并以此为基准，求出与检测出的上述距离匹配所需要的辐合角的调整量，基于该调整量来决定画面效果的变化量。而且，为仅以决定出的变化量，来改变上述图像的形态的结构。此外，在需要缩小辐合角的引导的情况下，以相反的顺序((c)、(b)、(a)的顺序)执行图示的画面迁移。
[0089]另外，在本实施方式中，也可以如图12所示，是在显示画面效果时，一同显示表示使用者的辐合角的指示符103的结构。根据这样的结构，通过使用者视觉确认指示符103，从而能够确认自身的辐合角。
[0090]并且，在本实施方式中，是基于标识器MK或真实物体A的特征位置来识别真实物体A的结构，但在真实物体A是标牌、广告牌等显示文字列的显示物的情况下，也可以是识别显示的文字列来识别真实物体A的结构。
[0091]而且进一步，在本实施方式中，是在启动AR应用之前(指示AR图像G的显示之前)，使利用于画面效果的图像(多个图标81、远近向导82以及目标83)显示的结构，但也可以是在启动了 AR应用之后，使这些图像显示，使画面效果显示的结构。
[0092]另外，在本实施方式中，是先于AR图像G的显示，在显示AR图像G之前显示画面效果的结构，但也可以是在显示了 AR图像G之后显示画面效果的结构。
[0093]并且，在本实施方式中，是将多个图标81显示到显示画面26上的结构，但只要是将用于调出各应用的图像对象显示到显示画面26上的结构，则并不限于此。例如，也可以是作为该图像对象，将表示各应用的菜单、缩小化的应用画面显示到显示画面26上的结构。
[0094]另外，也可以是代替用于调出各应用的多个图像对象，将用于调出各文件、各文件夹的多个图像对象(例如图标81、快捷键等)显示到显示画面26上的结构，也可以是代替用于调出各应用的多个图像对象，将用于进行各用户操作的图像对象(例如单选按钮、选择按钮、软键盘等)显示到显示画面26上的结构。
[0095]而且进一步，在本实施方式中，也可以是头戴型显示装置1具有图外的控制器，且在该控制器上安装图像解析部72、显示控制部74、显示状态控制部75以及声音处理部76的一部分或者全部的结构。在这样的情况下，该控制器可以是通过电线等，与控制部34或显示部30等(显示部30、外界用照相机17、传感器部31、右耳机18以及左耳机19)有线连接的结构，也可以是通过无线LAN、红外线通信、Bluetooth (注册商标:蓝牙)等,与控制部34或显示部30等无线连接的结构。另外，也可以通过个人计算机(PC)、携带信息终端(PDA、移动电话、手表型移动终端、智能手机)等来实现该控制器的功能。
[0096]另外，在本实施方式中，作为显示装置例示有双眼型的头戴型显示装置1(光学透射式头戴型显示装置)，但本发明例如也能够应用于单眼型等其他的形式的头戴型显示装置。另外，在上述实施方式中，例示有覆盖眼睛的前方的眼镜型的头戴型显示装置1，但并不限于此，也能够应用于不完全覆盖眼睛的前方的类型(覆盖眼睛的前方的一部分的类型)的头戴型显示装置。并且，本发明并不限于头戴型显示装置，也能够应用于抬头显示器等其他的显示装置。
[0097]并且，在本实施方式中，图像光输出部是具备背光灯控制部(右背光灯控制部51以及左背光灯控制部61)、背光灯(右背光灯52以及左背光灯62)、LCD控制部(右LCD控制部53以及左IXD控制部63)、以及IXD (右IXD54以及左IXD64)的结构，但该方式仅仅是一个例子。图像光输出部也可以与这些构成部一起、或者代替这些构成部，具备用于实现其他的方式的构成部。
[0098]例如，图像光输出部也可以为具备有机EL(有机电致发光，OrganicElectro-Luminescence)的显示器、以及有机EL控制部的结构。另外,例如，图像光输出部也可以是代替IXD,具备LCOS (Liquid crystal on silicon:液晶附娃,LCoS是注册商标)、数字微镜器件等的结构。
[0099]而且进一步，在本实施方式中，对所谓的虚像投影型的头戴型显示装置1(头戴式显示器)应用了本发明，但也能够对例如激光视网膜投影型(所谓的视网膜扫描式)的头戴型显示装置应用本发明。
[0100]另外，在本实施方式中，图像光输出部是具备投影光学系统(右投影光学系统55以及左投影光学系统65)，投射从LCD射出的图像光的结构，但图像光输出部也可以为代替投影光学系统，具备例如由MEMS反射镜构成的扫描光学系统，并且具备对扫描光学系统射出信号光的信号光调制部(信号光形成部)的结构。在该情况下，将由信号光调制部形成并射出的信号光入射至作为扫描部的扫描光学系统(MEMS反射镜)。扫描光学系统将信号光作为扫描光朝向具有半透半反镜层的导光体射出，通过在半透半反镜层的面上使扫描光扫描，来形成由图像光形成的虚像。使用者用眼睛捕捉该虚像从而能够识别图像。
[0101]并且，在本实施方式中，是对头戴型显示装置1应用本发明的结构，但也可以对头戴型显示装置1与外部设备或外部服务器经由网络连接的显示系统应用本发明。在这样的情况下，为将图像解析部72、显示控制部74、显示状态控制部75以及声音处理部76的一部分或者全部安装到外部设备或外部服务器一侧的结构。
[0102]符号说明
[0103]1…头戴型显示装置；22…虚像；26…显示画面;30…显示部;41…距离传感器；72…图像解析部;74…显不控制部;81…图标;82…远近向导;91…第一向导线;94…环状图像；A…真实物体；G-AR图像
【权利要求】
1.一种显示装置，其特征在于， 是使使用者将显示画面作为虚像视觉确认，并且以与所述使用者的辐合角相匹配的焦距使视觉确认该显示画面的透射式的显示装置，具备: 物体识别部，其识别所述使用者的视野内的真实物体； 距离检测部，其检测从所述使用者到所述真实物体的距离； 显示控制部，其使配置有针对所述真实物体的增强现实图像的所述显示画面显示；以及 显示部，其显示所述显示画面， 其中，所述显示控制部使以成为与检测出的所述距离相匹配的辐合角的方式引导所述使用者的视线的图像显示到所述显示画面上。
2.根据权利要求1所述的显示装置，其特征在于， 所述显示控制部使作为用于调出各应用的图像对象的、使用透视图法被转换为向内的远近图像的多个图像对象显示到所述显示画面上，并且作为所述图像，使所述多个图像对象的向内的倾斜程度缓缓地变化。
3.根据权利要求2所述的显示装置，其特征在于， 所述多个图像对象是图标、菜单以及缩小化的应用画面中的任意一个。
4.根据权利要求1?3中任意一项所述的显示装置，其特征在于， 所述显示控制部使在周方向上并列地配置从所述显示画面的外边缘侧向中央侧延伸的多个向导线的向导显示到所述显示画面上，并且作为所述图像，使所述向导中的所述向导线的所述周方向的间距缓缓地变化。
5.根据权利要求1?4中任意一项所述的显示装置，其特征在于， 所述显示控制部使包围所述显示画面中央的框状图像以及包围所述显示画面中央的环状图像中的任意一方的图像显示到所述显示画面上，并且作为所述图像，使所述一方的图像的大小缓缓地变化。
6.根据权利要求1?4中任意一项所述的显示装置，其特征在于， 所述显示控制部使以所述真实物体为中心的框状图像以及以所述真实物体为中心的环状图像的任意一方的图像显示到所述显示画面上，并且作为所述图像，使所述一方的图像的大小缓缓地变化。
7.根据权利要求1?6中任意一项所述的显示装置，其特征在于， 所述显示控制部使随着从所述显示画面的外边缘侧到中央侧而逐渐变暗的渐变图像显示到所述显示画面上，并且作为所述图像，使所述渐变图像中的明暗的变化程度缓缓地变化。
8.根据权利要求1?7中任意一项所述的显示装置，其特征在于， 还具备速度检测部，该速度检测部检测所述使用者相对于所述真实物体的相对的移动速度， 所述显示控制部基于所述速度检测部的检测结果来调整所述图像。
9.根据权利要求1?8中任意一项所述的显示装置，其特征在于， 所述显示控制部使表示所述使用者的辐合角的指示符显示到所述显示画面上。
10.根据权利要求1?9中任意一项所述的显示装置，其特征在于， 所述显示部具有: 图像光输出部，其输出图像光；以及 导光部，其将输出的所述图像光导入所述使用者的眼睛， 所述导光部使外光透过，并使该外光与所述图像光一起入射至所述使用者的眼睛。
11.一种头戴型显示装置，其特征在于， 是佩戴在使用者的头部并且使使用者将显示画面作为虚像视觉确认，并且以与所述使用者的辐合角相匹配的焦距使视觉确认该显示画面的透射式的头戴型显示装置，具备:物体识别部，其识别所述使用者的视野内的真实物体； 距离检测部，其检测从所述使用者到所述真实物体的距离； 显示控制部，其使配置有针对所述真实物体的增强现实图像的所述显示画面显示；以及 显示部，其显示所述显示画面， 其中，所述显示控制部使以成为与检测出的所述距离相匹配的辐合角的方式引导所述使用者的视线的图像显示到所述显示画面上。
12.—种显示系统，其特征在于， 是使使用者将显示画面作为虚像视觉确认，并且以与所述使用者的辐合角相匹配的焦距使视觉确认该显示画面的透射式的显示系统，具备: 物体识别部，其识别所述使用者的视野内的真实物体； 距离检测部，其检测从所述使用者到所述真实物体的距离； 显示控制部，其使配置有针对所述真实物体的增强现实图像的显示画面显示；以及 显示部，其显示所述显示画面， 其中，所述显示控制部使以成为与检测出的所述距离相匹配的辐合角的方式引导所述使用者的视线的图像显示到所述显示画面上。
13.—种显示装置的控制方法，其特征在于， 是使使用者将显示画面作为虚像视觉确认，并且以与所述使用者的辐合角相匹配的焦距使视觉确认该显示画面的透射式的显示装置的控制方法，执行: 识别所述使用者的视野内的真实物体的物体识别步骤； 检测从所述使用者到所述真实物体的距离的距离检测步骤； 使配置有针对所述真实物体的增强现实图像的显示画面显示的显示控制步骤；以及 显示所述显示画面的显示步骤， 其中，在所述显示控制步骤中，使以成为与检测出的所述距离相匹配的辐合角的方式弓I导所述使用者的视线的图像显示到所述显示画面上。
【文档编号】G09G3/00GK104345456SQ201410374335
【公开日】2015年2月11日 申请日期:2014年7月31日 优先权日:2013年8月2日
【发明者】小林伸一 申请人:精工爱普生株式会社