各点为止的深度(距离)的深度传感器。此外，深度传感器作为“距离获取部”发挥作用。
[0154]在图4的步骤S106中，偏移检测部144利用相机61获取利用者的视野方向的外景图像。进而，偏移检测部144使用深度传感器获取利用者与利用者的视野方向的各点之间的深度。
[0155]在步骤S108中，偏移检测部144使用由相机61获取的外景图像和由深度传感器获取的深度来求取注视点坐标(X2，Y2，Z2)。具体而言，偏移检测部144可以使用外景画像内的指尖的坐标(x4，y4)按以下的方式求取注视点坐标(X2，Y2，Z2)。
[0156]■ X2 = x4
[0157]■ Y2 = y4
[0158]U 22=由深度传感器获取的深度(距离)
[0159]此外，在上述的说明中，例举了深度传感器作为距离获取部的一个例子，作为距离获取部的功能也可以利用超声波传感器、红外线传感器等其它传感器来代替。
[0160]这样，根据变形3，偏移检测部144在外景图像获取部(相机61)仅可获取I张外景图像的情况下，可以通过一并使用由距离获取部(深度传感器)获取的到指示(利用者的指尖)为止的距离(深度)，来求取注视点坐标(X2，Y2，Z2)。
[0161]B.变形例:
[0162]在上述实施方式中，可以用软件代替由硬件实现的构成的一部分，相反地，也可以用硬件代替由软件实现的构成的一部分。此外，也可以为以下的变形。
[0163]■变形例1:
[0164]在上述实施方式中，对HMD的构成进行了例示。然而，HMD的构成在不脱离本发明的主旨的范围内可以任意地选定，例如，可以进行各构成部的增加/删除/变更等。
[0165]上述实施方式中的对于控制部与图像显示部的构成要素的分配只是一个例子，可以采用各种方式。例如，也可以采用以下的方式。
[0166](i)在控制部搭载CPU和/或存储器等的处理功能，在图像显示部仅搭载显示功能的方式
[0167](ii)向控制部与图像显示部双方搭载CPU和/或存储器等的处理功能的方式
[0168](iii)将控制部与图像显示部一体化的方式(例如，在图像显示部包含控制部而作为眼镜型的可穿戴式计算机发挥作用的方式)
[0169](iv)使用智能手机和/或便携式游戏机代替控制部的方式
[0170](V)利用经由无线LAN、红外线通信和/或Bluetooth等无线信号传输路径的连接将控制部与图像显示部进行连接，而废弃连接部(软线)的方式。此外，在上述情况下，也可以利用无线方式实施针对控制部或者图像显示部的供电。
[0171]例如，在上述实施方式中例示的控制部、图像显示部的构成可以任意地进行变更。具体而言，例如，控制部的发送部(Tx)以及图像显示部的接收部(Rx)也可以都具备可双向通信的功能而作为收发部发挥作用。例如，也可以省略控制部所具备的操作用接口(各种键和/或触控板等)的一部分。例如，控制部也可以具备操作用棒等其它操作用接口。例如，作为可以将键盘和/或鼠标等器件与控制部连接的构成，也可以为从键盘和/或鼠标接受输入的构成。例如，使用二次电池作为电源，但电源不限于二次电池，可以使用各种电池。例如，也可以使用一次电池和/或燃料电池、太阳能电池、热电池等。
[0172]图10是示出变形例中的HMD的外观的构成的说明图。图10的⑷的画像显示部20x具备右光学像显示部26x和左光学像显示部28x。它们比上述实施方式的光学部件形成得小，分别配置于HMD被佩戴时的利用者的左右眼的斜上方。图10的(B)的图像显示部20y具备右光学像显示部26y和左光学像显示部28y。它们比上述实施方式的光学部件形成得小，分别配置于HMD被佩戴时的利用者的左右眼的斜下方。这样，光学像显示部只要配置于利用者的眼的附近即可。形成光学像显示部的光学部件的大小是任意的，可以是光学像显示部仅覆盖利用者的眼的一部分的方式，换言之，可以是光学像显示部不完全覆盖利用者的眼的方式。
[0173]例如，控制部所具备的各处理部(例如图像处理部、显示控制部、增强现实感处理部等)也可以使用为实现该功能而设计的ASIC(Applicat1n Specific IntegratedCircuit:专用集成电路)而构成。
[0174]例如，HMD是双眼型的透射型HMD，但也可以是单眼型HMD。例如，可以构成为在利用者佩戴着HMD的状态下遮挡外景的透射的非透射型HMD，也可以构成为在非透射型HMD上搭载了相机的视频透视型。例如，对于耳机而言，可以采用耳挂型、头戴型，也可以省略。
[0175]例如，也可以采用通常的平面型显示器装置(液晶显示器装置、等离子显示器装置、有机EL显示器装置等)，来取代如眼镜那样佩戴的图像显示部。该情况下，控制部与图像显示部之间的连接也可以为有线、无线中的任意一种。这样，可以将控制部用作通常的平面型显示器装置的遥控器。例如，也可以采用如帽子那样佩戴的图像显示部、内置于头盔等身体防护具的图像显示部之类的其他方式的图像显示部，来取代如眼镜那样佩戴的图像显示部。例如，也可以构成为搭载于汽车、飞机等车辆或者其他交通工具的平视显示器(HUD，Head-Up Display)。
[0176]例如，图像光生成部可以与上述的构成部(背光源、背光源控制部、LCD、LCD控制部)一起具备用于实现其它方式的构成部，或者，可以替代上述的构成部而具备用于实现其它方式的构成部。例如，图像光生成部可以具备有机EL(有机电致发光，OrganicElectro-Luminescence)的显示器和有机EL控制部。例如，图像生成部可以具备数字微镜器件等来取代LCD。例如，也可以将本发明应用于激光视网膜投影型的头部佩戴型显示装置。
[0177]■变形例2:
[0178]在上述实施方式中，示出了增强现实感处理和偏移校正处理的一个例子。然而，上述实施方式中所示出的处理的次序只是一个例子，可以进行各种变形。例如，可以省略一部分的步骤，还可以增加更进一步的其它步骤。也可以变更所执行的步骤的顺序。
[0179]例如，可以省略偏移校正处理(图4)的步骤S104。尤其是，如变形2那样，在利用由任意的应用程序形成的任意的显示作为记号的情况下，由于利用者大多数情况下清楚“自己应指的位置”，因此大多情况下不需要步骤S104的引导。
[0180]例如，也可以省略步骤SllO?S114以及步骤S150?S154。在此情况下，在步骤S116和步骤S156中，增强现实感处理部可以使用步骤S102的标准坐标(XI，Yl, Zl)与步骤S108中求得的注视点坐标(X2，Y2，Z2)的各值的差来求取右眼用校正量和左眼用校正量。
[0181]例如，在增强现实感处理中，形成于利用者的眼前的虚像中可以仅包含虚拟物体，也可以包含虚拟物体以外的其它信息(例如，菜单栏和/或钟表等)。
[0182]■变形例3:
[0183]本发明不局限于上述的实施方式和/或实施例、变形例，在不脱离其主旨的范围内可以以各种构成来实现。例如，关于与
【发明内容】
一栏记载的各方式中的技术特征对应的实施方式、实施例、变形例中的技术特征，为了解决上述的问题的一部分或者全部、或者为了实现上述的效果的一部分或者全部，可以适当地进行替换和/或组合。另外，如果上述技术特征在本说明书中未作为必须的特征进行说明，则可以适当地删除。
【主权项】
1.一种头部佩戴型显示装置，其能使利用者对虚像和外景进行视觉识别，具备: 使所述利用者对所述虚像进行视觉识别的图像显示部； 偏移检测部，其使得用于使所述利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的所述虚像形成于所述图像显示部，求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标，对所述标准坐标与所述注视点坐标之间的偏移进行检测；以及 增强现实感处理部，其使得包含虚拟物体的所述虚像形成于所述图像显示部，该虚拟物体用于针对实际存在于现实世界的实际物体显示且使用检测出的所述偏移而配置。2.根据权利要求1所述的头部佩戴型显示装置，其中， 所述偏移检测部求取:连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述标准坐标的标准向量与连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述注视点坐标的注视点向量之间的角度差，作为所述标准坐标与所述注视点坐标之间的偏移。3.根据权利要求2所述的头部佩戴型显示装置，其中， 所述角度差包含滚转角的角度差、俯仰角的角度差以及偏航角的角度差。4.根据权利要求1至3中任意一项所述的头部佩戴型显示装置，其中， 还具备:获取与所述利用者的左右眼对应的至少2张外景图像的外景图像获取部， 所述偏移检测部引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述至少2张外景图像内的所述指示来求取所述注视点坐标。5.根据权利要求1至3中任意一项所述的头部佩戴型显示装置，其中， 还具备: 获取所述利用者的视野方向的外景图像的外景图像获取部；以及 获取到任意的目标物为止的距离的距离获取部， 所述偏移检测部引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述外景图像内的所述指示和由所述距离获取部获取的到所述目标物为止的距离，来求取所述注视点坐标。6.根据权利要求1至5中任意一项所述的头部佩戴型显示装置，其中， 所述偏移检测部针对具有不同的多个标准坐标的不同的多个记号反复执行:使所述利用者在所述标准坐标上对所述记号进行视觉识别、求取所述注视点坐标、检测所述标准坐标与所述注视点坐标之间的偏移的一系列的处理， 所述增强现实感处理部在所述虚拟物体的配置中，使用针对不同的多个标准坐标分别检测出的多个偏移。7.根据权利要求6所述的头部佩戴型显示装置，其中， 所述偏移检测部将利用所述头部佩戴型显示装置内的任意的应用程序形成的任意的显示用作所述记号，来执行所述一系列的处理。8.根据权利要求1至5中任意一项所述的头部佩戴型显示装置，其中， 所述偏移检测部通过对所述利用者用右眼进行视觉识别的所述虚像与所述利用者用左眼进行视觉识别的所述虚像之间赋予视差，来使所述利用者在所述标准坐标上对所述记号进行视觉识别。9.一种控制头部佩戴型显示装置的方法，其包括: 形成用于使利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的虚像的步骤； 求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标的步骤； 检测所述标准坐标与所述注视点坐标之间的偏移的步骤；以及形成包含虚拟物体的虚像的步骤，该虚拟物体用于针对实际存在于现实世界的实际物体显示且使用检测出的所述偏移而配置。10.一种计算机程序，其用于使计算机实现如下功能: 形成用于使利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的虚像的功能； 求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标的功會K ; 检测所述标准坐标与所述注视点坐标之间的偏移的功能；以及形成包含虚拟物体的虚像的功能，该虚拟物体用于针对实际存在于现实世界的实际物体显示且使用检测出的所述偏移而配置。
【专利摘要】本发明提供头部佩戴型显示装置、控制其的方法及计算机程序。能实现考虑了眼的个人差异的增强现实感处理。利用者能够对虚像和外景进行视觉识别的头部佩戴型显示装置具备：使利用者对虚像进行视觉识别的图像显示部；偏移检测部，使得用于使利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的虚像形成于图像显示部，求取表示利用者注视记号时的注视点的三维空间上的注视点坐标，对标准坐标与注视点坐标之间的偏移进行检测；以及增强现实感处理部，使得包含用于针对实际存在于现实世界的实际物体显示的、使用检测出的偏移而配置的虚拟物体的虚像形成于图像显示部。
【IPC分类】G02B27/01
【公开号】CN105607255
【申请号】CN201510783106
【发明人】矢岛健郎
【申请人】精工爱普生株式会社
【公开日】2016年5月25日
【申请日】2015年11月16日
【公告号】US20160140773