头部佩戴型显示装置、控制其的方法及计算机程序的制作方法
【技术领域】
[0001]本发明涉及头部佩戴型显示装置。
【背景技术】
[0002]公知有使用计算机对实际存在于现实世界的物体、即实际物体附加提示信息的被称为增强现实感(AR，Augmented Reality，扩展现实)的技术。在增强现实感中，也将附加性地显示于实际物体的信息称为“虚拟物体”。增强现实感的功能搭载于例如头戴式显示器(以下，也称为“HMD”或者“头部佩戴型显示装置”。)。
[0003]HMD利用相机来拍摄外景，对拍摄所得的图像进行图像识别而生成或者获取虚拟物体。在佩戴着HMD的状态下利用者的视野不被遮挡的透过型HMD中，仅使利用者对包含虚拟物体的虚像进行视觉识别。利用者可以通过观察现实世界的实际物体与虚像所表示的虚拟物体这双方来体验增强现实感。
[0004]在透过型的HMD中实现增强现实感的情况下，为了降低带给利用者的视觉上的不协调感，优选地使利用者要视觉识别的实际物体的位置与利用者要视觉识别的虚拟物体的位置对准。“位置”包含与利用者相距的距离以及利用者的视野内的水平方向和铅垂方向的位置。于是，以往，使利用者的左右眼对包含向利用者的左右眼赋予视差的虚拟物体的虚像进行视觉识别，据此将实际物体的位置与虚拟物体的位置对准。
[0005]然而，人的眼是存在个人差异的。换言之，眼的位置、眼球的形状、眼中的与视觉相关的部位(例如，晶状体、视网膜，中央凹等)的位置等是因人而异的。因此，为了将实际物体的位置与虚拟物体的位置对准，使利用者的左右眼对包含向利用者的左右眼赋予视差的虚拟物体的虚像进行视觉识别，但即便如此，若利用者不同，则各利用者所视觉识别的虚拟物体的位置会产生偏移。专利文献I中记载了通过对摄像机所获取的患者的面部图像进行图像处理来非接触性地检测患者的视线方向的技术。
[0006](现有技术文献)
[0007](专利文献)
[0008]专利文献1:日本特开2005-100366号公报
[0009]专利文献2:日本特开2005-128901号公报
【发明内容】
[0010]为了降低在增强现实感处理中对利用者赋予的视觉上的不协调感，优选地，考虑眼的个人差异来确定虚拟物体的位置。关于这点，在专利文献1、2所记载的技术中，关于增强现实感处理中对眼的个人差异的考虑未作任何记载。
[0011]因此，可以实现考虑了眼的个人差异的增强现实感处理的头部佩戴型显示装置被人们所期望。
[0012](用于解决问题的措施)
[0013]本发明为了解决上述的问题的至少一部分而提出，可以实现为以下的方式。
[0014](I)根据本发明的一个方式，提供一种利用者可以对虚像和外景进行视觉识别的头部佩戴型显示装置。上述头部佩戴型显示装置具备:使所述利用者对所述虚像进行视觉识别的图像显示部；偏移检测部，使得用于使所述利用者在三维空间上的任意的标准坐标上对记号进行视觉识别的所述虚像形成于所述图像显示部，求取表示所述利用者注视所述记号时的注视点的所述三维空间上的注视点坐标，对所述标准坐标与所述注视点坐标之间的偏移进行检测；以及增强现实感处理部，使得包含用于针对实际存在于现实世界的实际物体显示的、使用检测出的所述偏移而配置的虚拟物体的所述虚像形成于所述图像显示部。
[0015]根据上述方式的头部佩戴型显示装置，偏移检测部可以检测形成在三维空间上的记号的标准坐标与表示利用者注视记号时的注视点的注视点坐标之间的偏移。上述“偏移”是标准的利用者注视记号时的注视点与头部佩戴型显示装置的实际的利用者注视记号时的注视点之间的偏移，是因实际的利用者的眼的个人差异而产生的偏移。另外，增强现实感处理部使用由偏移检测部检测出的标准坐标与注视点坐标之间的偏移(即，因实际的利用者的眼的个人差异而产生的偏移)，来配置用于针对实际物体显示的虚拟物体。结果，能够提供可实现考虑了眼的个人差异的增强现实感处理的头部佩戴型显示装置。
[0016](2)在上述方式的头部佩戴型显示装置中，所述偏移检测部也可以:求取连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述标准坐标的标准向量与连结发送至所述图像显示部的图像数据内的所述记号的坐标和所述注视点坐标的注视点向量之间的角度差，作为所述标准坐标与所述注视点坐标之间的偏移。
[0017]根据上述方式的头部佩戴型显示装置，偏移检测部可以将标准坐标与注视点坐标之间的偏移定义为:可等同视为连结标准的利用者的眼的中央凹与晶状体的中心的向量的“标准向量”与可等同视为连结实际的利用者的眼的中央凹与晶状体的中心的向量的“注视点向量”之间的角度差。
[0018](3)在上述方式的头部佩戴型显示装置中，所述角度差也可以包含滚转角的角度差、俯仰角的角度差以及偏航角的角度差。
[0019]根据上述方式的头部佩戴型显示装置，偏移检测部可以求取关于三维空间上的正交坐标系中的X轴、y轴、z轴的每一个的、标准向量与注视点向量的角度差。
[0020](4)在上述方式的头部佩戴型显示装置中，还可以具备获取与所述利用者的左右眼对应的至少2张外景图像的外景图像获取部，所述偏移检测部引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述至少2张外景图像内的所述指示，来求取所述注视点坐标。
[0021]根据上述方式的头部佩戴型显示装置，偏移检测部可以使用由头部佩戴型显示装置中较广泛地搭载的外景图像获取部(例如，立体相机)获取的至少2张外景图像，来求取注视点坐标。
[0022](5)在上述方式的头部佩戴型显示装置中，还具备获取所述利用者的视野方向的外景图像的外景图像获取部和获取到任意的目标物为止的距离的距离获取部，所述偏移检测部可以引导所述利用者指示所述记号，基于由所述外景图像获取部获取的所述外景图像内的所述指示和由所述距离获取部获取的到所述目标物为止的距离，来求取所述注视点坐标。
[0023]根据上述方式的头部佩戴型显示装置，偏移检测部在外景图像获取部仅可以获取I张外景图像的情况下，可以通过同时使用距离获取部所获取的到指示为止的距离来求取注视点坐标。
[0024](6)在上述方式的头部佩戴型显示装置中，所述偏移检测部针对具有不同的多个标准坐标的不同的多个记号反复执行:使所述利用者在所述标准坐标上对所述记号进行视觉识别、求取所述注视点坐标、检测所述标准坐标与所述注视点坐标之间的偏移的一系列的处理，所述增强现实感处理部在所述虚拟物体的配置中，也可以使用针对不同的多个标准坐标分别检测出的多个偏移。
[0025]根据上述方式的头部佩戴型显示装置，由于增强现实感处理部使用针对不同的多个标准坐标分别检测出的多个偏移来配置虚拟物体，因此可以提高在增强现实感处理中考虑的眼的个人差异的精度。
[0026](7)在上述方式的头部佩戴型显示装置中，所述偏移检测部也可以将利用所述头部佩戴型显示装置内的任意的应用程序形成的任意的显示用作所述记号，来执行所述一系列的处理。
[0027]根据上述方式的头部佩戴型显示装置，偏移检测部可以将利用头部佩戴型显示装置内的任意的应用程序形成的任意的显示用作记号，在任意的应用程序的背景中执行用于检测标准坐标与注视点坐标之间的偏移的一系列的处理。结果，可以减轻利用者的费事程度。
[0028](8)在上述方式的头部佩戴型显示装置中，所述偏移检测部也可以通过对所述利用者用右眼进行视觉识别的所述虚像与所述利用者用左眼进行视觉识别的所述虚像之间赋予视差来使所述利用者在所述标准坐标上对所述记号进行视觉识别。
[0029]根据上述方式的头部佩戴型显示装置，偏移检测部可以使用三角测量的原理简单地在图像显示部形成用于使得在标准坐标上对记号进行视觉识别的虚像。
[0030]上述的本发明的各方式所具有的多个结构要素并不是全部都是必须的，为了解决上述的问题的一部分或者全部、或者为了达成本说明书所记载的效果的一部分或者全部，可以适当地对所述多个结构要素的一部分的结构要素进行变更、删除、替换为新的结构要素、删除限定内容的一部分。另外，为了解决上述的问题的一部分或者全部、或者为了达成本说明书中记载的效果的一部分或者全部，也可以将上述的本发明的一个方式所含的技术的特征的一部分或者全部与上述的本发明的其它方式所含的技术的特征的一部分或者全部进行组合来作为本发明的独立的一个方式。
[0031]例如，本发明的一个方式可以实现为具备图像显示部、偏移检测部、增强现实处理部这3个要素中的一部分或者全部要素的装置。S卩，上述装置可以具有图像显示部，也可以不具有图像显示部。另外，上述装置可以具有偏移检测部，也可以不具有偏移检测部。另外，上述装置可以具有增强现实处理部，也可以不具有增强现实处理部。这样的装置可以实现为例如头部佩戴型显示装置，但也可以实现为头部佩戴型显示装置以外的其它的装置。上述的头部佩戴型显示装置的各方式的技术的特征的一部分或者全部都可以适用于上述装置。例如，作为本发明的一个方式的装置将实现考虑了眼的个人差异的增强现实处理为问题。但是，对于上述装置，除了上述以外还期望装置的小型化、利便性的提高、装置制造时的低成本化、节省资源化、制造的容易化等。
[0032]此外，本发明可以以各种方式来实现，例如，可以以头部佩戴型显示装置及头部佩戴型显示装置的控制方法、包含头部佩戴型显示装置的系统、用于实现上述的方法、装置、系统的功能的计算机程序、存储了上述计算机程序的存储媒介等方式来实现。
【附图说明】
[0033]图1是表示本发明的一个实施方式中的头部佩戴型显示装置的概略构成的说明图。
[0034]图2是功能性地示出HMD100的构成的框图。
[0035]图3是表示利用者所视觉识别的虚像的一例的说明图。
[0036]图4是表示偏移校正处理的次序的流程图。
[0037]图5是用于对偏移校正处理的步骤S102进行说明的图。
[0038]图6是用于对偏移校正处理的步骤S104以后的处理进行说明的图。
[0039]图7是用于对偏移校正处理的步骤S106进行说明的图。
[0040]图8是用于对偏移校正处理的步骤S116以后的处理进行说明的图。
[0041 ] 图9是用于对变形2进行说明的图。
[0042]图10是表示变形例中的HMD的外观构成的说明图。
[0043]【附图标记的说明】
[0044]10…控制部;11...确定键;12…点亮部;13…显示切换键;14…触控板;15…亮度切换键；16...方向键；17...菜单键；18…电源开关；20...图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显示部；28…左光学像显不部;30…耳机插头;32…右耳机;34…左耳机;40…连接部;42…右软线;44…左软线；46…连结部件；48…主体软线；51…发送部;52…发送部;53…接收部;54…接收部相机(外景图像获取部);66…9轴传感器；110…输入信息获取部；100…HMD(头部佩戴型显示装置)；120…存储部；122…距离信息；130…电源；132…无线通信部；140…CPU;142…增强现实感处理部；144…偏移检测部；160…图像处理部；170…声音处理部；180…接口 ；190…显示控制部；201…右背光源控制部；202…左背光源控制部；211…右IXD控制部；212…左IXD控制部；221…右背光源；222…左背光源；241…右IXD ;242…左IXD ;251…右投射光学系统；252…左投射光学系统；261…右导光板；262…左导光板；60…晶状体；70…中央凹;80…手;PCLK…时钟信号；VSync…垂直同步信号；HSync…水平同步信号；Data…图像数据；Datal…右眼用图像数据；Data2…左眼用图像数据；0A…外部设备；PO"个人计算机;SC…外景;VI…虚像;VR…视野;RE…右眼;LE…左眼;ER…端部;EL…端部；IM…认证画面；V0…虚拟物体;B1L…标准向量