头戴式显示装置、头戴式显示装置的控制方法、以及显示系统的制作方法
【专利摘要】本发明涉及一种头戴式显示装置、头戴式显示装置的控制方法以及显示系统，通过考虑与虚像的显示环境有关的各种条件来使虚拟对象融合于外景，从而缓解使用者的视觉上的不协调感的增强现实感。使用者能够视觉识别虚像和外景的头戴式显示装置具备：图像显示部，其使使用者视觉识别虚像；增强现实处理部，其使上述图像显示部形成虚像，所述虚像表示用于给使用者带来增强现实感的对象亦即虚拟对象、且是缓解了使用者的视觉上的不协调感的虚拟对象。
【专利说明】头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
【技术领域】
[0001 ] 本发明涉及头戴式显示装置。
【背景技术】
[0002]已知一种通过佩戴于观察者的头部来使用，来在观察者的视野区域形成虚像的头戴式显示装置(参照专利文献6)。该头戴式显示装置也被称为头戴式显示器(HMD:HeadMounted Display)，有在佩戴头戴式显示装置的状态下使用者的视野被遮挡的非透射式头戴式显示装置、和在佩戴头戴式显示装置的状态下使用者的视野未被遮挡的透射式头戴式显示装置。
[0003]另一方面，已知一种在现实环境中使用计算机来附加并提示信息的被称为增强现实感(AR, Augmented Reality)的技术。作为实现增强现实感的方法，已知基于图像识别的方法、和基于穿透方式的方法。在采用基于图像识别的方法的情况下，通过对例如利用WEB相机等拍摄的外景的图像进行图像识别，从而生成虚拟对象。在采用基于穿透方式的方法的情况下，使用例如利用GPS等获取的当前位置信息、和例如利用电子罗盘等获取的方位信息来生成虚拟对象。在非透射式的头戴式显示装置中，使外景的图像和如上述那样生成的虚拟对象重叠而成的图像被显示于液晶显示器。由此，使用者能够体验增强现实感。在透射式的头戴式显示装置中，只有如上述那样生成的虚拟对象被显示于液晶显示器。使用者通过视觉识别借助液晶显示器被显示为虚像的虚拟对象、和透过眼前的透镜看到的实际的外景双方，能够体验增强现实感。因此，在光学透射式的头戴式显示装置中，为了提供缓解了使用者的视觉上的不协调感后的增强现实感，需要对使用者实际看到的外景融合作为虚像显示的虚拟对象。
[0004]专利文献I中记载有为了使虚拟对象融合于外景，而使从使用者至外景所包含的实际对象的距离、和至虚拟对象的距离成为大致相同的距离的技术。在专利文献I中，求出使用者与实际对象之间的距离D，并根据距离D来决定实际对象的辐辏角0，并对实际对象的辐辏角Θ ±40的虚拟对象的辐辏角进行运算，来生成实现运算出的辐辏角的右眼用的图像数据、和左眼用的图像数据。专利文献2中记载有为了使虚拟对象融合于外景，而使虚拟对象的辐辏角可调节的技术。专利文献3中记载有在非透射式头戴式显示装置中为了提供缓解了使用者的视觉上的不协调后的增强现实感，根据预先测量出的拍摄参数来调整用于拍摄外景图像的相机的技术。
[0005]专利文献4以及专利文献5中记载有为了减少使虚拟对象融合于外景时的不协调感，而从由相机拍摄的使用者的视线方向的图像截取肤色等特定颜色区域，并遮蔽虚拟对象的技术。
[0006]专利文献1:日本专利第3717653号公报
[0007]专利文献2:日本特开平5 - 328408号公报
[0008]专利文献3:日本特开2008 - 227865号公报
[0009]专利文献4:日本特开2005 - 346468号公报
[0010]专利文献5:日本特开2003 - 296759号公报
[0011]专利文献6:日本特开2012 — 163637号公报
[0012]在头戴式显示装置中，为了以目标的辐辏角使虚拟对象的虚像进行立体显示，需要考虑例如液晶显示器的大小、显示在使用者的左右眼前的虚像间的距离、使用者的眼间距离之类的与虚像的显示环境有关的各种条件。然而，在专利文献I以及专利文献2所记载的技术中，存在没有对这一点进行充分的考虑这样的问题。另外，在专利文献3所记载的技术中，未将光学透射式的头戴式显示装置作为对象。因此，期望一种通过考虑与虚像的显示环境有关的各种条件来使虚拟对象融合于外景，从而能够提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置。
[0013]另外，在专利文献4以及专利文献5所记载的技术中，存在由于基于由相机拍摄的图像来加工虚拟对象，所以对于现实世界看到的、前后关系复杂的多个物体、色彩相似的物体，无法确保虚拟对象的加工的精度这样的问题。因此，期望一种通过更高精度地使虚拟对象融合于外景，能够提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置。
[0014]并且，仅作为以将虚拟对象加入现实空间的坐标系来使其被视觉识别方式进行显示的构成下，存在虚拟对象忽略实际物体地进行动作这样的问题。例如，如果现实空间中存在虚拟对象，则即使在虚拟对象与实际物体碰撞的情况下，虚拟对象也会穿过实际物体。另夕卜，即使从使用者看虚拟对象隐藏在实际物体的后面的情况下，也不能够识别虚拟对象。这样的现象给使用者带来不协调感，并成为显著有损真实感的原因。
[0015]如以上那样，期望一种能够提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置。
【发明内容】
[0016]本发明是为了解决上述的课题的至少一部分而完成的，能够作为以下的方式实现。
[0017](I)根据本发明的一方式，提供一种使用者能够视觉识别虚像和外景的头戴式显示装置。该头戴式显示装置具备:图像显示部，其使上述使用者视觉识别上述虚像；以及增强现实处理部，其使上述图像显示部形成表示用于给上述使用者带来增强现实感的对象亦即虚拟对象、且是缓解了上述使用者的视觉上的不协调感的上述虚拟对象的上述虚像。根据该方式的头戴式显示装置，图像显示部使使用者将缓解了使用者的视觉上的不协调感的虚拟对象作为虚像来视觉识别。因此，能够提供一种可提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置。
[0018](2)在上述方式的头戴式显示装置中，上述增强现实处理部可以通过使用将上述使用者的周围环境表现为三维空间内的虚拟的立体物的三维信息，来使上述虚拟对象与上述环境调和，从而缓解对上述虚拟对象的上述不协调感。根据该方式的头戴式显示装置，增强现实处理部使虚拟对象与周围环境调和。由此，图像显示部能够使使用者将缓解了使用者的视觉上的不协调感的虚拟对象作为虚像来视觉识别。另外，增强现实处理部使用三维信息来使虚拟对象与周围的环境调和。因此，与基于由相机拍摄的图像来使虚拟对象与周围环境调和的情况相比较，能够提闻调和的精度。
[0019](3)在上述方式的头戴式显示装置中，上述增强现实处理部也可以在上述三维信息内配置上述虚拟对象，并对上述虚拟对象和上述三维信息中的至少一方加入与上述环境对应的视觉效果后，对上述虚拟对象进行二维化，从而缓解对上述虚拟对象的上述不协调感。根据该方式的头戴式显示装置，增强现实处理部能够使用三维信息，对虚拟对象加入与周围环境对应的视觉效果。
[0020](4)在上述方式的头戴式显示装置中，与上述环境对应的视觉效果也可以至少包括以下的任意一个，即:上述虚拟对象中的成为上述三维信息内的上述立体物的背后的部分的修整；依照上述环境的上述虚拟对象的照明；和基于依照上述环境设定的上述三维信息内的上述立体物的反弹系数和摩擦系数中的至少一方的、上述虚拟对象的动作的调整。根据该方式的头戴式显示装置，增强现实处理部能够对虚拟对象，加入依照环境的修整、依照环境的照明、依照环境的动作的调整中的至少任意一个的视觉效果。
[0021](5)在上述方式的头戴式显示装置中还可以具备图像获取部，该图像获取部获取佩戴上述头戴式显示装置的状态下的上述使用者的视野方向的图像，上述增强现实处理部通过对由上述图像获取部获取的上述视野方向的图像进行图像识别，来推断上述环境。根据该方式的头戴式显示装置，增强现实处理部通过对使用者的视野方向的图像进行图像识别，能够自动地推断使用者的周围的环境。
[0022](6)在上述方式的头戴式显示装置中，上述增强现实处理部可以在对上述虚拟对象进行二维化时，考虑从上述使用者的眼睛至上述使用者的注视点之间的距离。根据该方式的头戴式显示装置，增强现实处理部在对虚拟对象进行二维化时考虑从使用者的眼睛至使用者的注视点之间的距离。因此，例如，对于从使用者的注视点偏离的位置的虚拟对象，也能够追加模糊效果。
[0023](7)在上述方式的头戴式显示装置中；上述增强现实处理部也可以通过生成表示上述虚拟对象的右眼用的右眼用图像数据、和左眼用的左眼用图像数据，来对上述虚拟对象加入用于使上述虚拟对象能够被立体观察的视觉效果来缓解对上述虚拟对象的上述不协调感，上述图像显示部使用上述右眼用图像数据和上述左眼用图像数据，来使上述使用者的左右眼视觉识别不同的上述虚像，该头戴式显示装置还具备像素视差角存储部，该像素视差角存储部存储基于同一上述右眼用图像数据和上述左眼用图像数据显示的上述虚像的第I辐辏角、与和基于左右错开的上述右眼用图像数据和上述左眼用图像数据显示的上述虚像的第2辐辏角的差，上述增强现实处理部使用存储在上述像素视差角存储部中的上述差，来生成用于使上述虚拟对象融合于上述外景的上述右眼用图像数据和上述左眼用图像数据。根据该方式的头戴式显示装置，存储在像素视差角存储部中的差是基于同一右眼用图像数据和左眼用图像数据显示的虚像的第I辐辏角、与基于左右错开的右眼用图像数据和左眼用图像数据显示的虚像的第2辐辏角的差。因此，存储在像素视差角存储部中的差可以说是通过左右错开的图像数据实现的视差角，且是考虑与虚像的显示环境有关的各种条件而决定的视差角。因此，增强现实处理部能够使用存储在像素视差角存储部中的差，并考虑与虚像的显示环境有关的各种条件，来生成用于使虚拟对象融合于外景的右眼用图像数据和左眼用图像数据。这样，由于增强现实处理部在图像数据的生成时，考虑与虚像的显示环境有关的各种条件来使虚拟对象融合于外景，所以能够实现可提供缓解了使用者的视觉上的不协调的增强现实的头戴式显示装置。
[0024](8)在上述方式的头戴式显示装置中，上述增强现实处理部也可以决定使上述使用者视觉识别上述虚拟对象的目标距离；根据决定的上述目标距离，计算上述目标距离的辐辏角亦即目标辐辏角；使用计算出的上述目标辐辏角和上述第I辐辏角，来计算上述目标距离的视差角亦即目标视差角；使用上述目标视差角、和存储在上述像素视差角存储部中的上述差，并根据表示上述虚拟对象的单一图像数据，来生成上述右眼用图像数据和上述左眼用图像数据。根据该方式的头戴式显示装置，增强现实处理部决定使使用者视觉识别虚拟对象的目标距离，并根据决定的目标距离来计算目标距离的辐辏角亦即目标辐辏角，使用计算出的目标辐辏角和第I辐辏角，来计算目标距离的视差角亦即目标视差角。增强现实处理部通过使用这样计算出的目标视差角、和存储在像素视差角存储部中的差，从而能够根据表示虚拟对象的单一图像数据来生成不同的右眼用图像数据和左眼用图像数据。
[0025](9)在上述方式的头戴式显示装置中，上述增强现实处理部也可以决定使上述使用者视觉识别上述虚拟对象的目标距离；基于决定的上述目标距离，在3D模型空间上设定用于获取2D投影图像的2个位置的虚拟相机；根据所决定的上述目标距离，来计算上述目标距离的辐辏角亦即目标辐辏角；使用计算出的上述目标辐辏角和上述第I辐辏角，来计算上述目标距离的视差角亦即目标视差角；使用上述目标视差角、和存储在上述像素视差角存储部中的上述差，对由一个上述虚拟相机拍摄的2D投影图像进行缩放来生成上述右眼用图像数据，并对由另一个上述虚拟相机所拍摄的2D投影图像进行缩放来生成上述左眼用图像数据。根据该方式的头戴式显示装置，增强现实处理部决定使使用者视觉识别虚拟对象的目标距离，并根据决定的目标距离来计算目标距离的辐辏角亦即目标辐辏角，使用计算出的目标辐辏角和第I辐辏角，来计算目标距离的视差角亦即目标视差角。增强现实处理部通过使用这样计算出的目标视差角、和存储在像素视差角存储部中的差，从而分别缩放由2个位置的虚拟相机拍摄的2D投影图像，来生成右眼用图像数据和左眼用图像数据。
[0026](10)在上述方式的头戴式显示装置中，还可以具备眼间距离存储部，该眼间距离存储部存储上述使用者的眼间距离，上述增强现实处理部在设定上述2个位置的虚拟相机时，基于上述决定的目标距离，在3D模型空间上配置虚拟的视点即虚拟视点，在与配置的上述虚拟视点相距眼间距离/ 2的位置处配置一个虚拟相机，在与配置的上述虚拟视点相距眼间距离/ 2的位置处配置另一个虚拟相机。根据该方式的头戴式显示装置，增强现实处理部在3D模型空间上设定虚拟相机时，首先，基于使使用者视觉识别虚拟对象的目标距离来配置虚拟视点。而且，增强现实处理部在与配置的虚拟视点相距眼间距离/ 2的位置处配置一个虚拟相机，在与配置的虚拟视点相距眼间距离/ 2的位置处配置另一个虚拟相机。其结果为，虚拟相机能够获取考虑了时使用者视觉识别虚拟对象的目标距离和使用者的眼间距离这双方的2D投影图像。
[0027](11)在上述方式的头戴式显示装置中，还可以具备瞳孔间距离测量部，该瞳孔间距离测量部测量上述使用者的瞳孔间距离，上述瞳孔间距离测量部的测量结果作为上述眼间距离被存储于上述眼间距离存储部。根据该方式的头戴式显示装置，由于按每一使用者分别测量瞳孔间距离来更新眼间距离存储部，所以能够使与使用者对应的瞳孔间距离存储于眼间距离存储部。
[0028](12)在上述方式的头戴式显示装置中，还可以具备物体检测部，该物体检测部检测现实空间上的实际物体的坐标位置以及形状，上述增强现实处理部通过配合上述实际物体的坐标位置以及形状来控制现实空间上的坐标位置已被设定的上述虚拟对象，从而缓解对上述虚拟对象的上述不协调感。根据该方式的头戴式显示装置，由于能够考虑实际物体的坐标位置、形状来使虚拟对象动作，所以能够消除如上述那样的现象，并能够提高真实感。即、在虚拟对象与实际物体碰撞这样的情况下,能够使虚拟对象宛如碰撞那样地动作，在从使用者来看虚拟对象被隐藏在实际物体的后面这样的情况下，能够使虚拟对象宛如隐藏在实际物体的后面那样地变化。
[0029](13)在上述方式的头戴式显示装置中；上述增强现实处理部也可以配合上述实际物体的坐标位置以及形状来控制上述虚拟对象的动作。根据该方式的头戴式显示装置，通过考虑实际物体的坐标位置、形状来使虚拟对象动作，由此能够在透射式的显示装置中，提供考虑了实际物体的内容。例如，能够提供基于虚拟对象的、考虑了实际物体的游戏、导航服务。
[0030](14)在上述方式的头戴式显示装置中；上述增强现实处理部也可以基于检测出的上述实际物体的坐标位置、和设定的上述虚拟对象的坐标位置，在从上述使用者来看上述虚拟对象位于上述实际物体的后方的情况下，以上述虚拟对象的与上述实际物体的重叠部分消失的方式使上述虚拟对象变化。
[0031](15)在上述的头戴式显示装置中，上述增强现实处理部也可以按在现实空间的坐标系中避开上述实际物体的方式使上述虚拟对象动作。
[0032](16)在上述方式的头戴式显示装置中，上述增强现实处理部也可以在现实空间的坐标系中，在移动的上述虚拟对象到达上述实际物体时，使上述虚拟对象宛如与上述实际物体碰撞那样地动作。
[0033](17)在上述方式的头戴式显示装置中，还可以具备视线检测部，该视线检测部检测上述使用者的视线，上述增强现实处理部基于检测出的上述视线，来使上述虚拟对象显示。根据该方式的头戴式显示装置，通过考虑使用者的视线来进行虚拟对象的显示，能够更高精度地进行虚拟对象的拟合。
[0034](18)在上述方式的头戴式显示装置在，还可以具备距离检测部，该距离检测部检测从上述使用者至上述实际物体的距离，上述增强现实处理部基于检测出的上述距离，来使上述虚拟对象显示。根据该方式的头戴式显示装置，通过考虑从使用者至实际物体的距离，来进行虚拟对象的显示，能够更高精度地进行虚拟对象的拟合。
[0035](19)在上述方式的头戴式显示装置中，上述图像显示部具有:图像光输出部，其输出上述图像的图像光；以及导光部，其将被输出的上述图像光引导至上述使用者的眼睛，上述导光部使外部光透过，并使该外部光与上述图像光一起入射至上述使用者的眼睛。根据该方式的头戴式显示装置，通过使用所谓的虚像投影型的透射式显示装置，能够更高精度地进行虚拟对象的拟合，并能够提高真实感。
[0036]上述的本发明的各方式所具有的多个构成要素并不是全部必须，为了解决上述的课题的一部分或者全部，或者，为了实现本说明书中所记载的效果的一部分或者全部，能够适当地对上述多个构成要素的一部分的构成要素进行变更、削除、与新的构成要素的交换、限定内容的一部分削除。另外，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，也能够将上述的本发明的一方式所包含的技术特征的一部分或者全部与上述的本发明的其它方式所包含的技术特征的一部分或者全部组合，来作为本发明的独立的一个方式。
[0037]例如，本发明的一方式能够作为具备增强现实处理部和图像显示部这2个要素中的一部分或者全部的要素的装置而实现。即、该装置可以具有增强现实处理部，也可以不具有增强现实处理部。另外，该装置可以具有图像显示部，也可以不具有图像显示部。这种装置能够作为例如头戴式显示装置而实现，但也可作为头戴式显示装置以外的其它装置实现。前述的头戴式显示装置的各方式的技术特征的一部分或者全部都能够应用于该装置。
[0038]此外，本发明能够以各种方式实现，例如能够以头戴式显示装置以及头戴式显示装置的控制方法、头部佩戴型显示系统、用于实现这些方法、装置或者系统的功能的计算机程序、记录有该计算机程序的记录介质等的方式实现。
【专利附图】
【附图说明】
[0039]图1是表示本发明的一个实施方式中的头戴式显示装置的简要结构的说明图。
[0040]图2是功能性表示头戴式显示器的构成的框图。
[0041]图3是表示被使用者视觉识别的虚像的一个例子的说明图。
[0042]图4是用于说明增强现实处理的程序的说明图。
[0043]图5是用于对说明眼间距离和像素视差角进行说明的说明图。
[0044]图6是表示AR处理部根据图像数据，生成右眼用图像数据和左眼用图像数据的情况的说明图。
[0045]图7是表示第2实施例中的增强现实处理的程序的流程图。
[0046]图8是用于说明第2实施例中的增强现实处理的详细的说明图。
[0047]图9是表示AR处理部对使用配置在虚拟视点的虚拟相机的2D投影图像，对通过投影所获得的图像进行缩放的情况的说明图。
[0048]图10是表示第3实施例中的增强现实处理的程序的流程图。
[0049]图11是功能性表示第2实施方式中的头戴式显示器的构成的框图。
[0050]图12是表示第2实施方式中的增强现实处理的程序的流程图。
[0051]图13是表示遮盖对象的一个例子的说明图。
[0052]图14是表示虚拟对象相对于遮盖对象的配置的一个例子的说明图。
[0053]图15是表示照明实施后的虚拟对象的情况的说明图。
[0054]图16是表示基于反弹系数和摩擦系数来调整虚拟对象的动作的情况的说明图。
[0055]图17是表示通过虚拟相机的2D投影获得的图像数据的说明图。
[0056]图18是表示在第2实施方式的增强现实处理中被使用者视觉识别的虚像的一个例子的说明图。
[0057]图19是对使用者能够视觉识别的虚像以及现实风景的一个例子进行说明的图。
[0058]图20是对头戴式显示装置的控制构成进行说明的框图。
[0059]图21是表示第3实施方式中的增强现实处理的程序的流程图。
[0060]图22是表示第3实施方式中的虚拟对象的动作控制的第I例的迁移图。
[0061]图23是表示第3实施方式中的虚拟对象的动作控制的第2例的迁移图。
[0062]图24是表示第3实施方式中的虚拟对象的动作控制的第3例的迁移图。
[0063]图25是表示变形例中的头戴式显示器的外观的构成的说明图。
【具体实施方式】
[0064]A.第I实施方式:
[0065]A-1.头戴式显示装置的构成:
[0066]图1是表示本发明的一个实施方式中的头戴式显示装置的简要结构的说明图。头戴式显示装置100是佩戴于头部的显示装置，也被称为头戴式显示器(Head MountedDisplay,HMD)0本实施方式的头戴式显示器100是使用者视觉识别虚像的同时也能够直接视觉识别外景的光学透射式头戴式显示装置。
[0067]头戴式显示器100具备在被佩戴于使用者的头部的状态下使使用者视觉识别虚像的图像显示部20、和控制图像显示部20的控制部(控制器)10。
[0068]图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61、和瞳孔间距离测量部62。右光学像显示部26以及左光学像显示部28分别被配置成在使用者佩戴图像显示部20时位于使用者的右以及左眼前。右光学像显示部26的一端和左光学像显示部28的一端在使用者佩戴图像显示部20时的与使用者的眉间对应的位置相互连接。
[0069]右保持部21是从右光学像显示部26的另一端亦即端部ER至使用者佩戴图像显示部20时的与使用者的侧头部对应的位置延伸设置的部件。同样地，左保持部23是从左光学像显示部28的另一端亦即端部EL至使用者佩戴图像显示部20时的与使用者的侧头部对应的位置延伸设置的部件。将右保持部21以及左保持部23制作成如眼镜的挂耳部分(眼镜腿)那样，以在使用者的头部保持图像显示部20。
[0070]右显示驱动部22被配置在右保持部21的内侧，换言之，在使用者佩戴图像显示部20时的与使用者的头部对置侧。另外，左显示驱动部24被配置在左保持部23的内侧。此夕卜，以下，统称右保持部21以及左保持部23并仅称为“保持部”，统称右显示驱动部22以及左显示驱动部24并仅称为“显示驱动部”，统称右光学像显示部26以及左光学像显示部28并仅称为“光学像显示部”。
[0071]显示驱动部包括液晶显示器(Liquid Crystal Display,以下称为“IXD”)241、242、投影光学系统251、252等(参照图2)。显示驱动部的构成的详细后述。作为光学部件的光学像显不部包括导光板261、262 (参照图2)和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部输出的图像光引导至使用者的眼睛。调光板是薄板状的光学元件，被配置成覆盖图像显示部20的表侧(与使用者的眼睛侧相反的一侧)。调光板保护导光板261、262，抑制导光板261、262的损伤、污垢的附着等。另外，通过调整调光板的透光率，来调整进入使用者的眼睛的外部光量从而能够调整虚像的视觉识别的难易。此外，调光板能够省略。
[0072]相机61被配置在使用者佩戴图像显示部20时的与使用者的眉间对应的位置。相机61拍摄图像显示部20的表侧方向，换言之，佩戴头戴式显示器100的状态下的使用者的视野方向的外景(外部的景色)，并获取外景图像。相机61是所谓的可见光相机，由相机61获取的外景图像是根据从物体放射的可见光来表示物体的形状的图像。本实施方式中的相机61是单眼相机，但也可以是立体相机。相机61作为“图像获取部”发挥作用。
[0073]瞳孔间距离测量部62测量使用者的瞳孔间距离。所谓瞳孔间距离是使用者的右眼RE的虹膜的中心与使用者的左眼LE的虹膜的中心之间的距离。瞳孔间距离测量部62如图1所示，被配置在图像显示部20的内面，由拍摄使用者的右眼RE以及左眼LE的图像的2个相机、和使用例如基于3角测量的方法来解析拍摄的图像，并计算左右眼的虹膜的中心间的距离的处理部构成。此外，瞳孔间距离测量部62也可以代替相机，而使用超声波、红外线来测量使用者的瞳孔间距离。另外，瞳孔间距离测量部62也能够组合多上述的方法来测量使用者的瞳孔间距离。
[0074]图像显示部20还具有用于使图像显示部20与控制部10连接的连接部40。连接部40包括与控制部10连接的主体线48、主体线48分支成2条的右线42以及左线44、和设置在分支点的连结部件46。右线42从右保持部21的延伸方向的前端部AP插入右保持部21的框体内，与右显示驱动部22连接。同样地，左线44从左保持部23的延伸方向的前端部AP插入左保持部23的框体内，与左显示驱动部24连接。连结部件46中设置有用于连接耳机插头30的插孔。从耳机插头30延伸出右耳机32以及左耳机34。
[0075]图像显示部20与控制部10经由连接部40进行各种信号的传送。主体线48中的与连结部件46相反侧的端部和控制部10分别设置有相互嵌合的连接器(图示省略)，通过主体线48的连接器与控制部10的连接器的嵌合或嵌合解除，来进行控制部10与图像显示部20的连接或断开。右线42、左线44、和主体线48能够采用例如，金属线缆、光纤。
[0076]控制部10是用于控制头戴式显示器100的装置。控制部10包括点灯部12、触摸板14、十字键16、和电源开关18。点灯部12利用其发光方式来通知头戴式显示器100的动作状态(例如，电源的接通/断开等)。作为点灯部12,例如能够使用LED (Light EmittingD1de)。触摸板14检测触摸板14的操作面上的接触操作，并输出与检测内容对应的信号。作为触摸板14，能够采用静电式、压力检测式、光学式这样的各种触摸板。十字键16检测针对与上下左右方向对应的键的按下操作，并输出与检测内容对应的信号。电源开关18通过检测开关的滑动操作，来切换头戴式显示器100的电源的状态。
[0077]图2是功能性表示头戴式显示器100的构成的框图。控制部10具备输入信息获取部110、存储部120、电源130、无线通信部132、GPS模块134、CPU140、接口 180、发送部(Tx)51以及52，各部通过未图示的总线相互连接。
[0078]输入信息获取部110获取例如与对触摸板14、十字键16、电源开关18等的操作输入对应的信号。存储部120由ROM、RAM、DRAM、硬盘等构成。存储部120包含眼间距离122、和像素视差角124。详细后述。电源130对头戴式显示器100的各部供给电力。作为电源130，例如能够使用二次电池。无线通信部132遵循无线LAN、蓝牙之类的规定的无线通信标准，来与其它设备之间进行无线通信。GPS模块134通过接收来自GPS卫星的信号，来检测自身的当前位置。
[0079]CPU140读出并执行储存在存储部120中的计算机程序，从而作为操作系统(OS)150、图像处理部160、声音处理部170、显示控制部190、AR处理部142发挥作用。AR处理部142以来自0S150、特定的应用的处理开始请求作为触发，来执行用于实现增强现实感的处理(以下，称为“增强现实处理”。)。详细后述。此外，AR处理部142相当于技术方案中的“增强现实处理部”。
[0080]图像处理部160基于经由接口 180、无线通信部132输入的内容(影像)来生成信号。而且，图像处理部160将生成的信号经由连接部40供给至图像显示部20。用于供给至图像显示部20的信号在模拟格式和数字格式的情况下不同。在模拟格式的情况下，图像处理部160生成及发送时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、和图像数据Data。具体而言，图像处理部160获取内容所包含的图像信号。关于获取到的图像信号，例如在动态图像的情况下，一般是由每I秒30张帧图像构成的模拟信号。图像处理部160根据获取到的图像信号，分离垂直同步信号VSync、水平同步信号HSync等同步信号，并根据它们的周期，利用PLL电路等生成时钟信号PCLK。图像处理部160使用A / D变换电路等将分离同步信号而得到的模拟图像信号变换为数字图像信号。图像处理部160将变换后的数字图像信号作为RGB数据的图像数据Data，按每I帧储存于存储部120内的DRAM。另一方面，在数字形式的情况下，图像处理部160生成及发送时钟信号PCLK、和图像数据Data。具体而言，在内容为数字格式的情况下，由于时钟信号PCLK与图像信号同步地被输出，所以不需要垂直同步信号VSync以及水平同步信号HSync的生成、和模拟图像信号的A / D变换。此外，图像处理部160也可以对储存在存储部120中的图像数据Data执行分辨率变换处理、亮度、彩度的调整之类的各种色调修正处理、梯形失真修正处理等图像处理。
[0081]图像处理部160将生成的时钟信号PCLK、垂直同步信号VSync，水平同步信号HSync、和储存在存储部120内的DRAM的图像数据Data经由发送部51、52分别发送。此外，还将经由发送部51发送的图像数据Data称为“右眼用图像数据Datal”，将经由发送部52发送的图像数据Data称为“左眼用图像数据Data2”。发送部51、52作为用于控制部10与图像显示部20之间的串行传送的收发器发挥作用。
[0082]显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190利用控制信号，来分别独立地控制右IXD控制部211对右IXD241的驱动开/关、右背光灯控制部201对右背光灯221的驱动开/关、左IXD控制部212对左IXD242的驱动开/关、左背光灯控制部202对左背光灯222的驱动开/关等，由此控制右显示驱动部22以及左显示驱动部24的各自的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光,或者仅使一方生成图像光，或者使双方都不生成图像光。另外，显示控制部190经由发送部51以及52分别发送针对右IXD控制部211和左IXD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201和左背光灯控制部202的控制信号。
[0083]声音处理部170获取内容所包含的声音信号，并放大获取的声音信号，来供给至与连结部件46连接的右耳机32内的未图示的扬声器以及左耳机34内的未图示的扬声器。此外，例如，在采用Dolby (注册商标)系统的情况下，进行针对声音信号的处理，从右耳机32以及左耳机34分别输出例如频率等被改变而得的不同声音。
[0084]接口 180是用于对控制部10连接成为内容的供给源的各种外部设备OA的接口。作为外部设备0A，例如有个人计算机PC、移动电话终端、游戏终端等。作为接口 180，例如能够使用USB接口、micro USB接口、存储卡用接口等。
[0085]图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显不部28的左导光板262、相机61、以及9轴传感器66。
[0086]9轴传感器66是检测加速度(3轴)、角速度(3轴)、地磁(3轴)的运动传感器。9轴传感器66被设置于图像显示部20，在图像显示部20被佩戴在使用者的头部时，作为检测使用者的头部的活动的活动检测部发挥作用。此处，所谓头部的活动，包括头部的速度、力口速度、角速度、方向、方向的变化。
[0087]右显示驱动部22包括接收部(Rx) 53、作为光源发挥作用的右背光灯(BL)控制部201以及右背光灯(BL)221、作为显示元件发挥作用的右IXD控制部211以及右IXD241、和右投影光学系统251。此外，将右背光灯控制部201、右IXD控制部211、右背光灯221、和右IXD241总称为“图像光生成部”。
[0088]接收部53作为用于控制部10与图像显示部20之间的串行传送的接收器发挥作用。右背光灯控制部201基于输入的控制信号来驱动右背光灯221。右背光灯221例如是LED、电致发光(EL)等发光体。右IXD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、和右眼用图像数据Datal，来驱动右LCD241。右IXD241是呈矩阵状地配置多个像素而成的透射式液晶面板。右IXD241通过驱动呈矩阵状配置的各像素位置的液晶，使透过右IXD241的光的透过率变化，从而将从右背光灯221照射的照明光调制为表示图像的有效的图像光。此外，在本实施方式中采用背光灯方式，但也可以使用前灯方式、反射方式来射出图像光。
[0089]右投影光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投影光学系统251输出的图像光沿着规定的光路反射并引导至使用者的右眼RE。光学像显示部只要使用图像光在使用者的眼前形成虚像，则能够使用任意的方式，例如，可以使用衍射光栅，也可以使用半透过反射膜。
[0090]左显示驱动部24具有与右显示驱动部22相同的构成。S卩、左显示驱动部24包括接收部(Rx) 54、作为光源发挥作用的左背光灯(BL)控制部202以及左背光灯(BL) 222、作为显示元件发挥作用的左IXD控制部212以及左IXD242、和左投影光学系统252。
[0091]图3是表示被使用者视觉识别的虚像的一个例子的说明图。图3 (A)例示出通常的显示处理中的使用者的视场VR。如上述那样操作，导入至头戴式显示器100的使用者的两眼的图像光在使用者的视网膜成像，从而使用者视觉识别虚像VI。在图3 (A)的例子中，虚像VI是头戴式显示器100的OS的等待接受画面。另外，使用者透过右光学像显示部26以及左光学像显示部28来视觉识别外景SC。这样，本实施方式的头戴式显示器100的使用者对于视场VR中的显示有虚像VI的部分，能够看见虚像V1、和虚像VI的背后的外景SC。另外，对于视场VR中的未显示虚像VI的部分，透过光学像显示部，能够直接看见外景SC。此外，在本说明书中，“头戴式显示器100显示图像”如上述那样，也包括使头戴式显示器100的使用者视觉识别虚像。
[0092]图3 (B)例示出增强现实处理中的使用者的视场VR。在增强现实处理中，头戴式显示器100的AR处理部142使图像显示部20形成表示用于增强使用者察觉的外景SC的虚拟对象、且是缓解了使用者的视觉上的不协调感的虚拟对象的虚像。具体而言，AR处理部142生成对虚拟对象加入能够缓解使用者的视觉上的不协调感的视觉效果的图像数据，并将生成的图像数据发送给图像显示部20。此外，“增强外景SC”是指对使用者看见的现实环境、即外景SC附加、削除、加强、或减弱信息。在第I实施方式的增强现实处理中，AR处理部142为了使虚拟对象融合于外景SC，而生成不同的右眼用图像数据Datal和左眼用图像数据Data2，从而加入用于使虚拟对象能够立体观察的视觉效果。所谓“使虚拟对象融合于外景”是指在使用者实际看见的外景SC中的、与使用者相距规定距离(以下，称为“目标距离”)的位置，显示给使用者带来宛如存在虚拟对象这样的感觉的虚像VI。在图3 (B)的例子中，以重叠于外景SC所包含的现实的道路上的方式将表示苹果的图像作为虚像VI显示。由此，使用者能够获得苹果落在宛如什么也没有的道路上的感觉。在图3 (B)的例子中，使用者的位置与使用者感觉“苹果落下”的位置之间的距离相当于目标距离。在图3 (B)的例子中，苹果相当于虚拟对象OB。
[0093]A - 2.增强现实处理(第I实施例):
[0094]AR处理部142通过以下的程序al?a3来执行增强现实处理。
[0095](al)决定视觉识别虚拟对象的目标距离。
[0096]( a2 )生成表示虚拟对象的图像数据。
[0097](a3)根据图像数据来生成右眼用图像数据Datal和左眼用图像数据Data2。
[0098]图4是用于说明增强现实处理的程序的说明图。在图像处理部160将同一右眼用图像数据Datal和左眼用图像数据Data2向图像显示部20供给的情况下，使用者在与使用者相距初始成像距离La的位置COl识别物体。将此时的辐辏角称为“初始辐辏角Ga”。在程序al中，AR处理部142为了能够显示具有远近感的虚拟对象0B，而决定使使用者视觉识别虚拟对象OB的目标距离Lb。AR处理部142能够例如利用以下的任意的方法来决定目标距离Lb。
[0099].对由相机61获取的使用者的视野方向的外景图像进行解析。
[0100].对使用者的当前位置坐标和头的活动进行解析。该情况下，使用者的当前位置坐标通过由GPS模块134检测出的控制部10的位置信息获取。使用者的头的活动通过由9轴传感器66检测出的活动信息获取。
[0101]在程序a2中，AR处理部142生成表示虚拟对象OB的图像数据。在第I实施例的增强现实处理中，AR处理部142从预先存储在存储部120内的多个图像数据获取与程序al的解析结果对应的图像数据。
[0102]在程序a3中，AR处理部142根据在程序a2生成的图像数据来生成右眼用图像数据Datal和左眼用图像数据Data2。此时，AR处理部142使用存储在存储部120中的像素视差角124。
[0103]图5是用于对眼间距离122和像素视差角124进行说明的说明图。在本实施方式中，对于眼间距离122，将光学像显示部26的中心与左光学像显示部28的中心之间的距离视为使用者的右眼RE与左眼LE之间的距离DL。因此，在眼间距离存储部122中，预先储存有基于头戴式显示器100的设计值的、右光学像显示部26的中心与左光学像显示部28的中心之间的距离(例如，65mm)。此外，也可以在眼间距离122中储存使用者的右眼RE与左眼LE之间的实际距离DL。详细在增强现实处理的第2实施例中进行说明。另外，眼间距离122也可以能够根据使用者的喜好进行调整。眼间距离存储部122相当于技术方案中的“眼间距离存储部”。
[0104]像素视差角124是通过左右错开I个像素(像素)的图像数据实现的视差角，以θρ?χ (° )表示。像素视差角具体而言是基于左右同一图像数据显示的虚像的辐辏角、与左右错开I个像素(pixel)的图像数据显示的虚像的辐辏角的差。Θ pix如以下那样求出，并被预先储存在像素视差角存储部124中。
[0105]?测量基于同一右眼用图像数据Datal和左眼用图像数据Data2来驱动右IXD241和左LCD242的情况下的初始辐辏角Θ a。
[0106].测量基于错开I个像素的右眼用图像数据Datal和左眼用图像数据Data2来驱动右IXD241和左IXD242的情况下的辐辏角Θ c。
[0107]?求出初始辐辏角Θ a与辐辏角Θ c的差(Θ c — Θ a)。此外，由于通常假定Θ c> Qa,所以此处,从福辏角Θ c减去初始福辏角Ga。
[0108]?由于需要每单眼的辐辏角的差，所以将初始辐辏角0a与辐辏角Θ c的差除以2。
[0109]即、能够表示为0pix=(0c — 0a) / 2。此外，初始辐辏角Θ a相当于技术方案中的“第I辐辏角”，辐辏角Θ c相当于技术方案中的“第2辐辏角”，像素视差角存储部124相当于技术方案中的“像素视差角存储部”。
[0110]返回到图4，继续增强现实处理的步骤的说明。在程序al中决定的目标距离Lb(使使用者视觉识别虚拟对象OB的距离)、此时的辐辏角0b、和眼间距离122 (DL / 2)能够使用三角函数由以下的式I表示。因此，AR处理部142将在程序al中决定的目标距离Lb和眼间距离122应用于式1，计算目标辐辏角0b。
[0111]tan ( Θ b / 2)=( DL / 2) / Lb
[0112]tan ( Θ b / 2) = DL / (2XLb)
[0113]Θ b / 2 = arctan {DL / (2XLb)}
[0114]θ b = 2 X arctan {DL / (2 X Lb) }...(I)
[0115]AR处理部142使用求出的目标辐辏角Θ b和初始辐辏角0a，来计算目标距离Lb(使使用者视觉识别虚拟对象OB的距离)的视差角亦即目标视差角ΘΧ。具体而言，AR处理部142对式2应用初始辐辏角0a和目标辐辏角0b的值，计算目标视差角ΘΧ。
[0116]θ X = ( Θ b — Θ a) / 2...(2)
[0117]在式2中，例如，在将设定位置设为无限远的情况下，θ X表示为θ X = — Qa /2。
[0118]AR处理部142使用求出的目标视差角θ x和像素视差角124，来加工程序a2的图像数据，生成右眼用图像数据Datal和左眼用图像数据Data2。具体而言，储存在像素视差角124中的Θ pix是通过左右错开I个像素的图像数据实现的视差角。因此，为了生成用于实现目标视差角ΘΧ的右眼用图像数据Datal，使原始的图像数据向左方向错开ΘΧ /θρ?χ像素即可。同样地，为了生成用于实现目标视差角ΘΧ的左眼用图像数据Data2，使原始的图像数据向右方向错开θχ / Θ Pix像素即可。
[0119]图6如上述那样，示出AR处理部142根据图像数据DT生成右眼用图像数据Datal和左眼用图像数据Data2的情况。
[0120]AR处理部142将如上述那样生成的右眼用图像数据Datal和左眼用图像数据Data2向图像处理部160发送。图像处理部160将接收到的右眼用图像数据Datal经由发送部51向图像显示部20发送。同样地，将接收到的左眼用图像数据Data2经由发送部52向图像显示部20发送。之后，执行图2所说明的显示处理。如图3 (B)所示，头戴式显示器100的使用者能够在视场VR视觉识别立体的虚拟对象OB。
[0121]此外，视力为1.0的人的分辨率能够由arctan (1.5mm / 5000mm)表示，约为
0.017°。因此，若将通过右眼用图像数据Datal以及左眼用图像数据Data2显示的虚像VI与外景SC的误差设计为0.017°以下，则能够显示与外景SC相匹配的实际大小的尺寸的虚像VI。
[0122]如上那样，根据第I实施例的增强现实处理，增强现实处理部(AR处理部142)在图像数据(右眼用图像数据Datal以及左眼用图像数据Data2)的生成时，考虑与虚像VI的显示环境有关的各种条件(右IXD241以及左IXD242的大小、在使用者的左右眼前显示的虚像VI间的距离)来使虚拟对象OB融合于外景SC，所以能够实现可提供缓解了使用者的视觉上的不协调感的增强现实感的头戴式显示装置(头戴式显示器100)。具体而言，存储在像素视差角存储部(像素视差角124)中的差(Θ pix)是基于同一右眼用图像数据Datal和左眼用图像数据Data2显示的虚像VI的第I辐辏角Θ a (初始辐辏角Θ a)、与基于左右错开I个像素的右眼用图像数据Datal和左眼用图像数据Data2显示的虚像的第2辐辏角Θ c的差。因此，存储在像素视差角存储部(像素视差角124)中的差(Θ pix)可以说是通过左右错开I个像素的图像数据实现的视差角，是考虑与虚像VI的显示环境有关的各种条件，SP，右IXD241以及左IXD242的大小、在使用者的左右眼前显示的虚像VI间的距离这样的条件决定的视差角。因此，增强现实处理部(AR处理部142)能够使用存储在像素视差角存储部(像素视差角存储部124)中的像素视差角，并考虑与虚像VI的显示环境有关的各种条件，来生成用于使虚拟对象OB融合于外景SC的右眼用图像数据Datal和左眼用图像数据 Data2。
[0123]并且，根据第I实施例的增强现实处理，增强现实处理部(AR处理部142)决定使使用者视觉识别虚拟对象OB的目标距离Lb，并根据决定出的目标距离Lb来计算目标距离Lb的辐辏角亦即目标辐辏角0b，使用计算出的目标辐辏角0b和第I辐辏角0a (初始辐辏角0a)，来计算目标距离Lb的视差角亦即目标视差角ΘΧ。增强现实处理部(AR处理部142)通过使用这样计算出的目标视差角ΘΧ、和存储在像素视差角存储部(像素视差角124)中的差(0pix)，能够根据表示虚拟对象OB的单一图像数据DT (图6)，生成不同的右眼用图像数据Datal和左眼用图像数据Data2。
[0124]A- 3.增强现实处理(第2实施例):
[0125]在第2实施例的增强现实处理中，AR处理部142根据3D (Three Dimens1ns)模型空间内的虚拟的立体物来生成表示与使用者的活动对应的虚拟对象的图像数据，并根据生成的图像数据来生成右眼用图像数据Datal和左眼用图像数据Data2。与第I实施例的增强现实处理的不同在于代替程序a2、a3，执行图7的程序这一点。此外，程序al与I实施例相同，故省略说明。
[0126]图7是表示第2实施例中的增强现实处理的程序的流程图。AR处理部142进行眼间距离122的初始设定(步骤S102)。具体而言，AR处理部142获取由瞳孔间距离测量部62 (图2)测量出的使用者的瞳孔间距离，并将获取的距离存储于眼间距离存储部122。这样，根据步骤S102，能够使与使用者对应的瞳孔间距离存储于眼间距离存储部122。
[0127]图8是用于说明第2实施例中的增强现实处理的详细的说明图。在图7的步骤S104中，AR处理部142在3D模型空间上的规定位置设置虚拟视点。具体而言，AR处理部142在与距离3D模型空间上的虚拟对象OBl相距在程序al中求出的距离Lb的位置上设定虚拟视点IV(图8)。虚拟视点IV是与使用者的太阳穴相当的位置，虚拟视点IV的方向(视点方向VD)朝向虚拟对象OBl方向。此外，虚拟视点IV的位置根据相对于3D模型空间的原点坐标的移动量(x，y，z)而被定义。视点方向VD根据相对于虚拟视点IV的角度(ΘΧ，0y，ΘΖ)而被定义。此外，(Θ X，Θ y，θ Ζ)表示为(倾滚角，间距角,偏航角)=(φ, Θ,
Ψ ).设定虚拟视点IV之后，AR处理部142并行执行步骤SI 10~SI 16的处理和步骤S120~S126的处理。
[0128]在设定虚拟视点IV之后，AR处理部142基于虚拟视点IV的位置以及方向来在与左眼相当的位置设定虚拟相机CML (步骤S110)。具体而言，AR处理部142在与虚拟视点IV在左侧相距(眼间距离/ 2)的位置设定朝向视点方向VD的虚拟相机CML。同样地，AR处理部142基于虚拟视点IV的位置以及方向来在与右眼相当的位置设定虚拟相机CMR(步骤S120)。具体而言，AR处理部142在与虚拟视点IV在右侧相距(眼间距离/ 2)的位置设定朝向视点方向VD的虚拟相机CMR。在图8中示出如上述那样设定的虚拟相机CML、CMR。
[0129]在设定虚拟相机之后，AR处理部142进行虚拟相机CML的2D (Two Dimens1ns)投影(步骤SI 12)。具体而言，AR处理部142将3D模型空间内的立体物(虚拟对象0B1、0B2)变换为通过虚拟相机CML得到的二维即平面状的信息，并生成有纵深感的图像。同样地，AR处理部142进行虚拟相机CMR的2D投影(步骤S122)。具体而言，AR处理部142将3D模型空间上的立体物变换为通过虚拟相机CMR得到的二维即平面上的信息，并生成有纵深感的图像。
[0130]虚拟相机CML的2D投影后，AR处理部142缩放通过投影得到的图像(步骤S114)。具体而言，AR处理部142执行以下的程序bl~b3。
[0131](bl)AR处理部142将在程序al决定的目标距离Lb应用于上述式I，计算目标辐辏角9 b。
[0132](b2) AR处理部142将求出的目标辐辏角Θ b和初始辐辏角Θ a应用于上述式2，计算目标视差角θχ。
[0133](b3)放大/缩小通过步骤S112得到的虚拟相机CML的2D投影图像，以使通过步骤S112得到的虚拟相机CML的2D投影图像和配置在虚拟视点IV的虚拟相机CM的2D投影图像错开θ X / θρ?χ像素。此时，AR处理部142考虑右IXD241的分辨率。
[0134]同样地，在虚拟相机CMR的2D投影后，AR处理部142缩放通过投影得到的图像(步骤S124)。具体而言，AR处理部142执行上述程序bl、b2、以及以下程序b3。
[0135](b3)放大/缩小通过步骤S122得到的虚拟相机CMR的2D投影图像，以使通过步骤S122得到的虚拟相机CMR的2D投影图像和配置在虚拟视点IV的虚拟相机CM的2D投影图像错开θ X / θρ?χ像素。此时，AR处理部142考虑左IXD242的分辨率。
[0136] 图9如上述那样，示出AR处理部142使用配置在虚拟视点IV的虚拟相机CM的2D投影图像DT，来缩放通过投影得到的图像的情况。此外，在上述例子中，虚拟相机CMR被设定在与右眼相当的位置，虚拟相机CML被设定在与左眼相当的位置。然而，设定的虚拟相机的位置以及个数能够变更。之后，AR处理部142将如上述那样生成的右眼用图像数据Datal和左眼用图像数据Data2向图像处理部160发送(步骤S116、S126)。之后，通过执行图2说明的显示处理，头戴式显示器100的使用者能够在视场VR视觉识别立体的虚拟对象OB。
[0137]如以上那样，根据第2实施例的增强现实处理，增强现实处理部(AR处理部142)在图像数据(右眼用图像数据Datal以及左眼用图像数据Data2)的生成时，考虑与虚像VI的显示环境有关的各种条件(右LCD241以及左LCD242的大小、在使用者的左右的眼前显示的虚像VI间的距离)来使虚拟对象0B1、0B2融合于外景SC，所以能够实现可提供缓解了使用者的视觉上的不协调感的增强现实感的头戴式显示装置(头戴式显示器100)。
[0138]并且，根据第2实施例的增强现实处理，增强现实处理部(AR处理部142)决定使使用者视觉识别虚拟对象OB1、0B2的目标距离Lb，并根据决定的目标距离Lb来计算目标距离Lb的辐辏角亦即目标辐辏角0b，使用计算出的目标辐辏角0b和第I辐辏角0a (初始辐辏角0a)，来计算目标距离Lb的视差角亦即目标视差角ΘΧ。增强现实处理部(AR处理部142)通过使用这样计算出的目标视差角ΘΧ、和存储在像素视差角存储部(像素视差角124)中的差(0pix)，能够分别缩放通过2个位置处的虚拟相机(虚拟相机CMR、CML)拍摄的2D投影图像，来生成右眼用图像数据Datal和左眼用图像数据Data2。
[0139]并且，根据第2实施例的增强现实处理，增强现实处理部(AR处理部142)在3D模型空间上设定虚拟相机(虚拟相机CMR、CML)时，首先，基于使使用者视觉识别虚拟对象的目标距离Lb来配置虚拟视点IV。而且，增强现实处理部(AR处理部142)在与配置的虚拟视点IV相距眼间距离/ 2的位置配置一个虚拟相机(虚拟相机CMR)，在与配置的虚拟视点相距眼间距离/ 2的位置配置另一个虚拟相机(虚拟相机CML)。其结果为，虚拟相机(虚拟相机CMR、CML)能够获取考虑使使用者视觉识别虚拟对象OB1、0B2的目标距离Lb、和使用者的眼间距离(眼间距离122)双方的2D投影图像。
[0140]A- 4.增强现实处理(第3实施例):
[0141]在第3实施例的增强现实处理中，在第2实施例的增强现实处理中能够伴随着使用者的移动而使用于融合于外景SC的虚拟对象变化。以下，仅对与第2实施例的增强现实处理不同的程序进行说明。其中，在图中，对于与第2实施例相同的部分，标注与之前说明的第2实施例相同的符号，省略其详细的说明。
[0142]图10是表示第3实施例中的增强现实处理的程序的流程图。与图7所示的第2实施例的不同在于在步骤S104之后执行步骤S202和S204这一点、和在步骤S116以及S126结束后将处理移至步骤S202这一点。
[0143]在步骤S202中，AR处理部142判定使用者的视点是否移动。具体而言，在使用者的当前位置坐标和头的活动中的至少任意一方有变化的情况下，AR处理部142判定为使用者的视点移动。此外，使用者的当前位置坐标通过由GPS模块134检测出的控制部10的位置信息获取。使用者的头的活动通过由9轴传感器66检测出的活动信息获取。在使用者的视点未移动的情况下(步骤S202 否”)，AR处理部142将处理移至步骤SllO以及S120。
[0144]在使用者的视点移动的情况下(步骤S202 是”)，AR处理部142基于在步骤S202检测出的使用者的当前位置坐标和头的活动，在3D模型空间上的规定位置设定虚拟视点。详细与图7的步骤S104相同。
[0145]如以上那样，根据第3实施例的增强现实处理，能够伴随着使用者的视点的移动，即、伴随着使用者的当前位置坐标和头的活动中的至少任意一方的变化，生成、缩放虚拟相机CML的2D投影图像和虚拟相机CMR的2D投影图像，并生成右眼用图像数据Datal和左眼用图像数据Data2。其结果，除了第2实施例中的效果之外，还能够伴随着使用者的视点的移动，使用于融合于外景SC的虚拟对象变化。
[0146]这样，根据第I实施方式的头戴式显示装置(头戴式显示器100)，图像显示部20将附加了能够缓解使用者的视觉上的不协调感的视觉效果(即、用于使虚拟对象能够立体观察的视觉效果)的虚拟对象OB作为虚像VI使使用者视觉识别。因此，能够提供一种可提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置。
[0147]B.第2实施方式:
[0148]在本发明的第2实施方式中，对作为“能够缓解使用者的视觉上的不协调感的视觉效果”，代替第I实施方式所例示的“用于使虚拟对象能够立体观察的视觉效果”，而采用“用于使虚拟对象与使用者的周围的环境调和的视觉效果”的情况下的构成进行说明。以下，仅对具有与第I实施方式不同的构成以及动作的部分进行说明。此外，在图中，对与第I实施方式相同的构成部分标注与之前说明的第I实施方式相同的符号，省略其详细的说明。
[0149]B-1.头戴式显示装置的构成:
[0150]图11是功能性表示第2实施方式中的头戴式显示器10a的构成的框图。与图2所示的第I实施方式的不同在于代替控制部10而具备控制部1a这一点。控制部1a的存储部120中不包括眼间距离存储部122和像素视差角存储部124 (图2)。另外，控制部1a代替AR处理部142而具备AR处理部142a。AR处理部142a执行的“增强现实处理”的处理内容与第I实施方式不同。具体而言，AR处理部142a代替作为第I?第3实施例说明的第I实施方式的增强现实处理，而执行接下来说明的增强现实处理。
[0151]B —2.增强现实处理:
[0152]图12是表示第2实施方式中的增强现实处理的程序的流程图。在步骤S302中，AR处理部142a获取将使用者的周围的环境表现为三维空间内的虚拟的立体物的三维信息。该三维信息是表示使用者的周围的环境的、所谓“3D模型”。AR处理部142a能够使用以下的Cl?c3所示的任意一个方法来获取三维信息。
[0153](Cl) AR处理部142a从与头戴式显示器10a连接的云服务器等外部装置获取三维信息。
[0154](c2)在三维信息被预先存储在存储部120中的情况下，AR处理部142a从存储部120获取三维信息。
[0155](c3)AR处理部142a使用由相机61拍摄的外景图像、向使用者的眼前照射红外光等手段，来生成表现了使用者的周围环境的三维信息，并获取生成的三维信息。
[0156]在方法Cl、c2的情况下，AR处理部142a能够基于由GPS模块134检测出的使用者的当前位置坐标来决定三维信息的获取范围。另外，在方法c3中，使用相机61来生成三维信息的情况下，AR处理部142a使相机61获取连续地改变了角度的多个外景图像。而且，AR处理部142a能够基于第η (η为任意的整数)张拍摄的外景图像与第η + I张拍摄的外景图像的差信息，来生成三维信息。优选此时使用的相机61是被配置成拍摄区域交叉的多个相机。并且，优选多个相机中的至少一个被固定在与使用者的视线方向对应的位置。由于使相机61获取连续地改变了角度的外景图像，所以在由9轴传感器66检测出的使用者的活动是超过规定的阈值的大小的情况下，AR处理部142a可以向相机61输出外景图像的拍摄指不。
[0157]在步骤S304中，AR处理部142a确定与现实空间中的使用者的当前位置以及视线方向对应的、三维信息内的位置以及方向。换言之，也可以说在步骤S304中，AR处理部142a确定三维信息内的虚拟的使用者的当前位置以及视线方向。具体而言，AR处理部142a使用以下的dl?d3所示的任意一个方法。
[0158](dl)AR处理部142a通过比较在步骤S302中获取的三维信息和在步骤S304的时刻由相机61获取的使用者的视线方向的外景图像，确定出三维信息内的虚拟的使用者的当前位置以及视线方向。
[0159](d2)AR处理部142a通过比较在步骤S302中获取的三维信息中包含的纬度经度的信息和在步骤S304的时刻由GPS模块134获取的使用者的当前位置坐标(纬度经度)，确定出三维信息内的虚拟的使用者的当前位置。另外，AR处理部142a使用由9轴传感器66获取的使用者的头部的活动，来确定三维信息内的虚拟的使用者的视线方向。
[0160](d3)在现实空间上预先配置多个信号产生装置的情况下，AR处理部142a使用从信号产生装置接收的电波、超声波的接收强度，来确定三维信息内的虚拟的使用者的当前位置以及视线方向。
[0161]在步骤S306中，AR处理部142a生成遮盖对象。所谓“遮盖对象”是指，从与现实空间的使用者的当前位置以及视线方向对应的位置以及方向观察到的三维信息，换言之，从虚拟的使用者的当前位置以及视线方向观察到的三维信息。AR处理部142a使用在步骤S302中获取的三维信息和在步骤S304中确定的三维信息内的位置以及方向，来生成遮盖对象。
[0162]图13是表示遮盖对象的一个例子的说明图。图13 (A)示出从现实空间中的使用者的当前位置以及视线方向观察到的外景SC。外景SC是大楼林立的办公区的风景。图13(B)示出从与现实空间中的使用者的当前位置以及视线方向对应的、三维信息内的位置以及方向观察到的遮盖对象VM。遮盖对象VM包括图13 (A)所示的使用者的周围的环境(夕卜景SC)在三维空间内被虚拟地表现的“大楼”、“道路”、“树木”、“电线杆子”的立体物。
[0163]该遮盖对象是为了对虚拟对象加入视觉效果而使用的，不作为图像显示。此外，在图12的步骤S306中，也可以基于在步骤S304中确定的三维信息内的位置以及方向，从与头戴式显示器10a连接的云服务器等外部装置获取三维信息，来进行遮盖对象的补充。
[0164]在图12的步骤S306中，AR处理部142a在增强现实处理中生成表示AR处理部142a作为虚像VI显示的虚拟对象的图像数据。具体而言，例如，AR处理部142a从预先存储在存储部120内的多个图像数据获取按照使用者的要求或者处理的目的任意的图像数据。
[0165]在步骤S310中，AR处理部142a在步骤S306中生成的遮盖对象内配置步骤S308生成的虚拟对象。在该配置时，AR处理部142a为了能够显示具有远近感的虚拟对象0B，也可以考虑配置虚拟对象的目标距离。目标距离例如能够利用以下的任意一个方法决定。
[0166].对由相机61获取的使用者的视野方向的外景图像进行解析。
[0167].对由GPS模块134获取的使用者的当前位置坐标、和由9轴传感器66获取的使用者的头的活动进行解析。
[0168]图14是表示虚拟对象OB相对于遮盖对象VM的配置的一个例子的说明图。图14所例示的虚拟对象OB是“自行车”。在遮盖对象VM内，配置有虚拟对象OB的位置是“处于树木前面的人行道的旁边”。此处，从在步骤S304确定出的三维信息内的位置以及方向(虚拟的使用者的当前位置以及视线方向)来看，在配置在遮盖对象内的虚拟对象(自行车)与使用者之间配置有遮盖对象的一部分即“电线杆”。
[0169]在图12的步骤S312中，AR处理部142a对配置有虚拟对象OB的状态下的遮盖对象VM赋予与周围的环境对应的效果。在本实施方式中，所谓“与周围的环境对应的效果”是指至少以下的el?e3所示的任意一种效果。此外，效果el?e3也可以单独采用，也可以组合采用。
[0170](el) AR处理部142a实施虚拟对象OB中的、成为遮盖对象VM所包含的立体物的背后的部分的修整。例如，在图14的例子的情况下，AR处理部142a修整自行车(虚拟对象0B)中的、成为电线杆(遮盖对象VM所包含的立体物)的背后的部分，即、如图14那样从虚拟的使用者的当前位置以及视线方向观察的情况下，自行车在电线杆的背后而看不见的部分。这样，根据效果el ,AR处理部142a能够修整虚拟对象OB的一部分，以便看上去虚拟对象OB好像处于存在于现实空间中的立体物(在图的例子中为电线杆)的背后。因此，图像显示部20能够使使用者视觉识别虚拟对象OB宛如位于存在于现实空间的物(电线杆)的背后这样的虚像。
[0171](e2)AR处理部142a实施依照周围环境的照明。具体而言，AR处理部142a通过对由相机61拍摄的外景图像进行图像识别，来收集遮盖对象VM的各区域的亮度信息。亮度信息中包括例如影子区域、镜面反射、和扩散反射。AR处理部142a基于收集的亮度信息，来决定向遮盖对象VM追加的光源的种类、光源的色温、光源的强度等。此处，光源的种类有例如点光源(Point Light),聚光灯(Spot Light)、平行光源(Direct1nal Light)、环境光(Ambient Light)、天空光(Hemisphere Light)、IBL (Image Based Light)等。而且,AR 处理部142a通过将具有决定的种类、色温、强度的光源配置于遮盖对象VM，来实施虚拟对象OB的照明。
[0172]图15是表示照明实施后的虚拟对象OB的情况的说明图。在图15的例子中，通过平行光源DL来实施虚拟对象OB的照明的结果是生成虚拟对象OB的影子0BS。这样，根据效果e2，AR处理部142a能够修正虚拟对象0B，以使虚拟对象OB具有与现实空间相匹配的明暗。因此，图像显示部20使使用者视觉识别虚拟对象OB宛如与存在于现实空间的物体混在这样的虚像。此外，在图12的步骤S312中，例示的光源可以单独被赋予，也可以组合赋予。另外，AR处理部142a也可以使用外景图像的图像解析以外的方法(例如，基于当前时刻和方位的运算)来收集遮盖对象VM的各区域的亮度信息。
[0173](e3)AR处理部142a实施基于遮盖对象VM所包含的立体物的反弹系数和摩擦系数中的至少一方的、虚拟对象OB的动作的调整。具体而言，AR处理部142a通过对由相机61拍摄的外景图像进行图像识别，求出遮盖对象VM所包含的立体物的表面的反弹系数和摩擦系数中的至少一方。此时,AR处理部142a也可以求出针对一个立体物的平均反弹系数、平均摩擦系数，也可以按立体物所具有的区域来求出反弹系数、摩擦系数。AR处理部142a基于求出的反弹系数或者摩擦系数或它们双方，来调整随时间变化的虚拟对象OB的动作。
[0174]图16是表示基于反弹系数和摩擦系数来调整虚拟对象OB的动作的情况的说明图。在图16的例子中，按遮盖对象VM所包含的立体物所具有区域，求出反弹系数XX(X为任意的数字)、和摩擦系数XX，并存储。AR处理部142a根据处于活动DI上的立体物的反弹系数XX和摩擦系数XX来变更球状的虚拟对象OB的活动DI。在图的例子中，AR处理部142a根据有3车道的道路的中央车道的反弹系数和摩擦系数，来调整虚拟对象OB弹跳的大小。这样，根据效果e3，AR处理部142a能够根据存在于现实空间的物体的反弹系数和摩擦系数中的至少一方来调整虚拟对象OB的动作。因此，图像显示部20能够使使用者视觉识别虚拟对象OB宛如受到存在于现实空间的物体的影响而活动的虚像。
[0175]在图12的步骤S314中，AR处理部142a进行虚拟相机的设定、和虚拟相机的2D投影。具体而言，AR处理部142a在与现实空间的使用者的当前位置以及视线方向对应的遮盖对象VM内的位置以及方向(换言之，遮盖对象VM内的虚拟的使用者的当前位置以及视线方向)设定虚拟相机。而且，AR处理部142a将遮盖对象VM内的虚拟对象OB变换为由虚拟相机得到的二维即平面状的信息。由此，AR处理部142a能够对遮盖对象VM内的虚拟对象OB进行二维化，来获得加入了效果的虚拟对象OB的图像数据。
[0176]图17是表示通过虚拟相机的2D投影得到的图像数据的说明图。在图17的例子中，在图像数据DT中包括作为加入了效果e I的结果的前轮的一部分被修整、作为加入了效果e2的结果的影子OBS被附加的虚拟对象(自行车)。此外，优选在步骤S314的虚拟相机设定时，AR处理部142a根据从使用者的眼睛至使用者的注视点为止之间的距离，来实施虚拟相机的景深等的设定。如果这样，在通过虚拟相机的2D投影所得到的虚拟对象OB的图像数据中能够对虚拟对象OB追加模糊效果。另外，在步骤S314中设定的虚拟相机可以是一个，也可以是与使用者的左右眼对应的2个虚拟相机，也可以是3个以上的多个虚拟相机。
[0177]图18是表示在第2实施方式的增强现实处理中，被使用者视觉识别的虚像VI的一个例子的说明图。在图12的步骤S316中，AR处理部142a将如上述那样生成的图像数据DT向图像处理部160发送。之后，通过执行图2所说明的显示处理，头戴式显示器10a的使用者能够在视场VR中视觉识别加入了视觉效果(修整以及影子0BS)的虚拟对象0B。
[0178]如以上那样，根据第2实施方式的头戴式显示装置(头戴式显示器100a)采用图像显示部20将缓解了使用者的视觉上的不协调感的虚拟对象0B，即、附加了能够缓解使用者的视觉上的不协调感的视觉效果(即、用于使虚拟对象与周围环境调和的视觉效果)的虚拟对象OB作为虚像VI使使用者视觉识别。因此，能够提供一种可提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置。另外，增强现实处理部(AR处理部142a)使用根据三维信息生成的遮盖对象VM来对虚拟对象OB加入视觉效果，使虚拟对象OB与周围的环境调和。因此，如以往那样，与基于由相机拍摄的图像来对虚拟对象加入视觉效果，使虚拟对象与周围环境调和的情况相比较，能够提闻调和的精度。
[0179]另外，根据第2实施方式的头戴式显示装置(头戴式显示器100a)，增强现实处理部(AR处理部142a)能够对虚拟对象OB加入依照环境的修整(效果el)、依照环境的照明(效果e2)、依照环境的动作的调整(效果e3)中的至少任意一种视觉效果。并且，增强现实处理部(AR处理部142a)通过对由图像获取部(相机61)拍摄的外景图像(使用者的视野方向的图像)进行图像识别，能够自动地推断使用者的周围的环境(具体而言，效果e2的亮度信息、效果e3的情况下的反弹系数和摩擦系数)。
[0180]C.第3实施方式:
[0181]在本发明的第3实施方式中，配合现实空间上的实际物体的坐标位置以及形状来控制现实空间上的坐标位置已被设定的虚拟对象的情况下的构成进行说明。以下，仅对具有与第I实施方式不同的构成以及动作的部分进行说明。此外，在图中，对与第I实施方式相同的构成部分标注与之前说明的第I实施方式相同的符号，省略其详细的说明。
[0182]图19是对使用者能够视觉识别的虚像以及现实风景的一个例子进行说明的图。如图19所示，在佩戴本实施方式的头戴式显示器10b的使用者的视场VR显示有头戴式显示器10b生成的虚像VI。此处，作为虚像VI，显示有表示迷宫的领航员(向导)的虚拟对象0B。另外，在使用者的视场VR中，使用者透过右光学像显示部26以及左光学像显示部28能够看见外景SC。此处，作为外景SC，看得见实际物体A亦即迷宫的墙A1、A2、A3等。即、构成为使用者在视场VR内能够同时视觉识别虚像VI和外景SC。此外，符号27是视场VR内的、显示有虚像VI的(能够显示虚像VI的)虚像显示区域。
[0183]C-1.头戴式显示装置的构成:
[0184]图20是功能性表示第3实施方式中的头戴式显示器10b的构成的框图。与图2所示的第I实施方式的不同在于代替控制部10而具备控制部1b这一点、和代替图像显示部20而具有图像显示部20b这一点。
[0185]图像显示部20b代替瞳孔间距离测量部62而具备距离传感器67和视线检测传感器69这一点与第I实施方式不同。距离传感器67例如利用红外线方式、超声波方式,来检测从使用者(严格来说，是头戴式显示器100b)至实际物体A为止的距离。视线检测传感器69例如利用红外线方式来检测使用者的视线。
[0186]在控制部1b的存储部120b中不包眼间距离存储部122和像素视差角存储部124(图2)这一点上与第I实施方式不同。另外，控制部1b代替AR处理部142而具备AR处理部142b，而且还具备图像解析部144和物体检测部146这一点上与第I实施方式不同。
[0187]图像解析部144获取由相机61拍摄的图像的图像信号，并进行获取的图像信号的解析。图像解析部144通过图像解析来识别设置在实际物体A的物体识别用的标记MK(图19参照)，并基于从标记MK获得的信息来识别实际物体A。即、基于拍摄图像内的标记MK的位置以及方向的信息、读取标记MK的读取信息、和预先存储的实际物体A的信息(实际物体A的形状、实际物体A中的标记MK的配设位置)，来识别视场VR内的实际物体A的位置、和实际物体A的形状。此外，在本实施方式中，是在实际物体A设置标记MK，识别该标记来识别实际物体A的构成，但也可以是无标记，识别实际物体A的特征位置(特征点)来识别实际物体A的构成。另外，上述的实际物体A的信息也可以通过无线通信部132，在每次图像识别时从外部服务器获取。
[0188]物体检测部146基于图像解析部144对实际物体A的识别结果、和传感器的检测结果，来检测现实空间上的实际物体A的坐标位置以及形状。具体而言，基于图像解析部144对实际物体A的识别结果、从距离传感器67获得的自使用者至实际物体A为止的距离的信息、和由9轴传感器66获得的使用者的头部的朝向的信息，来检测现实空间中的实际物体A相对于使用者的相对坐标位置、和实际物体A的形状。
[0189]第3实施方式的AR处理部142b执行的增强现实处理的处理内容与第I实施方式不同。AR处理部142b生成由图像显示部20显示的显示数据，并将显示数据经由图像处理部160发送给图像显示部20。AR处理部142b对虚拟对象OB设定现实空间上的坐标位置，并且作为显示数据，生成使现实空间上的坐标位置已被设定的虚拟对象OB配合现实空间的坐标系而被视觉识别地显示(所谓的拟合)的数据。
[0190]具体而言，AR处理部142b基于内容数据对虚拟对象OB设定现实空间上的、相对于实际物体A的相对坐标位置。而且，基于该虚拟对象OB的相对坐标位置、检测出的实际物体A的坐标位置、使用者的头部的朝向的信息、和从视线检测传感器69得到的使用者的视线的信息，来确定配合现实空间的坐标系而被视觉识别(适合于现实空间的坐标系而被视觉识别)这样的、虚像显示区域27中的虚拟对象OB的显示位置、显示尺寸以及朝向。例如，在虚拟对象OB存在于现实空间的坐标系的情况下，根据从使用者至虚拟对象OB的距离，来决定显示尺寸。因此，显示尺寸通过基于上述各信息计算出的从使用者至虚拟对象OB的距离而被确定。基于确定出的显示位置、显示尺寸、朝向，来放大/缩小、旋转、配置虚拟对象0B，来生成包括虚拟对象OB的显示数据。
[0191]此外，在将虚拟对象OB作为立体视图像显示的情况下，作为右眼用的显示数据以及左眼用的显示数据，生成对虚拟对象OB赋予视差的显示数据，并将右眼用的显示数据经由图像处理部160发送给右IXD控制部211，将左眼用的显示数据经由图像处理部160发送给左IXD控制部212。该情况下，对于虚拟对象OB的视差量(纵深感)，也配合现实空间的坐标系而设定。即、与显示尺寸相同，视差量根据从使用者至虚拟对象OB的距离而决定，所以基于上述各信息来计算从使用者至虚拟对象OB的距离，并基于该距离来设定虚拟对象OB的视差量。
[0192]另外，AR处理部142b配合检测出的实际物体A的坐标位置以及形状来控制虚拟对象OB的动作。即、在上述记载为基于内容数据来设定现实空间中的上述相对坐标位置，但严格来说，基于内容数据、和检测出的实际物体A的坐标位置以及形状，来设定上述相对坐标位置。另外，基于检测出的实际物体A的坐标位置以及形状来变更虚拟对象0B。由此，加上检测出的实际物体A的坐标位置以及形状来使虚拟对象OB动作。
[0193]C — 2.增强现实处理:
[0194]图21是表示第3实施方式中的增强现实处理的程序的流程图。第3实施方式中的增强现实处理起因于使用了控制部1b的动作开始操作而进行。
[0195]如图21所示，头戴式显示器10b首先利用相机61拍摄外景SC(S1)。然后，利用图像解析部144来识别相机61的拍摄图像中的标记MK，识别实际物体A(S2)。此外，在图2的例子中，从拍摄图像识别标记MK能够识别的壁Al、A2。
[0196]若识别了实际物体A，则由距离传感器67检测从使用者至实际物体A的距离
(S3)，并由9轴传感器66检测使用者的头部的朝向(S4)。而且，由物体检测部146基于图像解析部144对实际物体A的识别结果、检测出的从使用者至实际物体A的距离的信息、和检测出的头部的朝向的信息，来检测实际物体A的坐标位置(相对于使用者的相对坐标位置)以及形状(S5)。
[0197]若检测出实际物体A的坐标位置以及形状，则由视线检测传感器69来检测使用者的视线(S6)。然后，由AR处理部142b基于检测出的视线的信息、和检测出的头部的朝向的信息，来推测使用者的视场VR (的朝向)(S7 )。
[0198]之后，由AR处理部142b基于内容数据、和检测出的实际物体A的坐标位置以及形状，来设定现实空间上的虚拟对象OB的坐标位置(相对于实际物体A的相对坐标位置)
(SS)0而且，基于推断出的视场VR、设定的虚拟对象OB的坐标位置(相对于实际物体A的相对坐标位置)、和检测出的实际物体A的坐标位置(相对于使用者的相对坐标位置)，来决定虚拟对象OB的显示位置、显示尺寸以及朝向(S9)，以便配合现实空间的坐标系地被视觉识别，并生成包括虚拟对象OB的显示数据(S10)。之后，将生成的显示数据经由图像处理部160发送给图像显示部20 (Sll)0此外，技术方案中所说的“显示控制步骤”由S6至SlO的工序构成。
[0199]然后，由图像显示部20显示(将图像光投影至视网膜投影)包括该虚拟对象OB的显示数据(S12:显示步骤)。由此,结束本显示动作。
[0200]此处参照图22至图24，对AR处理部142b对虚拟对象OB的动作控制进行说明。如上述那样，AR处理部142b配合检测出的实际物体A的坐标位置以及形状来控制虚拟对象OB的动作。图22是表示AR处理部142b对虚拟对象OB的动作控制的第I例的迁移图。在图22的例子中，AR处理部142b基于检测出的实际物体A的坐标位置、和设定的虚拟对象OB的坐标位置，在从使用者来看虚拟对象OB位于(推测为)实际物体A的后方的情况下，以使虚拟对象OB的与实际物体A的重叠部分OBa消失的方式来使虚拟对象OB变化。具体而言，如该图所示，使虚拟对象OB从使用者来看向壁Al的后侧移动时，使虚拟对象OB以其与从使用者看到的壁Al的重叠部分OBa消失的方式变化。这样，虚拟对象OB被显示为从使用者来看宛如隐藏在壁Al的后面那样。
[0201]图23是表示AR处理部142b对虚拟对象OB的举动控制的第2例的迁移图。在图23的例子中，AR处理部142b使虚拟对象OB动作，以在现实空间的坐标系中避开实际物体A。具体而言，如该图所示，使虚拟对象OB显示为在移动至作为障碍物的柱子A4的附近时，使虚拟对象OB的轨道改变，宛如避开实际物体A那样。
[0202]图24是表示AR处理部142b对虚拟对象OB的动作控制的第3例的迁移图。在图24的例子中，在现实空间的坐标系中，移动的虚拟对象OB到达实际物体A时，AR处理部142b使虚拟对象OB以宛如与实际物体A碰撞那样地动作。具体而言，如该图所示，显示为在使虚拟对象OB移动并到达壁A2时，以从壁A2反弹的方式使虚拟对象OB的轨道改变，宛如与实际物体A碰撞那样。另外，在虚拟对象OB到达壁Al的时刻，以宛如虚拟对象OB与实际物体A碰撞的方式使OB变化(在图的例子中，向碰撞的方向缩小变形)。
[0203]以上，根据第3实施方式的增强现实处理，由于能够加上实际物体A的坐标位置、形状地使虚拟对象OB动作，所以能够提高真实感。因此，能够提供一种可提供缓解了使用者的视觉上的不协调感的增强现实感的光学透射式的头戴式显示装置(头戴式显示器100b)。另外，通过使虚拟对象OB进行加上实际物体A的坐标位置、形状的动作，能够在透射式的头戴式显示装置中，提供考虑了实际物体A的内容。因此，能够提供基于虚拟对象OB的、考虑了实际物体A的游戏、导航服务。作为导航服务的内容，假定了例如，显示迷宫的向导作为虚拟对象0B，该向导考虑迷宫的壁Al、A2、A3，一边避开壁Al、A2、A3 一边进行道路引导的情况等。另外，作为游戏的内容，例如，假定了显示球作为虚拟对象0B，投出的该球撞上壁Al、A2、A3而反弹回来的情况等。
[0204]另外，利用视线检测传感器69来检测视线，并考虑使用者的视线，来进行虚拟对象OB的显示，从而能够更高精度地进行虚拟对象OB的拟合(虚拟对象OB的显示位置、显示尺寸以及方向的决定)。
[0205]并且，利用距离传感器67来检测从使用者至实际物体A的距离，并考虑该距离，来进行虚拟对象OB的显示，从而能够更高精度地进行虚拟对象OB的拟合。
[0206]此外，在本实施方式中，作为现实空间上的虚拟对象OB的坐标位置，是设定相对于实际物体A的相对坐标位置的构成，但作为现实空间上的虚拟对象OB的坐标位置，也可以是设定相对于使用者的相对坐标位置的构成，作为现实空间上的虚拟对象OB的坐标位置，也可以是设定绝对位置的构成。
[0207]另外，在本实施方式中，作为现实空间上的实际物体A的坐标位置，是检测相对于使用者的相对坐标位置的构成，但作为现实空间上的实际物体A的坐标位置，也可以是检测绝对位置的构成。
[0208]并且，在本实施方式中，是检测使用者的视线，并基于使用者的视线和使用者的头部的朝向来检测使用者的视野的构成，但也可以是使用者的视线始终朝向正前方，并仅基于使用者的头部的朝向来检测使用者的视野的构成。
[0209]另外，并且，在本实施方式中，物体识别用的标记MK可以是AR标记，也可以是二维码(QR码等)、条形码。
[0210]另外，在本实施方式中，是利用相机61来拍摄现实风景，使用针对拍摄图像的图像识别来检测实际物体A的坐标位置以及形状的构成，但也可以是预先存储存储有现实空间中的规定范围内的全部实际物体A的坐标位置以及形状的映射数据，并基于该映射数据来检测实际物体A的坐标位置以及形状的构成。
[0211]并且，在本实施方式中，为了提高虚拟对象OB的拟合的精度，也可以是检测眼间距离、左右视差角、辐辏角、优势眼、与图像的视差、使用者相对于实际物体的相对速度等，并考虑它们来进行虚拟对象OB的拟合的构成。
[0212]另外，并且，优选推测外景SC的光源环境，并配合该光源环境来调整虚拟对象OB的颜色、亮度。另外，虚拟对象OB的颜色、亮度也优选考虑从使用者至实际物体A的距离、使用者的视觉环境的变化(例如暗适应、亮适应)来决定。
[0213]另外，在本实施方式中，也可以是计算现实空间的坐标系中的从使用者至虚拟对象OB的距离，并变更虚拟对象OB的焦距的构成。
[0214]并且，在本实施方式中，内容中的用户操作可以是由图外的控制器进行的构成，也可以是识别使用者的身体的一部分(手指、手等)，并将该身体的一部分的动作作为用户操作接受的构成。另外，也可以是例如，识别使用者的手、手指、手臂等，AR处理部142b使球棒、球拍、扑克、笔等虚拟对象OB显示为宛如被使用者的手持有那样。而且，使用者通过使手、手指、手臂等移动，来操作该虚拟对象0B，将该操作作为用户操作接受的构成。在该情况下，从使用者来看，虚拟对象OB位于作为实际物体A的使用者的手、手指、手臂等的后方的情况下，以使虚拟对象OB的与实际物体A的重叠部分消失的方式使虚拟对象OB变化。另夕卜，也可以是识别使用者能够使用的实际物体A (例如球棒、球拍、扑克、笔)，并将该实际物体A的动作作为用户操作接受的构成。进而，检测使用者的头的活动(例如方向)、使用者的视线，并将它们作为用户操作接受的构成。
[0215]并且，显示的虚拟对象OB并不限于上述的物体，也可以是使例如，箭头、记号的虚拟对象OB显示的构成。另外，也可以是拍摄现实空间的物、人体的一部分(指尖、手臂等)来获取，并将它们作为虚拟对象OB进行显示的构成。
[0216]D.变形例:
[0217]在上述实施方式中，也可以将通过硬件实现的构成的一部分置换为软件，反之，也可以将通过软件实现的构成的一部分置换为硬件。其他，可进行如以下那样的变形。
[0218]?变形例1:
[0219]在上述实施方式中，对头戴式显示器的构成进行了例示。然而，头戴式显示器的构成能够在不脱离本发明的要旨的范围内任意地决定，例如，能够进行各构成部的追加、削除、变换等。
[0220]上述实施方式中的、针对控制部和图像显示部的构成要素的分配只是一个例子，可采用各种方式。例如，可以作为以下那样的方式。(i)在控制部搭载CPU、存储器等处理功能，在图像显示部仅搭载显示功能的方式，(ii)在控制部和图像显示部这双方搭载CPU、存储器等处理功能的方式，(iii)将控制部和图像显示部一体化的方式(例如，图像显示部包括控制部而作为眼镜型的可穿戴式计算机发挥作用的方式)，(iv)代替控制部而使用智能手机、便携式游戏机的方式，(V)通过使控制部和图像显示部成为可无线通信且无线供电的构成而废除连接部(线)的方式。
[0221]在上述实施方式中，为了便于说明，控制部具备发送部，图像显示部具备接收部。然而，上述实施方式的发送部以及接收部都具备可进行双向通信的功能，能够作为收发部发挥作用。另外，例如，图2所示的控制部经由有线的信号传送路径与图像显示部连接。然而，控制部和图像显示部也可以通过经由无线LAN、红外线通信、Bluetooth (注册商标)等无线的信号传送路径的连接而被连接。
[0222]例如，图2所示的控制部、图像显示部的构成能够任意地变更。具体而言，也可以是例如，从控制部中省略触摸板，仅利用十字键进行操作的构成。另外，也可以在控制部具备操作用杆等其它操作用接口。另外，作为能够对控制部连接键盘、鼠标等设备的构成，也可以从键盘、鼠标接受输入。另外，例如，除了触摸板、十字键的操作输入之外，也可以获取脚踏开关(利用使用者的脚进行操作的开关)的操作输入。例如，在图像显示部设置红外线传感器等视线检测部的基础上，检测使用者的视线，并获取基于与视线的移动建立对应的指令的操作输入。也可以例如使用相机来检测使用者的手势，并获取基于与手势建立对应的指令的操作输入。在手势检测时，能够使使用者的指尖、戴在使用者的手上的戒指、使用者的手中的医疗器具等成为用于移动检测的标记。如果能够获取基于脚踏开关、视线的操作输入，则在使用者较难放开手的作业中，输入信息获取部能够获取来自使用者的操作输入。
[0223]例如，头戴式显示器是双眼类型的透射式头戴式显示器，但也可以是单眼类型的头戴式显示器。另外，也可以构成为在使用者佩戴头戴式显示器的状态下，遮挡外景的透过的非透射式头戴式显示器。
[0224]图25是表示变形例中的头戴式显示器的外观的构成的说明图。图25 (A)的例子的情况下，与图1所示的头戴式显示器100的不同在于，图像显示部20a代替右光学像显示部26而具备右光学像显示部26a这一点、和代替左光学像显示部28而具备左光学像显示部28a这一点。右光学像显示部26a比第I实施方式的光学部件小地形成，并被配置在头戴式显示器的佩戴时的使用者的右眼的斜上方。同样地，左光学像显示部28a也比第I实施方式的光学部件小地形成，并被配置在头戴式显示器的佩戴时的使用者的左眼的斜上方。图25 (B)的例子的情况下，与图1所示的头戴式显示器100的不同在于，图像显示部20b代替右光学像显示部26而具备右光学像显示部26b这一点、和代替左光学像显示部28而具备左光学像显不部28b这一点。右光学像显不部26b比第I实施方式的光学部件小地形成，并被配置在头戴式显示器的佩戴时的使用者的右眼的斜下方。左光学像显示部28b比第I实施方式的光学部件小地形成，并被配置在头戴式显示器的佩戴时的使用者的左眼的斜下方。这样，光学像显示部被配置在使用者的眼睛的附近即可。另外，形成光学像显示部的光学部件的大小也是任意的，能够作为光学像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，光学像显示部不完全覆盖使用者的眼睛方式的头戴式显示器实现。
[0225]例如，记载为图像处理部、显示控制部、AR处理部、声音处理部等功能部通过CPU将储存在ROM、硬盘中的计算机程序展开至RAM来执行而实现。然而，也可以使用为了实现该功能而设计的ASIC (Applicat1n Specific Integrated Circuit:面向特定用途的集成电路)来构成这些功能部。
[0226]例如，在上述实施方式中，是如眼镜那样佩戴图像显示部的头戴式显示器，但图像显示部也可以是通常的平面型显示器装置(液晶显示器装置、等离子显示器装置、有机EL显示器装置等)。在该情况下，控制部与图像显示部之间的连接可以是经由有线的信号传送路径的连接，也可以是经由无线的信号传送路的连接。这样，也能够将控制部作为通常的平面型显示器装置的遥控器利用。
[0227]另外，作为图像显示部，也可以代替如眼镜那样佩戴的图像显示部，而采用例如如帽子那样佩戴的图像显示部这样的其它形状的图像显示部。另外，耳机可以采用耳挂式、头戴式，也可以省略。另外，也可以构成为例如，搭载在汽车、飞机等交通工具的平视显示器(HUD，Head-Up Display)。另外，也可以构成为例如，内置在头盔等身体防护具的头戴式显示器。
[0228]例如，在上述实施方式中，使用二次电池作为电源，但作为电源，并不局限于二次电池，能够使用各种电池。也可以使用例如一次电池、燃料电池、太阳电池、热电池等。
[0229]例如，在上述实施方式中，图像光生成部使用背光灯、背光灯控制部、LCD、和LCD控制部而构成。然而，上述的方式只是例示。图像光生成部也可以与这些构成部一起，或者代替这些构成部，而具备用于实现其它方式的构成部。例如，图像光生成部可以构成为具备有机EL(有机电致发光,Organic Electro-Luminescence)的显示器、和有机EL控制部。另夕卜，例如，图像光生成部也能够代替LCD而使用数字微镜器件等。另外，例如，对激光视网膜投影型的头戴式显示装置也能够应用本发明。
[0230].变形例2:
[0231]在上述第I实施方式中，示出增强现实处理的一个例子。然而，上述增强现实处理的程序只是一个例子，能够进行各种变形。例如，可以省略一部分的步骤，也可以更进一步追加其它的步骤。另外，也可以变更所执行的步骤的顺序。
[0232]在上述实施方式中，像素视差角是基于左右同一图像数据而显示的虚像的辐辏角、与基于左右错开I个像素(像素)的图像数据素而显示的虚像的辐辏角的差。然而，像素视差角是基于左右同一图像数据而显示的虚像的辐辏角、与基于左右错开的图像数据而显示的虚像的辐辏角的差即可，左右的图像数据的错开量并不限定为I个像素(像素)。
[0233]例如，在增强现实处理中，计算出的目标视差角θχ比平行大的情况下(g卩θχ<-0a / 2的情况下)，AR处理部能够抑制用于实现这样的目标视差角ΘΧ的图像数据的生成。这样，能够缓解使用者感觉的不协调感。
[0234]若视差角过大，则使用者容易感觉到不协调感。因此，例如，在增强现实处理中，在计算出的目标视差角θχ为规定阈值以上的情况下(B卩ΘΧ> Θ Iim的情况下)，AR处理部能够抑制用于实现这样的目标视差角ΘΧ的图像数据的生成。此外，优选规定的阈值(Θ Iim)作为“对该利用者来说，物体看成双影的视差与看成单影的视差的边界”。规定的阈值(Θ Iim)能够根据使用者的喜好而调整。
[0235]AR处理部也可以根据决定的目标距离Lb的大小，或者计算出的目标视差角θ X的大小，来调整右眼用图像数据以及左眼用图像数据的彩度、亮度、对比度。例如，在表示远方显示的虚拟对象的图像数据的情况下，通过使彩度、亮度、对比度中的至少任意一个降低，能够加强使用者感受的远近感。
[0236]存储在像素视差角中的视差角Θ pix能够根据使用者的喜好而调整。利用者能够在想要加强远近感的情况下将视差角Θ pix调整得较小，在想要缓解远近感的情况下将视差角Qpix调整得较大。
[0237].变形例3:
[0238]在上述第I实施方式中，AR处理部也可以通过像素视差角使由相机获取的使用者的视野方向的外景图像图案匹配，来实现增强现实处理。具体而言，图像显示部为具备右眼用相机和左眼用相机的构成。右眼用相机是被配置在与图像显示部的使用者的右眼对应的位置，且是能拍摄图像显示部的表侧方向的外景的相机。左眼用相机是被配置在与图像显示部的使用者的左眼对应的位置，且是能够拍摄图像显示部的表侧方向的外景的相机。AR处理部也可以求出由右眼用相机拍摄的图像所包含的对象物体(成为使虚拟对象在附近显示的对象的物体)、与由左眼用相机拍摄的图像所包含的对象物体之间的错开量，使用该错开量和像素视差角，来决定增强现实处理中的“目标距离”。
[0239].变形例4:
[0240]在上述第I实施方式中，AR处理部可以限于满足规定的条件的情况下执行上述的增强现实处理。例如，在针对图像显示部具备可检测使用者的视线的方向的构成的基础上，AR处理部也可以限于检测出的视线的方向满足以下的条件中的至少任意一个的情况，来执行上述的增强现实处理。
[0241]?在水平约200°、垂直约125° (例如，下方向75°，上方向50° )的视场角的范围内时。
[0242]?信息容纳能力优异的有效视场亦即在水平约30°、垂直约20°的范围内时。
[0243]?注视点迅速稳定地看见的稳定注视场亦即水平60°~90°、垂直45°~70°的范围内时。
[0244]?在从由影像诱发的相对运动错觉(vect1n)的诱发开始产生的水平约20°起到相对运动错觉饱和的约110°的范围内时。
[0245].变形例5:
[0246]在上述第2实施方式中示出增强现实处理的一个例子。然而，上述增强现实处理的程序只是一个例子，能够进行各种变形。例如，可以省略一部分的步骤，也可以进一步追加其它的步骤。另外，也可以变更所执行的步骤的顺序。
[0247] 对第2实施方式的增强现实处理作为第I实施方式的增强现实处理的代替处理进行了说明。然而，第2实施方式的增强现实处理也可以与第I实施方式的增强现实处理并列执行。
[0248]在第2实施方式的增强现实处理的步骤S302中例示了三维信息获取的方法cl~c3。然而，上述方法只是例示，AR处理部也可以使用方法Cl~c3以外的其它方法来获取三维信息。另外，AR处理部也可以通过使用其它方法(例如方法Cl)获取的信息来修正使用一个方法(例如方法c3)获取的三维信息。
[0249]在第2实施方式的增强现实处理中，并且，为了调整现实空间的大小与虚拟对象的大小的平衡，可以实施疑似地使可由相机拍摄的区域的大小与在使用者的眼前作为虚像投影的区域的大小一致(校准)的处理。
[0250]第2实施方式的增强现实处理的步骤S312中的效果el~e3只是例示，AR处理部加入的效果能够任意地决定。例如，AR处理部也可以代替效果el~e3，或者与效果el~e3—起加入下一个效果。具体而言，AR处理部根据配置虚拟对象的目标距离，对虚拟对象加入用于赋予远近感的效果。作为用于赋予远近感的效果，例如，在目标距离较远的情况下能够采用加雾效果，在目标距离较近的情况下能够采用锐化效果。
[0251]?变形例6:
[0252]本发明并不限定于上述的实施方式、实施例、变形例，在不脱离其主旨的范围内能够以各种构成实现。例如，关于与发明的概要栏中所记载的各方式中的技术的特征对应的实施方式、实施例、变形例中的技术特征，为了解决上述课题的一部分或者全部，或者，为了实现上述效果的一部分或者全部，能够适当地进行替换、组合。另外，其技术特征只要未作为本说明书中所必须的进行说明，则能够适当地削除。
[0253]符号说明
[0254]10...控制部(控制器)；12...点灯部；14...触摸板；16----h字键；18...电源开关；
20…图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显不部；28…左光学像显不部；30…耳机插头；32…右耳机；34…左耳机；40…连接部；42…右线;44…左线;46…连结部件;48…主体线;51…发送部;52…发送部；53…接收部；54...接收部；61...相机；67...距离传感器；69...视线检测传感器；62...瞳孔间距离测量部；110…输入信息获取部；100、100a、100b…头戴式显示器(头戴式显示装置)；120…存储部；122…眼间距离(眼间距离存储部)；124…像素视差角(像素视差角存储部)；130…电源;140…CPU ;142、142a、142b…AR处理部(增强现实处理部)；144…图像解析部；146…物体检测部；160…图像处理部；170…声音处理部；180…接口 ；190…显示控制部；201…右背光灯控制部；202…左背光灯控制部；211…右IXD控制部；212…左IXD控制部；221…右背光灯；222…左背光灯；241…右IXD ;242…左IXD ;251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；PCLK…时钟信号；VSync…垂直同步信号；HSync…水平同步信号；Data...图像数据；Datal…右眼用图像数据；Data2…左眼用图像数据；0A...外部设备；PC...个人计算机；SC...外景；RE...右眼；LE...左眼；VI...虚像邮…端部；EL...端部；AP…前端部；VR...视场；VD…视点方向；IV...虚拟视点；0B…虚拟对象；0B1...虚拟对象；0B2…虚拟对象；0BS…虚拟对象的影子；0Ba…重叠部分；CM…虚拟相机；CML...虚拟相机；CMR…虚拟相机；DI…虚拟对象的移动；VM…遮盖对象；Θ a…初始辐辏角(第I辐辏角)；Θ Ir..目标辐辏角；Θ c…辐辏角(第2辐辏角Θ ) ; Θ V目标视差角；A…实际物体；MK…标记。
【权利要求】
1.一种头戴式显示装置，其特征在于， 是使用者能够视觉识别虚像和外景的头戴式显示装置， 该头戴式显示装置具备: 图像显示部，其使所述使用者视觉识别所述虚像；以及 增强现实处理部，其使所述图像显示部形成所述虚像，所述虚像是表示用于给所述使用者带来增强现实感的对象亦即虚拟对象、且是缓解了所述使用者的视觉上的不协调感的所述虚拟对象。
2.根据权利要求1所述的头戴式显示装置，其特征在于， 所述增强现实处理部通过使用将所述使用者的周围环境表现为三维空间内的虚拟的立体物的三维信息，来使所述虚拟对象与所述环境调和，从而缓解对所述虚拟对象的所述不协调感。
3.根据权利要求2所述的头戴式显示装置，其特征在于， 所述增强现实处理部在所述三维信息内配置所述虚拟对象，并对所述虚拟对象和所述三维信息中的至少一方加入与所述环境对应的视觉效果后，对所述虚拟对象进行二维化，从而缓解对所述虚拟对象的所述不协调感。
4.根据权利要求3所述的头戴式显示装置，其特征在于， 与所述环境对应的视觉效果至少包括以下的任意一个，即: 所述虚拟对象中的成为所述三维信息内的所述立体物的背后的部分的修整； 依照所述环境的所述虚拟对象的照明；和 基于依照所述环境设定的所述三维信息内的所述立体物的反弹系数和摩擦系数中的至少一方的所述虚拟对象的动作的调整。
5.根据权利要求3或者4所述的头戴式显示装置，其特征在于， 还具备图像获取部，所述图像获取部获取佩戴所述头戴式显示装置的状态下的所述使用者的视野方向的图像， 所述增强现实处理部通过对由所述图像获取部获取的所述视野方向的图像进行图像识别，来推断所述环境。
6.根据权利要求3~5中的任意一项所述的头戴式显示装置，其特征在于， 所述增强现实处理部在对所述虚拟对象进行二维化时，考虑从所述使用者的眼睛至所述使用者的注视点之间的距离。
7.根据权利要求1所述的头戴式显示装置，其特征在于， 所述增强现实处理部通过生成表示所述虚拟对象的右眼用的右眼用图像数据和左眼用的左眼用图像数据，来对所述虚拟对象加入用于使所述虚拟对象能够被立体观察的视觉效果来缓解对所述虚拟对象的所述不协调感， 所述图像显示部使用所述右眼用图像数据和所述左眼用图像数据，来使所述使用者的左右眼视觉识别不同的所述虚像， 所述头戴式显示装置还具备像素视差角存储部，该像素视差角存储部存储基于同一所述右眼用图像数据和所述左眼用图像数据显示的所述虚像的第I辐辏角、与基于左右错开的所述右眼用图像数据和所述左眼用图像数据显示的所述虚像的第2辐辏角之间的差，所述增强现实处理部使用存储在所述像素视差角存储部中的所述差，来生成用于使所述虚拟对象融合于所述外景的所述右眼用图像数据和所述左眼用图像数据。
8.根据权利要求7所述的头戴式显示装置，其特征在于， 所述增强现实处理部决定使所述使用者视觉识别所述虚拟对象的目标距离，并根据决定的所述目标距离，计算所述目标距离的辐辏角亦即目标辐辏角，使用计算出的所述目标辐辏角和所述第I辐辏角，来计算所述目标距离的视差角亦即目标视差角，使用所述目标视差角和存储在所述像素视差角存储部中的所述差，并根据表示所述虚拟对象的单一图像数据，来生成所述右眼用图像数据和所述左眼用图像数据。
9.根据权利要求7所述的头戴式显示装置，其特征在于， 所述增强现实处理部决定使所述使用者视觉识别所述虚拟对象的目标距离，基于决定的所述目标距离，在3D模型空间上设定用于获取2D投影图像的2个位置的虚拟相机，根据决定的所述目标距离，来计算所述目标距离的辐辏角亦即目标辐辏角，使用计算出的所述目标辐辏角和所述第I辐辏角，来计算所述目标距离的视差角亦即目标视差角，使用所述目标视差角、和存储在所述像素视差角存储部中的所述差，对由一个所述虚拟相机拍摄的2D投影图像进行缩放来生成所述右眼用图像数据，并对由另一个所述虚拟相机拍摄的2D投影图像进行缩放来生成所述左眼用图像数据。
10.根据权利要求9所述的头戴式显示装置，其特征在于， 还具备眼间距离存储部，该眼间距离存储部存储所述使用者的眼间距离， 所述增强现实处理部在设定所述2个位置处的虚拟相机时，基于所述决定的目标距离，在3D模型空间上配 置虚拟的视点亦即虚拟视点，在与配置的所述虚拟视点相距二分之一的眼间距离的位置处配置一个虚拟相机，在与配置的所述虚拟视点相距二分之一的眼间距离的位置处配置另一个虚拟相机。
11.根据权利要求10所述的头戴式显示装置，其特征在于， 还具备瞳孔间距离测量部，该瞳孔间距离测量部测量所述使用者的瞳孔间距离， 所述瞳孔间距离测量部的测量结果作为所述眼间距离被存储于所述眼间距离存储部。
12.根据权利要求1所述的头戴式显示装置，其特征在于， 还具备物体检测部，该物体检测部检测现实空间上的实际物体的坐标位置以及形状， 所述增强现实处理部通过配合所述实际物体的坐标位置以及形状地控制现实空间上的坐标位置被已设定的所述虚拟对象，从而缓解对所述虚拟对象的所述不协调感。
13.根据权利要求12所述的头戴式显示装置，其特征在于， 所述增强现实处理部配合所述实际物体的坐标位置以及形状来控制所述虚拟对象的动作。
14.根据权利要求13所述的头戴式显示装置，其特征在于， 所述增强现实处理部基于检测出的所述实际物体的坐标位置、和设定的所述虚拟对象的坐标位置，在从所述使用者来看所述虚拟对象位于所述实际物体的后方的情况下，以所述虚拟对象的与所述实际物体的重叠部分消失的方式使所述虚拟对象变化。
15.根据权利要求13或者14所述的头戴式显示装置，其特征在于， 所述增强现实处理部以在现实空间的坐标系中避开所述实际物体的方式使所述虚拟对象动作。
16.根据权利要求13~15中的任意一项所述的头戴式显示装置，其特征在于，所述增强现实处理部在现实空间的坐标系中，在移动的所述虚拟对象到达所述实际物体时，使所述虚拟对象宛如与所述实际物体碰撞那样地动作。
17.根据权利要求12~16中的任意一项所述的头戴式显示装置，其特征在于， 还具备视线检测部，所述视线检测部检测所述使用者的视线， 所述增强现实处理部基于检测出的所述视线，来使所述虚拟对象显示。
18.根据权利要求12~17中的任意一项所述的头戴式显示装置，其特征在于， 还具备距离检测部，该距离检测部检测从所述使用者至所述实际物体的距离， 所述增强现实处理部基于检测出的所述距离，来使所述虚拟对象显示。
19.根据权利要求12~18中的任意一项所述的头戴式显示装置，其特征在于， 所述图像显示部具有: 图像光输出部，其输出所述图像的图像光；以及 导光部，其将被输出的所述图像光引导至所述使用者的眼睛， 所述导光部使外 部光透过，并使该外部光与所述图像光一起入射至所述使用者的眼睛。
20.一种显示系统，其特征在于， 是使使用者将显示图像视觉识别为虚像的透射式的显示系统， 该显示系统具备: 物体检测部，其检测现实空间上的实际物体的坐标位置以及形状； 增强现实处理部，其使现实空间上的坐标位置已被设定的虚拟对象以配合现实空间的坐标系而被视觉识别的方式进行显示；以及图像显示部，其显示所述显示图像， 所述增强现实处理部配合所述实际物体的坐标位置以及形状来控制所述虚拟对象。
21.一种头戴式显示装置的控制方法，其特征在于， 是使用者能够视觉识别虚像和外景的头戴式显示装置的控制方法， 该控制方法具备: 使所述使用者视觉识别所述虚像的视觉识别工序；以及 在所述视觉识别工序中生成表示用于给所述使用者带来增强现实感的对象亦即虚拟对象、且是缓解了所述使用者的视觉上的不协调感的所述虚拟对象的所述虚像的生成工序。
22.根据权利要求21所述的头戴式显示装置的控制方法，其特征在于， 所述生成工序通过使用将所述使用者的周围环境表现为三维空间内的虚拟的立体物的三维信息，来使所述虚拟对象与所述环境调和，从而缓解对所述虚拟对象的所述不协调感。
23.根据权利要求21所述的头戴式显示装置的控制方法，其特征在于， 所述生成工序通过生成表示所述虚拟对象的右眼用的右眼用图像数据和左眼用的左眼用图像数据，从而对所述虚拟对象加入用于使所述虚拟对象能够被立体观察的视觉效果来缓解对所述虚拟对象的所述不协调感， 所述视觉识别工序使用所述右眼用图像数据、和所述左眼用图像数据，来使所述使用者的左右眼视觉识别不同的所述虚像，所述生成工序使用基于同一所述右眼用图像数据和所述左眼用图像数据显示的所述虚像的第I辐辏角、与基于左右错开的所述右眼用图像数据和所述左眼用图像数据显示的所述虚像的第2辐辏角之间的差，来生成用于使所述虚拟对象融合于所述外景的所述右眼用图像数据和所述左眼用图像数据。
24.根据权利要求21所述的头戴式显示装置的控制方法，其特征在于， 还具备检测现实空间上的实际物体的坐标位置以及形状的检测工序， 所述形成工序通过配合所述实际物体的坐标位置以及形状来控制现实空间上的坐标位置已被设定的所述虚拟 对象，从而缓解对所述虚拟对象的所述不协调感。
【文档编号】H04N13/04GK104076513SQ201410111332
【公开日】2014年10月1日 申请日期:2014年3月24日 优先权日:2013年3月26日
【发明者】藤卷由贵, 金子秀穗, 高野正秀, 有贺直人, 千代薰 申请人:精工爱普生株式会社