显示装置、显示装置的控制方法以及程序的制作方法
【技术领域】
[0001]本发明涉及显示装置、显示装置的控制方法以及程序。
【背景技术】
[0002]以往，已知一种使用者佩戴于头部来使用的、被称为头戴式显示器(Head MountedDisplay:HMD)显示装置(例如，参照专利文献I)。这种显示装置例如，如专利文献I所记载的那样，用途在于进行与现实空间关联了的显示，但是存在使佩戴者感觉到显示的内容与现实空间的位置关系的偏差的课题。针对该课题，在专利文献I记载有检测使用者的头部的活动的变化来对显示进行修正的构成。
[0003]专利文献1:日本特开2007-213407号公报
[0004]在专利文献I所记载的构成中，在HMD的佩戴中，使用者观察显示图像，但是不观察其外界。因此，在专利文献I的构成中，防止使用者的前庭反射的运动感觉与显示的偏差。
[0005]另外，若考虑在使用者视觉确认HMD的图像的期间，能够视觉确认HMD之外的外景的构成，则存在HMD的显示图像和外景的观察方式不同的课题。S卩，对于佩戴HMD的使用者而言，视觉确认显示图像的范围很少与可见外景的范围一致。例如，可能产生以下情况:对于显示图像而言，与可见外景的范围相比，只可见小范围。期望用于以这样的构成进行有效的显示的方法。
【发明内容】
[0006]本发明是鉴于上述情况而完成的，其目的在于:在使用者佩戴显示装置来观察图像和显示装置的外景的情况下，防止因显示装置的显示图像的可见范围与见外景的可见范围之间的不匹配而引起的问题。
[0007]为了实现上述目的，本发明的显示装置的特征在于，具备:显示部，其以如下方式显示图像:使外景透过，以便所述图像与上述外景一起被视觉确认；外景图像取得部，其取得包括透过上述显示部而被视觉确认的外景的外景图像；以及控制部，其基于上述外景图像取得部取得的外景图像，来识别透过上述显示部而被视觉确认的对象，并将与上述对象有关的信息显示于上述显示部。
[0008]根据本发明，由于基于外景图像来识别透过显示部而被视觉确认的对象，所以能够与使用者视觉确认的外景中的对象的位置、大小等对应地显示与对象有关的信息。因此，能够防止使用者视觉确认的外景与显示图像的不匹配，能够进行有效的显示。
[0009]另外，本发明的特征在于，在上述显示装置中，在上述对象在上述显示部中处于上述信息被显示的范围之外的情况下，上述控制部通过上述显示部进行将视线向上述对象引导的引导显示。
[0010]根据本发明，能够引导视线，以使得对象的位置收敛于信息被显示的范围内。
[0011 ] 另外，本发明的特征在于，在上述显示装置中，上述控制部基于上述外景图像取得部取得的外景图像，将透过上述显示部而能够视觉确认的范围的外景的图像显示于上述显示部。
[0012]根据本发明，能够改变使用者视觉确认的外景的图像的观察方式。
[0013]另外，本发明的特征在于，在上述显示装置中，上述显示部是佩戴于使用者的头部的头部佩戴型的显示部，具备:显示上述图像的第I显示部、在比上述第I显示部更靠外景侧显示在比上述第I显示部大的范围被视觉确认的图像的第2显示部，上述控制部通过上述第2显示部进行将视线向上述对象引导的引导显示。
[0014]根据本发明，在头部佩戴型的显示装置用2个显示部来进行显示的情况下，能够防止使用者视觉确认的外景与显示图像的不匹配。另外，能够在供使用者视觉确认显示图像的状态下，将使用者的视线引导至显示图像之外。
[0015]另外，本发明的特征在于，在上述显示装置中，上述显示部是佩戴于使用者的头部的头部佩戴型的显示部，具备检测上述使用者的视线的视线检测部，上述控制部与上述视线检测部检测的上述使用者的视线的方向对应地使上述显示部的显示变化。
[0016]根据本发明，能够使显示图像与使用者的视线对应，能够更有效地防止使用者视觉确认的外景与显示图像的不匹配。
[0017]另外，本发明的特征在于，在上述显示装置中，上述控制部将上述外景图像取得部取得的外景图像的一部分区域显示于上述显示部，并且与上述视线检测部检测的上述使用者的视线的方向对应地，在上述外景图像中使显示于上述显示部的一部分区域的位置变化。
[0018]根据本发明，由于与使用者的视线对应地显示外景图像，所以能够防止使用者视觉确认的外景与显示图像的不匹配，能够供使用者视觉确认外景图像。
[0019]另外，本发明的特征在于，在上述显示装置中，具备对包括透过上述显示部而被视觉确认的外景的范围进行拍摄的拍摄部，上述外景图像取得部取得上述拍摄部的拍摄图像来作为上述外景图像。
[0020]根据本发明，能够不用预先准备外景图像，就取得与使用者视觉确认的外景对应的外景图像，并能够显示图像。
[0021]另外，本发明的特征在于，在上述显示装置中，上述外景图像取得部通过取得上述拍摄部拍摄到的多个拍摄图像并进行合成来生成上述外景图像。
[0022]根据本发明，能够不受拍摄部的视角等限制地得到具有优选尺寸、视角的外景图像。
[0023]另外，本发明的特征在于，在上述显示装置中，具备多个上述拍摄部，上述外景图像取得部通过取得多个上述拍摄部分别拍摄到的多个拍摄图像并进行合成来生成上述外景图像。
[0024]根据本发明，能够使用多个拍摄图像来得到具有优选尺寸、视角的外景图像。
[0025]另外，本发明的特征在于，在上述显示装置中，具备与外部设备连接的连接部，上述外景图像取得部从与上述连接部连接的上述外部设备取得上述外景图像。
[0026]根据本发明，不预先存储外景图像或设置进行拍摄的装置，就能够取得外景图像。
[0027]另外，本发明的特征在于，在上述显示装置中，具备检测当前位置的位置检测部，上述外景图像取得部从与上述连接部连接的上述外部设备取得与上述位置检测部检测的当前位置对应的上述外景图像。
[0028]根据本发明，能够取得与显示装置的位置对应的外景图像。
[0029]另外，本发明的特征在于，在上述显示装置中，上述控制部通过从上述外景图像取得部取得的上述外景图像提取上述对象的图像，来识别上述对象。
[0030]根据本发明，能够使用外景图像来迅速地检测对象的位置。
[0031]这里，控制部也可以通过从外景图像检测预先设定的对象的图像并确定检测出的图像在外景图像中的位置，来识别对象。另外，可以由控制部预先设定识别的对象，也可以将与该对象有关的数据预先存储于存储部。这里存储的数据是用于检测并识别对象的数据，例如是对象的图像的特征量等。例如，在对象是物体的情况下，表示拍摄了该物体的情况下的拍摄图像的颜色、形状、其他特征的特征量被包含于设定数据。该情况下，控制部进行从外景图像的图像数据提取物体的图像的处理，计算提取出的物体的图像的特征量，将计算出的特征量与预先存储的数据中所包含的特征量进行比较对照。在特征量为接近的值或者相同的情况下，能够判定从外景图像提取出的图像的物体与对象一致，将该物体识别为对象。另外，在关于对象存储有多个特征量的数据的情况下，控制部也可以基于多个特征量来从外景图像中识别对象。另外，控制部也可以利用检测至对象的距离的距离检测部，检测至对象的距离，并基于检测出的距离来识别对象。另外，作为从外景图像中识别对象的方法，不仅仅取得外景图像进行基于特征量的处理，也可以根据使用显示装置的人(使用者)的指示，从外景图像所包含的物体等选择对象。该情况下，使用者的指示可以是基于声音的指示，也可以是针对显示装置具备的操作部的手指等的操作。另外，在显示装置具备识别手势操作的机构的情况下，也可以使用者通过手势操作来指定对象，从外景识别所指定的对象。
[0032]另外，为了实现上述目的，本发明的显示装置的特征在于，本发明的显示装置是佩戴于使用者的头部的显示装置，具备:显示部，其具有以使外景透过以便图像与上述外景一起被视觉确认的方式显示所述图像的显示区域；以及控制部，其识别位于透过上述显示区域而能够视觉确认的范围之外的对象，并输出与上述对象有关的信息。
[0033]根据本发明，即使在使用者注目的对象没有位于与显示区域重叠而能够视觉确认的位置的情况下，也能够向使用者提供与该对象有关的信息。
[0034]另外，本发明的特征在于，在上述显示装置中，在上述对象位于透过上述显示部而能够视觉确认的范围之外的情况下，上述控制部输出将上述使用者引导至能够视觉确认上述对象的状态的上述信息。
[0035]根据本发明，在使用者注目的对象没有位于透过显示部而被使用者能够视觉确认的位置的情况下，能够输出与对象有关的信息。因此，例如能够将使用者的视线朝向对象进行引导。
[0036]另外，本发明的特征在于，在上述显示装置中，在上述对象在上述显示部中透过上述显示区域的外侧而被视觉确认的情况下，上述控制部输出将上述使用者引导至透过上述显示区域而能够视觉确认上述对象的状态的上述信息。
[0037]根据本发明，在使用者注目的对象位于透过显示部而被使用者能够视觉确认的位置且没有位于与显示区域重叠而被视觉确认的位置的情况下，能够引导使用者的视线，从而视觉确认对象。
[0038]在本发明中，上述控制部也可以将构成上述信息的文字以及/或者图像显示于上述显示部的显示区域。另外，在本发明中，也可以具备输出声音的声音输出部，上述控制部通过上述声音输出部输出构成上述信息的声音。
[0039]另外，本发明的特征在于，在上述显示装置中，上述控制部取得表示上述对象的位置的位置信息，基于取得的上述位置信息来求出上述使用者透过上述显示区域视觉确认的范围与上述对象之间的相对位置并输出上述信息。
[0040]根据本发明，与对象的位置无关地而与对象的位置对应地输出信息，从而例如能够将使用者引导至朝向对象的方向。因此，例如，即使对象的位置不是能够从显示装置拍摄或者视觉确认对象的位置，也能够输出信息。
[0041]另外，本发明的特征在于，在上述显示装置中，上述控制部取得拍摄上述外景而得到的外景图像，基于取得的上述外景图像来求出上述使用者透过上述显示区域而视觉确认的范围与上述对象之间的相对位置并输出上述信息。
[0042]根据本发明，能够与使用者视觉确认的外景中的对象的位置对应地显示与对象有关的信息。因此，能够防止使用者视觉确认的外景与显示图像的不匹配，能够进行有效的显不O
[0043]另外，为了实现上述目的，本发明的显示装置的控制方法的特征在于，控制具备以使外景透过以便图像与上述外景一起被视觉确认的方式显示所述图像的显示部的显示装置，从而取得包括透过上述显示部而被视觉确认的外景的外景图像，基于取得的上述外景图像，识别透过上述显示部而被视觉确认的对象，并将与上述对象有关的信息显示于上述显示部。
[0044]根据本发明，由于基于外景图像来识别透过显示部而被视觉确认的对象，所以能够与使用者视觉确认的外景中的对象的位置、大小等对应地显示与对象有关的信息。因此，能够进行与使用者视觉确认的外景对应的有效的显示。
[0045]为了实现上述目的，本发明的程序使控制具备以使外景透过以便图像与上述外景一起被视觉确认的方式显示图像的显示部的显示装置的计算机作为以下的单元发挥作用，即:外景图像取得部，其取得包括透过上述显示部而被视觉确认的外景的外景图像；以及控制部，其基于上述外景图像取得部取得的外景图像，来识别透过上述显示部而被视觉确认的对象，并将与上述对象有关的信息显示于上述显示部。
[0046]根据本发明，控制显示装置，从而基于外景图像来识别透过显示部而被视觉确认的对象，因此能够与使用者视觉确认的外景中的对象的位置、大小等对应地显示与对象有关的信息。因此，能够进行与使用者视觉确认的外景对应的有效的显示。
[0047]为了实现上述目的，本发明的程序使控制具备以使外景透过，以便图像与上述外景一起被视觉确认的方式显示所述图像的显示部的显示装置的计算机作为控制部发挥作用，该控制部识别位于透过上述显示区域而能够视觉确认的范围之外的对象，并输出与上述对象有关的信息。
[0048]根据本发明，即使在使用者注目的对象没有位于与显示区域重叠而能够视觉确认的位置的情况下，也能够向使用者提供与该对象有关的信息。
【附图说明】
[0049]图1是表示第I实施方式的头部佩戴型显示装置的外观构成的说明图。
[0050]图2是表示图像显示部的光学系统的构成的图。
[0051]图3是表示图像显示部的要部构成的图。
[0052]图4是构成头部佩戴型显示装置的各部的功能框图。
[0053]图5是表示第I实施方式的头部佩戴型显示装置的动作的流程图。
[0054]图6是表示外景图像取得处理的第I方式的流程图。
[0055]图7是表示外景图像取得处理的第2方式所涉及的拍摄处理的流程图。
[0056]图8是表示外景图像取得处理的第2方式的流程图。
[0057]图9是表示外景图像取得处理的第3方式的流程图。
[0058]图10是表示头部佩戴型显示装置的显示例的图，图10的(A)表示使用者的视场，图10的(B)表不外景图像的例子，图10的(C)表不引导图像的显不例。
[0059]图11是表示头部佩戴型显示装置的显示例的图，图11的(A)表示缩小显示的例子，图11的(B)表示检测注视方向的例子，图11的(C)表示放大注视方向后的显示例。
[0060]图12是表示第2实施方式的头部佩戴型显示装置的动作的流程图。
[0061]图13是表示头部佩戴型显示装置的引导动作的具体例子的图，图13的(A)表示基于图像的引导动作的例子，图13的(B)表示基于图像和文本的引导动作的例子。
[0062]图14是表示头部佩戴型显示装置的引导动作的具体例子的图。
[0063]图15是表示头部佩戴型显示装置的引导动作的具体例的图，图15的(A)表示将标志作为操作对象的例子，图15的(B)表示针对标志的操作例子，图15的(C)表示针对标志的操作的其他例子。
[0064]图16是表示第3实施方式的头部佩戴型显示装置的动作的流程图。
[0065]图17是表示头部佩戴型显示装置的显示例的图，图17的(A)表示使用者的视场，图17的(B)表示外景图像的例子，图17的(C)表示外景图像的显示例。
[0066]图18是构成第4实施方式的头部佩戴型显示装置的各部的功能框图。
[0067]图19是表示第4实施方式的图像显示部的光学系统的构成的图。
[0068]图20是表示头部佩戴型显示装置的动作的流程图。
[0069]图21是表示头部佩戴型显示装置的显示例的图，图21的(A)表示右透明IXD、左透明IXD的显示的例子，图21的(B)表示半透镜的显示的例子，图21的(C)表示显示重叠了的状态。
【具体实施方式】
[0070]第I实施方式
[0071]图1是表示应用了本发明的实施方式所涉及的头部佩戴型显示装置100(显示装置)的外观构成的说明图。
[0072]头部佩戴型显示装置100具备在被佩戴于使用者的头部的状态下供使用者视觉确认虚像的图像显示部20、和控制图像显示部20的控制装置10。控制装置10也作为使用者操作头部佩戴型显示装置100的控制器发挥作用。
[0073]图像显示部20是供佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20具备右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学图像显示部26、左光学图像显示部28、右相机61 (拍摄部)、左相机62 (拍摄部)、麦克风63、距离传感器64。右光学图像显示部26以及左光学图像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右以及左的眼睛前。右光学图像显示部26的一端与左光学图像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间对应的位置相互连结。
[0074]右保持部21是从作为右光学图像显示部26的另一端的端部ER到与使用者佩戴了图像显示部20时的使用者的颞颥部对应的位置延伸设置的部件。同样地，左保持部23是从作为左光学图像显示部28的另一端的端部EL到与使用者佩戴了图像显示部20时的使用者的颞颥部对应位置延伸设置的部件。右保持部21以及左保持部23如形成为眼镜的眼镜腿(挂耳)，将图像显示部20保持于使用者的头部。
[0075]右显示驱动部22和左显示驱动部24被配置于与使用者佩戴了图像显示部20时的使用者的头部对置侧。此外，也将右显示驱动部22以及左显示驱动部24总称而简称为“显示驱动部”，也将右光学图像显示部26以及左光学图像显示部28总称而简称为“光学图像显示部”。
[0076]显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display，以下称为“IXD241、242”)、参照图2?图4后述的投影光学系统251、252等。
[0077]右光学图像显示部26以及左光学图像显示部28具备导光板261、262(图2)和调光板20A。导光板261、262由透光性的树脂等形成，将显示驱动部22、24输出的图像光向使用者的眼睛引导。调光板20A是薄板状的光学元件，配置成覆盖与使用者的眼睛侧相反侧的图像显示部20的表侧。调光板20A能够使用几乎没有透光性的调光板、接近于透明的调光板、使光量衰减并使透光的调光板、使确定波长的光衰减或反射的调光板等各种调光板。通过适当选择调光板20A的光学特性(透光率等)，能够调整从外部向右光学图像显示部26以及左光学图像显示部28射入的外部光量，从而能够调整虚像的视觉确认的容易度。在本实施方式中，对使用至少具有佩戴了头部佩戴型显示装置100的使用者能够视觉确认外面景色的程度的透光性的调光板20A的情况进行说明。调光板20A保护右导光板261以及左导光板262，抑制右导光板261以及左导光板262的损伤、污垢的附着等。
[0078]调光板20A能够相对于右光学图像显示部26以及左光学图像显示部28拆装，也能够更换多种调光板20A来佩戴，也可以省略。
[0079]右相机61在头部佩戴型显示装置100的前面被配置在右保持部21侧的端部。另夕卜，左相机62在头部佩戴型显示装置100的前面被配置在左保持部23侧的端部。右相机61、左相机62是具备(XD、CM0S等拍摄元件以及拍摄透镜等的数码相机，可以是单眼相机也可以是立体相机。
[0080]右相机61以及左相机62拍摄头部佩戴型显示装置100的表侧方向、换言之佩戴了头部佩戴型显示装置100的状态下的使用者的视野方向的至少一部分的外景。能够适当设定右相机61以及左相机62的视角的广度，但在本实施方式中，如后述那样，是包括使用者通过右光学图像显示部26、左光学图像显示部28来视觉确认的外界的视角。另外，更加优选设定右相机61、左相机62的拍摄范围为能够拍摄通过调光板20A的使用者的视野的整体。
[0081]右相机61以及左相机62根据控制部140具备的图像取得部161 (图3)的控制执行拍摄，并将拍摄图像数据向图像取得部161输出。
[0082]距离传感器64被配置在右光学图像显示部26与左光学图像显示部28的分界线部分。在使用者佩戴了图像显示部20的状态下，距离传感器64的位置在水平方向上位于使用者的两眼的大致中间，在竖直方向上位于比使用者的两眼靠上。
[0083]距离传感器64检测至位于预先设定的测定方向上的测定对象物为止的距离。距离传感器64例如具有LED、激光二极管等光源和接收光源发出的光在测定对象物反射的反射光的受光部。该情况下，距离传感器64根据后述的位置检测部162的控制，执行三角测距处理、基于时间差的测距处理。另外，距离传感器64也可以是具备发出超声波的声源和接收在测定对象物反射的超声波的检测部的构成。该情况下，距离传感器64根据后述的位置检测部162的控制，基于至超声波的反射为止的时间差执行测距处理。此外，距离传感器64也可以具备光源、受光部或者声源和检测部，位置检测部162进行测距处