显示装置、显示装置的控制方法及程序的制作方法
【技术领域】
[0001]本发明涉及显示装置、显示装置的控制方法及程序。
【背景技术】
[0002]以往，在可佩戴式显示装置中，已知与外界视野相重叠而进行显示的显示装置(例如，参照专利文献1)。专利文献1记载的装置具有重叠显示外界视野与文字的结构，关于显示的一部分文字或单词，改变字体尺寸和/或文字的颜色等显示属性从而容易识别例如文章的一部分文字。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2014-56217号公报
【发明内容】
[0006]在专利文献1中，关于使用可佩戴式显示装置的使用者观看显示装置显示的文字或外界视野的任一的情况下的显示方法作了记载。相对于此，关于考虑到使用者一并观看外界的显示方法的提案一直就没有。
[0007]本发明是鉴于上述状况而作出的，目的在于提供能够有效地组合使用者可见的外界与显示内容的显示装置、显示装置的控制方法及程序。
[0008]为了达到上述目的，本发明的显示装置，被佩戴于使用者的身体而使用，其特征在于，具备:显示部，其透射外景，并显示图像使得能够一并观看所述外景和该图像；拍摄部，其对所述使用者的视线方向进行拍摄；图像生成部，其根据所述拍摄部的拍摄图像生成显示用图像；和图像显示控制部，其使所述图像生成部生成的显示用图像显示于所述显示部。
[0009]根据本发明，能够显示图像，使得基于对使用者的视线方向进行拍摄后的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够通过有效地组合显示装置外部的外景与显示内容以提供由显示装置进行的显示的新的有效活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。
[0010]并且，本发明的特征为:在上述显示装置中，具备检测所述显示装置的使用状态的检测部；所述图像显示控制部与所述检测部检测出的所述显示装置的使用状态相对应而调整所述显示用图像的所述显示部中的显示状态。
[0011]根据本发明，能够与显示装置的使用环境和/或使用者的使用方法相对应而调整显示于显示部的图像的显示尺寸和/或显示位置等状态。因此，能够配合使用者观看外景的观看方法而进行显示。
[0012]并且，本发明的特征为:在上述显示装置中，所述检测部进行与所述显示装置的位置相关的检测，所述图像显示控制部与所述检测部检测出的所述显示装置的位置相对应而调整所述显示用图像的显示状态。
[0013]根据本发明，能够基于显示装置的位置，配合使用者观看外景的观看方法而进行显不ο
[0014]并且，本发明的特征为:在上述显示装置中，所述图像显示控制部与所述检测部检测出的所述显示装置的位置相对应而调整所述显示用图像的显示位置或显示尺寸的至少任一，使得所述显示用图像避开所述使用者的视线方向的中心。
[0015]根据本发明，能够显示用拍摄部拍摄到的图像使得其不会妨碍使用者观看外景。
[0016]并且，本发明的特征为:在上述显示装置中，具备动作检测部，所述动作检测部基于所述拍摄部的拍摄图像来检测所述使用者的动作；所述图像显示控制部与所述动作检测部检测出的所述使用者的动作相对应而调整所述显示用图像的显示状态。
[0017]根据本发明，使用者作出动作使得拍摄部能够进行拍摄作，从而能够调整显示用图像的显示状态。
[0018]并且，本发明的特征为:在上述显示装置中，具备检测声音的声音检测部；所述图像显示控制部与所述声音检测部的声音检测结果相对应而调整所述显示用图像的显示状
??τ ο
[0019]根据本发明，使用者发出的声音，从而能够调整显示用图像的显示状态。
[0020]并且，本发明的特征为:在上述显示装置中，所述图像生成部通过提取所述拍摄部的拍摄图像的一部分并予以处理，从而生成所述显示用图像。
[0021]根据本发明，因为利用对使用者的视线方向进行拍摄后的拍摄图像进行显示，所以能够让使用者一并观看外景和对外景的一部分进行处理后的图像。
[0022]并且，本发明的特征为:在上述显示装置中，具备动作检测部，所述动作检测部基于所述拍摄部的拍摄图像来检测所述使用者的动作；所述图像生成部从所述拍摄部的拍摄图像中提取基于所述动作检测部检测出的所述使用者的动作而确定的区域并予以处理，并生成所述显示用图像。
[0023]根据本发明，使用者作出动作使得拍摄部能够进行拍摄，从而能够确定要从拍摄图像中提取的范围。
[0024]并且，本发明的特征为:在上述显示装置中，所述图像生成部通过将所述拍摄部的拍摄图像的一部分取出并将其放大，从而生成所述显示用图像。
[0025]根据本发明，因为放大显示对使用者的视线方向进行拍摄后的拍摄图像的一部分，所以使用者能够一边观看外景一边放大地观看视线方向。
[0026]并且，本发明的特征为:在上述显示装置中，所述图像生成部通过从所述拍摄部的拍摄图像中取出符合预先设定的条件的区域，从而生成所述显示用图像。
[0027]根据本发明，能够显示符合预先设定的条件的拍摄图像。因此，在拍摄到了例如符合使用者的嗜好和/或兴趣的拍摄图像的情况下，能够由显示部显示该拍摄图像而让使用者观看到该拍摄图像。
[0028]并且，本发明的特征为:在上述显示装置中，具备对象检测部，所述对象检测部确定与所述使用者的视线方向相当的方向，并从所述拍摄部的拍摄图像中检测位于所述使用者的视线方向的对象物；所述图像生成部从所述拍摄部的拍摄图像中提取包括所述对象检测部检测出的所述对象物的图像的区域并予以处理，并生成所述显示用图像。
[0029]根据本发明，在对象物存在于使用者的视线方向的情况下，能够让使用者观看到该对象物的图像。
[0030]并且，本发明的特征为:在上述显示装置中，所述对象检测部检测所述使用者的视线方向，并检测位于检测出的所述使用者的视线方向的所述对象物。
[0031]根据本发明，能够将拍摄图像中与使用者的视线方向相对应的部分设为显示用图像。
[0032]并且，本发明的特征为:在上述显示装置中，所述对象检测部检测所述使用者的双眼之中的与惯用眼相当的眼睛的视线方向。
[0033]根据本发明，能够将拍摄图像中与使用者的惯用眼的视线方向相对应的部分设为显示用图象。
[0034]并且，本发明的特征为:在上述显示装置中，所述对象检测部，在由所述动作检测部检测出了所述使用者的预定动作的情况下，基于该预定动作来确定与所述使用者的视线方向相当的方向。
[0035]根据本发明，通过使用者的动作，能够指定从拍摄图像中作为显示用图像提取的部分。
[0036]并且，本发明的特征为:在上述显示装置中，所述对象检测部，在所述动作检测部检测出了由所述使用者的四肢的至少任一进行的动作的情况下，基于检测出的动作来确定与所述使用者的视线方向相当的方向。
[0037]根据本发明，使用者进行移动四肢的动作，从而能够指定从拍摄图象中作为显示用图象提取的部分。
[0038]并且，本发明的特征为:在上述显示装置中，具备存储所述对象物的图像的特征量的存储部；所述对象检测部通过从所述拍摄部的拍摄图像中检测适合所述存储部存储的特征量的图像，从而检测所述对象物。
[0039]根据本发明，能够基于拍摄图像容易地检测对象物。
[0040]并且，本发明的特征为:在上述显示装置中，所述存储部中存储的所述特征量包括特定的所述对象物的图像的特征量及与类似的多种类型的对象物相对应的通用的特征量的任一。
[0041]根据本发明，能够基于存储的特征量，来执行检测特定对象物的处理或者检测类似的多个对象物的任一的处理。
[0042]并且，本发明的特征为:在上述显示装置中，具备距离检测部，所述距离检测部检测由所述对象检测部检测出的所述对象物与所述使用者的距离；所述图像显示控制部按与所述距离检测部检测出的距离相应的放大率对所述拍摄部的拍摄图像的一部分进行放大，并生成所述显示用图像。
[0043]根据本发明，能够按与使用者与视线方向的对象物的距离相配合的放大率，让使用者观看对象物的图像。
[0044]并且，本发明的特征为:在上述显示装置中所述图像生成部获取有所述拍摄部在不同时刻拍摄到的多个拍摄图像，在这些多个拍摄图像中确定符合预先设定的条件的区域，由此生成所述显示用图像。
[0045]根据本发明，能够针对多个拍摄图像设定更加复杂的条件，以符合该条件的拍摄图像为基础让使用者观看图像。
[0046]并且，本发明的特征为:在上述显示装置中，所述图像生成部获取由所述拍摄部在不同时刻拍摄到的多个拍摄图像，在这些多个拍摄图像的图像之间的差别符合预先设定的条件的情况下，将获取到的拍摄图像取出而生成所述显示用图像。
[0047]根据本发明，因为能够以多个拍摄图像的差别为基础而生成显示用图像并予以显示，所以对于例如包括连续的多个图像的动态图像，能够基于图像的变化而生成显示用图像并予以显示。
[0048]并且，为了达到上述目的，本发明为一种显示装置的控制方法，是具备透射外景并显示图像使得能够一并观看所述外景和该图像的显示部且被佩戴于使用者的身体而使用的显示装置的控制方法，其特征在于:对所述使用者的视线方向进行拍摄；通过将拍摄图像的一部分取出并对其进行放大，由此生成显示用图像；使生成的显示用图像显示于所述显示部。
[0049]根据本发明，能够显示图像使得基于对使用者的视线方向进行拍摄后的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够通过有效地组合显示装置外部的外景与显示内容以提供由显示装置进行的显示的新的有效活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。
[0050]并且，为了达到上述目的，本发明为一种程序，是计算机可执行的对显示装置进行控制的程序，所述显示装置具备透射外景并显示图像使得能够一并观看所述外景和该图像的显示部，被佩戴安装于使用者的身体而使用，其特征在于，使所述计算机作为图像生成部和图像显示控制部发挥作用；所述图像生成部，通过将对所述使用者的视线方向进行了拍摄的拍摄图像的一部分取出并对其进行放大，由此生成显示用图像；和所述图像显示控制部，使所述图像生成部生成的显示用图像显示于所述显示部。
[0051]根据本发明，能够显示图像使得基于对使用者的视线方向进行拍摄后的拍摄图像的显示用图像重叠于作为外景可见的对象物。因此，能够通过有效地组合显示装置外部的外景与显示内容以提供由显示装置进行的显示的新的有效活用方法，例如基于对该外景进行拍摄后的拍摄图像来补充使用者观看的外景的观看方法、并且/或者提出别的观看方法等。
【附图说明】
[0052]图1是表示第1实施方式的头部佩戴型显示装置的外观结构的说明图。
[0053]图2是按功能表示头部佩戴型显示装置的结构的框图。
[0054]图3是表示存储于存储部的数据的例子的说明图。
[0055]图4是表示头部佩戴型显示装置的工作的流程图。
[0056]图5是表示头部佩戴型显示装置的典型的应用例的说明图，(A)表示使用者的视野的例子，⑶及(C)表示从拍摄图像分离出来的图像的例子，⑶表示显示了显示用图像的情况下使用者的视野的例子。
[0057]图6是表示头部佩戴型显示装置的工作的流程图。
[0058]图7是表示头部佩戴型显示装置的工作的例子的图，(A)表示头部佩戴型显示装置的使用环境的例子，(B)及(C)表示显示例。
[0059]图8是表示第2实施方式的头部佩戴型显示装置的功能性结构的框图。
[0060]图9是表示图像显示部的要部结构的图，(A)是从使用者的头部侧看图像显示部的要部立体图，(B)是视线方向的说明图。
[0061]图10是表示头部佩戴型显示装置的工作的流程图。
[0062]图11是表示头部佩戴型显示装置的显示例的图。
[0063]图12是表示头部佩戴型显示装置的显示例的图。
[0064]符号说明
[0065]10...控制装置，20、20B…图像显示部(显示部)，21…右保持部，22…右显示驱动部，23...左保持部，24…左显不驱动部，26…右光学像显不部，28…左光学像显不部，61…相机(拍摄部)，63…麦克风，64…距离传感器，68…视线传感器，100、100B…头部佩戴型显示装置(显示装置)，117…通信部，120…存储部，140…控制部，150…操作系统，160…图像处理部，170…声音处理部，171...对象检测部，173…距离检测部，176...图像显示控制部，177…图像生成部，180...接口，190…显示控制部，201...右背光源控制部，202...左背光源控制部，211…右IXD控制部，212…左IXD控制部，221…右背光源，222…左背光源，241…右LCD，242...左LCD，251...右投影光学系统，252...左投影光学系统，261...右导光板，262...左导光板，DA…数据获取部。
【具体实施方式】
[0066](第1实施方式)
[0067]以下，关于应用了本发明的实施方式进行说明。
[0068]图1是表示第1实施方式涉及的头部佩戴型显示装置100的外观结构的说明图。头部佩戴型显示装置100为佩戴在头部的显示装置，也被称为头戴式显示器(Head MountedDisplay,HMD)。本实施方式的头部佩戴型显示装置100为使用者在观看虚像的同时也能够直接观看外景的光学透射型的头部佩戴型显示装置。还有，在本说明书中，为了方便，也将使用者通过头部佩戴型显示器100所观看的的虚像称为“显示图像”。并且，将出射基于图像数据而生成的图像光的动作也称为“对图像进行显示”。
[0069]头部佩戴型显示器100具备:图像显示部20，其在被佩戴于使用者头部的状态下使使用者观看虚像；和对图像显示部20进行控制的控制装置10。控制装置10也作为使用者用于对头部佩戴型显示装置100进行操作的控制器发挥作用。图像显示部20也简单地称为“显示部”。
[0070]图像显示部20为佩戴在使用者头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20具备右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、相机61 (拍摄部)和麦克风63。右光学像显示部26及左光学像显示部28分别配置为，在使用者佩戴了图像显示部20时位于使用者的右眼及左眼之前，右光学像显示部26的一端与左光学像显示部28的一端在与使用者佩戴了图像显示部20时的使用者的眉间相对应的位置相互连接。
[0071]右保持部21为从右光学像显示部26的另一端即端部ER延伸设置到与使用者佩戴了图像显示部20时的使用者的侧面头部相对应的位置的部件。同样地，左保持部23为从左光学像显示部28的另一端即端部EL延伸设置到与使用者佩戴了图像显示部20时的用者的侧面头部相对应的位置的部件。右保持部21及左保持部23如眼镜的镜腿(脚丝)那样将图像显示部20保持在使用者的头部。
[0072]右显示驱动部22与左显示驱动部24配置于在使用者佩戴图像显示部20时与使用者的头部相对的一侧。还有，下面，还将右保持部21及左保持部23总地简称为“保持部”，将右显示驱动部22及左显示驱动部24笼统简称为“显示驱动部”，将右光学像显示部26及左光学像显示部28笼统简称为“光学像显示部”。
[0073]显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display，以下也称为“IXD241、242”)和/或投影光学系统251、252等(参照图2)。后述显示驱动部22、24的详细结构。作为光学部件的光学像显示部26、28具备导光板261、262(参照图2)和调光板20A。导光板261、262由光透射性的树脂等形成，将从显示驱动部22、24输出的图像光导向使用者的眼睛。调光板20A为薄板状的光学元件，配置为覆盖与使用者的眼睛侧相反的一侧即图像显示部20的表侧。调光板20A可以采用光透射性基本为零、近乎透明、使光量衰减而使光透射、使特定波长的光衰减或对其进行反射等各种调光板。通过适宜地选择调光板20A的光学特性(光透射率等)，从而能够对从外部入射于右光学像显示部26及左光学像显示部28的外光量进行调整，对虚像的观看难易度进行调整。在本实施方式中，对采用具有佩戴了