头部佩戴型显示装置以及头部佩戴型显示装置的控制方法与流程

本发明涉及头部佩戴型显示装置以及头部佩戴型显示装置的控制方法。

背景技术：
公知有在现实环境中使用计算机附加提示信息的被称作增强现实（AR，AugmentedReality）的技术。增强现实搭载于智能手机、头戴式显示器（以下，称为“头部佩戴型显示装置”。）等。图1是用于对增强现实进行说明的说明图。图1（A）表示利用非透射型的头部佩戴型显示装置实现增强现实的情况。头部佩戴型显示装置利用照相机拍摄外景，对通过拍摄而得到的图像CP进行图像识别，生成用于附加提示的信息（图示例子中的目标OB）。头部佩戴型显示装置将使拍摄的图像CP和生成的目标OB重叠的图像显示在液晶画面上。由此，头部佩戴型显示装置的使用者能够体验增强现实。此外，在这里，对使用非透射型的头部佩戴型显示装置实现增强现实的例子进行了说明，但利用智能手机等也能够实现。例如，在引用文献1中，公开有搭载了增强现实的技术的非透射型的头部佩戴型显示装置。专利文献1：日本特开2011－203823号公报专利文献2：日本特开2010－146481号公报图1（B）是表示利用光学透射型的头部佩戴型显示装置实现增强现实的情况。即使在光学透射型的头部佩戴型显示装置中，也与非透射型相同，对通过拍摄而得到的图像CP进行图像识别，生成用于附加提示的信息（目标OB）。其后，在光学透射型的头部佩戴型显示装置中，在液晶画面上只显示生成的目标OB。使用者能够通过视觉确认在液晶画面上显示、作为虚像VI显示的目标OB、和透过眼前的透镜看见的外景SC双方，体验增强现实。此外，将从图1（B）的左边第1张所示的通过拍摄得到的区域称为“拍摄视场”，从图1（B）的左边第2张所示的作为虚像VI显示的区域称为“影像视场”，将从图1（B）的左边第3张所示的作为外景SC可视觉确认的区域称为“现实视场”。这里，存在在使用者的眼前投射虚像VI的区域（现实视场和影像视场重合的部分）的大小、与利用照相机可拍摄的区域（拍摄视场）的大小不一致的情况。在两者的大小不一致的情况下，存在在光学透射型的头部佩戴型显示装置中，作为虚像VI显示的目标OB与透过眼前的透镜看见的外景SC之间产生偏差，给予使用者不协调感这样的问题。具体而言，例如，在利用照相机可拍摄的区域（影像视场）很宽广的情况下，在现有的光学透射型的头部佩戴型显示装置中，生成与该宽广的范围对应的目标OB，作为虚像VI显示在使用者的眼前。这样的情况下，使用者因在自己眼前投射虚像VI的区域（现实视场和影像视场重合的部分）内的外景SC和目标OB之间产生的差异，记住不协调感。

技术实现要素：
本发明的目的在于，在光学透射型的头部佩戴型显示装置中，减少实现增强现实时所产生的不协调感。本发明是为了解决上述的课题的至少一部分而完成的，能够作为以下的方式或者应用例实现。应用例1该头部佩戴型显示装置是使用者能够同时视觉确认虚像和外景的头部佩戴型显示装置，具备：拍摄部，其拍摄外景来获取外景图像；增强现实处理部，其解析获取的上述外景图像，并且根据解析的结果来生成增强现实用的附加图像数据；显示元件，其使用生成的上述附加图像数据来生成图像光；以及导光部，其使用生成的上述图像光在使用者的眼前形成虚像；其中，上述增强现实处理部获取上述外景图像中的、上述虚像的显示区域和上述拍摄部的拍摄区域重复的重复区域，并使用上述重复区域来生成上述附加图像数据。根据这样的构成，增强现实处理部获取虚像的显示区域和拍摄部的拍摄区域重复的重复区域，并使用重复区域来生成附加图像数据，所以能够减少在增强现实处理部实现增强现实时产生的不协调感。应用例2该头部佩戴型显示装置是应用例1所述的头部佩戴型显示装置，还具备：存储部，其存储用于对上述使用者显示上述虚像的显示区域的向导图像数据，上述增强现实处理部使采用了上述向导图像数据的图像光得以生成，并且以在上述虚像的显示区域上示出规定的标记的方式引导上述使用者，并使上述外景图像得以获取，取得通过解析获取的外景图像而得到的标记的位置，并将所得到的所述标记的所述位置作为重复区域和其他的区域之间的边界。根据这样的构成，增强现实处理部生成使用了向导图像数据的图像光，并且以在虚像的显示区域上示出规定的标记的方式引导使用者，使外景图像得以获取，取得通过解析获取的外景图像而得到的标记的位置，并将所得到的所述标记的所述位置作为重复区域和其他的区域之间的边界。其结果，增强现实处理部能够获取虚像的显示区域和拍摄部的拍摄区域重复的重复区域。应用例3该头部佩戴型显示装置是应用例2所述的头部佩戴型显示装置，上述向导图像数据是具有与上述显示元件相同的纵横比的矩形形状，包含配置在其四个角中的至少2角处的引导标志，上述增强现实处理部对上述使用者以通过用手指指示上述引导标志而表示上述标记的方式进行引导。根据这样的构成，增强现实处理部对使用者以用手指指示引导标志而示出标记的方式进行引导，所以无需特别的装置，并且，能够利用使用者容易明白的简单的操作，在虚像的显示区域标注规定的标记。应用例4该头部佩戴型显示装置是应用例2所述的头部佩戴型显示装置，上述向导图像数据是具有与上述显示元件相同的纵横比的矩形形状，包含配置在其四个角中的至少2角处的框状的引导标志，上述增强现实处理部对上述使用者以对准于上述引导标志的框内配置具有矩形形状的侧面的物体而示出上述标记的方式进行引导。根据这样的构成，增强现实处理部对使用者以对准于引导标志的框内配置具有矩形形状的侧面的物体而示出标记的方式进行引导，所以能够通过一次操作在虚像的显示区域标注标记。应用例5该头部佩戴型显示装置是应用例1～4中的任意一项所述的头部佩戴型显示装置，还具备：第2拍摄部，其配置在佩戴上述头部佩戴型显示装置时与使用者的右侧的眼睛或者太阳穴或者它们周边对应的位置，拍摄外景来获取第2外景图像；以及第3拍摄部，其配置在佩戴上述头部佩戴型显示装置时与使用者的左侧的眼睛或者太阳穴或者它们周边对应的位置，拍摄外景来获取第3外景图像，上述增强现实处理部进一步求出上述第2外景图像所包含的特定的物体和上述第3的外景图像所包含的上述特定的物体之间的偏差量，根据求出的上述偏差量来获取与外界的上述物体的景深相关的信息。根据这样的构成，增强现实处理部能够进一步求出由配置在佩戴头部佩戴型显示装置时与使用者的右侧的眼睛或者太阳穴或者它们周边对应的位置的第2拍摄部拍摄的第2外景图像所包含的特定的物体、和由配置在佩戴头部佩戴型显示装置时与使用者的左侧的眼睛或者太阳穴或者它们周边对应的位置的第3拍摄部拍摄的第3外景图像所包含的特定的物体之间的偏差量，并根据求出的偏差量获取与外界的物体的景深相关的信息。此外，本发明能够以各种方式实现，例如，能够以头部佩戴型显示装置以及头部佩戴型显示装置的控制方法、图像显示系统、用于实现这些方法、装置或者系统的功能的计算机程序、和记录该计算机程序的记录介质等方式实现。附图说明图1是用于对增强现实进行说明的说明图。图2是表示本发明的一实施例中的头部佩戴型显示装置的外观的构成的说明图。图3是功能性表示头戴式显示器的构成的框图。图4是表示通过图像光生成部射出图像光的情况的说明图。图5是表示被使用者识别的虚像的一个例子的说明图。图6是表示区域决定处理的顺序的流程图。图7是用于对区域决定处理进行说明的说明图。图8是表示由照相机拍摄的外景图像的一个例子的说明图。图9是表示第2实施例中的区域决定处理的顺序的流程图。图10是用于对第2实施例中的区域决定处理进行说明的说明图。图11是表示第3实施例中的头部佩戴型显示装置的外观的构成的说明图。图12是用于对利用景深获取处理获取的景深信息进行说明的说明图。图13是用于对景深获取处理进行说明的说明图。具体实施方式接下来，基于实施例对本发明的实施方式进行说明。A．第1实施例：（A－1）头部佩戴型显示装置的构成：图2是表示本发明的一实施例中的头部佩戴型显示装置的外观的构成的说明图。头部佩戴型显示装置HM是佩戴于头部的头部佩戴型显示装置，也称为头戴式显示器（HeadMountedDisplay，HMD）。本实施例的头戴式显示器HM是在使用者视觉确认虚像的同时也能够直接视觉确认外景的光学透射型的头部佩戴型显示装置。头戴式显示器HM具备：图像显示部20，其在佩戴于使用者的头部的状态下使使用者视觉确认虚像；和控制部（控制器）10，其控制图像显示部20。图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、和照相机61。右光学像显示部26以及左光学像显示部28配置在佩戴头戴式显示器HM时与使用者的右眼以及左眼前对应的位置。右光学像显示部26的一端、和左光学像显示部28的一端分别在佩戴头戴式显示器HM时与使用者的眉间对应的位置上连接。从作为右光学像显示部26的另一端的端部ER延伸有右保持部21。同样，从作为左光学像显示部28的另一端的端部EL延伸有左保持部23。右保持部21是从右光学像显示部26的端部ER到佩戴头戴式显示器HM时与使用者的侧头部对应的位置，以与右光学像显示部26几乎成直角的方式延伸设置的部件。同样，左保持部23是从左光学像显示部28的端部EL到佩戴头戴式显示器HM时与使用者的侧头部对应的位置，以与左光学像显示部28几乎成直角的方式延伸设置的部件。右保持部21和左保持部23像眼镜腿（挂耳部分）那样，将头戴式显示器HM保持在使用者的头部。右显示驱动部22配置在右保持部21的内侧，换句话说，配置在佩戴头戴式显示器HM时与使用者的头部对置的一侧，即右光学像显示部26的端部ER侧。另外，左显示驱动部24配置在左保持部23的内侧，即配置在左光学像显示部28的端部EL侧。此外，以下，将右保持部21以及左保持部23统称为“保持部”，将右显示驱动部22以及左显示驱动部24统称为“显示驱动部”，将右光学像显示部26以及左光学像显示部28统称为“光学像显示部”。显示驱动部包含未图示的LCD（LiquidCrystalDisplay：液晶显示器）、投射光学系统等。详细内容后述。作为光学部件的光学像显示部包含未图示的导光板、和调光板。导光板由透光性的树脂材料等形成，使从显示驱动部获取的图像光朝向使用者的眼睛射出。调光板是薄板状的光学元件，以覆盖头戴式显示器HM的表面侧（与使用者的眼睛侧相反的一侧）的方式配置。调光板保护导光板，抑制导光板的损伤、附着污垢等，并且通过调整调光板的透光率，能够调节进入使用者的眼睛的户外光量，调整虚像的视觉确认的难易。此外，也可以省略调光板。照相机61配置在佩戴头戴式显示器HM时与使用者的眉间对应的位置。照相机61拍摄头戴式显示器HM的表面侧方向，换句话说，与使用者的眼睛侧相反的一侧方向的外景（外部的景色），获取外景图像。在本实施例中，照相机61相当于“拍摄部”。本实施例中的照相机61例示单眼照相机，但也可以采用立体照相机。图像显示部20还具有用于将图像显示部20连接在控制部10的连接部40。连接部40包括与控制部10连接的主体电线48、主体电线48分成2根的右电线42以及左电线44、和设在分支点的连结部件46。右电线42从右保持部21的延伸方向的前端部AP插入右保持部21的壳体内，并与右显示驱动部22连接。同样，左电线44从左保持部23的延伸方向的前端部AP插入左保持部23的壳体内，并与左显示驱动部24连接。图像显示部20和控制部10经由连接部40进行各种信号的传送。在主体电线48中的与连结部件46相反侧的端部、和控制部10上分别设置有相互嵌合的连接器（图示省略），通过主体电线48的连接器与控制部10的连接器的嵌合/嵌合解除，能够进行控制部10和图像显示部20的连接/分离。右电线42、左电线44、和主体电线48能够采用例如，金属电缆、光纤。控制部10是用于操作头戴式显示器HM的装置。控制部10包括点亮部12、触摸板14、十字键16、和电源开关18。点亮部12通过其发光状态通知头戴式显示器HM的动作状态（例如，电源的ON／OFF等）。作为点亮部12，例如能够使用LED（LightEmittingDiode：发光二级管）。触摸板14检测在触摸板14的操作面上的使用者的手指的操作，输出与检测内容对应的信号。十字键16检测对与上下左右方向对应的键的按下操作，输出与检测内容对应的信号。电源开关18通过检测开关的滑动操作，切换头戴式显示器HM的电源接通状态。图3是功能性表示头戴式显示器HM的构成的框图。控制部10具备输入信息获取部110、存储部120、电源130、CPU140、接口180、发送部（Tx）51以及52，各部件通过未图示的总线相互连接。输入信息获取部110例如具有获取与针对触摸板14或十字键16、电源开关18的操作输入等的由使用者进行的操作输入对应的信号的功能。存储部120是包含未图示的ROM、RAM、DRAM、硬盘等的存储部。另外，在存储部120中包含坐标信息存储部122。坐标信息存储部122是用于储存由AR处理部142执行的区域决定处理中所求出的坐标的存储区域。电源130向头戴式显示器HM的各部供给电力。作为电源130例如能够使用二次电池。CPU140通过执行预先安装的程序，来提供作为操作系统（ОS）150的功能。而且，CPU140通过将储存在ROM和硬盘中的固件、计算机程序展开到RAM并执行，从而也作为AR处理部142、图像处理部160、声音处理部170、显示控制部190发挥作用。AR处理部142将来自OS150、特定的游戏应用程序的处理开始请求作为触发来执行用于实现增强现实的处理（以下，称为“AR处理”。）。在AR处理中，AR处理部142解析通过照相机61获取的外景图像，并根据解析的结果来生成用于增强现实的附加图像数据。对于外景图像的解析方法以及附加图像数据的生成方法是公知的，所以省略说明。另外，AR处理部142在AR处理之前执行区域决定处理。区域决定处理是用于决定在AR处理内“解析外景图像”时的解析范围的处理。详细内容后述。此外，将AR处理部142称作“增强现实处理部”。图像处理部160基于在AR处理中生成的附加图像数据、经由接口180输入的内容等，生成时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、图像数据Data，并经由连接部40将这些信号供给给图像显示部20。在进行基于指定的附加图像数据的供给的情况下，图像处理部160获取作为默认值预先决定并储存在存储部120内的显示设定（VSync、HSync等）。图像处理部160根据获取的显示设定，利用未图示的PLL（PhaseLockedLoop：锁相环）电路等生成时钟信号PCLK。其后，图像处理部160将附加图像数据Data（RGB数据）储存到存储部120内的DRAM中。另一方面，在进行基于内容的供给的情况下，图像处理部160获取内容所包含的图像信号。获取的图像信号例如为动态图像的情况下，一般是由每1秒30张帧图像构成的模拟信号。图像处理部160从获取的图像信号中分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离出的垂直同步信号VSync、水平同步信号HSync的周期，利用未图示的PLL电路等生成时钟信号PCLK。图像处理部160将分离了同步信号的模拟图像信号，使用未图示的A／D转换电路等转换为数字图像信号。之后，图像处理部160将转换后的数字图像信号作为对象图像数据Data（RGB数据），按照每1帧储存在存储部120内的DRAM中。此外，在以数字形式给予附加图像数据、内容的情况下，与图像信号同步输出时钟信号PCLK，所以无需垂直同步信号VSync以及水平同步信号HSync、模拟图像信号的A／D转换。另外，以下，将附加图像数据Data以及对象图像数据Data统称为“图像数据Data”。图像处理部160可以根据需要对储存在存储部120中的图像数据Data执行分辨率转换处理、亮度或彩度的调整这样的各种色调修正处理、梯形修正处理等图像处理。图像处理部160将如上述那样生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、和储存在存储部120内的DRAM的图像数据Data分别经由发送部51以及52发送。其中，将经由发送部51发送的图像数据Data称作“右眼用图像数据Data1”，将经由发送部52发送的图像数据Data称作“左眼用图像数据Data2”。发送部51、52作为用于在控制部10和图像显示部20之间的串行传送的收发器发挥作用。显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190通过控制信号对右LCD控制部211进行的右LCD241的驱动ON/OFF、右背光源控制部201进行的右背光源221的驱动ON/OFF、和左LCD控制部212进行的左LCD242的驱动ON/OFF、左背光源控制部202进行的左背光源222的驱动ON/OFF等单独地进行控制，从而控制分别由右显示驱动部22以及左显示驱动部24进行的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光，或者仅使一方生成图像光，或者使双方都不生成图像光。显示控制部190经由发送部51以及52分别发送针对右LCD控制部211和左LCD控制部212的控制信号。而且，显示控制部190分别发送针对右背光源控制部201和左背光源控制部202的控制信号。声音处理部170获取内容所包含的声音信号，并放大获取的声音信号，经由连接部40供给给图像显示部20的右耳机32内的未图示的扬声器以及左耳机34内的未图示的扬声器。此外，例如，在采用Dolby（注册商标）系统的情况下，进行针对声音信号的处理，从右耳机32以及左耳机34分别输出例如改变频率等的不同的声音。接口180是用于将成为内容的供给源的各种外部设备OA与控制部10连接的接口。作为外部设备OA，例如存在个人计算机PC、移动电话终端、游戏终端等。作为接口180，例如能够具备USB接口、microUSB接口、记忆卡用接口、无线LAN接口等。图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显示部28的左导光板262、照相机61、右耳机32、和左耳机34。右显示驱动部22包含接收部（Rx）53、作为光源发挥作用的右背光源（BL）控制部201以及右背光源（BL）221、作为显示元件发挥作用的右LCD控制部211以及右LCD241、和右投射光学系统251。其中，将右背光源控制部201、右LCD控制部211、右背光源221、和右LCD241也统称为“图像光生成部”。接收部53作为用于在控制部10和图像显示部20之间的串行传送的接收器发挥作用。右背光源控制部201具有基于输入的控制信号来驱动右背光源221的功能。右背光源221例如是LED、电致发光（EL）等发光体。右LCD控制部211具有基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、和右眼用图像数据Data1来驱动右LCD241的功能。右LCD241是将多个像素配置成矩阵状的透射型液晶面板。图4是表示通过图像光生成部射出图像光的情况的说明图。右LCD241具有如下的功能，即、通过驱动与呈矩阵状配置的各像素位置对应的液晶、使透过右LCD241的光的透过率变化，从而将从右背光源221照射出的照明光IL调制为显示图像的有效的图像光PL。另外，如图4所示，在本实施例中采用背光源方式，但也可以构成为使用前照灯方式、反射方式射出图像光。图3的右投射光学系统251由将从右LCD241射出的图像光变为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投射光学系统251输出的图像光沿着规定的光路反射并导入使用者的右眼RE。此外，对右投射光学系统251和右导光板261进行统称，称为“导光部”。此外，导光部只要使用图像光在使用者的眼前形成虚像，则能够使用任意的方式，例如可以使用衍射光栅，也可以使用半透射反射膜。左显示驱动部24包含接收部（Rx）54、作为光源发挥作用的左背光源（BL）控制部202以及左背光源（BL）222、作为显示元件发挥作用的左LCD控制部212以及左LCD242、和左投射光学系统252。此外，将左背光源控制部202、左LCD控制部212、左背光源222、和左LCD242统称为“图像光生成部”，将左投射光学系统252、左导光板262统称为“导光部”。右显示驱动部22和左显示驱动部24成对，左显示驱动部24的各部具有与在右显示驱动部22中说明的各部相同的构成以及动作，所以省略详细的说明。图5是表示被使用者识别的虚像的一个例子的说明图。如上述那样，导入头戴式显示器HM的使用者的双眼的图像光在使用者的视网膜上成像，从而使用者能够视觉确认虚像。如图5所示，在头戴式显示器HM的使用者的视野VR内显示虚像VI。另外，对于使用者的视野VR中的、显示虚像VI的部分而言，使用者经由光学像显示部的虚像VI能够看见外景SC。并且，对于使用者的视野VR中的、显示虚像VI的部分以外而言，使用者透过光学像显示部能够直接看见外景SC。此外，将显示虚像VI的区域称为“影像视场”。另外，将使用者能够视觉确认外景SC的区域，换句话说，视野VR内的区域称为“现实视场”。此时，在使用者的眼前投射虚像VI的区域可以说是现实视场和影像视场重叠的部分。（A－2）区域决定处理：图6是表示区域决定处理的顺序的流程图。图7是用于对区域决定处理进行说明的说明图。区域决定处理是在AR处理之前由A...