LK、垂直同步信号VSync、水平同步信号HSync、右眼用图像数据Data驱动左LCD242。
[0139]此外，也将右背光灯控制部201、右IXD控制部211、右背光灯221、右IXD241总称为右“图像光生成部”。同样地，也将左背光灯控制部202、左IXD控制部212、左背光灯222、左IXD242总称为左“图像光生成部”。
[0140]如图3的(A)所示，佩戴头部佩戴型显示装置100的使用者视觉确认从半透镜261A、262A照射的图像光的范围比实际视场小。例如，头部佩戴型显示装置100在显示起到AR (Augmented Reality:增强现实)效果的图像(以下称为AR图像)的情况下，按照与使用者注视的对象OB重叠的方式显示AR图像。该情况下，通过AR图像与对象OB重叠地可见，得到AR效果，但是AR图像被视觉确认的区域受到半透镜261A、262A的大小的制约。因此，即使在实际视场中包括对象OB的情况下，在与对象OB重叠的位置显示AR图像也被认为是困难的事件。另外，显示AR图像以外的图像的情况下也存在头部佩戴型显示装置100能够显示图像的区域与实际视场相比小这一情况成为功能上的限制的可能性。
[0141]因此，头部佩戴型显示装置100利用右相机61以及左相机62的拍摄图像、预先准备的图像等比使用者的实际视场广的范围的外景的图像，进行显示与使用者注视的外景中的对象OB对应的AR内容等与外景对应的显示。
[0142]图像取得部161取得与头部佩戴型显示装置100的当前位置对应的外景图像。外景图像列举有右相机61以及左相机62的拍摄图像或者从能够经由通信部117进行通信的外部装置取得的图像。关于图像取得部161取得外景图像的处理后述。
[0143]位置检测部162执行控制部140从外景图像检测(识别)对象物(对象)的功能。在该功能中，位置检测部162例如解析图像取得部161取得的外景图像。位置检测部162通过从外景图像检测对象物的图像并确定检测出的图像的外景图像中的位置，来检测使用者注视的对象物的位置。关于该处理后述。另外，位置检测部162可以通过控制距离传感器64计测至检测出的对象物为止的距离来检测对象物的位置，也可以并用外景图像的处理和由距离传感器64检测出的距离来检测对象物的位置。
[0144]图像选择部163选择从外部设备OA向接口 125输入的AR内容中的供显示的AR内容。
[0145]动作处理部164基于9轴传感器66的检测值等，检测图像显示部20的移动，进行与图像显示部20的移动对应的处理。图像显示部20的活动能够视为佩戴头部佩戴型显示装置100的使用者的头的活动。另外，动作处理部164控制视线传感器68来检测使用者的视线方向。
[0146]显示位置控制部165与位置检测部162检测的对象物的位置、动作处理部164检测的图像显示部20的活动以及/或者使用者的视线方向对应地进行与右显示驱动部22以及左显示驱动部24的AR图像的显示位置有关的控制。
[0147]图5是表示头部佩戴型显示装置100的动作的流程图。
[0148]若使用者佩戴头部佩戴型显示装置100，通过操作部135的操作指示AR内容的显示，则控制部140开始与显示有关的动作(步骤Sll)。
[0149]控制部140通过图像取得部161执行外景图像取得处理(步骤S12)。外景图像取得处理的具体方式有3种。
[0150]图6是表示步骤S12的外景图像取得处理的第I方式的流程图。在该第I方式中，图像取得部161控制右相机61以及左相机62使其执行拍摄(步骤SAl)，取得拍摄图像数据(步骤SA2) ο
[0151]图像取得部161判定取得的拍摄图像数据是否为多个(步骤SA3)。本实施方式的头部佩戴型显示装置100的2个右相机61、左相机62分别输出拍摄图像数据，所以图像取得部161取得多个拍摄图像数据(步骤SA3 ;是)，通过合成取得的拍摄图像数据来得到外景图像数据(步骤SA4)。另外，在步骤SA2取得的拍摄图像数据为I个的情况下(步骤SA3 ;否)，图像取得部161将取得的拍摄图像数据作为外景图像数据。拍摄图像数据为I个的情况例如能够列举出右相机61和左相机62拍摄的范围的I个拍摄图像数据被输入至控制部140的情况、设定为仅使用右相机61或者左相机62中的某一方的情况、为具备I个相机的构成的情况等。
[0152]图7以及图8表示外景图像取得处理的第2方式，图7是表示拍摄处理的流程图，图8是表示外景图像取得处理的流程图。
[0153]在第2方式中，头部佩戴型显示装置100的动作中，图像取得部161按每一恒定时间执行由右相机61以及左相机62进行的拍摄。S卩，图像取得部161以头部佩戴型显示装置100的动作开始或者AR内容的显示开始为触发来开始拍摄动作(步骤SBl)，执行由右相机61以及左相机62进行的拍摄(步骤SB2)。
[0154]图像取得部161取得右相机61以及左相机62拍摄到的拍摄图像数据(步骤SB3)。接下来，图像取得部161通过GPS115取得头部佩戴型显示装置100的当前位置的坐标以及/或者取得9轴传感器66的检测值(步骤SB4)。例如，图像取得部161能够取得GPS115的当前位置和9轴传感器66的地磁传感器、角速度传感器以及加速度传感器的检测值，并确定头部佩戴型显示装置100的当前位置和姿势。
[0155]图像取得部161将在步骤SB3中取得的拍摄图像数据与在步骤SB4中取得的当前位置、检测值建立对应关系地存储于存储部120 (步骤SB5)。
[0156]之后，图像取得部161判定结束拍摄的条件是否成立(步骤SB6)，在拍摄结束的条件不成立的情况下(步骤SB6 ;否)，返回至步骤SB2。拍摄结束的条件能够列举有:通过操作部135的操作来指示拍摄结束的情况、头部佩戴型显示装置100的动作模式被切换至显示AR内容的动作模式或不进行右相机61、左相机62的拍摄的动作模式的情况等。
[0157]头部佩戴型显示装置100也可以例如在右相机61以及左相机62能够执行拍摄的状态下，按每一规定时间反复执行步骤SB2?SB6的动作。该情况下，与头部佩戴型显示装置100是否进行AR显示无关地在存储部120中将拍摄图像数据与头部佩戴型显示装置100的当前位置、传感器的检测值建立对应关系地存储。此外，在存在存储部120的存储容量的制限的情况下，图像取得部161也可以向经由通信部117而连接的外部装置将拍摄图像数据和当前位置和传感器的检测值建立对应关系地发送。该情况下的外部装置能够列举有与LAN (Local Area Network:局域网络)连接的存储装置、被称为在线存储器的存储装置或者云存储服务器等。
[0158]另外，在拍摄结束的条件成立的情况下(步骤SB6 ;是)，结束本处理。
[0159]图8的外景图像取得处理使用以图7的动作存储的拍摄图像数据，但不需要与图7的动作联动或者协调地执行。即，图7的动作以及图8的动作的执行时刻不相互约束。
[0160]图像取得部161通过GPS115检测并取得头部佩戴型显示装置100的当前位置，取得9轴传感器66的检测值(步骤SB11)。接下来，图像取得部161从存储部120或者通过通信部117所连接的外部设备取得与在步骤SBll中取得的当前位置以及传感器的检测值建立对应关系地存储的拍摄图像数据(步骤SB12)。在步骤SB12中，图像取得部161以在步骤SBll中取得的当前位置以及传感器检测值作为检索条件检索拍摄图像数据。图像取得部161可以取得与所有的检索条件相符的拍摄图像数据，也可以取得仅与一部分的检索条件相符的拍摄图像数据。
[0161]图像取得部161判定在步骤SB12中取得的拍摄图像数据是否为多个(步骤SB13)。在拍摄图像数据为多个的情况下(步骤SB13 ;是)，图像取得部161对取得的多个拍摄图像数据进行合成来形成I个拍摄图像数据(步骤SB14)，并转移至图5的步骤S13。另一方，在取得的拍摄图像数据为I个的情况下(步骤SB13 ;否)，图像取得部161返回至图5的步骤S13。
[0162]图9表示外景图像取得处理的第3方式。
[0163]在第3方式中，图像取得部161从外部设备取得拍摄图像数据。该情况下的外部设备是被连接成经由铺设在限定范围的LAN等通信线路或者英特网等广域网能够与头部佩戴型显示装置100进行通信的服务器装置等。该外部设备存储与头部佩戴型显示装置100的位置、传感器的检测值等对应的图像数据。
[0164]图像取得部161通过GPS115检测并取得头部佩戴型显示装置100的当前位置，取得9轴传感器66的检测值(步骤SCl)。接下来，图像取得部161将在步骤SBll中取得的当前位置以及传感器的检测值经由通信部117向所连接的外部设备发送，请求拍摄图像数据(步骤SC3) ο
[0165]之后，作为对在步骤SC3中发送了的请求的响应，图像取得部161接收外部设备发送的图像数据(步骤SC3)。
[0166]图像取得部161判定在步骤SC3中接收到的拍摄图像数据是否为多个(步骤SC4)。在拍摄图像数据为多个的情况下(步骤SC4 ;是)，图像取得部161对接收到的多个拍摄图像数据进行合成来形成I个拍摄图像数据(步骤SC5)，并转移至图5的步骤S13。另一方面，在接收到的拍摄图像数据为I个的情况下(步骤SC4 ;否)，图像取得部161转移至图5的步骤S13。
[0167]执行上述的第1、第2或者第3方式的外景图像取得处理，图像取得部161得到I个外景图像。
[0168]之后，位置检测部162从取得的外景图像识别AR显示的对象(步骤S13)。AR显示的对象是头部佩戴型显示装置100的使用者在外景中视觉确认的物体，可以是人类、动物以及无生命物体中的任一种，并不限定于能够移动的物体，包括建物等不能移动的物体。对象在使用者朝向对象的方向时，透过右光学图像显示部26以及左光学图像显示部28而被视觉确认。头部佩戴型显示装置100通过以与对象同时可见预先设定的对象有关的信息的方式由图像显示部20进行显示，从而进行AR显示。
[0169]由位置检测部162预先设定检测的对象。对象能够按每一 AR显示的内容来设定，例如，包括AR显示的内容(以下称为AR内容)的数据。另外，也可以将与检测的对象有关的数据作为设定数据121来存储。在步骤S13中，位置检测部162从AR内容或者设定数据121取得用于检测对象的数据，使用该数据，设备外景图像所包含的对象物(对象)。用于检测对象物的数据是指从拍摄图像检测对象物的图像的处理所使用的数据，是对象物的图像的特征量等。例如，在对象物是物体的情况下，将表示拍摄了该物体的情况下的拍摄图像的颜色、形状、其他特征的特征量包含于设定数据。该情况下，位置检测部162进行从外景图像的图像数据提取物体的图像的处理，计算提取的物体的图像的特征量，将计算出的特征量与包含于设定数据121的特征量进行比较对照。在特征量为接近的值或者相同的情况下，能够将从外景图像提取的图像的物体识别为对象物。另外，在对于对象物多个特征量包含于设定数据121中的情况下，位置检测部162能够基于多个特征量从外景图像检测对象物并进行识别。位置检测部162在外景图像中不能识别对象的情况下，进行待机直至在步骤S12中图像取得部161取得新的外景图像，针对新的外景图像进行识别对象的处理。
[0170]在步骤S13中，位置检测部162识别对象物的方法并不限定于如上述那样基于图像的特征量来识别对象物的图像的方法。例如，也可以根据使用者的指示，从外景图像中所包含的物体等选择对象。该情况下，使用者的指示可以是通过声音进行的指示，通过声音处理部187对由麦克风63集音的声音进行文本转换，位置检测部162识别对象，取得用于进行确定的信息。例如，在指定颜色、对象的形状等拍摄图像中的对象物的特征的声音被进行文本转换了的情况下，位置检测部162从拍摄图像检测并识别与所指定的特征相符的图像。
[0171]与对象物有关的信息的输入方法可以是对触控板14的操作，也可以控制部140检测手指等的手势操作。该情况下，在右相机61、左相机62的拍摄范围内使用者移动手指等进行手势操作，控制部140检测该手势操作即可。具体而言，也可以采用通过使用者指出对象物，来指定对象物其本身的方法。另外，也可以使用使用者用手、手指指示对象物的方向、使用者用手、手指包围视觉确认对象物的范围等手势。
[0172]接下来，位置检测部162计算在步骤S13中识别出的对象的位置、或者位置及距离(步骤S14)。位置检测部162计算以头部佩戴型显示装置100为基准的位置以及距离。更详细而言，计算相对于图像显示部20的对象的相对位置以及从图像显示部20至对象的距离。该情况下，也可以将图像显示部20的右光学图像显示部26与左光学图像显示部28的中央的位置作为计算位置以及距离时的基准。
[0173]位置检测部162计算位置的方法能够采用求出在步骤S13中从外景图像识别出的对象的外景图像中的坐标，根据求出的坐标求出相对于图像显示部20的对象的相对位置的方法。该情况下，位置检测部162能够根据外景图像中的对象的图像的尺寸计算从图像显示部20至对象的距离的推定值。这里，也可以将表示外景图像与图像显示部20的位置之间的位置关系的数据附加于外景图像的数据。
[0174]另外，位置检测部162也可以通过右相机61以及左相机62拍摄对象，检测拍摄图像中的对象的图像，基于检测出的图像的拍摄图像中的坐标以及尺寸，计算对象的位置和距离。在图像取得部161通过图6的动作取得了外景图像的情况下，能够以该外景图像为基础执行上述处理。另外，在图像取得部161通过图7、8的动作或者图9的动作取得了外景图像的情况下，位置检测部162在用外景图像检测出对象之后，使右相机61以及左相机62执行拍摄，进行上述处理即可。
[0175]另外，位置检测部162也可以利用距离传感器64求出至对象为止的距离。在判定为从外景图像检测出的对象位于距离传感器64的检测方向上的情况下，位置检测部162使距离传感器64动作检测距离，将检测出的距离作为至对象为止的距离即可。
[0176]基于在步骤S14中位置检测部162计算出的对象的位置以及距离，显示位置控制部165计算右光学图像显示部26以及左光学图像显示部28的显示区域中的对象的位置(步骤S15)。具体而言，如图3的(A)所示，右光学图像显示部26以及左光学图像显示部28的显示区域与半透镜261A、262A相当。显示位置控制部165以使用者隔着半透镜261A、262A视觉确认的外景的范围为基准，计算AR内容的对象的位置。
[0177]显示位置控制部165判定在步骤S15中计算出的对象的位置是否在图像显示部20的显示区域内(步骤S16)。这里，显示区域是指使用者隔着半透镜261A、262A视觉确认的外景的范围。该对象在外景中存在，显示位置控制部165判定是否使用者可见对象与半透镜 261A、262A 重叠。
[0178]在步骤S16中，显示位置控制部165分别针对半透镜261A和半透镜262A进行判定即可。该情况下，显示位置控制部165分别进行在使用者隔着半透镜261A视觉确认的范围内是否包含对象的判定以及在使用者隔着半透镜262A视觉确认的范围内是否包含对象的判定。
[0179]例如，在图像选择部163选择了 3D的AR内容的情况下等，优选在半透镜261A、262A这两方中对象位于显示范围内。该情况下，显示位置控制部165在半透镜261A、262A两方中对象位于显示范围内的情况下，判定为对象位于显示区域内。
[0180]另外，例如，在图像选择部163选择了与对象有关的说明文、注释的文本或者显示图像的AR内容的情况下，在半透镜261A、262A中的任一方中显示AR内容即可。该情况下，只要在半透镜261A、262A中的任一方中对象位于显示范围内，则显示位置控制部165判定为对象位于显示区域内。
[0181]像这样，显示位置控制部165可以根据图像选择部163选择的AR内容的种类来综合与半透镜261A、262A有关的判定结果，并进行步骤S16的判定。
[0182]在显示位置控制部165判定为对象的位置不在显示区域内的情况下(步骤S16 ;否)，动作处理部164控制显示控制部190，使引导视线的引导图像显示于右光学图像显示部26以及左光学图像显示部28 (步骤S17)。
[0183]图10是表不本实施方式中的显不例的图，(A)表不使用者的视场VR，⑶表不外景图像的例子，(C)表示引导图像的显示例。
[0184]图10的㈧示出使用者的右眼的视场VR的例子，使用者的左眼的视场与图10的(A)相同或者左右对称，所以省略图示。视场VR中与半透镜261A相当的区域为显示区域D1，在该显示区域Dl中显示由右IXD241(图4)描绘的图像。
[0185]在图10的(A)的例子中，在视场VR可见自行车，但该自行车是放置在图像显示部20的外侧的实物自行车。即，使用者透过右光学图像显示部26视觉确认外景的自行车。
[0186]在图10的⑶中示出图像取得部161取得的外景图像P的例子。在该例子中，图像取得部161取得比使用者视觉确认的范围广的范围的外景图像P，在该外景图像P中映有比使用者的视场VR中可见的范围大的范围。作为参考，在外景图像P中，用标记Pl表示视场VR中可见的范围，用标记P2表示与显示区域Dl对应的范围。
[0187]在图10的⑶的例子中，与AR内容对应的对象OB位于视场VR中可见范围Pl之夕卜，也位于与显示区域Dl对应的范围P2之外。因此，显示位置控制部165在步骤S16中判定为对象OB的位置不在显示区域内。该情况下，动作处理部164在步骤S17中显示的引导图像例如为如图10的(C)所示那样使使用者的视线向对象OB侧移动的图像。图10的(C)的引导图像D2是表示对象OB的方向的箭头。若根据该箭头使用者改变头部的朝向，则有可能对象OB进入显示区域Dl。
[0188]动作处理部164判定是否检测出头部佩戴型显示装置100的移动(步骤S18)。动作处理部164通过9轴传感器66检测图像显示部20的朝向、位置的变化，在存在比预先设定的阈值大的变化的情况下，判定检测出移动。另外，动作处理部164也可以利用GPS115检测头部佩戴型显示装置100的移动。在判定为没有检测出头部佩戴型显示装置100的移动的情况下(步骤S18 ;否)，动作处理部164继续引导图像的显示，按每一恒定时间进行步骤S18的判定。在检测出头部佩戴型显示装置100的移动的情况下(步骤S18 ;是)，动作处理部164返回至步骤S14。
[0189]另外，在显示位置控制部165判定为对象在显示区域内的情况下(步骤S16 ;是)，动作处理部164控制显示控制部190，使AR内容显示于右光学图像显示部26、左光学图像显示部28(步骤S19)。这里，动作处理部164也可以剔除AR内容的数据来使显示控制部190显示。数据的剔除具体而言包括通过提取动态图像数据的一部分的帧来使帧率降低、使帧的分辨率降低等处理。由此，具有能够削减显示控制部190处理的数据量、能够防止显示时刻的延迟等优点。
[0190]接下来，显示位置控制部165执行显示位置的调整(步骤S20)。调整是使用者操作控制装置10，来以手动调整AR内容的显示位置的功能。使用者在希望在步骤S19中进行显示AR内容的位置的变更的情况下等，根据需要来执行。因此，也可以省略步骤S20，也可以具有能够设定是否执行步骤S20的调整的构成。在步骤S20中，显示位置控制部165根据操作部135等的操作，使AR内容的显示位置移动。这里，显示位置控制部165也可以根据操作部135等的操作变更AR内容的显示尺寸。另外，也可以将在步骤S20中执行的位置调整、尺寸调整的调整量作为设定数据121存储于存储部120。
[0191]通过步骤S19?S20的动作，使用者能够在与对象重叠的位置或者与对象对应的位置视觉确认AR内容。
[0192]之后，动作处理部164判定在操作部135等中是否有指示缩放显示的操作(步骤S21)。在有相关操作的情况下(步骤S2