头戴式显示装置及其控制方法、以及图像显示系统的制作方法

头戴式显示装置及其控制方法、以及图像显示系统的制作方法
【专利摘要】一种头戴式显示装置及其控制方法、以及图像显示系统。透射式的头戴式显示装置具备：操作部；发送图像数据的控制部；以及使使用者视觉辨认基于从控制部发送的图像数据生成的生成图像的图像显示部。控制部具有第一模式以及第二模式来作为图像显示部的动作模式，在上述第一模式下，在上述图像显示部能够生成上述生成图像的区域亦即可生成图像区域的中心以外视觉辨认多个可选择图像，在上述第二模式下，在从多个可选择图像中选择一个可选择图像的情况下，使与一个可选择图像建立关联的相关图像被视觉辨认为比第一模式下的一个可选择图像大的图像。
【专利说明】头戴式显示装置及其控制方法、以及图像显示系统
【技术领域】
[0001 ] 本发明涉及头戴式显示装置。
【背景技术】
[0002]公知有作为佩戴于头部的显示装置的头戴式显示装置(头戴式显示器(HeadMounted Display)、HMD)。头戴式显示装置例如利用液晶显示器以及光源来生成表示图像的图像光，并利用投射光学系统、导光板将所生成的图像光导入至使用者的眼睛，从而使使用者视觉辨认虚像。在头戴式显示装置中，存在使用者除了虚像之外还能够视觉辨认外景的透射式与使用者无法视觉辨认外景的非透射式这两种类型。在透射式的头戴式显示装置中存在光学透射式与摄像透射式。
[0003]在专利文献I中公开有如下头戴式显示装置，即:若在使用者视觉辨认内容影像等虚像的情况下进行规定的操作，则不从光源照射光从而不使使用者视觉辨认虚像，而进行使用者容易视觉辨认外景的控制。另外，在专利文献2中公开有如下头戴式显示装置，即:对使用者步行时的步数信息进行检测，根据检测出的步数信息进行使使用者视觉辨认为虚像的图像的控制。另外，在专利文献3中公开有如下装置，即:根据使用者的动作，使使用者视觉辨认表示被预先设定的信息的图像。
[0004]专利文献1:日本特开2012-165084号公报
[0005]专利文献2:日本特开2011-91789号公报
[0006]专利文献3:日本特开2011-14082号公报
[0007]但是，在专利文献I所记载的头戴式显示装置中，使用者在将影像作为虚像进行视觉辨认时欲视觉辨认外景的情况下，进行规定的操作，从而能够视觉辨认外景，但是无法视觉辨认已视觉辨认出的影像，从而在使使用者视觉辨认外景与影像的方法中存在改善的余地。另外，在专利文献2所记载的技术中，通过使用者的步数信息来控制使用者视觉辨认的影像，因此存在使用者视觉辨认的外景、影像未反映使用者的意思的情况，从而针对使使用者视觉辨认的影像的控制存在改善的余地。另外，在专利文献3所记载的技术中，根据使用者的动作，使使用者视觉辨认表示被预先设定的信息的图像，但例如存在使用者欲进一步视觉辨认比上述图像大的图像情况等、无法根据使用者的意思选择视觉辨认的图像的大小等的情况，从而在使用者的便利性方面存在提高的余地。另外，存在使用者欲通过更加简单的操作视觉辨认反映出使用者的意思的图像的课题。

【发明内容】

[0008]本发明是为了解决上述课题的至少一部分而完成的，能够作为以下的方式来实现。
[0009]( I)根据本发明的一方式，提供一种透射式的头戴式显示装置。该头戴式显示装置具备:操作部，其接受操作；控制部，其发送图像数据；以及图像显示部，其在被佩戴于使用者的头部的状态下，使使用者视觉辨认基于被从上述控制部发送的上述图像数据生成的生成图像，上述控制部具有第一模式以及第二模式来作为上述图像显示部的动作模式，在上述第一模式下，在上述图像显示部能够生成上述生成图像的区域亦即可生成图像区域的中心以外的位置，使多个可选择图像被视觉辨认，在上述第二模式下，在基于上述操作从上述多个可选择图像中选择一个上述可选择图像的情况下，使与上述一个可选择图像建立关联的相关图像被视觉为比上述第一模式下的上述一个可选择图像大的图像。根据该方式的头戴式显示装置，使用者根据自己的意愿来切换图像显示部的动作模式，能够选择想要观察的图像，并且根据需要还能够视觉辨认外景，因此使用者的便利性提高。
[0010](2)在上述方式的头戴式显示装置中，上述控制部也可以在上述第二模式下，在上述可生成图像区域的包括中心的位置使上述相关图像得以被视觉辨认。根据该方式的头戴式显示装置，使用者容易视觉辨认已选择的图像，从而使用者的便利性提高。
[0011](3)在上述方式的头戴式显示装置中，也可以还具备:位置检测部，其对当前位置进行检测；信号发送部，其在被上述位置检测部检测出的上述当前位置在确定的地理区域内的情况下，向信息装置发送控制信号；以及信息接收部，其接收从接收到上述控制信号的上述信息装置发送的确定信息，与上述多个可选择图像建立关联的多个相关图像中的至少一个是表示上述确定信息的图像。根据该方式的头戴式显示装置，在使用者位于确定的地理区域内的情况下，发送与确定的地理区域存在关联的影像，能够使使用者进行视觉辨认。由此，使用者通过被确定的当前位置，能够视觉辨认与当前位置存在关联的图像，从而进一步提高使用者的便利性。
[0012](4)在上述方式的头戴式显示装置中，也可以还具备:信号发送部，其发送确定的信号；以及信息接收部，其在接收被从上述信号发送部发送的上述确定的信号，并在信息装置基于上述确定的信号而判定为上述头戴式显示装置的当前位置在确定的地理区域内的情况下，接收上述信息装置发送的确定信息，与上述多个可选择图像建立关联的多个相关图像中的至少一个是表示上述确定信息的图像。根据该方式的头戴式显示装置，即使不存在位置检测部，通过信号发送部与信息装置也能够视觉辨认头戴式显示装置与信息装置的相对的位置关系，信号接收部能够接收被从信息装置发送的影像信息。
[0013](5)在上述方式的头戴式显示装置中，可以还具备:位置检测部，其对当前位置进行检测；以及视线方向推断部，其对使用者的视线方向进行推断，上述控制部在被上述位置检测部检测出的上述当前位置在确定的地理区域内的情况下，基于上述视线方向与上述当前位置，对上述可生成图像区域中的上述可选择图像的配置进行变更。根据该方式的头戴式显示装置，将使用者视觉辨认的可选择图像的配置与确定的地理区域建立关联，因此使用者能够直观地识别可选择图像的位置与外景的关系，从而提高使用者的操作性。
[0014](6)在上述方式的头戴式显示装置中，可以还具备活动检测部，上述活动检测部对上述操作部的活动进行检测，上述操作是上述活动操作部检测出的上述操作部的活动。根据该方式的头戴式显示装置，使用者不需要进行复杂的操作而通过简单且直观的操作，能够从多个可选择图像中选择一个可选择图像，因此提高使用者的操作性。
[0015](7)在上述方式的头戴式显示装置中，上述控制部将上述图像数据中的、在上述第一模式下与和上述可选择图像在上述可生成图像区域中被视觉辨认的区域不同的区域对应的部分置换成虚拟数据，将上述图像数据中的、在上述第二模式下与和上述相关图像及上述可选择图像在上述可生成图像区域中被视觉辨认的区域不同的区域对应的部分置换成虚拟数据。根据该方式的头戴式显示装置，使用者在可生成图像区域中的可选择图像、相关图像以外的部分不视觉辨认不需要的图像而能够视觉辨认外景，从而提高使用者的便利性。
[0016](8)在上述方式的头戴式显示装置中，也可以还具备图像光生成部，该图像光生成部基于从上述控制部发送的图像数据生成表示图像的图像光，上述图像显示部使上述图像光射至使用者的眼睛来使使用者视觉辨认上述生成图像，上述控制部在上述第一模式下，在与和上述可选择图像在上述可生成图像区域中被视觉辨认的区域不同的区域对应的部分，不生成上述图像光，在上述第二模式下，在与和上述相关图像及上述可选择图像在上述可生成图像区域中视觉辨认的区域不同的区域对应的部分，不生成上述图像光。根据该方式的头戴式显示装置，使用者在图像可生成区域中的可选择图像、相关图像以外的部分不视觉辨认不需要的图像而能够视觉辨认外景，从而提高使用者的便利性。
[0017](9)在上述方式的头戴式显示装置中，上述控制部也可以还生成与比上述可生成图像区域大的区域对应的大区域图像数据，并提取上述大区域图像数据的一部分，将与上述可生成图像区域的大小以下的区域对应的视觉辨认用图像数据发送至上述图像显示部。根据该方式的头戴式显示装置，在控制部制作与可选择图像建立关联的相关图像作为一个图像数据。因此，在从多个可选择图像中选择确定的可选择图像的情况下，不需要每次都接收从信息装置发送的图像，就能够在可生成图像区域中迅速地生成生成图像作为相关图像，从而提高利用者的便利性。
[0018](10)在上述方式的头戴式显示装置中，上述视觉辨认用图像数据也可以是与和上述可生成图像区域相同的大小的区域对应的图像数据。根据该方式的头戴式显示装置，使用者不进行不需要的操作，就能够以与可生成图像区域相同的最大的大小视觉辨认已选择的相关图像。
[0019](11)在上述方式的头戴式显示装置中，上述控制部也可以在上述第一模式下，使上述可选择图像配置于上述可生成图像区域的周边部，在上述第二模式下，使上述可选择图像配置于上述可生成图像区域的周边部，并且使上述相关图像配置于上述可生成图像区域的周边部以外且包括中心的位置。根据该方式的头戴式显示装置，在第一模式下，使用者能够在视场的中心视觉辨认外景，并且能够在中心以外视觉辨认可选择图像。并且，在第二模式下，使用者能够一次视觉辨认多个可选择图像、与已选择的可选择图像建立关联的相关图像这两方图像，从而提高使用者的便利性。
[0020](12)在上述方式的头戴式显示装置中，上述控制部也可以在上述第二模式下，以与配置于上述可生成图像区域的上述相关图像建立关联的上述一个可选择图像以与其他的上述可选择图像不同的方式显示于上述图像显示部。根据该方式的头戴式显示装置，使用者在第二模式下，容易识别可选择图像与和已选择的可选择图像建立关联的相关图像之间的关系，从而进一步提高使用者的便利性。
[0021](13)在上述方式的头戴式显示装置中，上述控制部具有使上述相关图像以成为与上述可生成图像区域相同大小的区域的方式配置的第三模式、上述第一模式、以及上述第二模式来作为上述动作模式。根据该方式的头戴式显示装置，在第三模式下，将相关图像显示于可生成图像区域整体，因此相对于在可生成图像区域生成的生成图像的大小，所选择的宽度较宽，从而进一步提高使用者的便利性。[0022](14)根据本发明的其他的方式，提供具备信息装置和使使用者视觉辨认表示被从上述信息装置发送的确定信息的图像的透射式的头戴式显示装置的图像显示系统。上述头戴式显示装置具有对当前位置进行检测的位置检测部、以及在被上述位置检测部检测出的上述当前位置在确定的地理区域内的情况下向上述信息装置发送控制信号的信号发送部，上述信息装置若接收到被从上述信号发送部发送的上述控制信号，则将上述确定信息向上述控制部发送，上述头戴式显示装置还具有接收被从上述信息装置发送的上述确定信息的信息接收部、以及控制部，上述控制部具有第一模式和第二模式，在第一模式与第二模式之间切换作为使用者视觉辨认图像的动作模式，其中，在第一模式下，使多个可选择图像在上述头戴式显示装置能够生成上述图像的可生成图像区域的中心以外的位置被视觉辨认，在第二模式下，在基于上述操作从上述多个可选择图像中选择一个上述可选择图像的情况下，将与上述一个可选择图像建立关联并且表示上述确定信息的相关图像被视觉辨认为比上述第一模式下的上述一个可选择图像大的图像。根据该方式，使用者根据自己的意愿来切换图像显示部的动作模式，能够选择表示被从信息装置发送的确定信息的相关图像，并且根据需要也能够视觉辨认外景，因此提高使用者的便利性。
[0023]上述的本发明的各方式所具有的多个构成要素的全部并非必须的，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，针对上述多个构成要素的一部分的构成要素，能够适当地对其进行变更、删除、与新的其他的构成要素进行替换、删除限定内容的一部分。另外，为了解决上述的课题的一部分或者全部，或者，为了实现本说明书所记载的效果的一部分或者全部，也能够使上述的本发明的一方式所包括的技术特征的一部分或者全部与上述的本发明的其他的方式所包括的技术特征的一部分或者全部组合，成为本发明的独立的一个方式。
[0024]例如，本发明的一方式能够作为具备操作部、控制部、图像显示部三个要素之中的一个以上或者所有的要素的装置来实现。即，该装置可以具有操作部，也可以不具有操作部。另外，装置可以具有控制部，也可以不具有控制部。另外，装置可以具有图像显示部，也可以不具有图像显示部。操作部例如也可以接受操作。控制部例如也可以发送图像数据。另外，控制部作为图像显示部的动作模式，也可以具有在作为图像显示部能够生成生成图像的区域亦即可生成图像区域的中心以外的位置视觉辨认多个可选择图像的第一模式、与在基于操作从多个可选择图像选择一个可选择图像的情况下，将与一个可选择图像建立关联的相关图像视觉辨认为比第一模式中的一个可选择图像大的图像的第二模式。图像显示部也可以在佩戴于使用者的头部的状态下，使使用者视觉辨认基于被从控制部发送的图像数据生成的生成图像。这样的装置例如能够作为头戴式显示装置来实现，但也能够作为头戴式显示装置以外的其他的装置来实现。根据上述的方式，能够解决提高以及简化装置的操作性、装置的一体化、提高使用装置的使用者的便利性、等各种课题的至少一个。上述的头戴式显示装置的各方式的技术特征的一部分或者全部均能够应用于该装置。
[0025]本发明还能够通过头戴式显示装置以外的各种方式来实现。例如，能够通过头戴式显示装置的控制方法、头戴式显示系统、用于实现头戴式显示系统的功能的计算机程序、对该计算机程序进行记录的记录介质、包括该计算机程序并具体化在载波内的数据信号等方式来实现。【专利附图】

【附图说明】
[0026]图1是表示本发明的第一实施方式中的影像显示系统1000的简要构成的说明图。
[0027]图2是表示头戴式显示装置100的外观构成的说明图。
[0028]图3是功能性地表示头戴式显示装置100的构成的框图。
[0029]图4是表示通过图像光生成部射出图像光的样子的说明图。
[0030]图5是表示使用者视觉辨认的视场VR的一个例子的说明图。
[0031]图6是表示传送图像显示处理的流程的说明图。
[0032]图7是表示在图标显示模式中使用者视觉辨认的视场VR的一个例子的说明图。
[0033]图8是表示在图标显示模式中使用者视觉辨认的视场VR的一个例子的说明图。 [0034]图9是表示图标图像与和图标图像建立关联的影像之间的关系的一个例子的说明图。
[0035]图10是表示在并行显示模式中使用者视觉辨认的视场VR的一个例子的说明图。
[0036]图11是表示在全屏显示模式中使用者视觉辨认的视场VR的一个例子的说明图。
[0037]图12是表示在图标显示模式中使用者视觉辨认的视场VR的一个例子的说明图。
【具体实施方式】
[0038]接下来，基于实施方式按以下的顺序对本发明的实施方式进行说明。
[0039]A.第一实施方式:
[0040]A-1.影像显示系统的构成:
[0041]A-2.头戴式显示装置的构成
[0042]A-3.传送图像显示处理:
[0043]B.变形例:
[0044]A.第一实施方式:
[0045]A-1.影像显示系统的构成
[0046]图1是表示本发明的第一实施方式中的影像显示系统1000的简要构成的说明图。本实施方式的影像显示系统1000是适用于棒球场BS的系统。在图1所示的例子中，佩戴了头戴式显示装置100 (详细进行后述)的观众SP在棒球场BS的设置于球场GR的周围的看台ST观看棒球比赛。
[0047]影像显示系统1000具备内容服务器300。内容服务器300具有:CPU310、存储部320、无线通信部330以及影像输入接口 340。存储部320例如由ROM、RAM、DRAM (DynamicRandom Access Memory动态随机存取存储器)、硬盘等构成。CPU310读出并执行储存于存储部320的计算机程序，从而作为信息收发部312、影像处理部314、影像传送部316发挥功能。无线通信部330遵循无线LAN、蓝牙之类的规定的无线通信标准，与棒球场BS内存在的头戴式显示装置100之间进行无线通信。其中，内容服务器300与头戴式显示装置100之间的无线通信也可以经由作为与内容服务器300连接的其他装置的通信装置(例如无线LAN接入点)来被执行。在该情况下，能够省略内容服务器300的无线通信部330。另外，内容服务器300只要能够直接或者经由通信装置与棒球场BS内存在的头戴式显示装置100无线通信即可，其可设置于棒球场BS的内外的任意的场所。
[0048]在棒球场BS中设置有多个对棒球场BS内的各种物体(球场GR、选手、看台STJ!众、记分牌SB等)进行拍摄的摄像机Ca。例如，在图1的例子中，在棒球场BS的挡球网里侧附近设置有摄像机Ca4，在内场看台附近设置有摄像机Ca3、Ca5，在外场看台附近设置有摄像机Cal、Ca2、Ca6。棒球场BS中的摄像机Ca的设置台数、配置能够任意地变更。各摄像机Ca与内容服务器300经由线缆以及根据需要经由中继装置进行连接，由各摄像机Ca拍摄的影像被输入至内容服务器300的影像输入接口 340。内容服务器300的影像处理部314根据需要对被输入的影像执行压缩等处理，并将被输入的影像作为各摄像机Ca的实时影像储存于存储部320。实时影像是对头戴式显示装置100实际现场直播用的影像。另外，影像处理部314根据输入影像制作回放影像，并储存于存储部320。回放影像是表示与当前相比之前的规定期间的场面(集锦场面)的影像。另外，在本实施方式中，在存储部320中预先储存有与选手相关的信息(选手名、所属队名、位置、成绩等)、与棒球场BS相关的信息(球场名、容纳人数、观众数、气象状况等)。此外，各摄像机Ca与内容服务器300的连接也可以不是有线而是通过无线来实现。
[0049]A-2.头戴式显示装置的构成:
[0050]图2是表示头戴式显示装置100的外观构成的说明图。头戴式显示装置100是佩戴于头部的显示装置，也被称为头戴式显示器(Head Mounted Display, HMD)。本实施方式的头戴式显示装置100是供使用者视觉辨认虚像的同时也能够直接视觉辨认外景的光学透射式的头戴式显示装置。此外，在本说明书中，为了方便起见将使用者通过头戴式显示装置100视觉辨认的虚像也称为“显示图像”。另外，将射出基于图像数据生成的图像光的动作还称为“对图像进行显示”。
[0051]头戴式显示装置100具备在被佩戴在使用者的头部的状态下使使用者视觉辨认虚像的图像显示部20与对图像显示部20进行控制的控制部10 (控制器10)。
[0052]图像显示部20是被佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包括:右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26以及左光学像显示部28。右光学像显示部26以及左光学像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右眼以及左眼前。右光学像显示部26的一端与左光学像显示部28的一端在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置处相互连接。
[0053]右保持部21是从作为右光学像显示部26的另一端的端部ER起戴在使用者佩戴图像显示部20时的与使用者的侧头部对应的位置而延伸设置的部件。相同地，左保持部23是从作为左光学像显示部28的另一端的端部EL起戴在使用者佩戴图像显示部20时的与使用者的侧头部对应的位置而延伸设置的部件。右保持部21以及左保持部23如眼镜的镜腿(眼镜腿的挂耳部分)那样，将图像显示部20保持于使用者的头部。
[0054]右显示驱动部22与左显示驱动部24被配置于使用者佩戴图像显示部20时的与使用者的头部对置的一侧。此外，以下，也将右保持部21以及左保持部23仅总称为“保持部”，也将右显示驱动部22以及左显示驱动部24仅总称为“显示驱动部”，也将右光学像显示部26以及左光学像显示部28仅总称为“光学像显示部”。
[0055]显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display,以下也称为“IXD241、242”)、投射光学系统251、252等(参照图3)。显示驱动部22、24的构成的详细将后述。作为光学部件的光学像显不部26、28包括导光板261、262 (参照图3)与调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导入至使用者的眼睛。调光板是薄板状的光学元件，其被配置成将作为与使用者的眼睛侧相反侧的图像显示部20的表侧覆盖。调光板对导光板261、262进行保护，来抑制导光板261、262的损伤、附着污溃等。另外，通过对调光板的透光率进行调整，能够对进入使用者的眼睛的外光量进行调整以调整视觉辨认虚像的容易度。此外，能够省略调光板。
[0056]图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包括与控制部10连接的主体软线48、右软线42、左软线44、以及连结部件46。右软线42与左软线44是主体软线48分支成两根的软线。右软线42从右保持部21的延伸方向的前端部AP插入至右保持部21的壳体内，与右显示驱动部22连接。相同地，左软线44从左保持部23的延伸方向的前端部AP插入至左保持部23的壳体内，与左显示驱动部24连接。连结部件46被设置于主体软线48、右软线42以及左软线44的分支点，具有用于连接耳机插头30的插口。右耳机32以及左耳机34从耳机插头30起延伸。
[0057]图像显示部20与控制部10经由连接部40进行各种信号的传送。在主体软线48的与连结部件46相反侧的端部和控制部10分别设置有相互嵌合的连接器(未图示)。通过主体软线48的连接器与控制部10的连接器的嵌合/嵌合解除，来将控制部10与图像显示部20连接、分开。例如，采用金属线缆、光纤作为右软线42、左软线44以及主体软线48。
[0058]控制部10是用于对头戴式显示装置100进行控制的装置。控制部10包括:决定键11、亮灯部12、显示切换键13、触摸板14、亮度切换键15、方向键16、菜单键17以及电源开关18。决定键11对按下操作进行检测，输出对由控制部10操作的内容进行决定的信号。亮灯部12通过其发光状态来通知头戴式显示装置100的动作状态。作为头戴式显示装置100的动作状态，例如有电源的接通/断开等。作为亮灯部12，例如使用LED (LightEmitting Diode发光二极管)。显示切换键13对按下操作进行检测，例如输出将内容动态图像的显示模式切换成3D和2D的信号。触摸板14对使用者的手指在触摸板14的操作面上的操作进行检测，并输出与检测内容对应的信号。作为触摸板14，能够采用静电式、压力检测式、光学式之类的各种触摸板。亮度切换键15对按下操作进行检测，输出对图像显示部20的亮度进行增减的信号。方向键16对针对与上下左右方向对应的键的按下操作进行检测，并输出与检测内容对应的信号。电源开关18对开关的滑动操作进行检测，从而切换头戴式显示装置100的电源接通状态。
[0059]图3是功能性地表示头戴式显示装置100的构成的框图。控制部10具备:输入信息取得部110、存储部120、电源130、无线通信部132、GPS模块134、操作部135、CPU140、接口 180、发送部51 (Tx51)以及发送部52 (Τχ52)，各部通过未图示的总线相互连接。操作部135接受使用者的操作，其由决定键11、显示切换键13、触摸板14、亮度切换键15、方向键16、菜单键17、电源开关18、以及九轴传感器139构成。九轴传感器139是对加速度(三轴)、角速度(三轴)、地磁(三轴)进行检测的运动传感器。九轴传感器139设置于操作部135，因此作为对使用者对操作部135的活动进行检测的活动检测部而发挥功能。此处，所谓操作部135的活动包括头部的速度、加速度、角速度、朝向、朝向的变化。
[0060]输入信息取得部110取得与针对操作部135的操作输入对应的信号。存储部120由ROM、RAM、DRAM、硬盘等构成。电源130向头戴式显示装置100的各部供给电力。作为电源130例如能够使用充电电池。无线通信部132遵循无线LAN、蓝牙之类的规定无线通信标准，来与例如内容服务器300之类的其他设备之间进行无线通信。GPS模块134接收来自GPS卫星的信号，从而对自身的当前位置进行检测。通过GPS模块134的当前位置被检测出，从而确定头戴式显示装置100的使用者的当前位置。
[0061]CPU140读出并执行储存于存储部120的计算机程序，从而作为操作系统150(0S150)、图像处理部160、声音处理部170、显示控制部190、以及显示图像协作部142发挥功能。
[0062]图像处理部160基于经由接口 180、无线通信部132输入的内容(影像)生成时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及图像数据Data，并经由连接部40将上述的信号供给至图像显示部20。具体而言，图像处理部160取得内容所包括的图像信号。已取得的图像信号在例如为动态图像的情况下，通常为由每秒三十张的帧图像构成的模拟信号。图像处理部160从已取得的图像信号分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离而得的垂直同步信号VSync、水平同步信号HSync的周期,并利用PLL (Phase Locked Loop锁相回路)电路等(未图示)来生成时钟信号PCLK。
[0063]图像处理部160使用A/D转换电路等(未图示)将分离了同步信号的模拟图像信号转换成数字图像信号。然后，图像处理部160将转换后的数字图像信号，作为对象图像的图像数据Data (RGB数据)，按每一帧储存于存储部120内的DRAM。此外，图像处理部160也可以根据需要，对图像数据Data执行分辨率转换处理、亮度、彩度的调整之类的各种色调修正处理、基础修正处理等图像处理。
[0064]图像处理部160经由发送部51、52分别发送已生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、储存于存储部120内的DRAM的图像数据Data。此外，将经由发送部51发送的图像数据Data也称为“右眼用图像数据”，将经由发送部52发送的图像数据Data也称为“左眼用图像数据”。发送部51、52作为用于进行控制部10与图像显示部20之间的串行传送的收发机而发挥功能。
[0065]显示控制部190生成对右显示驱动部22以及左显示驱动部24进行控制的控制信号。具体而言，显示控制部190通过控制信号单独地对基于右LCD控制部211的右LCD241的驱动0N/0FF、基于右背光灯控制部201的右背光灯221的驱动0N/0FF、基于左IXD控制部212的左LCD242的驱动0N/0FF、基于左背光灯控制部202的左背光灯222的驱动0N/0FF等进行控制，从而对基于右显示驱动部22以及左显示驱动部24各自的图像光的生成以及射出进行控制。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方生成图像光、或仅使一方生成图像光、或使双方都不生成图像光。
[0066]显示控制部190经由发送部51以及发送部52分别发送针对右IXD控制部211与左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201与左背光灯控制部202的控制信号。
[0067]声音处理部170取得内容所包括的声音信号,对已取得的声音信号进行放大,并供给至与连结部件46连接的右耳机32内的扬声器(未图示)以及左耳机34内的扬声器(未图示)。此外，例如，在采用了 Dolby (注册商标)系统的情况下，对声音信号进行处理，从而从右耳机32以及左耳机34分别输出例如改变了频率等的不同的声音。显示图像协作部142是用于辅助使用者对棒球场BS内的棒球的比赛的观战的应用程序。[0068]接口 180是用于将成为内容的供给源的各种外部设备OA与控制部10连接的接口。作为外部设备0A，例如有个人计算机、手机终端、游戏机终端等。作为接口 180例如能够使用USB接口、微型USB接口、存储器卡用接口等。
[0069]图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显不部28的左导光板262、以及九轴传感器66。
[0070]九轴传感器66与九轴传感器139相同地是对加速度(三轴)、角速度(三轴)、地磁(三轴)进行检测的运动传感器。九轴传感器66设置于图像显示部20，因此在将图像显示部20佩戴于使用者的头部时，对使用者的头部的移动进行检测。根据九轴传感器66检测出的使用者的头部的移动来推断使用者的视线方向。控制部10的显示图像协作部142经由无线通信部132将表示通过GPS模块134检测出的控制部10的当前位置的位置信息、表示通过九轴传感器66推断出的使用者的视线方向的视线方向信息供给至内容服务器300。另外，九轴传感器66作为技术方案中的视线方向推断部发挥功能。
[0071]右显示驱动部22包括:接收部53 (Rx53)、作为光源发挥功能的右背光灯控制部201 (右BL控制部201)以及右背光灯221 (右BL221 )、作为显示元件发挥功能的右IXD控制部211以及右IXD241、以及右投射光学系统251。此外，也将右背光灯控制部201、右IXD控制部211、右背光灯221、以及右IXD241统称为“图像光生成部”。
[0072]接收部53作为用于进行控制部10与图像显示部20之间的串行传送的接收器发挥功能。右背光灯控制部201基于被输入的控制信号,对右背光灯221进行驱动。右背光灯221例如是LED、电致发光(EL)等发光体。右IXD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync以及右眼用图像数据Datal来对右IXD241进行驱动。右IXD241是将多个像素配置为矩阵状的透射式液晶面板。
[0073]右投射光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学像显不部26的右导光板261使从右投射光学系统251输出的图像光沿着规定的光路反射并且导入至使用者的右眼RE。此外，也将右投射光学系统251与右导光板261统称为“导光部”。
[0074]左显示驱动部24具有与右显示驱动部22相同的构成。S卩，左显示驱动部24包括:接收部54 (Rx54)、作为光源发挥功能的左背光灯控制部202 (左BL控制部202)以及左背光灯222 (左BL222)、作为显示元件发挥功能的左IXD控制部212以及左IXD242、以及左投射光学系统252。此外，也将左背光灯控制部202、左IXD控制部212、左背光灯222、左IXD242统称为“图像光生成部”。另外，左投射光学系统252由使从左IXD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学像显示部28的左导光板262使从左投射光学系统252输出的图像光沿着规定的光路反射并且导入至使用者的左眼LE。此外，也将左投射光学系统252与左导光板262统称为“导光部”。
[0075]图4是表示通过图像光生成部射出图像光的样子的说明图。右IXD241通过对配置成矩阵状的各像素位置的液晶进行驱动，使透过右LCD241的光的透过率变化，从而将从右背光灯221照射的照明光IL调制为表示图像的有效的图像光PL。对于左侧而言也相同。此外，如图4所示，在本实施方式中采用背光灯方式，但也可以设为使用前侧照明方式、反射方式射出图像光的构成。
[0076]A-3.传送图像显示处理:[0077]图5是表示使用者视觉辨认的视场VR的一个例子的说明图。图5示出了在棒球场BS中头戴式显示装置100的使用者亦即观众SPl (参照图1)视觉辨认的视场VR。图像显示部20是光学透射式的头戴式显示装置100，因此使用者能够在将图像显示部20佩戴于头部的状态下视觉辨认透过的外景SC。如图5所示，使用者视觉辨认透过了图像显示部20的棒球场BS的球场GR、看台ST之类的外景SC。
[0078]图6是表示传送图像显示处理的流程的说明图。在图6所示的处理中，头戴式显示装置100的使用者进行规定的操作，从而使使用者视觉辨认被从内容服务器300传送的影像(图像)。此外，棒球场BS相当于技术方案中的确定的地理区域。
[0079]首先，控制部10的GPS模块134对使用者的当前位置进行确定(步骤S310)。接下来，控制部10对所确定的当前位置是否在棒球场BS内进行判定(步骤S320)。控制部10预先存储有具有能够传送影像信息的内容服务器300等的棒球场BS之类的确定的地理区域的位置(纬度以及经度)。因此，控制部10能够对所确定出的当前位置是否在棒球场BS内进行判定。在判定为所确定出的当前位置不在棒球场BS内的情况下(步骤S320:否)，控制部10结束传送图像显示处理。在判定为当前位置在棒球场BS内的情况下(步骤S320:是)，控制部10将图像显示部20的动作模式设定为图标显示模式(步骤S330)。控制部10的显示图像协作部142将表示当前位置在棒球场BS内的信息作为控制信号发送至内容服务器300。内容服务器300若接收到控制信号，则发送向显示图像协作部142传送的影像信息。若显示图像协作部142接收到从内容服务器300传送的影像信息，则控制部10将图像显示部20设定为图标显示模式。在图标显示模式中，图像显示部20显示多个图标图像。此外，从内容服务器300传送的影像信息相当于技术方案中的从信息装置发送的确定信息。显示图像协作部142相当于技术方案中的信号发送部以及信息接收部。
[0080]图7是表示在图标显示模式中使用者视觉辨认的视场VR的一个例子的说明图。如图7所示,在图标显示模式中，使用者视觉辨认从图标ICNl到图标ICN9这九个图标(以下，也称为“图标组”)与外景SC。图标组在使用者的视场VR中显示于图像显示部20能够显示图像的最大区域亦即最大图像显示区域PN中的中心之外的周边部。在本实施方式中，最大图像显示区域PN中的横与纵的像素数分别为960与540，但在其他的实施方式中，也可以为不同的像素数。此外，表示最大图像显示区域PN的外廓的虚线是为了对本实施方式进行说明而表示的，实际上未显示，因此不被使用者视觉辨认。图标ICN1、图标ICN2之类的图标图像相当于技术方案中的可选择图像。另外，图标显示模式相当于技术方案中的第一模式，最大图像显示区域PN相当于技术方案中的可生成图像区域。
[0081]在图标显示模式中，接下来，控制部10对使用者的视线方向的变化进行监视(步骤S340)。使用者的视线方向根据图像显示部20的九轴传感器66检测出的使用者的头部的移动来推断。在图标显示模式中，最大图像显示区域PN中的图标图像的配置根据使用者相对于棒球场BS的当前位置与使用者的视线方向而被变更。例如，若头部的朝向朝预先设定的阈值以上变化，则检测为视线方向的变化(步骤S340:是)，控制部10对在最大图像显示区域PN显示的图标图像的配置进行变更(步骤S350)。在未检测出视线方向的变化的情况下(步骤S340:否)，控制部10不对在最大图像显示区域PN显示的图标图像的配置进行变更。
[0082]图8是表示在图标显示模式中使用者视觉辨认的视场VR的一个例子的说明图。图8示出了观看棒球的比赛的观众SPl在不从当前位置移动而将视线方向朝左的情况下视觉辨认的视场VR。如图8所示，伴随着视线方向的变化，控制部10对在最大图像显示区域PN显示的图标图像的配置进行变更。在最大图像显示区域PN显示的图标图像中的一些被与棒球场BS中的确定位置建立关联地设定，在最大图像显示区域PN中显示于与确定位置接近的位置。在本实施方式中，图标ICN6被与棒球场BS内的挡球网里侧的位置建立关联地设定。因此，如图8所示，若使用者使视线方向朝左变化，则与改变视线方向之前的图7所示的图标ICN6的位置相比，图标ICN6的位置在最大图像显示区域PN中被显示于右侧。
[0083]在最大图像显示区域PN中的图标图像的配置发生了变更的情况下(步骤S350)，或者，在未检测出视线方向的变化的情况下(步骤S340:否)，控制部10对从图标组中选择确定的图标图像的操作进行监视(步骤S360)。若操作部135的九轴传感器139对操作部135中的规定活动进行检测，则控制部10对与规定活动对应的图标图像被选择的操作进行检测。
[0084]在未检测出对图标图像进行选择的动作的情况下(步骤S360:否)，控制部10继续对视线方向的变化进行监视(步骤S340)。
[0085]作为选择图标图像的动作，例如，在检测出相对于重力方向与水平方向朝向左下的加速度的情况下(步骤S360:是)，控制部10对在最大图像显示区域PN中配置于左下的图标ICN7被选择的操作进行检测，并将图像显示部20的动作模式变更成并行显示模式(步骤S370)。在并行显示模式中，由图标显示模式显示的图标组与和被选择的图标ICN7建立关联的影像(图像)被显示于最大图像显示区域PN。此外，与图标图像建立关联的影像相当于技术方案中的相关图像。
[0086]图9是表示图标图像与和图标图像建立关联的影像(图像)之间的关系的一个例子的说明图。图9示出了控制部10生成的图像数据，被生成的图像数据的区域的大小是图像数据区域DT。控制部10将从图像数据区域DT中的、与最大图像显示区域PN的大小对应的一部分图像数据储存于摄像存储器，并将已储存的图像数据发送至图像显示部20。在图标显示模式中，将图像数据区域DT中的最大图像显示区域PN内的图像数据发送至图像显示部20。若选择图标ICN7，则控制部10以将与图标ICN7建立关联的影像MG7显示于最大图像显示区域PN中的规定位置的方式将与图标ICN7建立关联的影像MG7储存于摄像存储器。控制部10将与已储存的最大图像显示区域PN的大小对应的图像数据发送至图像显示部20并使其显示于最大图像显示区域PN。此外，在本实施方式中，图像数据区域DT的横与纵的像素数分别为1920与1080，但在其他实施方式中，也可以为不同的像素数。另外，控制部10生成的图像数据相当于技术方案中的大区域图像数据，与储存于摄像存储器的最大图像显示区域PN的大小对应的图像数据相当于技术方案中的视觉辨认用图像数据。
[0087]图10是表示在并行显示模式中使用者视觉辨认的视场VR的一个例子的说明图。如图10所示，在最大图像显示区域PN中，在周边部配置有图标组，并在周边部以外且在包括中心的位置配置有影像MG7。影像MG7是能够从被从内容服务器300传送的“中心”侧看到的实时影像。影像MG7作为比图标ICN7大的图像显示于最大图像显示区域PN。在并行显示模式中，图标ICN7为了使使用者视觉辨认与显示于最大图像显示区域PN的中心的影像MG7存在关联，而与其他图标不同，以闪烁的方式显示。此外，在图10中，代替使图标ICN7闪烁显示，也利用阴影线来表示。并行显示模式相当于技术方案中的第二模式。所谓控制部10具有第一模式与第二模式是指控制部10作为图像显示部20的动作模式，具有不同的第一模式与第二模式，并能够在第一模式与第二节点之间切换图像显示部20的动作模式。另外，所谓本实施方式中的最大图像显示区域PN的中心是指分别相对于横的像素数960与纵的像素数540位于中央的横的像素数640与纵的像素数360的位置，进一步优选是位于中央的横的像素数480与纵的像素数270的位置。所谓最大图像显示区域PN中的周边部是指分别在横与纵，除了位于中央的横的像素数480与纵的像素数270的部分，进一步优选是除了位于中央的横的像素数640与纵的像素数360的部分。此外，在本实施方式中，最大图像显示区域PN的中心与使用者的视场VR的中心一致，但在其他实施方式中，也可以不一致。另外，在其他实施方式中，也可以是设定有在最大图像显示区域PN中配置有图标图像的区域的方式。
[0088]在最大图像显示区域PN中，使使用者在与显示有图标显示模式中的图标图像的部分和显示有并行显示模式中的图标图像以及影像IMG7的部分不同的部分视觉辨认外景SC的方法能够使用以下列举的(I )、(2)中任一方。
[0089](I)图像处理部160在将图标图像以及影像MG7储存于摄像存储器的情况下，将与图标图像以及影像MG7对应的部分以外的像素数据置换成黑色的虚拟点数据。
[0090](2)图像处理部160在将图标图像、影像MG7储存于摄像存储器的情况下，对用于切换在与图标图像、影像MG7对应的部分以外生成的图像光的有效与无效的信号(Enable信号)进行控制。具体而言，图像处理部160将与图标图像以及影像MG7对应的部分的Enable信号的输出值设为Hi (有效)，将不与图标图像以及影像MG7对应的部分的Enable信号的输出值设为Lo (无效)。
[0091]接下来，控制部10对选择图标组中的任意一个图标图像的操作进行监视(图6的步骤S380)。在并行显示模式中，若检测出选择任意一个图标图像的操作(步骤S380:是)，则控制部10将图像显示部20的动作模式从并行显示模式变更成图标显示模式(步骤S330)。
[0092]在步骤S380的处理中，在未检测出选择任意一个图标图像的操作的情况下(步骤S380:否)，控制部10对将影像MG7变更成全屏显示的操作进行监视(步骤S390)。在未检测出将影像頂G7变更成全屏显示的操作的情况下(步骤S390:否)，控制部10对选择图标组中的任意思一个图标图像的操作进行监视(步骤S380)。在检测出变更成全屏显示的操作的情况下(步骤S390:是)，控制部10将图像显示部20的动作模式设定为全屏显示模式(步骤 S400)。
[0093]图11是表示在全屏显示模式中使用者视觉辨认的视场VR的一个例子的说明图。如图11所示，控制部10使最大图像显示区域PN整体显示影像MG7，并将图标组设为非显示。此外，全屏显示模式相当于技术方案中的第三模式。
[0094]接下来，控制部10对变更图像显示部20的动作模式的操作进行监视(步骤S410)。在检测出将图像显示部20的动作模式变更成并行显示模式的操作的情况下(步骤S410:并行)，控制部10将图像显示部20的动作模式从全屏显示模式变更成并行显示模式(步骤S370)。在步骤S410的处理中，在检测出被检测出的操作变更成图标显示模式的操作的情况下(步骤S410:图标)，控制部10将图像显示部20的动作模式从全屏显示模式变更成图标显示模式(步骤S330)。[0095]在步骤S410的处理中，在未检测出对图像显示部20的动作模式进行变更的操作的情况下(步骤S410:否)，控制部10对结束传送图像显示处理的操作进行监视(步骤S420)。在未检测出结束传送图像显示处理的操作的情况下(步骤S420:否)，控制部10继续对变更图像显示部20的动作模式的操作进行监视(步骤S410)。在检测出结束传送图像显示处理的操作的情况下(步骤S420:是)，控制部10结束传送图像显示处理，并将在最大图像显示区域PN显示的图像设为非显示。
[0096]如以上说明的那样，在本实施方式中的头戴式显示装置100中，控制部10在图标显示模式与并行显示模式之间切换图像显示部20的动作模式。在图标显示模式中，在最大图像显示区域PN的中心以外的位置显示图标组。控制部10在图标显示模式中，若通过使用者的操作选择了图标ICN7，则设定为将与图标ICN7建立关联的影像MG7显示为比图标ICN7大的图像的并行显示模式。因此，在该头戴式显示装置100中，使用者根据自己的意愿切换图像显示部20的动作模式，能够选择想看的图像，并且根据需要也能够视觉辨认外景SC，因此提高使用者的便利性。
[0097]另外，在本实施方式中的头戴式显示装置100中，在并行显示模式中，将与图标ICN7建立关联的影像MG7显示于包括最大图像显示区域PN的中心的位置，因此使用者容易视觉辨认已选择的影像MG7，从而提高使用者的便利性。
[0098]另外，在本实施方式中的头戴式显示装置100中，在通过GPS模块134确定的使用者的当前位置在棒球场BS内的情况下，显示图像协作部142将表示当前位置在棒球场BS内的控制信号发送至内容服务器300，并接收从内容服务器300传送的影像信息。图标组中的与图标ICN7建立关联的影像MG7是从内容服务器300传送的影像。因此，在该头戴式显示装置100中，在使用者位于确定的地理区域内的情况下，传送与确定的地理区域存在关联的影像，从而能够使使用者视觉辨认。由此，使用者通过被确定的当前位置，能够视觉辨认与当前位置存在关联的影像，从而进一步提高使用者的便利性。
[0099]另外，在本实施方式中的头戴式显示装置中，控制部10在使用者的当前位置在棒球场BS内的情况下，基于通过九轴传感器66推断出的使用者的视线方向，对最大图像显示区域PN中的图标图像的配置进行变更。因此，在该头戴式显示装置100中，使用者视觉辨认的图标图像的配置与确定的地理区域被建立关联，因此使用者能够直观地识别图标图像的位置与外景SC的关系，从而提高使用者的操作性。
[0100]另外，在本实施方式中的头戴式显示装置100中，基于九轴传感器139检测出的操作部135的活动，从图标组选择图标ICN7。因此，在该头戴式显示装置100中，使用者不需要进行复杂的操作而通过简单且直观的操作，就能够从图标组选择图标图像，因此提高使用者的操作性。
[0101]另外，在本实施方式中的头戴式显示装置100中，图像处理部160在图标显示模式中，将与和在最大图像显示区域PN视觉辨认图标图像的部分不同的部分对应的图像数据的一部分置换成虚拟数据。图像处理部160在并行显示模式中，将与和在最大图像显示区域PN视觉辨认图标图像以及影像MG7的部分不同的部分对应的图像数据的一部分置换成虚拟数据。另外，在该头戴式显示装置100中，图像处理部160在最大图像显示区域PN中，将与使图标显示模式中的图标图像视觉辨认的部分和使并行显示模式中的图标图像以及影像MG7视觉辨认的部分对应的部分的图像光的生成设为有效。图像处理部160在最大图像显示区域PN中，将与不使图标显示模式中的图标图像视觉辨认的部分和不使并行显示模式中的图标图像以及影像MG7视觉辨认的部分对应的部分的图像光的生成设为无效。因此，在该头戴式显示装置100中，使用者在最大图像显示区域PN中的图标图像、影像IMG7以外的部分，不视觉辨认不需要的图像而能够视觉辨认外景SC，从而提高使用者的便利性。
[0102]另外，在本实施方式中的头戴式显示装置100中，控制部10生成与比最大图像显示区域PN大的区域亦即图像数据区域DT对应的图像数据，并将所生成的图像数据的一部分，即与最大图像显示区域PN的大小以下的区域对应的图像数据发送至图像显示部20。因此，在该头戴式显示装置100中，在控制部10制作与图标图像建立关联的影像作为一个图像数据。由此，在从图标组选择图标ICN7的情况下，不需要每次都接收从内容服务器300传送的图像，就能够在最大图像显示区域PN迅速地显示影像MG7的影像，能够提高利用者的便利性。
[0103]另外，在本实施方式中的头戴式显示装置100中，从控制部10向图像显示部20发送的图像数据是与和最大图像显示区域PN相同大小的区域对应的图像数据，因此使用者不进行不需要的操作，就能够以最大画面视觉辨认所选择的影像MG7。
[0104]另外，在本实施方式中的头戴式显示装置100中，控制部10在图标显示模式中，使图标组配置于最大图像显示区域PN的周边部。另外，控制部10在并行显示模式中，使图标组配置于最大图像显示区域PN的周边部，并且在最大图像显示区域PN的周边部以外显示与图标ICN7建立关联的影像MG7。因此，在该头戴式显示装置100中，在图标显示模式中，使用者能够在视场的中心视觉辨认外景SC，并且能够在中心以外视觉辨认图标图像。并且，在并行显示模式中，使用者能够一次视觉辨认图标组、从图标组选择出的与图标ICN7建立关联的影像MG7双方的图像，因此提高使用者的便利性。
[0105]另外，在该头戴式显示装置100中，在并行显示模式中，与显示于最大图像显示区域PN的中心的影像MG7建立关联的图标ICN7被显示成与其他图标不同。因此，使用者在并行显示模式中，容易识别影像IMG7与图标ICN7之间的关系，从而进一步提高使用者的便利性。
[0106]另外，在本实施方式中的头戴式显示装置100中，控制部10在以与最大图像显示区域PN相同的大小来显示影像MG7的全屏显示模式、图标显示模式、并行显示模式之间切换图像显示部20的动作模式。因此，在该头戴式显示装置100中，在全屏显示模式中，在最大图像显示区域PN整体显示影像MG7，因此选择显示于最大图像显示区域PN的图像的显示方式的宽度较宽，从而进一步提高使用者的便利性。
[0107]B.变形例:
[0108]此外，本发明不限定于上述实施方式，能够在不脱离其主旨的范围内以各种方式进行实施，例如，也能够进行接下来那样的变形。
[0109]B1.变形例 I:
[0110]在上述实施方式中，作为在图标显示模式中被选择的图像，虽使用图标图像，但被选择的图像并不限定于图标图像，能够进行各种变形。图12是表示在图标显示模式中使用者视觉辨认的视场VR的一个例子的说明图。在图12中，与图7所示的上述实施方式的图标显示模式不同，在最大图像显示区域PN代替显示图标ICN7而显示影像MG7、代替显示图标ICN2而显示图像IMG2。在该变形例中的头戴式显示装置100中，由于代替图标图像而显示与图标图像建立关系的影像、图像，因此由于使用者视觉容易识别图标图像与影像的关联性，因而提高使用者的便利性。
[0111]在上述实施方式中，作为图像显示部20的动作模式，虽列举了图标显示模式、并行显示模式、以及全屏显示模式，但动作模式的方式并非限定于此，能够进行各种变形。例如，图像显示部20的动作模式也可以仅为图标显示模式与并行显示模式两个动作模式，也可以为四个以上的动作模式。
[0112]B2.变形例 2:
[0113]在上述实施方式中，在并行显示模式中，在影像MG7被显示于最大图像显示区域PN的包括中心的位置，但并非需要显示于包括中心的位置，针对显示的位置能够进行各种变形。例如，在并行显示模式中，也可以在比最大图像显示区域PN的中心靠左的位置显示影像MG7作为比图标显示模式中的图标ICN7大的图像。另外，除了在图标显示模式中被选择的影像頂G7以外，还在追加选择出其他图标图像的情况下，也可以与影像MG7独立地显示与追加选择出的图标图像建立关联的影像。
[0114]另外，在上述实施方式中，作为最大图像显示区域PN的中心，设为与使用者的视场VR的中心相同的方式，但针对最大图像显示区域PN与视场VR的中心的位置关系能够进行各种变形。例如，在被CCD摄像机确定视线方向的情况下，也存在最大图像显示区域PN的中心相当于视场VR的右端、下端的位置的情况。在头戴式显示装置100的使用者不使头部移动而欲视觉辨认左方的情况下，即便是最大图像显示区域PN的中心，也相当于视场VR的右端。另外，在使将头戴式显示装置100佩戴于使用者的头部的位置偏移的情况下，即便是最大图像显示区域PN的中心，也存在相当于视场VR的下端等的位置的情况。即便在该情况下，也将图标图像配置于最大图像显示区域PN的中心以外，因此使用者能够对欲观察的图像进行选择，并且根据需要也能够视觉辨认外景SC，因此提高使用者的便利性。
[0115]B3.变形例 3:
[0116]在上述实施方式中，作为确定的地理区域，列举了棒球场BS，但未必需要是棒球场BS，也能够进行各种变形。例如，确定的地理区域也可以为足球场、陆上竞技场，也可以为美术馆、讲演会场。
[0117]例如，头戴式显示装置100的使用者是汽车的驾驶员，在未佩戴头戴式显示装置100的状态下，也可以对成为使用者的死角的部分用摄像机等进行拍摄而得的影像设为与图标图像建立关联的影像。通过九轴传感器66检测出的头部的移动而进行图标图像的选择，从而使用者能够视觉辨认成为死角的部分的影像。在该头戴式显示装置100中，使用者能够在未佩戴头戴式显示装置100的状态下视觉辨认无法视觉辨认的部分，因此能够提高使用者的安全性。另外，在头戴式显示装置100的使用者为餐厅的经营者的情况下，使用者即使不特意移动至提供餐饮的店内、厨房、保管食材等库存的仓库内也能够视觉辨认提供餐饮的店内、厨房、保管食材等库存的仓库内。在该头戴式显示装置100中，使用者不移动就能够视觉辨认多个工作现场，因此提高使用者的便利性。
[0118]另外，也能够将头戴式显示装置100应用于工业。例如，在设置有多个工业用机械的工厂内，在头戴式显示装置100的使用者是在工厂内巡视进行检查的工作人员的情况下，也可以根据被预先设定于各个机械的操作状况将显示改变的图标图像显示于最大图像显示区域PN。另外，在工厂以外的进行交通管制的塔台的管制员是头戴式显示装置100的使用者的情况下，在使用者欲详细地观察远方的影像时，也能够将放大的图像显示于最大图像显示区域PN。
[0119]另外，在上述实施方式中，作为被从内容服务器300传送的影像信息，设为表示能够从与棒球场BS内的使用者的当前位置不同的位置视觉辨认的影像、图像的信息，但从内容服务器300传送的信息不限定于此，能够进行各种变形。例如，也可以如影像IMG7那样不是实时影像，而从内容服务器300传送表示重播影像、集锦场面的影像。另外，在棒球的比赛中，也可以从内容服务器300传送在其他的棒球场进行的比赛的经过状况。
[0120]另外，在上述实施方式中，在GPS模块134确定的当前位置在棒球场BS内的情况下，显示图像协作部142向内容服务器300发送控制信号，并设为接收被从内容服务器300传送的图像的方式，但基于当前位置的确定传送来自内容服务器300的影像的方式能够进行各种变形。例如，显示图像协作部142发送确定的信号，内容服务器300接收确定的信号，并根据确定的信号与棒球场BS的位置关系，在判定为头戴式显示装置100存在于棒球场BS内的情况下，将影像信息向显示图像协作部142传送。在该变形例中的头戴式显示装置100中，即使不将GPS模块134搭载于控制部10，也识别显示图像协作部142与内容服务器300相互的位置关系，显示图像协作部142能够接收被从内容服务器300传送的影像信息。
[0121]B4.变形例 4:
[0122]另外，在上述实施方式中，在图标显旲式中，最大图像显不区域PN中的图标图像的配置基于使用者相对于棒球场BS的当前位置与使用者的视线方向来变更。作为图标图像的配置的变更，存在变更图标ICN6的位置的方式，但图标图像的配置的变更方式不限定于此，能够进行各种变形。例如，在上述实施方式中，作为使用者的观众SPl位于三垒侧的看台ST，因此成为图7所示的图标组的配置。与此相对，在位于一垒侧的看台ST的观众SP2佩戴头戴式显示装置100的情况下，表示“一垒侧选手席”的图像的图标ICN4与表示“三垒侧选手席”的图像的图标ICN8的配置也可以成为与最大图像显示区域PN中的配置相反。另外，不论图标显示模式如何，在并行显示模式中，也可以根据使用者相对于棒球场BS的当前位置与使用者的视线方向来变更图标图像的配置。
[0123]另外，在上述实施方式中，使用者的视线方向通过设置于图像显示部20的九轴传感器66而被推断，但使用者的视线方向的推断方法不限定于此，能够进行各种变形。例如，也可以通过CCD摄像机对使用者的眼睛进行拍摄，并对已拍摄的图像进行解析，从而推断使用者的视线方向。
[0124]B5.变形例 5:
[0125]在上述实施方式中，设为将操作部135配置于控制部10的方式，但操作部135的方式不限定于此，能够进行各种变形。例如，操作部135也可以构成为独立的用户接口。在该情况下，不具有将操作部135内置于控制部10的构成，因此能够简化操作部135，从而能够提高操作部135的操作性。
[0126]B6.变形例 6:
[0127]在上述实施方式中，在最大图像显示区域PN中，将与图标图像以及影像MG7对应的部分以外的图像数据置换成黑色的虚拟点数据，但对于置换的虚拟数据而言，不限定于黑色，能够进行各种变形。例如，对于包围图标图像的周边部分的图像数据而言，也可以置换成红色、蓝色之类的虚拟数据，对于其他的部分的图像数据而言，也可以置换成黑色的虚拟数据。在该变形例的头戴式显示装置100中，图标图像被红色、蓝色之类的颜色的框包围并显示于最大图像显示区域PN，因此使用者容易区别外景SC与图标图像，容易对图标图像进行识别，因此提高使用者的便利性、操作性。
[0128]B7.变形例 7:
[0129]在上述实施方式中，在并行显示模式中，图标ICN7与显示于最大图像显示区域PN的中心的影像IMG7相关联，因此与其他的图标图像不同，以闪烁的方式显示于最大图像显示区域PN,但图标ICN7的显示方式能够进行各种变形。例如，图标ICN7也可以是与图标ICN7以外的图标图像相同的显示方式。另外，图标图像也可以显示为基于被从内容服务器300传送并建立关联的影像、静止图像的内容而不同。
[0130]在上述实施方式中，虽对头戴式显示装置100的实施方式进行了说明，但不仅限于头戴式显示装置100，还能够作为图像显示系统的方式来实施。例如，图像显示系统还可以具备内容服务器300、使使用者识别从内容服务器300传送的影像作为虚像的透射式的头戴式显示装置100。在头戴式显示装置100中，在通过GPS模块134确定的当前位置在棒球场BS内的情况下，显示图像协作部142向内容服务器300发送控制信号。内容服务器300若接收到从显示图像协作部142发送的控制信号，则将影像信息传送至头戴式显示装置100。在头戴式显示装置100中，接收显示图像协作部142传送的影像信息，控制部10将图像显示部20的动作模式设定为图标显示模式。在图标显示模式中，例如，若选择图标ICN7，则控制部10使使用者视觉辨认表示被传送的影像信息的影像MG7比图标ICN7大。在该图像显示系统中，使用者根据自己的意思切换图像显示部20的动作模式，能够选择从内容服务器300传送的图像，并且根据需要也能够视觉辨认外景SC，因此提高使用者的便利性。
[0131]B8.变形例 8:
[0132]例如，图像光生成部也可以构成为具备有机EL (有机电致发光，OrganicElectro-Luminescence)的显示器、有机EL控制部。另外,例如，图像生成部代替IXD,还能够使用LC0S(Liquid crystal on silicon硅基液晶，LCOS为注册商标)、数字微镜设备等。另外，例如，也能够将本发明应用于激光网膜投影式的头戴式显示器。在为激光网膜投影式的情况下，所谓“图像光生成部中的图像光的可射出区域”能够定义为被使用者的眼睛识别的图像区域。
[0133]另外，例如，头戴式显示器也可以为光学像显示部仅对使用者的眼睛的一部分进行覆盖的方式，换言之，是光学像显示部不完全覆盖使用者的眼睛的方式的头戴式显示器。另外，头戴式显示器也可以设为所谓的单眼类型的头戴式显示器。例如，在光学像显示部不对使用者的眼睛进行覆盖的单眼类型的头戴式显示器中，是即使不在最大图像显示区域PN的中心以外，也在使使用者视觉辨认的生成图像的中心以外视觉辨认图标图像的方式。
[0134]另外，耳机可以采用耳挂式、头戴式，也可以省略。另外，例如，也可以构成为搭载于汽车、飞机等交通工具的头戴式显示器。另外，例如，也可以构成为内置于安全帽等身体防护具的头戴式显示器。
[0135]B9.变形例 9:
[0136]上述实施方式中的头戴式显示装置100的构成只是一个例子，能够进行各种变形。例如，可以省略设置于控制部10的方向键16、触摸板14的一方、或可以在方向键16、触摸板14的基础上或者代替方向键16、触摸板14而设置操作用棒等其他的操作用接口。另外，控制部10是能够连接键盘、鼠标等输入设备的构成，也可以设为从键盘、鼠标接受输入的部件。
[0137]另外，作为图像显示部，除了如眼镜那样佩戴的图像显示部20之外，也可以采用例如帽子那样佩戴的图像显示部之类的其他方式的图像显示部。另外，耳机32、34、摄像机61能够适当地省略。另外，在上述实施方式中，作为生成图像光的构成，虽利用IXD与光源，但除此之外，也可以采用有机EL显示器之类的其他显示元件。另外，在上述实施方式中，虽利用九轴传感器66作为对使用者的头部的移动进行检测的传感器，但除此之外，也可以利用由加速度传感器、角速度传感器、地磁传感器中的一个或者两个构成的传感器。另外，在上述实施方式中，头戴式显示装置100为双眼类型的光学透射式，但本发明也能够相同地应用于例如摄像透射式、单眼类型之类的其他形式的头戴式显示装置。
[0138]另外，在上述实施方式中，头戴式显示装置100也可以向使用者的左右的眼睛导入表示相同的图像的图像光而使使用者视觉辨认二维图像，也可以向使用者的左右的眼睛导入表示不同的图像的图像光而使使用者视觉辨认三维图像。
[0139]另外，在上述实施方式中，也可以将通过硬件实现的构成的一部分置换成软件，相反，也可以将通过软件实现的构成的一部分置换成硬件。例如，在上述实施方式中，图像处理部160、声音处理部170通过CPU140读出并执行计算机程序来实现，但上述的功能部也可以通过硬件电路来实现。
[0140]另外，在通过软件实现本发明的功能的一部分或者全部的情况下，该软件(计算机程序)能够以储存于计算机能够读取的记录介质的形式提供。在本发明中，所谓“计算机能够读取的记录介质”不限定于软盘、CD-ROM那样的便携式的记录介质，也包括各种RAM、R0M等计算机内的内部存储装置、硬盘等固定于计算机的外部存储装置。
[0141]另外，在上述实施方式中，如图2以及图3所示，控制部10与图像显示部20形成为独立的构成，但针对控制部10与图像显示部20的构成不限定于此，能够进行各种变形。例如，可以在图像显示部20的内部形成有形成于控制部10的构成的全部，也可以仅形成有一部分。另外，可以仅将形成于控制部10的构成内的操作部135形成为单独的用户接口(Π)，也可以单独地形成上述实施方式中的电源130，且是能够更换的构成。另外，也可以将形成于控制部10的构成以重合的方式形成于图像显示部20。例如，也可以将图2所示的CPU140形成于控制部10与图像显示部20双方，也可以设为独立地划分形成于控制部10的CPU140与形成于图像显示部20的CPU进行的功能的构成。
[0142]另外，也可以是将控制部10内置于个人计算机(PC)，代替PC的监视器而使用图像显示部20的方式，也可以是将控制部10与图像显示部20 —体化，并佩戴于使用者的衣服的可穿戴计算机的方式。
[0143]本发明不限定于上述实施方式、变形例，在不脱离其主旨的范围内能够通过各种构成来实现。例如，为了解决上述的课题的一部分或者全部，或者为了实现上述的效果的一部分或者全部，与在发明的概要栏记载的各方式中的技术特征对应的实施方式、变形例中的技术特征能够适当地进行替换、组合。另外，只要在本说明书未说明该技术特征中为必须的，则能够适当地删除。[0144]附图标记说明[0145]10...控制部；11…决定键；12...亮灯部；13…显示切换键；14...触摸板；15...亮度切换键；16...方向键；17...菜单键；18...电源开关；20...图像显示部；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显示部；28…左光学像显不部;30…耳机插头;32…右耳机;34…左耳机;40…连接部;42…右软线;44…左软线；46…连结部件；48…主体软线；51…发送部；52…发送部；53…接收部；54…接收部；61...摄像机；66…九轴传感器(视线方向推断部)；100…头戴式显示装置；110…输入信息取得部;120…存储部;130…电源;132…无线通信部;134…GPS模块(位置检测部);135…操作部；139…九轴传感器(活动检测部)；140…CPU ;142…显不图像协作部(信号发送部、信息接收部)；150…操作系统；160…图像处理部；170…声音处理部；180…接口 ；190…显示控制部；201…右背光灯控制部；202…左背光灯控制部；211…右IXD控制部；212…左IXD控制部；221…右背光灯；222…左背光灯；241...右IXD ;242…左IXD ;251…右投射光学系统；252…左投射光学系统；261…右导光板；262…左导光板；300…内容服务器(信息装置)；310…CPU ;312…信息收发部；314…影像处理部；316…影像传送部；320…存储部;330…无线通信部；340…影像输入接口 ；1000…影像显示系统；PCLK…时钟信号；VSync…垂直同步信号；HSync…水平同步信号；Data...图像数据；Datal…右眼用图像数据；IMG7...影像(相关图像)；MG2...图像(相关图像)；ICN1、ICN2、ICN3、ICN4、ICN5、ICN6、ICN7、ICN8、ICN9…图标(可选择图像);0A…外部机器;SC…外景;IL...照明光；PL...图像光;PN…最大图像显示区域(可生成图像区域)；SP、SP1、SP2、SP3...观众；VR...使用者的视场；GR...球场；BS...棒球场(确定的地理区域);ST…看台；SB...记分牌；DT...图像数据区域；Ca、Cal、Ca2、Ca3、Ca4、Ca5、Ca6…摄像机。
【权利要求】
1.一种头戴式显示装置，其特征在于，是透射式的头戴式显示装置，具备: 操作部，其接受操作； 控制部，其发送图像数据；以及 图像显示部，其在被佩戴于使用者的头部的状态下，使使用者视觉辨认基于被从所述控制部发送的所述图像数据而生成的生成图像， 所述控制部具有第一模式和第二模式来作为所述图像显示部的动作模式，在所述第一模式下，在所述图像显示部能够生成所述生成图像的区域亦即可生成图像区域的中心以外的位置，使多个可选择图像被视觉辨认；所述第二模式下，在基于所述操作从所述多个可选择图像中选择出一个所述可选择图像的情况下，使与所述一个可选择图像建立关联的相关图像被视觉辨认为比所述第一模式下的所述一个可选择图像大的图像。
2.根据权利要求1所述的头戴式显示装置，其特征在于， 所述控制部在所述第二模式下，在所述可生成图像区域的包括中心的位置使所述相关图像得比被视觉辨认。
3.根据权利要求1或2所述的头戴式显示装置，其特征在于，还具备: 位置检测部，其对当前位置进行检测； 信号发送部，其在被所述位置检测部检测出的所述当前位置在确定的地理区域内的情况下，向信息装置发送控制信号；以及 信息接收部，其接收从接收到所述控制信号的所述信息装置发送的确定信息， 与所述多个可选择图像建立关联的多个相关图像中的至少一个是表示所述确定信息的图像。
4.根据权利要求1~3中任一项所述的头戴式显示装置，其特征在于，还具备: 信号发送部，其发送确定的信号；以及 信息接收部，其在接收从所述信号发送部发送的所述确定的信号，并在信息装置基于所述确定的信号而判定为所述头戴式显示装置的当前位置在确定的地理区域内的情况下，接收所述信息装置发送的确定信息， 与所述多个可选择图像建立关联的多个相关图像中的至少一个是表示所述确定信息的图像。
5.根据权利要求1~4中任一项所述的头戴式显示装置，其特征在于，还具备: 位置检测部，其对当前位置进行检测；以及 视线方向推断部，其对使用者的视线方向进行推断， 所述控制部在通过所述位置检测部检测出的所述当前位置在确定的地理区域内的情况下，基于所述视线方向与所述当前位置，来变更所述可生成图像区域中的所述可选择图像的配置。
6.根据权利要求1~5中任一项所述的头戴式显示装置，其特征在于， 还具备活动检测部，所述活动检测部对所述操作部的活动进行检测， 所述操作是所述活动操作部检测出的所述操作部的活动。
7.根据权利要求1~6中任一项所述的头戴式显示装置，其特征在于， 所述控制部将所述图像数据中的、在所述第一模式下与和所述可选择图像在所述可生成图像区域中被视觉辨认的区域不同的区域对应的部分置换成虚拟数据，将所述图像数据中的、在所述第二模式下与和所述相关图像及所述可选择图像在所述可生成图像区域中被视觉辨认的区域不同的区域对应的部分置换成虚拟数据。
8.根据权利要求1~7中任一项所述的头戴式显示装置，其特征在于， 还具备图像光生成部，所述图像光生成部基于从所述控制部发送的图像数据生成表示图像的图像光， 所述图像显示部使所述图像光射至使用者的眼睛来使使用者视觉辨认所述生成图像， 所述控制部在所述第一模式下，在与和所述可选择图像在所述可生成图像区域中被视觉辨认的区域不同的区域对应的部分，不生成所述图像光，在所述第二模式下，在与和所述相关图像及所述可选择图像在所述可生成图像区域中被视觉辨认的区域不同的区域对应的部分，不生成所述图像光。
9.根据权利要求1~8中任一项所述的头戴式显示装置，其特征在于， 所述控制部生成与比所述可生成图像区域大的区域对应的大区域图像数据，并提取所述大区域图像数据的一部分，将与所述可生成图像区域的大小以下的区域对应的视觉辨认用图像数据发送至所 述图像显示部。
10.根据权利要求9所述的头戴式显示装置，其特征在于， 所述视觉辨认用图像数据是与和所述可生成图像区域相同大小的区域对应的图像数据。
11.根据权利要求1~10中任一项所述的头戴式显示装置，其特征在于， 所述控制部在所述第一模式下，使所述可选择图像配置于所述可生成图像区域的周边部，在所述第二模式下，使所述可选择图像配置于所述可生成图像区域的周边部，并且使所述相关图像配置于所述可生成图像区域的周边部以外且包括中心的位置。
12.根据权利要求11所述的头戴式显示装置，其特征在于， 所述控制部在所述第二模式下，使与配置于所述可生成图像区域的所述相关图像建立关联的所述一个可选择图像以与其他的所述可选择图像不同的方式显示于所述图像显示部。
13.根据权利要求11或12所述的头戴式显示装置，其特征在于， 所述控制部具有使所述相关图像以成为与所述可生成图像区域相同大小的区域的方式配置的第三模式、所述第一模式以及所述第二模式来作为所述动作模式。
14.一种图像显示系统，其特征在于，是具备信息装置和使使用者视觉辨认表示被从所述信息装置发送的确定信息的图像的透射式的头戴式显示装置的图像显示系统， 所述头戴式显示装置具有对当前位置进行检测的位置检测部、以及在被所述位置检测部检测出的所述当前位置在确定的地理区域内的情况下向所述信息装置发送控制信号的信号发送部， 所述信息装置若接收到被从所述信号发送部发送的所述控制信号，则将所述确定信息向所述头戴式显示装置发送， 所述头戴式显示装置还具有接收被从所述信息装置发送的所述确定信息的信息接收部、以及控制部，所述控制部具有第一模式以及第二模式作为使使用者视觉辨认图像的动作模式，在所述第一模式下，使多个可选择图像在所述头戴式显示装置能够生成所述图像的可生成图像区域的中心以外的位置被视觉辨认，在所述第二模式下，在基于所述操作从所述多个可选择图像中选择一个所述可选择图像的情况下，使与所述一个可选择图像建立关联并且表示所述确定信息的相关图像被视觉辨认为比所述第一模式下的所述一个可选择图像大的图像。
15.一种控制方法，其特征在于，是具备接受操作的操作部、发送图像数据的控制部、以及在被佩戴于使用者的头部的状态下使使用者视觉辨认基于被从所述控制部发送的所述图像数据而生成的生成图像的图像显示部的透射式的头戴式显示装置的控制方法， 所述控制方法具备下述工序，即:具有第一模式以及第二模式来作为对所述图像显示部进行控制的动作模式，在所述第一模式下，使多个可选择图像在能够生成所述生成图像的可生成图像区域的中心以外的位置被视觉辨认，所述第二模式下，在基于所述操作从所述多个可选择图像选择一个所述可选择图像的情况下，使与所述一个可选择图像建立关联的相关图像被视觉辨认为比所述第一模式下的所述一个可选择图像大的图像。
【文档编号】G02B27/01GK103926694SQ201410014277
【公开日】2014年7月16日 申请日期:2014年1月13日 优先权日:2013年1月15日
【发明者】小林伸一 申请人:精工爱普生株式会社