头部佩戴型显示装置、其控制方法、控制系统及计算机程序的制作方法
【技术领域】
[0001]本发明涉及头部佩戴型显示装置的技术。
【背景技术】
[0002]已知有在头部佩戴的显示装置即头部佩戴型显示装置(头戴显示器(HeadMounted Display)，HMD)。头部佩戴型显示装置例如利用液晶显示器及光源来生成表示图像的图像光，用投影光学系统和/或导光板将生成的图像光导入使用者的眼，从而使使用者观看虚像。头部佩戴型显示装置有使用者不仅可观看虚像还可观看外景的透射型和使用者无法观看外景的非透射型这2个类型。透射型的头部佩戴型显示装置有光学透射型和视频透射型。
[0003]专利文献I公开了:接收从控制器发送的控制指令的被控制设备将与所接收的控制指令有关的显示控制数据向控制器发送，由此进行控制器和被控制设备的双向数据的发送接收的设备控制系统。专利文献2公开了:在与拍摄的使用者的视野同等以上的范围包括作为预定标记的使用者的指尖时，通过输出指尖的座标值，进行与指尖的位置相应的控制处理的输入图像处理方法。专利文献3公开了:基于由2眼相机拍摄的外景和拍摄的使用者的手的位置及姿势来操作被控制设备的信息输入方法。
[0004]【专利文献I】特开平5-268678号公报
[0005]【专利文献2】特开2000-148381号公报
[0006]【专利文献3】特开2013-205983号公报
[0007]【专利文献4】特开2006-48628号公报
[0008]【专利文献5】特开2005-69734号公报
[0009]【专利文献6】特开2000-163196号公报
【发明内容】
[0010]但是，专利文献I所述的技术中，存在多个被控制设备时，存在下述问题:使用者为了控制某一个被控制设备，无法进行基于直观操作的控制，期望提高方便性。另外，专利文献2所述的技术中，使用者必须持续固定指尖的位置直到选择成为对象的被控制设备为止，会导致使用者疲劳，因此，存在期望进一步提高方便性的问题。另外，专利文献3中，基于手的位置和姿势来操作被控制设备，但是，存在期望通过还考虑除此以外的信息来操作被控制设备从而更直观地操作被控制设备的问题。
[0011]本发明为了解决上述问题的至少一部分而提出，可以作为以下的方式实现。
[0012](I)根据本发明的一方式，提供透射型的头部佩戴型显示装置。该头部佩戴型显示装置具备:显示虚像并能透射外景的图像显示部；对象取得部，取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体(object)的位置；和控制部，用上述图像显示部将与所取得的上述对象物对应的对象物对应虚像显示为上述虚像，基于所取得的上述特定的物体的位置，特定上述特定的物体的位置的变化，基于所特定的上述特定的物体的位置的变化和所取得的上述对象物的位置的关系，选择上述对象物，用上述图像显示部将与所选择的上述对象物对应的特定确认图像显示为上述虚像。根据该方式的头部佩戴型显示装置，使用者可以在不改变视线方向的情况下同时观看操作的对象的对象物和与所检测的特定的物体的位置的变化对应的控制，可以直观地进行对象物的控制，提高使用者的便利性。
[0013](2)上述方式的头部佩戴型显示装置中，也可以为，上述对象取得部具有:拍摄上述外景的拍摄部；检测并取得所拍摄的上述外景中所包括的上述特定的物体的位置和上述对象物的图像检测部，上述控制部确定所选择的上述对象物的控制，执行所确定的上述对象物的控制。根据该方式的头部佩戴型显示装置，通过拍摄可以取得特定的物体及对象物，同时，使用者可以观看所拍摄的特定的物体及对象物，因此容易识别对象物。
[0014](3)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部，将预先与所取得的上述特定的物体的位置和所取得的上述对象物的组合相对应的上述对象物对应虚像，显示为上述虚像。根据该方式的头部佩戴型显示装置，使用者可将执行对象物的控制所需的特定的物体的位置的变化识别为视觉信息，提高对于使用者的头部佩戴型显示装置的方便性。
[0015](4)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部显示表示执行上述对象物的控制所需的上述特定的物体的位置的变化的上述虚像，作为预先与所取得的上述特定的物体的位置和所取得的上述对象物的组合相对应的上述对象物对应虚像。根据该方式的头部佩戴型显示装置，使用者可以将与自身的特定的物体的位置的变化对应地接着执行的对象物的控制的内容识别为视觉信息，因此，提高对于使用者的方便性。
[0016](5)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部显示表示要执行的上述对象物的控制的内容的上述虚像，作为预先与所取得的上述对象物相对应的上述对象物对应虚像。根据该方式的头部佩戴型显示装置，使用者可以将与特定的物体的位置的变化对应地接着执行的对象物的控制的内容识别为视觉信息，因此提高对于使用者的方便性。
[0017](6)上述方式的头部佩戴型显示装置中，也可以为，上述控制部在所拍摄的上述外景中上述特定的物体的变化后的位置与上述对象物重叠时，确定预先对应于与上述特定的物体的变化后的位置重叠的上述对象物的上述对象物的控制。根据该方式的头部佩戴型显示装置，执行特定的物体的位置的变化后与特定的物体重叠的对象物所对应的对象物的控制，所以使用者容易进行与期望的对象物的控制对应的特定的物体的变化。
[0018](7)上述方式的头部佩戴型显示装置中，也可以为，还具备特定所取得的上述对象物与上述图像显示部的距离的距离特定部，上述控制部将所取得且所特定的上述距离为阈值以下的上述对象物设定为能选择的上述对象物。根据该方式的头部佩戴型显示装置，在所拍摄的图像检测到多个临时对象时，将离使用者近的物体设定为能选择的对象物，因此，可令使用者观看使用者选择可能性高的对象物，因此使用者的便利性提高。
[0019](8)上述方式的头部佩戴型显示装置中，也可以为，还具备取得外部的声音的声音取得部，上述控制部基于所特定的上述特定的物体的位置的变化和所取得的上述声音的组合，确定上述对象物的控制。根据该方式的头部佩戴型显示装置，根据特定的物体的位置的变化和声音的组合来执行对象物的控制，因此，与仅仅根据特定的物体的位置的变化来执行的对象物的控制相比，使用者可以直观地进行更多的对象物的控制。
[0020](9)上述方式的头部佩戴型显示装置中，也可以为，上述对象取得部从其他装置取得至少一个上述对象物的位置信息。根据该方式的头部佩戴型显示装置，使用者对于无法观看的范围的能选择的对象物的位置也可以识别，使用者的方便性提高。
[0021](10)上述方式的头部佩戴型显示装置中，也可以为，上述控制部在所取得的上述对象物不包括于上述外景时，用上述图像显示部显示上述图像显示部与所取得的上述对象物的位置关系，作为上述虚像。根据该方式的头部佩戴型显示装置，使用者可将无法观看的范围的能选择的对象物的位置与使用者的位置关系观看为虚像，使用者的方便性进一步提尚O
[0022](11)上述方式的头部佩戴型显示装置中，也可以为，上述控制部检测上述特定的物体的加速度，基于检测到的上述特定的物体的加速度，特定上述特定的物体的位置的变化。根据该方式的头部佩戴型显示装置，执行对使用者选择的对象物的控制指示时，不必在特定的场所操作、在拍摄范围进行相对应的工作来作为操作，使用者的便利性提高。
[0023](12)上述方式的头部佩戴型显示装置中，也可以为，还具备取得外部的声音的声音取得部，上述控制部基于所取得的上述外部的声音和所特定的上述特定的物体的位置的变化的组合，确定所选择的上述对象物的控制。根据该方式的头部佩戴型显示装置，基于声音和特定的物体的位置的变化的多个要素来确定对所选择的对象物的控制，因此，使用者可以输入更多的操作，使用者的方便性提高。
[0024](13)上述方式的头部佩戴型显示装置中，也可以为，上述控制部执行与所选择的上述对象物相对应的控制装置的控制，在取得在上述外景所选择的上述对象物和上述控制装置时，用上述图像显示部，显示所选择的上述对象物和上述控制装置处于对应关系的情况，作为上述虚像。根据该方式的头部佩戴型显示装置，可以观看所检测的能选择的对象物与所检测的特定的物体的对应关系，使用者的方便性提高。
[0025](14)上述方式的头部佩戴型显示装置中，也可以为，上述控制部用上述图像显示部，显示相同形状相同颜色的虚像，作为表示所选择的上述对象物与上述控制装置处于对应关系的情况的上述虚像。根据该方式的头部佩戴型显示装置，可以更明确观看所检测的能选择的对象物和所检测的特定的物体的对应关系，使用者的方便性提高。
[0026](15)上述方式的头部佩戴型显示装置中，也可以为，还具备识别上述图像显示部的使用者的属性的识别部，上述控制部将与上述对象物相对应的虚像和上述特定确认图像的至少一方，与所识别的上述属性对应，用上述图像显示部显示为上述虚像。根据该方式的头部佩戴型显示装置，在图像显示部生成按所特定的使用者而不同的虚像，因此，可提供符合使用者的需求的信息。
[0027]上述本发明的各方式具有的多个构成要素不是全部必须的，为了解决上述问题的一部分或全部，或者，为了实现本说明书所述的效果的一部分或全部，对上述多个构成要素的部分构成要素可适宜进行变更、删除、用新的其他构成要素的更换、限定内容的一部分删除。另外，为了解决上述问题的一部分或全部，或者，为了实现本说明书所述的效果的一部分或全部，也可以将上述本发明的一方式所包括的技术特征的一部分或全部与上述本发明的其他方式所包括的技术特征的一部分或全部组合，形成为本发明的独立的一个方式。
[0028]例如，本发明的一方式也可以实现为具备图像显示部、对象取得部、控制部的3个要素中的一部分或全部的要素的装置。即，该装置可以具有图像显示部，也可以不具备。另夕卜，装置可以具有对象取得部，也可以不具备。另外，装置可以具备控制部，也可以不具备。图像显示部例如可以是显示虚像并可透射外景。对象检测部例如也可以取得处于离上述图像显示部预定的距离的范围的能选择的对象物和上述外景所包括的特定的物体的位置。控制部例如也可以将与所取得的上述对象物相对应的对象物对应虚像用上述图像显示部显示为上述虚像，基于所取得的上述特定的物体的位置，特定上述特定的物体的位置的变化，基于所特定的上述特定的物体的位置的变化和所取得的上述对象物的位置的关系，选择上述对象物，将与所选择的上述对象物相对应的特定确认图像用上述图像显示部显示为上述虚像。这样的装置例如可以实现为头部佩戴型显示装置，但是也可以实现为头部佩戴型显示装置以外的其他装置。根据这样的方式，可以解决装置的操作性的提高及简化、装置的一体化和/或使用装置的使用者的便利性的提高等的各种问题的至少一个。前述头部佩戴型显示装置的各方式的技术特征的一部分或全部都可以在该装置适用。
[0029]本发明也能以头部佩戴型显示装置以外的各种方式实现。例如，能以显示装置、头部佩戴型显示装置及显示装置的控制方法、控制系统、头部佩戴型显示系统、显示装置、控制系统及用于实现显示装置的功能的计算机程序、记录有该计算机程序的记录介质、包括该计算机程序而在载波内实现的数据信号等的方式实现。
【附图说明】
[0030]图1是表示HMD的外观构成的说明图。
[0031]图2是功能性表示HMD的构成的方框图。
[0032]图3是表示由图像光生成部出射图像光的情形的说明图。
[0033]图4是表不设备确认处理的流程的说明图。
[0034]图5是表示检测到操作对象时使用者观看的视野的一例的说明图。
[0035]图6是表示检测到判断对象时使用者观看的视野的一例的说明图。
[0036]图7是表示显示确认完毕图像时使用者观看的视野的一例的说明图。
[0037]图8是功能性表示第2实施方式中的控制系统的构成的方框图。
[0038]图9是表示控制处理的流程的说明图。
[0039]图10是表示检测到操作对象时使用者观看的视野的一例的说明图。
[0040]图11是表示在手势检测模式时使用者观看的视野的一例的说明图。
[0041]图12是表示显示有设定手势对应的手势检测模式的图像时使用者观看的视野的一例的说明图。
[0042]图13是表示显示有控制后图像时使用者观看的视野的一例的说明图。
[0043]图14是表示第3实施方式中的控制系统的构成的概略图。
[0044]图15是表示服务器的存储部存储的控制装置的信息的一部分的概略图。
[0045]图16是功能性表示第3实施方式中的HMD的构成的方框图。
[0046]图17是表示第3实施方式中的控制处理的流程的说明图。
[0047]图18是表示检测到控制装置时使用者观看的视野的一例的说明图。
[0048]图19是表示与对应序列相对应的图像在图像显示最大区域显示时使用者观看的视野的说明图。
[0049]图20是表示选择了图像的图标时使用者观看的视野的一例的说明图。
[0050]图21是表示由7 — 3 y (iBeacon:注册商标)取得控制设备的位置信息时使用者观看的视野的一例的说明图。
[0051]图22是表示按照所执行的控制指示在图像显示最大区域显示图像时使用者观看的视野的说明图。
[0052]图23是表示变形例中的HMD的外观构成的说明图。
[0053]【符号的说明】
[0054]10…控制部
[0055]11…确定键
[0056]12…点亮部
[0057]13…显示切换键
[0058]14…跟踪板(触控板)
[0059]15…辉度切换键
[0060]16…方向键
[0061]17…菜单键
[0062]18…电源开关
[0063]20…图像显示部
[0064]21...右保持部
[0065]22…右显示驱动部
[0066]23…左保持部
[0067]24…左显示驱动部
[0068]26…右光学像显示部
[0069]28…左光学像显示部
[0070]30…耳机插头
[0071]32…右耳机
[