头部佩戴型显示装置以及控制方法、显示系统的制作方法
【技术领域】
[0001]本发明涉及头部佩戴型显示装置的技术。
【背景技术】
[0002]已知有一种佩戴于头部的显示装置即头部佩戴型显示装置(头戴式显示器(HeadMounted Display)，HMD)。头部佩戴型显示装置例如通过利用液晶显示器以及光源来生成图像光，并利用投影光学系统、导光板将所生成的图像光导入使用者的眼睛，由此使使用者视觉确认虚像。头部佩戴型显示装置具有使用者除了虚像也能够视觉确认外景的透射型、以及使用者不能视觉确认外景的非透射型这2个类型。透射型的头部佩戴型显示装置具有光学透射型和视频透射型。
[0003]在专利文献I中公开了一种对静止在规定的范围内的静止物体照射超声波，从而取得从照射了超声波的超声波传感器到静止物体的距离信息，并基于距离信息来取得静止物体的立体像的物体的自动识别方法。另外，在专利文献2中公开了一种在高尔夫球杆的头搭载取得惯性传感器的数据的传感器单元，若使用者摆动该高尔夫球杆，则通过无线通信与该高尔夫球杆连接的解析处理装置对由惯性传感器取得的数据进行解析的高尔夫球杆的解析系统。
[0004]专利文献1:日本特开平8 - 75418号公报
[0005]专利文献2:日本特开2011 — 60462号公报
[0006]但是，在专利文献I所记载的技术中，只能够识别一个静止的物体的立体像，存在想要识别运动中的物体、多个物体的立体像的课题。另外，在专利文献2所记载的技术中，虽然能够取得搭载有传感器单元的高尔夫球杆的惯性的数据，但是不能取得与未搭载有传感器的物体有关的活动等数据，存在想要取得这些数据的课题。此外，在以往的头部佩戴型显示装置中，希望使用的便利性提高等。
【发明内容】
[0007]本发明是为了解决上述的课题而完成的，能够作为以下的方式来实现。
[0008](I)根据本发明的一个方式，提供透射型的头部佩戴型显示装置。该头部佩戴型显示装置具备:检测部，从外景中检测第一对象；图像显示部，能够透过上述外景，并能够显示图像；以及显示图像设定部，使与检测出的上述第一对象建立了对应关系的动态图像即第一动态图像显示于上述图像显示部。根据该方式的头部佩戴型显示装置，由于使用者能够一边视觉确认按照透过而能够视觉确认的实物而显示的动态图像，一边进行作业等，所以能够提高使用者的作业的效率性等。
[0009](2)在上述方式的头部佩戴型显示装置中，上述显示图像设定部可以将上述第一动态图像与检测出的上述第一对象的位置建立对应关系地进行显示。根据该方式的头部佩戴型显示装置，由于使用者能够一边视觉确认按照实物的位置而显示的动态图像，一边进行作业等，所以能够进一步提高使用者的作业的效率性等。
[0010](3)在上述方式的头部佩戴型显示装置中，上述检测部可以拍摄上述外景，从拍摄到的拍摄图像中检测上述第一对象。根据该方式的头部佩戴型显示装置，由于将第一对象检测为图像，所以能够提高第一对象的检测的精度。
[0011](4)在上述方式的头部佩戴型显示装置中，上述第一动态图像可以是与对检测出的上述第一对象进行的作业相关联的动态图像。根据该方式的头部佩戴型显示装置，使用者更容易识别作业的推荐动作，使用者的作业的效率性等进一步提高。
[0012](5)在上述方式的头部佩戴型显示装置中，上述检测部从上述外景中检测与上述第一对象不同的第二对象；若在使上述图像显示部显示上述第一动态图像时检测出上述第二对象，则上述显示图像设定部可以取代上述第一动态图像而使与上述第二对象建立了对应关系的和上述第一动态图像不同的动态图像即第二动态图像显示于上述图像显示部。根据该方式的头部佩戴型显示装置，由于能够使使用者恰当地视觉确认适合于状况的图像，所以能够进一步提高使用者的使用的便利性。
[0013](6)在上述方式的头部佩戴型显示装置中，上述第二动态图像可以是与根据上述第一动态图像对使用者推荐的作业的下一个被推荐的作业相关联的动态图像。根据该方式的头部佩戴型显示装置，在想要使使用者进行按照多个顺序的作业的情况下，通过按照检测出的不同的对象使使用者视觉确认动态图像，来提高使用者针对作业的理解度，使用者的便利性提尚。
[0014](7)在上述方式的头部佩戴型显示装置中，上述第二动态图像可以是对检测出的上述第二对象不是根据上述第一动态图像向使用者推荐的作业所应该使用的对象进行表示的动态图像。根据本方式的头部佩戴型显示装置，通过使使用者视觉确认不是被推荐的作业所应该使用的对象，能够识别被推荐的作业，提高使用者的便利性。
[0015](8)在上述方式的头部佩戴型显示装置中，还具备声音取得部，该声音取得部取得外部的声音，上述显示图像设定部可以基于检测出的上述第一对象和取得的上述声音的组合，使上述第一动态图像显示于上述图像显示部。根据本方式的头部佩戴型显示装置，由于除了检测出的第一对象以外，使用者还能够操作第一动态图像，所以进一步提高使用者的使用的便利性。
[0016](9)在上述方式的头部佩戴型显示装置中，可以还具备声音输出部，该声音输出部在上述第一动态图像被显示于上述图像显示部时，输出与上述第一动态图像建立了对应关系的声音。根据本方式的头部佩戴型显示装置，能够使使用者除了第一动态图像以外，还根据声音来识别信息，使用者能够通过视觉以及听觉来识别更多的信息，从而提高使用者的便利性。
[0017](10)在上述方式的头部佩戴型显示装置中，还具备生物体信息取得部，该生物体信息取得部取得使用者的生物体信息，上述显示图像设定部可以基于检测出的上述第一对象和取得的使用者的上述生物体信息，使上述第一动态图像显示于上述图像显示部。根据本方式的头部佩戴型显示装置，能够使使用者视觉确认对检测出的第一对象还添加了所取得的使用者的生物体信息的动态图像，使用者的便利性进一步提高。
[0018](11)在上述方式的头部佩戴型显示装置中，上述第一对象与上述第一动态图像的对应可以是检测出的上述第一对象的种类、上述第一对象的活动、上述外景中的上述第一对象的位置以及上述第一对象的朝向的至少一个与上述第一动态图像的组合。根据本方式的头部佩戴型显示装置，由于根据多个要素选择各种动态图像，所以使用者能够从各种动态图像中简单地选择所希望的动态图像。
[0019]上述本发明的各方式所具有的多个构成要素并非全部都是必须的，为了解决上述课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，能够适当地对于上述多个构成要素的一部分的构成要素，进行其变更、删除、与新的其他构成要素替换、删除限定内容的一部分。另外，为了解决上述课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，也能够将上述本发明的一个方式所包含的技术特征的一部分或者全部与上述本发明的其他方式所包含的技术特征的一部分或者全部组合，作为本发明的独立的一个方式。
[0020]例如，本发明的一个方式能够作为具备检测部、图像显示部以及显示图像设定部这三个要素内的一个或者二个以上的装置来实现。即，该装置可以具有检测部，也可以不具有。另外，装置可以具有图像显示部，也可以不具有。另外，装置可以具有显示图像设定部，也可以不具有。检测部例如也可以从外景中检测第一对象。图像显示部例如能够透过上述外景，并能够显示图像。显示图像设定部例如可以使与检测到的上述第一对象建立了对应关系的动态图像即第一动态图像显示于上述图像显示部。这样的装置例如能够作为头部佩戴型显示装置来实现，但也能够作为头部佩戴型显示装置以外的其他装置来实现。根据这样的方式，能够解决装置的操作性的提高以及简化、装置的一体化、使用装置的使用者的便利性的提高等各种课题的至少一个。上述的头部佩戴型显示装置的各方式的技术特征的一部分或者全部均能够应用于本装置。
[0021]本发明也能够以头部佩戴型显示装置以外的各种方式来实现。例如，能够以显示系统、头部佩戴型显示装置的控制方法、具有头部佩戴型显示装置的信息系统、用于实现头部佩戴型显示装置的控制方法以及信息系统的计算机程序、记录有该计算机程序的记录介质、以及包含该计算机程序并在载波内具体化的数据信号等方式来实现。
【附图说明】
[0022]图1是表示头部佩戴型显示装置(HMD)的外观结构的说明图。
[0023]图2是功能性地表示HMD的结构的框图。
[0024]图3是表示通过图像光生成部射出图像光的情况的说明图。
[0025]图4是AR场景执行处理的流程图。
[0026]图5是表示在从多个AR场景中选择所执行的第一场景时使用者视觉确认的视场的说明图。
[0027]图6是表示在将AR场景所包含的AR图像被显示于光学像显示部时使用者视觉确认的视场的说明图。
[0028]图7是表示在从拍摄图像中检测出第二对象并执行了第二场景时使用者视觉确认的视场的说明图。
[0029]图8是表示在从拍摄图像中检测出第三对象并执行了第三场景时使用者视觉确认的视场的说明图。
[0030]图9是表示当执行了在第三场景结束后执行的第四场景时使用者视觉确认的视场的说明图。
[0031]图10是表示在选择了图9的文本图像内的选项后使用者视觉确认的视场的图像。
[0032]图11是功能性地表示第二实施方式的HMD的结构的框图。
[0033]图12是表示在检测出第一对象并执行了轮胎更换场景时使用者视觉确认的视场的说明图。
[0034]图13是表示在正执行轮胎更换场景时检测出第二对象的情况下使用者视觉确认的视场的说明图。
[0035]图14是表示在执行了检测出第一对象的轮胎更换场景时使用者视觉确认的视场的说明图。
[0036]图15是功能性地表示第三实施方式的HMD的结构的框图。
[0037]图16是第三实施方式中的AR场景检索处理的流程图。
[0038]图17是表不在从多个AR场景中选择所执行的一个AR场景时显不的图像的一个例子的说明图。
[0039]图18是表不在选择了一个AR场景后显不的选择后图像的一个例子的说明图。
[0040]图19是第二实施方式中的AR场景执彳丁处理的流程图。
[0041]图20是表示向使用者显示了位置调整的图像时使用者视觉确认的视场的说明图。
[0042]图21是表示在第三实施方式中检测出作为第一对象的水龙头时使用者视觉确认的视场的说明图。
[0043]图22是表示在第三实施方式中检测出作为第一对象的水龙头时使用者视觉确认的视场的说明图。
[0044]图23是表示在第三实施方式中检测出作为第一对象的水龙头的根部时使用者视觉确认的视场的说明图。
[0045]图24是表示在第三实施方式中检测出作为第一对象的水龙头的根部时使用者视觉确认的视场的说明图。
[0046]图25是表示在第三实施方式中检测出作为第一对象的被更换了O型环后的水龙头的根部时使用者视觉确认的视场的说明图。
[0047]图26是表示变形例中的HMD的外观结构的说明图。
【具体实施方式】
[0048]A.第一实施方式:
[0049]A-1.头部佩戴型显示装置(HMD)的结构:
[0050]图1是表示头部佩戴型显示装置100 (HMD100)的外观结构的说明图。HMD100是佩戴于头部的显不装置，也被称为头戴式显不器(Head Mounted Display，HMD)。本实施方式的HMD100是在使用者视觉确认虚像的同时也能够直接视觉确认外景的光学透射型的头部佩戴型显示装置。其中，在本说明书中，将使用者通过HMD100视觉确认的虚像也简便地称为“显示图像”。
[0051]HMD100具备在被佩戴于使用者的头部的状态下使使用者视觉确认虚像的图像显示部20、以及控制图像显示部20的控制部10 (控制器10)。
[0052]图像显示部20是被佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、照相机61、以及话筒63。右光学像显示部26以及左光学像显示部28分别被配置成在使用者佩戴了图像显示部20时位于使用者的右眼前以及左眼前。右光学像显示部26的一端和左光学像显示部28的一端在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置相互连接。
[0053]右保持部21是从作为右光学像显示部26的另一端的端部ER延伸设置到使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置的部件。同样，左保持部23是从作为左光学像显示部28的另一端的端部EL延伸设置到使用者佩戴了图像显示部20时的与使用者的侧头部对应的位置的部件。右保持部21以及左保持部23像眼镜的眼睛腿(挂耳部分)那样，将图像显示部20保持在使用者的头部。
[0054]右显示驱动部22和左显示驱动部24被配置在使用者佩戴了图像显示部20时的与使用者的头部对置的一侧。其中，以下将右保持部21以及左保持部23也统称为“保持部”，将右显示驱动部22以及左显示驱动部24也统称为“显示驱动部”，将右光学像显示部26以及左光学像显示部28也统称为“光学像显示部”。
[0055]显示驱动部22、24包含液晶显示器241、242 (Liquid Crystal Display，以下也称为“IXD241、242”)、投影光学系统251、252等(参照图2)。显示驱动部22、24的结构的详细内容将后述。作为光学部件的光学像显示部26、28包含导光板261、262(参照图2)和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导入使用者的眼睛。调光板是薄板状的光学元件，被配置成覆盖作为与使用者的眼睛的一侧相反侧的图像显不部20的正面(表面侧)。调光板保护导光板261、262，抑制导光板261、262的损伤、附着污垢等。另外，通过调整调光板的透光率，能够调整进入使用者的眼睛的外部光量来调整虚像的视觉确认的难以。此外，能够省略调光板。
[0056]照相机61被配置在使用者佩戴了图像显示部20时的与使用者的眉间对应的位置。因此，照相机61在使用者将图像显示部20佩戴于头部的状态下，拍摄使用者的视线方向的外部的景色即外景，取得作为拍摄到的图像的拍摄图像。照相机61是单眼相机，但也可以是立体相机。
[0057]话筒63取得外部的声音。话筒63被配置在使用者佩戴了图像显示部20时的右显示驱动部22中的与使用者对置一侧的相反侧(外侧)。其中，话筒63相当于技术方案中的声音取得部。
[0058]图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包含与控制部10连接的主体软线(cord) 48、右软线42、左软线44、以及连结部件46。右软线42和左软线44是由主体软线48分出2根而成的软线。右软线42从右保持部21的延伸方向的前端部AP插入到右保持部21的壳体内，与右显示驱动部22连接。同样，左软线44从左保持部23的延伸方向的前端部AP插入到左保持部23的壳体内，与左显示驱动部24连接。连结部件46被设置在主体软线48与右软线42以及左软线44的分支点，具有用于连接耳机插头30的插孔。从耳机插头30延