图像显示系统、头部佩戴型显示装置及其控制方法

图像显示系统、头部佩戴型显示装置及其控制方法
【技术领域】
[0001]本发明涉及头部佩戴型显示装置。
【背景技术】
[0002]已知有头部佩戴的显示装置即头部佩戴型显示装置(头戴显示器(Head MountedDisplay),HMD)。头部佩戴型显示装置例如利用液晶显示器及光源生成表示图像的图像光，利用投射光学系统和/或导光板将生成的图像光导入使用者的眼，从而使得使用者观看虚像。另外，在利用条形码等的拣选(picking)系统中，通过由头部佩戴型显示装置形成的虚像使得使用者观看信息，进行拣选作业的效率化。
[0003]专利文献I公开了:佩戴头部佩戴型显示装置的使用者进行取得收纳于陈列货架的商品的拣选作业时，除了使用者观看的陈列货架的货架编号、还使得与货架编号对应的商品的图像，通过头部佩戴型显示装置被使用者观看的技术。另外，专利文献2公开了:在提供商品的关联信息的系统中，使用者按一定时间以上观看记载有多个商品名的目录的预定的商品名时，使得与所观看的商品名关联的信息作为图像被使用者观看的技术。另外，专利文献3公开了:由拍摄使用者的视线方向的相机拍摄在物品的收纳场所配置的多个代码时，基于预先存储的信息，使得使用者观看基于从多个代码内选择的一个代码的图像的物品的拣选作业的支援系统。
[0004]【专利文献I】特开平10-147411号公报
[0005]【专利文献2】特开2008-15634号公报
[0006]【专利文献3】特许第5334145号公报

【发明内容】

[0007]但是，专利文献I所述的技术中，在陈列货架配置的货架编号小、使用者远离货架编号时，存在不能识别货架编号、使用者无法观看商品的图像的问题。另外，存在仅仅靠商品的图像无法进行高效的拣选作业的问题。另外，专利文献2所述的技术中，使用者希望观看与商品名关联的图像时，必须观看目录的商品名一定时间以上，存在图像观看花时间的问题。另外，专利文献3所述的技术中，为了使用者观看基于代码的图像，必须事前进行信息的登记，仍有提高便利性的余地。另外，上述问题不限于拣选系统的领域，例如，在向目的场所的道路指引等的其他领域中也存在相同的问题。
[0008]本发明为了解决上述问题的至少一部分而提出，可以实现为以下的形态。
[0009](I)根据本发明的一个形态，提供头部佩戴型显示装置。该头部佩戴型显示装置具备:图像显示部，在佩戴于使用者的头部的状态下，基于图像数据，使得使用者观看到图像光作为虚像，并且使得使用者观看到外景；拍摄上述外景的拍摄部；和控制部，在所拍摄的拍摄图像包含特定的标记的图像即标记图像的情况下，用上述图像显示部使得使用者观看与上述标记图像的种类和上述标记图像的形状的组合对应的特定的上述虚像。根据该形态的头部佩戴型显示装置，由于使得使用者观看:相应于拍摄的标记图像的形状而特定的、与使用者和拍摄的特定的标记的位置关系对应的特定的虚像，因此，使用者可以相应于拍摄的特定的标记的种类和/或位置关系，观看最佳的虚像，可以高效进行基于观看的虚像的各种作业。
[0010](2)上述形态的头部佩戴型显示装置中也可以为，上述特定的虚像对应于:上述标记图像的种类和作为上述标记图像的形状的上述标记图像的大小的组合。根据该形态的头部佩戴型显示装置，即使拍摄相同的特定的标记，也可以相应于所特定的距离，使得使用者观看多个特定的虚像，即使一个特定的标记，也可以向使用者提供适于与使用者的位置关系的更多的信息。
[0011](3)上述形态的头部佩戴型显示装置中也可以为，上述控制部将从上述图像显示部到上述特定的虚像成像的位置为止的距离设定成:与基于上述标记图像的种类和上述标记图像的大小的组合而特定的从上述图像显示部到上述特定的标记为止的距离相同。根据该形态的头部佩戴型显示装置，由于可以在使用者容易观看虚像的位置使特定的虚像成像，因此可以迅速使得使用者识别特定的虚像。
[0012](4)上述形态的头部佩戴型显示装置中也可以为，上述特定的虚像对应于:多个上述拍摄图像的每个所包含的一个上述标记图像被拍摄的顺序、上述标记图像的种类和上述标记图像的形状的组合。根据该形态的头部佩戴型显示装置，由于使得使用者仅仅观看多个标记图像内的与按照被拍摄的顺序的特定的标记对应的特定的虚像，因此，不会使得使用者观看与顺序不同的各种作业关联的虚像，可以使得使用者进行高效的作业。
[0013](5)上述形态的头部佩戴型显示装置中也可以为，上述控制部用上述图像显示部使得使用者观看与上述拍摄图像中的预定的区域对应的区域虚像，用上述图像显示部使得使用者观看:上述预定的区域所包含的上述标记图像的上述组合所对应的上述特定的虚像。根据该形态的头部佩戴型显示装置，在仅仅在拍摄图像包含特定的标记时，不检测为使得使用者观看特定的虚像的标记图像，因此可以减轻头部佩戴型显示装置的处理的负担。另外，使用者无意的标记图像的检测被抑制，因此可以使得使用者观看与精度高的各种作业对应的特定的虚像。
[0014](6)上述形态的头部佩戴型显示装置中也可以为，上述控制部在上述拍摄图像包含多个上述标记图像的情况下，用上述图像显示部使得使用者观看多个上述标记图像内的大小为最大的上述标记图像的上述组合所对应的上述特定的虚像。根据该形态的头部佩戴型显示装置，由于自动地检测多个标记图像内最大的标记图像，因此可以自动地检测离使用者最近的特定的标记，可以提高使用者的便利性。
[0015](7)上述形态的头部佩戴型显示装置中也可以为，上述控制部在上述拍摄图像包含多个上述标记图像的情况下，用上述图像显示部使得使用者观看:基于对上述特定的标记设定的优先度而选择的一个上述标记图像的上述组合所对应的上述特定的虚像。根据该形态的头部佩戴型显示装置，由于自动地使得使用者观看与拍摄范围所包含的多个标记图像中的预先存储的标记图像对应的特定的虚像，因此，可以降低使用者观看错误的各种作业的特定的虚像的情况，使得使用者进行高效的作业。
[0016](8)上述形态的头部佩戴型显示装置中也可以为，上述特定的虚像对应于:上述标记图像包含于上述拍摄图像的时间、上述标记图像的种类和上述标记图像的形状的组合。根据该形态的头部佩戴型显示装置，在仅仅在拍摄图像包含特定的标记时，不检测为使得使用者观看特定的虚像的标记图像，因此可以减轻头部佩戴型显示装置的处理的负担。另外，使用者无意的标记图像的检测被抑制，因此可以使得使用者观看与精度高的各种作业对应的特定的虚像。
[0017](9)上述形态的头部佩戴型显示装置中也可以为，上述特定的标记包括形状和色的组合而构成。根据该形态的头部佩戴型显示装置，由于作成了采用多色的特定的标记，因此通过更小的特定的标记可以向使用者提供更多的信息。
[0018](10)上述形态的头部佩戴型显示装置中也可以为，上述特定的标记是正方形外框的内部由分色为白色和黑色的多个区域构成的2维标记。根据该形态的头部佩戴型显示装置，由于作成的特定的标记不复杂，因此，通过拍摄的标记图像使得对应的图像进行显示的控制，可以简便进行。另外，特定的标记仅仅包括黑色和白色而构成，因此可进行误检测少的控制。
[0019]上述本发明的各形态具有的多个构成要素不是全部是必须的，为了解决上述问题的一部分或全部，或者为了实现本说明书所述的效果的部分或全部，对于上述多个构成要素的部分构成要素，可以适当进行其的变更、删除、与新的其他构成要素的更换、限定内容的部分删除。另外，为了解决上述问题的部分或全部，或者为了实现本说明书所述的效果的部分或全部，也可以将上述本发明的一形态所包含的技术特征的部分或全部与上述本发明的其他形态所包含的技术特征的部分或全部组合，而形成为本发明的独立的一个形态。
[0020]例如，本发明的一个形态可以实现为具备图像显示部、拍摄部和控制部这3个要素内的一个或二个以上的装置。即，该装置可以具有或者不具有图像显示部。另外，装置可以具有或者不具有拍摄部。另外，装置可以具有或者不具有控制部。图像显示部例如可以在佩戴于使用者的头部的状态下，基于图像数据，使得使用者观看到图像光作为虚像，并且使得使用者观看到外景。拍摄部例如可以拍摄上述外景。控制部例如可以在拍摄的拍摄图像包含特定的标记的图像即标记图像的情况下，用上述图像显示部使得使用者观看:与上述标记图像的种类和上述标记图像的形状的组合相对应的特定的上述虚像。这样的装置例如可以实现为头部佩戴型显示装置，但是也可以实现为头部佩戴型显示装置以外的其他装置。根据这样的形态，可以解决装置操作性的提高及简化、装置的一体化和/或使用装置的使用者的便利性的提高等的各种问题的至少一个。前述头部佩戴型显示装置的各形态的技术特征的部分或全部都可以适用于该装置。
[0021]本发明也能以头部佩戴型显示装置以外的各种形态实现。例如，也能以头部佩戴型显示装置的控制方法、图像显示系统及头部佩戴型显示系统、用于实现图像显示系统及头部佩戴型显示系统的计算机程序、记录有该计算机程序的记录介质、包含该计算机程序的在载波内具体化的数据信号等的形态实现。
【附图说明】
[0022]图1是表示头部佩戴型显示装置的外观构成的说明图。
[0023]图2是表示头部佩戴型显示装置的构成的功能性框图。
[0024]图3是表示图像光生成部出射图像光的情形的说明图。
[0025]图4是表示指示图像显示处理的流程的说明图。
[0026]图5是表示标记(marker)的一例的说明图。
[0027]图6是表示物流中心中使用者通行的通路的概略图。
[0028]图7是表示出发地点处检测到标记时使用者的视野的说明图。
[0029]图8是表示出发地点处显示指示图像时使用者的视野的说明图。
[0030]图9是表示中继地点处显示指示图像时使用者的视野的说明图。
[0031]图10是表示处于货架的正面的使用者的视野的说明图。
[0032]图11是表示变形例中的标记的一例的说明图。
[0033]图12是表示变形例中的标记的一例的说明图。
[0034]图13是表示变形例中的标记的一例的说明图。
[0035]图14是表示变形例中的头部佩戴型显示装置的外观构成的说明图。
[0036]【符号的说明】
[0037]10…控制部 1L...确定键 12…点亮部 13…显示切换键 14…跟踪板 15…辉度切换键 16...方向键 17…菜单键 18...电源开关 20…图像显示部 21...右保持部 22…右显示驱动部 23…左保持部 24…左显示驱动部 26…右光学像显示部28…左光学像显不部30…耳机插头32…右耳机34…左耳机40…连接部42…右线缆 44…左线缆 46…连接部件 48…本体线缆 51、52…发送部 53、54…接收部61…相机(拍摄部)100…头部佩戴型显示装置120…存储部130…电源135...操作部 140…CPU 150…操作系统 160…图像处理部 165…标记判定部(控制部)170…声音处理部180…接口 190…显示控