显示系统和头戴式显示器的制造方法
【专利摘要】本发明提供一种显示系统和头戴式显示器。显示系统具备若干个终端和头戴式显示器。头戴式显示器在其与若干个终端之间进行无线通信。头戴式显示器具备主控制部和显示控制部。主控制部对使用者的视线方向进行检测。主控制部基于检测出的视线方向，来确定出若干个终端中的一个终端。显示控制部使主控制部所确定的终端的至少一种设置画面被显示成使用者可见。
【专利说明】
显示系统和头戴式显示器
技术领域
[0001 ]本发明涉及一种显示系统和头戴式显示器。
【背景技术】
[0002]近年来，一直在进行一种技术开发，可以通过该技术来使用头戴式显示器进行图像形成装置的设置。头戴式显示器是可穿戴终端或者可穿戴计算机的一种。头戴式显示器以使用者可见的方式对图像进行显示。换言之，头戴式显示器对信息进行显示。例如，在进行一种技术开发，通过该技术来使用视网膜投影方式的单眼型头戴式显示器进行图像形成装置的设置。
[0003]具体来说，头戴式显示器主体通电后，指定的图像形成装置的设置画面或者操作面板被投影到视网膜上。比较典型的是，指定的图像形成装置所具备的操作面板上显示的设置画面被投影到视网膜上。或者，指定的图像形成装置所具备的操作面板投影到视网膜上。使用者视野范围的至少一部分被拍摄，使用者为了对设置画面或者操作面板进行操作而在拍摄范围(使用者视野范围)内移动手指时，拍摄的图像被解析，使用者的手指移动被检测到。然后，对移动后的手指指尖的坐标与投影在视网膜上的设置画面或者操作面板所含的各按键的坐标进行比较，判断出使用者操作的按键。另外，视网膜投影方式也称为透射方式。
【发明内容】
[0004]然而，在已知的技术中，不能将若干个图像形成装置(若干个终端)都作为设置对象。
[0005]本发明是鉴于上述课题而作出的，其目的在于提供一种显示系统和头戴式显示器，能够将若干个终端都作为设置对象。
[0006]本发明的显示系统具备:若干个终端、头戴式显示器。所述头戴式显示器在其与所述若干个终端之间进行无线通信。所述头戴式显示器具备主控制部和显示控制部。所述主控制部对使用者的视线方向进行检测。所述主控制部基于检测出的所述视线方向，确定出所述若干个终端中的一个终端。所述显示控制部使所述主控制部所确定的所述终端的操作面板或者至少一种设置画面显示成所述使用者可见。
[0007]本发明的头戴式显示器在其与若干个终端之间进行无线通信。所述头戴式显示器具备主控制部和显示控制部。所述主控制部对使用者的视线方向进行检测，并基于检测出的所述视线方向来确定出所述若干个终端中的一个终端。所述显示控制部使所述主控制部所确定的所述终端的操作面板或者至少一种设置画面显示成所述使用者可见。
[0008]根据本发明，能够将若干个终端都作为设置对象。
【附图说明】
[0009]图1是表示实施方式所涉及的显示系统的结构图。
[0010]图2是表示实施方式所涉及的头戴式显示器的图。
[0011 ]图3是表示实施方式所涉及的头戴式显示器的结构框图。
[0012]图4是表示实施方式所涉及的图像形成装置的结构框图。
[0013]图5是表示在实施方式所涉及的显示系统中显示的图像的图。
[0014]图6是表示在实施方式所涉及的显示系统中显示的图像的图。
[0015]图7是表示在实施方式所涉及的显示系统中显示的图像的图。
[0016]图8是表示在实施方式所涉及的显示系统中显示的图像的图。
[0017]图9是表示在实施方式所涉及的显示系统中显示的图像的图。
[0018]图10中(a)?(C)都是表示在实施方式所涉及的显示系统中显示的图像的图。
[0019]图11是表示实施方式所涉及的显示系统的动作的流程图。
【具体实施方式】
[0020]以下，参照附图对实施方式进行说明。其中，在图中对相同或者相当的部分使用同样的附图标记，不再重复说明。
[0021]首先，参照图1，对本实施方式所涉及的显示系统10的结构进行说明。图1是表示显示系统10的结构图。如图1所示，显示系统10具备:头戴式显示器20和若干个图像形成装置40。本实施方式中，显示系统10具备两个图像形成装置40。具体来说，显示系统10具备第一图像形成装置40a和第二图像形成装置40b。
[0022]显示系统10对若干个图像形成装置40进行各种设置。具体来说，头戴式显示器20可以将若干个图像形成装置40(若干个固定终端)中的任何一个图像形成装置40的设置画面显示成使用者可见。图像形成装置40的设置画面是用于对该图像形成装置40进行各种设置的画面。比较典型的是，头戴式显示器20对图像形成装置40所具备的操作面板上显示的设置画面进行显示。呈现出所显示设置画面的图像形成装置40是当前的设置对象。头戴式显示器20检测使用者相对于所显示的设置画面进行的手指移动。然后，头戴式显示器20将对应于使用者手指移动的信号发送给当前的设置对象。其结果，当前的设置对象的设置被更新。另外，在以下的说明中，有时将“呈现出所显示设置画面的图像形成装置40”记载为“作为当前设置对象的图像形成装置40”。
[0023]本实施方式中的头戴式显示器20是视频透射式的头戴式显示器。头戴式显示器20具备环境图像获取部21。环境图像获取部21获取被推测为进入使用者视野的周边环境图像。例如，环境图像获取部21包含CMOS图像传感器(Complementary Metal OxideSemiconductor Image Sensor)或CCD图像传感器(Charge Coupled Device ImageSensor)等拍摄元件。
[0024]穿戴了头戴式显示器20的使用者可以看到环境图像获取部21所获取的周边环境图像。还有，在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在一个图像形成装置40的情况下，头戴式显示器20让使用者可以看到周边环境图像以及周边环境图像内的图像形成装置40的设置画面。也就是说，显示周边环境图像，同时也显示周边环境图像内的图像形成装置40的设置画面。还有，在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在若干个图像形成装置40的情况下，头戴式显示器20让使用者可以看到周边环境图像以及周边环境图像内的若干个图像形成装置40中的一个图像形成装置40的设置画面。
[0025]头戴式显示器20再通过对周边环境图像进行的图像解析，判断在周边环境图像内是否有使用者的手。在该判断结果是周边环境图像内有使用者的手的情况下，头戴式显示器20通过对周边环境图像进行的图像解析，检测出使用者的手指移动。
[0026]本实施方式中，头戴式显示器20可以在其与各图像形成装置40之间进行无线通信。在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在一个图像形成装置40的情况下，头戴式显示器20将第一请求信号发送给环境图像获取部21的拍摄范围内的图像形成装置40。第一请求信号是对设置画面信息进行请求的信号。还有，头戴式显示器20接收从作为第一请求信号发送目的地的图像形成装置40发送来的设置画面信息。头戴式显示器20基于接收的设置画面信息，对设置画面进行显示。在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在若干个图像形成装置40的情况下，头戴式显示器20将第一请求信号发送给环境图像获取部21的拍摄范围内的若干个图像形成装置40中的某一个。其结果，周边环境图像内的若干个图像形成装置40中的一个图像形成装置40的设置画面被显不O
[0027]头戴式显示器20在存在于周边环境图像内的全部图像形成装置40各自的附近，例如显示气球之类的图标。而且，头戴式显示器20将第二请求信号发送给存在于环境图像获取部21的拍摄范围内的全部图像形成装置40。第二请求信号是对使用状况信息进行请求的信号。由此，头戴式显示器20接收从作为第二请求信号发送目的地的图像形成装置40发送来的使用状况信息。然后，头戴式显示器20根据周边环境图像内的全部图像形成装置40各自的使用状况，改变所对应的图标。本实施方式中，图标颜色被设置成对应于使用状况的颜色。例如，与可使用的图像形成装置40相对应的图标颜色设置成绿色，与其他人使用中的图像形成装置40相对应的图标颜色设置成黄色，与不可使用的图像形成装置40相对应的图标颜色设置成红色。由此，使用者能够容易地判断出当前可使用的图像形成装置40。因此，提高使用者的便利性。
[0028]接下来，参照图2和图3，对头戴式显示器20的结构进行说明。图2是表示头戴式显示器20的图。具体来说，图2表示从使用者的脸侧(眼球侧)看到的头戴式显示器20。换言之，图2表示头戴式显示器20的内侧。
[0029]如图2所示，本实施方式中的头戴式显示器20是双眼型头戴式显示器。因此，头戴式显示器20具备配置在使用者左右眼(眼球)前方的两个显示器22(显示部)。还有，头戴式显示器20在两个显示器22上显示相同的图像。例如，显示器22由液晶显示器或有机电致发光(有机EL)显示器等显示元件构成。
[0030]头戴式显示器20还具备左右的一对眼球图像获取部23。左右的一对眼球图像获取部23配置成可以获取使用者左右眼(眼球)的图像。眼球图像获取部23所获取的眼球图像用于检测使用者的视线方向。头戴式显示器20基于检测出的视线方向，确定出周边环境图像内使用者注视着的图像形成装置40。然后，头戴式显示器20显示所确定的图像形成装置40的设置画面。因此，在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在若干个图像形成装置40的情况下，在周边环境图像内存在的若干个图像形成装置40之间，使用者注视的图像形成装置40切换后，显示的设置画面也跟着切换。
[0031]本实施方式中，眼球图像获取部23具有:近红外线LED(Light Emitting D1de)231和红外摄像机232。例如，红外摄像机232可以包含CCD图像传感器或InGaAs/T2SL(TypeII Super Lattice)传感器等拍摄元件。
[0032]在眼球图像获取部23具有近红外线LED231和红外摄像机232的情况下，利用近红外线LED231将近红外线照射到使用者眼球上。红外摄像机232对近红外线照射的使用者眼球进行拍摄。其结果，获取到眼球图像。头戴式显示器20从眼球图像中检测角膜反射点和瞳孔，根据它们的位置关系检测出使用者的视线方向。也就是说，本实施方式中，通过角膜反射法检测使用者的视线方向。
[0033]头戴式显示器20基于检测出的视线方向，对使用者注视的位置进行检测。另外，在以下的说明中，有时将“使用者注视的位置”记载为“注视点”。本实施方式中，注视点在显示器22所显示的周边环境图像内。头戴式显示器20基于周边环境图像内的图像形成装置40与注视点的位置关系，确定出使用者注视着的图像形成装置40。
[0034]而且，头戴式显示器20使对应于使用者注视着的图像形成装置40的图标颜色为特殊颜色。由此，使用者能够容易地判断出作为当前设置对象的图像形成装置40。另外，头戴式显示器20也可以使对应于使用者注视着的图像形成装置40的图标进行闪烁。或者，头戴式显示器20也可以使对应于使用者注视着的图像形成装置40的图标颜色为特殊颜色，同时使该图标进行闪烁。
[0035]在注视点离开了周边环境图像内的全部图像形成装置40的情况下，在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在的可使用的图像形成装置40中，头戴式显示器20使离头戴式显示器20最近的图像形成装置40的设置画面显示得较浅。然后，较浅显示的设置画面所对应的图像形成装置40被使用者注视后，或者显示较浅的设置画面被使用者注视后，头戴式显示器20使显示的设置画面变深(以正常浓度显示)。
[0036]图3是表示头戴式显示器20的结构框图。如图3所示，除了环境图像获取部21、显示器22和眼球图像获取部23，头戴式显示器20还具备:显示控制部24、无线通信接口(I/F)25、位置检测部26、朝向检测部27、主控制部28和存储部29。
[0037]显示控制部24由主控制部28进行控制，使显示器22对图像进行显示。具体来说，显示控制部24使显示器22对环境图像获取部21所获取的周边环境图像进行显示。还有，显示控制部24使显示器22对图像形成装置40的设置画面进行显示。而且，显示控制部24使显示器22对图标进行显示。另外，本实施方式中，显示控制部24是对显示器22进行驱动的驱动电路。
[0038]无线通信接口25用于其与图像形成装置40之间的无线通信。例如，无线通信方式是Bluetooth(日本注册商标)等近距离无线通信方式。不过，无线通信方式不限于近距离无线通信方式。
[0039]位置检测部26对头戴式显示器20的当前位置进行检测。换言之，位置检测部26对穿戴了头戴式显示器20的使用者的当前位置进行检测。例如，位置检测部26具有GPS(Global Posit1ning System)功會泛。
[0040]朝向检测部27对头戴式显示器20的朝向进行检测。换言之，朝向检测部27对穿戴了头戴式显示器20的使用者的面部朝向进行检测。例如，朝向检测部27包含电子罗盘。
[0041]主控制部28是通过执行存储部29中存储的程序来进行数值计算、信息处理或机器控制等各种处理的控制设备。例如，主控制部28可以包含CPU(Central Processing Unit)或者MPU(Micro Processing Unit)等运算装置。
[0042]存储部29对程序或设置信息进行存储。还有，存储部29对图标的图像或映射信息等进行存储。映射信息包含实际空间(三维空间)内的各图像形成装置40的坐标(位置)信息。例如，存储部29可以由 RAM( Random Access Memory)和 ROM (Read Only Memory)构成。存储部29可以包含HDD(Hard Disk Drive)。
[0043]本实施方式中，主控制部28通过执行存储部29中存储的程序，来作为第一判断部31、视线方向检测部32、终端确定部33和第二判断部34。因此，主控制部28执行第一判断部31、视线方向检测部32、终端确定部33和第二判断部34负责的各处理。
[0044]第一判断部31对于在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)是否存在图像形成装置40(固定终端)进行判断。本实施方式中，第一判断部31对环境图像获取部21所获取的周边环境图像进行图像解析，判断在周边环境图像中是否含有图像形成装置40。例如，在周边环境图像中是否含有图像形成装置40的判断可以通过匹配处理来执行。具体来说，利用图像解析，周边环境图像所含的轮廓被提取。存储部29对表示各图像形成装置40的轮廓的基准轮廓数据组进行存储，第一判断部31将提取的轮廓与预先存储的基准轮廓数据组进行对照(匹配处理)。通过该对照，判断在周边环境图像中是否含有图像形成装置40。
[0045]在通过第一判断部31判断出在穿戴了头戴式显示器20的使用者的视野内(周边环境图像内)存在图像形成装置40的情况下，主控制部28使显示器22显示图标。
[0046]本实施方式中，首先，基于存储部29中存储的映射信息、位置检测部26所检测出的头戴式显示器20的当前位置(使用者的当前位置)的信息、朝向检测部27所检测出的头戴式显示器20的朝向(使用者的面部朝向)的信息，主控制部28确定出存在于环境图像获取部21的拍摄范围中(周边环境图像内)的图像形成装置40。
[0047]接下来，主控制部28通过无线通信接口25，向所确定的图像形成装置40发生第二请求信号。即，头戴式显示器20请求存在于环境图像获取部21的拍摄范围中的图像形成装置40进行使用状况信息的发送。
[0048]然后，无线通信接口25接收到所确定的图像形成装置40发送的使用状况信息后，主控制部28使显示器22显示包含图标的周边环境图像。具体来说，在周边环境图像内所确定的图像形成装置40的附近，对颜色与使用状况相对应的图标进行显示。
[0049]视线方向检测部32基于眼球图像获取部23所获取的眼球图像，通过角膜反射法检测出使用者的视线方向。在周边环境图像内存在若干个图像形成装置40(若干个固定终端)的情况下，终端确定部33基于视线方向检测部32所检测出的视线方向，确定出存在于周边环境图像内的若干个图像形成装置40中的一个。显示控制部24使显示器22对终端确定部33所确定的图像形成装置40的设置画面进行显示。
[0050]具体来说，终端确定部33确定出使用者注视着的图像形成装置40。即，终端确定部33基于视线方向，检测出显示器22上显示的周边环境图像内的使用者注视点。然后，终端确定部33执行第一检测处理。具体来说，终端确定部33在周边环境图像内检测出包含注视点的图像形成装置40。第一检测处理是基于周边环境图像内的图像形成装置40与注视点的位置关系而进行的。通过该第一检测处理，确定出使用者注视着的图像形成装置40。
[0051]主控制部28通过无线通信接口25，向终端确定部33的第一检测处理所确定的图像形成装置40发送第一请求信号。即，请求第一检测处理所确定的图像形成装置40进行设置画面信息的发送。主控制部28基于无线通信接口 25所接收的设置画面信息，使显示器22对设置画面进行显示。设置画面配置在(显示在)显示器22所显示的图像内的特殊区域。
[0052]还有，在周边环境图像内存在若干个图像形成装置40的情况下，在存在于周边环境图像内的若干个图像形成装置40之间，使用者注视的图像形成装置40发生切换后，终端确定部33的第一检测处理所确定的图像形成装置40也发生切换。在每次终端确定部33的第一检测处理所确定的图像形成装置40发生切换时，主控制部28发送第一请求信号。因此，使用者注视的图像形成装置40发生切换后，显示器22上显示的设置画面发生切换。换言之，某个图像形成装置40的设置画面被显示后，直到注视点被包含在周边环境图像内的其它图像形成装置40中为止，显示的设置画面都不切换。
[0053]另一方面，在第一检测处理的结果是在周边环境图像内未检测出包含注视点的图像形成装置40的情况下，终端确定部33进行第二检测处理。换言之，在注视点离开了图像形成装置40的情况下，执行第二检测处理。因此，在使用者没有注视图像形成装置40的情况下，执行第二检测处理。具体来说，终端确定部33从环境图像获取部21的拍摄范围内存在的可使用的图像形成装置40中，检测(确定)出满足初始条件的图像形成装置40。更详细来说，终端确定部33检测出离头戴式显示器20最近的图像形成装置40。该第二检测处理可以基于存在于周边环境图像内的各图像形成装置40的使用状况的信息、位置检测部26所检测出的头戴式显示器20的当前位置的信息、存储部29中存储的映射信息来执行。
[0054]主控制部28通过无线通信接口25，向终端确定部33的第二检测处理所确定的图像形成装置40发送第一请求信号。即，请求第二检测处理所确定的图像形成装置40进行设置画面信息的发送。主控制部28基于无线通信接口 25所接收的设置画面信息，使显示器22将设置画面显示得较浅。设置画面配置在(显示在)显示器22所显示的图像内的特殊区域。
[0055]然后，使用者的视线(注视点)移动，注视点被包含在某个图像形成装置40的图像中时，通过终端确定部33的第一检测处理，确定出使用者注视着的图像形成装置40。因此，在显示器22上显示使用者注视着的图像形成装置40的设置画面。例如，注视点被包含在周边环境图像内的满足初始条件的图像形成装置40中时，显示较浅的设置画面就以正常浓度显示。还有，本实施方式中，显示较浅的设置画面被使用者注视时，也就是说，注视点被包含在显示较浅的设置画面中时，显示较浅的设置画面就以正常浓度显示。
[0056]本实施方式的主控制部28使对应于作为当前设置对象的图像形成装置40的图标颜色为特殊颜色。而且，主控制部28使对应于作为当前设置对象的图像形成装置40的图标进行闪烁。
[0057]第二判断部34基于环境图像获取部21所获取的周边环境图像，判断在使用者的视野内(周边环境图像中)是否存在手(指定对象)。在利用第二判断部34判断出在周边环境图像中存在手的期间，主控制部28对显示器22上显示的设置画面的切换进行限制。也就是说，在周边环境图像中存在手的期间，即使注视点在周边环境图像内移动到与作为当前设置对象的图像形成装置40不同的其它图像形成装置40中，显示器22上显示的设置画面也不切换。例如，在周边环境图像内是否存在手(指定对象)的判断处理可以通过匹配处理来执行。
[0058]通过这样对设置画面的切换进行限制，即使使用者在周边环境图像内暂时看一下其它图像形成装置40(不是作为当前设置对象的图像形成装置40)，设置画面也不被切换，之后使用者可以继续进行设置操作。使用者完成设置操作，手不再存在于周边环境图像内之后，与使用者视线方向相对应的设置画面的切换成为可能。另外，主控制部28也可以是:在手被检测出而使设置画面的切换被限制着的状态中，在使用者于周边环境图像内注视其它图像形成装置40(不是作为当前设置对象的图像形成装置40)在设定时间以上的情况下，对设置画面进行切换。或者，主控制部28也可以是:在手被检测出而使设置画面的切换被限制着的状态中，在使用者进行了用于选择其它图像形成装置40(不是作为当前设置对象的图像形成装置40)的操作的情况下，对设置画面进行切换。
[0059]本实施方式中，再进一步，在第一检测处理或者第二检测处理所确定的图像形成装置40的设置画面有若干种的情况下，显示控制部24使显示器22对表示这些若干种设置画面处于彼此部分叠加且在一定方向相互错开的状态下的图像进行显示。还有，显示控制部24根据视线方向检测部32所检测出的视线方向，对若干种设置画面中位于最上层(最上面)的设置画面进行切换。
[0060]具体来说，主控制部28基于设置画面信息，生成表示处于彼此部分叠加且在一定方向相互错开的状态下的若干种设置画面的图像。还有，主控制部28基于视线方向检测部32所检测出的视线方向，执行第三检测处理。第三检测处理是从若干种设置画面中检测出包含注视点的设置画面的处理。在该第三检测处理的结果是注视点被包含在与当前位于最上层的设置画面不同的设置画面中的情况下，主控制部28对显示器22所显示的若干种设置画面的图像进行更新，使包含注视点的设置画面位于最上层。另外，也可以在利用第二判断部34判断出手存在于周边环境图像内的期间，对位于最上层的设置画面的切换进行限制。通过这样对设置画面的切换进行限制，能够对图像形成装置40的设置途中切换设置画面的问题发生进行抑制。
[0061]接下来，参照图4，对图像形成装置40的结构进行说明。图4是表示图像形成装置40的结构框图。如图4所示，图像形成装置40具备:操作面板41、FAX通信部42、图像形成部43、无线通信接口(I/F)44、控制部45和存储部46。
[0062]操作面板41包含按钮等输入装置和液晶显示器等显示装置。使用者对操作面板41(输入装置)进行操作，从而图像形成装置40执行对应于该操作的处理。使用者通过操作面板41(输入装置)，可以使图像形成装置40执行各种处理。显示装置对各种设置画面进行显示。另外，显示装置也可以是触控面板。这种情况下，显示装置也用作输入装置。
[0063]FAX通信部42连接在公共电话线上，在其与目标传真机之间进行通信。
[0064]图像形成部43在纸张等记录介质上形成图像。例如，图像形成部43可以是电子照相方式的图像形成部或者喷墨方式的图像形成部。典型的电子照相方式的图像形成部包含:感光鼓、光学扫描装置、显影装置和转印部件。光学扫描装置在感光鼓的周面上形成静电潜像。显影装置将调色剂供给到感光鼓的周面上，对静电潜像进行显影。其结果，在感光鼓的周面上形成调色剂像。调色剂像由转印部件转印到记录介质上。典型的喷墨方式的图像形成部具备线状打印头或者串行头之类的记录头。记录头向记录介质喷出墨滴。墨滴命中记录介质，从而在记录介质上形成图像。
[0065]无线通信接口44用于其与头戴式显示器20之间的无线通信。也就是说，图像形成装置40的无线通信接口 44的无线通信方式与头戴式显示器20的无线通信接口 25的无线通信方式相同。
[0066]控制部45是通过执行存储部46中存储的程序来进行数值计算、信息处理或机器控制等处理的控制设备。例如，控制部45可以包含CPU或者MPU等运算装置。
[0067]存储部46对程序或设置信息进行存储。例如，存储部46中存储了各种设置画面的信息。例如，存储部46可以由RAM和ROM构成。存储部46可以包含HDD。
[0068]在无线通信接口44接收到来自头戴式显示器20的第一请求信号后，控制部45将存储部46中存储的设置画面的信息通过无线通信接口 44发送给头戴式显示器20。还有，在无线通信接口 44接收到来自头戴式显示器20的第二请求信号后，控制部45将图像形成装置40的使用状况的信息通过无线通信接口 44发送给头戴式显示器20。
[0069]接下来，参照图5?图9和图10(a)?图10(c)，对显示系统10中显示的图像(显示器22上显示的图像)进行说明。图5?图9和图10(a)?图10(c)都是表示显示系统10中显示的图像的图。另外，图6?图9和图10(a)?图10(c)中，视线方向如箭头所示。还有，表示视线方向的箭头的顶端所指的位置是使用者的注视点。
[0070]图5?图9表示在周边环境图像内存在两个图像形成装置40(第一图像形成装置40a和第二图像形成装置40b)的情况下所显示的设置画面。
[0071]如图5所示，在周边环境图像内存在第一图像形成装置40a和第二图像形成装置40b的情况下，在第一图像形成装置40a的附近显示“图标I”，在第二图像形成装置40b的附近显示“图标2”。具体来说，本实施方式中，在第一图像形成装置40a的正上方显示“图标I”，第二图像形成装置40b的正上方显示“图标2”。
[0072]在使用者没有注视第一图像形成装置40a和第二图像形成装置40b中的任何一个的情况下，如图5所示，满足初始条件的图像形成装置40的设置画面被显示在特殊位置(本实施方式中，显示器22所显示的周边环境图像的左侧端部)。也就是说，存在于环境图像获取部21的拍摄范围内且可使用的图像形成装置40中，离头戴式显示器20最近的图像形成装置40的设置画面被显示。图5中，显示着第一图像形成装置40a的“设置画面I”。还有，此时，第一图像形成装置40a的“设置画面I”显示得比正常浓度浅。图5中，用虚线来表示“设置画面I”以较浅浓度显示。
[0073]然后，如图6所示，使用者注视第一图像形成装置40a时，“设置画面I”以正常浓度显示。还有，如图7所示，使用者注视第二图像形成装置40b时，第二图像形成装置40b的“设置画面2”以正常浓度显示。另外，图6?图9中，用实线来表示设置画面以正常浓度显示。
[0074]如图8所示，为了改变第一图像形成装置40a的设置，使用者相对于显示器22所显示的周边环境图像内的“设置画面I”移动手指时，手61存在于周边环境图像内。因此，从“设置画面I”到其它设置画面的切换被限制。具体来说，如图9所示，即使使用者注视第二图像形成装置40b，在显示器22上也继续显示“设置画面I”，不显示第二图像形成装置40b的“设置画面2”。
[0075]还有，如图10(a)?图10(c)所示，在使用者注视着的图像形成装置40呈现若干种设置画面的情况下，显示器22对表示这些若干种设置画面处于彼此部分叠加且在一定方向相互错开的状态下的图像进行显示。例如，如图10(a)?图10(c)所示，若干种设置画面显示成使用者可以看到各设置画面的Tab标签部(表示“Copy”、“Send”、“Box”、“FAX”的各单词的部分)C3Tab标签部表不设置画面的种类。在图10(a)?图10(c)中，例不了Copy功能的设置画面、Send功能的设置画面、Box功能的设置画面和FAX功能的设置画面。另外，Send功能是将图像形成装置中保存的图像数据发送给其它图像形成装置或外部PC(个人计算机)的功能。还有，Box功能是按每个使用者进行图像数据保存的功能。
[0076]如图10(a)所示，使用者注视与当前位于最上层的Copy设置画面不同的设置画面(Send设置画面)时，位于最上层的设置画面由Copy设置画面切换为Send设置画面，如图10(b)所示。还有，如图10(b)所示，使用者注视与当前位于最上层的Send设置画面不同的设置画面(Box设置画面)时，位于最上层的设置画面由Send设置画面切换为Box设置画面，如图10(c)所示。
[0077]接下来，参照图1?图4和图11，对本实施方式所涉及的显示系统10的动作进行说明。图11是表示显示系统10的动作的流程图。头戴式显示器20的电源为ON后，环境图像获取部21所获取的周边环境图像作为使用者的视野信息被显示(映射)在头戴式显示器20的显示器22上(步骤SI)。
[0078]接下来，利用第一判断部31(主控制部28)，执行图像形成装置40是否存在于周边环境图像内的判断(步骤S2)。本实施方式中，图像形成装置40是可以利用显示系统10进行设置操作的图像形成装置(终端)。在第一判断部31(主控制部28)判断出图像形成装置40未存在于周边环境图像内的情况下(步骤S2的No)，处理移动到步骤S3。然后，头戴式显示器20的显示器22所显示的视野信息(周边环境图像)被更新(步骤S3)，处理返回到步骤S2。之后，直到图像形成装置40被包含在周边环境图像中为止，重复步骤S2和步骤S3的各处理。
[0079]第一判断部31(主控制部28)判断出图像形成装置40存在于周边环境图像内(步骤S2的Yes)，则处理移动到步骤S4。
[0080]步骤S4中，在周边环境图像内，图标显示在图像形成装置40的附近。接下来，利用视线方向检测部32(主控制部28)检测使用者的视线方向。然后，终端确定部33(主控制部28)基于视线方向检测部32所检测出的视线方向，执行第一检测处理。即，执行用于检测出使用者注视着的图像形成装置40的处理(步骤S5)。其结果，在未检测出使用者注视着的图像形成装置40的情况下(步骤S5的No)，处理返回步骤S3。另一方面，在检测出使用者注视着的图像形成装置40的情况下(步骤S5的Yes)，处理移动到步骤S6。
[0081]步骤S6中，与使用者注视着的图像形成装置40相对应的图标以闪烁状态进行显示。还有，使用者注视着的图像形成装置40的设置画面被显示。
[0082]接下来，第二判断部34(主控制部28)进行手是否存在于周边环境图像内的判断(步骤S7)。然后，在第二判断部34(主控制部28)判断出手不存在于周边环境图像内的情况下(步骤S7的No)，处理返回到步骤S3。另一方面，在第二判断部34(主控制部28)判断出手存在于周边环境图像内的情况下(步骤S7的Yes)，头戴式显示器20的主控制部28的状态改变为限制设置画面进行切换的状态(步骤S8)。
[0083]接下来，第二判断部34(主控制部28)进行手是否存在于周边环境图像内的判断(步骤S9)。然后，在第二判断部34(主控制部28)判断出手不存在于周边环境图像内的情况下(步骤S9的No)，处理返回到步骤S3。另一方面，在第二判断部34(主控制部28)判断出手存在于周边环境图像内的情况下(步骤S9的Yes)，头戴式显示器20的主控制部28进行使用者对图像形成装置40的设置操作是否完成的判断(步骤S10)。例如，头戴式显示器20的主控制部28通过设置画面内的“0K”按钮是否被操作，检测出使用者对图像形成装置40的设置操作是否完成。然后，在主控制部28判断出使用者对图像形成装置40的设置操作未完成的情况下(步骤SlO的No)，处理返回到步骤S9。另一方面，在主控制部28判断出使用者对图像形成装置40的设置操作已完成的情况下(步骤SlO的Yes)，处理结束。
[0084]上述，参照附图对本发明的实施方式进行了说明。根据本发明实施方式，存在于使用者视野内的若干个图像形成装置40中，只有使用者注视的图像形成装置40的设置画面被显示。因此，能够切换显示若干个图像形成装置40(若干个终端)的设置画面。于是，能够将若干个图像形成装置40(若干个终端)都作为设置对象，能够提高使用者的便利性。
[0085]还有，在通过使用者的注视而选择的图像形成装置40呈现若干种设置画面的情况下，表示这些若干种设置画面处于彼此部分叠加且在一定方向相互错开的状态下的图像被显示。然后，能够根据使用者的视线方向(注视点)，改变将要成为使用者操作对象的设置画面。因此，能够提高使用者的便利性。
[0086]还有，在使用者的视野内检测出手(指定对象)时，设置画面的切换被限制。由此，使用者可以在设置操作中不用在意自己的目光观察点来进行设置操作。还有，通过将手移动到使用者的视野外(环境图像获取部21的拍摄范围外)，使设置画面的切换限制被解除。于是，可以容易地显示其它图像形成装置40(终端)的设置画面。因此，能够提高使用者的便利性。具体来说，使用者能够连续地进行存在于自己的视野内的若干个图像形成装置40(若干个终端)各自的设置操作。
[0087]另外，本发明不限于上述的实施方式，可以在不脱离其要旨的范围内以各种方式进行实施。
[0088]例如，本发明实施方式中，作为设置对象的终端是图像形成装置40，但本发明不限于此。本发明能够应用于呈现设置画面的各种终端中。例如，本发明能够应用于个人计算机等电子设备中。
[0089]还有，本发明实施方式中，左右的一对显示器22显示相同的图像，但本发明不限于此。也可以通过左右的一对显示器22显示三维图像(3D图像)。也就是说，左右的显示器22中显示拍摄角度错开的两幅图像，来使使用者可以立体地看到图像。由此，在显示若干种设置画面时，可以将若干种设置画面在纵深方向上相互错开显示。这种情况下，头戴式显示器20的主控制部28基于使用者的视线方向，对实际空间内的使用者注视点的三维坐标进行检测。还有，头戴式显示器20的主控制部28通过比较实际空间内的注视点的三维坐标与三维图像内的各设置画面的三维坐标，来对使用者注视着的设置画面进行确定。
[0090]本发明实施方式中，根据与使用者的手指移动相对应的信号，来更新图像形成装置40的设置，但本发明不限于此。例如，也可以取代使用者的手指，根据与特殊形状的操作部件(例如，特殊形状的笔的顶端)的移动相对应的信号，来更新图像形成装置40的设置。
[0091]还有，本发明实施方式中，基于检测出的使用者视线方向，确定出使用者注视着的图像形成装置40，但本发明不限于此。例如，也可以基于使用者的视线方向来检测出使用者注视着的图标。这种情况下，使显示器22显示与使用者注视着的图标相对应的图像形成装置40的设置画面。
[0092]还有，本发明实施方式中，通过匹配处理执行了在周边环境图像中是否包含图像形成装置40的判断，但本发明不限于此。在周边环境图像中是否包含图像形成装置40也可以基于实际空间中的各图像形成装置40的坐标(位置)、头戴式显示器20的当前位置(使用者的当前位置)、头戴式显示器20的朝向(使用者的面部朝向)来进行判断。
[0093]还有，本发明实施方式中，存在于使用者视野内(环境图像获取部21的拍摄范围)的图像形成装置40是基于实际空间中的各图像形成装置40的坐标(位置)、头戴式显示器20的当前位置(使用者的当前位置)、头戴式显示器20的朝向(使用者的面部朝向)而确定的，但本发明不限于此。例如，存在于使用者视野内的图像形成装置40也可以通过匹配处理来确定。或者，也可以是:给各图像形成装置40标上各自固有的标记，对周边环境图像进行图像解析，确定标记，从而确定出存在于使用者视野内的图像形成装置40。
[0094]还有，本发明实施方式中，在使用者视野内检测出手的情况下，设置画面的切换和位于最上层的设置画面的切换被限制，但本发明不限于此。例如，也可以取代使用者的手，在检测出特殊形状的操作部件(例如，特殊形状的笔的顶端)的情况下，设置画面的切换和位于最上层的设置画面的切换被限制。
[0095]还有，本发明实施方式的头戴式显示器20是视频透射式的头戴式显示器，但本发明不限于此。头戴式显示器20可以是光学透射式的头戴式显示器。光学透射式的头戴式显示器可以让使用者直接看到外界(使用者的周边环境)。这种情况下，显示控制部24可以是投影装置。显示控制部24可以将设置画面和图标投影(成像)在半反射镜等光学元件或者使用者的视网膜上。或者，显示器22可以是液晶显示元件之类让光通过的显示元件。还有，在使用光学透射式的头戴式显示器的情况下，通过对实际空间中的使用者注视点的三维坐标与实际空间中的各图像形成装置40的三维坐标进行比较，能够确定出使用者注视着的图像形成装置40。注视点的三维坐标可以基于头戴式显示器20的当前位置(使用者的当前位置)、头戴式显示器20的朝向(使用者的面部朝向)、视线方向进行计算。
[0096]还有，本发明实施方式的头戴式显示器20是双眼型头戴式显示器，但本发明不限于此。头戴式显示器20可以是单眼型或者两眼型的头戴式显示器。单眼型是使左右眼中的一只可以看到计算机图像的方式，两眼型是使左右眼可以分别看到不同的计算机图像的方式。利用两眼型，也可以让使用者看到三维图像(3D图像)。
[0097]例如，使用视频透射式的头戴式显示器来显示三维图像，从而使用者能够在没有不适感的情况下查看周边环境。还有，使用光学透射式的头戴式显示器，可以显示图标的立体图像，就像图标实际存在于使用者直接看到的图像形成装置的上方一样。在使用视频透射式的头戴式显示器来显示三维图像的情况下，通过对实际空间内的使用者注视点的三维坐标与三维图像内的各图像形成装置40的三维坐标进行比较，能够确定出使用者注视着的图像形成装置40。还有，在使用光学透射式的头戴式显示器来显示图标的立体图像的情况下，通过对实际空间内的使用者注视点的三维坐标与三维图像内的图标的三维坐标进行比较，能够确定出与使用者注视着的图标相对应的图像形成装置40。
[0098]还有，本发明实施方式中，利用了角膜反射法来检测使用者的视线方向，但本发明不限于此。例如，也可以是:通过拍摄可见光的摄像机来获取眼球图像，并对眼球图像进行解析，再基于虹膜相对于内眼角的位置来检测视线方向。
[0099]还有，本发明实施方式中，在头戴式显示器20的显示器22上显示图像形成装置40的设置画面，但本发明不限于此。例如，也可以是图像形成装置40所具备的操作面板的图像被显示在显示器22上。
[0100]还有，本发明实施方式中，图标的颜色根据所对应的图像形成装置40的使用状况进行变化，但本发明不限于此。例如，也可以是图标的形状根据所对应的图像形成装置40的使用状况进行变化。
【主权项】
1.一种显不系统，具备: 若干个终端;和 头戴式显示器，所述头戴式显示器在其与所述若干个终端之间进行无线通信， 所述头戴式显示器具备: 主控制部，对使用者的视线方向进行检测，并基于检测出的所述视线方向来确定出所述若干个终端中的一个终端;和 显示控制部，使所述主控制部所确定的所述终端的操作面板或者至少一种设置画面显示成所述使用者可见。2.根据权利要求1所述的显示系统，其特征在于， 所述主控制部从所述若干个终端中确定出所述使用者所注视的一个终端。3.根据权利要求1或者权利要求2所述的显示系统，其特征在于， 所述显示控制部使图标在所述若干个终端的每一个的附近显示成所述使用者可见。4.根据权利要求3所述的显示系统，其特征在于， 所述主控制部基于所述视线方向，从所述图标中检测出所述使用者所注视的一个图标，并从所述若干个终端中确定出与检测出的所述图标相对应的一个终端。5.根据权利要求1或者权利要求2所述的显示系统，其特征在于， 所述至少一种设置画面含有若干种设置画面， 所述主控制部生成处于彼此部分叠加且在一定方向相互错开的状态下的所述若干种设置画面的图像， 所述显示控制部使处于彼此部分叠加且在一定方向相互错开的状态下的所述若干种设置画面被显示， 所述主控制部根据所述视线方向，对所述若干种设置画面中位于最上层的设置画面进行切换。6.根据权利要求1或者权利要求2所述的显示系统，其特征在于， 还具有环境图像获取部，所述环境图像获取部对进入到所述使用者的视野内的周边环境的图像进行获取， 所述主控制部基于所述环境图像获取部所获取的所述周边环境的图像，判断目标对象是否存在于所述使用者的视野内，并在判断出所述目标对象存在的期间，对所述设置画面的切换进行限制。7.根据权利要求5所述的显示系统，其特征在于， 还具有环境图像获取部，所述环境图像获取部对进入到所述使用者的视野内的周边环境的图像进行获取， 所述主控制部基于所述环境图像获取部所获取的所述周边环境的图像，判断目标对象是否存在于所述使用者的视野内，并在判断出所述目标对象存在的期间，对所述设置画面的切换和位于所述最上层的所述设置画面的切换进行限制。8.根据权利要求1或者权利要求2所述的显示系统，其特征在于， 所述主控制部基于所述视线方向，检测出所述使用者注视着的位置的三维坐标，并基于检测出的所述三维坐标，确定出所述若干个终端中的一个终端。9.一种头戴式显示器，在其与若干个终端之间进行无线通信，具备: 主控制部，对使用者的视线方向进行检测，并基于检测出的所述视线方向来确定出所述若干个终端中的一个终端;和 显示控制部，使所述主控制部所确定的所述终端的操作面板或者至少一种设置画面显示成所述使用者可见。
【文档编号】G02B27/01GK106094202SQ201610261914
【公开日】2016年11月9日
【申请日】2016年4月25日 公开号201610261914.2, CN 106094202 A, CN 106094202A, CN 201610261914, CN-A-106094202, CN106094202 A, CN106094202A, CN201610261914, CN201610261914.2
【发明人】大山国晃
【申请人】京瓷办公信息系统株式会社