具有透过型hmd的信息显示系统以及显示控制方法
【技术领域】
[0001]本发明涉及信息显示系统以及显示控制方法，特别涉及具有透过型HMD的信息显示系统以及控制透过型HMD的显示的显示控制方法。
【背景技术】
[0002]近年来，随着传感器等设备的小型化发展，被称为智能眼镜(Smart Glass)等的可穿戴的透过型HMD (Head Mounted Display:头戴式显示器)的开发活跃化。一般，在使用了透过型HMD的信息显示系统中，通过在透过型的假想屏幕(眼镜的镜片、太阳镜、护目镜的前表面的玻璃、塑料等)上投影显示信息，佩戴者(用户)能够在观察背景的同时确认信息。即，透过型HMD的特征之一在于，能够使信息重叠到作为周围环境的背景上而显示(重叠显示)。
[0003]但是，在以往的透过型HMD中，作为由于进行该重叠显示而引起的课题，存在根据用户的视线位置，显示在假想屏幕上的信息成为佩戴者(用户)的视野的障碍这样的问题，并且提出了用于避免该问题的技术。
[0004]虽然并非与可穿戴的透过型HMD有关的技术，但作为在透过型的假想屏幕上投影显示信息的技术，例如，在下述专利文献I中，公开了如下的车辆的显示装置:检测驾驶员的视线方向，并且关于驾驶员应认知的信息，判定是规定的种类的信息还是规定种类以外的信息，根据该判定出的信息类别和检测出的驾驶员的视线方向，在获得了上述规定的种类的信息(针对驾驶员的警报信息和进行车辆控制的意思的车辆控制信息)时，将基于显示单元的该信息的显示位置设定为挡风玻璃上的驾驶员的视线方向的轴上或者其附近位置，在获得了上述规定的种类以外的信息(警报信息以及车辆控制信息以外的与信息提供有关的信息)时，将该信息的显示位置设定为上述挡风玻璃上的预先决定的基本显示位置。
[0005]专利文献I日本专利第04698002号
【发明内容】
[0006]但是，在该以往技术中，根据信息的种类将假想屏幕上的信息的显示位置设定在视线位置附近或者基本显示位置中的某一个，并且基本显示位置是被固定的。进行这样的控制是因为，该以往技术设想车辆中的HUDOfead Up Display:平视显示器)用途，作为前提条件而隐含地包含了基本显示位置不成为驾驶员的视野的障碍。因此，在例如用户希望参照比显示在假想屏幕上的基本显示位置的信息更深的背景的情况下，无法防止该信息的显示成为视野的障碍。
[0007]针对这样的问题，考虑使重叠在视线位置上的信息在假想屏幕上移动的方法，但如果仅仅使重叠在视线位置上的信息在假想屏幕上移动，则有时成为违反用户的意图的结果O
[0008]例如，在用户注视着比假想屏幕上的信息更远的背景(周边环境)时，所显示的信息成为视野的障碍，但在用户注视着假想屏幕上的信息时，如果使信息的显示位置移动，则难以确认信息。即，需要根据用户注视着何处，来判断是否使假想屏幕上的信息移动。因此，在不进行这样的判断而一律地使信息移动的控制中，无法在确保用户的视野同时适当地显不?目息。
[0009]另外，在显示有与背景无(低)关联性的信息的情况下，可以认为即使使该信息的显示位置移动也不会产生问题，但在显示有意图重合到背景上的信息的情况下，如果使该信息的显示位置移动，则信息的价值将消失。即，需要根据所显示的信息是什么样的信息，而判断是否使假想屏幕上的信息移动。因此，在不进行这样的判断而一律地使信息移动的控制中，无法在确保用户的视野的同时适当地显示信息。
[0010]本发明是鉴于上述问题而完成的，其主要目的在于，提供一种具有透过型HMD的信息显示系统以及显示控制方法，能够在确保用户的视野的同时适当地显示信息。
[0011]本发明的一个侧面为一种信息显示系统，具有:透过型头戴式显示器，具备用于在假想屏幕上与背景重叠地显示对象的显示/投影部、和对使用者的双眼进行摄像的摄像部；以及控制部，控制所述透过型头戴式显示器，所述信息显示系统的特征在于，所述控制部具备:注视点检测部，根据所述摄像部进行摄像而得到的所述使用者的双眼的摄像数据，检测所述使用者的注视点；第一判定部，根据所述注视点，判定所述使用者注视着所述假想屏幕上、还是注视着比所述假想屏幕更远的背景；第二判定部，判定将所述使用者的双眼的中间点和所述注视点连结起来的直线与所述假想屏幕交叉的点附近的视线区域、与所述假想屏幕上的所述对象的显示位置是否重叠；以及显示控制部，在所述注视点移动了的情况下，根据所述第一判定部以及所述第二判定部的判定结果，变更所述对象的显示位置和/或显示方式。
[0012]本发明的一个侧面为一种显示控制方法，是具备用于在假想屏幕上与背景重叠地显示对象的显示/投影部、和对使用者的双眼进行摄像的摄像部的透过型头戴式显示器的显示控制方法，其特征在于，执行:注视点检测步骤，根据从所述摄像部取得的所述使用者的双眼的摄像数据，检测所述使用者的注视点；第一判定步骤，根据所述注视点，判定所述使用者注视着所述假想屏幕上、还是注视着比所述假想屏幕更远的背景；第二判定步骤，判定将所述使用者的双眼的中间点和所述注视点连结起来的直线与所述假想屏幕交叉的点附近的视线区域、与所述假想屏幕上的所述对象的显示位置是否重叠；以及显示控制步骤，在所述注视点移动了的情况下，根据所述第一判定步骤以及所述第二判定步骤的判定结果，变更所述对象的显示位置和/或显示方式。
[0013]根据本发明的具有透过型HMD的信息显示系统以及透过型HMD的显示控制方法，能够在确保用户的视野的同时适当地显示信息。
[0014]其理由在于，控制透过型HMD的控制部(显示控制方法)进行如下控制的缘故，即根据对用户的双眼进行摄像而得到的摄像数据，检测用户的注视点，根据所检测出的注视点，判定用户注视着假想屏幕上、还是注视着比假想屏幕更远的背景，并且判定用户的视线是否与假想屏幕上的对象重叠，根据双方的判定结果，变更对象的显示位置和/或显示方式。
[0015]另外，其理由还在于，控制透过型HMD的控制部(显示控制方法)还进行如下控制的缘故，即判定重叠在用户的视线上的对象的属性，根据其判定结果，变更对象的显示位置和/或显示方式。
【附图说明】
[0016]图1是示意地示出本发明的一个实施例的信息显示系统的结构的图1A、1B、1C。
[0017]图2是示出本发明的一个实施例的信息显示系统(透过型HMD)的结构的框图2A、2B0
[0018]图3是说明本发明的一个实施例的透过型HMD的设定条件的图。
[0019]图4是说明本发明的一个实施例的透过型HMD中的注视点的图4A、4B。
[0020]图5是本发明的一个实施例的对象属性的定义的一个例子。
[0021]图6是本发明的一个实施例的对象属性表格的一个例子。
[0022]图7是示出本发明的一个实施例的透过型HMD的动作的流程图。
[0023]图8是示出本发明的一个实施例的透过型HMD的动作(对象显示变更处理)的流程图。
[0024]图9是示出本发明的一个实施例的透过型HMD的动作(对象显示透过率变更处理)的流程图。
[0025]图10是示出本发明的一个实施例的透过型HMD的动作(对象显示位置变更处理)的流程图。
[0026]图11是示意地示出本发明的一个实施例的透过型HMD中显示的对象的透过率的变更例的图1lAUlB0
[0027]图12是示意地示出本发明的一个实施例的透过型HMD中显示的对象的透过率的其他变更例的图12A、12B。
[0028]图13是示意地示出本发明的一个实施例的透过型HMD中显示的对象的透过率的其他变更例的图13A、13B。
[0029]图14是示意地示出本发明的一个实施例的透过型HMD中显示的对象的显示位置的变更例的图14A、14B。
[0030]图15是示意地示出本发明的一个实施例的透过型HMD中显示的对象的显示位置的其他变更例的图15A、15B。
[0031]图16是示意地示出本发明的一个实施例的透过型HMD中显示的对象的显示位置的其他变更例的图16A、16B。
[0032]图17是示出本发明的一个实施例的透过型HMD的动作(对象显示复原处理)的流程图。
[0033]图18是示出本发明的一个实施例的透过型HMD的动作(对象显示透过率复原处理)的流程图。
[0034]图19是示出本发明的一个实施例的透过型HMD的动作(对象显示位置复原处理)的流程图。
[0035]符号说明
[0036]10:透过型HMD ；11:控制部；lla:注视点检测部；llb:第一判定部；llc:第二判定部；lld:第三判定部；lle:显示控制部；12:CPU ；13:R0M ；14 =RAM ； 15:存储部；16:通信I/F部；17:摄像部；18:显示/投影部；20:通信终端；30:计算机装置；40:图像形成装置；50:服务器；60:因特网；70:计算机装置。
【具体实施方式】
[0037]如【背景技术】所示，在可穿戴的透过型HMD中，在假想屏幕上显示信息，通过叠加显示(重叠显示)到作为周围环境的背景上，从而佩戴者(用户)能够在观察背景的同时确认各种信息。但是，在使用了以往的透过型HMD的信息显示系统中，根据用户所意图的视线位置，显示在假想屏幕上的信息有时会妨碍用户的视野。例如，存在如下问题:在用户注视着比假想屏幕更深的背景、并且假想屏幕上的信息位于其视线上的情况下，由于该信息的显示而妨碍用户的视野。
[0038]另一方面，显示在假想屏幕上的信息是各种各样的，也有根据信息显示系统的特征而意图重叠显示在背景上的信息，关于该信息，如果变更显示位置则作为信息的价值损失。例如,通过CG(Computer Graphics:计算机图形)合成等意图假想地重叠显示到背景(实际空间上)的某个特定的位置而制作出的信息等相当于此。在这样的信息的情况下，虽说成为用户的视野的障碍，但也有时不优选单纯地变更信息的显示位