目镜的镜腿(镜脚(temple))等)的内外，通过上述无线LAN通信、移动体通信、近距离无线通信等，与外部的设备进行通信。另夕卜，在透过型HMDlO无需与外部的设备进行通信的情况(例如通过SD卡与外部的设备进行数据的交换的情况)下，能够省略通信I/F部16。另外，在透过型HMDlO被分成透过型HMD主体1a和控制部11的情况下，也可以在双方中设置通信I/F部16，控制部11经由双方的通信I/F部16而控制透过型HMD主体10a。
[0060]摄像部17是CO) (Charge Coupled Devices:电荷稱合器件)照相机、CMOS (Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)照相机等，固定于透过型HMD10的框体(例如眼镜、太阳镜、护目镜的铠甲(armor)(桩头(end piece))、中梁(bridge)等)，直接或者使用半透射半反射镜等对佩戴者(用户)的双眼的瞳孔的位置、活动等进行摄像，将摄像数据通知到控制部11。
[0061]显示/投影部18是用于根据从控制部11接受的对象的数据使对象的像与背景重叠地显示于假想屏幕上的显示装置或者投影装置。作为对象的显示方法，有显示部自身具有透过性并使该显示部显示对象的显示屏方式、和对具有透过性的构件投影信息的投影方式。在显示屏方式的情况下，在眼镜、太阳镜、护目镜的镜片、玻璃的表面配置透过型的液晶显示装置等，通过固定或者配置于透过型HMD10的框体中的驱动电路驱动该液晶显示装置来而显示对象，从而在假想屏幕上显示对象的像。另外，在投影方式的情况下，在眼镜、太阳镜、护目镜的铠甲等处配置投影装置，对镜片、玻璃等投影对象，从而在假想屏幕上显示对象的像。
[0062]另外，图2A、2B是本实施例的信息显示系统(透过型HMD10)的一个例子，显示在假想屏幕上的对象与透过假想屏幕看得到的背景能够重叠显示，根据用户的注视点位置、以及视线区域与对象的显示区域的重叠，只要能够变更/复原对象的显示位置和/或显示方式，其结构能够适当变更。例如，也可以设为除了根据用户的注视点位置、以及视线区域与对象的显示区域的重叠以外还能够根据对象的属性来变更/复原对象的显示位置和/或显示方式的结构。
[0063]以下，参照图3A、3B以及图4A、4B，说明使用本实施例的透过型HMD10来检测用户的注视点的方法。图3A、3B是示意地示出用户的注视点和假想屏幕的位置关系的立体图以及平面图。另外，图4A、4B是示意地示出注视距离和福辏角(convergence angle)的关系的图，图4A示出用户的注视点远的情况，图4B示出用户的注视点近的情况。
[0064]如图3A、3B所示，设定信息显示系统的基准坐标系(X，Y，Z)。此处，设为在XY平面中配置假想屏幕，用户观察Z方向。图中的S是通过显示/投影部18显示对象的像的假想屏幕平面，E是用户的注视点，C是将双眼的中点M和用户的注视点E连结起来的线段与假想屏幕平面S的交点。另外，用户的双眼与假想屏幕平面S平行，预先设定双眼的距离以及中点M的位置、双眼至假想屏幕平面S的距离。
[0065]在这样的信息显示系统中，通过利用公知的技术能够检测注视点的三维位置(坐标)。例如，如图4A、4B所示，能够根据双眼的瞳孔的位置确定双眼的视线方向，能够根据视线方向的差分求出辐辏角，能够根据双眼的距离和辐辏角检测注视点的坐标。另外，关于注视点的检测方法，例如，公开在 Thies Pfeiffer, Marc E.Latoschik, Ipke Wachsmuth,"Evaluat1n of Binocular Eye Tracker and Algorithms for 3D Gaze Interact1nin Virtual Reality Environments", Journal of Virtual Reality and Broadcasting,Volume 5, n0.16,2008 等中。
[0066]因此，控制部11(注视点检测部Ila)取得摄像部15对双眼的眼球进行摄像而得到的摄像数据，解析所取得的摄像数据，根据瞳孔的位置确定辐辏角，从而能够根据用户的双眼的距离检测用户的注视点E的坐标，控制部11 (第一判定部Ilb)能够根据该注视点E的坐标判定用户注视着假想屏幕上、还是注视着比假想屏幕更远的背景。另外，控制部11 (第二判定部lie)能够根据注视点E的坐标以及双眼的中点M的坐标通过计算而求出假想屏幕上的C的坐标，比较C的坐标和显示在假想屏幕上的对象的坐标，从而能够判定对象是否显示在视线区域中。
[0067]接下来，说明显示在假想屏幕上的对象的属性。图5是对象属性的定义的一个例子。如图5所示，关于显示在假想屏幕上的对象，有意图重叠显示在背景上(考虑背景而显示)的信息(例如，处于背景中的物品、建筑物等识别结果等)、和与背景无关地独立地显示的(不考虑背景而显示的)信息(例如文档、照片、动画等)。在用户注视背景、并且这些对象与用户的视线重叠了的情况下，前者与背景存在相关，所以优选不使对象移动，为了易于观察背景而提高透过率，后者与背景不存在相关，所以优选使对象移动以不与用户的视线重叠、或者为了易于观察背景而提高透过率、或者进行这双方。
[0068]因此，在本实施例中，在显示/投影部18中显示对象时，控制部11 (显示控制部lie)针对所有对象，根据生成/取得了该对象的应用程序的种类、对象数据的后缀(extens1n)等,判定该对象是上述的哪一个种类的信息,将对象和该对象的属性对应起来记述到图6的对象属性表格中，并保存到存储部15等。然后，控制部11 (第三判定部Ild)参照图6的对象属性表格，判定显示在注视点附近区域中的对象的属性，控制部11 (显示控制部lie)在对象的属性是“I”的情况下，变更该对象的显示方式，在对象的属性是“2”的情况下，变更该对象的显示位置和/或显示方式。
[0069]另外，控制部11 (显示控制部lie)在变更了对象的显示位置和/或显示方式的情况下，在对象属性表格的显示变更标志中写入“true (真)”，并且在对象的显示位置产生了变更的情况下，假想屏幕上的原来的显示位置坐标(X，Y)也写入到对象属性表格。
[0070]这样，通过根据对象的性质设定属性，并将该属性记述到对象属性表格中，从而在视线区域中显示有对象的情况下，能够适当地变更对象的显示位置和/或显示方式。另外，通过将显示变更标志、原来的显示位置坐标记述到对象属性表格中，在视线区域中显示有对象的情况下，在用户的注视点移动了的情况下，能够使变更了显示位置和/或显示方式的对象适当地返回到原来的状态。
[0071]以下，说明上述结构的透过型HMD10的动作。CPU12读出存储在R0M13或者存储部15中的显示控制程序，并在RAM14中展开并执行，从而执行图7至10、图17至图19的流程图所示的各步骤的处理。另外，在以下的流程中，显示在显示/投影部18中的对象的属性预先登记于对象属性表格中。
[0072]如图7所示，控制部11将定时器设定为0，直至定时器的测量时间超过预先决定的时间T位置，加上规定时间(At) (S101?S103)。如果定时器的测量时间超过了预先决定的时间T，则控制部11(注视点检测部Ila)根据从摄像部17通知的摄像数据，检测用户的注视点位置(S104)。该注视点位置的检测处理如上所述，对摄像部15拍摄双眼的眼球而得到的摄像数据进行解析，根据瞳孔的位置确定辐辏角，根据用户的双眼的距离，检测用户的注视点位置E的坐标。
[0073]接下来，控制部11 (第一检测部Ilb)判断检测出的用户的注视点位置(Ze)是否大于假想屏幕上的点(Zc)(即用户是否注视着比假想屏幕更远的背景)。在Zc〈Ze的情况(用户注视着比假想屏幕更远的背景的情况)下，控制部11 (显示控制部lie)实施对象的显示位置和/或显示方式的变更处理(S106)，在Zc ^ Ze的情况(用户注视着假想屏幕上的对象的情况)下，控制部11 (显示控制部lie)实施对象的显示位置和/或显示方式的复原处理(S107)。该显示位置和/或显示方式的变更处理以及复原处理的详情后述。
[0074]然后，如果透过型HMDlO的电源并非OFF (S108的“否”)，则控制部11返回到SlOl而重复同样的处理。
[0075]接下来，说明对象的显示位置和/或显示方式的变更处理。如图8所示，控制部11判断显示/投影部18中是否显示有对象(S201)。在未显示对象的情况下，无需变更显示位置和/或显示方式，所以结束处理。
[0076]在显示有对象的情况下，控制部11 (第二判定部lie)判断该对象的显示位置是否与以用户的视线的假想屏幕上的点C为中心的半径r的区域R重叠(S202)。在对象的显示位置未与区域R重叠的情况下，无需变更该对象的显示位置和/或显示方式，所以结束处理。
[0077]在对象的显示位置与区域R重叠的情况下，控制部11(第三判定部Ild)参照预先存储的对象属性表格，判定该对象的属性是表示是意图重叠显示到背景上的对象的“ I”、还是表示是与背景无关地显示的对象的“2”(S203)。
[0078]在对象的属性是“I”的情况下，为了在背景上重叠显示对象并且使背景易于视觉辨认，控制部11 (显示控制部lie)实施变更该对象的透过率(增大透过率而提高透明度)的处理(S204)。此时，虽然也可以使对象的透过率一气地变化为作为目标的透过率，但如果使透过率一气地变化，则存在会引起用户的注意的担心。因此，在本实施例中，如图9的流程图所示，进行逐渐增大对象的透过率的控制。具体而言，控制部11 (显示控制部He)直至对象的透过率(transparency)成为预先决定的透过率(Tmax、例如80% )以上为止,对对象的透过率(transparency)逐渐加上预先决定的值(fadespeed,例如5% ) (S211、S212)。
[0079]另外，关于上述Tmax、fadespeed的值,能够根据对象