数字设备检测和位置确定S440和HMD UI模式确定S450的步骤。一旦HMD UI模式确定过程开始S410，HMD处理器110通过目标传感器121检测在HMD附近的目标，并且确定目标的位置S421。在确定S421的步骤之后，处理器110确定在HMD和目标之间的关系作为前面提到的Fl、F2和F3状态的一个。例如，当检测到目标时，并且检测到的目标保持在其中实体反馈是可能的距离之内时，其被称作Fl状态，如在S422中示出的。此外，当检测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如在S423中示出的。最后，在S424中示出，当目标不存在于HMD附近时，其被称作F3状态。
[0092]然后，在已经确定Fl状态(S422)的情况下，HMD 100处理器110进一步通过视角传感器120确定是否检测到的目标是在HMD视角的范围之内(S431)。例如，按照S431的步骤，其可以确定或者SI或者S2状态。
[0093]经由S431的步骤，如果HMD处理器110确定检测到的目标不在视角(S2状态，S433)内，则其确定是否在预先确定的距离内存在新的数字设备(S441)。例如，按照图16，HMD用户10可以从初始检测到的目标400转移目光到附近数字设备500。因此，在那种情况下，如果经由S441的步骤在预先确定的距离内检测到新的设备500，则HMD处理器110通过使用通信单元140试图执行与相应的数字设备500的连接通信。一旦在HMD 100和设备500之间连接通信，HMD处理器110通过使用UI控制单元170利用在数字设备500中的显示方法510作为实体模式(S452)。
[0094]此外，在S441的步骤中，如果其被认为新的数字设备在视角内不存在，则HMD处理器110解释用户意欲长期的转移目光，并且保持非实体UI模式。如果初始UI模式是实体UI模式，则其可以被转变为非实体UI模式。
[0095]另一方面，经由视角确定S431的步骤，如果HMD处理器110确定检测到的目标是在预先确定的距离范围之内(SI状态，S432)，则HMD处理器110将实体Π模式作为HMD UI模式操作(S451)。在第一修改中示出的实体和非实体UI的类型和操作方法将在第四修改中同样应用。
[0096]此外，虽然在图中没有示出，按照S451的步骤，如果在预先确定的距离内检测到新的数字设备，同时在预先确定的距离内的目标正在作为实体UI应用，则相应的新的数字设备的显示功能可以作为实体Π模式使用。例如，在目标表面上的实体Π可以被删除，但是，删除的实体UI可以被除去，并且应用于数字设备的显示。此外，实体UI可以停留在目标的表面上，并且数字设备的显示功能可以用作不同于目标的表面的实体Π的另一个实体Π。例如，目标表面的实体Π可以用作虚拟键盘Π，并且数字设备的显示功能可以用作绘图Π。此外，例如，目标表面的实体Π可以用作虚拟键盘的数字键区，并且数字设备的显示功能可以用作虚拟键盘的字母键区。
[0097]此外，在实体Π模式就像在S451和S452中示出的那样应用的情况下，处理器110连续地确定是否用于实体UI的目标400或者数字设备500没有保持在HMD视角内(S451/S452->S431)。另一方面，在非实体Π模式就像在S453和S454中示出的那样应用的情况下，处理器110连续地确定是否在预先确定的距离内检测到目标(S453/S454->S321)。
[0098]图17和18作为示例的实施例的第五个实施例示出考虑数字设备检测的UI模式确定的流程图。进一步说明如下。
[0099]按照第五个实施例，HMD UI模式包括数字设备检测和位置确定S520和HMD UI模式确定S530的步骤。当HMD Π模式确定过程开始时S510，HMD处理器110使用目标传感器121和通信单元140检测在HMD附近的数字设备，并且确定检测的数字设备的位置(S521)。在确定S521的步骤之后，处理器110确定在HMD和数字设备之间的关系作为前面提到的FU F2和F3状态的一个。例如，当检测到设备时，并且检测的设备保持在其中实体反馈是可能的距离之内时，其被称作Fl状态，如在S522中示出的。此外，当检测到设备时，并且检测的设备没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如在S523中示出的。最后，在S524中示出，当设备在HMD附近不存在时，其被称作F3状态。
[0100]如果HMD处理器110确定其是Fl状态S522，则HMD处理器110经由通信140执行连接通信(S531)。如果通信连接完成，则HMD处理器110经由前面提到的UI控制单元170通过使用在设备中的显示器操作实体Π模式(S531)。也就是说，配备在相应的设备中的显示器可以作为HMD虚拟键盘使用。另一方面，如果HMD处理器110确定其是F2状态(S523)或者F3状态(S524)，则HMD处理器110经由前面提到的UI控制单元170操作非实体UI模式(S533)ο
[0101]在下文中，将解释用于应用实体Π模式的HMD的额外的实施例。
[0102]如上所述，实体UI模式通常公知使用其中用户可以实际接触的各种的方法描述在HMD中Π的方法，并且包括要在下面解释的虚拟的3D目标Π方法。当检测到的目标是在离HMD预先确定的距离范围之内时，如在第一个实施例中与图3至图7 —起解释的实体UI模式是可应用的。
[0103]在这里，虚拟的3D目标Π方法指的是提供用于包括至少一个触摸识别界面的虚拟的3D目标显示的Π方法。更详细地，虚拟的3D目标Π方法显示虚拟目标，以便虚拟目标的触摸识别表面与经由传感器单元检测的真实目标的表面重合，并且基于有关触摸识别表面的用户触摸输入，通过接收用户命令操作。经由这个过程，由于虚拟目标的触摸识别表面和真实目标的表面重合，所以与真实目标的触摸输入相同的实体反馈可以提供给虚拟目标的触摸输入。在本公开中表面的重合不仅指的是它们是精确地一致，而且包括大体上重合，以及包括在预先确定的范围内重合。
[0104]在这里，虚拟的3D目标指的是包括至少一个触摸识别表面的虚拟的3D目标。例如，虚拟的3D目标可以是虚拟的3D开关，虚拟的3D开关包括用作控制在HMD附近的数字设备的电源开/关的输入按钮的触摸识别表面。在另一个示例中，虚拟的3D目标可以是包括用作键盘输入的多个触摸识别表面的虚拟的3D键盘。在下文中，虚拟的3D目标Π方法可以称为虚拟目标UI方法，并且虚拟的3D目标可以称为虚拟目标。
[0105]在这里，触摸识别表面指的是经由HMD产生的虚拟的触摸表面。例如，触摸识别表面可以经由安装在HMD中的3D运动传感器产生，但是，不仅仅受限于3D运动传感器。在实施例中，触摸识别表面可以在虚拟目标的前侧上产生，但是，不仅仅受限于前侧。更详细地，HMD可以使用3D运动传感器在虚拟目标的前侧中产生触摸识别表面，通过感测触摸输入目标的向上/向下和向右/向左运动，控制指针的运动，并且通过感测触摸输入目标的深度，确定触摸识别表面的触摸识别。
[0106]此外，虚拟目标Π方法可以基于用户输入或者预先存储的系统设置被设置为自动模式或者半自动模式的一个。自动模式自动地调整虚拟目标的显示距离，以便与检测到的真实目标的表面和虚拟目标的触摸识别表面重合。以自动模式应用虚拟目标Π方法的HMD的实施例在图19和图20中图示。此外，在半自动模式中，视觉目标首先由预置的距离显示，并且基于用户输入，诸如显示的视觉目标的用户的手势，通过自动地调整显示距离以与虚拟目标的触摸识别表面和检测到的真实目标的表面重合来显示虚拟目标。图21是图示以半自动模式应用视觉目标UI方法的HMD的实施例。
[0107]在这里，显示距离指的是对于显示，以便在HMD中具有虚拟目标的空间感觉说来必需的距离。例如，显示距离可以是用于显示虚拟的3D目标的深度信息。在一个实施例中，显示距离可以被设置为在HMD和在HMD中显示的虚拟目标的触摸识别表面之间的距离。在另一个实施例中，显示距离可以被设置为在HMD和在HMD中显示的虚拟目标的后侧之间的距离。
[0108]参考该图，将解释应用循环出现处理器操作的虚拟目标Π方法的HMD。
[0109]图19至图21图示显示在HMD中应用虚拟的3D目标Π方法的实体Π模式的虚拟的3D目标的各种的实施例。
[0110]特别地，图19图示显示包括一个触摸识别表面的虚拟的3D目标的HMD，图20图示显示包括多个触摸识别表面的虚拟的3D目标的HMD，和图21图示基于用户的手势显示包括多个触摸识别表面的虚拟的3D目标的HMD。
[0111]图19a和19b图示按照该实施例显示包括一个触摸识别表面的虚拟的3D目标的HMD的透视图和侧视图。
[0112]在图19b中的Dvs表示在HMD 100和在HMD中显示的虚拟目标的触摸识别表面610之间的距离。另外，Drs是在HMD 100和由HMD检测到的目标的表面400之间的距离。此外，Dv指的是在虚拟目标的前侧610和后侧620之间的距离。虚拟目标的前侧可以包括至少一个触摸识别表面。Dth指的是确定是否HMD将应用实体UI模式的预先确定的距离。因此，Dth可以被设置为是用户可以实体地触摸检测到的目标的距离。在这样的情况下，Dth可以与在图5中解释的Th相同。
[0113]参考图19a和19b，经由传感器单元检测到目标的表面400，并且如果检测到的目标的表面400是在其中实体反馈是可能的(Drs〈Dth)预先确定的距离范围之内，贝U处理器可以通过HMD的Π方法应用实体Π模式。此时，如果在HMD中显示的虚拟目标是3D目标并且3D目标包括触摸识别表面，则处理器可以选择虚拟目标Π方法的实体Π模式。处理器可以由系统或者由用户设置去选择这样的过程。
[0114]此外，当实体UI模式通过虚拟目标UI方法应用时，当虚拟目标600仅仅包括一个触摸识别表面610时，处理器可以调整虚拟目标600的显示距离，以便触摸识别表面600与检测到的目标的表面400重合。例如，如果在HMD和在HMD中显示的虚拟目标的触摸识别表面之间的显示距离被设置为Dvs，则处理器可以调整显示距离，使得Dvs值与Drs值相同。
[0115]此外，处理器可以基于调整的显示距离(Dvs = Drs)显示虚拟目标600。经由这个过程，虚拟目标的触摸识别表面610与检测到的目标的表面500重合，与真实目标的触摸输入相同的实体反馈可以提供给虚拟目标600的触摸输入。
[0116]图20a和20b图示按照每个实施例基于选择的信息显示包括多个触摸识别表面的虚拟的3D目标的HMD的透视图和侧视图。
[0117]在图20b中，Drs和Dth的定义与在以上的图19b中描述的定义相同。Dvs-1是在HMD 100和第一触摸识别表面610-1之间的距离，并且Dvs_2是在HMD 100和第二触摸识别表面610-2之间的距离。此外，Dv-1表示在第一触摸识别表面610-1和虚拟目标的后侧610之间的距离，并且Dv-2表示在第二触摸识别表面610-1和虚拟目标的后侧620之间的距离。
[0118]参考图20a和20b，当应用虚拟目标Π方法的实体Π模式，并且虚拟目标600包括多个触摸识别