示器的屏幕上执行，并且用户10的手势，诸如用户的手指移动451和头部移动(未示出)用于输入命令。一旦输入用户的手势，手势命令在非实体Π模式控制单元172中经由手势识别过程被识别和转换，并且相应的命令由处理器110执行。
[0071]因此，当非实体Π模式在S132和S133的步骤中被确定为作为HMD Π应用时，多个前面提到的非实体模式UI的任何一个可以由用户的设置或者系统设置选择。例如，由于用户10可以通过使用用户输入单元150预先确定该设置，所以当非实体UI模式正在确定时，或者语音识别UI方法或者手势UI方法的一个可以提前地选择为默认。此外，当用户的设置不存在时，UI控制单元170分析围绕用户10的噪声，并且如果该噪声低于某个水平，则在图7a中的示出的语音识别UI方法被选择，并且如果该噪声高于某个水平，则在图7b中示出的手势UI方法被提前地选择。此外，虽然UI方法被最初确定，但是如果存在任何变化，则可以使用不同的Π方法。例如，当围绕用户10的噪声从低于到高于某个水平变化时，在图7a中示出的语音识别UI方法可以自动地变为在图7b中示出的手势UI方法。此外，关于原始确定的Π模式，用户可以在用户期望的任何时间改变Π方法。另外，就非实体Π模式而论，例如，在图7a中示出的语音识别模式和在图7b中示出的手势UI方法可以被设置同时操作，并且在那种情况下，用户10可以利用语音识别UI或者手势UI或者两者去发送命令。
[0072]图8和9示出作为示例的实施例的第二个实施例考虑到HMD视角的UI模式方法的流程图。此外，图1Oa和1b是示出UI模式确定过程如何应用于第二个实施例的图。因此，当UI模式正在确定时，示例的实施例的第二个实施例考虑大于第一个实施例的视角。进一步说明如下。
[0073]按照示例的实施例的第二个实施例，HMD Π模式确定过程包括目标位置确定S220、视角确定S230，和HMD Π模式确定S240的步骤。一旦HMD Π模式确定过程开始S210，处理器110检测在HMD附近的目标，并且确定检测到的目标S221的位置。在S221的步骤之后，处理器110确定是否在HMD和目标之间的关系是前面提到的F1、F2或者F3状态的一个。例如，当检测到目标时并且检测到的目标保持在其中实体反馈是可能的距离之内时(S122)，其被称作Fl状态。此外，当检测到目标时并且检测到的目标没有保持在其中实体反馈是可能的距离之内时(S123)，其被称作F2状态。最后，当目标不存在于HMD附近时(S124)，其被称作F3状态。
[0074]然后，在确定Fl状态S222之后，HMD 100处理器110进一步经由视角传感器120确定是否检测到的目标是在HMD视角的范围之内。例如，按照S231，视角可以具有二个状态。进一步描述根据图1Oa和1b如下。
[0075]图1Oa示出用于目标400在HMD视角内的流程图，并且该情形称作SI状态。此夕卜，图1Ob示出用于不在HMD视角内目标400的流程图，并且该情形称作S2状态。也就是说，SI状态表示在HMD附近的目标400不仅在预先确定的距离内，而且在用户10的视角内存在。另一方面，SI状态表不在HMD附近的目标400是在预先确定的距尚范围之内，但是不在用户10的视角内。
[0076]如果HMD处理器110经由S231的步骤确认SI状态S232，则HMD UI模式可以确定为实体Π模式，并且经由前面提到的实体Π模式控制单元171作为虚拟键盘Π或者绘图Π操作(S241)。在第一个实施例中示出的实体Π类型和操作方法可以同样地应用于第二个实施例。
[0077]此外，如果HMD处理器110经由S231的步骤确认S2状态S233，则目标400的位置在预先确定的时间段，例如，5秒(5s)或者10秒(1s)内被连续地确认(S234)。在S234的步骤中，如果目标400在预先确定的时间段内在视角内被重新检测到，也就是说，如果S2状态被转变为SI状态，则实体UI模式将保持(S242)。此外，如果当前正在应用非实体UI模式，则其将转变为实体UI模式(S242)。因此，在预先确定的时间段内用户10的状态从S2状态改变为SI状态的事实表示用户10暂时地从目标400转移目光，并且不意欲永久地从其转移目光。也就是说，在那种情况下，由于用户的临时眼球运动(假定短期的意图)，实体UI模式将保持，并且如果当时存在的UI模式是非实体UI模式，则UI模式可以转变为实体UI模式是合适的。
[0078]另一方面，在S234的步骤中，如果在预先确定的时间段(例如，5或者10秒)内在视角内没有检测到目标400，也就是说，如果S2状态保持，或者转变为F2或者F3状态，则UI模式将转变为非实体UI模式(S243)。或者，如果当前正在应用实体UI模式，则其将转变为非实体UI模式(S243)。
[0079]因此，在S234的步骤中，如果用户10的S2状态保持预先确定的时间段，则其被认为用户10意欲长期从目标400转移目光。也就是说，在那种情况下，由于用户意图长期的转移目光，如果当时存在的Π模式是实体Π模式，则保持非实体Π模式或者转变为非实体Π模式是合适的。此外，经由S234的步骤，如果用户10状态在预先确定的时间段内转变为F2或者F3状态，则其被认为用户10正在移动远离目标400。也就是说，在那种情况下，由于目标400无法利用实体Π模式，所以非实体Π模式可以保持，并且如果当时存在的UI模式是实体模式，则其可以被转变为非实体UI模式。
[0080]此外，在实体Π模式就像在S241和S242的步骤中示出的那样应用的情况下，处理器110连续地确定是否用于实体Π的目标400没有保持HMD视角内(S241/S242) ?(S231)。另一方面，在非实体UI模式就像在S243和S244的步骤中示出的那样应用的情况下，处理器110连续地确定是否在预先确定的距离内检测到目标400 (S221)。
[0081]图11和12作为示例的实施例的第三个实施例示出关于目标类型的Π模式确定过程的流程图。此外，图13a和13b示出Π模式确定如何应用于第三个实施例的图。因此，第三个实施例考虑大于第二个实施例的目标类型。进一步说明如下。
[0082]按照示例的实施例的第三个实施例，HMD Π模式确定过程包括目标位置确定S320、视角确定S330、目标类型确定S340，和HMD UI模式确定S350的步骤。一旦HMD UI模式确定过程开始S310，HMD处理器110通过目标传感器121检测在HMD附近的目标，并且确定检测到的目标的位置S321。在确定S321的步骤之后，处理器110确定在HMD和目标之间的关系作为前面提到的Fl、F2和F3状态的一个。例如，当检测到目标时，并且检测到的目标保持在其中实体反馈是可能的距离之内时，其被称作Fl状态，如在S322中示出的。此夕卜，当检测到目标时，并且检测到的目标没有保持在其中实体反馈是可能的距离之内时，其被称作F2状态，如在S323中示出的。最后，在S324中示出，当目标不存在于HMD附近时，其被称作F3状态。
[0083]然后，在已经确定Fl状态(S322)的情况下，HMD 100处理器110进一步确定是否检测到的目标是在HMD视角的范围之内(S331)。例如，按照S331的步骤，其可以确定或者SI或者S2状态。
[0084]经由S331的步骤，如果HMD处理器110确认在当前的HMD和目标之间的关系是S2状态(S333)，则目标400的位置将在预先确定的时间段(例如，5、10秒)内被连续地确认。在S334的步骤中，如果目标在预先确定的时间段内在视角内被检测到，也就是说，如果该状态被转变为SI状态，则实体UI模式将被保持，或者该模式将被转变为实体UI模式(S352)。也就是说，经由S334的步骤，用户10的状态在预先确定的时间段内从S2改变为SI的事实表示用户10暂时地从目标400转移目光，并且不意欲从目标400转移目光。也就是说，在那种情况下，由于用户意图短期的转移目光，所以实体Π模式可以保持，或者如果当时存在的UI模式是非实体UI模式，则当时存在的UI模式可以转变为实体UI模式是合适的。
[0085]另一方面，在S334的步骤中，如果在预先确定的时间段内没有在视角内检测到目标，也就是说，如果S2状态保持，或者如果其被转变为F2或者F3状态，则非实体UI模式可以保持，或者Π模式可以被转变为非实体Π模式(S353)。也就是说，经由S334的步骤，如果用户10的状态在预先确定的时间段内被保持为S2状态，则其被认为用户10从目标转移目光，并且意欲转移目光。因此，在那种情况下，由于用户意图长期的转移目光，所以非实体UI模式可以保持，或者如果当时存在的UI模式是实体UI模式，则UI模式可以转变为非实体Π模式。此外，经由S334的步骤，如果用户10状态在预先确定的时间段内转变为F2或者F3状态，则其被认为用户10正在移动远离目标400。也就是说，在那种情况下，由于目标400无法利用UI，所以非实体Π模式可以保持，或者如果Π模式是实体Π模式，则Π模式可以被转变为非实体Π模式。
[0086]另一方面，如果经由视角确定S331的步骤，在当前的HMD和目标之间的关系被确认为是SI状态S332，则HMD处理器110进一步确定目标类型(S341)。因此，目标类型是目标的外部形状，并且可以基于是否目标是用户可对接的分类。例如，在图13a中示出的墙461或者桌子462是用户可以容易地与其接触或者用户可对接的类型I。相比之下，例如，在图13b中示出的篮球463是用户无法容易地与其接触或者不是用户可对接的类型2。
[0087]当HMD处理器110经由目标类型确定S341的步骤确定相应的目标是类型I时，其确定实体Π模式为HMD Π模式(S351)。然后，经由前面提到的实体Π模式控制单元171，UI方法，诸如可以接触或者触摸类型I目标，诸如墙461和桌子462的虚拟键盘UI和绘图UI将操作。
[0088]此外，当HMD处理器110经由目标类型确定的步骤S341确定相应的目标是类型2时，其选择非实体UI模式为HMD UI模式(S353)。然后，经由前面提到的非实体UI模式控制单元172，不考虑在预先确定的距离和视角内存在的类型2目标463，可应用的非实体Π方法，诸如语音识别UI和手势UI将操作。因此，在第一个实施例中示出的实体和非实体UI的类型和操作方法将在第三个实施例中同样应用。
[0089]此外，在实体Π模式就像在S351和S352中示出的那样应用的情况下，处理器110连续地确定是否用于实体UI的目标400没有保持在HMD视角内(S351/S352) ? (S331)。另一方面，在非实体UI模式就像在S343和S344的步骤中示出的那样应用的情况下，处理器110连续地确定是否在预先确定的距离内检测到目标400(S343/S344) ? (S321)。
[0090]图14和15作为第四个实施例示出考虑检测新的数字设备的UI模式确定的流程图。此外，图16示出Π模式确定如何应用于第四个实施例的图。因此，示例的实施例的第四修改考虑检测大于第二个实施例的新的数字设备。进一步描述如下。
[0091]按照示例的实施例的第四个实施例，HMD Π模式确定过程包括目标位置确定S420、视角确定S430、