在头戴式显示器上提供用户界面的装置和方法及其头戴式显示器的制造方法
【专利说明】在头戴式显示器上提供用户界面的装置和方法及其头戴式业不命
技术领域
[0001]本发明的示例的实施例涉及提供用户界面(UI)和/或用户体验(UX)(在此处，以后称为“UI”)的装置和方法，更具体涉及确定最佳的UI，和在头戴式显示器上提供UI的装置和方法及其头戴式显示器。
【背景技术】
[0002]UI技术是一种帮助用户方便地利用各种的数字设备的界面方法。更详细地，Π技术是用户相对交互作用以便用户和数字设备提供和获得信息的程序的一部分。例如，其被称作命令行界面，其中用户输入运行程序的命令，由菜单选择的命令操作的菜单驱动的界面，和图形用户界面(GUI)，其中图形显示程序通过使用位置定位设备，诸如光笔、鼠标、控制球和操纵杆操作。此外，近来，由用户的动作命令操作的手势UI，和无需他的或者她的动作由用户的语音操作的语音识别UI已经被开发去应用于数字设备。
[0003]此外，作为朝着最小化数字设备的重量和尺寸方向的趋势，已经开发了各种的可佩带的数字设备。作为可佩带的数字设备的一种，已经开发了可以在面部上佩戴的头戴式显示器(HMD)，就像眼镜。除简单显示器使用以外，HMD可以与诸如增加实体技术，和N个屏幕技术的技术协作，提供用户许多各种的便利。
【发明内容】
[0004]技术问题
[0005]因此，前面提到的各种的Π技术可以应用于HMD。但是，因为HMD可以由用户佩戴，并且自由地移动，所以其很难确定用于HMD的最佳的UI。因此，考虑到HMD的特征和在HMD附近的周围环境条件，需要提供非常有效和便利的UI的技术。
[0006]技术方案
[0007]因此，本发明示例的实施例提出一种提供用户界面的装置和方法，其大体上消除由于现有技术的限制和缺点而造成的一个或多个问题。
[0008]有益效果
[0009]本发明示例的实施例提供一种考虑到HMD的特征和在HMD附近的周围环境条件，提供非常有效和便利的Π的技术。
【附图说明】
[0010]该伴随的附图被包括以提供对本发明进一步的理解，并且被结合进和构成本申请书的一部分，其图示本发明的示例的实施例，并且与该说明书一起可以起解释示例的实施例原理的作用。在附图中:
[0011]图1a和Ib示出根据本发明示例的实施例解释HMD的图；
[0012]图2示出根据本发明示例的实施例用于HMD内部配置的框图；
[0013]图3和4示出作为本发明的第一示例的实施例根据目标位置的Π模式确定过程的流程图；
[0014]图5a、5b和5c是示出UI模式确定过程如何应用于本发明的第一示例的实施例的图；
[0015]图6a和6b示出根据本发明示例的实施例的实体Π模式(例如，键盘、绘图)的示例；
[0016]图7a和7b示出根据本发明示例的实施例的非实体Π模式(例如，语音、手势)的示例；
[0017]图8和9示出作为本发明第二示例的实施例考虑到HMD视角的UI模式确定的流程图；
[0018]图1Oa和1b是示出UI模式确定过程如何应用于本发明的第二示例的实施例的图；
[0019]图11和12示出作为本发明的第三示例的实施例考虑到目标类型的Π模式确定的流程图；
[0020]图13a和13b是示出UI模式确定过程如何应用于本发明的第三示例的实施例的图；
[0021]图14和15示出作为本发明的第四示例的实施例利用在视角内的数字设备的Π模式确定过程的流程图；
[0022]图16是示出Π模式确定过程如何应用于本发明的第四示例的实施例的图；
[0023]图17和18示出作为本发明的第五示例的实施例利用数字设备的UI模式确定过程的流程图；
[0024]图19a和19b图示显示包括一个触摸识别表面的虚拟的3D目标的HMD ；
[0025]图20a和20b图示显示包括多个触摸识别表面的虚拟的3D目标的HMD ；
[0026]图21a、21b、21c和21d图不基于用户的手势显不包括多个触?旲识别表面的虚拟的3D目标的HMD ；
[0027]图22是根据本公开的实施例在HMD中提供用户界面的流程图；和
[0028]图23是根据本公开的另一个实施例在HMD中提供用户界面的流程图。
【具体实施方式】
[0029]示例的实施例的一个目的是提供头戴式显示器用户界面(HMDn)，提供考虑到在HMD附近的周围环境条件而最佳的HMDn。特别地，示例的实施例的另一个目的是基于是否用于HMD Π的可使用的目标存在于HMD的附近，不同地应用HMD U10
[0030]示例的实施例的另一个目的是基于在目前使用的HMD附近的周围环境条件，改变和提供最佳的HMD U1
[0031]在下面的描述中将在某种程度上阐述示例的实施例的额外的优点、目的和特点，在参阅以下内容时或者可以从示例的实施例的实践中获悉，在某种程度上对于那些本领域普通的技术人员将变得显而易见。通过尤其在著述的说明书和此处的权利要求以及所附的附图中指出的结构，可以实现和获得示例的实施例的目的和其它的优点。
[0032]为了实现这些目的和其它的优点，和按照示例的实施例的目的，如在此处实施和广泛地描述的，一种提供用户界面(UI)的方法，包括:检测是否目标存在于HMD的附近；感测在检测到的目标和HMD之间的距离；如果目标是在离HMD预先确定的距离范围之内，应用实体用户界面(UI)模式，其中实体Π模式提供用于虚拟目标的显示；当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合；和基于调整的显示距离，显示虚拟目标。
[0033]在示例的实施例的另一个方面中，一种包括用于头戴式显示器(HMD)的用户界面(UI)装置的UI装置，包括:传感器单元，配置成检测是否目标存在于HMD的附近，并且如果检测到目标，则感测在目标和HMD之间的距离；和处理器，其被配置成，如果检测到的目标是在离HMD预先确定的距离范围之内，则应用实体用户界面(UI)模式，其中实体Π模式提供用于虚拟目标的显示，处理器被进一步配置成:当虚拟目标是3维(3D)目标，并且3D目标包括触摸识别表面时，调整虚拟目标的显示距离，以便触摸识别表面与目标的表面重合，和基于调整的显示距离，显示虚拟目标。
[0034]应该明白，实施例的上文的概述和后面的详细说明两者是示例性和说明性的，并且作为权利要求意欲对示例的实施例提供进一步解释。
[0035]现在将详细地介绍本发明的示例的实施例，其示例在伴随的附图中图示。只要可能，贯穿本附图将使用相同的附图标记以涉及相同的或者类似的部分。
[0036]图1a和Ib示出根据本发明示例的实施例作为例子解释HMD的图。更详细地，图1a表示HMD 100的外部配置的示例，并且图1b表示在用户10上佩戴的HMD 100的示例。因此，本发明不局限于HMD100的外部配置，并且明显地可以使用HMD的任何外部配置以实现示例的实施例。
[0037]特别地，UI被应用于的HMD 100包括显示屏幕101和至少一个传感器102。不仅所有内容和图像由HMD经由显示屏幕101提供给用户10，而且提供有关示例的实施例的Π的信息。此外，HMD 100包括至少一个传感器102，检测在HMD 100附近的周围环境条件，并且被使用作为确定运行这样的传感器功能的HMD Π的重要的元素。此外，HMD 100能够包括以便用户10在头部佩戴HMD 100的支撑部件103和在耳朵中可佩带的音频输出单元104。
[0038]图1b示出在用户10上佩带的HMD 100，以便解释目前使用的HMD 100的状态的图。按照提及的实施例，HMD 100包括视角区200的预先确定的距离。视角区200是对应于佩带HMD 100的用户10的预先确定的区域，并且可以包括在HMD 100的正向中具有某个角度的区域。此外，按照该实施例，HMD 100和外部数字设备(在图中未示出)可以由网络300连接去通信。例如，可使用的无线网络是近场通信(NFC)、Zigbee、红外通信、蓝牙和WIF1也就是说，在示例的实施例中，在HMD 100和数字设备之间的通信可以由以上列举的网络300或者它们的组合的一个实现。但是，示例的实施例不局限于如上所述的那些。
[0039]图2示出用于HMD内部配置的框图。
[0040]按照图2，示例的实施例的HMD 100包括处理器110、传感器单元120、存储单元130、通信单元140、用户输入单元150、显示控制器160、Π控制单元170。
[0041]传感器单元120可以内部地或者外部地配备在HMD 100中，并且通知处理器110该HMD 100识别的周围环境条件。因而，传感器单元120可以包括多个感测方法。例如，传感器单元120不仅检测在HMD100附近，称作“目标”的目标或者事物，而且确保检测到的目标的类型，并且可以包括感测在检测到的目标和HMD之间距离的目标传感器121。此外，传感器单元120可以包括感测HMD 100视角的视角传感器122。目标传感器121和视角传感器122的更加详细的功能和操作将在下面图示。因此，传感器单元，例如，可以类似在图1a中的102内部地或者外部地配备在HMD中。
[0042]此外，可以配置有多个感测方法的传感器单元120例如包括重力传感器、磁性传感器、运动传感器、陀螺传感器、加速度传感器、红外传感器、倾斜传感器、亮度传感器、仰角传感器、嗅觉传感器、温度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视频传感器、全球定位系统(GPS)传感器和触摸传感器。但是，示例的实施例不局限于该列举的。也就是说，传感器单元120感测HMD用户和在他或者她附近的周围环境条件，并且发送感测的结果，以便处理器110据此操作是足够的，并且传感器单元120的详细感测方法不局限于列举的感测方法。
[0043]此外，存储单元130可以存储各种的数字数据，诸如视频、音频、图片、电影片断和应用。存储单元130表示各种的数字数据存储空间，诸如闪存、随机存取存储器(RAM)和固态硬盘(SSD)。
[0044]此外，通信单元140通过与外部数字设备执行通信发送和接收数据和各种的协议。示例的实施例的HMD 100通过使用通信单元140与在HMD 100附近的数字设备执行配对和连接通信。另一方面，通信单元140可以包括多个天线。HMD 100通过使用多个天线检测正在与HMD通信的数字设备的位置。也就是说，HMD 100通过使用在经由多个天线发送或者接收的信号之间的时间和高度差，检测正在与HMD通信的数字设备的位置。
[0045]此外，用户输入单元是接收控制HMD 100的使用的用户控制命令的设备。用户控制命令可以包括用户配置命令。例如，按照示例的实施例的实施例，用户10可以设置对应于在HMD UI附近的周围环境条件的操作，并且无需周围环境条件，通过使用来自用户输入单元150的用户控制信息预先确定某个Π模式。因此，基于由用户预先确