用于头戴式显示器的基于预测跟踪的感知的制作方法
【专利说明】
[0001] 版权和商业外观的通知
[0002] 本专利文献的公开内容的一部分包含受到版权保护的物质(material)。本专利文 献可示出和/或描述成为或者可能成为所有者的商业外观的问题(matter)。由于专利公开 出现在专利与商标局的专利文件或记录中，版权所有人和商业外观所有人不反对任何人对 本专利公开进行传真复制，但除此之外保留所有版权和商业外观权。
技术领域
[0003] 本公开设及用于头戴式显示器的预测运动跟踪。
【背景技术】
[0004] 头戴式显示器已被长期用在虚拟现实和增强现实系统中。通常，虚拟现实系统完 全包裹佩戴者的眼睛，并且用"虚拟"现实替代现实。运些虚拟现实环境可能是刻意原始的， 或由于缺乏虚拟现实系统的能力而变得原始的。然而，虚拟现实环境也可W是详细的、交互 式的、并且十分复杂的，设及虚拟的人、对话、W及体验。虚拟环境的最明显范例可能是设及 与游戏世界交互的玩家角色的视频游戏。然而，虚拟环境不必是游戏，并且可能反而是教育 体验、小组活动(诸如历史遗迹之旅）、或仅仅W朋友的化身代表坐在虚拟空间中并进行谈 话。
[0005] 相反地，增强现实系统通常提供覆盖半透明或透明的屏幕或佩戴者眼睛前方的屏 幕，W便使用其他的信息、图示、或补充数据"增强"现实。例如，增强现实可向观看者重叠关 于现实的"虚拟"人、商品、汽车、房间、空间、标志、W及其他数据。简单的增强现实系统可仅 仅提供与观看的场景或区域有关的信息（例如，溫度、佩戴者即将到来的约会、运动速度、 GPS位置等）。更复杂的增强现实系统可在场景上重叠"虚拟"有形对象(诸如墙壁、工艺品、 个体、W及相似元件）。运些可实时更新，使得呈现在增强现实显示器中的图像对于佩戴者 看起来是存在于地点内的。
[0006] 在任一个系统中，为了对用户运动作出反应并且更新存在的图像，可跟踪运种耳 机的佩戴者的运动。运种跟踪利用生成关于耳机的位置、运动、W及方位的数据的传感器 (诸如巧螺仪、加速计、磁力仪、W及，在某些情况下，照相机、或颜色传感器）。该跟踪数据可 用于生成诸如角速度、线加速度、W及重力数据的信息，该信息可响应于佩戴者运动反过来 用于调整耳机的显示器。
[0007] 在过去，预测运动已被结合到虚拟现实和增强现实的耳机中。然而，用于W上识别 到的传感器的采样率通常相对于人类视觉的灵敏度来说是十分长的（大约数十毫秒）。因为 样本之间的时间长，所W运些预测通常导致所谓的"过冲(overshoot)"，其中，预测过冲实 际的头部位置和方位，或必须严重地进行平滑W避免由于仅仅没有预测运动传递 (movement delivers)更好的结果而导致预测不够精确的其他问题。
【附图说明】
[0008] 图1是虚拟现实系统的概览图。
[0009] 图2是计算设备的框图。
[0010] 图3是虚拟现实耳机的框图。
[0011] 图4是虚拟现实系统的功能图。
[0012 ]图5是佩戴虚拟现实耳机的用户。
[001 ：3 ] 图6由图6A和图6B组成，是由预ii运动跟踪产生的抖动的示例图。
[0014]图7由图7A、图7B、和图7C组成，是与实际运动相比的预测运动跟踪的示例图。
[001引图8是示出了应用于预现帳动跟踪过程的感知调谐滤波的流程图。
[0016] 贯穿本说明书，出现在图中的元件被指定为Ξ个数字参考标号，其中，最重要的数 字是图号，并且两个最次要的数字具体到元件。未结合图描述的元件被推定为具有与先前 描述的元件相同的特征和功能，先前描述的元件具有同样最次要的数字参考标号。
【具体实施方式】
[0017] 运动预测的动态应用能够显著降低与预现帳动跟踪相关联的问题，该运动预测的 动态应用是为了考虑包括虚拟现实系统的抖动、延迟、W及总体响应的各种因素的。例如， 相比仅启动用于所有运动的预测跟踪并且将预测跟踪启动至相同的程度，仅将预测运动应 用至正在运动的耳机并且仅应用至适于该运动的尺寸的程度提供了更好的总体预测精确 度(在整个相同的预测区间）。
[0018] 同样地，例如，当运动数据表示耳机基本上不运动时，可更积极地应用最近检测到 的运动的基于回归取平均值(regression-based averaging)的平滑;但是当运动数据表示 耳机在W相对高的角速度运动或角加速度在增加时，可更不积极地应用平滑。运是因为相 比人类转头时，当头部基本上不运动时，人眼对所谓的"抖动"是非常敏感的。当传感器测量 的一系列微小变化导致得到的擅染视频"弹跳"时，出现抖动。当头部不运动时，该抖动是高 度可见的。当头部运动时，该抖动几乎完全被人类感知忽视。
[0019] 平滑和运动预测的运类动态缩放可被称为感知调谐滤波，因为它们结合对可用在 虚拟现实系统中的硬件的技术缺陷的理解，依赖与人类感知相关的发现。
[0020] 装置的描述
[0021] 现在参考图1，示出了虚拟现实系统100的概览图。该系统包括通过网络150连接的 用户系统110和环境服务器120, W及VR耳机130。尽管用户135被考虑为与系统100分离，但 是也示出了用户135。
[0022] 用户系统110是为了生成用于VR耳机上的显示器的虚拟现实环境而连接至VR耳机 130并且与VR耳机130交互的计算设备。例如，用户系统110可W是典型的台式计算机和视频 游戏控制台（诸如Μ妃婚soft?进孤X蠻、期姑锁doi) Wii骇和Wi助愈、W及 Sony吸PlayStation嚴控制台）。在一些情况下，用户系统110可W是诸如运动电话、平板 电脑、或其他手提或更小的计算设备的运动设备。用户系统110可包括特定任务硬件，诸如 通常由计算设备使用的用于擅染Ξ维环境的视频处理器。视频处理器可被容纳在独立显卡 内或可被集成到更大的处理器或片上系统。
[0023] 通常，用户系统110将运行包括操作系统软件和潜在虚拟环境软件的生成用于VR 耳机130上的显示器的虚拟环境的图像的软件。虚拟环境软件可W是，例如，生成Ξ维世界 的图像的视频游戏软件，W便VR耳机130的佩戴者看上去是在游戏世界的虚拟环境"中"。
[0024] 环境服务器120是计算设备。取决于虚拟现实系统100的执行过程，环境服务器120 可W是可选的。在虚拟环境100是多用户或多方的情况下，环境服务器120可提供由用户系 统110使用的一些数据W便擅染虚拟环境。
[0025] 例如，环境服务器120可经由网络150维持和通信关于同时连接至由用户系统110 擅染的虚拟环境的其他用户的数据。W此方式，用于一系列VR耳机(如同VR耳机130)的用户 的用户化身可一起出现在虚拟环境内。当一个用户在该环境内"运动"时，环境服务器120可 接收该数据并且将该数据传递至与其他用户相关联的用户系统(如同用户系统110)。因此， 环境服务器120可使一组用户能够一起实时体验虚拟环境。
[0026] 在一些实施方式中，尤其是那些不包括任意多用户或多方体验的实施方式中，环 境服务器120可能是不必要的。在运种情况下，用户系统110可承担对擅染虚拟环境的全部 责任。
[0027] VR耳机130是如同用户系统110的计算设备，但是具有少许特殊特征。VR耳机130包 括至少一个集成显示器，并且包括可用于生成VR耳机130的运动、位置、和/或方位数据的一 个或多个传感器。当VR耳机130的佩戴者运动时，传感器生成运动、位置、和/或方位数据，并 且向用户系统110传输那些数据。用户系统110返回在集成到VR耳机130的显示器上显示的 一个或多个图像。
[002引通过诸如1化8货'，皿11、0￥1、￥64、光纤、015口1巧化1-祕、1^311加1巧饭连接器、^ 太网的标准计算机输入和输出接口，或者通过特定设计的用于将VR耳机130连接至用户系 统110的自定义接口，VR耳机130可连接至用户系统110。通常，运些连接的至少一部分将是 相对高通量的W确保尽可能小的延迟那些擅染的视频数据图像地在集成显示器上的显示。 在一些情况下，使用802.11协议、蓝牙、或者射频的无线连接可用于在用户系统110与VR耳 机130之间传输一部分数据。
[0029] VR耳机130可集成用户系统110的功能的一些或所有。然而，使用当前技术，运些系 统保持彼此根本上不同，因为擅染令人信服的虚拟环境并且执行本文中描述的运动推断所 需要的处理能力和储存最好是比目前仅在更大的或