基于用户的光学处方的头戴式显示器的制造方法
【专利说明】基于用户的光学处方的头戴式显示器
[0001] 背景 1.发明领域
[0002] 本发明涉及用于定制头戴式显示器中的视图表示的方法和系统。
[0003] 2.相关技术的描述
[0004] 视频游戏产业多年来已发生了许多变化。随着计算能力的扩展，视频游戏的开发 者同样已经创建了利用这些提高的计算能力的游戏软件。为此目的，视频游戏开发者一直 在译码并入有复杂操作和数学运算的游戏，以产生非常逼真的游戏体验。
[0005] 许多游戏平台已经按照游戏控制台的形式来被开发和出售。典型的游戏控制台被 设计以连接到监视器（通常是电视），且经由手持式控制器来实现用户交互。游戏控制台被 设计有专用处理硬件和其他胶连硬件、软件和固件，所述专用处理硬件包括中央处理单元 (CPU)、用于处理密集图形操作的图形合成器、用于执行几何变换的向量单元。游戏控制台 被进一步设计有用于接纳游戏压缩光盘的光盘托盘，以便通过游戏控制台进行本地游戏。 游戏控制台还被设计用于在线游戏，其中用户可以通过互联网与其他用户交互地比赛或一 起玩游戏。随着游戏复杂性不断地激起玩家的兴趣，游戏和硬件制造商不断进行革新来实 现额外的交互性和计算机程序。
[0006] 计算机游戏产业的发展趋势在于开发增加用户与游戏系统之间的交互的游戏和 游戏控制器。游戏控制器包括实现更丰富的交互体验的特征，所述特征通过允许游戏系统 跟踪玩家的变化的移动且使用这些移动作为在所述游戏系统上执行的游戏的输入。
[0007] 正是在这种情况下，本发明的实施方案应运而生。
[0008] 概述
[0009] 本发明的实施方案提供用于基于用户的光学处方来定制在头戴式显示器的屏幕 上的光学视图表示、对象等的系统和方法，如本文所描述。
[0010] 广义来说，本发明的各种实施方案揭露用于操作头戴式显示器（HMD)的屏幕的系 统和方法。执行程序。所述程序的执行致使图像呈现在HMD的屏幕上。所呈现的图像具有 不同的大小且呈现在屏幕上的虚拟距离处。接收用于所呈现图像的用户输入。用户输入将 所呈现图像的清晰层次限定为被佩戴HMD的用户感知。基于用户输入，调整光学设置用于 为用户在HMD处呈现图像。调整过的光学设置是用于为了HMD处的用户而呈现交互图像， 如关于游戏或视频的图像数据等。在一些实施方案中，用户的光学设置存储在用户的用于 HMD的配置文件中，使得每当用户佩戴HMD时，将使用所存储的光学设置而呈现用于用户的 图像。在一些实施方案中，用户的光学设置考虑用户的光学处方，且根据用户的光学要求而 进一步调整HMD屏幕的光学设置。因此，各种实施方案提供用以调整在HMD屏幕上呈现图 像所在的分辨率层次的方式，使得用户可在无需佩戴眼镜矫正镜片或的情况下使用HMD。
[0011] 在一个实施方案中，揭露用于操作头戴式显示器的屏幕的方法。所述方法包括执 行程序。所述程序的执行致使图像呈现在HMD的屏幕上。所述屏幕使用第一光学设置来呈 现图像。因此，根据第一光学设置在屏幕上呈现第一图像。所述第一图像具有第一大小且 呈现在一距离处。接收识别用于所述第一图像的清晰层次的输入。根据第一光学设置在屏 幕上呈现第二图像。所述第二图像具有第二大小和所述距离。接收识别用于所述第二图像 的清晰层次的输入。基于针对第一图像和第二图像所接收的清晰层次，屏幕的第一光学设 置改变为第二光学设置。
[0012] 在另一实施方案中，揭露用于操作头戴式显示器的屏幕的方法。所述方法包括执 行程序。所述程序的执行致使图像呈现在HMD的屏幕上。所述屏幕使用光学设置来呈现图 像。在屏幕上虚拟距离处呈现多个图像。多个图像中的每一者具有不同的大小。从用户接 收针对屏幕上呈现的多个图像中的每一者的清晰层次反馈。基于清晰层次反馈而自动地调 整屏幕的光学设置，使得所述调整过的光学设置补偿所述用户的视觉的光学特性。
[0013] 在另一实施方案中，揭露用于操作头戴式显示器的屏幕的方法。所述方法包括执 行程序。所述程序的执行致使图像呈现在HMD的屏幕上。所述屏幕使用光学设置来呈现图 像。在屏幕上虚拟距离处呈现多个图像，其中所述多个图像中的每一者具有不同的大小。从 用户接收针对HMD屏幕上呈现的多个图像中的每一者的清晰层次反馈。接收针对所述用户 的光学处方设置的选择。根据选定的清晰层次反馈和选定的光学处方设置而自动调整HMD 屏幕的光学设置。HMD屏幕的调整过的光学设置补偿用户的视觉的光学特性缺陷。当HMD 被用户佩戴时，使用屏幕的调整过的光学设置来为用户呈现交互图像。
[0014] 结合附图来阅读以下详细描述，本发明的其他方面将变得显而易见，以下详细描 述通过实例方式来说明本发明的原理。
[0015] 附图简述
[0016] 本发明的各种实施方案可通过参考以下结合附图进行的描述来最好地理解，附图 中：
[0017] 图1示出根据本发明的一些实施方案的游戏环境的系统架构配置。
[0018] 图2A-2D示出根据本发明的实施方案的在与游戏程序交互中使用的头戴式显示 器的部件。
[0019] 图3A-3F示出在本发明的一些实施方案中的接收在头戴式显示器上呈现的图像 的清晰层次的实现方式。
[0020] 图4示出根据本发明的实施方案的用于操作头戴式显示器的屏幕的方法操作。
[0021] 图5示出根据本发明的替代实施方案的用于操作头戴式显示器的屏幕的方法操 作。
[0022] 图6示出在本发明的一个实施方案中的游戏模块的整体系统架构。
[0023] 图7示出根据本发明的实施方案的游戏系统的框图。
[0024] 详述
[0025] 描述用于操作头戴式显示器（HMD)的屏幕的系统和方法。执行在HMD的屏幕上呈 现图像的程序。所述图像通过使用光学设置来呈现，所述光学设置限定图像被呈现的大小 和所处的距离。寻求并接收针对所呈现图像的清晰层次反馈。基于所述清晰层次反馈，屏 幕的光学设置自动地进行调整。调整过的光学设置提供用户所寻求的清晰层次。在一些实 施方案中，光学设置调整补偿用户的视觉中的任何光学特性缺陷。所述实施方案提供调整 在屏幕上呈现的图像的分辨率的方式，使得当用户使用HMD用于任何交互游戏或程序时， 用户可清楚地看见所呈现的任何图像。
[0026] 在一些实施方案中，用户的光学设置存储在用户配置文件中，使得当用户在下次 使用HMD时，所述屏幕自动地调整到用户的首选设置而无需来自用户的任何手动调整。在 一些实施方案中，用户的用于屏幕的首选设置可以存储在用户配置文件中，且在每次用户 使用HMD时被检索。可以使用生物识别身份来识别用户，并用于从用户的用户配置文件来 检索用于屏幕的首选设置。当一个以上的用户使用HMD时，可以使用每一用户的用户配置 文件来提供相应用户的首选设置。所述实施方案还提供用于用户在不必耗损矫正/处方眼 镜或隐形眼镜的情况下来享受交互游戏或交互程序的方式。
[0027] 应注意，本公开中描述的各种实施方案可以在没有这些具体细节中的一些或全部 的情况下实践。在其他情况下，没有详细描述众所周知的处理操作，以避免不必要地混淆本 公开中描述的各种实施方案。
[0028] 在一个实施方案中，系统包括计算机、手持式控制器（HHC)和头戴式显示器 (HMD)。在各种实施方案中，计算机可以是通用计算机、专用计算机、游戏控制台、移动电话、 平板装置或执行呈现在显示器上的交互程序的一个或多个部分的其他此类装置。交互程序 可以是由多个用户玩的多用户游戏程序或由用户与计算机一起玩的单用户游戏程序。在这 些实施方案中，在游戏云端系统（例如，一个或多个虚拟机（VM))上执行交互程序的任何其 余部分。在一些实施方案中，在游戏云端系统上执行交互程序的所有部分。
[0029] HMD是戴在用户头上或作为头戴式的部分的显示装置，其具有位于用户的一只眼 睛或每只眼睛前方的小型显示光学器件。在一些实施方案中，HMD能够接收并呈现来自计 算机的音频和视频输出。用户操作手持式控制器（HHC)和/或HMD以产生被提供到交互程 序的一个或多个输入。在各种实施方案中，HHC和/或HMD与计算机无线通信，因为这种无 线通信与有线连接相比而言提供了HHC和/或HMD的更大移动自由。HHC可包括用于提供 输入到交互程序的各种特征中的任一者，例如具有按钮的控制器、具有惯性传感器的控制 器、具有可跟踪LED光的控制器、具有触摸屏的控制器、操纵杆、方向键、触发器、触摸板、触 摸屏，或检测手势、语音输入的其他类型的输入机构等。
[0030] 此外，HHC可以是运动控制器，其使用户能够与交互程序对接并且通过使所述控制 器移动来向交互程序提供输入。类似地，HMD可包括用户输入电路，其使用户能够与交互程 序对接并且通过使HMD移动来向交互程序提供输入。可使用各种技术来检测运动控制器和 /或HMD的位置和移动。例如，运动控制器和/或HMD的用户输入电路可包括各种类型的 惯性传感器电路，如加速度计、回转仪和磁力计。在一些实施方案中，运动控制器可包括全 球定位系统（GPS)、指南针等。在一些实施方案中，加速度计是6轴低延时加速度计。在一 些实施方案中，运动控制器和/或用户输入电路可包括一个或多个固定参考对象（或者称 为"标记元件"），例如，发光二极管（LED)、着色点、光反射体等。固定参考对象的图像由系 统的一个或多个数码摄像机捕捉。在一些实施方案中，数码摄像机包括视频摄像机，所述视 频摄像机还包括单个电荷耦合装置（CCD)、LED指示器和基于硬件的实时数据压缩与编码 设备，以便可用适当格式（如基于帧内图像的运动图片专家组（MPEG)标准格式）传输压缩 后的视频数据。于是，可通过分析由一个或多个数码摄像机捕获的图像来确定运动控制器 和/或HMD的位置和移动。
[0031] 图1是系统100的例示性配置的实施方案。在一个实施方案中，系统包括程序云 端（例如游戏云端102)、HMD104和通过互联网110通信的HHC106。在一个实施方案中， HMD104包括与互联网110通信的路由器152。在一些实施方案中，游戏云端102在本文被 引用为游戏云端系统。用户108按照用户108戴上头戴式的类似方式来将HMD104放在他 /她的眼睛前方。用户108将HHC106握在他/她的手中。
[0032] 在各种实施方案中，使用用户108的手而不是HHC106来向HMD104提供示意动 作，例如手势、手指示意动作等。在一些实施方案中，HHC可以是具有传感器的交互手套，以 在由用户佩戴时响应于交互示意动作/动作而提供触觉反馈。所述交互手套可包括标记元 件（如LED、光反射体等），以允许检测各种移动。HHC并不限于交互手套，而是可包括其他 可穿戴对象（如衣服、帽子、鞋子等），所述可穿戴对象具有用于提供触觉反馈的内置传感 器和用以允许检测各种移动的标记元件。HMD104的数码摄像机101捕捉示意动作的图像， 且HMD104内的处理器分析所述示意动作以确定在HMD104内显示的游戏是否受到影响。 在一个实施方案中，摄像机101是位于HMD104的面板上面向前的外部数码摄像机。在一 些实施方案中，可在HMD104的面板上提供一个以上外部数码摄像机以捕捉不同角度的真 实世界图像。在一些实施方案中，摄像机可以是立体摄像机、IR摄像机、单镜头摄像机等。 如本文所使用，处理器可以是微处理器、可编程逻辑装置、专用集成电路或其组合。
[0033] 系统100包括网络（如互联网）110,其可以是局域网（LAN)、广域网（WAN)或其组 合。网络110的实例包括互联网、内联网或其组合。在一些实施方案中，网络110使用传输 控制协议（TCP) /互联网协议（IP)在游戏云端102与HMD104或HHC106之间通过网络 110传达媒体数据。在各种实施方案中，网络使用以太网和TCP/IP协议的组合在游戏云端 102与HMD104或HHC106之间通过网络110传达媒体数据。
[0034] 游戏云端或程序云端102包括用于使用有损压缩或无损压缩等来译码/解码媒体 数据的译码器/解码器，以及用于存储在执行程序117时产生的媒体数据流的流缓冲器。在 一些实施方案中，程序117是游戏程序。在其他实施方案中，程序117是交互应用程序。媒 体数据包括虚拟环境数据、虚拟游戏对象数据、其组合等。使用虚拟环境数据来产生游戏或 交互程序的虚拟环境，且使用虚拟游戏对象数据来产生一个或多个虚拟对象或虚拟游戏对 象，例如，虚拟游戏角色、用于呈现在虚拟游戏的游戏场景内的虚拟游戏对象、虚拟点、虚拟 奖金、游戏界面等。
[0035] 使用HMD104来存取由HMD104的处理器执行的操作系统（0S)。类似地，可使用 HHC106来存取由HHC106的处理器执行的0S。在一些实施方案中，0S允许HMD104经由 路由器152直接访问网络110。路由器152使用网络110来与游戏云端交互以交换游戏或 程序数据。在这些实施方案中，网络110与HMD104之间的通信遵循无线通信协议。类似 地，HHC106通过使用网络访问应用程序来选择网络而能够访问网络110,且HHC106与网 络之间的通信遵循无线通信协议。一旦网络110被访问，0S允许HMD104按照类似于选择 网络的方式来访问游戏程序117,如选择程序/游戏访问应用程序且请求访问所述游戏程 序/程序117。在一些实施方案中，HMD104的显示屏幕是高性能屏幕，以便在HMD104快 速移动时减少模糊。用户108执行一个或多个头部和/或眼球运动，例如，头部倾斜、眨眼、 左右转动眼球、注视、凝视等，且每一头部或眼球运动触发所述用户输入电路以产生可被用 以提供对游戏程序的输入的输入。在这些实施方案中，游戏程序117在游戏云端102上执 行，且游戏程序117与HMD104之间的通信是通过路由器152和网络110