用于近眼显示器的显示更新时间缩减的制作方法
【专利说明】用于近眼显示器的显示更新时间缩减
[0001]背景
[0002]近眼显示器(NED)设备(诸如头戴式显示器(HMD)设备)可由用户佩戴以用于扩增现实(AR)体验或虚拟现实(VR)体验。许多因素可以影响NED用户的令人满意的用户体验，但用户不得不等待能被察觉的时间段以使图像数据被更新以反映对用户动作的响应、较差的图像质量、或较低的电池寿命是不令人满意的用户体验的典型因素。解决消费者产品的例如这些典型因素的因素(这意味着要佩戴舒适)还需要考虑实际因素，例如空间、重量、功率和成本(SWaP-C)。
[0003]概述
[0004]本发明的技术提供了一种用于缩减NED设备的显示更新时间的方法的一个或多个实施例。本方法的一实施例包括，标识近眼显示器设备的显示器视野中从聚焦点到要在显示器视野中显示的图像数据的距离向量。基于离聚焦点的距离向量和低感知准则，通信地耦合至NED设备的一种计算机系统确定要被显示的图像数据中的至少一些是否有资格成为不满足低感知准则的无损优先级数据。该方法实施例进一步包括，基于离聚焦点的距离向量，通信地耦合至NED设备的计算机系统确定要被显示的图像数据中的至少一些是否有资格成为满足低感知准则的允许损失数据。响应于图像数据中的至少一些有资格成为允许损失数据，计算机系统使用允许有损传输的一个或多个通信技术来向NED设备传送该允许损失数据。响应于图像数据中的至少一些有资格成为无损优先级数据，由计算机系统使用满足无损传输准则的一个或多个通信技术来向NED设备传送该无损优先级数据。
[0005]本发明的技术提供了一种用于缩减近眼显示器(NED)设备的显示更新时间的一个或多个实施例。该方法的一实施例包括，从通信地耦合的计算机系统接收用户图像数据，以及在正被接收的图像数据内标识用户聚焦区域图像数据以供在NED设备的显示器视野中的用户聚焦区域中显示。用户聚焦区域图像数据使用用于满足无损传输准则的一个或多个通信技术来检索。在正被接收的图像数据内标识供显示在用户聚焦区域以外的至少一些次要图像数据，并且该至少一些次要图像数据使用允许有损传输的一个或多个通信技术来检索。用户聚焦区域图像数据和至少一些次要图像数据在NED设备的显示器视野中显示。
[0006]本发明的技术提供了一种近眼显示器(NED)设备系统的一个或多个实施例。NED设备系统的一实施例包括近眼显示器设备，其包括近眼支撑结构以及由近眼支撑结构支撑并且具有显示器视野的近眼显示器(NED)。NED系统进一步包括由近眼支撑结构支撑的图像生成单元，该图像生成单元输出光学耦合至近眼显示器(NED)的图像数据。该实施例进一步包括通信地耦合至图像生成单元的用于控制图像数据的显示的一个或多个处理器。该一个或多个处理器基于NED设备系统正执行的一个或多个应用来标识用户聚焦区域图像数据以供显示在用户聚焦区域内，并且标识次要图像数据以供显示在用户聚焦区域以外。第一通信模块通信地耦合至该一个或多个处理器并且通过通信介质通信地耦合至计算机系统。该通信模块使用用于满足无损传输准则的一个或多个通信技术从计算机系统检索用户聚焦区域图像数据。该通信模块使用允许有损传输的一个或多个通信技术从计算机系统检索至少一些次要图像数据。
[0007]提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0008]附图简述
[0009]图1A是描绘近眼显示器(NED)设备系统的一个实施例的示例组件的框图。
[0010]图1B是使用NED设备与伴随处理模块之间的无线通信的NED设备系统的另一实施例的框图。
[0011]图1C是描绘NED设备系统的另一实施例的示例组件的框图。
[0012]图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。
[0013]图2B是NED设备的实施例的显示光学系统的一实施例的俯视图。
[0014]图2C是可用于接收NED系统的数据或传送另一计算机系统给NED系统的数据的通信模块的一实施例的框图。
[0015]图3A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。
[0016]图3B是从NED设备系统的接收方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。
[0017]图4A解说虚拟对象在佩戴显示器设备2的用户周围的空间的三维(3D)映射中的3D空间位置的示例。
[0018]图4B解说显示器视野的示例，该显示器视野的示例包括正由NED设备基于位置在用户聚焦区域内还是在用户聚焦区域外而显示为具有不同图像分辨率的虚拟直升机的示例。
[0019]图4C解说直升机示例的另一版本，其中一姿势指示NED视野中的聚焦点。
[0020]图5是从用于由近眼显示器设备显示图像数据的软件角度的一系统的一实施例的框图。
[0021]图6是一种用于标识用于在近眼显示器(NED)的显示器视野中显示图像数据的区域的方法的一实施例的流程图。
[0022]图7是一种用于确定显示器视野中的次要区域以及与其相关联的图像分辨率的方法的另一实施例的流程图。
[0023]图8A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的另一实施例的流程图。
[0024]图8B是从NED设备系统的接收方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的另一实施例的流程图。
[0025]图9A是使用不同水平的错误纠正的过程示例的流程图。
[0026]图9B是解说图9A中的通信技术的一些实现示例的流程图。
[0027]图9C是解说可在从收到图像数据中检索无损优先级图像数据和允许损失图像数据中使用的通信技术的一些其他示例的流程图。
[0028]图9D是解说用于从收到图像数据中检索允许损失图像数据的通信技术的另一示例的流程图。
[0029]图10A是使用在传输质量方面可变的调制技术来传送图像数据的过程示例的流程图。
[0030]图10B是解说作为星座编码方案的调制通信技术的一些实现示例的流程图。
[0031]图10C是解说基于要被传送和接收的图像数据的优先级来协商作为通信技术的通信信道的流程图。
[0032]图11是可用于实现网络可访问的计算系统、近眼显示器设备的伴随处理模块或控制电路系统的计算系统的一个实施例的框图。
[0033]详细描述
[0034]近眼显示器(NED)设备的一个示例是头戴式显示器(HMD)。NED设备可用于用现实对象来显示视野中虚拟对象的图像数据以提供扩增现实体验或混合现实体验。在虚拟现实系统中，NED可以独立于现实世界关系来显示计算机控制的图像。在另一示例中，近眼显示器可在用于类似红外成像设备的增强视域的应用中使用，例如，夜视设备。为了使这些体验保持逼真，显示器随着用户聚焦点在显示器的显示器视野中的改变以及图像数据基于正在执行的应用的改变而实时地更新。可以基于自然用户输入数据(诸如NED系统的自然用户输入系统所生成的眼球跟踪数据或姿势数据中标识的指向姿势)来标识显示器视野中聚焦点周围的用户聚焦区域。在其他示例中，因为佩戴NED设备的用户可能往近眼显示器的视野中的经更新图像数据处看，所以可以基于在正在执行的应用的基础上标识图像数据的显示位置来预测用户聚焦区域。
[0035]图像数据可以是诸如视频之类的移动图像数据以及静止图像数据。图像数据也可以是三维的。3D图像的示例是全息图。图像数据包括可以用多边形网格或作为边缘数据来表示的结构数据。另外，图像数据包括色彩数据，色彩数据包括色度或色彩饱和度数据以及亮度数据。在每一种类别的图像数据中，位被排定优先级。例如，较高优先级的位以文字格式被存储在预定数目的最高有效位(MSB)中，而较低优先级的位可以被存储在预定数目的最低有效位(LSB)中。色彩的MSB位文字可以表示基色(诸如绿色)，而LSB位表示在绿色族中对绿色进行区分的更多饱和度值。随着数据从显示器视野中的聚焦点移动(例如，用户移动头部或图像基于应用的逻辑而改变)，由LSB表示的绿色之间的细微性在人眼上不再是可分辨的或者处于非常小的量，因为绿色受体已经离开远离小凹。因而，不表示较低优先级的色彩位不会严重削弱用户体验。
[0036]类似地，表示基础结构(例如骨架)的结构数据可以作为高优先级数据来对待，而各层的细节可以用逐渐降低的优先级在存储器中的位结构中表示，因为各个层构建在基础结构上。亮度数据也可以从文字的MSB用在优先级上降序的位来存储。随着离聚焦点的距离增加，传送图像数据的计算机系统可以将距离与针对传输可以被丢弃的较低优先级位的数目(例如，LSB的数目)进行相关。
[0037]除了 MSB到LSB之外还可以使用存储内容的其他预定模式来指示不同类型的图像数据的优先级。另外，可能存在关于基于离聚焦点的距离有多少图像数据能够使用允许有损传输的通信技术来传输的预定限度。还期望图像质量的逐渐降低，但同时图像质量(例如分辨率)保持在人眼的分辨能力之上。当数据从用户聚焦区域移动时数据突然出现或消失背离了自然视域体验并且减损用户体验。
[0038]下文描述了利用人眼分辨率以及针对无损和有损传输关于图像数据的位置相对于聚焦点来对图像数据排定优先级的优点的技术的各实施例。另外，一些实施例针对用户聚焦区域内的图像数据以及用户聚焦区域以外的图像数据使用不同的分辨率水平。
[0039]传输中的丢失数据描述了从未抵达所以作为丢失的数据或者在途中被破坏从而不是所传送的数据的数据。由于在通信中可能一直存在某种极小的错误，因此无损传输准则被描述为所有所传送的数据在接收机处被准确地检测到的高概率，例如，取决于系统的预定准则为>99%或99.999999%。表达无损传输准则的另一种方式是误比特率。在一些示例中，所存储的无损传输准则可以标识满足总误比特率的通信特性和通信技术的不同组合。此类准则的一些示例是通信介质的类型、有线或无线、传输射程、噪声水平范围、以及与可用类型的纠错技术相关联的纠错率、以及与一个或多个可用调制技术相关联的一个或多个错误率。改变一种类型的准则可以改变构成无损传输准则的其他类型的准则的准则值。通过不满足无损传输准则来允许有损传输可能不会导致丢失数据，但丢失数据的概率可能是不可接受的，例如，针对用户正聚焦于的高优先级数据，在接收机处准确检测到80%的数据。
[0040]图1A是描绘近眼显示器(NED)设备系统的一个实施例的示例组件的框图。在所解说的实施例中，该系统包括作为头戴式显示器(HMD)设备2并且经由线缆6通信地耦合至被标识为伴随处理模块4的另一计算机系统的近眼显示器(NED)设备。在许多实施例中，伴随处理模块4能够建立与NED设备上的通信模块的直接一对一通信链路。该链路可以是短程的，例如，在不到十英尺之内。直接链路不依赖于中间通信传输点，诸如网络路由器或蜂窝站。直接链路的一个示例是空中无线通信介质上的有线或无线直接链路，如红外链路。除了直接通信链路，NED设备2和伴随处理模块4还经由如其他联网设备的网络协议来通信。在许多实施例中，伴随处理模块4可以被用户佩戴或持有，伴随处理模块4的一些示例是基于腕部的模块或例如智能电话或平板之类的移动设备。伴随处理模块在用户佩戴NED显示器时伴随他或她，并且可以提供辅助服务，例如，充当NED设备的辅助用户输入设备。
[0041]图1B是使用NED设备2与伴随处理模块4之间的无线通信的NED设备系统的另一实施例的框图。图1C是描绘没有伴随处理模块4的NED设备系统的另一实施例的示例组件的框图，其中NED设备系统8被合并到近眼显示器设备2上。
[0042]在这些实施例中，NED设备2采用框架115眼镜的形状，其中相应的显示器光学系统14位于NED设备的前部以在NED被用户佩戴时由每一只眼睛透视。在这一实施例中，每一显示器光学系统14使用投影显示器，其中图像数据被投影到用户眼睛中以生成图像数据的显示，从而使得该图像数据对于用户而言看上去位于用户前方的三维视野中的一位置处。例如，用户可能正在他的起居室中以光学透视模式玩击倒敌人直升机的游戏。直升机的图像对于用户而言看上去正飞过他起居室中的椅子的上方，但不在透镜116和118之间，因为用户无法聚焦于离人类眼睛如此之近的图像数据上。生成图像的显示器与看到该图像的位置分开。每个显示器光学系统14也被称为示器，并且两个显示器光学系统14 一起也可以被称为显示器。
[0043]在一些实施例中，显示器可以正在虚拟现实(VR)上下文中显示图像数据。例如，图像数据是从佩戴者的现实世界环境独立移动的人和物的图像数据，并且来自用户的现实世界环境的光照被显示器(例如，经由不透明滤光器)阻挡。在其他实施例中，显示器可用于扩增现实(AR)。使用近眼、AR显示器的用户实时地看见用现实对象显示的虚拟对象。具体来说，佩戴光学透视扩增现实显示器设备的用户实际上用他或她的自然视力看到透视显示器的显示器视野中的未被虚拟对象或虚拟效果的图像数据遮挡的现实对象，由此名为透视显示器和光学透视显示器。对于诸如视频观看显示器(有时称为视频透视显示器)或以视频观看模式操作的显示器之类的其他类型的扩增现实显示器，该显示器不是真正地透视的，因为用户用他自然视力看不见现实对象，而是看见现实对象用自然视力看见的那样的所显示的未被遮挡的现实对象的图像数据以及虚拟对象和虚拟效果的图像数据。下面对透视显示器的参考是参考光学透视显示器的。
[0044]在这些实施例中，框架115提供方便的眼镜框架作为用于将NED设备2的各元件保持在原位的近眼支撑结构以及用于电连接的管道。近眼支撑结构的一些其他示例是护目镜框架或护眼镜支撑。框架115包括具有用于记录声音并向控制电路136传送音频数据的话筒110的鼻梁架104。框架的镜腿或侧臂102抵靠在用户的每个耳朵上，并且在该示例中，右侧臂102r被解说为包括用于NED设备2的控制电路系统136。
[0045]伴随处理模块4可以采取各种实施例。在一些实施例中，伴随处理模块4采用可被佩戴在用户的身体(例如手腕)上的便携式形式，或者是如移动设备(例如，智能电话、平板、膝上型计算机)之类的单独便携式计算机系统。如图1A和1B中所解说的，伴随处理模块4可以通过一个或多个通信网络50有线地或无线地(例如WiF1、蓝牙、红外、红外个域网、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其他无线通信手段)与一个或多个网络可访问的计算机系统12 (无论是位于附近还是远程位置)、处于某个位置或环境中的其他近眼显示器设备系统8 (例如作为对等通信的一部分)、以及该环境中的一个或多个3D图像捕捉设备20 (如果可用的话)进行通信。在其他实施例中，伴随处理模块4的功能可被集成在显示器设备2的软件和硬件组件中(参见图1C)。图11中示出伴随处理模块4的硬件组件的一些示例。
[0046]可以充分利用一个或多个网络可访问计算机系统12来处理电力和远程数据访问。图11示出了计算机系统12的硬件组件的示例。组件的复杂性和数目可以因计算机系统12和伴随处理模块4的不同实施例而显著