用于传输图像至头戴式显示器系统的系统和方法与流程

本公开的发明性概念总地涉及头戴式显示器系统领域，更具体地，本公开的发明性概念涉及利用远离头戴式显示器系统定位的处理电路处理并传送图像用于在头戴式显示器系统上显示。

背景技术：

头戴式显示器系统可由交通工具(例如，飞行器)的驾驶员用于显示关于交通工具的操作的信息。例如，飞行员用头戴式显示器(如，安装在飞行员所戴头盔上的显示器)可通过重叠图像或信号扩大飞行员的视野，从而在飞行员看向飞机窗外时帮助其识别目标或位置。在某些实例中，投射到显示器上的图像可动态连接到飞行员的方位(orientation)上(如，飞行员的头部方位或者眼睛方位)。换言之，飞行员可以聚焦于显示器上与外部目标相对应的特定部分，同时，可以调节显示器上的图像以突出目标和目标周围的区域，但所显示的图像不需要动态链接到个体方位上。

头戴式显示器系统可以从位于飞行器上的电路接收图像，例如，从一个或多个传感器和/或视觉系统如视觉增强系统(“evs”)、合成视觉系统(“svs”)或综合视觉系统(“cvs”)接收图像。图像可被处理并传送至头戴式显示器系统，然后渲染在头戴式显示器系统的显示器上。然而，目前的头戴式显示器系统需要高分辨率的图像以提供给驾驶员充分的细节。例如，目前的头戴式显示器上的图像随着驾驶员操作过程中头部或眼睛的移动可频繁刷新，由此这需要高水平的频带宽度以在头戴式显示器屏幕上足够显示图像。进一步，现有的头戴式显示器系统通常在头戴式显示器系统的整个显示器中显示高分辨率的显示图像，由此需要向头戴式显示器系统频繁传送相对大的图像。

技术实现要素：

一方面，本文公开的发明性概念针对方法，所述方法包括由头戴式显示器系统的处理电路从一个或多个传感器接收图像，所述一个或多个传感器配置成捕获飞行器周围环境的细节。所述方法进一步包括由所述处理电路接收所述头戴式显示器的使用者的当前注视。所述方法进一步包括由所述处理电路处理所述图像。所述处理包括识别所述图像的一个或多个属性。所述方法进一步包括由所述处理电路识别所述图像的至少两层。所述至少两层中的至少一层具有与另一层不同的分辨率。所述方法进一步包括由所述处理电路基于使用者的当前注视和一个或多个属性确定所述至少两层中的每一层的优先级。所述方法进一步包括基于所确定的所述层的优先级由头戴式显示器系统的输出电路传送所述至少两层中的一层或多层至所述头戴式显示器。

另一方面，本文公开的发明性概念针对用于头戴式显示器的图像传输系统。所述系统包括输入模块、图像处理模块、优先级模块、输出模块和处理器。所述输入模块耦连至所述处理器，并配置成使得所述处理器接收头戴式显示器使用者的当前注视和来自于一个或多个传感器的图像，所述一个或多个传感器配置成捕获飞行器周围环境的细节。所述图像处理模块耦连至所述处理器，并配置成使得所述处理器处理所述图像。处理所述图像包括识别所述图像的一个或多个属性和识别所述图像的至少两层。所述至少两层中的至少一层具有与另一层不同的分辨率。所述优先级模块耦连至所述处理器，并配置成使得所述处理器基于所述使用者的当前注视和一个或多个属性确定所述至少两层中的每一层的优先级。所述输出模块耦连至所述处理器，并配置成使得所述处理器基于所确定的所述层的优先级传送所述至少两层中的一层或多层至所述头戴式显示器。所述输入模块、处理器、图像处理模块、优先级模块和输出模块的每一个都远离头戴式显示器。

另一方面，本文公开的发明性概念针对系统。所述系统包括视觉系统和图像传输系统。所述视觉系统配置成生成飞行器周围环境的图像。所述视觉系统从所述飞行器的多个传感器接收输入。所述图像传输系统配置成处理由所述视觉系统生成的图像，以识别所述图像的一个或多个属性。所述图像传输系统进一步可配置成识别所述图像的至少两层。所述至少两层中的至少一层具有与另一层不同的分辨率。所述图像传输系统进一步配置成基于所述使用者的当前注视和一个或多个属性确定所述至少两层中的每一层的优先级。所述图像传输系统进一步配置成基于所确定的所述层的优先级传送所述至少两层中的一层或多层至头戴式显示器。

附图说明

当考虑给定到下面的详细描述时，本文公开的发明性概念的实现方式可以更好地被理解。该描述参考所包括的附图(其不一定按比例而画)，并且为了清楚起见，描述中的一些特征可以被夸大和一些特征可以省略或被示意性表示。附图中相同的编号可表示并指代相同或相似的元件、特征或功能。在附图中：

图1是根据本文公开的发明性概念的、具有驾驶员占用的座舱的飞行器鼻翼部分的示例性实施例的示意图，所述驾驶员佩戴有头戴式显示器；

图2是驾驶员通过图1中的头戴式显示器的示例性视角；

图3是配置成生成图1中头戴式显示器的显示的图像传输系统的示例性实施例的框图；以及

图4根据本文公开的发明性概念的、用于生成头戴式显示器上的显示的过程的示例性实施例的流程图。

具体实施方式

在详细解释本公开的发明性概念的至少一个实施例之前，应当理解的是，本发明性概念不限于其应用在接下来的描述中详细阐述的或附图中例示的构造的细节和组件的布置或者步骤或者方法上。在下面当前发明性概念的实施例的详细描述中，阐述了大量具体的细节以便提供对本发明性概念更为彻底的理解。然而，对于具有本公开的益处的本领域技术人员而言显而易见的是，本文公开的发明性概念可以无需这些具体细节而得以实践。在其他的例子中，为了避免不必要地复杂化本公开，公知的特征可不详细描述。因而，本文公开的的发明性概念能够以多种方式被实践或实行为其他实施例。同样，应当予以理解的是，这里所使用的措辞和术语仅是为了说明的目的，且不应视为限制。

如本文所使用的，跟随编号的字母意图使特征或元件(其可以是相似的，但不必是相同的)的实施例引用以前描述的采用相同编号(如，1，1a，1b)的元件或特征。这样简化的符号仅为了便利的目的而使用，而不应解释为以任何方式限制本文公开的发明性概念，除非有明确的相反陈述。

更进一步，除非有明确的相反表述，“或”是指包括或以及非不包括或。例如，由如下描述中的任意一个满足条件a或b：a是正确(或存在)，且b是错误(或不存在)；a是错误(或不存在)，且b是正确(或存在)；以及a和b均正确(或存在)。。

此外，使用“一个”或“一”用于描述本发明性概念的实施例的元件或组件。这样做仅仅是为了描述的便利和给出本发明性概念的一般观念，且“一个”和“一”意图包括一个或至少一个，单数也包括复数，除非其明确表明有其他情况。

最后，如这里采用的，“一个实施例”或“一些实施例”意味着结合实施例描述的特定的元件、特征、结构或者特点被包括在本文公开的发明性概念的至少一个实施例中。在说明书中不同地方出现的短语“在一些实施例中”的表现不必所有都涉及相同的实施例，并且所公开的发明性概念的实施例可包括明确描述的或本发明固有的一个或多个特征，或两个或更多特征的任意组合或子组合，以及在本公开中不必明确描述的或本发明固有的任何其他特征。

广泛地，本公开的发明性概念的实施例针对用于提供图像以在头戴式显示器系统上显示的系统和方法。本文公开的发明性概念可用在许多控制系统中用于多种不同类型的应用、传感系统和显示系统。虽然本公开描述了可适用于飞行器的飞行员的头戴式显示器实现的系统和方法，但本文公开的发明性概念可用于任何类型的环境(如其他飞行器，航天器，地面交通工具，或非交通工具应用如地面显示系统，飞机事故控制系统，雷达系统，虚拟显示系统等)。虽然本文公开的发明性概念的某些示例和实施例是关于飞行器的飞行员进行描述的，但应理解的是，除飞行员以外的关于其他交通工具或对象的使用者也可使用和受益于本文公开的发明性概念。

总地参考附图，在此示出和描述了根据本文公开的发明性概念的、用于提供图像以在头戴式显示器系统上显示的系统和方法。飞行器或其他交通工具的飞行员或操作人员可以使用头戴式显示器系统(如安装于飞行员头盔上)接收关于飞行器操作的信息(如通过在飞行员视野中显示图像和标志)。所述显示可以基于飞行员的注视(如，基于飞行员头部、眼部或身体部分的方位)和飞机当前的状态进行动态地更新。然而，如上所述，不断地传送要在头戴式显示器系统上显示的细节图像是一种挑战。

在一些实施例中，本文描述的系统和方法被配置成通过第一识别和传送将对使用者最为感知敏感的图像来传送图像至头戴式显示器系统。例如，图像传输系统可接收来自于一个或多个传感器和一个或多个视觉系统(如，evs、svs或cvs)的输入。该输入可涉及将显示在头戴式显示器上的真实的或生成的图像。图像传输系统首先传送低分辨率图像用于显示，然后传送一个或多个更高分辨率的图像或层。图像传输系统可识别与使用者最相关的输入部分，生成此最相关输入部分的细节图像，以及传送这些部分首先至头戴式显示器系统。例如，图像传输系统可识别显示器上的感兴趣区(如，飞行员视野中的显示部分，和飞行员外围视图(peripheralview)的显示部分)。然后，图像传输系统可为飞行员视野传输细节图像，接着在稍后的时间里在飞行员外围视图跟随额外图像。在传输任何额外信息之前为飞行员视野传输细节图像可使图像传输系统能够快速传输最相关图像至飞行员，而稍后传输更小关键的图像，从而减小传送与飞行员相关图像所需的频带宽度。在各种不同的实施例中，如本文所描述的，图像传输系统可将输入图像分解为多层，其中至少一层或者每一层有不同的分辨率。图像传输系统可以将这些层排列优先级，用于传送至头戴式显示器，从而使头戴式显示器能够接收高分辨率图像以显示在最重要的区域。在一些实施例中，显示屏上最重要区域(如，显示屏的中心区域)也较显示屏上其他区域(如，显示屏的外围区域)更新更频繁。

飞行员通常对头戴式显示器显示的低空间频率和低时间频率的变化(如，飞行员直接视野外部的变化)不敏感。基于这个效应，本文公开的发明性概念可用来传输新的或更新的图像至显示器。最初忽略低空间频率亮度和新的或更新的图像的颜色信息，而优先化高空间频率边界并将其传送至显示器(如，实时地)。高空间频谱可叠加到显示于显示器上的旧的低空间频谱，从而提供最新的频谱的效果于显示器上。随着时间的过去，中、低空间频谱传送至显示器以提供图像的进一步细节。

参看图1，示出了根据本文公开的发明性概念的、具有飞行员104占据的座舱102的飞行器100的鼻翼部分的示意图，所述飞行员佩戴有头戴式显示器106。飞行员104使用头戴式显示器106接收和观察与飞行器100的操作相关的信息。头戴式显示器106接收来自图像传输系统108的信息，此图像传输系统108位于远离头戴式显示器106处。此图像传输系统108可以是位于飞行器100内部的系统，其配置为接收来自于飞行器100的一个或多个传感器或视觉系统的输入。图像传输系统108可处理输入和提供给头戴式显示器106图像(如，图像、符号和其他显示信息或特征)，如参考图3和图4所描述的。头戴式显示器106可配置为提供任何类型格式的图像。头戴式显示器106可配置为提供二维或三维图像。使用头戴式显示器106类型的显示没有限制。

头戴式显示器106可以接收由图像处理电路处理过的图像，此图像处理电路位于远离头戴式显示器106处。此图像处理电路可以从飞行器100上的传感器和视觉系统接收输入。例如，在一些实施例中，图像传输系统108接收来自飞行器100上的传感器的输入，并在将经处理的图像通信至头戴式显示器106之前处理这些输入。在一些实施例中，在图像输入远离头戴式显示器106被处理(例如，在图像传输系统108处)且然后被传输至头戴式显示器106而不是用头戴式显示器106自身上的设备处理图像输入时，头戴式显示器106需要较少的部件以显示图像。这样的布置最小化了头戴式显示器106所需的硬件部件，同时也可进一步减少操作头戴式显示器106所需的电力和计算功率。在一些实施例中，头戴式显示器106可配置为接收来自于图像传输系统108的图像，以及在显示器上渲染图像而不对图像做进一步的处理，然而在其他实施例中头戴式显示器可配置为在显示图像之前对所接收的图像进行进一步处理。

参看图2，示出了根据本文公开的发明性概念的、飞行员104透过头戴式显示器106的示例性视野120的透视图。头戴式显示器106的显示屏可以是全透明或半透明的，以使飞行员104能观看场景以及显示信息。在一个实施例中，显示信息包括参考屏图像122。例如，参考屏图像122可以包括与飞行器的位置、速度、高度和前行方向相关的信息、天气信息或任何显示在显示屏固定位置上的其他信息。显示信息可以包括飞行器参考图像124(如，武器系统的目标指示器，其指示目标126相对飞行器100的位置)。显示信息还可以包括地面参考图像128(如，基于地面上对象的已知位置的所感兴趣的对象，如跑道130)。

参看图3，示出了根据本文公开的发明性概念的、图像传输系统108的示例性实施例的框图。图像传输系统108包括处理电路202和接口250。处理电路202包括处理电路或处理器204和存储器206。存储器206包括飞行员注视模块212、图像处理模块214、优先级模块216、输出模块218和输入模块210。接口250配置为与传感器230和视觉系统240(如，evs/svs/cvs)进行通信。

如上所述，图像传输系统108总地配置为传送要显示在头戴式显示器106上的图像。图像传输系统108接收来自于飞行器100上的一个或多个传感器或视觉系统的输入，从这些输入中识别与飞行员104的视野相关的图像，并传送此相关图像至头戴式显示器106。例如，图像传输系统108可首先传送与飞行员104的视野最相关的高分辨率图像，随后传送其他包含飞行员104外围视图的低分辨率图像。

图像传输系统108配置为接收来自于一个或多个系统的输入，所述系统配置为生成图像用于在头戴式显示器106或飞行器100的另一显示系统上显示。所述图像可与飞行器100的操作相关的飞行器100周围的外部区域(如，图2中示例性显示的区域)相关。图像传输系统108可以接收来自于一个或多个配置成捕获图像的传感器230的输入，也可以接收来自于一个或多个配置成生成图像的视觉系统240(如，evs,cvs,svs)的输入，所述视觉系统使观察者能够识别目标和感兴趣的区域。图像传输系统108可以接收来自于任意用来生成图像的飞行器系统的输入，以输出至头戴式显示器106。图像传输系统108可以包括接口250，其配置为经由有线或无线连接接收来自于多个系统和传感器的输入。虽然生成飞行器100外部区域的图像的过程被描述为发生在传感器230和视觉系统240处，但图像传输系统108可至少部分生成图像。图像传输系统108可配置为组合来自于不同系统的输入以生成代表实际视野、综合视野或组合视野的图像。

一旦图像传输系统108接收到图像，处理器204处理图像，且图像的各部分以有效方式被传送至头戴式显示器106。处理器204可实现为专用处理器、专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)、一组处理组件，或其他合适的电子处理组件。存储器206是一个或多个用来存储数据和计算机代码以完成和促进本公开所描述的不同的用户或客户进程、层和模块的设备(如ram，rom，闪存，硬盘存储)。存储器206可以是或包括易失性存储器或非易失性存储器和可包括数据库组件、目标代码组件、脚本组件或任何其他类型的信息结构，以支持在此公开的发明性概念的不同活动和信息结构。存储器206可通信地连接至处理器204，且包括计算机代码或指令模块以执行在此描述的一个或多个过程。

存储器206包括不同模块，所述模块使处理器204执行在此描述的系统和方法。存储器206包括输入模块210，其配置为使图像传输系统108经由接口250接收来自于不同传感器230和视觉系统240的图像。所述图像可包括飞行器100周围环境的细节。输入模块210可配置为使得图像传输系统108组合、分离和修改所接收的图像以由处理器204处理，如下面将进一步描述的。

飞行员注视模块212配置为使处理器204确定飞行器100中佩戴头戴式显示器106的飞行员104的当前注视。飞行员104的注视可基于飞行员104的眼睛和头部方位的组合。飞行员注视模块212使得处理器204基于飞行员104的注视确定飞行员104的视野和外围视图。例如，飞行员注视模块212使得处理器204基于飞行员眼睛所指的方向确定飞行员104的主视野。飞行员注视模块212可进一步配置为使处理器204确定头戴式显示器106的显示屏的部分，这部分区域与飞行员104的主视野以及接近主视野的区域(如飞行员的外围视图)相对应。例如，飞行员的外围视图可以是飞行员可看见的区域，但这一区域图像的某些细节无法被飞行员104充分确定(如，飞行员眼睛中心辐射大约18到110度之间范围的区域)。头戴式显示器106和其他飞行器系统可以配置为追踪飞行员104和飞行员104的各部分(如飞行员的头、眼睛、脖子、身体)在操作飞行器100过程中的移动，以确定飞行员104的方位和飞行员104眼睛注视的方向。例如，头戴式显示器106可包括配置为确定飞行员104头部方位的陀螺仪。又例如，头戴式显示器106可包括配置为确定飞行员104眼睛方位的眼睛追踪系统。

在一些实施例中，飞行员注视模块212可使得处理器204随时追踪飞行员104的移动。例如，飞行员注视模块212可配置为使得处理器204确定何时飞行员104将他或她的眼睛从头戴式显示器106的第一部分转移至看向显示器的不同的部分。又例如，飞行员注视模块212可以配置为使得处理器204确定飞行员104的头部是否已经从第一位置移动到第二位置。飞行员注视模块212可配置为使得处理器204基于飞行员的注视的变化确定飞行员104的新的或更新的视野和外围视图。处理器204配置为基于如下所述的飞行员注视的变化更新头戴式显示器106显示的图像。

在一些实施例中，存储器206不包括飞行员注视模块212。在这样的实施例中，图像传输系统108可配置成接收飞行员注视信息和来自于飞行器100上其他系统的其他相关信息。图像传输系统108可配置成接收来自于其他飞行器系统的关于飞行员104的注视的信息，所述飞行器系统配置成追踪飞行器100的飞行员104的身体方位或眼部运动。在一些实施例中，图像传输系统108基于头戴式显示器106的基本显示属性给头戴式显示器106提供图像。例如，图像传输系统108可为头戴式显示器106的显示器中心提供更详细的图像，以及为头戴式显示器106的显示器边缘提供较不详细的图像。

图像处理模块214配置成使得处理器204处理由图像传输系统108接收到的图像。图像处理模块214可配置成使得处理器204识别或生成图像的一层或多层以及识别图像的一个或多个属性(如，目标、兴趣点等等)。例如，图像传输系统108接收图像，处理器204处理该图像以准备用于在头戴式显示系统106上显示的图像，以及输出模块218使得处理器204输出图像至头戴式显示系统106。

图像处理模块214配置成使得处理器204生成所接收图像的多层，每一层可能具有与其他层相同的分辨率或不同的分辨率。例如，对于由图像传输系统108接收到的特定图像，图像处理模块214使得处理器204将图像分解为多层，其中每一层具有不同的分辨率。然后，图像传输系统108传送一个或多个层至头戴式显示器106以供显示。在一些实施例中，图像的层被传送，这样低分辨率的层被传送用于在头戴式显示器106上显示以填充(populate)显示器，而仅仅与飞行员视野相对应的一部分高分辨率层被传送。通过在为头戴式显示屏的特定区域传送较高分辨率图像之前首先传送低分辨率图像至头戴式显示器106，可减少传送图像至头戴式显示器106所需要的频带宽度。

图像处理模块214配置成使得处理器204生成在图像传输系统108处接收的图像的多分辨率表示。在不同的实施例中，图像处理模块214使得处理器204生成代表图像的不同特性的任意数量的层。例如，在一些实施例中，处理器204可生成9层(如，层0至层8)。在处理器204生成层之后，图像传输系统108根据时间表传送各层，或者根据基于每层的可视细节的分辨率或等级的模式传送各层。例如，每1毫秒具有最高分辨率的层(如层8)可被传送至头戴式显示器106，而每50毫秒具有最低分辨率的层(如层0)可被传送。相较于包含更少相关细节的更低分辨率图像，图像传输系统108可配置为更频繁地传送包含与飞行员104最相关细节的高分辨率层。输出模块218可配置为使得处理器204确定哪些层需要比其他层更加频繁地刷新以及哪些层可以被更不频繁地传送。在一些实施例中，输出模块218配置成使得图像传输系统108仅传送一部分较高分辨率的层至头戴式显示系统106。在一些实施例中，图像传输系统108基于预先确定的时间表或顺序(即不必基于每层的分辨率逐渐增加或逐渐降低的顺序来传送各层)传送各层。例如，可基于第一层包含飞行器100的巡航飞行阶段期间的最相关信息，将第一层先于第二层传送至头戴式显示器，而在飞行器100处于起飞阶段时将第二层先于第一层传送至头戴式显示器。在一些实施例中，刷新率可与一层或多层相关联，所述刷新率定义一层或多层的更新的图像多久被传送至头戴式显示系统106一次。

在一个实施例中，图像处理模块214使得处理器204在创建层时生成降低取样的图像(如，每一层降低取样两倍)。例如，处理器204可配置成降低采样图像，从而最高分辨率层(如层8)为512*512像素图像，高分辨率层(如层7)为256*256像素图像。在这样的例子中，在传送这些层至头戴式显示器的过程中每一较小的层需要前一层的四分之一频带宽度(如，256*256像素图像需要512*512像素图像的四分之一频带宽度)。在一些实施例中，每一层之间的分辨率差异以固定量或随机量而变化。

图像的每一层可具有不同的特性，描述不同的图像，或以其他各种方式不同。例如，从图像中识别的不同目标或属性的细节可基于每一层分辨率等级的变化而变化。不同形状或目标的细节可随着层的分辨率的增加而增加。例如，可将塔识别为图像中的属性，对于每一层，塔的细节(例如，塔的轮廓，塔的颜色，突出塔的符号)可基于层的分辨率而变化。根据其他的例子，不同的颜色或颜色方案可用于不同的层(如，低分辨率层的灰度或单色方案，高分辨率层的红外配色方案)，不同的标志、图标或标记可用于不同的层(如，用于更详细的层的更详细的图标)，数值(如，由svs生成的)的不同表示可用于图像的不同的层。

图像传输系统108可使用不同的方法和过程来生成具有不同分辨率的多个层。在一个实施例中，当提供图像的低细节区域以较少细节的时候，动态范围最优化显示系统可用于低分辨率图像，其仍提供图像的高细节区域的细节图像，而提供图像的低细节区域的更少细节。例如，对于在图像传输系统108处接收的给定图像，图像可进行多像素点采样以取代相等空间增量的强度。对于具有仅小部分高强度图像和大部分低强度图像的图像，高强度区域和低强度区域不以同一速率取样。高强度区域可进行较高速率取样，从而产生更细节的图像。图像处理模块214可配置成采用动态范围最优化显示系统创建高分辨率图像，而通过相等空间增量强度的取样生成较低分辨率的图像。根据不同的实施例，图像传输系统108可采用任何类型的图像处理方法生成图像的任意给定层。

在一些实施例中，仅有部分较高分辨率层被传送至头戴式显示器106。所传送的部分可以是与飞行员104的视野部分相对应的部分，其提供给飞行员104他或她的视野内的高分辨率图像，而同时提供飞行员104的主视野以外(例如，与飞行员外围视图区域相对应的显示区域)的低分辨率图像给飞行员104。优先级模块216可配置成使得处理器204基于图像的分辨率和飞行员104的当前视野确定传送哪一图像至头戴式显示器106。

在一些实施例中，优先级模块216被配置成使得处理器204识别在图像的其他部分被传送至头戴式显示器106之前首先传送至头戴式显示器106的图像的部分。例如，优先级模块216可配置成使得处理器204基于飞行员104延伸贯穿头戴式显示器106的显示屏中心的注视，识别高分辨率层中要在头戴式显示器106的显示屏中心显示的图像。例如，可在供飞行员104的视野中提供较高分辨率的图像。在一些实施例中，优先级模块配置成使得处理器204识别高分辨率层中的要显示在头戴式显示器106的显示屏中心的图像，而不考虑飞行员注视指向的地方。优先级模块216可使得处理器204基于飞行员104的当前注视确定飞行员104的视野和外围视图。图像在任何其他图像被传送至头戴式显示器106之前首先被传送至头戴式显示器106，这样在与飞行员104的当前注视相对应的显示器区域提供图像给飞行员104。可在显示器的其他区域提供具有较低分辨率的图像以“填满”整个显示器，这样提供给飞行员104用于观察以高分辨率显示的图像的背景。例如，可传送低分辨率层至显示器以用于整个显示屏，而传送高分辨率层至显示器以仅用于与飞行员104的当前注视相对应的部分显示。头戴式显示器106配置成在显示器上接收和渲染层以用于飞行员104观察。

在一些实施例中，优先级模块216使得处理器204识别显示器的中心区域，这个区域是仅基于飞行员104的身体方位最可能看向的区域。例如，如果图像传输系统108不配置成追踪飞行员104的眼睛，处理器204可依赖于飞行员的身体位置来确定飞行员的注视。飞行员的身体方位可基于飞行员104的头部、颈部、躯干或其他身体部分的位置。优先级模块216可进一步配置成使得处理器204确定覆盖飞行员104的可能视野的接近中心区域的范围(如，10°，15°，20°)以在与所确定的范围相对应的一个或多个层中识别高分辨率图像。例如，优先级模块216可以配置成使得处理器204识别显示器中的位置，以及提供给头戴式显示器106接近显示器的区域高分辨率图像。优先级模块216可以配置为使得处理器204基于飞行员104的注视识别飞行员104正在看向的显示器上的区域。例如，处理器204可以基于飞行员104的注视确定接近飞行员视野的中心区域的范围。

在一些实施例中，优先级模块216使得处理器204基于飞行器状态确定将哪个高分辨率图像被传送至头戴式显示器106。例如，如果飞行器100在下降或者着陆过程中，优先级模块216可使得处理器204将与跑道或者着陆带相对应的图像优先排序，并传送该跑道或者着陆带的最高分辨率图像至头戴式显示器106。同样地，如果飞行器起飞，优先级模块216可使得处理器204将对起飞过程关键的图像优先排序，并传送此优先排序的图像至头戴式显示器106。

在一些实施例中，优先级模块216配置成使得处理器基于一个或多个层的刷新率确定将哪一图像传送至头戴式显示器106。例如，一些图像可与刷新率相关联，以及刷新率可指示何时新的或更新后的图像应被传送以取代非当前的图像。在一些实施例中，为了提供给飞行员104精确信息，高分辨率图像比低分辨图图像刷新得更加频繁(如，图像随时间的改变可能在更高分辨率的图像中更显著)。优先级模块216可配置成使得处理器204识别将被传送以刷新飞行员104的视野中当前视野的层的各部分。在一些实施例中，如果图像保持停留在飞行员104的直接视野外一段特定时间，处理器204将允许飞行员104的外围视图中的图像衰退。

输出模块218配置为使图像传输系统108传送图像至头戴式显示器106。在一些实施例中，输出模块218使图像传输系统108经由lifi(光无线通信)传送图像。在一些实施例中，输出电路218使得图像传输系统108经由任何其他无线或有线通信技术传送图像。

在不同的实施例中，处理器204在处理图像用于传送时考虑一个或多个飞行员偏好或飞行器偏好。例如，特定飞行员具有主视眼，处理器204可通过使得图像传输系统108在主视眼视野内传送更细节的图像而考虑主视眼。又例如，飞行员可具有一个或多个已保存或预先载入至图像传输系统108的显示偏好(如，飞行员可更喜欢整个显示器上都是细节图像而不考虑他或她的方向，或者飞行员可更喜欢不看他或她视野以外的细节图像)。飞行员104可输入他们的偏好至图像传输系统108或参与校准过程以使处理器204协助确定飞行员104的显示偏好。再比如，图像传输系统108可配置为随时跟踪飞行员104的行为，并调整所传送图像从而与飞行员104的行为相符合。再比如，航线或飞行器偏好可被保存或预先载入到图像传输系统108中，这可用于调整给飞行员104传送的图像。

现在参看图4，示出了根据本文公开的发明性概念的、用于生成头戴式显示器上的显示的过程400的示例性实施例的流程图。例如，过程400可由图像传输系统108的处理器204执行，且可包括以下步骤的一个或多个。步骤(402)可包括从一个或多个传感器接收图像。一个或多个传感器配置为捕获飞行器周围环境的细节。传感器可包含任意类型的传感器或系统(如，如上所述的evs，svs或cvs)。

步骤(404)可包括接收头戴式显示器使用者的当前注视。例如，步骤404可包括确定头戴式显示器使用者的方位。使用者的方位可以包括使用者身体和头部的位置，其指示使用者的可能视野和注视。使用者的方位可进一步包括使用者眼睛的方位。步骤404可进一步包括确定使用者的精确视野。在其他实施例中，步骤404可不包括任何眼睛追踪活动，使用者的视野可基于使用者头部或身体的方位被预测。在其他实施例中，图像传输系统不接收步骤404中的使用者方位信息，而是可以将头戴式显示器的显示器中心限定在使用者的视野中。

步骤404可进一步包括接收飞行器或飞行器系统的状态，这些状态影响显示在头戴式显示器上的图像的类型。例如，如果飞行器正在起飞或者降落，则显示在头戴式显示器上的图像类型可与飞行器在半夜巡航不同。

步骤(406)可包括处理图像，所述处理包括识别图像的一个或多个属性。例如，处理图像可以包括识别一个或多个目标或兴趣点(如，塔、跑道、靶子或任何其他会影响飞行器操作的外部目标)。又比如，步骤406可包括识别地面和天空，和任何会影响飞行器操作的地面或天空的特征(如，天气状况、其他飞行器)。

步骤(408)可包括识别图像的一个或多个层。每一层具有不同的分辨率。例如，步骤408包括生成(或接收)多个层，其中每一层代表所接收的图像。步骤(410)可包括基于一个或多个属性和使用者的当前注视确定层的和每一层的各部分的优先级。

在一些实施例中，如步骤404所述，使用者的当前注视包括使用者的视野和外围视图。步骤410可包括识别高分辨率层中与使用者的视野相对应的区域。这个区域可在步骤412中被传送至头戴式显示器以提供给显示器细节的图像供使用者观察。低分辨率层也可传送至头戴式显示器以提供在使用者外围视图中的图像。步骤410可包括，通过识别一个或多个较低分辨率层和一个或多个较高分辨率层的一个或多个部分来对这些层进行优先级排序，以传送至显示器，以及识别传送各层至显示器的顺序。在一些实施例中，步骤410包括识别飞行器的飞行阶段(如，着陆、起飞、夜航)和基于飞行阶段排列各层的优先级(如，排列包含着陆过程中的跑道的一部分层的优先级)。

步骤(412)可包括基于所确定的各层的优先级传送一个或多个层至头戴式显示器。例如，传送第一低分辨率层的图像以填充头戴式显示器的整个显示屏。然后，将包括一个或多个较高分辨率图像的一个或多个第二层传送至头戴式显示器。所述一个或多个第二层包括仅在头戴式显示器的一部分上显示的图像。在一个实施例中，较高分辨率图像呈现在显示器中心。在另一个实施例中，较高分辨率图像呈现在显示器中心以外的使用者的视野中。例如，如果处理器402确定图像的特定特征不具有高的优先级，处理器402可使这一特征以低分辨率显示。如果处理器402确定图像的特定特征具有高的优先级，处理器402可使得大部分图像以低分辨率呈现，而使具有高优先级的特征以比剩余图像更高的分辨率呈现。

在某些实施例中，刷新率可与传送至头戴式显示器的一个或多个层相关联。刷新率可指示层被传送至头戴式显示器以更新被显示的图像的频率。步骤412可进一步包括基于每一层的刷新率来传送一个或多个层。

在某些实施例中，步骤404包括接收更新的眼睛追踪信息或头部方位信息。例如，使用者的视野在使用者移动其头部或眼睛时发生变化。基于使用者视野的变化，可执行步骤406-412，以基于使用者新的视野提供新的或更新的视野至头戴式显示器。

从上面应理解，根据本文公开的发明性概念的实施例，用于提供图像以在头戴式显示器系统上显示的系统和方法可通过在远离头戴式显示设备处处理图像和仅传输头戴式显示设备的佩戴者所需的某些图像部分，由此减少头戴式显示器的硬件需求，从而减少操作典型的头戴式显示器设备所需的电力和计算功率。

需要理解的是，根据本文公开的发明性概念的方法的实施例，可包括本文所描述的一个或多个步骤。进一步，可以任何所需的顺序执行所述步骤，并且两个或更多步骤可与另一步骤同时执行。在此公开的两个或更多的步骤可合并为单一步骤，在某些实施例中，可将一个或多个步骤执行为两个或多个子步骤。进一步，除了本文所公开的一个或多个步骤以外或代替该步骤，其他步骤或子步骤可以被执行。

从上面的说明，应清楚的是，本文公开的发明性概念很好地适于实行对象并获得本文所提到的以及本文所公开的发明性概念所固有的优点。虽然本文公开的发明性概念的目前最优选的实施例已经为了本公开的目的进行了描述，但应理解的是，可以进行多种变化，所述变化对本领域技术人员来说自己是容易想到的，并且其在本文所公开的和要求保护的发明性概念的广泛范围和覆盖内实现。