双目显示设备的动态聚散度的制作方法

本发明涉及航空显示技术领域，具体来说，涉及一种双目显示设备的动态聚散度。

背景技术：

双目头盔显示器（hmd）通常设计成具有单个固定的聚焦距离。这导致图像似乎来自特定的距离，不像自然的人类视觉。自然的人类视觉依赖于不断变化的焦点和聚焦，以保持对感兴趣对象的单一视觉感知。当显示的图形数据是基于符号且显示的所有对象相对远离航空器时，单个固定的聚焦距离可能是合适的。然而，对于更完整的身临其境的场景，例如当显示合成视觉时，当航空器向地面降低时，双目hmd同时在近场和远场中显示物体。对于具有单个固定聚焦距离的双目hmd，飞行员只能容易地聚焦在与单个固定聚焦距离相似的距离处的物体上，但不容易在场景中“环视”。试图将焦点集中在除了固定聚焦点之外的部分场景，可能导致过度的眼睛疲劳和复视。

技术实现要素：

在一个方面，本文公开的发明构思的实施例涉及一种装置。该装置包括存储器和通信地耦合所述存储器的处理器。所述处理器可以被构形用以接收对应于确定的用户的眼睛的一当前位置和方位以及与用户的注视相对应的聚焦点确定的一当前位置的合成图像数据。所述处理器可以被构形用以基于合成图像数据、确定的用户左眼的当前位置和方位以及确定的聚焦点的当前位置，生成左合成图像的左流。所述处理器可以被构形用以基于合成图像数据、确定的用户右眼的当前位置和方位以及确定的聚焦点的当前位置，生成右合成图像的右流。所述处理器可以被构形用以输出所述左流和右流。

在另一方面，本文公开的发明构思的实施例涉及一种方法。该方法可以包括由处理器接收对应于用户眼睛的确定的当前位置和方位以及对应于用户的注视的聚焦点的确定的当前位置的合成图像数据。该方法还可以包括基于合成图像数据、用户的左眼的确定的当前位置和方位以及聚焦点的确定的当前位置，通过处理器生成合成图像的左流。该方法可以进一步包括基于合成图像数据、用户的右眼的确定的当前位置和方位以及聚焦点的确定的当前位置，通过处理器生成右合成图像的右流。该方法可以进一步包括通过所述处理器输出所述左合成图像的左流。该方法可以进一步包括通过所述处理器输出所述右合成图像的右流。

在另一方面，本文公开的发明构思的实施例涉及用于交通工具的系统。该系统可以包括左显示单元、右显示单元以及与左显示单元和右显示单元通信地耦合的处理器。所述左显示单元可以被构形用以将左图像作为视频呈现给用户的左眼。所述右显示单元可以被构形用以将右图像作为视频呈现给用户的右眼。所述处理器可以被构形用以接收和确定的用户的眼睛的当前位置和方位以及对应于用户的注视的聚焦点的确定的当前位置相对应的合成图像数据。所述处理器可以被构形用以基于合成图像数据、确定的用户左眼的当前位置和方位以及确定的聚焦点的当前位置，生成左合成图像的左流。处理器可以被构形用以基于合成图像数据、确定的用户右眼的当前位置和方位以及确定的聚焦点的当前位置，生成左合成图像的右流。处理器还可以被构形用以将左合成图像的左流输出到左显示单元，该左显示单元被构形用以将所述左流作为视频呈现给用户的左眼。处理器还可以被构形用以将右侧合成图像的右流输出到右显示单元，该右显示单元被构形用以将所述右流作为视频呈现给用户的右眼。

附图说明

当考虑到下面的详细描述时，可以更好地理解本文公开的发明构思的实现。这些描述将会参考以下附图，其不一定按比例绘制，并且其中某些特征可能被夸大、某些特征可被省略，或者为了清楚起见可以示意性地表示。附图中相同的附图标记可以表示和指代相同或相似的元件，特征或功能。在图中：

图1是根据本发明公开的系统的示例性实施例的示意图，该系统包括航空器、控制站、卫星和全球定位系统（gps）卫星；

图2是根据本发明公开的示例性实施例的图1中眼睛跟踪系统的视图；

图3是根据本发明公开的示例性实施例的图1中的航空器传感器的视图；

图4是根据本发明公开的示例性实施例的图1中的头盔跟踪系统的视图；

图5是根据本发明公开的示例性实施例的图1中的航空器的一部分的视图；

图6是根据本发明公开的示例性实施例的图1中的航空器的一部分的视图；

图7a是根据本发明公开的示例性实施例飞行员眼睛注视物理对象示意图；

图7b是左虚拟照相机、右虚拟照相机和对应于左眼和右眼注视本发明公开的图7a的物理物的被渲染物体的图；

图8a是根据本发明公开示例性实施例合成视觉场景的左合成图像的视图；

图8b是根据本发明公开示例型实施例合成视觉场景的右合成图像的视图；

图8c是与图8a、8b所示左、右合成图像相关联虚拟照相机位置的聚束线的视图；

图9a是根据本发明公开的又一个示例性实施例的合成视觉场景的左合成图像的视图；

图9b是根据本发明公开的又一个示例性实施例的的合成视觉场景的右合成图像的视图；

图9c是与图9a、9b所示的左和右合成图像相关联的虚拟相机位置的聚束线的视图；

图10是根据本发明公开的方法的示例性实施例的图。

具体实施方式

在详细解释此处公开的发明构思的至少一个实施例之前，应当理解，本发明构思不限于在下面的描述中或附图说明中所提到的应用、实施细节、所提出的部件或步骤或方法的安排。在以下对此处发明构思实施例的详细描述中，阐述了许多具体细节以便更透彻的理解此发明构思。然而，显而易见地，对受益于此处公开的发明构思的本领域的普通技术人员，可以在没有这些具体细节的情况下实践此处所公开的发明构思。在其它情况下，不再详细描述已知特征以避免使本公开复杂化。此处公开的发明概念还可以有其它实施例或者用其它方式去实践或执行。此外，应当理解，此处使用的措辞和术语是为了描述实施例，而不应该被认为是对实施例的限制。

本文所使用的位于附图标记之后的字母是为了指代实施例中相似的特征或元件，所述相似的特征或元件可以类似但不一定与先前描述的具有相同附图标记（例如，1a，1b）的元件或特征完全相同。使用这样的简化符号仅仅是为了方便，并不应被理解为以任何方式限制此处公开的发明构思，除非另有明文规定。

此外，除非另有明文规定，“或”是指包括性或而不是排它性或。例如，条件a或b由以下任一项满足：a为真（或存在）和b为假（或不存在），a为假（或不存在）和b为真（或存在），以及a和b都是真（或存在）。

此外，使用“一”来描述本发明构思实施例中的元件和组件。仅仅是因为这样既方便，又能给出本发明构思的一般意义；“一”意味着包括一个或至少一个，而且单个也包括复数，除非明显意味着其它方面。

最后，如此处所使用的对“一个实施例”或“一些实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性包括在此处公开的发明构思的至少一个实施例中。在说明书中多个地方出现的短语“在一些实施例中”不一定都指同一个实施例，并且此处公开的发明构思的实施例可以包括本发明清晰描述的或固有的一个或多个特征，还包括两个或多个上述特征组成的子组合的组合，以及本发明没有进行清晰描述的或非固有的任何其它特征。

广义地，本文公开的发明构思的实施例涉及方法，系统和设备。可以将显示设备（例如，双目显示设备，例如头盔显示器）配置为向用户（例如，飞行员）呈现合成的立体视频流，从而立体视频流可以实时调整以匹配用户的注视目光。例如，眼睛跟踪系统可以检测并提供用户的每只眼睛在任何给定时间所注视的方位，并且实时跟踪用户的每个眼睛看向的方位。眼睛跟踪系统可以生成并输出更新的（例如，持续性更新、迭代更新或间歇更新）眼睛位置和方位数据到系统的任何设备。例如，随着接收到最近的眼睛位置和方位数据，系统的处理器可以基于每个眼睛正在观察的方位和两个方位之间的角度来确定用户的目光最近的聚焦点。基于针对特定环境所确定的聚焦点和图像数据，系统的处理器可以生成并输出将分别由双目显示器的左显示单元和右显示单元呈现的左合成图像和右合成图像设备。每一个左合成图像可以基本上实时地生成（例如，迭代地产生），使得左侧合成图像中的每一个被生成就像从左眼的位置朝向对应于用户的注视的方位的最近确定的聚焦点。每一个右合成图像可以基本上实时地生成（例如，迭代地产生），使得右侧合成图像中的每一个被生成，就像从右眼的位置朝向对应于用户的注视的方位的最近确定的聚焦点。处理器可以从特定虚拟相机位置（其也可以被称为视点或“眼点”）生成（例如，渲染）每个合成图像（例如，左合成图像和右合成图像）。每个场景由左、右眼视点各生成一次，使得左合成图像和右合成图像可以分别显示在左显示单元和右显示单元上以呈现给用户。处理器可以调整虚拟摄像机位置以对应于用户眼睛的位置和方位，使得用户的观看体验与观看非虚拟环境时用户将看到的内容保持一致。

当用户改变其注视的方位或者用户眼睛的位置发生改变时，处理器生成左、右合成图像，如同从左眼和右眼的当前位置分别朝向对应于（例如，匹配）用户当前的目光的当前确定的聚焦点。双目显示设备的左、右显示单元分别将左合成图像和右合成图像作为立体视频呈现给用户的左眼和右眼。通过生成和显示立体视频，就像从用户的每个眼睛的位置朝向当前聚焦点观看一样，飞行员可以集中在场景中的所有对象上，而不管其距离用户的距离。

如图1所示，根据本文公开的发明概念的系统100的示例性实施例包括至少一个航空器102、控制站132、卫星138和gps卫星140。航空器102、控制站132、卫星138和gps卫星140中的某些或者全部可以在任何给定的时间通信地连接。

航空器102包括至少一个通信系统104、至少一个计算设备112（其也可以称为至少一个航空器计算设备或至少一个直升机计算设备）、gps设备120、航空器传感器122、至少一个眼睛跟踪系统124、至少一个双目显示设备（例如，头盔显示器126或头戴式显示器）、至少一个头盔跟踪系统128以及至少一个处理和视频产生系统130，以及通常包括在航空器中的其它系统、设施和设备。双目显示设备示例性地被表示为头盔显示器126；然而，在一些实施例中，双目显示设备可以被实现为任何合适的双目显示设备。通信系统104、计算设备112、gps设备120、航空器传感器122、眼睛跟踪系统124、头盔安装显示器126、头盔跟踪系统128、处理和视频生成系统130以及通常包括在航空器102中的任何其它系统、设施和设备中的一些或全部均可以通信地耦合。航空器102可以被实现为任何合适的航空器，例如直升机或飞机。虽然系统100被示例性地示出为包括航空器102，但在一些实施例中，本文公开的发明构思可以在任何合适的交通工具（例如，汽车，火车，潜水艇，船舶或航天器）或任何合适的环境中实施。

通信系统104包括通信耦合的一个或多个天线（例如，如图所示的两个电子扫描阵列（esas）106），一处理器108和一内存110。通信系统104（例如经由一个或多个esa106）被构形用以向和/或从控制站134、其它车辆和卫星138及其组合，或者任何其它合适的装置、设备或系统发送和/或接收信号、数据、消息和/或语音传输。也就是说，通信系统104被构形用以与任何其它合适的通信系统（例如，与通信系统104类似实施或者起作用的系统）交换（例如，双向交换）信号、数据、消息和/或语音通信。

通信系统104可以包括至少一个处理器108，且所述处理器被构形用以运行存储在非暂时性计算机可读介质（例如，内存110）中的各种软件应用或计算机代码，并被构形用以执行各种指令或操作。例如，处理器108可以被构形用以从计算设备112接收数据，并执行相应指令，且该指令被构形用以使得esa106中特定的一个esa将数据作为信号发送到另一个通信系统（例如，134）。类似地，例如，处理器108可以被构形用以将由esa106中特定的一个esa作为信号接收的数据路由到计算设备112。可以将一个或多个esa106实施为一个或多个aesa。在一些实施例中，处理器108可被实施为一个或多个射频（rf）处理器。

虽然通信系统104被示为具有两个esa106、一个处理器108和内存110，但是通信系统104可以包括任何合适数量的esa106、处理器108和内存110。另外，当通信系统104被示为包括esa106，该通信系统104可以包括或用任何合适的天线或天线装置来实现。此外，通信系统104可以包括其它组件，诸如存储设备（例如，固态驱动器或硬盘驱动器）、无线电（例如，软件定义的无线电（sdr））、发射机、接收机、收发器、无线电调谐器和控制器。

航空器102的计算设备112可以包括至少一个处理器114、内存116和存储器118，以及通常包括在计算设备中的其它组件、设施和/或设备，并且所有这些可以彼此通信耦合。计算设备112可以被构形用以将数据路由到通信系统104，以便传输到车外目的地（例如，卫星138，控制站132）。类似地，计算设备112可以被构形用以接收从板外源（例如，卫星138，控制站132）传输到通信系统104的数据。计算设备112可以包括或被实施为和/或被构形用以执行任何合适的航空器系统（诸如飞行管理系统（fms））的功能。处理器114可以被构形用以运行存储在非暂时性计算机可读介质（例如，内存116或存储器118）中的各种软件应用或计算机代码，并被构形用以执行各种指令或操作。此外，例如，计算设备112或处理器114可以被实现为专用计算机或专用处理器，并被构形用以执行指令，该指令负责执行在整个发明中公开的任何或全部操作。在一些实施例中，航空器102可以包括任何合适数量的计算设备112。

gps设备120从gps卫星140接收位置数据，并且可向航空器102的各种设备/系统（例如，通信系统104，计算设备112、航空器传感器122、眼睛跟踪系统124、头盔显示器126、头盔跟踪系统128以及视频处理和生成系统130））中的任何一个提供车辆位置数据（例如，航空器位置数据）。gps设备120可以包括一个gps接收器和一个处理器。例如，鉴于航空器102，gps设备120可以从足够数量（例如，至少四个）gps卫星140接收或计算位置数据，使得可以计算出gps解决方案。在一些实施例中，gps设备120可以被实现为计算设备112、通信系统104、航空器传感器122、眼睛跟踪系统124、头盔显示器126、头盔跟踪系统128的导航传感器和/或视频处理和生成系统130的一部分。gps设备120可以被构形用以向某一交通工具的各种设备/系统中的任何一个提供位置数据。例如，gps设备120可以向计算设备112、通信系统104、头盔跟踪系统128和/或视频处理和生成系统130提供位置数据。至少部分基于来自gps设备120的航空器位置数据，处理器（例如，gps设备的处理器，处理器114，处理器108，处理器404，处理器504或其组合）可以确定佩戴头盔（例如，602，其可被实现为或包括头盔）的操作者（例如飞行员）的位置和方位。进一步的，图1描绘了在航空器102中实施的gps设备120，在其它实施例中，gps设备120可以被实施在任何类型的交通工具中，例如汽车，航天器，火车，船只或潜水艇。

控制站132包括至少一个通信系统134和至少一个计算设备136以及通常包括在控制站中的其它系统、设施和设备。通信系统134、计算设备136以及通常包括在控制系统中的其它系统、设施和设备中的一些或全部可以通信地耦合。控制站132可以被实施为位于地球的地面142上的固定位置地面控制站（例如，空中交通管制塔的地面控制站，或者是网络操作中心的地面控制站）。在一些实施例中，控制站132可被实现为移动地面控制站（例如，在非空中载体（例如，汽车或船舶）或拖车上实施的地面控制站）。在一些实施例中，控制站132可以被实施为在机载车辆（例如，航空器）上实现的空气控制站。

控制站132的通信系统134及其组件（例如esa106）可以类似于通信系统104来实现，除了在一些实施例中，通信系统134可被构形用以在固定位置进行操作。控制站132的计算设备136及其组件（诸如处理器（未示出）和存储器（未示出））可以类似于计算设备112来实现。

虽然esa106被示例性地描绘为在航空器102和控制站132中被实施，但是在一些实施例中，esa106可以被实现在任何其它合适的设备、设施或系统上，例如计算设备（例如，膝上型计算设备，移动计算设备，可穿戴计算设备或智能电话），移动通信系统（例如，人员包通信系统）或卫星138。

另外，当系统100被示为包括esa106时，系统100可以包括或者用任何合适的天线或天线装置来实现。

虽然航空器102的通信系统104、计算设备112、gps设备120、航空器传感器122，眼睛跟踪系统124、头盔显示器126、头盔跟踪系统128以及视频处理和生成系统130已经被示例性地描绘为实施成单独的设备或系统。但在一些实施例中，通信系统104、计算设备112、gps设备120、航空器传感器122、眼睛跟踪系统124、头盔显示器126、头盔跟踪系统128和/或视频处理和生成系统130中的一个或者多个可以被实现为单个集成系统或设备，或者作为任何数量的集成和/或部分集成的系统和/或设备。

如图2所示，示出了根据本发明公开的示例性实施例的图1中的眼睛跟踪系统124。眼睛跟踪系统124被构形用以跟踪眼睛动作，跟踪用户眼睛的移动，跟踪用户的目光，确定用户的注视的聚焦点（有时被称为关注点）的位置，确定眼睛位置，确定用户眼睛之间的瞳孔内距离（ipd），确定用户眼睛的确定位置和用户眼睛中每个用户的聚焦点的确定位置之间的方位，和/或以其它方式从用户的眼睛接收输入信息。例如，所确定的位置可以相对于头盔（例如，602）。眼睛跟踪系统124可以被构形用以实时地执行全自动用户眼睛跟踪的操作。眼睛跟踪系统124可以包括至少一个传感器202，至少一个处理器204，内存206和存储器208以及通常包括在眼睛跟踪系统中的其它组件，设备和/或设备。传感器202、处理器204、内存206和存储器208以及通常包括在眼睛跟踪系统中的其它组件、设施和/或设备可以通信地耦合。

每个传感器202可以被实现为适合于眼睛跟踪系统的各种传感器中的任何一种。例如，至少一个传感器202可以包括或被实现为一个或多个光学传感器（例如，配置成捕获可见光光谱和/或红外光谱中的图像的至少一个照相机）。在一些实施例中，至少一个传感器202是一个或多个专用眼睛跟踪系统传感器。虽然传感器202被示例性地描绘为被包括在眼睛跟踪系统124中，但是在一些实施例中，传感器202可以在眼睛跟踪系统124的外部实现。例如，传感器202可以被实现为光学传感器(例如，航空器传感器122的光学传感器316），其位于航空器102内并且通信地耦合处理器204。

处理器204可以被构形用以处理从传感器202接收的数据并将处理的数据输出到一个或多个车载设备或车载系统（例如，通信系统104、计算设备112、航空器传感器122、眼睛跟踪系统124、头盔显示器126、头盔跟踪系统128，以及视频处理和生成系统130，或其组合）。例如，处理器204可以被构形用以确定用户的注视的聚焦点的位置、确定眼睛位置、确定用户眼睛之间的瞳孔内距离（ipd）和/或确定用户眼睛与用户每个眼睛确定的聚焦点的位置之间的方位。另外，例如，处理器204可以被构形用以生成与这样确定的信息相关联的数据并将生成的数据输出到视频处理和生成系统130。眼睛跟踪系统124的处理器204可以被构形用以运行各种软件应用或存储在非暂时计算机可读介质中，且并被构形用以执行各种指令或操作的计算机代码。处理器204可以被实施为一个专用处理器，该专用处理器被构形用以执行用于执行在公开发明的整个过程中任何或全部操作的指令。

如图3所示，显示了图1中的航空器传感器122。航空器传感器122中的每一个可以被构形用以感测航空器102外部或航空器102内的特定状况，并将与特定感测状况相关联的数据输出到一个或多个车载设备或车载系统（例如，通信系统104、计算设备112、航空器传感器122、眼睛跟踪系统124、头盔显示器126、头盔跟踪系统128以及视频处理和生成系统130，或其组合）。例如，航空器传感器122可以包括惯性测量单元302、无线电高度计304、气象雷达306、空速传感器308、飞行动态传感器310（例如，被构形用以感测俯仰，滚动和/或偏航）、空气温度传感器312、空气压力传感器314和光学传感器316。另外，gps设备120可以被认为是航空器传感器122之一。

例如，航空器传感器122中的至少一些可以被实施为导航传感器（例如，gps设备120，惯性测量单元302，无线电高度计304，气象雷达306，空速传感器308，飞行动态传感器310，空气温度传感器312和/或空气压力传感器314），其被构形用以感测航空器通常使用的各种飞行条件或航空器状况中的任何一种，以及输出导航数据（例如，航空器位置数据，航空器方位数据，航空器方位数据，航空器速度数据和/或航空器加速度数据）。例如，各种飞行条件或航空器条件可包括高度、航空器位置（例如相对于地球）、航空器方位（例如相对于地球）、航空器速度、航空器加速度、航空器轨迹、航空器俯仰、航空器偏航、空气温度和/或空气压力。例如，gps设备120和惯性测量单元302可以将航空器位置数据和航空器方位数据分别提供给处理器（例如，gps设备120的处理器，处理器114，处理器108，处理器404，处理器504，或其组合），使得处理器可以至少部分基于以下内容来确定佩戴头盔的操作者（例如，飞行员）的位置和方位（例如，602，其可以被实现为或包括头盔显示器126）：来自gps装置120的航空器位置数据的部分和来自惯性测量单元302的航空器姿态数据。

此外，当航空器传感器122被实现在航空器102中或航空器102上时，一些实施例可以包括根据本发明公开在任何合适的交通工具上实现的车辆传感器。

如图4所示，显示了图1的头盔跟踪系统128。头盔跟踪系统128被构形用以确定和跟踪用户头盔（例如，602）相对于航空器102的位置和方位。头盔跟踪系统128可以被构形用以实时地执行全自动头盔跟踪操作。头盔跟踪系统128可以包括传感器402，至少一个处理器404、内存406和存储器408，以及通常包括在头盔跟踪系统中的其它部件、设施和/或设备。传感器402、处理器404、内存406和存储器408以及通常包括在眼睛跟踪系统中的其它部件、设施和/或设备可以通信地耦合。

每个传感器402可以被实施为适合于头盔跟踪系统的各种传感器中的任何一种。例如，传感器402可以包括或被实现为一个或多个光学传感器（例如，至少一个照相机（例如，配置成捕获可见光光谱和/或红外光谱中的图像的照相机）），其被构形用以检测和/或反射或发射来自头盔的图像光（例如，安装在头盔（例如，602）上的光发射器（例如，红外线或可见光发射器（例如，发光二极管（led）））。此外，例如，传感器402可以包括或被实现为一个或多个光学传感器（例如，被构形用以捕获可见光光谱和/或红外光谱中的图像的至少一个照相机），其被构形用以检测和/或反射或发射图像光（例如，通过安装在航空器102的驾驶舱的一部分上的光发射器（例如，红外线或可见光发射器（例如，发光二极管（led）））离开或发自航空器102的驾驶舱的一部分。在一些实施例中，传感器402可以定位在航空器102的驾驶舱和/或头盔（例如，602）的各个位置处。传感器402可以被构形用以向处理器404输出数据，使得处理器404可以跟踪和确定头盔（例如，602）的位置和方位。

此外，例如，传感器402可以包括或被实现为一个或多个电磁传感器（例如，射频识别（rfid）传感器阵列）和/或配置成将数据输出到处理器404的声学传感器，使得处理器404可以跟踪和确定头盔的位置和方位（例如，602）。

在一些实施例中，传感器402是一个或多个专用头盔跟踪系统传感器。虽然传感器402已经被示例性地描绘为包括在头盔跟踪系统128中，但是在一些实施例中，传感器402可以被实现在头盔跟踪系统128的外部。例如，传感器402可被实现为位于航空器102内并且通信地耦合处理器404的光学传感器（例如，航空器传感器122的光学传感器316）。

处理器404可以被构形用以处理从传感器402接收的数据并将处理的数据输出到一个或多个车载设备或车载系统（例如，通信系统104、计算设备112、航空器传感器122、眼睛跟踪系统124、头盔显示器126、视频处理和生成系统130，或其组合）。例如，处理器404可以被构形用以确定和跟踪用户头盔（例如，602）相对于航空器102的位置和方位。另外，例如，处理器404可以被构形用以生成与这样确定的信息相关联的数据，并将生成的数据输出到视频处理和生成系统130。头盔跟踪系统128的处理器404可以被构形用以运行存储在非暂时计算机可读介质中并且被构形用以执行各种指示或操作的各种软件应用或计算机代码。处理器404可以被实现为专用处理器，其被构形用以执行发明的整个过程中实现任何或全部操作的指令。

如图5所示，显示了图1中航空器102的一部分。如图5所示，视频处理和生成系统130可以包括合成视觉系统（svs）502，其可以与gps设备120，航空器传感器122（例如，惯性测量单元302）、眼睛跟踪系统124、头盔跟踪系统128和头盔安装显示器126通信地耦合。

svs502包括至少一个处理器504和至少一个计算机可读介质506（例如，非瞬态处理器可读介质，诸如存储器和/或存储器），所有这些可以通信地耦合。

计算机可读介质506可以在内部或作为内存或存储器中实现，诸如硬盘驱动器、固态驱动器或混合固态驱动器。在一些实施例中，计算机可读介质506可以存储飞行环境的至少一个数据结构（例如，至少一个svs数据库508）。在一些实施例中，数据结构包含多个合成图像或合成图像分量和航空器状态的数据，其中多个合成图像或合成图像分量中的每一个均可能与特定航空器状态数据相关联。航空器状态数据可以包括航空器位置和航空器方位的信息，以及其它信息。虽然示例性地将至少一个数据结构（例如，svs数据库508）描绘为保存在计算机可读介质506中，但在一些实施例中，至少一个数据结构（例如，svs数据库508）中的一个或多个可以保存在任何合适的计算机可读介质（例如，内存110、内存116、存储器118、内存206、存储器208、内存406、存储器408、计算设备136的内存、计算设备136的存储器，或其组合）。

处理器504被构形用以接收（例如，基本上实时地接收）：（a）指示航空器102相对于地球的位置和方位的数据流（例如，来自gps设备120和/或惯性测量单元302）；（b）指示头盔（例如，602's）相对于航空器102的位置和方位的头盔位置和方位的数据流（例如，从头盔跟踪系统128）；和/或（c）指示飞行员的眼睛相对于头盔（例如，602）的位置和方位的眼睛位置和方位的数据流（例如，来自眼睛跟踪系统124）。基于航空器位置和方位数据、头盔位置和方位数据以及眼睛位置和方位数据，处理器504可以被构形用以来确定相对于地球每个飞行员的眼睛的位置、方位以及对应飞行员目光的聚焦点。

在确定每个飞行员的眼睛和聚焦点相对于地球的的位置和方位时，处理器504可以被构形用以访问计算机可读介质506的数据结构（例如，svs数据库508）以获得与每个飞行员眼睛和聚焦点相对于地球的确切位置和方位相关联的合成图像数据。基于确定的每个飞行员的眼睛和聚焦点相对于地球的位置和方位，处理器504可以使用合成图像数据来构建环境的合成视图（例如，航空器外部的世界）。在恶化的视觉环境中，例如雨，雾，烟，雪或灰尘，飞行员可能无法在没有合成视图的情况下感知周围的环境。

在接收与飞行员的每个眼睛和聚焦点相对于地球的确切位置和方位相关联的合成图像数据时，处理器504可以被构形用以生成（例如，渲染）一对立体图像，其中包括左图像和右图像。每个图像可能是环境的综合展示，就像飞行员从当前的视角看一样；例如，从飞行员当前视角来看，每个图像可以是航空器外部世界的合成视图。例如，左图像可以对应于从具有虚拟位置和虚拟方位的左虚拟相机（例如，704-1）的视角所生成的图像，且该虚拟位置和虚拟方位向对应于（例如，匹配）飞行员的左眼位置和方位，使得所产生的左图像集中在与飞行员左眼位置相对应的视点的聚焦点上。此外，例如，例如，左图像可以对应于从具有虚拟位置和虚拟方位的左虚拟相机（例如，704-2）的视角所生成的图像，且该虚拟位置和虚拟方位向对应于（例如，匹配）飞行员的左眼位置和方位，使得所产生的左图像集中在与飞行员左眼位置相对应的视点的聚焦点上。在一些实施例中，左、右生成图像基本上与飞行员的正常三维（3d）感知对应，并且左、右虚拟照相机之间的距离设置为飞行员的瞳孔内距离（ipd）。在一些实施例中，例如在需要放大感知的地方，左、右虚拟摄像机之间的距离可以被设置为不同于（例如大于）ipd。

当处理器504接收更新的数据（例如，（a）航空器位置和方位数据，（b）头盔位置和方位数据，和/或（c）眼睛位置和方位数据）时，处理器504可被配置以基本上实时的方式迭代地更新确定飞行员的每个眼睛以及聚焦点相对于地球的位置和方位。此外，当处理器504基本上实时的方式迭代地更新确定飞行员的每个眼睛以及聚焦点相对于地球的位置和方位时，处理器504可以被构形用以迭代地获得与最近确定的飞行员的每个眼睛以及聚焦点相对于地球的位置和方位相关联的合成图像数据。此外，在接收与最近确定的飞行员的每个眼睛以及聚焦点相对于地球的位置和方位相关联的合成图像数据时，处理器504可以被构形用以迭代地生成一对立体图像，使得每个产生的图像均集中在最近更新的聚焦点上，就像从最近更新的左、右眼视点观察一样，且该左、右眼视点与最近确定的左右眼位置和方位对应。

处理器504被构形用以将生成的左图像流输出到头盔显示器126的左显示单元126-1，并将生成的右图像流输出到头盔显示器126的右显示单元126-2。左显示单元126-1被构形用以将左图像流作为视频呈现给戴头盔（例如，602）的驾驶员的左眼，该头盔包括头盔显示器126。右显示单元126-2被构形用以将右图像流作为视频呈现给佩戴头盔（例如，602）的驾驶员的右眼，该头盔包括头盔显示器126。将左图像和右图像呈现给飞行员可以向飞行员提供立体视频，而这会根据飞行员的自然目光进行调整（例如，反应性地调节），从而允许飞行员聚焦在所描绘场景中的任何物体上，而与航空器102的距离无关。

在一些实施例中，相对于单对立体图像，处理器504可基本上同时地生成左图像和右图像；然而，在一些实施例中，可以以隔行方式生成左图像和右图像，使得处理器504生成左图像，然后生成右图像，反之亦然。

处理器504可以被构形用以运行存储在非暂时计算机可读介质（例如，计算机可读介质506）中，并且被构形用以执行各种指令或操作的各种软件应用或计算机代码。处理器504可被实施为专用处理器，其被构形用以执行发明实施的整个过程中的实现各种操作的指令。

虽然处理器504被示例性地示出为单个处理器，但是一些实施例可以包括任何合适数量的处理器（例如，两个处理器，诸如被构形用以生成左图像并执行与之相关联的操作的第一处理器，以及被构形用以生成右图像并执行与之相关联的操作的第二处理器）。另外，至少一个处理器504可以被实施为任何合适的处理器类型（例如，至少一个图形处理单元（gpu）、至少一个图像处理器，至少一个数字信号处理器（dsp））、至少一个专用集成电路（asic）、至少一个处理器阵列、至少一个现场可编程门阵列（fpga）、至少一个微处理器、至少一个多核处理器或其组合）。

如图6所示，展示了图1中航空器102的一部分。视频处理和生成系统130、头盔显示器126、头盔跟踪系统128、眼睛跟踪系统124、gps设备120和航空器传感器122均可以像图5所示一样进行实施和实现功能。例如，头盔602可以包括头盔显示器126，头盔跟踪系统128和眼睛跟踪系统124。当头盔显示器126、头盔跟踪系统128和眼睛跟踪系统124示例性地示出为安装在头盔602中或上；在一些实施例中，头盔跟踪系统128和眼睛跟踪系统124可以被实现为与头盔602分离。此外，虽然示例性地对头盔显示器126进行了完整描述，本文公开的发明构思的一些实施例可以被实施为或包括任何合适的双目显示设备，例如双目头戴式显示器，双目视网膜投影显示设备或其组合。

如图7a所示，示出了根据本发明公开的一个示例性实施例的飞行员眼睛注视物理物体702a的示意图。图7a示出了示例性的左眼和右眼的位置（例如，间隔特定距离（例如，瞳孔内距离（ipd））和对应于飞行员目光注视物理对象702a的方位。眼睛跟踪系统124可以是被构形用以检测飞行员的眼睛的位置和方位，并将相应的眼睛位置和姿势数据输出到处理器504。

如图7b所示，示出了根据本发明公开的示例性实施例的左眼虚拟照相机704-1、右虚拟摄像机704-2和对应于图7a中左眼和右眼注视着的物理物体702a的渲染对象702b。至少基于眼睛位置和方位数据，处理器504可以被构形用以确定每个飞行员每只眼睛的位置和方位以及对应于飞行员的视线的聚焦点。处理器504可以被构形用以访问计算机可读介质506的数据结构（例如，svs数据库508），以获得与每个飞行员眼睛和聚焦点的确切位置和方位相关联的合成图像数据。处理器504可以被构形用以生成对应于物理对象702a的渲染对象702b的一对立体图像，其包括左图像和右图像。例如，左图像可以对应于从具有虚拟位置和虚拟方位的左虚拟相机704-1的视角生成的图像，使得所生成的左图像从对应于飞行员左眼位置的视角来看集中在聚焦点上。此外，例如，右图像可以对应于从具有虚拟位置和虚拟方位的右虚拟相机704-2的视角生成的图像，使得所生成的右图像从对应于飞行员右眼位置的视角来看集中在聚焦点上。如图7b所示，从左虚拟相机704-1和右虚拟相机704-2分别呈现的左、右图像基本上与导航员的正常3d感知对准，其中左虚拟相机704-1和右虚拟相机704-2之间的距离被设置为如图7a所示的飞行员的ipd。在一些实施例中，例如在需要夸张感知的地方，左和右虚拟摄像机可以被设置为之间的距离不同于（例如大于）ipd。

如图8a-c所示，根据本文公开的发明概念的示例性实施例，合成视觉场景的左合成图像（如图8a所示）和右合成图像（如图8b所示）具有基本上平行的聚焦（平行聚焦有时被称为无限聚焦）。真正的并行聚合不存在聚焦点，因为来自左虚拟摄像机的位置802-1的左聚焦线804-1将不会与来自右虚拟摄像机的位置802-2的右聚焦线相交。当使用者将他或她的目光聚焦在远处的物体时，会发生大致平行的聚焦。如图8a所示，从左虚拟照相机的位置802-1沿着左聚焦线804-1的角度，左合成图像被呈现（例如，由处理器504）。如图8b所示，从右虚拟摄像机的位置802-2沿着右聚焦线804-2的角度，右合成图像被呈现（例如，由处理器504）的。如图8c所示，被呈现左合成图像（如图8a所示）和右合成图像（如图8b所示）的飞行员可能会经历相对于远距离物体的自然3d感知。

如图9a-c所示，根据本发明公开的示例性实施例，合成视觉场景的左合成图像（如图9a所示）和右合成图像（如图9b所示），以设置在飞行员视觉近场中对象上的聚焦点904-3来呈现。如图9a所示，左合成图像从左虚拟相机的位置902-1沿着左边的聚合线904-1被呈现（例如，由处理器504）。如图9b所示，右合成图像从右虚拟摄像机的位置902-2沿着右边的聚集线904-2的角度被呈现（例如，由处理器504）。如图9c所示，聚焦点904-3存在于（从左虚拟摄像机的位置902-1的视角延伸出的）左聚焦线904-1与（从右虚拟摄像机的位置902-2的视角延伸出来的）右聚焦线904-2的交汇处。当飞行员的目光与聚焦点904-3匹配时，驾驶员经历合成立体图像的自然3d感知，例如由头盔安装的显示器126所呈现的合成立体图像。

如果飞行员在合成视觉场景中改变他或她的目光，则眼睛跟踪系统124被构形用以检测飞行员的目光的变化。为了适应飞行员改变的目光，并且使得飞行员在合成视觉场景内继续体验自然的3d感知，处理器504被构形用以至少基于从眼睛跟踪系统124中接收到的更新的眼睛位置和方位数据来产生和输出更新的合成图像。

参考图10，根据本发明公开的方法1000的示例性实施例可以包括以下一个或多个步骤。

步骤1002可以包括接收合成图像数据，该合成图像数据对应于用户每个眼睛的确定的当前位置和方位以及与用户的目光对应的聚焦点的确定的当前位置。步骤1002可以由至少一个处理器执行（例如，至少一个处理器108、至少一个处理器114、至少一个处理器204、至少一个处理器404、至少一个处理器504或其组合）。

步骤1004可以包括生成左合成图像的左流，该左合成图像的左流至少基于合成图像数据，用户左眼的确定的当前位置和方位以及聚焦点的确定的当前位置。步骤1004可以由至少一个处理器执行（例如，至少一个处理器108、处理器114、至少一个处理器204、至少一个处理器404、至少一个处理器504或其组合）。

步骤1006可以包括生成右合成图像的右流，该右合成图像的右流至少基于合成图像数据，用户右眼的确定的当前位置和方位以及聚焦点的确定的当前位置。步骤1004可以由至少一个处理器执行（例如，至少一个处理器108、处理器114、至少一个处理器204、至少一个处理器404、至少一个处理器504或其组合）。

步骤1008可以包括输出左合成图像的左流。步骤1008可以由至少一个处理器执行（例如，至少一个处理器108，处理器114，至少一个处理器204，至少一个处理器404，至少一个处理器504或其组合）。

步骤1010可以包括输出右合成图像的右流。步骤1008可以由至少一个处理器执行（例如，至少一个处理器108、处理器114、至少一个处理器204、至少一个处理器404、至少一个处理器504或其组合）。

此外，方法1000可以包括公开的任何一切操作。

从以上可以理解，本文公开的发明构思的实施例涉及一种方法、系统和装置。处理器（例如，504）可以被构形用以将左图像流和右图像流提供给一个双目显示装置，该双目显示设备被构形用以向用户（例如，飞行员）呈现合成立体视频流（例如，头盔显示器126），由此立体视频流可以被实时调整以匹配改变着的用户的注视。当用户改变其目光的方位或者其眼睛的位置时，处理器（例如，504）分别产生左、右合成图像，如同从左眼和右眼的当前位置观察一样，并朝向对应于（例如，匹配）用户的当前目光的聚焦点（例如，904-3）当前确切方位。双目显示装置的左显示单元126-1和右显示单元126-1分别将左合成图像和右合成图像作为立体视频呈现给用户的左眼和右眼。通过生成和显示立体视频，就像从用户的每个眼睛的位置朝向当前的聚焦点观看一样，飞行员可以集中在场景中的所有对象，而不管其与用户的距离。

全文使用的“至少一个”是指一个或多个；例如，“至少一个”可以包括一个，两个，三个，...，一百个或更多个。类似地，如文中使用的那样，“一个或多个”是指一个或多个；例如，“一个或多个”可以包括一个，两个，三个，...，一百个或更多个。此外，如文中使用的那样，“零或更多”表示零个，一个或多个；例如，“零或更多”可以包括零，一，二，三，...，一百或更多。

在本发明中，所公开的方法、操作和/或功能可以被实施为设备可读的指令集或软件。此外，应当理解，所公开方法、操作和/或功能中步骤的具体顺序或层次是示例性的。基于设计偏好，应当理解，方法、操作和/或功能中步骤的特定顺序或层次可以被重新排列，同时保持在本文公开的发明构思的范围内。所附权利要求可以以示例顺序呈现各个步骤的元素，并不意味着限于所呈现的特定顺序或层次。

应当理解，根据本文公开的发明概念的方法的实施例可以包括本文所述的一个或多个步骤。此外，这些步骤可以以任何期望的顺序进行，并且两个或多个步骤可以彼此同时进行。本文公开的两个或多个步骤可以合并成单个步骤中，并且在一些实施例中，一个或多个步骤可以作为两个或更多个子步骤来执行。此外，除了作为本文公开的一个或多个步骤之外，还可以执行其它步骤或子步骤或者作为替代。

从上述描述中，很清楚，此处公开的发明构思可以很好地实现此处所述的目的，并获得此处所述的优点以及此处公开的发明构思中所固有的优点。虽然为了此处公开的目的描述了此处公开的发明构思的当前优选实施例，但是应当理解，还可以进行许多改变；这些改变对于本领域技术人员来说将是显而易见的，并落在此处公开的发明构思和权利要求的范围内。