用于在HUD上显示FOV边界的系统和方法与流程

本发明一般地涉及飞行器视觉显示系统和方法。

背景技术：

现代交通工具，诸如飞行器，通常包括平视显示器（hud），其用于在透明显示器上提供图像和/或符号使得其覆盖通过显示器观看的环境中的真实世界元素。因此，hud使得飞行员或操作者能够利用来自显示器上呈现的信息的增强作用观看交通工具的外部。作为示例，由于在具有周围景物的情况下观看hud，所以这样的系统使得飞行员能够以限制下视时间的方式观看主要飞行信息。

已经以不同形式利用hud。传统上，“固定”hud包括并入飞行器的挡风玻璃中或者靠近飞行器的挡风玻璃的显示器。近眼（nte）显示器是具有紧密靠近用户眼睛并且处在相对于用户头部的固定位置中的显示器的hud。作为示例，nte显示器可以包括头盔安装显示器（hmd）、头部安装显示器（也称hmd）或者头戴式显示器（hwd）。每一种类型的hud都具有优点和缺点，并且设计师继续开发针对飞行器显示系统的改进以增强情境感知、操作安全和效率。

因而，合期望的是提供用于改进hud系统的方法和系统。此外，本发明的其它合期望的特征和特性将根据结合随附各图和本发明的该背景技术一起考虑的本发明的随后详细描述和随附的权利要求而变得明显。

技术实现要素：

依照示例性实施例，提供了用于具有挡风玻璃的交通工具的视觉显示系统。该系统包括：控制器，其配置为接收与交通工具的操作环境相关联的信息并且生成表示操作环境的显示命令；第一操作者追踪单元，其配置为收集与操作者的主视力视场相关联的数据；以及第一显示系统，其耦合到控制器并且配置为接收显示命令。第一显示系统包括第一显示单元，第一显示单元配置为显示表示操作者的主视力视场的边界的界线的至少一部分以及表示交通工具的操作环境的第一符号。

依照另一个示例性实施例，一种用于向具有挡风玻璃的交通工具的操作者提供视觉显示的方法包括：收集与操作环境相关联的信息；基于来自第一操作者追踪单元的数据来确定操作者的主视力视场；以及在第一显示系统上渲染表示交通工具的操作环境的第一符号以及表示操作者的主视力视场的边界的界线的至少一部分。

附图说明

在此之后将结合以下绘图来描述本发明，其中相同标号指代相同元件，并且

图1是依照示例性实施例的飞行器系统的示意性框图；

图2是依照示例性实施例的用于实现图1的飞行器系统的示例性环境；

图3是依照示例性实施例的由图1的飞行器系统所生成的视觉显示；以及

图4是依照另一个示例性实施例的由图1的飞行器系统所生成的视觉显示。

具体实施方式

以下详细描述在本性上仅仅是示例性的并且不意图限制本发明或者本发明的应用和使用。如本文中所使用的，词语“示例性”意指“充当示例、实例或说明”。因而，在本文中描述为“示例性”的任何实施例不一定被解释为相比其它实施例为优选或有优势的。本文描述的所有实施例是经提供以使得本领域技术人员能够实现或使用本发明并且不限制由权利要求限定的本发明的范围的示例性实施例。此外，不意图受之前技术领域、背景技术、发明内容或以下详细描述中呈现的任何明示或暗示的理论所限制。

大体上，本文讨论的示例性实施例提供了改进的飞行器显示系统，特别是平视显示（hud）系统。特别地，示例性实施例包括至少一个hud系统，其显示对应于主视力视场的边界的界线或者界线的部分。作为示例，hud系统可以包括飞行器的挡风玻璃上的固定hud显示系统以及操作者上的nte显示系统，nte显示系统协助向操作者显示飞行符号，包括界线和/或界线部分，以便改进操作者关于主视力视场内部或外部的对象的情境感知。

图1是依照示例性实施例的飞行器系统100的框图。应当理解到，出于描述的方便和解释的目的，图1是系统100的简化表示。系统100的另外示例性实施例可以包括用于提供另外的功能和特征的附加或其它设备和组件。系统100可以被用在飞行器中，诸如直升机、飞机或无人机。此外，系统100的示例性实施例还可以用在航天器、船、潜艇和其它类型的交通工具中，这些交通工具包括陆地交通工具，诸如汽车。为了简单起见，下文参照“飞行器”（或者在讨论多个飞行器时的“本船飞行器”）和“操作者”来描述示例性实现方式，操作者可以包括任何用户、飞行员、飞行机组成员和/或外部控制操作者。

如图1中所示，系统100包括控制器110、数据库120、导航系统130、飞行管理系统140、警报系统150、通信单元160和一个或多个显示系统170，其如下文所描述的那样可以包括固定平视显示（hud）系统180和近眼（nte）显示系统190。系统100的元件可以以任何适当的方式（诸如利用有线和/或无线数据总线）耦合在一起。尽管系统100在图1中显现成布置为集成系统，但是系统100并不被如此限制并且也可以包括如下布置：其中系统100的一个或多个方面是机载在飞行器上或者位于飞行器外部的另一个系统的分离组件或子组件。下面在系统100的组件的简要介绍之后提供关于系统100的操作的附加细节。

控制器110包括与任何适用的飞行器系统（例如，包括飞行管理系统140或分离的系统）相关联的计算机处理器。在一个示例性实施例中，控制器110用来至少接收和/或取回飞行器管理信息（例如，来自飞行管理系统140）、导航和控制信息（例如，来自导航系统130）、以及机场、着陆、目标和/或地形信息（例如，来自数据库120、警报系统150和/或通信单元160）。在一些实施例中，除了在下文进一步详细讨论的和其它功能之外，控制器110可以附加地计算和生成与飞行计划和/或飞行或机场环境相关联的显示命令。因此，控制器110可以充当图形显示生成器，用于基于存储在控制器110中或分离的存储器组件中的算法或其它机器指令来生成显示命令。控制器110然后将所生成的显示命令发送给显示系统170中的一个或多个以用于呈现给操作者，如下文更加详细地描述的。

取决于实施例，控制器110可以利用通用处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、适当的可编程逻辑器件、分立的门或晶体管逻辑、处理内核、分立的硬件组件或上述各项的任何组合来实现或实施。在实践中，控制器110包括存储器和/或处理逻辑，其可以配置为实施与系统100的操作相关联的功能、技术和处理任务或方法。计算机可读指令、固件和软件程序有形地体现在用于存储计算机可读指令的任何适当的介质上，该介质包括但不限于所有形式的非易失性存储器，包括（作为示例而非限制）：半导体存储器设备，诸如eprom、eeprom和闪速存储器设备；磁盘，诸如内部硬盘和可移除盘；磁光盘；以及dvd盘。

尽管没有示出，但是控制器110可以包括用户接口，用户接口耦合到控制器110以允许用户与系统100交互。用户接口可以实现为触摸屏、键板、触摸板、键盘、鼠标、触摸面板、操纵杆、旋钮、行选择键或者适配成从用户接收输入的另一个适合的设备。在另外的实施例中，用户接口被实现为音频输入和输出设备，诸如扬声器、麦克风、音频换能器、音频传感器等。

数据库120耦合到控制器110并且可以是存储器设备（例如，非易失性存储器、盘、驱动器、磁带、光学存储设备、大容量存储设备等），其把数字机场、着陆、航点、目标位置和地形数据存储为绝对坐标数据或者飞行器位置的函数，该数据或函数实现飞行器操作环境的合成或增强表示的构造、维护和修改。数据库120中的数据可以在飞行之前上载或者从外部源（诸如机场传输器或机载传感器）接收。

导航系统130配置成向控制器110提供实时导航数据和/或关于飞行器的操作的信息。导航系统130可以包括如下各项或与如下各项协作：全球定位系统（gps）、惯性参考系统（irs）、航空资料航向参考系统（ahrs）或基于无线电的导航系统（例如，vhf全向无线电范围（vor）或长程辅助导航（loran））。导航系统130能够获取和/或确定飞行器的当前状态，包括位置（例如，经度和纬度）、海拔或地面以上高度、空速、俯仰、下滑范围、航向以及其它相关的飞行或操作信息。

飞行管理系统140支持导航、飞行计划和其它飞行器控制功能，以及提供关于飞行器的操作状态的实时数据和/或信息。飞行管理系统140可以包括或以其它方式访问以下各项中的一个或多个：天气系统、雷达系统、自动驾驶系统、自动推力系统、飞行控制系统、液压系统、气动系统、环境系统、电气系统、引擎系统、配平系统、照明系统、电子清单系统、电子飞行包和/或其它适当的航空电子系统。作为示例，飞行管理系统140可以标识飞行器的操作状态，诸如引擎操作和当前飞行器配置状态，包括关于如下各项的信息：当前襟翼配置、飞行器速度、飞行器俯仰、飞行器偏航、飞行器滚转等。附加地，飞行管理系统140可以标识或者以其它方式确定飞行器的当前位置处或附近的环境条件，诸如例如当前温度、风速、风向、大气压和湍流。飞行管理系统140还可以标识优化速度、剩余距离、剩余时间、交叉轨道偏差、导航性能参数和其它行进参数。尽管没有示出，但是导航系统130和/或飞行管理系统140可以包括一个或多个传感器，诸如光传感器、红外传感器、雷达、激光雷达、声呐和/或天气传感器，他们可以向系统100提供信息。

警报系统150被视为表示评估关于周围环境和/或飞行器的信息并且在问题造成威胁时对操作者生成警报的一个或多个系统。因此，警报系统150可以包括或以其它方式访问空中交通管理系统、交通避让系统、机组提醒系统、地形避让和警报系统等。在一些实施例中，警报系统150可以是飞行管理系统140的部分。如在下文更加详细地描述的，警报系统150可以特别地生成关于本船飞行器附近的其它飞行器和/或地形的警报并且将关联的信息提供给控制器110以用于在显示系统170中的一个或多个上呈现。

通信单元160可以是用于向系统100发送信息以及从系统100接收信息的任何适当的设备。在一些实施例中，通信单元160可以配置为接收射频传输、卫星通信传输、光学传输、激光传输、声音传输或者任何其它无线形式的数据链路的传输。在一个示例性实施例中，通信单元160可以包括例如广播式自动相关监视（adsb）收发器。在一个示例性实施例中，通信单元160配置为从机场和/或空中交通管制发送和/或接收信息。控制器110和/或通信单元160可以包括通信管理单元（cmu），用于促进飞行器和空中交通管制之间的消息的发送和接收。

如上文所指出的，系统100还包括耦合到控制器110的一个或多个显示系统170。一般地，显示系统170可以包括适于显示各种类型的计算机生成的符号和飞行信息的任何设备或装置。使用从操作者、数据库120、导航系统130、飞行管理系统140、警报系统150和/或通信单元160取回（或接收）的数据，控制器110执行一个或多个算法（例如，在软件中实现）以用于确定显示系统170上的各种类型的期望信息的位置。如上文所指出的，控制器110然后生成表示该数据的显示命令，并且将显示命令发送给显示系统170。作为下文更加详细描述的示例，显示系统170可以包括固定hud系统180和nte显示系统190。附加或替代于固定hud系统180和/或nte显示系统190，显示系统170可以包括一个或多个非透明显示器，诸如虚拟窗户或者下视显示器。

固定hud系统180包括投射系统182、部分透明和反射的组合器单元（或显示单元）184以及hud追踪单元（或操作者追踪单元）186。投射单元182基于来自控制器110的命令而生成所投射的图像。组合器单元184可以包括具有透明或半反射表面的一个或多个透镜或处置器，其捕获来自投射单元182的图像以用于显示给操作者。组合器单元184一般以相对固定的位置安装到飞行器。例如，组合器单元184可以安装在飞行器挡风玻璃上或者并入飞行器挡风玻璃中。在一个示例性实施例中，固定hud系统180包括用来确定操作者的视野的hud追踪单元186。因此，hud追踪单元186可以包括一个或多个传感器，该传感器追踪操作者的头部和/或眼睛位置以确定操作者的位置和定向视野。一般地，可以采用允许系统确定操作者的头部位置和/或相对于操作者身体和周围环境的旋转、眼睛位置或者其它有用的情境信息的任何传感器。这样的传感器可以包括gps传感器、惯性测量单元（imu）传感器、深度传感器、相机、眼睛追踪传感器、麦克风、生物测量传感器和其它类型的传感器。hud追踪单元186可以将有关操作者的位置、定向和其它视野信息提供给控制器110，如下文更加详细地讨论的。在一些示例性实施例中，hud追踪单元186可以省略，特别是当显示系统170包括nte显示系统190时，这在下文讨论。

一般地，固定hud系统180可以渲染任何适当类型的信息，特别是飞行信息。示例包括本船信息，诸如导航或操作符号，包括速度、海拔、俯仰姿态、滚转姿态、磁航向、磁迹、海拔气压校正设置、竖直速度显示、飞行路径和漂移角度、飞行指挥仪命令、限制和操作速度、马赫数、无线电海拔和决断高度、最终进场轨道偏差、标记指示等。附加地，固定hud系统180可以包括交通和/或地形信息，诸如附近的其它飞行器和/或即时飞行路径中的相关地形特征。对于一些类型的符号，在组合器单元184上的位置可以被固定，例如总是处于特定地方。对于其它类型的符号，诸如交通和地形信息，显示元素是相对于飞行器的真实世界环境的函数。因此，基于来自数据库120、导航系统130、飞行管理系统140、警报系统150和/或通信单元160的输入，控制器110用来登记该符号并且将其定位在固定hud系统180上的适当位置中。固定hud系统180的附加功能和特征在下文提供。

显示系统170可以进一步合并nte显示系统190。nte显示系统190一般由操作者佩戴，例如以眼镜、护目镜或头盔屏幕的形式。nte显示系统190包括显示单元192和nte追踪单元（或操作者追踪单元）194。显示单元192是显示计算机生成的虚拟图像同时仍旧允许佩戴者观看真实世界的任何适当的显示组件。例如，显示单元192可以采用例如在透明或半透明屏幕上的任何类型的投射或微显示技术以提供虚拟图像。也可以采用其它技术，诸如视网膜显示，在视网膜显示中在佩戴者正在观看真实世界时图像被直接投射到佩戴者的视网膜上。nte追踪单元194用来确定操作者的视野，以使得显示单元192提供针对当前视点的适当符号。因此，追踪单元194可以包括提供位置和定向数据的一个或多个内部或外部传感器。一般地，可以采用允许系统确定hmd佩戴者的头部位置和相对于操作者身体和周围环境的旋转、眼睛位置或其它有用情境信息的任何传感器。这样的传感器可以包括gps传感器、惯性测量单元（imu）传感器、深度传感器、相机、眼睛追踪传感器、麦克风、生物测量传感器和其它类型传感器。除nte显示系统190的显示单元192之外，nte追踪单元194可以将有关操作者的位置、定向和其它视野信息提供给控制器110，如在下文更加详细地讨论的。nte追踪单元194可以与hud追踪单元186合并和/或被省略。nte显示系统190可以依照来自控制器110的显示命令基于来自操作者、数据库120、导航系统130、飞行管理系统140、警报系统150和通信单元160的信息来显示与以上讨论的固定hud系统180相同或不同类型的信息。

在操作期间，显示系统170可以联合地和/或个体地向操作者提供众多类型的信息。在一个示例性实施例中，固定hud系统180和nte显示系统190可以组合地使用。作为简要示例，参照图2，其是操作者200在驾驶舱内佩戴nte显示系统190的示意图，驾驶舱合并固定hud系统180，使得操作者200可以同时利用两个系统180，190。在该示例中，固定hud系统180至少部分地安装在飞行器的挡风玻璃210上。在以下讨论的示例性实施例中，固定hud系统180和nte显示系统190可以协作以提供原本将在单个系统上不可获得的增强信息。这是有益的，因为每一种类型的显示系统170都具有优点和缺点。例如，固定hud系统180提供较大的视场，但是在组合器单元184上观看所投射的图像可能要求操作者维持对挡风玻璃的笔直并且直接的观看。nte显示系统190可以适应于操作者移动，但是具有更为有限的视场。在一些示例性实施例中，nte显示系统190可以被省略，尤其是在固定hud系统180包括用来向控制器110提供操作者视野信息的hud追踪单元186时。以下讨论的示例性实施例可以解决这些缺点而同时维持优点。

图3是可以由图1的系统100渲染的视觉显示300。如上文所指出的，系统100可以包括一个或多个类型的显示系统170，包括组合地或者个体地使用的固定hud系统180和/或nte显示系统190。为了提供以下示例性实施例的清楚描述，已经将图3分离成第一显示部分310和第二显示部分360。第一显示部分310对应于渲染在固定hud系统180上的符号和/或图像，并且第二显示部分360对应于渲染在nte显示系统190上的符号和/或图像。在实践中，这些显示部分310，360将相互覆盖（例如，从操作者的视角来看，部分360在部分310之上）以提供单个图像或视野。

第一显示部分310尺寸设计成表示固定hud系统180的整个或总体视场，其在该实施例中对应于飞行器的挡风玻璃的跨度。类似地，第二显示部分360表示相对于飞行器挡风玻璃的nte显示系统190的视场。典型地，nte显示系统190的第二显示部分360的视场是由固定hud系统180的第一视觉显示部分310提供的更大视场的子集，如由在部分310，360之间延伸的参考线所指示的。然而，在给定自然操作者视力的限制的情况下，操作者仅可以清楚地在给定时间点观看第一显示部分310的部分。该部分可以被称为主视力的圆锥视场，而第一显示部分310的其余部分经受来自外围视力的较不清楚的视场。考虑靠近操作者的眼睛的nte显示系统190的位置，nte显示系统190一般地被限制到主视力的圆锥视场。因此，相对于第一显示部分310的第二显示部分360的观看面积一般地可以表示由操作者在主视力中可见的视场的相对尺寸，即使操作者可以附加地能够利用外围视力来观看第一显示部分310的其它部分。

现在参照在图3中描绘的特定符号，视觉显示300包括交通信息，该交通信息基于经由飞行管理系统140和/或警报系统150从控制器110所提供的数据。如所示的，交通信息包括第一显示部分310上的交通元素312和交通元素314。这些元素312，314表示真实世界飞行器相对于本船飞行器和周围环境的位置。第二显示部分360包括交通元素364。在该情境下，交通元素314和交通元素364表示相同飞行器，使得在操作者的重叠视野中，交通元素314，364将显现为单个交通元素。因此，在操作中，交通元素314，364中的一个可以作为冗余而被省略（例如，在部分310或部分360上示出而不是在二者上都示出）。

第一显示部分310附加地包括表示对应于nte显示系统190的视场的界线370的符号。事实上，界线370表示操作者正直接观看的第一显示部分310的边界。该信息从nte显示系统190的追踪单元194可获得。作为该布置的结果，界线370使得操作者能够利用显示在nte显示系统190上的元素更为快速地并且容易地在视觉上从挡风玻璃标定出景物。可以使用任何类型的符号来表示界线370，包括在图3中描绘的实线、虚线、或者限定对应于视场的区域的任何其它方式。

如上文所讨论的，在一些实施例中，nte显示系统190可以被省略，特别是在固定hud系统180包括hud追踪单元186时。参照图3，在这样的实施例中，第二显示部分360将被省略。然而，第一显示部分310将仍旧显示交通元素312，314和界线370。在该实施例中，界线370对应于主视力视场的边界。界线370的尺寸和位置可以基于来自监控操作者的眼睛和/或头部的位置的hud追踪单元186的数据而确定。

如上文所指出的，人类一般具有自然圆锥视场，其广度可以被限定为从眼睛开始相对于相应距离的所投射的水平、竖直和/或斜线角度，以形成主视场。因此，基于来自追踪单元186（和/或追踪单元194）的信息，操作者的当前主视场可以相对于显示部分310来确定。

图4是依照另一个示例性实施例的可以由图1的系统100渲染的视觉显示400。类似于图3，图4中的视觉显示400已经被分离成第一显示部分410和第二显示部分460。第一显示部分410对应于渲染在固定hud系统180上的符号和/或图像，并且第二显示部分460对应于渲染在nte显示系统190上的符号和/或图像。在实践中，这些显示部分410，460将相互覆盖（例如，从操作者的视角来看，部分460在部分410之上）以提供单个图像或视野。

如上文那样，第一显示部分410尺寸设计成表示固定hud系统180的整个或总体视场，并且第二显示部分460表示nte显示系统190的视场和操作者的主视力视场。现在参照在图4中描绘的特定符号，视觉显示400在第一显示部分410上包括交通元素412和交通元素414形式的交通信息，交通元素412和交通元素414表示本船飞行器附近的其它飞行器。第二显示部分360包括交通元素464。在该情境下，交通元素414和交通元素464表示相同飞行器，使得在操作者的重叠视野中，交通元素414，464显现为单个交通元素或者可以省略元素414，464中的一个。

第一显示部分410附加地包括表示至少部分地对应于nte显示系统190的视场的部分界线元素470，472的符号。特别地与图3的实施例相反，没有描绘主视场或nte视场的整个边界。替代地，界线元素470，472是对于操作者而言可能感兴趣的区域中的该边界的部分。例如，界线元素470靠近交通元素414，由此将操作者的注意力吸引到显示部分410的该方面，同时提供对交通元素414相对于主视力和nte视场的边界的视觉标定和感知。界线元素472靠近交通元素412。在该情况下，交通元素412没有处于主视力视场和/或nte视场中。然而，界线元素472向操作者提供如下指示：在本船飞行器附近可能存在感兴趣的元素（例如，由交通元素412表示的附近飞行器）。

在该示例性实施例中，第二显示部分460还可以包括一个或多个界线元素482，界线元素482可以作为第一显示部分410的界线元素470，472的替代或附加于其而被显示。一般地，界线元素482对应于主视力和/或nte显示系统190的边界的部分，使得在nte显示系统190的第二显示部分460上，这对应于第二显示部分460的外边缘的各部分。在一个示例性实施例中，界线元素482可以充当警报或接近指示符以向操作者指示在nte显示系统190的视野外部可能存在感兴趣的对象。在该情况下，界线元素482表示针对由第一显示部分410的交通元素412表示的飞行器的接近指示符，该交通元素412没有处于第二显示部分460的视场内，但是足够接近以向操作者警报。

第一显示部分410上的界线元素470，472和/或第二显示部分460上的界线元素482可以基于来自飞行管理系统140和/或警报系统150的信息而生成。如上文指出，界线元素470，472，482可以充当最接近感兴趣的相应对象的主视力和/或nte视场的（一个或多个）角落中的警报和/或接近指示符。在一些实施例中，界线元素470，472，482可以具有表示指示符的性质或紧迫性的外观。例如，每一个界线元素470，472，482均可以具有：表示在对象仅仅处于视野的周界上时的接近警报的颜色或外观，表示在对象更为接近主视力视场时的警示警报的颜色或外观，以及表示在对象处于主视场内时的更为紧迫的警报的颜色或外观。

附加于或替代以上讨论的固定hud系统180和/或nte显示系统190，界线（例如，界线370）和/或界线元素（界线元素470，472，482）还可以显示在非透明显示器（诸如虚拟窗户或下视显示器）上以提供操作者的主视力视场的表示。这样的界线或界线元素可以具有与以上讨论的那些类似的特性。

因此，以上讨论的示例性实施例提供了显示器上的主视场的改进表示，该显示器包括固定hud显示系统和/或nte显示系统。这实现了关于所观看的飞行器外部的环境和对象的提高的情境感知，从而提高效率和安全性而不要求附加的下视时间。除以上讨论的系统之外，示例性实施例可以进一步被体现为用于实现以上描述的系统的功能的方法。

可以以功能框图和各种处理步骤的方式描述本发明的实施例。应当领会到，这样的功能框可以以配置为执行各种功能的许多不同形式的硬件、固件和或软件组件来实现。例如，本发明的实施例可以采用各种集成电路组件，例如存储器元件、数字信号处理元件、查找表等，他们可以在一个或多个微处理器或其它控制设备的控制之下实施各种功能。这样的一般技术对于本领域技术人员是已知的并且不在本文中详细描述。

尽管已经在本发明的前述详细描述中呈现了至少一个示例性实施例，但是应当领会到存在大量变形。还应当领会到，一个或多个示例性实施例仅为示例，并且不意图以任何方式限制本发明的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实现本发明的示例性实施例的方便指引图。要理解到，可以在示例性实施例中描述的元件的布置和功能方面做出各种改变而不脱离如在随附权利要求中陈述的本发明的范围。