用于在空中系统中检测障碍物的系统和方法与流程

本发明涉及飞行控制系统、方法和装置的领域；甚至更具体地，涉及用于检测静止和/或移动障碍物和在静止和/或移动障碍物周围自动导航的系统、方法和装置。

背景技术：

飞行器技术(包括无人空中交通工具(“uav”)技术)是一种用于涉及情报、监视、侦察和装备传递的任务剖面的有价值的工具。在操作中，飞行器可能在飞行器的空域内遇到大的障碍物和小的障碍物两者，这些障碍物可能是固定的或移动的，并且其位置事先是不知道的。在飞行器内对障碍物检测和回避的传统形式依赖于飞行员提供寻找飞行器外部的关键职责，以便确保飞行器不发生与诸如另一飞行器的障碍物的碰撞过程。用于防止飞行器与障碍物碰撞的现有技术(包括全球定位系统(“gps”))通常是不够的，因为许多障碍不能经由gps设备识别(或快速识别)，并且取决于海拔高度或地形，gps精度性能跨环境变化很大。

然而，商用航空工业采用交通碰撞回避系统(“tcas”)作为回避碰撞的标准，这允许合作飞行器彼此定位和回避。如能够理解的，合作飞行器指代能够与合作传感器协作的飞行器。例如，合作飞行器可以被装备有tcas(tcasii或更早的一代)，诸如模式s或模式c应答机、ads-b，或者，替代性地，使用其他发射和干扰消息(诸如ads-b)。虽然tcas提出了检测和回避uav的障碍的问题的解决方案，但是如果每个uav和障碍物均包含应答机时，tcas只能够实现该目标。换句话说，合作目标经由无线电(例如，使用ads-b或其他方法)向其他飞行器发送出其位置和航向(例如，gps位置和速率矢量)，然而非合作障碍物不向其他物体(多旋翼飞行器、一般飞行器、鸟等)发送位置和航向信息。此外，经设计用于检测和回避非合作障碍的当前飞行控制系统利用昂贵的雷达阵列来跟踪障碍物障碍并且通常仅与大规模飞行器一起使用。

因此，需要一种系统来检测和回避非合作uav、飞行器和障碍物，同时以合理价格供大型飞行器和小型飞行器两者使用。另外，需要一种开放体系结构系统，其能够快速引入新的能力、增加安全性和传播功能性，而无需大量的费用或重新认证。一种检测和回避飞行器中的非合作障碍物碰撞过程的系统，诸如本文所公开的系统，解决了这些需求，并使新的能力能够以最小的成本或认证负担而被迅速引入。

技术实现要素：

本发明涉及飞行控制系统、方法和装置；甚至更具体地，涉及用于检测静止和/或移动障碍和在静止和/或移动障碍周围自动导航的系统、方法和技术；甚至更具体地，涉及用于检测障碍和在障碍周围自动导航的传感器和交通工具系统、方法和技术。如将要讨论的，自动检测和回避系统检测和回避非合作障碍物，以在各种应用中对各种操作员提供显著的益处。通过举例说明而非限制，自动检测和回避系统可以应用于较小的自动飞行器，其中符合tcas规则是不经济的、不可能的或不期望的，或者作为大型飞行器上的空对空雷达阵列的替代物，以便检测和回避非合作障碍物，否则非合作障碍物将不被检测到。

根据第一方面，一种在飞行器中使用的障碍物检测系统包含：传感器装备/传感器有效载荷(sensorpayload)和处理器，传感器装备用于检测邻近飞行器的第一空域内的非合作障碍物，该传感器装备包含雷达和相机，雷达用于径向地扫描第一空域，以生成具有第一分辨率(resolution)的雷达信息，相机用于对所述第一空域内的第二空域进行成像，以生成高于第一分辨率的第二分辨率下的光学信息；处理器与传感器装备可操作地耦合，其中处理器被配置为确定非合作障碍物的位置，并且根据雷达信息和光学信息识别非合作障碍物。

在某些方面，相机被配置为平移(pan)和倾斜(tilt)。

在某些方面，相机包括长波红外传感器。

在某些方面，相机包括可见近红外电光(eo)传感器。

在某些方面，光学信息包括热横截面和光学横截面中的至少一个。

在某些方面，雷达信息包含雷达横截面/雷达散射截面积(radarcrosssection)。

在某些方面，处理器被配置为将第一空域的数字表示划分为多个径向扇区。

在某些方面，第二空域位于所述多个径向扇区之一。

在某些方面，雷达信息包括第一空域内非合作障碍物的二维(2d)位置，并且光学信息包括第二空域内非合作障碍物的方位角位置。

在某些方面，雷达是机械旋转的海用雷达(marineradar)。

在某些方面，雷达信息包括第一空域的二维(2d)径向映射。

在某些方面，2d径向映射被划分为多个径向扇区。

在某些方面，处理器被配置为从与非合作障碍物相关联的所述多个径向扇区识别与非合作障碍物相关联的一个径向扇区，并指示相机扫描所述径向扇区。

在某些方面，处理器被配置为至少部分基于雷达信息和光学信息生成针对非合作障碍物的预测飞行路径。

在某些方面，处理器被配置为至少部分基于预测飞行路径生成避障导航航路(obstacle-avoidancenavigationalrotue)，以回避与非合作障碍物发生碰撞。

在某些方面，处理器被配置为生成一个或多个命令以致动一个或多个飞行控制器跟随避障导航航路。

在某些方面，飞行器进一步包含人机接口，该人机接口与处理器可操作地耦合，以提供飞行员与飞行器之间的接口。

在某些方面，人机接口被配置为使飞行员能够控制处理器并且与处理器进行通信。

在某些方面，人机接口被配置为显示传感器装备的一个或多个参数。

在某些方面，人机接口包括触摸屏显示器。

在某些方面，人机接口机被配置为经由基于语音的系统在处理器和飞行员之间通信命令。

在某些方面，第一空域提供关于飞行器的360度视场。

在某些方面，360度场驻留在平行于由飞行器限定的飞行航线的平面中。

根据第二方面，一种用于在飞行器的操作期间检测和回避非合作障碍物的方法包含：使用雷达系统扫描第一空域以生成具有第一分辨率的雷达信息；使用相机对第二空域进行成像以生成高于第一分辨率的第二分辨率下的光学信息，其中第二空域在所述第一空域内；至少部分基于雷达信息和光学信息跟踪非合作障碍物；至少部分基于雷达信息和光学信息生成预测飞行路径；生成避障导航航路以回避非合作障碍物；并且将避障导航航路通信到飞行器的飞行控制系统。

在某些方面，飞行器被配置为自动地执行生成的避障导航航路。

在某些方面，相机被配置为平移和倾斜。

在某些方面，相机包括长波红外传感器。

在某些方面，方法进一步包含使用处理器将第一空域划分为多个径向扇区的步骤。

在某些方面，第二空域是所述多个径向扇区之一。

在某些方面，方法进一步包含使用相机确定第二空域内非合作障碍物的方位角位置的步骤。

在某些方面，雷达是机械旋转的海用雷达。

在某些方面，雷达信息包括第一空域的二维(2d)径向映射。

在某些方面，2d径向映射被划分为多个径向扇区。

在某些方面，方法进一步包含经由处理器从与非合作障碍物相关联的所述多个径向扇区识别与非合作障碍物相关联的一个径向扇区的步骤。

在某些方面，方法进一步包含至少部分基于从传感器装备接收的数据经由处理器生成针对非合作障碍物的预测飞行路径的步骤。

根据第三方面，检测邻近飞行器的空域内的非合作障碍物的传感器装备包含：雷达，其径向地扫描空域，以提供非合作障碍物的位置；第一传感器，其检测在该位置处的非合作障碍物的热特征；第二传感器，其对在该位置处的非合作障碍物进行成像；以及处理器，其与雷达、第一传感器和第二传感器中的每个可操作地耦合，其中处理器被配置为使用来自雷达的数据确定非合作障碍物的位置，并使用来自第一传感器的热特征和来自第二传感器的图像对该位置处的非合作障碍物进行分类。

在某些方面，相机包括长波红外传感器。

在某些方面，相机包括可见近红外电光(eo)传感器。

在某些方面，雷达是机械旋转的海用雷达。

本发明的实施例涉及在飞行器中使用的障碍物检测系统，障碍物检测系统可以包括传感器装备和处理器，传感器装备检测可邻近飞行器的第一空域内的非合作障碍物，传感器装备包含：雷达，其径向地扫描第一空域以生成具有第一分辨率的雷达信息，以及相机，其对所述第一空域内的第二空域进行成像以生成高于第一分辨率的第二分辨率下的光学信息；处理器与传感器装备可操作地耦合，其中该处理器被配置为确定非合作障碍物的位置，并且根据雷达信息和光学信息识别非合作障碍物。相机可以被配置为平移和倾斜。相机包括长波红外传感器。相机包括可见近红外电光(eo)传感器。光学信息包括热横截面(thermalcrosssection)和光学横截面(opticalcrosssection)中的至少一个。雷达信息可以包括雷达横截面。雷达信息可以包括第一空域内的非合作障碍物的二维(2d)位置，并且光学信息可以包括第二空域内的非合作障碍物的方位角位置。处理器可以被配置为至少部分基于雷达信息和光学信息生成针对非合作障碍物的预测飞行路径。处理器可以被配置为至少部分基于预测飞行路径生成避障导航航路以回避与非合作障碍物的碰撞。第一空域能够提供关于飞行器的360度视场。360度视场可以驻留在可平行于由飞行器限定的飞行航线的平面中。

本发明的另一个实施例涉及一种用于在飞行器的操作期间检测和回避非合作障碍物的方法，该方法包括使用雷达系统扫描第一空域以生成具有第一分辨率的雷达信息；使用相机对第二空域进行成像以生成可高于第一分辨率的第二分辨率下的光学信息，其中第二空域可以在所述第一空域内；至少部分基于雷达信息和光学信息跟踪非合作障碍物；至少部分基于雷达信息和光学信息生成预测飞行路径；生成避障导航航路以回避非合作障碍物；以及将避障导航航路与飞行器的飞行控制系统通信。飞行器可以被配置为自动地执行生成的避障导航航路。相机可以包括长波红外传感器，其被配置为平移和倾斜。该方法也可以包括使用相机确定在第二空域内的非合作障碍物的方位角位置。雷达可以是机械旋转的海用雷达。该雷达信息可以包括第一空域的二维(2d)径向映射。该方法也可以至少部分基于从传感器装备接收的数据经由处理器生成针对非合作障碍物的预测飞行路径。

本发明的另一个实施例涉及传感器装备，传感器装备检测邻近飞行器的空域内的非合作障碍物，传感器装备包括雷达、第一传感器、第二传感器和处理器，雷达径向地扫描空域以提供非合作障碍物的位置；第一传感器检测该位置处的非合作障碍物的热特征；第二传感器对该位置处的非合作障碍物进行成像；以及处理器与雷达、第一传感器和第二传感器中的每个可操作地耦合，其中处理器可以被配置为使用来自雷达的数据确定非合作障碍物的位置并且使用来自第一传感器的热特征和来自第二传感器的图像将该位置处的非合作障碍物分类。相机可以包括长波红外传感器。相机可以包括可见近红外电光(eo)传感器。

附图说明

本发明的这些优点和其他优点可以参考下面的说明书和附图容易地理解，在附图中：

图1a图示说明示例机组人员自动化(aircrewautomation)的框图。

图1b图示说明在图1a的子系统之间的信息数据的示例流程。

图1c图示说明示例核心平台的框图。

图2图示说明示例核心平台体系结构的示意图。

图3a图示说明第一示例人机接口/人机界面，其图示说明航路应用程序。

图3b图示说明第二示例人机接口，其图示说明程序检查表和飞行器健康警报屏幕。

图3c至图3e图示说明第三示例人机接口，其图示说明障碍物检测主屏幕。

图4图示说明具有感知系统的示例飞行器状态监视系统的框图。

图5a和图5b图示说明示例初级致动系统。

图5c图示说明示例次级致动系统。

图6a图示说明示例雷达及其产生的雷达波束。

图6b图示说明示例红外相机及其产生的与雷达波束相关的红外光束。

图7图示说明具有装备吊舱以容纳障碍物传感器装备的示例固定机翼飞行器。

图8a至图8c图示说明由雷达和红外相机生成的示例混合视场的示意图。

具体实施方式

本发明的优选实施例可以参考附图在下文进行描述。在下面的描述中，众所周知的功能或结构没有被详细描述，因为它们可能以不必要的细节模糊化本发明。对于本公开，可以应用下列术语和定义。

如本文所使用的术语“电路”和“电路系统”指代物理电子元件(即硬件)以及可以配置硬件、由硬件执行以及或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。如本文使用的，例如，在执行第一组一行或更多行代码时，特定处理器和存储器可以包含第一“电路”，并且在执行第二组一行或更多行代码时可以包含第二“电路”。

如本文所使用的，“和/或”指代表中由“和/或”连接的项目中的任何一个或多个。作为示例，“x和/或y”指代三个元素集{(x)，(y)，(x，y)}中的任何元素。换句话说，“x和/或y”指代“x和y的一者或两者”。作为另一个示例，“x，y和/或z”指代七个元素集{(x)，(y)，(z)，(x，y)，(x，z)，(y，z)，(x，y，z)}中的任何元素。换句话说，“x，y和/或z”指代“x、y和z中的一个或多个”。

如本文使用的，术语“示例性”指代用作非限制性的示例、实例或说明。如本文所使用的，术语“诸如”和“例如”设置一个或多个非限制性示例、实例或说明的列表。

如本文所使用的，当被用于修改或描述值(或值的范围)时，词“约”和“大约”指代合理地接近该值或值的范围。因此，本文描述的实施例不仅限于叙述的值和值的范围，而且应该包括合理可行的偏差。

如本文所使用的，电路系统或设备是“可操作的”以执行功能，无论何时电路系统或设备包含执行该功能的所需的硬件和代码(如果有必要的话)，而不论该功能的性能是否被禁用，或未启用(例如，通过用户可配置的设置、工厂配平(trim)等)。

如本文所使用的，术语“空中交通工具”和“飞行器”指代能够飞行的机器，包括但不限于传统跑道和竖直起飞和降落(“vtol”)飞行器二者，并且也包括载人和无人空中交通工具(“uav”)。vtol飞行器可以包括固定机翼飞行器(例如，harrier喷气式飞行器)、旋翼飞行器(例如，直升机)和/或倾斜旋翼/倾斜机翼飞行器。

如本文所使用的，术语“通信”和“与……通信”是指(1)将数据从源发送或以其他方式传达到目的地，和/或(2)将要被传达的通信介质、系统、信道、网络、设备、电线、电缆、光纤、电路和/或链路的数据传递到目的地。

如本文所使用的，术语“数据库”指代相关数据的组织的实体，而不管表示数据或其组织的实体的方式如何。例如，相关数据的组织的实体可以是表格、映射、网格、包、数据报、帧、文件、电子邮件、消息、文档、报告、列表或以任何其他形式呈现的数据中的一个或多个形式。

如本文所使用的，术语“处理器”指代处理设备、装置、程序、电路、部件、系统和子系统，无论是以硬件、有形体现的软件，还是两者实施的，以及其是否可编程。本文所使用的术语“处理器”包括但不限于一个或多个计算设备、硬连线电路、信号修改设备和系统、控制系统的设备和机器、中央处理单元、可编程设备和系统、现场可编程门阵列、专用集成电路、片上系统、包含分立元件和/或电路的系统、状态机、虚拟机、数据处理器、处理设施以及上述任何一种的组合。处理器可以是，例如，任何类型的通用微处理器或微控制器、数字信号处理(dsp)处理器、专用集成电路(asic)。处理器可以耦合到存储器设备或与存储器设备集成。

如本文所使用的，术语“存储设备”指代计算机硬件或电路系统来由存储处理器使用的信息。存储器设备可以是任何合适类型的计算机存储器或任何其他类型的电子存储介质，例如，诸如，只读存储器(rom)、随机存取存储器(ram)、高速缓存存储器、光盘只读存储器(cdrom)、光电存储器、磁光存储器、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、计算机可读介质等。

本文公开的是一种自动检测和回避系统，其被配置为在飞行器的操作期间自动检测和回避障碍物。检测和回避系统可以在几乎任何飞行器(包括配置有飞行员、自动驾驶仪或另一自动飞行控制系统的那些飞行器)中体现。例如，自动检测和回避系统可以被利用在较小的自动飞行器中(其中符合tcas规则是不经济的、不可能的或不期望的)，或者作为大型飞行器上的空对空雷达阵列的替代物，以便检测和回避非合作障碍物，否则非合作障碍物不被检测。

自动检测和回避系统将结合机组人员自动化系统一般地描述，该系统被配置成飞行员的助手(或副驾驶员)或飞行工程师的功能。由jessicae.duda等于2017年3月21日提交的、题目为“aircrewautomationsystemandmethod(机组人员自动化系统和方法)”的共同拥有的美国专利申请no.15/464,786(“786申请”)公开了示例机组人员自动化系统。

如786申请解释的，机组人员自动化系统可以被配置为从起飞到降落操作飞行器，在正确的飞行阶段自动地执行必要的飞行和飞行计划活动、检查表和程序，同时检测突发事件并它们做出反应。同时，可以通过与机组人员自动化系统操作地耦合的直观的人机接口连续地通知飞行员(例如，人类飞行员或另一个操作者)。也就是说，机组人员自动化系统可以向飞行员提供实时信息和/或反馈。例如，机组人员自动化系统可以指示飞行器相对于正在完成的程序的状态。机组人员自动化系统可以被配置为通过机器人致动器控制飞行器，如果需要的话。

不同于现有的机器人自动驾驶仪和飞行员辅助系统(其为侵入性的)需要相当多的安装专业知识并且是飞行器专用的，机组人员自动化系统能够采用系统体系结构和知识获取系统，其使能够快速非侵入的安装，这有助于广泛使用，并使机组人员自动化系统能够快速适应在各种飞行器中使用。进一步地，机组人员自动化系统的数据采集、感知系统和传感器装备系统不局限于gps、加速度、定向和航向，与现有的机器人自动驾驶仪的状况相同。事实上，机组人员自动化系统超过现有数据采集和感知系统的能力，通过采用独立的传感器、仪器图像数据捕获(例如，温度、海拔高度、雷达、襟翼角度等)二者来更好地捕获飞行器性能，以及测量、检测或以其他方式接收飞行员输入。进一步地，机组人员自动化系统的核心平台和初级和次级飞行控制致动系统的设计使得跨各种飞行器成为可能。因此，不同于现有的机器人自动驾驶仪或飞行员辅助系统，机组人员自动化系统可以被临时安装并容易地从飞行器转移到飞行器，而无需对飞行器进行侵入性修改。机组人员自动化系统，通过其模块化设计，进一步降低设计随着飞行器的发展而变得过时的单点解决方案的可能性。

机组人员自动化系统的子系统的组合为飞行员提供了飞行器的物理状态的高保真知识，并且基于例如预测模型通知飞行员在期望状态下的任何偏差。这种状态意识可以直接转化为飞行员的有用信息，诸如警告开发紧急条件、燃料状态计算、结冰条件通知、与障碍物的即将发生的碰撞的警告、通知或检测的非合作障碍等。例如，机组人员自动化系统也可以作为数字飞行工程师，从而通过监视检查表、仪器仪表、发动机状态、空域、飞行状态(flightregime)等来通知飞行员。

这种可以被非侵入性地安装在预先存在的飞行器中的顺行机组人员自动化系统直观地感知飞行器的状态，并且经由其他传感器，导出飞行器状态向量和其他飞行器信息，并且将与期望的飞行器状态的任何偏离通信到飞行员或空中交通管制塔。虽然机组人员自动化系统可以被非侵入性地安装(例如，经由感知系统)，但它可以替代地为侵入性的。例如，机组人员自动化系统可以经由例如飞行器状态监视系统与驾驶舱仪器面板(例如，经由仪器面板的反面)电子地耦合。替代性地，机组人员自动化系统可以是一体的，并且在飞行器制造期间永久被安装。结合致动系统，机组人员自动化系统可以进一步控制飞行器并自动导航飞行器。因此，机组人员自动化系统的各种系统和子系统可以是侵入性的、非侵入性的或它们的组合。

系统级体系结构。为了共用与执行与飞行活动有关的职责和工作量，机组人员自动化系统100应该能够执行飞行员在飞行期间常规地执行的动作，而不考虑飞行器的制造、型号或类型。图1a到图1c示出了根据一个方面的机组人员自动化系统100的示例系统体系结构。如图1a中图示说明的，处理器控制的中央子系统功能用作核心平台102，以经由一个或多个接口来连接一个或多个其他子系统。子系统可以使用有线和/或无线通信协议和硬件通过软件和/或硬件接口156彼此通信。图1b图示说明在各个子系统之间的信息(例如，数据)的示例流程。

机组人员自动化系统100的多个子系统中的每个都可以是模块化的，使得整个机组人员自动化系统100能够快速地基本上被移植到另一个飞行器。例如，各种子系统可以使用一个或多个软件和/或硬件接口156经由核心平台102可移除地和通信地耦合到彼此。然而，在某些方面，机组人员自动化系统100或其部分可替代地与飞行器的系统成一体，从而直接采用飞机中的传感器和指示器。例如，机组人员自动化系统100或其部件可以在其设计和制造期间被集成到飞行器中。

多个子系统可以包括例如感知系统106、致动系统108、人机接口(“hmi”)系统104、飞行控制系统116和障碍物传感器装备162，上述子系统中的每个可与核心平台102操作地耦合。在某些方面，可以经由使用另一个飞行器状态监视系统来减轻或消除对感知系统106的需要。例如，机组人员自动化系统100可以(例如，通信地或电子地)与仪器面板耦合，或者以其他方式与飞行器或其现有系统集成。然而，如所期望的，这种集成可能需要对飞行器或其线路进行一定程度的修改。

机组人员自动化系统100和/或核心平台102还可以包含或可操作地耦合到知识获取系统114和通信系统122。模块化配置进一步使得操作员能够移除/禁用不必要的系统或模块或添加/安装附加的系统或模块。例如，当机组人员自动化系统100被配置为仅经由hmi系统104向飞行员提供信息(即，没有控制飞行器的能力)时，致动系统108可以被移除或被禁用以减少重量、成本和/或功耗。相应地，根据该配置，在不脱离本发明的精神和范围的状况下，机组人员自动化系统100可以被配置有更少或附加的模块、部件或系统。

在操作中，飞行控制系统116基于来自另一个子系统(例如，飞行器状态监视系统112、感知系统106、障碍物传感器装备162等)的信息数据导出飞行器状态，并指引另一个子系统(例如，致动系统108、飞行控制系统116、飞行控制系统116等)以保持飞行器稳定性的方式(例如，动态地)操作。实际上，飞行控制系统116可以从核心平台102接收交通工具模式命令和配置数据，同时向核心平台102发送由飞行控制系统116生成的状态和命令信息。例如，核心平台102可以被配置为至少部分基于可从飞行器状态监视系统112、感知系统106、障碍物传感器装备162和/或其组合获得的飞行状况数据，将更多命令之一通信到飞行器的飞行控制系统116。

飞行控制系统116可以包括现有的飞行控制设备或系统或与现有的飞行控制设备或系统进行通信，所述现有的飞行控制设备或系统诸如在固定机翼飞行器和旋翼飞行器中采用的飞行控制设备或系统。通信系统122使得机组人员自动化系统100能够经由例如网络与其它设备(包括远程或远距离设备)通信。通信系统122可以从核心平台102接收通信命令和配置数据，同时从通信系统122向核心平台102发送状态和响应信息。

核心平台102。图2图示说明示例核心平台102的体系结构图。为了启用交通工具不可知(vehicle-agnostic)机组人员自动化系统100，核心平台102可以是基于处理器的计算机系统，以提供中间件(middleware)或以其他方式便于/服务于中间件，该中间件能够通过初始转变和设置阶段针对于特定飞行器或配置。换句话说，任务控制系统110可以提供操作系统206，该操作系统206向一组操作应用程序202提供服务，并向一组硬件接口204或hmi系统104中的一个或多个输出信号，同时采集和记录启用的那些应用程序所需的数据。

核心平台102作为初级自主代理者和决策者，其利用其获得的知识库综合来自感知系统106、飞行器状态监视系统112、障碍物传感器装备162和hmi系统104的输入，以确定总体飞行器系统状态。核心平台102可以处理来自各种传感器套件的输入，并将得到的信息聚合成对当前飞行器状态的理解。所得到的信息可与飞行器特定文件相比较，飞行器特定文件包含机组人员自动化系统100对飞行员意图的理解、系统健康和对适当飞行器程序的理解，因为它们涉及机组人员自动化系统100的状态估计。所得到的状态知识和相关建议能够经由hmi系统104传递给人类飞行员，或者在某些方面，传递给飞行控制系统116和/或致动系统108来实现自主操作。例如，核心平台102可以将反映在碰撞路径上的相对于飞行器的检测到的非合作障碍物的信息通信到飞行控制系统(例如，飞行控制系统116，其可以是飞行器的现有的飞行控制系统)以用于启动由核心平台102生成的避障导航航路，其中碰撞路径上的非合作障碍物可以通过障碍物传感器装备162被检测。

核心平台102还可以包含飞行数据记录器，例如以提供性能审查能力并提供在飞行中重置的稳健性。机组人员自动化系统100可以进一步生成给定飞行的日志，用于以后的分析，这可以用来便于飞行员训练，飞行员训练能够提供详细的训练和操作飞行任务。日志可以用于结合例如飞行操作质量保证分析、维护分析等。

如图示说明的，核心平台102可以包含任务控制系统110和飞行控制器118，任务控制系统110和飞行控制器118中的每个被配置为经由一个或多个软件和/或硬件接口156(其可以是硬件(例如，永久性的或可移除连接器)和软件的组合)彼此通信和与其他子系统通信。核心平台102能够容纳/托管(host)存储到跟踪飞行器、合作障碍物、非合作障碍物和程序状态的存储器设备的各种软件过程，以及用于趋势分析(预测警告)和机器学习例程的任何模块。在某些方面，机组人员自动化系统100和/或核心平台102可以使用计算机总线和规范(例如，作为接口)，便于发现机组人员自动化系统100内的子系统的硬件部件，而不需要物理设备配置或者在解决资源冲突时的用户干预。这样的配置可以被称为“即插即用”。因此，用户可以经由核心平台102容易地将系统或子系统(例如，模块)添加到机组人员自动化系统100或移除系统或子系统(例如，模块)，而不需要实质性的修改或集成工作。

核心平台102的输出可用于向hmi系统104提供消息。这些消息可以指示，例如，检查表进度、启动突发事件、发出警告、非合作障碍物的位置、潜在的避障导航航路等。硬件和各种计算机也可以被加固并与其他设备共用外壳，诸如感知计算机。如下面所讨论的，核心平台102可以与全球定位系统(“gps”)/惯性导航系统(“ins”)系统154、障碍物传感器装备162和功率管理系统(例如，28vdc电源)可操作地耦合。

任务控制系统110通常包含任务管理器132、标准接口130(例如，stanag接口)、状态意识管理器158和其他操作部件120(例如，硬件和软件控制器和/或接口)，任务管理器132、标准接口130(例如，stanag接口)、状态意识管理器158和其他操作部件120(例如，硬件和软件控制器和/或接口)中的每一个经由一个或多个数据总线124彼此通信耦合。例如，操作部件120中的一个可以是航路管理器160。航路管理器160可以使用来自障碍物传感器装备162的数据来跟踪非合作障碍物和合作障碍物二者，以生成针对非合作障碍物和合作障碍物中的每一个的预测飞行路径。至少部分基于预测飞行路径，航路管理器160可以为飞行器生成避障导航航路，以回避与非合作和/或合作障碍物的碰撞或以其他方式减轻与非合作和/或合作障碍物的碰撞。在生成避障导航航路时，航路管理器160还可以考虑地形和任何飞行器约束，这些约束可以由飞行器配置(例如，多旋翼飞行器相对固定机翼)指示。例如，多旋翼飞行器能够更快速地从水平飞行转变到悬停飞行。其他飞行器约束可在给定飞行器的操作文档中被定义。

核心平台102的开放体系结构允许合并经由数据总线124从系统接收的附加数据。在某些方面，任务控制系统110可以经由交通工具系统接口与飞行器的一个或多个驾驶舱仪器耦合，以采集飞行状况数据。在其他方面，任务控制系统110可以经由飞行器状态监视系统112通过飞行器状态接口采集飞行状况数据，该飞行器状态监视系统112可以经由直接连接到飞行器、感知系统106和/或障碍物传感器装备162来采集或生成飞行状况数据。

如图示说明的，任务控制系统110可以与次级致动系统108b(例如，当需要自主操作时)、感知系统106、障碍物传感器装备162和hmi系统104可操作地耦合，该hmi系统104包括人机接口126(例如，软件和/或硬件，其传输来自飞行员的输入和显示信息给飞行员)和地面站128。任务控制系统110可以经由任务管理器132与飞行控制器118通信。

飞行控制器118可以包括，例如，自动驾驶仪管理器134和交通工具管理器136。交通工具管理器136一般地可负责用于导航和确定飞行器的位置和状态。交通工具管理器136可以与状态估计模块142耦合，状态估计模块142使用经由感知模块138从感知系统106、从障碍物传感器装备162以及经由导航模块140从gps/ins系统154接收的信息来确定飞行器的估计状态。

自动驾驶仪管理器134一般地可基于例如从交通工具管理器136和任务控制系统110接收的信息可负责用于控制飞行器的飞行。自动驾驶仪管理器134控制尤其是飞行控制系统152，该飞行控制系统152可以是新的或预先存在的(并且包含飞行控制器150)，也可以是机组人员自动化致动模块144和飞行器致动模块146。机组人员自动化致动模块144可以控制初级致动系统108a，而飞行器致动模块146可以控制飞行器控制器148(例如，各种飞行表面和致动器)。自动驾驶仪管理器134可被配置为从航路管理器160接收并实施一条或更多条航路，包括避障导航航路。

在某些方面，飞行控制器118的部件可以与飞行控制系统116的某些部件重叠。例如，在某些方面(例如，在不希望冗余和非入侵性集成是可能的情况下)，核心平台102可以利用某些现有的飞行器软件和/或硬件，从而避免需要附加的硬件，诸如某些飞行控制器118部件和/或gps/ins系统154。

开放体系结构。核心平台102作为机组人员自动化系统100的中央子系统或接口，其在开放体系结构中连接和控制剩余的子系统(例如，作为单独的应用程序)。其余的子系统包括，例如，飞行控制系统116(包括任何飞行计划能力)、hmi系统104、致动系统108(例如，在需要时，提供自主操作的初级和次级致动系统)、感知系统106、知识获取系统114、障碍物传感器装备162和其他子系统236。因此，可以经由专用于硬件的特定块的单独应用程序来提供对其他机组人员自动化系统100硬件的控制，这使得能够快速集成新系统或其他外部飞行计划支持技术。

核心平台102的体系结构在过渡(transition)到新飞行器或引入新的飞行计划特征/能力时，具有快速的可移植性和可扩展性。因此，应用程序可用于使机组人员自动化系统100能够获取该飞行器专用的信息或否则根据需要的信息，或者提供新的能力。例如，过渡和设置(setup)能够由在核心平台102或其他子系统内运行的各个应用程序、表示飞行器专用功能以及机组人员自动化系统100能力的不断增长的库来处理，它们能够根据飞行计划、飞行器或机组人员要求来交换。在某些方面，过渡过程可以由机组人员自动化系统100外部的软件应用程序(诸如程序编辑器)支持。

飞行器数据结构208。操作系统206作为中间件、互连可操作的应用程序202、硬件接口204以及其他子系统(诸如知识获取系统114)操作。操作系统206可以采用飞行器数据结构208，其可以包括知识数据库210、程序数据库212和状态数据库214。

飞行器数据结构208通过启用核心平台102来促进交通工具不可知机组人员自动化系统100，以发展完全了解飞行器的系统、它们的配置和维护安全操作必需的程序，以及该飞行器的认证飞行员预计将具有所有其他的知识和专长。飞行器数据结构208可以由知识获取系统114(下面讨论)填充，该知识获取系统包含：关于当前正在运行的飞行器的必需信息(例如，飞行控制模型、操作程序、飞行器系统等)、从内部状态传感器以及其他子系统或传感器(例如，障碍物传感器装备162)接收的数据。

飞行器数据结构208能够在知识获取阶段(例如，在初始设置期间)被填充并调整到专用飞行器，以使其包含操作飞行器所必需的所有信息。例如，当过渡到新飞行器时，知识获取系统114可以执行预定的活动，以便确定飞行器的布局(例如，控制器/读出器，诸如驾驶舱仪器的布局)、性能参数和其他特性。预定义的活动可以包括，例如：(1)生成飞行器系统模型，该模型通知机组人员自动化系统100关于哪些系统在其上以及其配置、致动极限等；(2)程序编纂，其通知机组人员自动化系统100如何在正常和非正常状况下操作飞行器，进一步包括检查表的编纂；(3)空气动力学模型，其通知机组人员自动化系统100飞行器如何飞行，以及对哪些飞行器配置期望什么性能；以及(4)关于任务操作的信息。

核心平台102能够将该信息与来自一组内部状态传感器的数据相结合，这也改善冗余度和系统稳健性，从而允许机组人员自动化系统100生成飞行器状态和系统状态的高度精确估计，并识别偏离期望行为。在飞行操作期间，数据结构利用通过尤其是机组人员自动化系统100、感知系统106、障碍物传感器装备162、hmi系统104以及机组人员自动化系统100内部状态传感器所收集的实时数据被动态地更新。一旦给定飞行器的飞行器数据结构208被填充，飞行器数据结构208就能够被保留在飞行器库中，并被用于相同制造和型号的所有其他飞行器，对于相同制造和型号的所有其他飞行器飞行器乘员自动化系统100可用。由于由机组人员自动化系统100生成和/或采集附加数据，飞行器数据结构208可以被进一步细化。

可操作的应用程序202。核心平台102可以为机组人员自动化系统100提供多个可操作的应用程序202。此类可操作的应用程序202的示例可以包括但不限于正常飞行操作应用程序216、异常检测应用程序218、突发事件操作应用程序220、情报、监视和侦察(“isr”)应用程序222(例如，isr轨道)、趋势识别应用程序238或其他飞行计划专用活动应用程序224，诸如空中加燃料应用程序316和/或传感器装备监视应用程序336。

假设没有突发事件的情况下，正常飞行操作应用程序216能够使机组人员自动化系统100在从起飞到着陆时以预定飞行计划飞行。正常飞行操作应用程序216专用于由特定飞行阶段所需的正常飞行活动的连续执行。预定飞行计划可能由于诸如天气、空中交通管制命令、空中交通等不期望的干扰而在飞行中被修改。例如，预定的飞行计划可以至少部分基于来自障碍物传感器装备162的传感器数据从航路管理器160被避障导航航路或其他航路替换。

异常检测应用程序218采用机器学习技术来监视飞行器状态、集群和分类传感器输入，以便检测非正常状况的存在，并识别是否发生了突发事件。异常检测应用程序218被配置为将感测状态与特定飞行器的可操作的文档中定义的一组阈值(例如，从未超过预定空速、发动机温度等)进行比较。异常检测应用程序218还可以将感测状态与机组人员自动化系统100可用的附加信息进行比较，所述附加信息诸如从障碍物传感器装备162接收的信息，并响应于满足预定或动态确定的阈值(例如，警告阈值等)而生成警报或其他消息。

在突发事件状况的情况下，突发事件操作应用程序220执行由突发事件操作应用程序220所指定的必要的预定检查表、程序和动作，以维持飞行器的安全操作或安全转移飞行。值得注意地，如果观察到偏离期望的性能，飞行员能够被警告到非正常状态，从而减轻或避免潜在的错误。如果飞行器容易受到特定操作错误(例如，飞行员诱发的振荡)的影响，机组人员自动化系统100能够识别和减轻此类事件。如果检测到异常，突发事件操作应用程序220经由hmi系统104通知飞行员并与飞行员交互，并最终执行必要的(一个或多个)程序来响应异常。最后，isr应用程序222和其他飞行计划专用活动应用程序224可以提供指令、算法或信息来执行与任务相关的操作。

趋势识别应用程序238基于例如知识获取系统114提供使用机器学习开发的趋势分析。在某些方面，趋势识别应用程序238可以提供数据，或者以其他方式触发异常检测应用程序218。例如，如果趋势识别应用程序238检测到不希望的趋势，则趋势可以标记为异常并报告给异常检测应用程序218(例如，当非合作障碍物在与飞行器碰撞的过程中被检测到时)。

硬件接口204。关于可操作的应用程序202的各种信息经由例如，初级致动接口226、次级致动接口228、飞行器状态接口230、hmi接口232和其他接口234在核心平台102、初级致动系统108a、次级致动系统108b、感知系统106、障碍物传感器装备162、飞行器状态监视系统112、hmi系统104和其他子系统236之间通信。

人/机接口(hmi)系统104。hmi系统104为飞行员(例如，人类飞行员，无论是在机上的还是远程的)提供控制和通信接口。hmi系统104可配置以操作为飞行计划管理器，使飞行员能够指导机组人员自动化系统100。hmi系统104能够组合玻璃驾驶舱、无人空中交通工具(uav)地面站和电子飞行包(efb)的元件，以实现飞行员和机组人员自动化系统100之间的有效、高效和延迟容忍的通信。一般来说，efb是一种电子信息管理设备，它允许机组人员执行传统上通过使用纸张参考来完成的各种功能。hmi系统104可以包括人机接口126，该人机接口可以基于触摸屏图形用户界面(“gui”)和/或语音识别系统。人机接口126可以采用例如平板计算机、膝上型计算机、智能电话或其组合。取决于飞行员偏好，人机接口126能够在飞行员附近(例如，在操纵杆上—因为检查表经常在操纵杆上，或在膝盖带上)固定。人机接口126可以是可拆卸地耦合到驾驶舱，或者在某些方面，在驾驶舱内采用集成显示器(例如，现有显示器)。

图3a图示说明具有单屏幕触摸界面和语音识别系统的示例人机接口126。hmi系统104作为飞行员和机组人员自动化系统100之间通信的初级通道，使飞行员能够命令任务并从机组人员自动化系统100接收反馈或指令，以改变飞行员和机组人员自动化系统100之间的任务分配，并选择当前启动哪些可操作的应用程序202用于机组人员自动化系统100。如图1b中图示说明的，例如，hmi系统104可以经由核心平台102从机组人员自动化系统100的子系统接收状态信息，同时向核心平台102发送由hmi系统104生成的或由飞行员输入的一个或多个模式命令。飞行员可以是远程的(例如，在地面上或在另一个飞行器上)或在机上的(即，在飞行器中)。因此，在某些方面，hmi系统104可以经由通信系统122通过网络进行远程协助。

人机接口126。如图3a至图3e中图示说明的，人机接口126可以采用基于平板的gui和语音识别接口，以实现声音通信。人机接口126的目标是使飞行员能够基于以类似于飞行员与人类飞行工程师或副驾驶员交互的方法的方式与核心平台的102知识库交互。

人机接口126能够显示机组人员自动化系统100的当前状态(其当前设置和职责)以及当前正在安装哪些可操作的应用程序202，哪些操作应用程序正在运行，并且如果它们是活动的，则可操作的应用程序202正在执行哪些动作。人机接口126的gui显示也可以是夜视护目镜兼容的，使得无论飞行员的眼镜什么样它都可见的。语音识别系统可以用来复制由人类机组人员在通过检查表运行以及在飞行甲板上通信时使用的相同类型的口头通信。在某些方面，语音识别可能受限于由飞行员团队使用的编码通信的相同标准，以最小化系统不能识别命令或改变成不适当的操作模式的可能性。语音识别系统可以被配置为通过声音训练协议学习/识别给定飞行员的语音。例如，飞行员可以说出预定的脚本，使得语音识别系统能够通过飞行员的方言来训练。

人机接口126可以提供状态和/或各种操作的细节，包括：经由机组人员自动化状态应用程序302的整个机组人员自动化系统100、经由感知状态应用程序304的感知系统106、经由传感器装备监视应用程序336的障碍物传感器装备162、经由自动驾驶仪状态应用程序306的自动驾驶仪(在适用的状况下)、经由gps状态应用程序308的gps/ins系统154以及任何其他应用程序或系统状态信息310。人机接口126的显示可以由飞行员定制。例如，飞行员可能希望添加、重组或删除某些显示图标和/或可操作的应用程序202，其可以通过选择和拖动操纵或通过机组人员自动化设置应用程序312实现。人机接口126可以进一步通知飞行员关于飞行器的运行状态，并为飞行员提供指示或建议。

如图示说明的，人机接口126可以提供具有各种可选选项卡的工具栏，诸如航路选项卡328、过程选项卡330、校准选项卡332和应用程序选项卡334。例如，当飞行员选择应用程序选项卡334时，人机接口126可以显示安装在机组人员自动化系统100(例如，核心平台102)上的各种可操作的应用程序202，包括例如正常飞行操作应用程序216、连续操作应用220、机组人员自动化设置应用程序312、量计应用程序314、传感器装备监视应用程序336和空中加燃料应用程序316。然而，可以包括附加的任务应用程序，以便于由机组人员自动化系统100执行期望的任务操作。

选择机组人员自动化设置应用程序312使飞行员能够更改、重新分配或以其他方式编辑机组人员自动化系统100的设置和/或安装可操作的应用程序202。选择量计应用程序314使人机接口126显示飞行器的各种工况，例如，包括：位置、方向、速度、海拔高度、俯仰、偏航等。可以从感知系统106、障碍物传感器装备162或另一个传感器收集的飞行器的各种工况可以显示为字母数字字符或图形刻度盘(例如，根据飞行员的偏好设置)。选择空中加燃料应用程序316图标致使机组人员自动化系统100执行用于便于或协调空中加燃料操作的预定协议。例如，在选择空中加燃料应用程序316时，机组人员自动化系统可以与另一架飞行器协调，以方便加燃料，并执行相同操作的必要的检查表(例如，确保飞行器位置、空速、燃料舱口开启等)。

当飞行员选择航路选项卡328时，人机接口126可以用图标322显示区域映射326，该图标322表示飞行器相对于其各个航路点320沿飞行路径的当前位置。选择(例如，敲击、点击等)图标322致使显示器上的对话框窗口324提供飞行器的各种工况(例如，识别、海拔高度、速度、航向等)。可以使用映射控制窗口318保存、导出、旋转或平移区域映射326。区域映射326可作为静态图像或数据集(或数据库)被保存或导出(例如，经由通信系统122)。当飞行员选择校准选项卡332时，人机接口126可以显示飞行器的校准，从而可以进一步使飞行员能够修改校准。区域映射326可被配置为显示由航路管理器160生成的一个或多个航路352，包括原始航路352a和在适用状况下显示避障导航航路352b(或其他偏差)以回避障碍物344。

hmi系统104可以提供直观的显示和界面，包括检查表验证和从核心平台102的健康警报和飞行器状态的预测(例如，燃料消耗和预计剩余的范围)，以及故障预测和偏航警报(例如，“左发动机egt是高于正常值5度并上升”和“与检测的非合作即将发生的碰撞”)。因此，当飞行员选择程序选项卡330，如图3b中图示说明的，飞行员可以审查和监视检查表项目，以及审查任何健康警报。事实上，hmi系统104的功能是促进检查表监视和/或执行，当感知系统106感知到项目完成时，将项目标记为完成，并在项目未完成时向飞行员提供警告，如基于先前从例如飞行员操作手册(“poh”)中导入的信息。机组人员自动化系统100也监视系统健康，比较当前的系统状态与基于poh和其他知识来源预期的系统，并且指导对突发事件作出适当的反应。在某些方面，随着检查表动作被执行并且hmi系统104适当自动进行到正确的检查表，飞行员或核心平台102能够确认检查表动作。hmi系统104可以给出视觉和听觉警报，以引起飞行员注意到未被注意的检查表项目，显示超出正常范围值的仪器，或在飞行器进行通过飞行计划时预测的事件，它们能够作为一系列的航路点被输入(例如)。例如，如图示说明的，任务列表可以在指示器旁被提供，指示器指示任务是否已经完成、正在完成或需要被完成(例如，包含完成的“勾(√)”图标、“进行中”图标和“要被完成”图标)。同样地，可以提供健康危害的列表，以及一种或相应的图标来指示一个或多个工况超出范围。例如，如果燃料低，可以在低燃料图标旁提供了低燃料指示器。

选择传感器装备监视应用程序336图标使人机接口126显示障碍物检测主屏幕338，诸如在图3c中图示说明的示例障碍物检测主屏幕338。障碍物检测主屏幕338可以显示多个状态/警报窗口，其尤其包括可用的传感器状态窗口338a、检测/回避警报窗口338b以及障碍物位置窗口338c。

可用的传感器状态窗口338a可显示，尤其是，被耦合到障碍物传感器装备162的各种可用的传感器的列表。在其相应的传感器名称和/或图标的附近可以提供状态(例如，可操作、故障、服务到期、需要的校准等)。检测/回避警报窗口338b可以至少部分基于来自障碍物传感器装备162的数据显示一个或多个警报。警报可以在飞行器的视场内提供关于任何障碍物(例如，合作和非合作的障碍物)的信息，包括任何检测到的障碍物的存在和位置。警报可以按照其相对彼此的重要性被自动地组织。为此，每个警报类型可以被分配权重(或等级)使得警报基于层次被列出和被分类。例如，即将发生的威胁(例如，即将发生的碰撞威胁-诸如障碍物在预定的距离342a内的)可以首先被列出，其次是中间的威胁(例如，障碍物超出预定的距离342a，但在第二预定距离342b内)，且最后是一般的状态警报(例如，障碍物在飞行器的视场内)。在某些方面，警报可以是颜色编码，使得即将发生的威胁是第一种颜色(例如，红色，可能伴随着听觉的声音)，中间的威胁是第二种颜色(例如，黄色)，以及一般的状态警报是第三种颜色(例如，绿色、黑色等)。障碍物位置窗口338c可以提供通过检测/回避警报窗口338b提供的警报的图形化表示340(及其它信息)。操作者可以经由人机接口126选择图形表示340以放大障碍物位置窗口338c和/或图形表示340，其中的一个示例在图3d中图示说明。

参考图3d，障碍物位置窗口338c可以被放大以详细显示图形表示340。例如，图形表示340可以图示说明在飞行器346的视场342c内检测到的(例如，通过障碍物传感器装备162)所有障碍物344。障碍物344可以是例如，合作障碍物(例如，合作飞行器)或非合作障碍物(例如，非合作飞行器和其他飞行物体，诸如鸟类)。至少基于障碍物距离飞行器346的接近度(依据竖直/海拔高度和水平距离)，视场342c内的障碍物344中的每一个障碍物可以被示为即将发生的威胁障碍物344a、中间威胁障碍物344b和/或非威胁障碍物344c中的一个。例如，如果障碍物344在飞行器346的预定距离342a内，可以识别出即将发生的威胁障碍物344a，而如果障碍物超出飞行器346的预定距离342a但是在第二预定距离342b内，则可以识别中间威胁障碍物344b。在视场342c内但不在第二预定距离342b内(或者在与飞行器346相距充分不同的海拔高度处)的障碍物342可以被识别为非威胁障碍物344c。虽然图3d的图形表示340一般依据两个维度(例如，由x轴线和y轴线定义的x-y平面)的接近性被图示说明，但是图形表示340可以被图示说明为类似于三维描绘(x轴线、y轴线和z轴线)，以更好地图示说明接近飞行器346的被检测到的障碍物344，其中的一个示例在图3e中图示说明。为了在二维和三维视图之间切换，操作者可以选择(例如，点击以切换)2d/3d图标348。当在三维视图中，操作者可以使用平移/旋转图标350进一步平移和/或旋转图形表示340，或者由通过轻敲和拖动移动直到操作者已经达到期望的视图来简单地接合图形表示340。在某些方面，任何盲点(即，不被传感器监视的空域)可以被图示为阴影，以指示操作者在该阴影区域的空域中可能存在潜在障碍物。

除了接近度之外，图形表示340可以提供障碍物344的各种工况。例如，对于每个检测到的障碍物344，图形表示340可以显示尤其是识别(例如，尾号，如果已知的话)、海拔高度、速度、航向、状态(例如，合作或非合作)等。工况也可以用作确定对于给定障碍物344飞行器346的威胁状态的因素。例如，核心平台102可以(至少部分基于来自障碍物传感器装备162的数据)确定障碍物344(基于当前位置，该障碍物应该是非威胁障碍物344c)可以基于非威胁障碍物344c在预定时间段(例如，短时间段，例如，1至10分钟，或约1分钟)内的速度和/或航向成为即将发生的威胁障碍物344a(或中间威胁障碍物344b)。在这种状况下，核心平台102可以适当地将障碍物344从非威胁障碍物344c逐步升级为即将发生的威胁障碍物344a(或中间威胁障碍物344b)，而不管障碍物344的当前位置距离飞行器346的接近度。

任务分配。hmi系统104能够使飞行员能够限制由机组人员自动化系统100执行的活动(如果有的话)。hmi系统104可以定义飞行员和机组人员自动化系统100之间的任务分配、它们的职责和两者之间的信息通信，从而起到飞行员的合作伙伴的作用。因此，机组人员自动化系统100可以根据配置，以纯粹的咨询角色(即，没有对飞行器的任何控制)、完全自主的角色(即，控制飞行控制而无飞行员干预)或具有控制飞行控制器的能力的咨询角色而操作。hmi系统104可进一步被设计成使飞行员能够进入过渡阶段，在过渡阶段，飞行员指定机组人员自动化系统负责的飞行操作的各个方面。例如，hmi系统104可以显示任务列表，其中飞行员可以选择机组人员自动化系统100或飞行员是否对列表上的给定任务负责。任务列表可以从下面描述的程序编辑器提供给hmi系统104。一旦飞行器数据结构208已被填充和细化，使得飞行员更好地信任机组人员自动化系统100，飞行员可以允许机组人员自动化系统100执行附加的动作，将飞行员从初级模式过渡为监督模式(即，完全自主的角色)。在这种监督模式中，飞行员交互可以是高的、基于目标的级别，其中hmi系统104支持这些任务以及允许操作员对其他级别的故障排除进行了解。如上所述，在某些方面，所有任务可由飞行员执行，而使机组人员自动化系统100服务咨询角色。

模式意识(modeawareness)。在采用任何自动化系统时的风险在于对飞行员而言可能造成模式混淆(例如，飞行员忽略了一项任务，认为自动化系统将处理这项任务)。hmi系统104通过首先生成正确的功能以及在机组人员自动化系统100和飞行员之间的上述任务分配来避免这种模式混淆。事实上，hmi系统104允许飞行员经由人机接口126直接命令和配置机组人员自动化系统100，并显示飞行员所需的信息，以了解机组人员自动化系统100正采取什么行动以确保模式意识。换句话说，模式意识通常是指系统的模式与由操作员期望的可操作模式匹配的状态。人机接口126可以显示必要的信息，以确保飞行员始终意识到机组人员自动化系统100正在运行的模式。附加地，hmi系统104用作各个任务应用程序(例如，可操作的应用程序202)的人机接口。

飞行器状态监视系统112。飞行器状态监视系统112采集、确定或以其他方式感知实时飞行器状态。如上所述，飞行器状态监视系统112可以通过尤其是与飞行器和/或感知系统106的直接连接(例如，与飞行器集成或以其他方式硬连接)来感知实时飞行器状态。飞行器状态监视系统112可以进一步要么直接要么经由核心平台102被耦合到障碍物传感器装备162，以获得反映邻近飞行器的空域中的任何障碍物344的信息。

当使用感知系统106时，飞行器状态监视系统112可以包括专用控制器(例如，处理器)或共用感知系统106的控制器402。例如，感知系统106可以采用视觉系统、声学系统和识别算法的组合来读取或理解由驾驶舱仪器显示的飞行状况信息。示例驾驶舱仪器包括，例如，海拔高度计、空速指示器、竖直速度指示器、一个或多个罗盘系统(例如，磁罗盘)、一个或多个陀螺系统(例如，姿态指示器、航向指示器、转向指示器)、一个或多个飞行指示器系统、一个或多个导航系统(例如，甚高频全向信标系统(“vor”)、无指向性无线电信标(“ndb”)等。感知系统106可以包括处理器和一个或多个光学传感器(例如，三个或三个以上轻质机器视觉相机)，所述光学传感器在仪器面板上被训练以将像素密度、眩光稳健性(glarerobustness)和冗余最大化。一个或多个光学传感器可以通过硬线连接(诸如以太网)被连接到感知计算机。一个或多个光学传感器应该被安装成对仪器面板具有视线，从而减轻飞行员的障碍。

由感知系统106和/或飞行器状态监视系统112感知的飞行状况数据可被实时编码并提供给核心平台102。核心平台102的开放体系结构允许将经由数据总线124接收的附加数据并入以增强由感知系统106或障碍物传感器装备162生成的飞行状况数据。如图1b中图示说明的，例如，飞行器状态监视系统112和/或感知系统106可以从核心平台102接收命令和配置数据，同时发送到核心平台102状态和由感知系统106收集的飞行状况信息(例如，飞行状况数据)或者由飞行器状态监视系统112以其他方式采集的飞行状况信息。

图4图示说明示例感知系统106，其尤其是与核心平台102(其耦合到其他子系统，诸如飞行控制系统116)、gps/ins系统154和障碍物传感器装备162可操作地耦合。感知系统106在视觉上和/或声学上监视，尤其是驾驶舱仪器以生成飞行状况数据，该飞行状况数据能够被用于从驾驶舱布局中获得飞行器状态，驾驶舱布局的范围可以从基本模拟飞行器仪器到高度集成的玻璃驾驶舱航空电子设备套件。除了导出物理状态信息(诸如空速和海拔高度)之外，感知系统106还可以监视针对飞行器系统的仪器，诸如燃料量计和无线电，并提供关于致动系统108的状态和定位的次级反馈。

如图示说明的，感知系统106可以包含感知控制器402，该感知控制器与数据库404和多个传感器(诸如相机410(用于视觉系统)、麦克风408(用于声学系统))和/或其他传感器406(例如，温度传感器、位置传感器、惯性传感器等)可操作地耦合。例如，感知控制器402可以是处理器，其被配置为基于接收和操纵从多个传感器、数据库404和外部部件(诸如gps/ins系统154和障碍物传感器装备162)接收到的信息来向核心平台102反馈飞行状况数据(或以其他方式指示)。

视觉系统。感知系统106可以采用单目或立体视觉系统，可能包括运动捕捉标记，通过读取显示在驾驶舱仪器上的内容来持续监视飞行器的状态。在某些方面，通过比较来自两个有利点的场景的信息，能够通过检查两个面板中障碍的相对位置来提取3d信息。视觉系统可用于精确地监视仪器(例如，玻璃量计、物理蒸汽量计等)和开关，以及它们在各种照明条件和驾驶舱布局和尺寸中的位置。使用立体视觉系统和/或标记还提供感测，以防止任何机器人部件与飞行员之间的碰撞。

视觉系统可以采用一套高清晰度、立体声相机和/或lidar激光扫描仪。该系统能够识别来自所有飞行仪器的数据，并导出显示飞行器特定系统状态(例如，剩余燃料)的开关旋钮和量计的状态。它还能够以足够的分辨率来识别面板的状态，以检测由于飞行员动作而产生的微小变化。感知系统106的计算机上的机器视觉算法“读取”仪器(量计、灯、风修正角面板、初级飞行显示器或玻璃驾驶舱中的多功能显示器的各个元素)和机械项目(诸如节流杆、配平设置、开关和断路器)，这样提供对核心平台102的实时驾驶舱状态更新。

感知系统106能够从范围从基本模拟飞行器仪器到高度集成的“玻璃驾驶舱”航空电子套件的驾驶舱布局中导出飞行器状态。通过视觉系统，避免来自飞行器的数据馈送的要求，从而允许/增加跨飞行器的可移植性。然而，在可能的状况下，机组人员自动化系统100也可以被耦合到飞行器的数据馈送(例如，通过数据端口)。此外，使用针对核心平台102描述的应用方法，能够使用不同的下层可操作的应用程序202来寻址和理解不同的驾驶舱布局。例如，机组人员自动化系统100可以采用量计应用程序314导出显示在仪器上的值，无论是图形刻度盘(例如，模拟“蒸汽”量计或其数字表示)还是玻璃驾驶舱。该方法还将使机组人员自动化系统100能够运行可操作的应用程序，该应用程序监视尤其是显示在驾驶舱中的天气雷达、交通显示器和地形地图。

为了使机组人员自动化系统100具有可移植性，通过感知系统106设计解决了快速获悉新的驾驶舱布局和编码仪器的位置和缩放比例或单元中的细微差别的过程。例如，在初始知识获取阶段，能够为特定飞行器编码以及验证仪器和开关的位置和比例，减少提取图形标度盘(圆形标度盘)的位置或编号(玻璃驾驶舱)，是图形标度盘量计、是crt显示器还是lcd等的实时任务。驾驶舱仪器的分段(piece-wise)平面结构使感知系统106能够对图像进行分析(例如，使用单应性方法)并将其记录在初始知识获取阶段生成的预映射数据上。相应地，现场图像能够被记录并与先前注释的模型进行比较，从而大大简化数据的解译。

致动系统108。当需要时，致动系统108执行经由核心平台102命令的动作，以引导飞行器的飞行和总体操作。机组人员自动化系统100的致动系统108执行由核心平台102命令的动作，以引导飞行器的飞行和总体操作，而不干扰由飞行员执行的活动。例如，如图1b中图示说明的，致动系统108可以从核心平台102接收致动命令和配置数据，同时发送到核心平台102状态以及由致动系统108生成的响应信息。

载人飞行器驾驶舱是为人类到达的包络线设计的，且因此，所有驾驶舱控制由尺寸相当的机器人/机械操纵器是可达到的。然而，能够在高重力(g)和振动环境下利用紧急操作所需的快速执行在每一个单一可能的驾驶舱上致动每一个单一开关、旋钮、阀杆和按钮的操纵器相比机组人员自动化系统100所期望的将是昂贵的、沉重的和较侵入性的。

为了更有效地实现跨飞行器的可移植性，机组人员自动化系统100可以从次级飞行控制(例如，开关、旋钮、摇杆、保险丝等)的致动中分离初级飞行控制(驾驶杆(stick)/操纵杆(yoke)、驾驶杆、侧驾驶杆(side-stick)或总距杆(collective)、方向舵踏板、制动器和节流器)的致动。这种方法降低设计单点解决方案的可能性，单点解决方案随着飞行器的发展变得过时。因此，机组人员自动化系统100可以采用初级致动系统108a和次级致动系统108b来物理地控制驾驶舱中的致动器。更具体地，初级致动系统108a可以致动初级飞行控制，而次级致动系统108b可以致动次级飞行控制，而不妨碍飞行员使用这些控制。初级致动系统108a和次级致动系统108b被配置为共同致动在飞行操作期间呈现在现今的飞行甲板上的所有标准控制。

如下面所讨论的，初级致动系统108a着重于致动初级飞行控制(驾驶杆/操纵杆、驾驶杆、侧驾驶杆或总距杆、方向舵踏板、制动器和节流器)，而次致动系统108b着重于致动不易被初级致动系统108a所接近的控制，诸如次级飞行控制(例如，开关、旋钮、摇杆、保险丝等)。

初级致动系统108a。初级致动系统108a着重于安全操作飞行器所必需的一组控制。如图5a和图5b中所示，初级致动系统108a包括具有铰接臂502(例如，机器人附件或“臂”)的框架516和致动初级飞行控制的驾驶杆/操纵杆致动器510(操纵杆、驾驶杆、侧驾驶杆或总距杆、方向舵踏板、制动器和节流器)和其他容易到达的控制。致动器可以是线性(直线)致动器、旋转(圆形)致动器或振荡致动器中的一个或多个，其可以通过电气、气动和/或液压技术中的一种或更多种被驱动。

框架516可以被设计尺寸、形状以装配在标准飞行器的座椅内。为此，框架516的占用空间应该与平均的人类“坐”占用空间尺寸相同或小于平均的人类“坐”占用空间尺寸。致动系统108可以使用轻质金属、金属合金和/或复合材料制造。

驾驶杆/操纵杆致动器510。驾驶杆/操纵杆致动器510可以使用驾驶杆/操纵杆夹持器512与飞行器的现有驾驶杆/操纵杆514耦合并接合。驾驶杆/操纵杆夹持器512可以被设计尺寸和形状，使得其是通用的并且能够接合各种形式的驾驶杆/操纵杆和/或控制轮。驾驶杆/操纵杆致动器510可以被配置为向前/向后、向左、向右以及向它们之间的位置移动驾驶杆/操纵杆514。驾驶杆/操纵杆夹持器512可以进一步包含一个或多个致动器，用于致动位于驾驶杆/操纵杆514上的按钮和/或开关。

铰接臂502。致动器控制的铰接臂502可以被设计尺寸、形状和配置成占据通常由副驾驶员的手臂所占据的空间，从而确保跨飞行器的可移植性。为了能够以多个自由度(“dof”)移动，铰接臂502可以包含使用多个铰接或枢轴接头506结合的多个臂段(无论是线性的、弯曲的还是有角度的)。铰接臂502可以包含在其远端处的夹持器504。夹持器504可以经由多dof连接与铰接臂502耦合。铰接臂502的基座可以经由可移动基座508可旋转地和可滑动地耦合到框架516。例如，铰接臂502可以与上部基座508a耦合，该上部基座508a可滑动地与下部基座508b耦合，该下部基座508b可以固定到框架516。上部基座508a可以使用例如导轨和滚珠轴承的组合相对于下部基座508b滑动。在某些方面，上部基座508a可以沿x轴线和y轴线相对于下部基座508b滑动。

铰接臂502能够为其自由度的每一个配备编码器(例如，双18位编码器)，以确保铰接臂502的精确定位。可以在每个铰接或枢轴接头506处提供内部离合器，使得铰接臂502能够在需要时由飞行员压制(overpower)，而不会损坏铰接臂502。在这种情况下，机组人员自动化系统100可以使用编码器确定铰接臂502的定位或位置。

夹持器504可以经配置以耦合或以其他方式接合如节流杆等。夹持器504也可以提供力和压力检测，从而允许机组人员自动化系统100估计如何掌握飞行控制致动器以及调整运动以正确地投掷它。一旦运动被执行，可以使用相同的反馈来确定是否已经实现了期望的开关配置。在某些方面，铰接臂502可以被装配有电子设备(例如，归航设备)，该电子设备使其能够找到并击中障碍物。

次级致动系统108b。不同于初级飞行控制(其通常位于跨飞行器的制造和类型的同样附近)，次级飞行控制(例如，航空电子设备、开关、旋钮、摇杆、切换、覆盖的开关、保险丝等)的位置不一致或空间上包含从飞行器到飞行器。

次级致动系统108b着重于致动不易被初级致动系统108a所接近的控制。例如，一些开关甚至可能在机顶面板上直接位于机长的头部上方，这使得它很难用机器人臂操纵它们(特别是在湍流飞行条件下)。因此，一些致动器可以被分配给上述初级致动系统108a，而其他致动器可以被分配给自包含的次级致动系统108b。

次级致动系统108b可以以可适应性调整的xy-绘图仪(xy-plotter)或龙门(gantry)系统的形式被提供，该xy-绘图仪或龙门系统被直接安装在感兴趣的面板上，并校准到正在操作的特定面板上。次级致动系统108b优选是通用的和可调整尺寸的。图5c图示说明示例xy-绘图仪。xy-绘图仪可以包含作为绘图仪的导轨520的方形框架、具有能够操纵感兴趣的控制的多个接口(例如，开关致动器532和旋钮致动器530)的可旋转多用工具528以及沿y轴线导轨522组和x轴线导轨524组在框架内移动该多用工具526的控制系统。

在使用时，绘图仪将多用工具528移动到位置，选择正确的操纵器接口，并操纵感兴趣的次级飞行控制。例如，多用工具528能够使用开关致动器532翻转二进制开关和/或覆盖开关，并且能够使用旋钮致动器530扭转旋钮。开关致动器532和/或旋钮致动器530可经由铰接或旋转构件(诸如可旋转开关臂534)被耦合到多用工具528。

当未使用时，多用工具526可以返回到原位置(例如，自动导航到偏远角落)以防止妨碍面板。多用工具526会被配备有传感器(例如，接近度传感器)，以便当它检测到飞行员的手时能够让开。在新飞行器上的绘图仪的初始设置过程中，次级飞行控制面板的位置、类型和定位可以被编码。一旦对特定的次级飞行控制面板进行编码，就能够将配置保存到飞行器数据结构208，并在机组人员自动化系统100安装在同一飞行器或同样类型的飞行器上时被加载。在某些方面，可以向定位在例如驾驶舱的脚部空间，诸如脚踏板(例如，制动器和/或方向舵踏板)中的致动控制器提供附加的致动器。

障碍物传感器装备162。障碍物传感器装备162可以采用多个传感器来识别和监视飞行器外部的障碍物。在一个实施方式中，障碍物传感器装备162可以被直接耦合到核心平台102，或者经由另一个系统，诸如飞行器状态监视系统112、飞行控制系统116或现有的飞行器系统被耦合到核心平台102。障碍物传感器装备162或其部件可以被进一步配置为与飞行器的其他系统或机组人员自动化系统100无线通信。如图1b中图示说明的，例如，障碍物传感器装备162可以从核心平台102接收命令和配置数据，同时向核心平台102发送关于由障碍物传感器装备162收集的任何合作和非合作障碍物的障碍物信息。

如上所述，障碍物传感器装备162可以被可操作地连接到核心平台102，以使机组人员自动化系统100的航路管理器160生成避障导航航路，以例如至少部分基于障碍物信息回避由障碍物传感器装备162检测到的一个或多个障碍物。此外，障碍物传感器装备162可以将采集的障碍物信息传送到飞行器状态监视系统112，以警告操作者(例如，经由人机接口126)可能的碰撞、障碍物位置或其其他参数。在一个方面，障碍物传感器装备162可以同时采用雷达传感器412和相机(例如，红外相机414—带有红外传感器的相机、可见近红外eo传感器416或其他光学传感器418)来监视邻近飞行器的空域以检测沿着其轨迹在其视场内的合作和非合作障碍物等。

障碍物传感器装备162将多个感测模态集成到用于跟踪合作和非合作目标二者的单个包中，实施最近的回避算法，并定义开放的体系结构，从而未来的感测模态或回避算法能够被容易地集成。障碍物传感器装备162利用跨电磁频谱的多个感测模态来确定与空域中的非合作目标相关的信息。障碍物传感器装备162采用多个用于非合作感测的传感器，包括雷达传感器412、长波红外(热)传感器414和可见近红外线电光(eo)传感器416，雷达传感器412扫描物体(例如，金属物体)的空域，长波红外(热)传感器414扫描热特征的空域，可见近红外线电光(eo)传感器416扫描空域以识别和帮助分类物体。

障碍物传感器装备162能够帮助飞行员作为适用于所有形式飞行器的外部感知的另一组“眼睛和耳朵”。在一种实施方式中，例如，障碍物传感器装备162提供物理飞行员(无论是随飞行器在空中，还是在地面上)附加的态势意识。在另一种实施方式中，障碍物传感器装备延伸到物理飞行员的输入之外，并能够直接与线传飞控系统(fly-by-wiresystem)集成，允许它在失去链路场景期间接管飞行器的控制。因此，虽然主要结合机组人员自动化系统100讨论障碍物传感器装备162，但是障碍物传感器装备162可以作为附加系统提供给几乎任何飞行器(例如，组2-3无人飞行器系统)以执行检测和回避，这样能够使飞行器在国家空域内飞行。

雷达传感器412。图6a图示说明示例雷达传感器412及其产生的雷达波束600a。雷达传感器412可以被机械地旋转以提供360度的视场。雷达传感器412可以是，例如，有源电子扫描阵列、无源电子扫描阵列、超材料电子扫描阵列雷达、天气雷达或海用雷达。为了便于与小型飞行器一起使用，雷达传感器412优选是紧凑、轻质和成本低的。合适的雷达传感器412包括海用雷达，诸如古野drs4d-nxt固态多普勒雷达(furunodrs4d-nxtsolid-statedopplerradar)，其为16磅，并且约24”(l)×24”(w)×9”(h)。古野drs4d-nxt雷达提供了2°(v)×25°(h)的视场，可调天线旋转速度为24、36和48rpm，且范围可达36英里。

雷达传感器412可被配置为针对合作和非合作障碍物监视飞行器附近的空域(例如，飞行器700周围的圆形空域)。如图示说明的，当处于固定位置时，雷达传感器412在y°处提供相对窄的水平波束宽度(whorz.)，但在z°处提供宽的竖直波束宽度(wvert.)，从而导致雷达监视的空域的径向锥体。具体地，取决于海用雷达的规格，雷达传感器412可以提供2°(h)(例如，y°＝360°划分成出的2°)×25°(v)(例如，z°＝360°划分成出的25°)视场。如可以理解的，来自雷达传感器412的雷达波束600a的波束尺寸作为从雷达传感器412到障碍物的距离的函数(例如，线性函数)而增加。具体而言，参考图6a，距离y604处的雷达波束600a的横截面尺寸大于距离x602处的横截面尺寸。例如，假设2°(h)×25°(v)视场，离雷达传感器412六英里(即，距离x＝6英里)的横截面尺寸以体素表示可以为2,200英尺(h)×14,000英尺(v)，而在36英里(即，距离y＝36英里)处的光束尺寸可以是13,000英尺(h)×84,000英尺(v)。注意，光束尺寸在水平(h)宽度与竖直(v)宽度方面的比值沿距离基本保持恒定。

为了提供更大的覆盖范围，雷达传感器412可以被配置为使用机械旋转的基础结构旋转。例如，机械旋转的基础结构可以经由驱动轴与雷达传感器412耦合，以提供机械旋转的雷达系统，以在飞行器周围以径向图案扫描空域。旋转雷达传感器412提供围绕飞行器(在x-y平面)的全360°覆盖和25°方位角视场(在x-z平面)。雷达传感器412可以以预定的旋转速度连续旋转，诸如20到80转/分钟(rpm)，更优选地是40到60rpm，最优选地是48rpm(例如，0.8hz)。虽然雷达传感器412与其他技术相比具有较差的分辨率，但是雷达传感器412的显著优点是其范围和相对较低的成本。

雷达传感器412可以被容装在圆顶中或其他结构中以保护雷达设备。圆顶的几何形状可以是空气动力学的，以减轻在空气中行驶时的阻力。圆顶优选地由对无线电波透明的材料制造，并且防止污染物(例如，冰、冻雨、灰尘、碎片等)直接积聚在雷达设备(诸如雷达天线的表面)上。在旋转/转动雷达碟形天线的情况下，圆顶还保护天线免受由于风引起的碎片和旋转不规则物。在操作中，雷达传感器412可以将采集到的雷达数据与由可用于障碍物传感器装备162的其他传感器(或数据源)采集的数据进行组合，以便与核心平台102通信。

相机/光学传感器。如上所述，障碍物传感器装备162进一步采用被配置成平移和倾斜的一个或多个光学传感器(例如，相机)，诸如扫描空域用于热特征的红外相机414和扫描空域以识别和帮助分类对象的可见近红外电光(eo)传感器416。因此，虽然将主要描述红外相机414，但是除了或代替红外相机414之外，也可以类似地使用其他光学传感器418，包括，尤其是紫外光、可见光、近红外、短波红外、中波红外、长波红外(lwir)、测辐射热计、光电相机、激光雷达(lidar)、led投影、结构光、多视图重建等。

图6b图示说明示例红外相机414及其产生的相对于雷达波束600a的红外波束600b。该红外相机414可以是长波红外(lwir)相机。红外相机414的优点是其热成像功能。为了便于随小型飞行器使用，红外相机414像雷达传感器412一样，优选是紧凑、轻质和成本低的。合适的红外相机414包括flir模型m-612l热夜视系统(flirmodelm-612lthermalnightvisionsystem)，其为9磅和大约7”(l)×7”(w)×12”(h)。flir模型m-612l提供了640×480vox微测辐射热计传感器、具有12°(h)×9°(v)(ntsc)视场的50mm焦距长度，以及缩放功能。

像雷达传感器412一样，红外相机414可以被配置为针对合作和非合作障碍物二者监视飞行器周围的空域，但是是以较高的分辨率和较短的范围。如图示说明的，当处于固定位置时，红外相机414在y°处提供水平光束宽度(whorz.)，该水平光束宽度宽于在z°处的竖直光束宽度(wvert.)。具体地，根据红外相机的规格，红外相机414可以提供12°(h)(例如，y°＝360°划分成出的12°)×9°(v)(例如，z°＝360°划分成出的9°)视场，但其他视场是可用的，诸如24°×18°、25°×20°等。例如，基于12°(h)×9°(v)视场，红外光束600b在6英里(例如，距离x＝6英里)处的横截面尺寸可以是7000英尺(h)×5200英尺(v)。红外光束600b的横截面尺寸根据距红外相机414的距离的函数线性增加，然而分辨率随着距离减小。然而，红外相机414提供了比雷达传感器412显著更大的分辨率。例如，在6英里处，红外相机414能够提供每像素11英尺×11英尺的像素覆盖范围，红外相机414的分辨率比雷达传感器412在同样距离处大大约500倍。

与距离x602处的雷达波束600a相比，距离x602处的红外相机414的红外光束600b沿竖直轴线(z轴线)大约为一半尺寸。为了补偿沿竖直轴线的较窄视场，红外相机414可以被配置为平移和倾斜。例如，红外相机414可以被配置为上和下倾斜(例如，+/-90°)以扩大竖直视场，同时还配置为左(左舷)和右(右舷)平移(即，旋转360°以提供连续的平移)以扩大水平视场。红外相机414可以连续或逐步(例如，增量锁步)平移，每个步为径向扇区。在某些方面，红外相机414可以连续地左/右平移并上/下倾斜以覆盖雷达传感器412的不确定体素(例如，25°×2°)。事实上，红外相机414可以提供可测量的视场，该视场等于或大于联邦航空局(faa)所规定的视场。因此，虽然红外相机414遭受较差的范围和较窄的竖直视场(例如，使得难以提供360度覆盖)，但是红外相机414的优点是其高分辨率。

与雷达传感器412一样，红外相机414(或另一种相机类型，如情况可能)可以容纳在圆顶或其他结构中以保护相机设备，相机设备可以包括光学透明部分以便于红外相机414的操作。雷达传感器412和红外相机414可以共用圆顶(例如，单个装备吊舱)，或者被定位在单独的圆顶中，这些圆顶可以共同定位或单独地定位在飞行器上。在操作中，红外相机414可以将采集到的红外相机数据与障碍物传感器装备162可用的其他传感器(或数据源)采集的数据进行组合，以用于与核心平台102通信。

通过图示说明的方式，被配备有障碍物传感器装备162的飞行器可以(1)经由雷达传感器412以第一分辨率在已知距离和速率下检测非合作障碍物，以及(2)经由相机(例如，红外相机414、可见近红外eo传感器416或其他光学传感器418)以第二分辨率(即，较高的分辨率)对非合作障碍物进行成像。处理器，无论是与障碍物传感器装备162集成还是作为核心平台102的一部分，都可以将来自雷达传感器412的信息与相机相结合，以识别非合作障碍物。例如，处理器可以将来自雷达传感器412的雷达横截面与来自可见近红外eo传感器416的光学横截面和来自红外相机414的热横截面进行组合。

如本领域普通技术人员所理解的，雷达横截面一般是指目标(即非合作障碍物)在雷达传感器412的方向上(例如，在障碍物传感器装备162处)反射雷达信号的能力的度量。换而言之，雷达横截面提供在雷达方向(从目标)上每球面度(单位立体角)的后向散射功率与由目标截获的功率密度的比率的度量。相应地，光学横截面指的是描述从非合作障碍物反射回光源的最大光通量的值，而热横截面反映来自描述非合作障碍物的红外相机414的热像测量数据。在某些方面，障碍物传感器装备162可以被配置为利用不完全信息识别非合作障碍物。例如，如果只有雷达传感器412检测到非合作障碍，则耦合到障碍物传感器装备162的处理器能够指示飞行器创建大圆柱形回避区域，而来自相机的信息可以被用来将回避区域限制为小球形回避区。

图7图示说明具有机身702、一个或多个机翼面板704(或其他飞行表面)、尾翼706、装备吊舱708和一个或多个推进器710(例如，喷气式发动机、由发动机或电动机轴向驱动的一个或多个螺旋桨等)的示例飞行器700的透视图。根据传感器的类型，障碍物传感器装备162可以在外部或内部耦合到飞行器。例如，障碍物传感器装备162可以被配置在飞行器700的装备吊舱708内。虽然图7的飞行器700被图示说明为固定机翼飞行器，但是本公开不限于特定的飞行器配置，并且可以应用于几乎任何飞行器配置，包括多旋翼vtol飞行器。

装备吊舱708(可容纳尤其是障碍物传感器装备162或其部分)能够经由万向节系统被可旋转地和可转动地耦合到机身702(或其他结构部件)。例如，装备吊舱708可以被耦合到机身702的前端，以使装备吊舱708更容易向前定向，以监视沿飞行器700的飞行路径或轨迹的障碍物。障碍物传感器装备162可以以非侵入性的方式耦合到飞行器700，以允许容易地移除和/或重新定位到另一飞行器。替代性地，障碍物传感器装备162可以在飞行器700的制造期间被安装，且因此，障碍物传感器装备162可以与飞行器700永久地附加或集成。例如，一个或多个推进器710可以被定位在机身702上(例如，如图示说明的推杆配置)、机翼面板704上或者飞行器700上的其他位置。虽然飞行器700被图示说明为具有单个推进器710，但是应当理解，可以提供附加的推进器710。例如，可以在每个机翼面板704上提供一个或多个推进器710。

图8a至图8c图示说明由雷达传感器412和红外相机414针对飞行器700生成的示例混合视场的示意图。如图示说明的，障碍物传感器装备162的雷达传感器412和红外相机414可协同使用以更有效地检测和跟踪混合视场内的非合作障碍物344。如能够理解的，混合视场得益于雷达传感器412的360度远距离扫描能力和红外相机414精确检测非合作障碍物344的能力。

图8a图示说明二维(2d)径向映射800表示混合视场的顶部平面视图。在一方面，雷达传感器412可以被配置为生成邻近飞行器700的空域的二维(2d)径向映射800，而不需要方位角分辨率。2d径向映射800可以是关于飞行器700的圆形空域(即，飞行器700被定位于2d径向映射800的中心处)。2d径向映射800的尺寸可以由雷达传感器412的范围来指示。例如，如果雷达传感器412具有36英里的有效范围(距离y604＝36英里)，则飞行器周围的圆形空域可具有36英里的半径。在操作中，雷达传感器412能够被配置为识别2d径向映射800内的障碍物344，且如果雷达传感器412检测到障碍物344，则红外相机414可指向到障碍物344以提供障碍物344的更高分辨率观察(例如，图像)。然后，与红外相机414可操作地耦合的处理器可以将障碍物344的较高分辨率图像与已知的形状/图像数据库(例如，查找表)进行比较。例如，特别是在监控情况下，形状/图像数据库可协助对障碍物344的类型和/或威胁级别进行分类。这种技术也可用于对物体威胁级别进行衡量，其中检测到多个障碍物344，以便在需要时确定哪些障碍物更危险，并且应该优先处理以及回避/回击(例如，鸟比飞行器危险小)。

图8b图示说明混合视场的侧面视图。如果雷达传感器412检测到在2d径向映射800的半径内的障碍物344，则红外相机414可以瞄准障碍物344的方向，以便一旦障碍物344在红外相机414的范围内(例如，在距离x602内，距离x602可以是红外相机414的有效范围)则提供更高的分辨率监视。如图8b中图示说明的，红外相机414可上和下倾斜以确定和跟踪障碍物344的方位角位置(例如，在竖直视场内)。例如，如果红外相机414提供25°方位角视场，则红外相机414可以(相对于飞行线)向上倾斜12.5°并且向下倾斜12.5°。

图8c图示说明分割成多个径向扇区802的2d径向映射800的顶部平面视图。为了将障碍物344定位在混合视场的空域内，2d径向映射800可以被划分成预定数量的径向扇区802(即，n个径向扇区)。例如，每个径向扇区802可以被表示为两个直边(即，与圆形2d径向映射的半径相同的长度)和直线(或弯曲)边缘。预定数量的径向扇区802可以由例如障碍物传感器装备162的传感器(例如，红外相机414)的操作参数来指示。例如，在上述示例中，红外相机414在水平方向上提供12°视场，且因此，360°可以被划分为30个径向扇区(即，n＝360°/水平视场＝360°/12°＝30)。因此，红外相机414可以被配置为在360度2d径向映射800内的n个位置之间进行平移。更具体地，红外相机414只需要扫描指定的径向扇区802以确定障碍物344的精确方位角位置。

如以上解释的，雷达传感器412提供优良的范围，且因此能够更快速地识别2d径向映射800内的远距离障碍物344。然而，红外相机414提供更高的精度和分辨率，但具有更有限的范围和视场。因此，雷达传感器412可用于在2d径向映射800的径向扇区802内定位障碍物344，并将红外相机414引导到障碍物344所在的径向扇区802。例如，如果雷达传感器412检测到第一径向扇区802a内(例如，在第一预定距离342a内)的即将发生的威胁障碍物344a，则红外相机414可以从其当前位置被平移到第一径向扇区802a，以执行进一步的分析和观测即将发生的威胁障碍物344a。同样，考虑到雷达传感器412提供的扩展范围，雷达传感器412可以检测出可能位于红外相机414的有效范围之外(例如，在第二预定距离342a和第二预定距离342b之间)的中间威胁障碍物344b。例如，如果在第二径向扇区802b内检测到中间威胁障碍物344b，则一旦威胁障碍物344b在红外相机414的有效范围内红外相机414可以从其当前位置平移到第二径向扇区802b，以执行进一步分析和观察中间威胁障碍物344b。

在来自雷达传感器412的雷达数据和来自红外相机414的相机数据之间，障碍物传感器装备162能够提供反映尤其是每个障碍物344(在三维中)的当前定位、轨迹以及物理特性(例如，尺寸和形状)的数据。此外，障碍物传感器装备162可以确定标识(例如，尾号，如果已知的话)、状态(例如，合作或非合作)等。然后将每个障碍物344的位置和各种工况传送到核心平台102和/或飞行控制系统116用于飞行员或机组人员自动化系统100的适当动作。如上面参考图3c至图3e所讨论的，障碍物传感器装备162和任何障碍物344可以经由传感器装备监视应用程序336由人机接口104监视。传感器装备监视应用程序336可以被配置为访问由雷达传感器412和红外相机414采集的所有信息，以及监视所述传感器的健康。传感器装备监视应用程序336还可以被配置为跟踪空中交通并生成要显示给飞行员的预测的未来路径。例如，基于各种径向方位角距离障碍物测量，航路管理器160可以生成避障导航航路，以回避由障碍物传感器装备162检测到的一个或多个障碍物。传感器装备监视应用程序336也可被配置为提示飞行员选择要由飞行控制系统116执行的所生成的避障导航航路。

知识获取系统114。知识获取系统114收集和/或生成必要的知识库，以使机组人员自动化系统100能够确定飞行器具体信息。这包括飞行器性能特征、限制、检查表、程序(包括突发事件程序)和定义飞行器突发事件的标准的知识。数据可以从编码数据(例如，从指南、飞行员简报、飞行员操作手册)和飞行中(例如，经由传感器)获得的数据的组合中得到，这些数据支持离线机器学习和趋势分析。要编码的数据可以以.xml(或.xmlx)格式被加载，该格式描述过程的内容和过程内和过程之间的任务流。

如图1b中图示说明的，例如，知识获取系统114可以从核心平台102接收可操作的命令，同时向核心平台102发送由知识获取系统114生成的配置数据和状态以及响应信息。知识获取系统114的操作一般可分为三个过程，包括例如飞行器系统建模、程序编纂和空气动力学建模。飞行器系统建模过程为机组人员自动化系统100提供关于可用机载系统以及机载系统如何配置、驱动限制等的信息。程序编纂过程为机组人员自动化系统提供关于飞行器在正常和非正常状况下操作的信息。例如，程序编纂可以包括检查表的编纂。最后，空气动力学建模过程为机组人员自动化系统100提供关于飞行器飞行以及对于给定的飞行器类型和配置期望什么性能的信息。

在知识获取阶段的过程中，还必须建立条件，在该条件下状况被认为是异常或突发事件。这些条件是频繁离散的，诸如发动机超速或超过空速限制。使用机器学习，机组人员自动化系统100能够通过观察由飞行员飞行的一系列飞行中的策略来微调其空气动力学和控制模型。这些信息包括飞行动力学数据、可操作限制、程序、飞行器系统和布局以及其他相关数据。除了书面信息之外，机组人员自动化系统100还可以基于过去的事件和更有经验的飞行员的经验来编纂信息。机器学习使得知识获取过程能够高效和快速地执行。

使用机组人员自动化系统100的感知系统106和致动系统108，当飞行员经历典型飞行剖面的运动时，监视飞机驾驶舱或真实模拟器中的仪器和控制。观察飞行员的行动允许机组人员自动化系统100直接从飞行员中学习并且针对给定操作模拟流畅的专家控制。该过程得益于飞行操作高度结构化的事实，因为在给定的状况下要做的事情(机器学习)然后能够对如何执行某件事进行编纂。

飞行器数据结构208的填充可以使用可扩展标记语言(“xml”)来完成。更具体地，可以采用xml数据结构，该结构包含一组字段和数据树，当填充时，其允许核心平台102配置和操作飞行器。在某些方面，机组人员自动化系统100可以采用飞行文档和/或软件工具的自然语言解释，使人能够高效且准确地输入数据。

在某些方面，可以生成并编码一组飞机不可知特征。例如，诸如起落架缩回、多发动机飞行器上的发动机出厂程序和失速恢复之类的程序在许多类型的飞行器上是相似的，并且只需要对特定机体进行最小限度的修改。此外，基本的机身限制(诸如永不超过的速度)只需要被输入为具体的数字并且能够在标称的时间段内从飞行指南中被输入。

程序编辑器。飞行器具体信息可以在过渡段期间使用例如书面文档(例如，飞行员操作手册、维护指南等)以及通过对飞行器操作的直接监视来收集。该知识获取过程的输出是飞行器数据结构208，上面的描述是关于核心平台102。包含在该飞行器数据结构208中的可以是操作程序、可用系统及其设计、驾驶舱布局以及用于飞行器安全操作所必需的所有其他信息。在某些方面，机组人员自动化软件开发套件可以允许软件/飞行控制工程师每天详述、编码和单元测试一个飞行器子系统(例如，电或液压)。机组人员自动化软件开发套件能够提供工具，用于将飞行指南的程序转换成与matlab状态流和simulink兼容的状态机，其然后能够以c语言自动编码程序，以包含在核心平台102中。机组人员自动化软件开发套件还可以生成单元级的测试代码以及用于对核心平台102进行测试的接口。例如，程序编辑器可以提供任务列表，其中飞行员可以选择机组人员自动化系统100或飞行员是否对列表上的给定任务负责。

飞行控制的知识获取。飞行控制的知识获取的第一步骤使用athenavortexlattice(“avl”)方法来生成无量纲稳定性导数形式的数学模型，该模型在飞行员的飞行期间被使用和细化。一旦校准初级飞行控制机构，系统id训练器应用程序可用于执行被设计的一序列飞行操纵，以识别具体的稳定性导数。数据被自动处理成用于控制器中的更新的稳定性导数。控制器可以采用自动调谐器。相同的更新的稳定性导数用于6-dof模拟中，作为控制器在飞行之前充分执行的验证步骤。执行飞行控制的知识获取的附加的好处在于它能够使大量的正式程序知识得到细化和合并。虽然程序列出各个步骤，但是如何执行这些步骤的细节可以忽略(例如，在步骤之间等待多长时间或如何大幅增大节流)。

飞行器飞行性能特性的反向工程。能够通过机载数据获取单元测量的飞行器性能特性通常被认为是飞行器和航空电子制造商的专有性(propritetary)。这些信息能够用于飞行模拟、飞行器健康监视、飞行器开发等等。目前，想要利用机载数据采集的第三方受到其专有性本质的限制。这种限制仅部分地使用独立的飞行器传感器套件来克服。这些商业上可用的传感器套件只测量通过驾驶舱仪器和飞行员输入可用的数据的小部分。然而，由于机组人员自动化系统100利用各种传感器来确定飞行器的飞行性能特性，因此它有效地反向设计空中交通工具的性能特性。机组人员自动化系统100通过独立的传感器、通过驾驶舱仪器的图像的数据捕获以及输入控制来采集飞行器信息。

示例。本公开的各方面可以通过以下示例飞行计划来图示说明，该飞行计划图示说明机组人员自动化系统100如何与飞行员交互、执行飞行计划、执行飞行操作任务、响应系统接合和起飞期间的突发事件、飞行计划接合以及异常检测和处理。然而，本教导不应局限于本示例中使用的那些教导。

系统接合和起飞。飞行员进入飞行器的左座，系好安全带，将人机接口126舒适地定位在他的身边，并激活机组人员自动化系统100应用程序。应用程序启动并运行一系列电源诊断和机械接口供电和校准。可以在人机接口126上显示消息，确认成功的测试并询问飞行员以确认机组人员自动化系统100的接合。飞行员经由应用程序选项卡334选择当天的飞行计划。机组人员自动化系统100可用于检查表监视。飞行员选择发动机启动，并且机组人员自动化系统100可以开始一序列发动机启动动作，要求在实际启动之前进行最终确认。同时，飞行员可以呼叫塔楼用于许可并接收到训练区的飞行计划。

当发动机起动完成时，机组人员自动化系统100可以向飞行员报告成功并报告例如“准备滑行”(可听见或经由人机接口126)。飞行员要求滑行许可，且在听到后，机组人员自动化系统100转录滑行许可并将其显示给飞行员用于确认。然后飞行员点击在应用程序上的“经由许可的滑行”按钮，并在飞行员监视交通时，机组人员自动化系统100滑行到分配的跑道。当在跑道入口处时，飞行员口头命令机组人员自动化系统100执行预起飞检查(经由检查表)，并且系统完成所有必要的检查，促使飞行员手动双重检查关键项目，诸如飞行控制。例如，机组人员自动化系统100可以监视检查表的人类操作员执行，并输出“检查表完成”或识别飞行计划或错误。

在接收到进一步的许可后，飞行员然后命令机组人员自动化系统100引导飞行器排队、等待、且然后最终起飞。机组人员自动化系统100经由初级致动系统108a向前推动节流器、经由感知系统106直观地检查发动机和驾驶舱指示器、经由hmi系统104呼出速度，并且以适合于当前重量、平衡和密度海拔高度的速度旋转。飞行员将他的手放在驾驶杆/操纵杆514上，以确认机组人员自动化系统100输入并保持其肌肉记忆。机组人员自动化系统100根据当前条件确认飞行器性能，并报告任何偏离期望爬升率。在爬升期间，飞行员的工作量被机组人员自动化系统100减少，使更多的抬头时间(即，眼睛向前，而不是在仪器上)在繁忙的空域中寻找交通。机组人员自动化系统100还可以为给定的检查表、飞行器或位置提供有经验的飞行员建议。例如，在特定的机场，机组人员自动化系统100可以向人类操作员指示机场具体的提示，诸如“来自该跑道的陡离角”。

飞行计划接合。在爬升的顶端，机组人员自动化系统100整平飞行器，并调整配平和功率设置，同时前往飞行计划的第一航路点。在巡航期间，机组人员自动化系统100继续直观地监视所有驾驶舱显示器，不断地将发动机和飞行器性能与期望值进行比较，并警告飞行员注意任何偏差。

飞行器到达训练区并开始当天的飞行计划。然而，在飞行计划期间，飞行器进入高耸的积云，其中仪器气象条件(“imc”)条件低于冰冻温度。飞行员经由人机接口126上的因特网中继聊天(“irc”)聊天窗口请求并接收来自地面的许可，以爬到24000英尺以跨越天气。在某些方面，机组人员自动化系统100请求来自地面的许可。

异常检测与处理。在经过一段时间后，机组人员自动化系统100可以检测到假定爬升，对于这些俯仰和功率设置，所指示的空速正在缓慢偏离其建模的空速，从而表明低于期望值。这表明皮托加热器已经失灵且皮托管已经结冰。飞行员使飞行器飞行不到100小时，而且没有意识到该型号的皮托加热器被已知是不可靠的。飞行员尚未注意到空速指示器正趋于低于标称。

然而，机组人员自动化系统100认识到，空速数据对其余飞行数据及其内部飞行动力学模型是异常的，并听觉上警告飞行员“空速指示器故障”。虽然飞行员认识到空速信息目前是不可靠的，但他不确定飞行器的飞行速度是比指示器显示的更快还是更慢。

在先前异常的数据库上绘图，机组人员自动化系统100呈现一组程序选项并突出该区域的最低安全海拔高度(例如，8,000英尺)。飞行员选择最保守的选项，这会导致机翼水平、俯仰和动力下降到较低的海拔高度(例如，10,000英尺)。机组人员自动化系统100缓和电力，稍微下降俯仰，并开始下降。当下降到15,000英尺时，皮托管再次上线。一旦稳定在10,000英尺，机组人员自动化系统100就使飞行器保持直线和水平，同时飞行员在返回飞行计划前对状况进行评估。

在一天飞行计划的竞争中，机组人员自动化系统100可执行自动着陆程序。例如，机组人员自动化系统100可以将飞行器导航到预定的航向点，其中飞行器可开始其初始下降。在下降过程中，机组人员自动化系统100可以监视飞行条件并定位跑道。在最后进场中，机组人员自动化系统100可能减缓飞行器的速度，并最终使飞行器着陆。如果机组人员自动化系统100确定着陆是不可行的(例如，障碍物或不可接受的飞行条件)，则机组人员自动化系统100可以开始错过进场例程或其他突发事件例程。例如，机组人员自动化系统100可以重试在同样位置着陆或将飞行器导航到替换的着陆位置。一种在替换着陆地点降落飞行器的示例系统由共同拥有的美国专利申请no.2015/0323932、标题为“autonomouscargodeliverysystem(自主货物交付系统)”公开。

机组人员自动化系统100和衍生技术可应用于广泛的飞行器和飞行模拟器。从飞行器飞行试验中推导出的飞行性能特征可以用来改善训练飞行员的飞行模拟器的保真性。为飞行模拟器提供对实际飞行器性能数据的访问对飞行模拟器操作人员有着巨大的价值。机组人员自动化系统100的另一个好处是，当飞行器针对特殊飞行计划而被修改(诸如增加能够影响空气动力性能和飞行处理质量(例如，飞行器开发)的传感器和天线)时，它能够综合飞行性能特征。此外，机组人员自动化系统100所捕获的数据能够用于飞行器健康监视，利用预测来感测维修需要。

机组人员自动化系统100增进商业航空操作的安全性和实用性，同时提供了显著节省人力运营成本。例如，机组人员自动化系统100可以被应用于长途航空货运公司，以增加该先进飞行员辅助技术的安全和效率以及成本节省。此外，最终状态机，例如，可以作为飞行中飞行员的训练工具，或者作为安全系统，在传统的单飞行员飞行器中提供第二组眼睛。人机接口126的部分简化所有飞行员的飞行操作，甚至多个机组人员操作。

上述引用的专利和专利出版物在此全部通过参考被并入。虽然已经参考部件、特征等的特定布置描述各种实施例，但这些实施例并不意在穷尽所有可能的布置或特性，且实际上许多其他实施例、修改和变化对本领域的技术人员可以是可确定的。因此，应当理解，本发明因此可以不像上面具体描述的那样被实践。