用于辅助飞行器着陆的嵌入在飞行器中的神经网络的学习方法以及用于实施该方法的服务器与流程

本发明涉及用于辅助飞行器着陆的嵌入在所述飞行器中的神经网络的学习方法。本发明还涉及用于实施这样的方法的服务器。

本发明的技术领域是对相对于观察者的位置的环境的检测和识别。主要操作领域是用于着陆辅助应用的雷达。本发明更具体针对“evs”(增强视觉系统)着陆辅助系统。本发明可以被应用于其他传感器(例如，光学的或电光学的)。

背景技术：

本发明特别解决了在降低的能见度的状况下，特别是由于恶劣的天气状况(例如，在起雾的情况下)，辅助飞行器在着陆跑道上着陆的问题。标准强加了用于在着陆阶段期间获得能见度的规则。这些规则由决策阈值来反映，所述决策阈值指代飞行器在其下降阶段期间的高度。在这些阈值中的每个阈值处，必须获得识别出的视觉标记以继续进行着陆操作，否则必须中止该着陆操作。中止的着陆操作表示针对空中交通管理和航班调度的实际问题。在起飞之前，必须基于天气预报(其或多或少是可靠的)来估计能够在目的地着陆的能力，并且如果有必要，必须提供后备解决方案。

在降低的能见度的状况下飞行器着陆的问题已经成为当前使用的多种技术的发展主题。

这些技术中的一种技术是仪表着陆系统(ils)。ils系统依赖于安装在地面上着陆跑道处的射频装置以及在飞行器上放置的兼容仪器。使用这样的引导系统需要昂贵的装置和特定的飞行员资格。另外，其不能够在所有机场上安装。其需要由用于对所述系统进行校准的飞机来维护。该系统尚未普遍，并且目前正在退出操作。

另一替代方案是借助gps的着陆辅助。尽管该方法具有足够的准确度，但是该解决方案的可靠性太低，因为其很容易——有意地或无意地——受到干扰。不保证其完整性。

最后，还采用了增强视觉技术(增强视觉系统，evs)。原理是在恶化的天气状况下使用比飞行员的眼睛更强大的传感器，并且借助于飞行员佩戴的平视显示器或头盔的遮阳镜将收集到的信息嵌入在飞行员的视野中。该技术本质上依赖于使用传感器来检测沿跑道以及在引道坡上设置的灯的辐照。白炽灯产生可见光，但是它们也在红外范围内发射。红外范围内的传感器使得能够检测这些辐照，并且在恶化的天气状况下，检测范围比人眼可见范围内的更好。因此，能见度增强使得能够在一定程度上改善着陆阶段并且限制中止着陆(abortedapproaches)。然而，该技术依赖于跑道附近存在的灯发出的杂散红外辐照。为了灯的耐用性，当前的趋势是用led灯来代替白炽灯。led灯在红外范围内具有较窄的光谱。因此，附带的效果是引起基于红外传感器的evs系统的技术淘汰。

红外传感器的替代方案是通过雷达传感器在厘米波段或毫米波段中获取图像。在水蒸气吸收峰之外选取的某些频带对恶劣的天气状况展现出非常低的灵敏度。因此，这样的传感器使得例如能够产生穿过雾的图像。然而，即使这些传感器具有良好的距离分辨率，它们也具有比光学解决方案要粗糙得多的角度分辨率。所述分辨率与所使用的天线的大小直接相关，并且常常过于粗糙，以至于无法在足够的距离上获得对着陆跑道的准确定位以形成调节动作。

因此，需要使得能够利用在降低的能见度状况下着陆的视图引导着陆操作的新的技术方案。

技术实现要素：

本发明的一个目的是特别允许在降低的能见度状况下进行这样的引导。为此，本发明的主题是一种用于辅助飞行器在至少一条给定的跑道上着陆的嵌入在所述飞行器中的神经网络的学习方法，所述神经网络相对于跑道来定位所述飞行器，所述方法使用至少配备有一个雷达传感器的飞行器的机队并且至少包括：

-由所述机队的飞行器集合对雷达图像的共同收集的步骤，所述雷达图像由所述飞行器的雷达传感器在所述跑道上的标称着陆阶段中获得；在其中利用至少关于所述跑道相对于所述飞行器的位置的信息来标记由飞行器收集的每幅图像的步骤，标记的图像被发送到共享数据库并且被存储在所述数据库中；

-由神经网络根据存储在所述共享数据库中的标记的图像来学习所述跑道的步骤，在所述步骤结束时，对所述神经网络进行训练；

-将经训练的神经网络发送到所述飞行器中的至少一个飞行器的步骤。

在特定的实现方式中，所述神经网络将所述飞行器的轨迹传输到显示和/或控制单元。

所述数据库包括例如特定于若干着陆跑道的标记的雷达图像，所述标记的图像包括被成像的跑道的标识。

每幅标记的图像都包括例如已经传输所述图像的所述飞行器的标识。

在特定的实现方式中：

-所述雷达图像受到特定于在每个飞行器上的雷达传感器的安装的偏差的影响，在将每幅雷达图像存储在所述数据库中之前，针对所述每幅雷达图像来估计所述偏差，所估计的偏差与所述图像一起存储；

-将经训练的神经网络以特定于给定飞行器的估计的偏差传输到该飞行器。

例如，通过由所述飞行器配备的所述雷达传感器获得的至少一幅雷达图像与所述跑道以及其环境的参考图像的比较来产生针对给定飞行器和针对给定跑道的所述偏差的估计。所述参考图像例如包括数字地形模型。

用于在飞行器与所述数据库之间传输所述标记的图像的单元是例如依靠所述飞行器配备的所述雷达传感器制成的，所述传输是通过在雷达波上对形成所述图像的数据的调制来执行的。

在特定的实现方式中，对于承载所述雷达传感器的飞行器而言，对所述图像的标记包括以下指示符中的至少一项：

-相对于所述运载器在跑道上触地的时刻的所述图像的获取日期；

-在图像捕获时刻所述运载器的位置：

*绝对值：gps位置；

*相对于跑道的相对值：惯性单位(unit)；

-所述运载器的高度；

-所述运载器的姿态；

-所述运载器的速度矢量(由雷达传感器根据所述运载器的地面速度获得)；

-所述运载器的加速度矢量(由雷达传感器根据所述运载器的地面速度获得)；

-由准确定位光学单元获得的所述跑道和参考结构相对于所述运载器的位置。

例如，所述数据库是在由所述飞行器在至少所述跑道上执行的整个标称着陆期间更新的。

本发明的另一主题是一种服务器，其包括用于实施先前所描述的方法的嵌入式神经网络的学习的数据库，所述服务器能够与飞行器通信。所述神经网络例如在所述服务器中被训练，经训练的网络被传输到所述飞行器中的至少一个飞行器。

附图说明

本发明的其他特征和优点将根据以下结合附图的描述变得显而易见，这些附图表示：

图1是由根据本发明的方法所使用的着陆辅助设备的示例性实施例；

图2是使用图1的设备执行的操作性着陆阶段的图示；

图3是表示允许根据一系列雷达图像相对于给定的跑道对运载器进行定位的神经网络。

图4是根据本发明的集中学习的原理的图示；

图5是在本发明的实现方式中学习数据的操作和经训练的神经网络的恢复的链路；

图6是与飞行器相关的偏差的估计的示例的表示。

具体实施方式

为了引导飞行器重新进入跑道，本发明有利地组合了对天气状况具有非常低敏感性的雷达传感器与神经网络，雷达传感器和神经网络两者均嵌入在飞行器中。该神经网络与其他飞行器的神经网络共享雷达图像的学习库，该库由这些飞行器通过在着陆阶段拍摄的雷达图像流来共同地更新。机场和着陆跑道的完整环境的使用允许使用经过若干次着陆训练的嵌入式神经网络进行准确定位。

第一步用于描述用于引导飞行器的着陆辅助系统的一部分。给出了重新进入给定跑道的描述。

根据本发明，图1呈现了基于相对于飞行器对着陆跑道的检测和定位的飞行器的着陆辅助设备。其至少包括：

-由所述飞行器承载的雷达传感器1，其功能特别在于获得着陆跑道的雷达图像；

-功能块2，其用于收集嵌入的雷达图像，至少执行对由传感器1获得的雷达图像的标记和存储，然后，所存储的图像被传输到与如下文所描述的其他飞行器共享的数据库10；

-功能模块3，其包括嵌入在飞行器中的神经网络，所述神经网络根据对雷达图像的收集进行训练，亦即，根据在标称着陆期间(晴天)获得的雷达图像进行训练，并且其功能在于使用由雷达传感器1实时获得的雷达图像(亦即，在当前着陆期间获得)来估计着陆跑道相对于运载器的位置，这些图像被存储在与收集系统2相关联的数据库中；

-另一个功能块4，也被嵌入，执行对从神经网络获得的数据的分析和格式化，从而使得能够利用适当的接口来格式化这些数据，该接口能够允许跑道或表示跑道的符号的显示，甚至提供使得能够重新进入标称着陆轨迹的飞行控制。

所述设备包括例如系统5，其用于经由平视显示(hud)系统或头盔、可能的任何其他显示系统来显示并入在飞行员视野内的跑道、视觉标记以及相关的导航数据。

收集块、神经网络以及用于分析数据的块4例如被并入在飞行器的飞行计算机中。

一旦被标记，如下文将描述的，所述雷达图像就由神经网络3使用。所述雷达图像被用于训练神经网络3。更具体地，所述神经网络根据在学习库中存储并标记的所有图像来执行对着陆跑道的学习。一旦被训练，神经网络3就能够根据一系列雷达图像相对于运载器对跑道以及其周围环境进行定位，更特别地，对着陆点进行定位。输入到神经网络的图像是由雷达1在当前着陆阶段所拍摄的图像。

然后，对于功能块4而言，能够估计和校正对应轨迹(当前着陆中的运载器的轨迹)相对于标称着陆轨迹的偏差。还能够通过显示系统5在飞行员的视野中显示跑道。

雷达传感器1例如在厘米波段或毫米波段中操作，使得能够相对于运载器要着陆的着陆跑道来定位该运载器，而与飞行员的能见度的状况无关。所获得的雷达图像能够是直接雷达图像或sar(合成孔径雷达)类型的图像。后者使得能够改进角度准确度，同时受益于运载器的移动的改变的视角。

所述雷达图像是在每个着陆阶段由雷达传感器1获得的，这使得能够不断地丰富雷达图像的数据库。如先前所指示的，这些雷达数据的获取是在标称着陆操作期间、在晴天、在白天或晚上执行的。该获取还在不同的气象和操作状况(不同类型的风、不同的偏斜到达、不同的着陆坡度)下进行，关于所有这些状况的信息都被包含在对图像的标记中。一旦着陆完成，将在着陆阶段期间获得的雷达数据被记录在数据库中，并且被标记为形成标称着陆操作的一部分。所述标记至少包括该标称着陆信息，但是能够取决于运载器的可用性来有利地将其扩展为以下额外信息：

-相对于运载器的轮子在跑道上触地的时刻的所述图像的获取日期；

-在图像捕获时刻运载器的位置：

*绝对值：gps位置；

*相对于跑道的相对值：惯性单位；

-运载器的高度；

-运载器的姿态；

-运载器的速度矢量(由雷达1根据运载器的地面速度获得的)；

-运载器的加速度矢量(由雷达1根据运载器的地面速度获得的)；

-由准确定位光学单元获得的跑道和参考结构相对于运载器的位置。

图2图示了由图1所图示的设备实施的用于辅助飞行器着陆的操作性操作方法。针对给定的着陆跑道，所述方法包括以下参考图2所描述的步骤。

未表示的两个预备步骤涉及图像的收集以及根据所收集的图像对跑道的学习。

第一步骤21执行对第一系列的雷达图像的拍摄，这些图像是由嵌入在飞行器上的雷达传感器1获得的雷达图像或sar图像。每幅雷达图像根据已经记录在收集系统2中的图像进行标记。

在第二步骤22中，通过神经网络根据所获得的一系列雷达图像来估计运载器相对于跑道以及其环境的情况。能够提供包括单幅雷达图像的系列，所述估计能够根据单幅图像来执行。

在第三步骤23中，分析由神经网络3提供的估计，该分析例如使用功能块4来执行。后者提供用于显示的数据格式化(由显示系统5来执行)，并且提供使得能够校正轨迹的飞行控制。还使得能够以可用的形式来呈现由神经网络计算出的置信度指示符。

在该第三步骤24的结束处，如果飞机没有处于最终着陆阶段(亦即，在重新进入着陆跑道时)，则所述方法循环回到获得新的一系列雷达图像的第一步骤21。否则，如果飞机处于最终着陆阶段，则所述方法到飞行器相对于具有确定着陆轨迹的跑道的最终定位25。

因此，本发明所使用的着陆方法依赖于对着陆序列和相关联的雷达图像的学习。该方法需要学习数据(标记的雷达图像)以适当地操作。具体地，定位的准确度取决于可用和更新的学习数据的数量。

根据本发明的方法使用若干飞行器，每个飞行器均配备有参考图1和图2所描述的相同的着陆辅助设备。雷达传感器1使得能够拍摄跑道的环境的图像并且通过神经网络3使用这些图像相对于跑道来定位运载器(位置、速度和高度)。

这需要先前的学习步骤，在学习步骤中，如先前所描述的，在标称着陆阶段期间获得的雷达图像利用在着陆期间可用的数据进行标记。这些标记的图像被用于训练着陆辅助设备的神经网络。一旦经过训练，所述神经网络就使得能够使用在着陆期间在能见度降低的情况下获得的图像来获得运载器相对于跑道的相对定位。已经参考图2描述了操作性操作。该定位的准确度取决于所执行的学习的质量，并且具体地取决于该学习可用的图像的数量。该数量越高，学习的质量越好。根据本发明，雷达图像的数据库10由若干飞行器共同来丰富。更具体地，对于给定的着陆跑道而言，利用在若干飞行器的着陆阶段期间获得的图像来丰富该库。同一库能够包含特定于若干跑道的图像。

图3表示允许根据一系列雷达图像相对于跑道p1对运载器进行定位的神经网络。更具体地，图3呈现了在该跑道p1上着陆期间该神经网络3在使用中的输入和输出。

该网络取得输入的雷达图像31，以及可选地源自诸如gps之类的额外传感器的数据32。使用这些数据，神经网络确定运载器相对于跑道的定位。该定位包括运载器的姿态。利用运载器的速度和车轮触地的估计点能够使其丰富。

图4更具体地图示了根据本发明的方法。本发明提出了集中学习方法，该方法允许每个嵌入的着陆辅助设备都具有参考库，该参考库对于需要将运载器降落(setdown)到其中的至少一条着陆跑道是可靠的、经过验证的并且保持最新的。该参考库能够有利地包括若干跑道的学习数据。

根据本发明的方法使用n个飞行器a1，…，an的机队，每个飞行器均配备有根据图1的着陆辅助设备。在每个着陆阶段，每个设备都向集中式服务器41(例如，位于地面上的服务器，该服务器包含数据库10)发送包括标记的图像的着陆数据。与标记的图像同时地，该设备还发送飞行器a1，…an的识别符和着陆跑道的识别符。这些数据的传输通过适合的通信系统来完成。

该通信单元能够被结合在每个嵌入式设备的雷达传感器1中，通过在雷达波上对数据的调制来执行数据传输。换言之，对所发射的雷达波的调制对所传输的数据进行编码。

该服务器使用这些标记的数据，以便训练分别与对应跑道相关联的神经网络。神经网络的训练(或学习)是根据被存储在服务器41中的数据来完成的，该学习特别包括学习所识别的跑道上的至少一个着陆轨迹。

服务器将经训练的神经网络(在每个着陆辅助设备中形成功能块3)发送43到不同的飞行器。

更具体地，在将经训练的神经网络发送43到飞行器的该步骤中，将神经网络传输到用于控制该飞行器的轨迹的单元(该单元通常是功能块3)，然后传输到在前面已经描述过其操作的格式化和分析块4。该控制单元允许显示轨迹以用于辅助驾驶，或者直接地使得能够控制和校正飞行器的轨迹。

鉴于不同的雷达传感器1特别是在飞行器中安装时在安装平面中可能呈现出偏差，根据本发明做出了补偿这些不同的偏差的规程。

图5图示了通过考虑关于飞行器a1的偏差与跑道p1相对应的神经网络的学习。在跑道p1上着陆之后源自飞行器a1的学习数据被发送到集中式服务器41。关于飞行器a1的偏差由位于服务器41中的处理单元51进行估计。该偏差估计51在数据并入跑道p1的学习数据库10之前被执行。该步骤使得能够对从不同飞行器获得的数据进行归一化，并且有效地实现与在模块300中实施的该跑道p1相关联的神经网络的学习的收敛。然后，在相对于每个飞行器施加校正偏差52之后，将经训练和归一化的网络被传输到不同的飞行器。

利用该神经网络，每个飞行器都具有关于扩展数据库的着陆辅助功能，该扩展数据库借助于数据的汇集而有利地提供了良好的准确度。

图6图示了估计关于每个飞行器的偏差的示例。可以使用其他方法。

在图4的示例中，由飞行器a1发送的、与在所使用的不同跑道上的着陆有关的着陆数据(标记的雷达图像)在存储器61中汇总。将这些雷达图像与参考图像进行比较62，这些参考图像中的每幅参考图像都特定于跑道以及其环境。这些图像包括，例如，建筑物和基础设施。参考图像是例如数字地形模型(mnt)，并且在其包括建筑物和基础设施时能够是数字高程模型。

标记的雷达图像(特别是利用飞行器的位置标记的)与参考图像之间的比较62使得针对每个飞行器a1，…an能够估计63雷达传感器拍摄的图像与投影到参考图像中(例如投影到数字地形模型中)的飞行器的角度之间的偏差。主偏差与雷达传感器的安装平面相关，并且其导致相对于关于飞行器的轴线的标准化参考系的系统角度误差。对与若干跑道相关的数据的交叉引用增强了对后续能够进行精细校正的该系统误差的估计。

有利地，本发明使得能够产生用于神经网络的学习的集中数据库。因此获得了更大的数据集，该数据集提高了学习的质量，以便实现跑道相对于飞行器的定位的良好准确度。特别地，在考虑到特定于飞行器的传感器的特征的同时，首次在跑道上着陆的该飞行器将受益于集中经验。

再次有利地，通过根据本发明的设备的着陆对于环境的随机变化特别稳健，例如给固定算法带来问题的车辆的存在或者季节性植被的存在。此外，本发明例如通过将这些元素并入到学习库中，以适应环境的不断变化，诸如新的建筑物或基础设施。