基于图像识别的飞行器迫降路径规划方法、系统和设备与流程

1.本发明属于图像识别领域，具体涉及了一种基于图像识别的飞行器迫降路径规划方法、系统和设备。


背景技术：

2.随着技术发展，飞行器已经成为主要的交通和运输手段之一，随着服役时间的增长，飞行器不可避免的会出现各种故障，在遭遇恶劣的气候条件时也可能会对飞行器造成各种程度的损坏使得飞行器无法安全抵达目的地。
3.面对飞行器无法安全抵达目的地的情况，需要飞行员针对当前飞行器状况进行迫降。若是出现故障，目前只能通过飞行员接收塔台的远程指令的方式执行迫降任务，飞行员的所有操作均是基于肉眼识别的作出的反应，面对能见度不足或是存在云雾遮挡的情况没有设备辅助仅靠肉眼识别很难作出正确的反应。迫降任务通常为迫不得已而为，且反应时间极短实时性要求高，尽可能地提供辅助以提高成功几率具有重要意义。


技术实现要素：

4.为了解决现有技术中的上述问题，即面对能见度不足或是存在云雾遮挡的情况没有设备辅助很难作出正确的反应的问题，本发明提供了一种基于图像识别的飞行器迫降路径规划方法：获取航线中的历史卫星图像、气象信息和等高线图像；基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；基于设置于飞行器上的传感器获取传感器数据；基于传感器数据和气象信息，计算飞行器的续航距离；基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；获取备选降落区域的当前卫星图像，选定降落区域；基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
5.在一些优选的实施方式中，所述备选降落区域，其获得方法包括：基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；通过地形图像识别模型，识别每个平坦区域的地形分析结果；根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值。
6.在一些优选的实施方式中，所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；
所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；所述地形均一性识别模型，用于根据历史卫星图像，识别平坦区域的图像均一性分值；所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格与其他所有网格之间的一致性分值；根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果。
7.在一些优选的实施方式中，所述地形类型识别模型，为基于lbp算法和k聚类算法构建的分类模型，具体为：基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；计算每个像素点的邻域窗口内像素的平均像素值；比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得lbp二值化图像；通过卷积层将所述lbp二值化图像进行特征提取获得lbp特征图像；将所述lbp特征图像与卫星图像通过concat层进行结合，获得特征结合图像；基于所述特征结合图像，通过knn分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。
8.在一些优选的实施方式中，所述地形均一性识别模型，具体为：计算每个像素点与所在平坦区域的像素均一性:其中，表示坐标为的像素值，i和j表示像素号，表示x轴方向上的像素期望值，表示y轴方向上的像素期望值，表示x轴方向上的像素标准差，表示y轴方向上的像素标准差；平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值。
9.在一些优选的实施方式中，所述分块一致性识别模型，具体为：其中，表示一致性分值，表示网格的尺度，表示颜色一致性分值，表示相对高度一致性分值，表示颜色一致性分值的权重，表示相对高度一致性分值的权重；所述颜色一致性分值为：
其中，表示网格p至网格q的颜色相似度，表示网格q至网格p的颜色相似度；网格p的颜色相似度；其中，和分别表示计算网格到网格的相似度和计算网格到网格的相似度，和分别表示网格的平均颜色值，为预先设定的常数，表示网格数；所述相对高度一致性分值为：其中，表示网格p至网格q的图像相对高度一致性，表示网格q至网格p的图像相对高度一致性；表示网格q至网格p的图像相对高度一致性；其中，表示网格p的平均高度，表示网格q的平均高度。
10.在一些优选的实施方式中，所述获取备选降落区域的当前卫星图像，选定降落区域，具体为：获取备选降落区域的当前卫星图像；计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域。
11.在一些优选的实施方式中，所述着陆点，其选取方法为：基于飞行器坐标，计算飞行器坐标至所述降落区域的行进方向；
在降落区域中，以行进方向为轴线，若轴线方向存在包含触地滑行矩形框的空间，则选取轴线方向上满足触地滑行矩形框长度最长的起始边中点作为着陆点；若轴线方向不存在包含触地滑行矩形框的空间，则选取轴线方向上偏角最小的方向的触地滑行矩形框长度最长的起始边中点作为着陆点。
12.在一些优选的实施方式中，所述规划方法还包括评估救援难易度的步骤，具体为：对于所有备选降落区域的历史卫星图像，计算所有备选降落区域到主干道的路线和路线距离；所述路线满足：在含有等高线信息的卫星图像中，预设的水平距离内高度差低于预设的坡度阈值；根据路线距离设置救援难易度分值；将救援难易度分值与所述地形类型、图像均一性分支和一致性分值进行加权求和获得地形分析结果。
13.本发明的另一方面，提出了一种基于图像识别的飞行器迫降路径规划系统，包括：航行信息获取模块、图像信息结合模块、传感器数据获取模块、续航距离获取模块、备选降落区域获取模块、降落区域选取模块和路径生成模块；所述航行信息获取模块，配置为获取航线中的历史卫星图像、气象信息和等高线图像；所述图像信息结合模块，配置为基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；所述传感器数据获取模块，配置为基于设置于飞行器上的传感器获取传感器数据；所述续航距离获取模块，配置为基于传感器数据和气象信息，计算飞行器的续航距离；所述备选降落区域获取模块，配置为基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；所述降落区域选取模块，配置为获取备选降落区域的当前卫星图像，选定降落区域；所述路径生成模块，配置为基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
14.本发明的第三方面，提出一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
15.本发明的第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
16.本发明的有益效果：（1）本发明通过图像信息自动识别、选取最佳的着陆点并生成迫降的路径，进而对飞行员执行迫降任务进行辅助，能极大提高飞行员执行迫降任务的成功率，增加安全性降低损失；
（2）本发明选取的着陆点考虑了地形类型、均一性和一致性的综合情况，降低了迫降任务可能带来的损失；（3）本发明选取的着陆点还考虑了完成迫降任务后的救援难度，为完成迫降任务后进行及时的救援提供了帮助。
附图说明
17.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：图1是本发明实施例中基于图像识别的飞行器迫降路径规划方法的流程示意图。
具体实施方式
18.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
19.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
20.本发明提供一种基于图像识别的飞行器迫降路径规划方法，通过图像信息自动识别、选取最佳的着陆点并生成迫降的路径，进而对飞行员执行迫降任务进行辅助，能极大提高飞行员执行迫降任务的成功率，增加安全性降低损失。
21.本发明的一种基于图像识别的飞行器迫降路径规划方法，包括：s100，获取航线中的历史卫星图像、气象信息和等高线图像；s200，基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；s300，基于设置于飞行器上的传感器获取传感器数据；s400，基于传感器数据和气象信息，计算飞行器的续航距离；s500，基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；s600，获取备选降落区域的当前卫星图像，选定降落区域；s700，基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
22.为了更清晰地对本发明系统进行说明，下面结合图1对本发明实施例中各步骤展开详述。
23.本发明第一实施例的基于图像识别的飞行器迫降路径规划方法，包括：s100，获取航线中的历史卫星图像、气象信息和等高线图像；s200，基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；含有等高线信息的卫星图像将地形类型信息与地势信息进行结合，本实施例；s300，基于设置于飞行器上的传感器获取传感器数据；s400，基于传感器数据和气象信息，计算飞行器的续航距离；s500，基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形
图像识别模型，获取备选降落区域；在本实施例中，所述备选降落区域，其获得方法包括：基于含有等高线信息的卫星图像，选取高度差小于预设的平缓阈值的连续区域，作为平坦区域；通过地形图像识别模型，识别每个平坦区域的地形分析结果；在本实施例中，所述地形图像识别模型，包括地形类型识别模型、地形均一性识别模型和分块一致性识别模型；将地形类型结合均一性与分块一致性的目的在于，在选取降落区域时，可能给存在某个区域中是多种地形类型或存在凹点凸点等不规则的情况；均一性和分块一致性同样作为参考因素进行分析，可以获得地面类型适合，且地面杂物分布均衡、平整的区域作为降落区域。
24.所述地形类型识别模型，用于根据历史卫星图像，识别平坦区域的地形类型；地形类型包括机场、水面、草地、植被、公路和空地；当续航距离内存在机场时，优先选取机场作为降落区域。
25.在本实施例中，所述地形类型识别模型，为基于lbp算法和k聚类算法构建的分类模型，具体为：基于平坦区域的历史卫星图像转化为二值图像，为每个像素点设置邻域窗口；计算每个像素点的邻域窗口内像素的平均像素值；比较平均像素值与对应像素点像素值的大小，将平均像素值大于或等于像素点像素值的像素点标记为1，否则标记为0，获得lbp二值化图像；通过卷积层将所述lbp二值化图像进行特征提取获得lbp特征图像；将所述lbp特征图像与卫星图像通过concat层进行结合，获得特征结合图像；基于所述特征结合图像，通过knn分类器计算特征结合图像与预设的地形类别数据库中各地形图像的相似度，输出平坦区域的地形类型。
26.所述地形均一性识别模型，用于根据历史卫星图像，识别平坦区域的图像均一性分值；在本实施例中，所述地形均一性识别模型，具体为：计算每个像素点与所在平坦区域的像素均一性:其中，表示坐标为的像素值，i和j表示像素号，表示x轴方向上的像素期望值，表示y轴方向上的像素期望值，表示x轴方向上的像素标准差，表示y轴方向上的像素标准差；平坦区域的像素点的相关度均值表示该平坦区域的图像均一性分值。
27.所述分块一致性识别模型，用于将历史卫星图像划分为不同网格，计算每个网格
与其他所有网格之间的一致性分值；在本实施例中，所述分块一致性识别模型，具体为：其中，表示一致性分值，表示网格的尺度，表示颜色一致性分值，表示相对高度一致性分值，表示颜色一致性分值的权重，表示相对高度一致性分值的权重；所述颜色一致性分值为：其中，表示网格p至网格q的颜色相似度，表示网格q至网格p的颜色相似度；网格p的颜色相似度；其中，和分别表示计算网格到网格的相似度和计算网格到网格的相似度，和分别表示网格的平均颜色值，为预先设定的常数，表示网格数；所述相对高度一致性分值为：其中，表示网格p至网格q的图像相对高度一致性，表示网格q至网格p的图像相对高度一致性；表示网格q至网格p的图像相对高度一致性；
其中，表示网格p的平均高度，表示网格q的平均高度；优选的设置为0.85；根据地形类型、图像均一性分值和一致性分值，加权求和获得地形分析结果。
28.根据地形分析结果，计算对应的触地滑行矩形框的长度和宽度；选取足以包含所述触地滑行矩形框的平坦区域，作为备选降落区域，并根据地形分析结果为备选降落区域计算降落分值。触地滑行矩形框的宽度为飞行器展翼宽度再加上预设的容错宽度，触地滑行矩形框的长度为根据地面类型的制动系数和正常飞行的飞行速度计算得到。
29.s600，获取备选降落区域的当前卫星图像，选定降落区域；在本实施例中，所述获取备选降落区域的当前卫星图像，选定降落区域，具体为：获取备选降落区域的当前卫星图像；计算降落分值最高的备选降落区域的当前卫星图像与历史卫星图像的相似度，当相似度大于或等于预设的可靠阈值时，将所述降落分值最高的备选降落区域选定为降落区域；计算当前卫星图像与历史卫星图像的相似度，其目的在于确认降落区域是否有临时的活动或地形变化比如人群聚集、山体滑坡的情况；由于迫降任务都是突发事件，没有时间等待重新获取航线中所有地区的当前卫星图像来进行重新的分析，仅对已经选取的降落分值最高的备选降落区域的当前卫星图像进行分析且仅分析与历史卫星图像的相似度，有利于快速判断降落分值最高的备选降落区域是否可靠，若没有人群聚集或地形变化则认为分值最高的备选降落区域可靠，可以选中为降落区域。
30.若相似度低于所述预设的可靠阈值时，选取降落分值次高的备选降落区域，计算当前卫星图像与历史卫星图像的相似度，直至出现相似度大于或等于预设的可靠阈值，选出降落区域；s700，基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
31.在本实施例中，所述着陆点，其选取方法为：基于飞行器坐标，计算飞行器坐标至所述降落区域的行进方向；在降落区域中，以行进方向为轴线，若轴线方向存在包含触地滑行矩形框的空间，则选取轴线方向上满足触地滑行矩形框长度最长的起始边中点作为着陆点；若轴线方向不存在包含触地滑行矩形框的空间，则选取轴线方向上偏角最小的方向的触地滑行矩形框长度最长的起始边中点作为着陆点。
32.本实施例中，可通过增强现实设备向飞行员显示所述迫降路径；将所有备选降落区域向飞行员显示，可由飞行员选择降落区域并向指挥塔台发送降落区域的位置信息。
33.本发明第二实施例，可将本发明的基于图像识别的飞行器迫降路径规划方法运用于通过全动模拟机对飞行员实施飞行训练；具体为：获取航线中的历史卫星图像、气象信息和等高线图像；获取正常飞行中的图像；基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；记录正常飞行中设置于飞行器上的传感器获取传感器数据；
将正常飞行中的图像和传感器数据于飞行全动模拟机中进行场景还原；建立故障类型数据库，存储各种故障类型和故障程度对应的传感器数据，包括油量、仪表参数、声音、振副和频率；随机或训练主持人员选取故障类型和故障程度，于全动模拟机模拟正常飞行中突发故障的情况，设置故障程度对应的传感器数据，供训练飞行员执行迫降任务；在全动飞行模拟机的机舱中还原真实的机舱视角图像和显示传感器数据；还可根据需要设定雷暴、风切变、颠簸和特殊情况，并设定不同的能见度；并设置早晨、白天、黄昏、夜晚的飞行时段；于故障发生时模拟特殊天气、颠簸、振动或下坠；基于传感器数据和气象信息，计算飞行器的续航距离；基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；获取备选降落区域的当前卫星图像，选定降落区域；基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务；在本实施例中，可在迫降完成后，记录实际着陆地点、实际触地滑行距离及实际触地滑行方向，计算实际着陆地点与系统推荐的着陆地点的相对距离，同时计算实际触地滑行距离及实际触地滑行方向与系统推荐的触地滑行距离偏差和触地滑行角度的偏差；并根据任务完成时间、所述相对距离、触地滑行距离偏差和触地滑行角度的偏差，计算任务完成评分，并搜索错误操作步骤。
34.本发明第三实施例的基于图像识别的飞行器迫降路径规划系统，包括：航行信息获取模块、图像信息结合模块、传感器数据获取模块、续航距离获取模块、备选降落区域获取模块、降落区域选取模块和路径生成模块；所述航行信息获取模块，配置为获取航线中的历史卫星图像、气象信息和等高线图像；所述图像信息结合模块，配置为基于等高线图像和所述航线中的卫星图像获取含有等高线信息的卫星图像；所述传感器数据获取模块，配置为基于设置于飞行器上的传感器获取传感器数据；所述续航距离获取模块，配置为基于传感器数据和气象信息，计算飞行器的续航距离；所述备选降落区域获取模块，配置为基于飞行器坐标和所述续航距离，通过含有等高线信息的卫星图像和地形图像识别模型，获取备选降落区域；所述降落区域选取模块，配置为获取备选降落区域的当前卫星图像，选定降落区域；所述路径生成模块，配置为基于所述降落区域，通过着陆点决策模型选取着陆点，生成迫降路径，飞行器依据所述迫降路径完成迫降任务。
35.本发明第四实施例的一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
36.本发明第五实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于图像识别的飞行器迫降路径规划方法。
37.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
38.术语“第一”、
ꢀ“
第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
39.术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
40.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。