基于二维和三维标识的飞机自动泊位方法、系统及设备与流程

所属的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

背景技术：

1、现在飞机的泊位基本上还需要多个地面人员的协助来进行，同步性、准确性较低，并且存在较大的偏差，在雾霾、雨雪等能见度差的天气环境下，完全依靠人工指引很难实现高效准确的泊位，且指引人员也会因为主观因素的及人力因素的影响在指引上产生偏差。

2、为了保障航班安全抵达目的地，并高效实现飞机泊位，一些机场配置了飞机泊位自动引导系统，通过飞机泊位自动引导系统为飞机在停机坪安全、高效停泊提供准确和规范的引导，指引飞行员以最优程序停泊飞机。

技术实现思路

1、为了解决现有技术中的上述问题，即依靠人工指引进行停机泊位效率低且精度不足的问题，本发明提供了一种基于二维和三维标识的飞机自动泊位方法，所述方法包括：

2、步骤s100，预先设置二维辅助标识和三维辅助标识；

3、步骤s200，实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；；

4、步骤s300，基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

5、步骤s400，基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

6、步骤s500，将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

7、步骤s600，基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

8、步骤s700，基于所述典型相对位姿，获取泊位操作序列。

9、在一些优选的实施方式中，所述二维辅助标识，为绘制于地面的，具有方向指向的图案。

10、在一些优选的实施方式中，所述步骤s300，具体包括：

11、基于所述二维辅助标识图像序列，通过光流法获取停机位图像序列中的二维辅助标识的位置变换轨迹和位置变换速度，将位置变换轨迹和位置变换速度转化为二维图像时间特征；

12、基于所述二维辅助标识图像序列，通过特征点提取算法获取各二维辅助标识的边缘特征、纹理特征和颜色特征，将所述边缘特征、纹理特征和颜色特征记为二维图像空间特征；

13、基于所述三维辅助标识点云数据，记录时间轴上的三维辅助标识点云的演变趋势和三维辅助标识点云的演变速度，记为三维点云时间特征；

14、基于所述三维辅助标识点云数据，提取点云的密度和点的分布规律作为三维点云空间特征。

15、在一些优选的实施方式中，所述步骤s400，具体包括：

16、通过第一长短时记忆网络对二维图像时间特征进行特征提取，获得第一时间特征序列；通过第二长短时记忆网络对三维点云时间特征进行特征提取，获得第二时间特征序列；

17、将第一时间特征序列和第二时间特征序列通过全连接层映射到设定的时间特征空间，在时间特征空间进行拼接获得融合时间特征；

18、通过第一卷积神经网络对二维图像空间特征进行进一步特征提取，获得第一空间特征集；通过第二卷积神经网络对三维点云空间特征进行进一步特征提取，获得第二空间特征集；

19、将第一空间特征集和第二空间特征集通过多个卷积层和池化层映射到设定的空间特征空间，在空间特征空间进行拼接获得融合空间特征。

20、在一些优选的实施方式中，所述典型相对位姿，为预先设定的包含了飞机与二维辅助标识相对位姿、飞机与三维辅助标识相对位置信息的典型相对位姿。

21、在一些优选的实施方式中，所述典型相对位姿，包括完美泊位的典型相对位姿。

22、在一些优选的实施方式中，所述步骤s700，具体为基于所述典型相对位姿，结合飞机的速度、加速度和角加速度估计自然停驻位置，根据自然停驻位置与完美泊位的位置生成泊位操作序列。

23、本发明的另一方面，提出了一种基于二维和三维标识的飞机自动泊位系统，所述系统包括：

24、预先设置二维辅助标识和三维辅助标识；

25、环境获取模块，配置为实时通过设定位置的雷达系统和图像采集设备获取停机位二维辅助标识图像序列和三维辅助标识点云数据；

26、特征提取模块，配置为基于所述二维辅助标识图像序列和三维辅助标识点云数据，提取二维图像时间特征、二维图像空间特征、三维点云时间特征和三维点云空间特征；

27、第一特征融合模块，配置为基于所述二维图像时间特征和三维点云时间特征进行特征融合获得融合时间特征；基于所述二维图像空间特征和三维点云空间特征进行特征融合获得融合空间特征；

28、第二特征融合模块，配置为将所述融合时间特征和融合空间特征进行融合获得时空融合特征；

29、位姿分析模块，配置为基于所述时空融合特征，通过分类算法获取当前飞机与目标停机位的典型相对位姿；

30、自动泊位模块，配置为基于所述典型相对位姿，获取泊位操作序列。

31、本发明的第三方面，提出了一种电子设备，包括：

32、至少一个处理器；以及

33、与至少一个所述处理器通信连接的存储器；其中，

34、所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于二维和三维标识的飞机自动泊位方法。

35、本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于二维和三维标识的飞机自动泊位方法法。

36、本发明的有益效果：

37、(1)本发明通过设置辅助标识的方式进行精确泊位，相较于现有的通过人工方法或磁航向角方法对泊位进行调整，计算量更小，对传感器的精度要求更低，效率更高，满足了自动泊位的实时性要求。

38、(2)本发明仅通过分类的方式获取准确的相对位姿，相较于现有技术的需要将多维的环境信息进行分析才能确定位姿的方式，受天气、光照和时间等因素干扰小，且计算量小，能够确保实时生成最佳的泊位操作序列辅助飞行员完成泊位。