运动目标检测方法、装置、飞行设备及存储介质与流程

本申请涉及目标检测，更具体地，涉及一种运动目标检测方法、装置、飞行设备及存储介质。

背景技术：

1、飞行设备(如载人飞行器)在低空飞行的过程中，会遇到在空中运动的物体，如风筝、鸟、小型无人机等，这些运动的障碍物会影响飞行设备的飞行安全。故运动目标的检测成为飞行设备低空飞行安全的一个重要问题。

2、传统算法通过对单帧点云进行处理，并根据障碍物的速度阈值辨别运动目标。深度学习算法通常利用已标注目标的数据集，设计相应的目标检测网络，对单帧点云进行推理，以此检测障碍物。

3、但传统算法对于现实世界中的不规则障碍物，会出现误检情况。深度学习算法所检测的物体都是已知的标注类别，而且会同时检测出静态的目标，此外，深度学习单帧的检测方式没有充分利用时序信息，影响算法的实时性。

技术实现思路

1、鉴于上述问题，本申请提出了一种运动目标检测方法、装置、飞行设备及存储介质，以改善上述问题。

2、第一方面，本申请实施例提供了一种运动目标检测方法，该方法包括：根据当前帧点云数据、所述当前帧点云数据对应的组合导航数据、历史多帧点云数据以及所述历史多帧点云数据对应的组合导航数据进行坐标系对齐处理，得到融合点云数据；对所述融合点云数据进行体素化编码，得到编码矩阵；对所述编码矩阵进行特征提取，得到目标特征图；根据所述目标特征图确定多种预测掩膜；根据所述编码矩阵确定非空掩膜；根据所述多种预测掩膜以及所述非空掩膜确定检测掩膜；基于所述检测掩膜对所述当前帧点云数据进行目标提取，以确定所述当前帧点云数据中的运动目标。

3、第二方面，本申请实施例提供了一种运动目标检测装置，该装置包括：点云融合模块，用于根据当前帧点云数据、所述当前帧点云数据对应的组合导航数据、历史多帧点云数据以及所述历史多帧点云数据对应的组合导航数据进行坐标系对齐处理，得到融合点云数据；体素化模块，用于对所述融合点云数据进行体素化编码，得到编码矩阵；特征提取模块，用于对所述编码矩阵进行特征提取，得到目标特征图；预测掩膜获取模块，用于根据所述目标特征图确定多种预测掩膜；非空掩膜获取模块，用于根据所述编码矩阵确定非空掩膜；检测掩膜获取模块，用于根据所述多种预测掩膜以及所述非空掩膜确定检测掩膜；运动目标检测模块，用于基于所述检测掩膜对所述当前帧点云数据进行目标提取，以确定所述当前帧点云数据中的运动目标。

4、第三方面，本申请实施例提供了一种飞行设备，包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于上述第一方面所述的运动目标检测方法。

5、第四方面，本申请实施例还提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，其中，在程序代码被处理器运行时执行上述第一方面所述的运动目标检测方法。

6、本发明提供的技术方案，通过根据当前帧点云数据、所述当前帧点云数据对应的组合导航数据、历史多帧点云数据以及所述历史多帧点云数据对应的组合导航数据进行坐标系对齐处理，得到融合点云数据；对所述融合点云数据进行体素化编码，得到编码矩阵；对所述编码矩阵进行特征提取，得到目标特征图；根据所述目标特征图确定多种预测掩膜；根据所述编码矩阵确定非空掩膜；根据所述多种预测掩膜以及所述非空掩膜确定检测掩膜；基于所述检测掩膜对所述当前帧点云数据进行目标提取，以确定所述当前帧点云数据中的运动目标。该方法直接端到端对点云数据进行处理，避免了传统算法线性流程处理带来的误差累积，且融合历史多帧点云数据，能够充分利用点云数据的时序信息，增强了算法的实时性；该方法利用体素表征的优势，能够检测未标注的物体；此外，多种掩膜结合使用，降低了算法出现误检的几率，能够精准确定运动目标。

技术特征：

1.一种运动目标检测方法，其特征在于，应用于飞行设备，所述方法包括：

2.根据权利要求1所述的运动目标检测方法，其特征在于，所述根据当前帧点云数据、所述当前帧点云数据对应的组合导航数据、历史多帧点云数据以及所述历史多帧点云数据对应的组合导航数据进行坐标系对齐处理，得到融合点云数据，包括：

3.根据权利要求1所述的运动目标检测方法，其特征在于，所述对所述融合点云数据进行体素化编码，得到编码矩阵，包括：

4.根据权利要求3所述的运动目标检测方法，其特征在于，所述融合点云数据中每一个点的坐标包括第一方向的第一坐标、第二方向的第二坐标以及第三方向的第三坐标；

5.根据权利要求1所述的运动目标检测方法，其特征在于，所述对所述编码矩阵进行特征提取处理，得到目标特征图；根据所述目标特征图确定多种预测掩膜，包括：

6.根据权利要求5所述的运动目标检测方法，其特征在于，所述预先训练的时空网络模型包括编码器、解码器以及多任务处理器；

7.根据权利要求6所述的运动目标检测方法，其特征在于，所述编码器包括多个依次连接的时空编码子模块；所述将所述编码矩阵输入所述编码器，得到编码特征图；包括：

8.根据权利要求7所述的运动目标检测方法，其特征在于，所述解码器包括多个依次连接的时空解码子模块；所述多个时空解码子模块与所述多个时空编码子模块一一对应，每个所述时空解码子模块与对应的所述时空编码子模块连接；

9.根据权利要求6所述的运动目标检测方法，其特征在于，所述多任务处理器包括：种类预测子模块、状态估计子模块以及运动预测子模块；所述多种预测掩膜包括：种类预测掩膜、状态估计掩膜以及运动预测掩膜；

10.一种运动目标检测装置，其特征在于，包括:

11.一种飞行设备，其特征在于，包括：

12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至9任一项所述的运动目标检测方法。

技术总结
本申请公开了一种运动目标检测方法、装置、飞行设备及存储介质，通过根据当前帧点云数据、当前帧点云数据对应的组合导航数据、历史多帧点云数据以及历史多帧点云数据对应的组合导航数据进行坐标系对齐处理，得到融合点云数据；对融合点云数据进行体素化编码，得到编码矩阵；根据编码矩阵确定非空掩膜；对编码矩阵进行特征提取，得到目标特征图；根据目标特征图确定多种预测掩膜；根据多种预测掩膜以及非空掩膜确定检测掩膜；基于检测掩膜对当前帧点云数据进行目标提取。该方法充分利用融合点云数据的时序信息，增强了算法的实时性；利用体素表征的优势，检测未标注的物体；此外，利用多种掩膜进行检测，降低算法误判的几率，精准确定运动目标。

技术研发人员：崔绍臣,谷靖,张新,刘康
受保护的技术使用者：广东汇天航空航天科技有限公司
技术研发日：
技术公布日：2024/1/13