一种基于神经微分方程的行人轨迹预测方法及系统与流程

本发明涉及行人轨迹预测，更具体的说是涉及一种基于神经微分方程的行人轨迹预测方法及系统。

背景技术：

1、行人轨迹预测指通过对环境信息、周围移动目标及行人的当前状态和历史状态进行建模，然后对当前行人未来移动轨迹进行合理预测的方法。

2、目前，关于行人轨迹预测的方法主要分为三类：一是基于规则驱动的方法，该类方法需要基于很强的先验和假设，比如基于动力学、粒子系统（particle system ）、社会力模型（social force model）等；同时，该类方法会使用具体的数学表达或特定的物理模型，所以其具有很好的可解释性，但欠拟合于真实的场景，即预测的结果不够准确。如cn109300144a（一种融合社会力模型和卡尔曼滤波的行人轨迹预测方法）专利申请中，先使用自适应变异粒子群算法对社会力模型参数进行标定，然后使用卡尔曼滤波修正预测的轨迹，但是该发明使用的数据是模拟的，无法适用于真实场景，最终的预测结果可参考性较弱。

3、二是基于数据驱动的方法，该类方法通过统计机器学习优化方法和真实的场景数据能够解决基于规则驱动方法欠拟合于真实场景的问题，但是该类方法在大量数据条件下，拟合能力同样有限。如cn115424236a（一种融合行人意图和社会力模型的行人过街轨迹预测方法）专利申请中，在传统的社会力模型基础上增加了行人意图识别，但是社会力模型的参数仍旧依据经验进行设定，对实际场景中的行人轨迹预测效果不佳，且无法适用于不断变化的复杂场景中。

4、三是基于深度学习的方法，该类方法基于深度神经网络直接拟合真实场景的数据，其中神经网络包括卷积神经网络、循环神经网络、图神经网络等，但是深度神经网络是一个黑盒模型，具有不可解释性。如cn114462667a（一种基于sfm-lstm神经网络模型的过街行人轨迹预测方法）专利申请中，首先使用lstm模型预测过街行人的轨迹，然后采用极大似然函数对社会力模型的参数进行标定；然而，在利用lstm模型进行行人轨迹预测时，没有考虑周围环境所带来的影响，比如存在障碍物等，最终的预测结果不够准确；同时，lstm模型的预测速度慢于卷积网络；此外，使用极大似然函数对社会力模型参数进行标定，意味着所有行人的社会力模型参数是共享的，但是真实情况应该是每个人在社会力模型中都应该有自已参数。

5、有鉴于此，如何能实时动态更新预测模型，可以更好的适用于多种复杂实际场景的行人轨迹预测中，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于神经微分方程的行人轨迹预测方法及系统，具备冷启动能力、能实时动态更新预测模型，可以更好的适用于多种复杂实际场景的行人轨迹预测中。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于神经微分方程的行人轨迹预测方法，包括以下步骤：

4、s1、采集目标区域的真实场景数据；

5、s2、对所述真实场景数据进行分析和处理，并将处理后的真实场景数据存入数据库中；

6、s3、构建仿真数据生产模型，根据先验和假设数据生产出多样化的模拟轨迹数据，并将所述模拟轨迹数据存入数据库中；

7、s4、构建轨迹预测模型，并对所述轨迹预测模型进行增量学习和训练；

8、s5、实时获取待预测的场景数据，输入训练好的轨迹预测模型中，输出对行人未来运动轨迹的预测结果；

9、s6、将行人未来运动轨迹的预测结果进行可视化展示。

10、进一步的，步骤s1中所述真实场景数据包括行人数据、场地数据以及行人周边移动目标数据。

11、进一步的，步骤s2中对所述真实场景数据进行分析和处理包括：

12、对所述行人数据和行人周边移动目标进行目标检测和追踪分析，获得行人历史运动轨迹和行人周边移动目标轨迹；

13、对所述场地数据进行语义分割，生成场地分割地图。

14、进一步的，步骤s4中构建的轨迹预测模型中包含目标点预测神经网络和神经微分神经网络两个神经网络；

15、所述目标点预测神经网络用于预测行人未来将要到达的目标点；

16、所述神经微分神经网络用于根据所述目标点预测神经网络预测的目标点预测行人未来完整的运动轨迹。

17、进一步的，所述神经微分神经网络将微分方程与神经网络相结合，行人的状态用如下微分方程表示：

18、

19、其中，表示对行人状态、周围移动目标、环境信息的整体建模；

20、表示神经网络需要学习的参数；

21、表示行人的状态，包括位移和速度；

22、表示行人未来将要到达的目标点；

23、表示行人周边移动目标对当前行人的影响；

24、表示周围环境对当前行人的影响。

25、一种基于神经微分方程的行人轨迹预测系统，包括：

26、数据采集模块，用于采集目标区域的真实场景数据；

27、数据处理模块，用于对所述真实场景数据进行分析和处理，并将处理后的真实场景数据存入数据库中；

28、仿真数据生产模块，用于根据先验和假设数据生产出多样化的模拟轨迹数据，并将所述模拟轨迹数据存入数据库中；

29、增量学习模块，用于对轨迹预测模型进行增量学习和训练；

30、轨迹预测模块，用于对行人未来运动轨迹进行预测；

31、可视化模块，用于将行人未来运动轨迹的预测结果进行可视化展示。

32、进一步的，所述真实场景数据包括行人数据、场地数据以及行人周边移动目标数据。

33、进一步的，所述数据处理模块包括目标检测与追踪模块、语义分割模块；

34、所述目标检测与追踪模块，用于对所述行人数据和行人周边移动目标进行目标检测和追踪分析，获得行人历史运动轨迹和行人周边移动目标轨迹；

35、所述语义分割模块，用于对所述场地数据进行语义分割，生成场地分割地图。

36、进一步的，所述轨迹预测模块中包含目标点预测神经网络和神经微分神经网络两个神经网络；

37、所述目标点预测神经网络用于预测行人未来将要到达的目标点；

38、所述神经微分神经网络用于根据所述目标点预测神经网络预测的目标点预测行人未来完整的运动轨迹。

39、进一步的，所述神经微分神经网络将微分方程与神经网络相结合，行人的状态可以用如下微分方程表示：

40、

41、其中，表示对行人状态、周围移动目标、环境信息的整体建模；

42、表示神经网络需要学习的参数；

43、表示行人的状态，包括位移和速度；

44、表示行人未来将要到达的目标点；

45、表示行人周边移动目标对当前行人的影响；

46、表示周围环境对当前行人的影响。

47、经由上述的技术方案可知，与现有技术相比，本发明具有如下优势：

48、1、本发明具备冷启动能力，在开始阶段，没有累计足够的真实场景数据时，通过构建仿真数据生产模型，根据先验和假设数据生产出多样化、泛化的模拟轨迹数据，再利用生产的模拟数据对轨迹预测模型进行训练，便于在开始阶段就提供相应服务；同时，通过该能力生产的数据不需要进行人工标注，能节省大量的人力、物力和财力；

49、2、目标点预测网络通过对真实场景、行人历史轨迹以及周围移动目标进行建模，能有效提高目标点预测的准确性；

50、3、神经微分网络用神经网络求解相应的微分方程，预测出的行人运动轨迹能充分反映出行人各自的运动特征，即每个行人都有一个自己的模型，这样的神经微分网络既具有传统模型的可解释能力，也具有神经网络强大的拟合能力；

51、4、本发明具备动态更新模型的能力，当真实场景信息或人群运动分布发生改变时，通过实时语义分割模块和增量学习模块能及时对轨迹预测模型进行更新，使最终的预测结果适应这些改变。