一种多模态时空轨迹预测方法、装置、设备和介质与流程

本发明实施例涉及通讯，尤其涉及一种多模态时空轨迹预测方法、装置、设备和介质。

背景技术：

1、随着城市化进程的进行，城市安全问题的重要性越来越凸显。时空轨迹预警技术是一种通过分析人和物的移动轨迹，预测可能的风险和危险并及时发出警报的技术。在智慧安全城市中，时空轨迹预警可以帮助城市管理者和居民更好地保护生命和财产安全。

2、现有的时空轨迹预警方法主要分为两个类别：(1)基于模式识别的方法。(2)基于机器学习的方法。(1)基于模式识别的方法首先定义或挖掘出某种模式，然后对新流入的数据进行模式匹配。模式识别常见的技术包括聚类、关联规则挖掘等。此类方法的效果取决于所定义、挖掘的模式是否适用于应用场景的数据。在多模态时空轨迹场景中，存在着多种特点、属性完全不同的数据，例如人脸轨迹、步态轨迹、手机信号轨迹，车辆的车牌抓拍轨迹、etc采集轨迹等，不同类型的数据适用的模式是不同，模式识别的方法在不同模态之间的迁移、较困难。(2)基于机器学习的方法使用机器学习算法对时空数据进行学习和预测，现有技术的方法能够让模型从数据中自动学习多种模态的时空轨迹数据，但传统的基于机器学习方法是在云端服务器部署的，端侧设备将数据发回服务器，再由服务器的模型进行统一计算、预测。此类方法需要将数据传回服务器，会增加网络的带宽压力和服务器端的计算压力，同时也会增加用户原始轨迹数据信息泄露的风险。

3、边缘计算在物联网、智能家居、自动驾驶等领域有着广泛应用，但由于以下2个原因，无法直接应用在多模态时空轨迹预警问题中：(1)数据处理和计算量较大：多模态时空轨迹数据通常具有大规模和复杂性，需要在边缘设备上进行实时处理和计算，这需要高效的算法和强大的计算能力。(2)设备限制和性能问题：边缘设备通常受限于计算能力、存储容量、能源供应等，使得边缘设备难以应对多模态大规模的时空轨迹数据。

4、因此，现有技术急需一种可以保证数据安全且预测准确的时空轨迹预测方法。

技术实现思路

1、本发明实施例提供一种多模态时空轨迹预测方法、装置、设备和介质，达到了数据传输安全且预测准确的效果。

2、根据本发明的一方面，提供了一种多模态时空轨迹预测方法，包括：控制现场设备获取单模态数据；控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；控制云侧设备基于所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹。

3、进一步的，所述控制现场设备获取单模态数据包括：调试现场设备以获取稳定的数据源；记录调试设备的工作人员的轨迹作为标注数据。

4、进一步的，所述控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征，包括：控制端侧设备对获取的单模态数据进行预处理，以去掉异常数据和噪声；对预处理后的单模态数据进行特征提取，以获得可解释特征和不可解释特征。

5、进一步的，所述控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果，包括：对所述可解释特征和不可解释特征进行拼接聚合以生成单模态特征；将所述单模态特征输入预先训练的单模态模型以获取单模态轨迹预测结果。

6、进一步的，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征，之前包括：控制所述端侧设备将所述不可解释特征、单模态轨迹预测结果、端侧设备的空间位置、特征和单模态轨迹预测结果生成时间发送至所述云侧设备。

7、进一步的，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征包括：控制云侧设备将同类型现场设备获取单模态数据的不可解释特征进行第一类数据聚合，以生成多模态融合特征；和/或控制云侧设备将不同类型现场设备获取单模态数据的不可解释特征进行第二类数据聚合，以生成多模态融合特征。

8、进一步的，所述控制云侧设备基于所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹，包括：将所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征输入预先训练的多模态模型以获取多模态预测轨迹。

9、根据本发明的一方面，提供了一种多模态时空轨迹预测装置，包括：数据获取模块，用于控制现场设备获取单模态数据；特征提取模块，用于控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；单端预测模块，用于控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；特征融合模块，用于控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；云端预测模块，用于控制云侧设备基于所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹。

10、根据本发明的另一方面，提供了一种计算机设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一多模态时空轨迹预测方法。

11、根据本发明的另一方面，提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述的任一多模态时空轨迹预测方法。

12、本发明实施例的多模态时空轨迹预测方法包括控制现场设备获取单模态数据；控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；控制云侧设备基于所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹，本实施例的多模态时空轨迹预测达到了既可以在端侧设备进行单模态的边缘计算，又充分利用了云侧设备的强大算力，避免将所有的计算压力都传导至云侧模型。同时也避免了现有技术需要传输大量的原始轨迹数据给云侧设备才能完成计算的问题，提高隐私安全性，并且本实施例在云侧设备通过聚合生成的多模态融合特征进对目标实体进行轨迹预测，进一步减少了云侧模型在预测过程中使用的数据量，增大了预测的准确性。

技术特征：

1.一种多模态时空轨迹预测方法，其特征在于，包括：

2.根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制现场设备获取单模态数据包括：

3.根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征，包括：

4.根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果，包括：

5.根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征，之前包括：

6.根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征包括：

7.根据权利要求1所述的多模态时空轨迹预测方法，其特征在于，所述控制云侧设备基于所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹，包括：

8.一种多模态时空轨迹预测装置，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的多模态时空轨迹预测方法。

技术总结
本发明实施例公开了一种多模态时空轨迹预测方法、装置、设备和介质，所述方法包括控制现场设备获取单模态数据；控制端侧设备基于所述单模态数据生成不可解释特征和可解释特征；控制端侧设备基于所述不可解释特征和可解释特征进行单模态轨迹推理，以获取单模态轨迹预测结果；控制云侧设备基于不同端侧设备的不可解释特征生成多模态融合特征；控制云侧设备基于所述不可解释特征、所述单模态轨迹预测结果以及所述多模态融合特征进行聚合预测，以生成多模态预测轨迹。本实施例的多模态时空轨迹预测达到了数据传输安全且预测准确的效果。

技术研发人员：王东锋,余亦阳,李双印,姚相松
受保护的技术使用者：深圳前海中电慧安科技有限公司
技术研发日：
技术公布日：2024/1/16