时空误差容忍的多智能体协同感知方法、装置和电子设备

本发明涉及协同感知，尤其涉及一种时空误差容忍的多智能体协同感知方法、装置和电子设备。

背景技术：

1、近年来，深度学习技术在多种场景感知任务上取得了良好的性能，在自动驾驶、智能监控等领域获得了广泛应用。然而，单智能体感知存在传感器视野有限、目标间相互遮挡、远距离数据稀疏等固有缺陷，在真实复杂场景中的感知能力仍然有待进一步提升，限制了安全性要求严格的自动驾驶汽车和自主移动机器人的大范围普及。

2、现有技术中，多智能体协同感知通过在一定范围内交换感知信息，实现对场景目标的特征增强和信息互补，提升场景感知的准确性和稳定性。

3、然而，在多智能体协同感知过程中，智能体的位姿以及传感器的校正参数通常存在误差，造成感知场景的空间错位。另外，为提升协同感知系统响应的及时性，通常采用最新缓存的协智能体感知信息，其与自智能体感知信息存在明显的采样时间不同步问题，造成感知对象的运动错位。上述因素造成协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差。

技术实现思路

1、本发明提供一种时空误差容忍的多智能体协同感知方法、装置和电子设备，用以解决现有技术中协智能体特征与自智能体特征时空整体一致但局部错位，即存在时空对齐误差的缺陷。

2、本发明提供一种时空误差容忍的多智能体协同感知方法，包括：

3、获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；

4、在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；

5、对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；

6、对所述共享信息进行共享信息聚合，得到协智能体特征；

7、基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；

8、基于所述融合特征，进行协同感知，得到协同感知结果。

9、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征，包括：

10、基于所述自智能体特征和所述协智能体特征，得到每一个特征空间位置自适应精确对齐所需的候选误差量集合和所述候选误差量集合对应的候选置信度集合；

11、基于所述自智能体特征、所述协智能体特征、所述候选误差量集合和所述候选置信度集合，得到冗余增强特征；

12、基于所述冗余增强特征、所述协智能体特征和自智能体感知盲区图，进行互补增强，得到融合特征。

13、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述自智能体感知盲区图的确定步骤包括：

14、对空间概率图进行平滑处理、二值化并取反，得到空间需求图；

15、基于所述协智能体特征的强度值，得到有效空间图；

16、基于所述空间需求图和所述有效空间图，得到自智能体感知盲区图。

17、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息，包括：

18、对重要性选择后的自智能体特征进行目标概率估计，得到空间概率图；

19、基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息。

20、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于所述自智能体特征和所述空间概率图，以及所述位姿数据进行通信数据打包，得到共享信息，包括：

21、基于所述自智能体特征和所述空间概率图，利用阈值化进行特征选择，得到共享特征；

22、基于所述共享特征和所述位姿数据进行通信数据打包，得到共享信息。

23、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述对所述共享信息进行共享信息聚合，得到协智能体特征，包括：

24、基于所述共享信息中的多个共享特征和多个位姿数据，进行位置重组，将所述多个共享特征复原至鸟瞰图空间下的多个特征图；

25、基于所述自智能体的有效感知区域，对所述多个特征图进行特征区域裁剪，得到多个粗略对齐特征图；

26、对所述多个粗略对齐特征图进行信息聚合，得到所述协智能体特征。

27、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述基于所述融合特征，进行协同感知，得到协同感知结果，包括：

28、对所述融合特征进行特征增强，得到增强特征；

29、基于所述增强特征，进行三维目标检测，得到目标的位置尺寸信息；

30、基于所述增强特征，进行场景分割，得到场景中每个空间位置的典型属性信息；

31、基于所述位置尺寸信息和所述典型属性信息，得到协同感知结果。

32、根据本发明提供的一种时空误差容忍的多智能体协同感知方法，所述在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征，包括：

33、将所述点云数据投影至所述鸟瞰图空间下并进行重采样，得到规范化点柱；

34、基于点柱编码网络，对所述规范化点柱进行点柱抽象特征提取，得到自智能体特征；

35、所述点柱编码网络是基于样本规范化点柱、三维目标检测标签和bev语义分割标签，并联合三维目标检测模型和场景分割模型训练得到的，所述三维目标检测模型用于基于所述自智能体特征进行三维目标检测，所述场景分割模型用于基于所述自智能体特征进行语义分割。

36、本发明还提供一种时空误差容忍的多智能体协同感知装置，包括：

37、获取单元，用于获取自智能体的激光雷达的点云数据和所述激光雷达的位姿数据；

38、特征编码单元，用于在鸟瞰图空间下，对所述点云数据进行特征编码，得到自智能体特征；

39、确定共享信息单元，用于对所述自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和所述位姿数据进行通信数据打包，得到共享信息；

40、信息聚合单元，用于对所述共享信息进行共享信息聚合，得到协智能体特征；

41、增强单元，用于基于所述自智能体特征和所述协智能体特征，进行冗余增强和互补增强，得到融合特征；

42、协同感知单元，用于基于所述融合特征，进行协同感知，得到协同感知结果。

43、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述时空误差容忍的多智能体协同感知方法。

44、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述时空误差容忍的多智能体协同感知方法。

45、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述时空误差容忍的多智能体协同感知方法。

46、本发明提供的时空误差容忍的多智能体协同感知方法、装置和电子设备，获取自智能体的激光雷达的点云数据和激光雷达的位姿数据，在鸟瞰图空间下，对点云数据进行特征编码，得到自智能体特征，对自智能体特征进行重要性选择，并基于重要性选择后的自智能体特征和位姿数据进行通信数据打包，得到共享信息，对共享信息进行共享信息聚合，得到协智能体特征，基于自智能体特征和协智能体特征，进行冗余增强和互补增强，得到融合特征，基于融合特征，进行协同感知，得到协同感知结果。协智能体特征是基于数量不定的多个协智能体的共享信息进行聚合得到的，由此，有利于获取格式固定且信息丰富的协智能体特征，进一步增强了协同感知算法的稳定性；并且，融合特征是基于自智能体特征和协智能体特征，进行冗余增强和互补增强得到的，且在冗余增强和互补增强过程中进行了位置不对齐问题处理，能够降低协智能体特征与自智能体特征之间存在的时空对齐误差对协同感知效果的影响，进一步提高了存在时空对齐误差条件下协同感知性能的效果。