多传感器的目标融合方法、系统、电子设备及存储介质与流程

本技术涉及多传感器融合，尤其涉及一种多传感器的目标融合方法、系统、电子设备及存储介质。

背景技术：

1、多传感器融合技术，是一种利用多种传感器或信息源的数据进行自动分析和综合的信息处理技术，对提高系统的可靠性、精度和鲁棒性等方面有积极作用，在军事、工业、机器人、自动驾驶、遥感、医疗等领域应用十分广泛。

2、多传感器融合技术的基本原理，是将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。多传感器融合技术的核心在于融合算法，目前使用的融合算法有加权平均法、卡尔曼滤波法、贝叶斯估计法、d-s证据推理法、模糊逻辑推理法等，但目前的融合算法大多需要事先依照标定指标将不同传感器的目标标定至同一个坐标系才能进行后续融合，算法过程复杂，不适合当前主流的轻量化需求。

技术实现思路

1、本发明提供了一种多传感器的目标融合方法、系统、电子设备及存储介质，以解决或者部分解决现有多传感器的融合算法需要事先将不同传感器的目标标定至同一个坐标系，从而导致算法过程复杂的技术问题。

2、为解决上述技术问题，本发明的第一方面，公开了一种多传感器的目标融合方法，所述方法包括：

3、为多传感器中的每个传感器创建相同的棋盘格区域；其中，所述棋盘格区域中具有待融合区域；

4、确定目标传感器监测的跟踪目标，以及关联传感器中未匹配成功的l个待融合目标；其中，所述目标传感器和所述关联传感器具有公共视野区域，且均属于所述多传感器；

5、若所述跟踪目标处于所述目标传感器对应的待融合区域且尚未配对，根据所述跟踪目标在对应棋盘格区域内所处位置确定对应的第一矩阵化数据，并根据所述l个待融合目标在各自对应棋盘格区域内所处位置确定各自对应的第二矩阵化数据；

6、将所述第一矩阵化数据和l个第二矩阵化数据并行输入事先训练完成的目标融合模型，得到所述第一矩阵化数据对应的第一输出向量和所述l个第二矩阵化数据对应的第二输出向量；

7、根据所述第一输出向量和所述l个第二输出向量的匹配程度，确定所述跟踪目标在所述关联传感器中的最终融合目标。

8、优选的，所述为多传感器中的每个传感器创建相同的棋盘格区域，具体包括：

9、为所述多传感器中的每个传感器创建整体尺寸相同的棋盘格区域；其中，所述棋盘格区域内部的单个格子的最大尺寸按照小于对应传感器跟踪的最小目标尺寸的标准设定；

10、根据各传感器之间的公共视野区域，在对应棋盘格区域中构建所述待融合区域。

11、优选的，所述若所述跟踪目标处于所述目标传感器对应的待融合区域且尚未配对，根据所述跟踪目标在对应棋盘格区域内所处位置确定对应的第一矩阵化数据，并根据所述l个待融合目标在各自对应棋盘格区域内所处位置确定各自对应的第二矩阵化数据，具体包括：

12、基于所述跟踪目标在所属监测帧段中的p个位置向量和所述目标传感器的棋盘格区域尺寸进行归一化处理，确定所述第一矩阵化数据；其中，1≤p≤t，t表示所述跟踪目标所属监测帧段的帧数；

13、基于所述l个待融合目标在各自所属监测帧段中的p个位置向量和所述关联传感器的棋盘格区域尺寸进行归一化处理，确定所述l个第二矩阵化数据。

14、优选的，所述目标融合模型包含网络结构相同而内参不同的第一编码器和第二编码器；

15、所述将所述第一矩阵化数据和l个第二矩阵化数据并行输入事先训练完成的目标融合模型，得到所述第一矩阵化数据对应的第一输出向量和所述l个第二矩阵化数据对应的第二输出向量，具体包括：

16、将所述第一矩阵化数据输入所述第一编码器，得到所述第一输出向量；

17、将所述l个第二矩阵化数据输入所述第二编码器，得到所述l个第二输出向量。

18、优选的，所述根据所述第一输出向量和所述l个第二输出向量的匹配程度，确定所述跟踪目标在所述关联传感器中的最终融合目标，具体包括：

19、利用所述第一输出向量分别和所述l个第二输出向量求内积，得到l个匹配程度；

20、从所述l个匹配程度中确定出目标匹配程度对应的待融合目标，将所述待融合目标作为所述跟踪目标在所述关联传感器中的最终融合目标。

21、优选的，所述目标融合模型按照下述步骤训练得到；

22、确定两个监测传感器各自已知的历史监测目标及所处位置；其中，在所述两个监测传感器中，第一监测传感器具有第一历史监测目标，所述第一历史监测目标和第二监测传感器中的第二历史监测目标相互融合；所述第二历史监测目标存在于所述第二监测传感器的m个待匹配目标中；

23、若所述第一历史监测目标处于所述第一监测传感器对应的待融合区域内，确定所述第一历史监测目标的位置矩阵数据，并确定所述m个待匹配目标的位置矩阵数据；

24、将所述第一历史监测目标的位置矩阵数据和所述m个待匹配目标的位置矩阵数据并行输入两个网络结构相同的编码器，输出第一历史向量和m个第二历史向量；

25、确定所述第一历史向量和所述第二历史监测目标对应的第二历史向量的第一匹配程度；以及确定所述第一历史向量和所述m个第二历史向量的m个第二匹配程度；

26、基于所述第一匹配程度和m个第二匹配程度形成关联输出数据；

27、利用损失函数对所述关联输出数据进行处理，并根据处理得到的梯度变化情况调整两个编码器的内参，直至损失收敛。

28、优选的，所述从目标传感器的监测图像中确定跟踪目标之前，所述方法还包括：

29、按照所述多传感器对跟踪对象的相关属性的识别能力进行优先级排序；其中，所述跟踪对象的相关属性包括下述一种或者多种：位置信息、类别信息、尺寸信息、速度信息、外观信息；

30、若所述多传感器中的两个传感器优先级一致，按照所述跟踪对象至所述两个传感器的距离进一步划分所述两个传感器的优先级，得到所述多传感器各自的处理优先级；

31、按照所述多传感器各自的处理优先级，确定出所述目标传感器和所述关联传感器。

32、本发明的第二方面，公开了一种多传感器的目标融合系统，包括：

33、构建模块，用于为多传感器中的每个传感器创建相同的棋盘格区域；其中，所述棋盘格区域中具有待融合区域；

34、第一确定模块，用于确定目标传感器监测的跟踪目标，以及关联传感器中未匹配成功的l个待融合目标；其中，所述目标传感器和所述关联传感器具有公共视野区域，且均属于所述多传感器；

35、第二确定模块，用于若所述跟踪目标处于所述目标传感器对应的待融合区域且尚未配对，根据所述跟踪目标在对应棋盘格区域内所处位置确定对应的第一矩阵化数据，并根据所述l个待融合目标在各自对应棋盘格区域内所处位置确定各自对应的第二矩阵化数据；

36、模型处理模块，用于将所述第一矩阵化数据和l个第二矩阵化数据并行输入事先训练完成的目标融合模型，得到所述第一矩阵化数据对应的第一输出向量和所述l个第二矩阵化数据对应的第二输出向量；

37、第三确定模块，用于根据所述第一输出向量和所述l个第二输出向量的匹配程度，确定所述跟踪目标在所述关联传感器中的最终融合目标。

38、本发明的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

39、本发明的第四方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

40、通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：

41、本发明的方案，在为多传感器中的每个传感器创建相同的棋盘格区域的基础上，若某传感器跟踪目标处于对应棋盘格区域中的待融合区域并且尚未配对，则将跟踪目标对应的第一矩阵化数据和关联传感器中l个待融合目标的第二矩阵化数据并行输入事先训练完成的目标融合模型，并据此计算出跟踪目标和l个待融合目标的匹配程度进行最终融合目标的选择。由此可见，本方案在融合目标时，将两个传感器的目标所处位置进行矩阵化并输入目标融合模型处理，即可得到最终融合目标组合执行后续融合处理，无需再置入标定指标和执行复杂的标定操作，本方案不但适用于相同或者不同类型的多传感器融合，而且操作简单高效，能够满足当前主流的轻量化需求。

42、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。