一种雷达与视频目标自适应关联方法与流程

本发明涉及雷达视频信息融合技术，特别涉及一种雷达与视频目标自适应关联方法。

背景技术：

1、作为探测系统感知能力提升的突破点，雷达相机信息融合技术可以充分发挥各传感器的优势，实现信息互补，弥补单个传感器存在的性能限制，获取更稳定可靠的环境兼容信息，在军事、民用等多领域前景广阔。在雷达与视频交通融合感知系统中，一个重要问题是如何判断来自不同局部节点的输出信息是否指向同一目标，即数据关联问题。

技术实现思路

1、本发明的目的在于提供一种雷达与视频目标自适应关联方法，结合传感器工作特性和目标运动特点，能够实时自适应进行数据关联匹配，提高关联准确性，进而提高融合系统感知的稳定性、可靠性。

2、为实现上述目的，本发明通过以下技术方案实现：

3、本发明提供一种雷达与视频目标自适应关联方法，包含以下步骤：

4、步骤1，利用雷达目标跟踪技术和视频实时ai识别跟踪技术分别生成雷达航迹、视频航迹；

5、步骤2，对雷达航迹、视频航迹分别均进行时间插值和空间同步，将雷达航迹和视频航迹转换至同一时空坐标系下；

6、步骤3，将航迹数据关联阶段分为关联期和检查期；在关联期，根据历史关联对和航迹数据更新情况提取关联保持对矩阵；对不存在关联关系的航迹数据进行判决，结合雷达与视频目标位置匹配度、历史运动信息组成关联质量因子lij，并根据上一帧目标状态评估结果进行质量因子更新；

7、步骤4，对关联质量因子进行粗筛选，当关联质量因子lij大于目标粗关联门限ηl时，判断插值后的雷达航迹与视频航迹的初步关联，以此得到一组初步航迹关联对(i,j)，遍历未具备关联关系的传感器航迹后建立初步关联矩阵，将初步关联矩阵与关联保持对矩阵合并得到当前航迹关联矩阵；

8、步骤5，根据关联位置、关联时长进行基数排序，联合筛选最优关联关系，并判断多对多关联关系的保持和消除，保证关联关系的唯一性；

9、步骤6，在检查期，对雷达、视频的全部航迹进行遍历关联匹配判断，生成全关联矩阵，筛选寻优得到最佳关联对集合，纠正少数误关联对，同时降低运算量，并进入下一关联期。

10、优选地，所述步骤1还包含以下内容：

11、步骤1-1，针对雷达传感器，目标回波信号经过雷达信号处理算法处理后生成目标点迹，并基于联合概率数据关联算法和卡尔曼滤波算法实现雷达目标跟踪与预测，得到雷达航迹；

12、步骤1-2，针对视觉传感器，系统采用卷积神经网络图像深度学习识别技术，通过深度学习和视频结构化技术，有效提取包括目标颜色、类型、边界框的多维微特征信息，实现目标识别并进行视觉目标跟踪处理，生成视频航迹。

13、优选地，所述步骤2包含以下内容：

14、步骤2-1，在t0时刻采用三次样条插值方法进行插值得到雷达航迹sai、视频航迹sbj；

15、步骤2-2，利用三维坐标转换标定得到雷达传感器和视觉传感器目标位置间的固定关系，实现空间同步。

16、优选地，所述步骤3包含以下内容：

17、将数据关联阶段分为关联期和检查期；设置关联期间隔δtc，上一次关联期时刻为ts，若当前时刻tn<ts+δtc，则融合算法处于关联期；根据上一帧记录的雷达与视觉id历史关联对矩阵和航迹数据更新情况提取保持关联对矩阵ψo(a,b)，若雷达传感器或者视觉传感器的航迹检测点当前时刻已更新，且航迹在关联对矩阵中存在对应关联对，则将该关联对存入保持关联对ψo(a,b)中，对应航迹直接进入融合状态等待，进而筛选得到未具备关联关系的对应航迹；

18、步骤3-1，根据场景目标运动稳定性情况设置关联时间窗nδt，其中20<n<80，在时间窗内进行关联匹配，在tn时刻接收到雷达航迹sai和视频航迹sbj表示为

19、

20、

21、其中，tin(k)、tjn(k)为雷达航迹sai、视频航迹sbj的最新更新时间，xai(k)、xbj(k)表示目标方位角，表示经过卡尔曼滤波后的目标方位角，yai(k)、ybj(k)表示目标俯仰角，表示经过卡尔曼滤波后的目标俯仰角；

22、步骤3-2，根据目标航迹关联的平均最短时间设置最小交叠时间mδt，根据两航迹均有更新数据的时段计算时间窗内雷达航迹sai、视频航迹sbj关联时长δtc，若δtc＜mδt，排除该组关联关系；

23、步骤3-3，在当前时间窗内计算雷达航迹sai和视频航迹sbj对应的点迹角度差，并求得平均欧式角度φij

24、

25、其中，n为关联时间窗内检测点数，δt为融合输出处理间隔，tn为当前时间，tk为航迹中[tn-nδt,tn]的各个检测时刻，xai(k)、xbj(k)表示目标方位角，yai(k)、ybj(k)表示目标俯仰角。

26、步骤4，记关联质量因子lij＝1φij，对关联质量因子进行粗筛选，当关联质量因子lij大于目标粗关联门限ηl时，判断航迹集合中雷达航迹sai与视频航迹sbj初步关联，以此得到一组初步航迹关联对(i,j)，遍历未具备关联关系的传感器航迹后建立初步关联矩阵ψ′，将ψ′与ψo(a,b)合并后记为当前航迹关联矩阵ψmn为：

27、

28、其中，m为雷达航迹总数，n为视频航迹总数，lmn为两航迹关联因子。

29、优选地，所述步骤5包含以下内容：

30、步骤5-1，对于存在多个雷达航迹与多个视频航迹关联的情况，利用关联质量、关联时长进行双关键字基数排序，优先确认关联质量因子lij较大的关联关系，若关联质量因子lij相同，则结合关联时长δtc判断；

31、步骤5-2，解除确认关联的航迹与其他航迹的关联筛选，以此保证关联关系的唯一性，最终得到全局最优关联对。

32、综上所述，与现有技术相比，本发明提供的一种雷达与视频目标自适应关联方法，具有如下有益效果：

33、1.通过采用基于航迹的雷达与视频数据关联方法，充分利用目标历史运动信息，增强雷达与视频融合系统的稳定性；

34、2.通过结合各类要素组成关联质量因子，并根据目标状态等信息进行适应性更新，提高数据关联准确性，在虚警漏报、密集目标等场景下更为显著；

35、3.通过将数据关联策略划分为关联期和检查期，避免局部瞬时关联失误破坏融合系统稳定性，并极大降低了融合系统运算量，提高实时性。

技术特征：

1.一种雷达与视频目标自适应关联方法，其特征在于，包含以下步骤：

2.如权利要求1所述的雷达与视频目标自适应关联方法，其特征在于，所述步骤1还包含以下内容：

3.如权利要求2所述的雷达与视频目标自适应关联方法，其特征在于，所述步骤2包含以下内容：

4.如权利要求3所述的雷达与视频目标自适应关联方法，其特征在于，所述步骤3包含以下内容：

5.如权利要求1所述的雷达与视频目标自适应关联方法，其特征在于，所述步骤4将初步关联矩阵与关联保持对矩阵合并得到当前航迹关联矩阵ψmn为：

6.如权利要求1所述的雷达与视频目标自适应关联方法，其特征在于，所述步骤5包含以下内容：

技术总结
本发明涉及一种雷达与视频目标自适应关联方法，包含以下步骤：步骤1，利用雷达目标跟踪技术和视频实时AI识别跟踪技术分别生成雷达航迹、视频航迹；步骤2，对雷达航迹、视频航迹分别均进行时间插值和空间同步；步骤3，将航迹数据关联阶段分为关联期和检查期，根据航迹数据生成关联质量因子L<subgt;ij</subgt;并进行质量因子更新；步骤4，对关联质量因子进行粗筛选，得到航迹关联矩阵；步骤5，筛选最优关联关系；步骤6，在检查期，对雷达、视频的全部航迹进行遍历关联匹配判断，生成全关联矩阵。本发明对雷达、视频目标数据的准确关联，增强雷达与视频融合系统的感知准确性、稳定性，同时提升关联处理的实时性，方法具备多重优势。

技术研发人员：李小柳,魏维伟,付朝伟,席光荣,李由之,尹洁珺,柯文雄,郑成鑫,张中泽
受保护的技术使用者：上海无线电设备研究所
技术研发日：
技术公布日：2024/1/13