技术特征：
1.一种基于雷视数据运动分析的车辆检测方法，其特征在于，包括如下步骤：s1，视频与毫米波雷达数据的采集及标定；s2，基于多帧毫米波雷达数据来生成车道热点图；s3，基于目标运动状态分析的雷视融合策略；s4，交通统计量的计算与传输；s5，实时视频流的推送。2.根据权利要求1所述的基于雷视数据运动分析的车辆检测方法，其特征在于，s1步骤所述的视频与毫米波雷达数据的采集及标定，包括如下步骤：s1.1，视频数据与毫米波雷达数据的采集；s1.2，使用目标检测模型对原始视频帧进行解算，使用稀疏光流法对结果进行校正；s1.3，视频数据与毫米波雷达数据的同步；s1.4，视频数据、毫米波雷达数据、视频目标检测框，保存并推送到数据总线；s1.5，基于目标速度优先的标定处理。3.根据权利要求2所述的基于雷视数据运动分析的车辆检测方法，其特征在于，实现s1.2步骤的方法是：捕获模型推理前后的实时视频帧i
t1
与i
t2
，以目标检测框的中心坐标作为角点cornerset，通过稀疏光流法，计算出前后两帧中各个角点的像素偏移δ
u
与δ
v
，依据中心点的u、v方向偏移量，对上述视频帧目标检测结果进行校正；δ
u
＝opticalflowdiff
u
(i
t2
,i
t1
,cornerset)δ
v
＝opticalflowdiff
v
(i
t2
,i
t1
,cornerset)实现s1.5步骤所述的基于目标速度优先的标定处理方法是：筛选纵向距离小于一定阈值、横向速度小于一定阈值、纵向速度大于一定阈值的目标，将这些目标特殊标记出来，作为对应点选择的优先目标。4.根据权利要求1所述的基于雷视数据运动分析的车辆检测方法，其特征在于，s2步骤所述的基于多帧毫米波雷达数据来生成车道热点图，包括如下步骤：s2.1，基于多帧毫米波雷达数据构建频数图；s2.2，基于频数图极大值比例统计，对频数图进行特定变换，将计算结果关联颜色图，生成车道热点图；s2.3，基于生成的热点图，勾勒虚拟车道。5.根据权利要求4所述的基于雷视数据运动分析的车辆检测方法，其特征在于，实现s2.1步骤的方法是：通过线性变换l，构建了多帧毫米波雷达观测的空间频数图i
freq
；具体地，将毫米波雷达数据横向坐标变换到(0,640)值域范围内，将其纵坐标变换到(0,480)值域范围；i
freq(x,y)
＝l
·
radar
(x,y)
实现s2.2步骤的方法是：如下式所示，如果频数极大值所占比例大于一定的比例δ
p
，则直接进行频数归一化处理，若频数极大值所占比例小于一定的比例δ
p
，则进行非线性平滑处理，得到结果i'
freq
，通过颜色图关联，得到目标热点图i
map
；
i
map
＝colormap(i'
freq
)。6.根据权利要求1所述的基于雷视数据运动分析的车辆检测方法，其特征在于，s3步骤所述的基于目标运动状态分析的雷视融合策略，包括如下步骤：s3.1虚拟车道状态计算；s3.2毫米波雷达跟踪目标的运动状态分析；s3.3跟踪目标在不同运动状态下，使用相应的融合策略；s3.4密集车辆情况下，对毫米波雷达数据进行启停处理；s3.5低速、静止情况下，采用视屏目标检测框进行补点。7.根据权利要求6所述的基于雷视数据运动分析的车辆检测方法，其特征在于，实现s3.1步骤的方法是：根据车道中第一个雷达目标的速度、加速度、未匹配的帧数以及距离停止线的距离情况，将车道集合laneset划分为红灯车道集合laneset
red
和绿灯车道集合laneset
green
；绿灯车道不保留长时未匹配的目标，红灯车道进行车辆目标的补点及排队长度的维护；laneset＝{lane
red
,lane
green
}实现s3.2步骤的方法是：使用匈牙利匹配方法关联毫米波雷达集合与视频观测集合，结合毫米波目标所在车道的状态、毫米波雷达目标的速度、毫米波雷达的位置信息，当目标所在的车道为红灯车道，其距离前一辆停止车辆小于一定阈值，且匹配不到毫米波雷达观测，但能匹配到视频观测，则判定该车辆为停止；由此，将毫米波雷达目标集合objset划分为运动目标集合obj
move
和静止目标集合obj
static
；objset＝{obj
move
,obj
static
}实现s3.3步骤的方法是：针对红灯车道中的静止目标obj
redstatic
、红灯车道中的运动目标obj
redmove
、绿灯车道中的静止目标obj
greenstatic
、绿灯车道中的运动目标obj
greenmove
，分别采用不同的融合处理策略φ
redstatic
、φ
redmove
、φ
greenstatic
、φ
greenmove
，维护红灯车道中的排队长度，同时减少车道由红到绿后存在滞留目标；实现s3.4步骤的方法是：当车道状态由红灯切换到绿灯时，若目标未匹配上雷达观测与视频观测，则根据车道内的前车速度进行y方向前移/后移，直至同前车距离小于一定阈值。8.根据权利要求7所述的基于雷视数据运动分析的车辆检测方法，其特征在于，红灯车道中静止目标的处理方法是：红灯车道中的静止目标记作obj
redstatic
，其处理逻辑记为φ
redstatic
，将跟踪目标映射到图像上，使用匈牙利匹配来关联视频目标检测数据，若跟踪目标在连续一定内没有匹配到视频检测框，将该目标从跟踪器中清除，处理结果记为
obj
redstaticres
；红灯车道中运动目标的处理方法是：红灯车道中的运动目标记作obj
redmove
，其处理逻辑记为φ
redmove
，若跟踪目标在连续一段时间内没有匹配到视频检测框，则将该目标从跟踪器中清除，处理结果记为obj
redmoveres
；绿灯车道中静止目标的处理方法是：绿灯车道中的静止目标记作obj
greenstatic
，其处理逻辑记为φ
greenstatic
，若该目标长时未匹配到毫米波雷达观测，则将该目标从跟踪器中清除，处理结果记为obj
greenstaticres
；绿灯车道中运动目标的处理方法是：绿灯车道中的运动目标记作obj
greenmove
，其处理逻辑记为φ
greenmove
，若该目标未匹配上雷达观测，则使用与该目标关联的视频观测与卡尔曼滤波预测值进行关联，处理结果记为obj
greenmoveres
。
技术总结
本发明提出了一种基于雷视数据运动分析的车辆检测方法，为解决单一传感器难以在多场景、全天候下进行精准车辆检测的问题。该方法包括：视频与毫米波雷达数据的采集及标定；基于多帧毫米波雷达数据来生成车道热点图；基于目标运动状态分析的雷视融合策略；交通统计量的计算与传输；实时视频流的推送。本发明使用了一种更加合理的处理方式，通过对毫米波雷达与视频数据的运动分析及自适应融合，提升了目标检测的精度与鲁棒性，适用于低算力的边缘计算设备，降低了设备成本。同时全面均衡了车流量、排队长度、停车次数、线圈存在性等统计量。线圈存在性等统计量。线圈存在性等统计量。
技术研发人员：纪彬 佟世继 张宇杰 程添亮 朱梁 孙浩凯 张新军 苏益安 刘超 李元青 戴胜 章涛涛 刘建华 高超 范永
受保护的技术使用者：连云港杰瑞电子有限公司
技术研发日：2022.11.06
技术公布日：2023/2/3