一种基于视频和雷达的车辆检测方法及系统与流程

本发明涉及车辆检测技术领域，尤其涉及一种基于视频和雷达的车辆检测方法及系统。

背景技术：

随着城市人口越来越密集，车辆越来越多，缓解城市交通拥堵成为每个城市发展急需解决的问题。实时优化城市交通控制信号，减少人们的出行时间是达到这一目的有效手段，而全天候、实时、全面、准确的车辆信息检测装置又是这一手段的必然途径。

目前市场上的车辆检测器主要有接触式的线圈检测器、地磁检测器以及非接触式的视频检测器和雷达检测器。对于接触式检测器来说，最大的缺陷是需要破坏路面进行安装、检测数据比较单一。所以非接触式传感器是当前和今后的主流车辆检测器。

视频车辆检测器的可视化效果好，可以实时监控道路车辆、实时观看检测效果以及车辆运行轨迹。此外，基于视频资料获得的检测指标也比较全面，包括车流量、占有率、排队长度、车头距离等指标，而且不受车辆目标数量的影响。视频车辆检测器还可以检测运动和静止的所有车辆。但是，视频车辆检测器并不能适应各种天气环境，比如大雾、大雨、大雪等恶略天气下，检测率大大下降，不能正常使用。并且视频车辆检测器也不能准确检测车辆的瞬时速度。

雷达车辆检测器则不受天气环境和光线的影响，可以真正做到全天候的车辆检测，并且也可以检测车流量、瞬时径向车速、车辆径向位置信息等指标。但是雷达车辆检测器没有办法可视化，看不到具体车辆的图像信息。在车辆拥堵的时候，也就是目标数量过多的时候，检测率将下降，并且不能检测静止的或者车速过低的车辆。

技术实现要素：

本发明要解决的技术问题是，针对现有单一的视频车辆检测器或者雷达车辆检测器存在各自不足的问题。提供一种基于视频和雷达的车辆检测方法及系统。

为了解决上述技术问题，本发明提供了一种基于视频和雷达的车辆检测方法，包括以下步骤：

采集待检测路段车辆的雷达数据；

采集待检测路段的视频图像；

基于所述雷达数据和视频图像，将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配，并计算车辆检测指标；

将车辆检测指标的计算结果叠加在视频图像上进行显示。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配的步骤包括：基于视频图像识别待检测区域内是否存在车辆图形，是则获取车辆图形在视频图像上的车辆图形坐标，所述车辆图形坐标包括横坐标rx’以及纵坐标ry’，当根据纵坐标ry’判断该车辆图形处于所述待检测区域内预先划定的起始线上时，根据车辆图形的横坐标rx’以及预先测定的待检测区域上各个车道线的横向距离XA1’至XAn’判断该车辆图形车道信息，如果XAi’≤|rx’|<XAi+1’，则判断该车辆图形属于第i个车道，1≤i<n；其中n为待检测区域上车道的数量；基于雷达数据提取车辆的实际位置坐标，所述实际位置坐标包括横坐标rx以及纵坐标ry，当根据纵坐标ry判断该车辆处于待检测路段内预先划定的起始线上时，根据车辆的横坐标rx以及预先测定的待检测路段上各个车道线的横向距离XA1至XAn判断该车辆的车道信息，如果XAj≤|rx|<XAj+1，则判断该车辆属于第j个车道，1≤j<n；其中n为待检测路段上车道的数量；当i＝j时，将识别出的车辆图形与该车辆的雷达数据相匹配。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述车辆检测指标包括环境能见度、车辆占有时间、车辆位置、车道信息、车辆速度、排队长度、流量和/或道路通行状况。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述计算车辆检测指标的步骤包括以下车辆占有时间计算步骤：基于视频图像计算环境能见度；判断环境能见度是否高于预设能见度，是则基于视频图像检测车辆是否存在，并记录占有时间；否则基于雷达数据检测车辆占有时间。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述基于视频图像检测车辆是否存在包括：使用9×9邻域的LBP算子提取车辆纹理特征，对样本图像进行训练后得到带有LBP特征的强分类器，利用该带有LBP特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的初级检测结果；在所述初级检测结果检测有车时，使用HAAR特征提取车辆纹理特征，对样本图像进行训练后得到带有HAAR特征的强分类器，利用该带有HAAR特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的二级检测结果。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述基于视频图像检测车辆是否存在时还结合雷达数据进行判断，包括以下步骤：使用9×9邻域的LBP算子提取车辆纹理特征，对样本图像进行训练后得到带有LBP特征的强分类器，利用该带有LBP特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的初级检测结果；在所述初级检测结果检测有车时，使用HAAR特征提取车辆纹理特征，对样本图像进行训练后得到带有HAAR特征的强分类器，利用该带有HAAR特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车以及置信度的二级检测结果；根据置信度判断是否高于预设数值，是则判断车辆存在；否则基于雷达数据判断车辆是否存在，是则判断车辆存在，否则判断车辆不存在。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述计算车辆检测指标的步骤包括以下车辆速度计算步骤：基于雷达数据提取车辆的瞬时车速，判断瞬时车速是否高于预设车速，是则将所述瞬时车速作为车辆速度，否则基于视频图像计算平均车速作为车辆速度。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述基于视频图像计算平均车速为通过以下公式计算车辆的平均车速：

其中，D2和D1分别为视频数据中第N帧和第1帧视频图像上车辆标识横线对应的实际道路的纵向距离，T为视频图像的图像帧间隔时间，Va的单位为公里每小时。

在根据本发明所述的基于视频和雷达的车辆检测方法中，所述计算车辆检测指标的步骤包括以下排队长度计算步骤：基于雷达数据判断待检测路段上尾部车辆的瞬时车速低于预设车速时，开始基于视频数据利用伸缩窗的方法计算排队长度，并在雷达数据判断所述待检测路段上的头部车辆的瞬间车速大于零时收回伸缩窗，取消车辆的排队状态。

本发明还提供了一种基于视频和雷达的车辆检测系统，包括：雷达装置，用于采集待检测路段车辆的雷达数据；视频采集装置，用于采集待检测路段的视频图像；融合检测装置，基于所述雷达数据和视频图像，将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配，并计算车辆检测指标；显示装置，用于将车辆检测指标的计算结果叠加在视频图像上进行显示。

实施本发明的基于视频和雷达的车辆检测方法及系统，具有以下有益效果：本发明通过将视频和雷达检测相融合，既可以通过在视频图像上叠加数据来实现雷达数据的可视化，又可以利用雷达数据解决视频检测受环境影响大的问题，使检测数据更全面，检测的准确率也大大提高。

附图说明

图1为根据本发明优选实施例的基于视频和雷达的车辆检测方法的流程图；

图2为根据本发明实际道路上待检测路段的坐标示意图；

图3为根据本发明采集的雷达数据的坐标示意图；

图4为根据本发明采集的待检测路段的视频图像；

图5为图4中部分车辆检测指标的显示情况图；

图6为根据本发明的基于视频和雷达的车辆检测方法的车辆占有时间计算步骤流程图；

图7为根据本发明的基于视频图像检测车辆是否存在步骤第一实施例的流程图；

图8a和图8b分别为正样本图像和负样本图像的示例；

图9为根据本发明基于9×9邻域的LBP算子提取车辆纹理特征的原理图；

图10为根据本发明的基于视频图像检测车辆是否存在步骤第二实施例的流程图；

图11为根据本发明的基于视频和雷达的车辆检测方法的车辆速度计算步骤流程图；

图12a和12b分别为根据本发明选取的第1帧和第N帧的视频图像；

图13为根据本发明基于视频和雷达的车辆检测系统的第一实施例的模块框图；

图14为根据本发明基于视频和雷达的车辆检测系统的中融合检测装置的模块框图；

图15为根据本发明基于视频和雷达的车辆检测系统的第二实施例的模块框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为根据本发明优选实施例的基于视频和雷达的车辆检测方法的流程图。如图1所示，该实施例提供的基于视频和雷达的车辆检测方法包括以下步骤：

S101、采集待检测路段上车辆的雷达数据。

本发明预先在实际道路上安装雷达装置，并划定沿车辆行驶方向上长度为L的矩形区域为待检测路段。如图2中所示，在同向车道上划定起始线L1和终止线L2，两者之间构成长度为L的待检测路段。雷达装置安装在待检测路段的道路边缘，并以该雷达装置的安装位置作为坐标原点O，采集待检测路段内车辆的速度和位置信息。请参阅图3，为根据本发明采集的雷达数据的坐标示意图。图3中坐标原点O即是雷达装置安装地点，该坐标为二维坐标，即雷达装置及车辆在地平面的投影，采用极坐标的方式表示。图中X、Y分别代表车道宽度方向和车辆行驶方向，Vr表示车辆的瞬时车速，rr表示车辆位置。Vx，rx表示车辆沿着车道宽度方向的速度和位置信息，Vy，ry表示车辆沿着车辆行驶方向的速度和位置信息，雷达装置将检测出这两个方向的速度和实际车辆位置。并通过以下公式计算出车辆的瞬时车速及车辆位置：

S102、采集待检测路段的视频图像。

该步骤可以通过预先安装在实际道路上的视频采集装置实现。请参阅图4，为根据本发明采集的待检测路段的视频图像。本发明对上述步骤S101和S102的执行顺序不做限制，也可以先采集视频图像，再采集雷达数据，或者两者同步执行。

S103、基于雷达数据和视频图像，将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配，并计算车辆检测指标。

请结合参阅图2和图4，该步骤在视频图像上检测出车辆图形，例如C1’和C2’，并与待检测路段上车辆的雷达数据相匹配，例如将车辆图形C1’与车辆C1的瞬时车速及实际车辆位置相匹配，同样将车辆图形C2’与车辆C2相匹配。随后，基于上述雷达数据和视频图像计算出各个车辆的车辆检测指标，包括但不限于环境能见度、车辆占有时间、车辆位置、车道信息、车辆速度、排队长度、流量和/或道路通行状况等指标。

S104、将车辆检测指标的计算结果叠加在视频图像上进行显示。

如图4所示，本发明将车辆的车辆速度及实际车辆位置显示在视频图像上车辆图形所在区域。具体地，将车辆C1的车辆速度及实际车辆位置显示在车辆图形C1’的矩形框中，如图4中“P：20,13”以及“V：35”。优选地，还可以将部分车辆检测指标的计算结果叠加在视频图像的左上角进行显示。该部分车辆检测指标的具体显示情况如图5所示，在左上角显示的车辆检测指标可以包括但不限于环境能见度，以及每个车道的流量、道路通行状况、车辆占有时间和排队长度等指标。其中道路通行状况可以表示为拥堵、缓慢和畅通三种状态。这些车辆检测指标为设定的统计周期内的检测结果，可以每50ms更新一次。

本发明通过将视频图像和雷达数据相匹配，可以选择并计算出有效的车辆检测指标数据，进而在视频图像上进行实时观看。

在本发明的一个优选实施例中，通过车辆所属车道来匹配车辆数据。由于同一时刻同一车道只存在一辆车，因此本发明分别基于雷达数据和视频图像检测出车辆所属车道数，如果车道数相同则判断该雷达数据对应检测出的车辆图形。

在实际操作过程中，本发明需要预先在实际道路的待检测路段上划定起始线L1和终止线L2，以终止线L2与道路边缘的交点O为原点建立实际道路坐标系。并测定各个车道线在起始线L1处的横向距离XA1至XAn，即实际道路上各个车道线LA1至LAn在实际道路坐标系上的横坐标数值。随后，采集该待检测路段的视频图像，并在视频图像上起始线L1’划和终止线L2’之间划定待检测区域。以视频图像上终止线L2’与道路边缘的交点O’为原点，建立视频图像坐标系。同时测定待检测区域上各个车道线在起始线L1’处的横向距离XA1’至XAn’，即视频图像上各个车道线LA1’至LAn’在视频图像坐标系上的横坐标。

在基于视频和雷达的车辆检测方法中，上述步骤S103将视频图像上的车辆与对应的雷达数据相匹配的步骤具体包括：

首先，在视频图像上识别待检测区域内是否存在车辆图形，是则获取车辆图形在视频图像上的车辆图形坐标(rx’，ry’)。该车辆图形坐标包括横坐标rx’以及纵坐标ry’。以视频图像上的起始线L1’为基准，在车辆进入起始线L1’位置时开始检测车辆所属车道。根据视频图像检测车辆图形所属车道信息的过程如下：

当根据纵坐标ry’判断该车辆图形处于所述待检测区域内预先划定的起始线L1’上时，即ry’＝L时，根据车辆图形的横坐标rx’以及预先测定的待检测区域上各个车道线的横向距离XA1’至XAn’判断该车辆图形车道信息，如果XAi’≤|rx’|<XAi+1’，则判断该车辆图形属于第i个车道，1≤i<n；其中n为待检测区域上车道的数量。如图4中判定车辆图形C2’的横坐标满足XA2’≤rx’≤XA3’，因此判定车辆图形C2’位于第2车道。

随后，基于雷达数据提取车辆在实际道路坐标系中的实际位置坐标(rx，ry)，该实际位置坐标包括横坐标rx以及纵坐标ry。以实际道路上的起始线L1为基准，在车辆进入起始线L1位置时开始检测车辆所属车道。根据雷达数据检测车辆所属车道信息的过程如下：

当根据纵坐标ry判断该车辆处于待检测路段内预先划定的起始线L1上时，即ry＝L时，根据车辆的横坐标rx以及预先测定的待检测路段上各个车道线的横向距离LA1至LAn判断该车辆的车道信息，如果LAj≤|rx|<LAj+1，则判断该车辆属于第j个车道，1≤j<n；其中n为待检测路段上车道的数量。如图2中判定车辆图形C2的横坐标满足XA2≤rx≤XA3，因此判定车辆C2位于第2车道。

最后，判断基于视频图像检测的车道数与基于雷达数据检测的车道数是否相同，当i＝j时，将识别出的车辆图形与该车辆的雷达数据相匹配；否则不匹配。例如，前述车辆图形C2’和车辆C2均位于第2车道，因此可将该车辆图形C2’与车辆C2的瞬时车速及实际车辆位置相匹配。

本发明还对车辆占有时间进行检测。请参阅图6，为根据本发明的基于视频和雷达的车辆检测方法的车辆占有时间计算步骤流程图。如图6所示，在本发明的一个优选实施例中，前述计算车辆检测指标具体包括以下车辆占有时间计算步骤：

S201、流程开始；

S202、检测环境能见度是否大于预设能见度，是则转步骤S208-S212开始基于视频图像检测车辆是否存在，并记录车辆占有时间，否则转步骤S203-S207基于雷达数据检测车辆是否存在，并记录车辆占有时间。该预设能见度优选为40％-60％，例如判断环境能见度是否大于50％。

S203、基于雷达数据检测是否有车辆进入待检测路段，是则转步骤S204，否则转步骤S213结束流程；该步骤中可以通过雷达检测的实际车辆位置判断车辆是否位于待检测路段内。

S204、记录车辆进入时间T1；

S205、基于雷达数据检测是否有车辆离开检测区域，是则转步骤S206，否则转步骤S205继续检测；

S206、记录车辆离开时间T2；

S207、计算车辆占有时间为T2-T1；

S208、基于视频图像检测是否有车辆进入待检测区域，是则转步骤S209，否则转步骤S213结束流程；

S209、记录车辆进入时间T3；

S210、基于视频图像检测是否有车辆离开待检测区域，是则转步骤S211，否则转步骤S210继续检测；

S211、记录车辆离开时间T4；

S212、计算车辆占有时间为T4-T3；

S213、流程结束。

下面对本发明中基于视频图像检测车辆是否存在的具体过程进行描述。本发明采用机器自学习的二级车辆特征识别算法来对车辆图形进行检测和识别。由于道路、车辆以及天气环境的复杂性，当前很多的视频车辆识别算法，包括背景差分法、多帧差分法、光流法、局部检测，特征检测等都会受到一定的限制。本发明采用了两级的局部车辆特征法，即采用改进型的LBP特征进行粗放型的初级检测，然后对初级检测结果采用HAAR特征进行二次识别，输出带有识别置信度的结果。

请参阅图7，为根据本发明的基于视频图像检测车辆是否存在步骤第一实施例的流程图。如图7所示，上述步骤S208-S212中基于视频图像检测车辆是否存在的步骤包括：

S301、流程开始；

S302、使用9×9邻域的LBP算子提取车辆纹理特征，对样本图像进行训练后得到带有LBP特征的强分类器，利用该带有LBP特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的初级检测结果。当初级检测结果检测有车时转步骤S303进一步分析，否则转步骤S305判断车辆不存在。

本发明采集的视频图像的分辨率为1080P，而检测的车辆图形的最小像素要求为100个左右，因此本发明对传统3×3邻域的LBP算子进行扩展，使用9×9邻域的LBP算子提取车辆纹理特征。因此，该步骤S302中采用改进型的LBP特征进行粗放型的初级检测的具体过程如下：

首先，本发明将图8a示例的正样本图像和图8b示例的负样本图像，进行归一化，规范到64*64的大小。

随后，基于正负样本图像提取图像纹理。基于传统3×3邻域的LBP算子提取的图像纹理T可以使用基本操作单元进行定义：整个窗口由一个中心窗口gc和相邻的8个3×3像素的子窗口g0,......,g7组成，如下式所示：

T～(g0-gc,g1-gc,….g7-gc)；

本发明则将扩展后的9×9像素基本操作单元划分为9个3×3像素子窗口，如图9所示。分别求取9个子窗口的灰度平均值，并以此平均值代替原有的3×3子窗口，提取图像纹理T’。图像纹理T’可表示为：

T～(g0’-gc’,g1’-gc’,….g7’-gc’)；

通过此简单运算，一方面可将图像压缩为原图像的1/9，大大降低了后续算法的计算量，而且也符合实际的车辆像素要求。另一方面可将9×9邻域扩展LBP算子，变换为基本3×3LBP操作算子。

随后以中心像素gc为参考像素，对窗口中其余像素进行局部二值化处理。处理方法可表示为：

二值化操作后的图像纹理特征可表示为：

Ts～(S(g0’-gc’),S(g1’-gc’),….S(g7’-gc’))

此时，基本操作单元可以使用8个二进制数来表示，使用下式对像素点进行加权求和处理，可得到该基本操作单元LBP特征值为：

该LBP特征值描述了基本操作单元局部区域的边缘、纹理、特征点和平面区域。将上述操作方法扩展到整个样本图像区域，可得到样本图像的二进制序列描述和LBP特征图。

基于以上的改进型LBP特征方法，使用离散的adaboost机器学习算法通过对大量车辆的正样本图像以及一些特定环境的负样本图像的训练，从中挑选出最具共性和鉴别能力的LBP特征，并以此特征分量分类器为基础，构建相应的弱分类器。然后，对弱分类进行级联，组成一个带有LBP特征的强分类器。利用该带有LBP特征的强分类器判断采集的待检测路段的视频图像中是否存在车辆图形，并得到是否有车的初级检测结果。

S303、使用HAAR特征提取车辆纹理特征，对样本图像进行训练后得到带有HAAR特征的强分类器，利用该带有HAAR特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的二级检测结果。当初级检测结果检测有车时转步骤S304判断车辆存在，否则转步骤S305判断车辆不存在。

该步骤S303中对初级检测结果采用HAAR特征进行二次识别的具体过程如下：

使用HAAR特征提取正负样本图像的车辆轮廓与纹理特征，借助实时AdaBoost机器学习算法对得到的HAAR特征进行训练，构建二级带有置信度的强分类器。该过程中使用4种类型，共6种HAAR特征组成特征模板，对车辆目标进行边缘和纹理特征描述，包括2种边缘特征、2种线性特征、1种对角特征和1种中心特征。HAAR特征定义为黑白相间的矩形分割，可以使用图像中相邻矩形区域内的灰度差来量化表达，既使用图像中白色矩形像素和减去黑色矩形像素和。为了更好地提取图像特征，本发明对正样本图像进行了灰度化和直方图均衡化处理。

利用得到的带有HAAR特征的强分类器判断采集的视频图像中是否存在车辆图形，得到是否有车的二级检测结果，并以该二级检测结果作为最终的检测结果。

S304、判断车辆存在。

S305、判断车辆不存在。

S306、流程结束。

请参阅图10，为根据本发明的基于视频图像检测车辆是否存在步骤第二实施例的流程图。如图10所示，该第二实施例与第一实施例基本相同，不同之处仅在于，在基于视频图像检测车辆是否存在的同时还结合雷达数据进行判断，具体包括以下步骤：

S401、流程开始；

S402、使用9×9邻域的LBP算子提取车辆纹理特征，对样本图像进行训练后得到带有LBP特征的强分类器，利用该带有LBP特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的初级检测结果。当初级检测结果检测有车时转步骤S403进一步分析，否则转步骤S407判断车辆不存在。

S403、使用HAAR特征提取车辆纹理特征，对样本图像进行训练后得到带有HAAR特征的强分类器，利用该带有HAAR特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车以及置信度的二级检测结果。当二级检测结果检测有车时转步骤S404进行下一步判断，否则转步骤S407判断车辆不存在。

本发明使用的HAAR特征，具有识别准确度高、鲁棒性好等优点，相比于训练LBP特征的二值化离散型AdaBoost，其可以在整个灰度数值范围内进行训练，所以其得到的强分类器具有检测结果的预测值大小，即置信度。因此该第二实施例中利用了HAAR特征检测输出的置信度参数，便于后续对得到结果的真实性进行分析和比较。

S404、根据置信度判断是否高于预设数值，是则转步骤S406判断车辆存在，否则转步骤S405进行下一步判断。例如，设预设数值为50％。当步骤S403输出的置信度大于50％，则可以确认为是真正的车辆目标；如果小于50％，则有可能是误检测，即可能不是真正的车辆目标，这个时候再与这个车道的雷达检测的目标相对应。

S405、基于雷达数据判断车辆是否存在，是则转步骤S406判断车辆存在，否则转步骤S407判断车辆不存在。也就是说，如果雷达数据也检测到该车辆的目标，则可以确认为是真正目标，否则认为是假的车辆目标。因此，本发明在对视频图像进行二级检测后，在检测到车辆图形并且置信度较低的情况下，可以通过雷达数据进一步判断，提高车辆检测的准确性。

S406、判断车辆存在。

S407、判断车辆不存在。

S408、流程结束。

本发明中还对车辆速度进行了检测。请参阅图11，为根据本发明的基于视频和雷达的车辆检测方法的车辆速度计算步骤流程图。如图11所示，在本发明的一个优选实施例中，前述计算车辆检测指标具体包括以下车辆速度计算步骤：

S501、流程开始；

S502、基于雷达数据提取车辆的瞬时车速Vr，判断瞬时车速Vr是否高于预设车速，是则转步骤S503，否则转步骤S504；

S503、将雷达检测到的瞬时车速Vr作为车辆速度V；

S504、基于视频图像计算平均车速Va作为车辆速度V。

S505、流程结束。

以预设车速为5km/h为例，当Vr≤5时则车辆速度V为视频检测的平均速度Va；否则车辆速度V取值为雷达检测的瞬时车速Vr。由于雷达测速采用的是多普勒频移原理，测量的是物体与雷达之间的相对速度，如果车辆速度比较低或者静止不动则测量速度准确性大大降低，所以本发明将雷达测速与视频测速将结合，以提高速度测量准确性。

优选地，在本发明基于视频和雷达的车辆检测方法中，基于视频图像计算平均车速Va的具体过程如下。本发明车辆的平均车速Va可以依据车辆的位置信息在图像上的位移来计算。首先，检测出第1帧和第N帧的视频图像上车辆图形。并在该车辆图形上绘制车辆标识横线，如图12a和图12b中分别绘出了第1帧车辆标识横线S2以及第N帧车辆标识横线S1。计算该车辆标识横线对应的实际道路上沿车辆行驶方向的纵向距离D2和D1。

通过以下公式计算车辆的平均车速：

其中，T为视频图像的图像帧间隔时间，Va的单位为公里每小时。优选地，图像帧间隔时间T选取40ms。

本发明通过上述方法测量的速度值，是车辆的实际平均速度值，而不用经过复杂的图像标定和坐标变换。

本发明还对车辆的排队长度进行检测。本发明中是采用伸缩窗的方法对视频图像进行检测，以计算车辆排队长度。伸缩窗的方法是基于形态学的边缘提取的方法来判断车辆的存在，其主要原理是：虚拟区域顶部若干行像素灰度值之和大于某一阈值，并且伸缩窗内全部像素灰度值和与前一时刻窗内全部像素厌度值和之差小于某一阈值时，则伸缩窗伸长一个像素单位。反之，伸缩窗缩短一个像素单位。

如果边缘检测得到的车辆信息不完全，这就给伸缩窗阈值的设定带来了很大的困难，实际应用中会有车辆排队但伸缩窗无法伸长的现象，造成少检测。如果当车辆不再排队开始低速行驶时，即只有车流而没有队列的情况下，伸缩窗不能迅速的缩回，在这种情景下仍然检测出队列，造成误检测。因此本发明利用雷达数据可以准确检测运动目标的特点，首先对停车排队做一个预判断。

在本发明的一个优选实施例中，前述计算车辆检测指标具体包括以下车辆排队长度计算步骤：基于雷达数据判断待检测路段上尾部车辆的瞬时车速是否低于预设车速，是则开始基于视频数据利用伸缩窗的方法计算排队长度，否则不操作。该预设车速优选为5km/h。即当车辆由顺畅到开始排队时，后来的车辆在待检测区域的尾部，车辆速度会由快变慢，雷达装置检测到的瞬时车速也会慢慢减少到5公里/小时以下，此时开始进行视频排队算法的检测，利用车辆的边缘信息，梯度差分和颜色差分等来获取车辆排队的准确信息。

随后，基于雷达数据判断待检测路段上的头部车辆的瞬间车速是否大于零，是则收回伸缩窗，取消车辆的排队状态，否则不操作。即当车辆由排队开始变成不排队时，在待检测区域的头部车辆开始移动的时候，雷达装置会准确的检测到，此时将伸缩窗收回，取消车辆的排队状态。

请参阅图13，为根据本发明基于视频和雷达的车辆检测系统的第一实施例的模块框图。如图13所示，该实施例提供的基于视频和雷达的车辆检测系统包括：雷达装置10、视频采集装置20、融合检测装置30和显示装置40。

其中雷达装置10用于采集待检测路段车辆的雷达数据。本发明的雷达装置10安装在待检测路段的道路边缘。

视频采集装置20用于采集待检测路段的视频图像。该视频采集装置20可以采用安装在待检测路段上的摄像头实现。

融合检测装置30与雷达装置10和视频采集装置20连接，用于基于雷达数据和视频图像，将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配，并计算车辆检测指标。

显示装置40与融合检测装置30连接，用于将车辆检测指标的计算结果叠加在视频图像上进行显示，便于实时观看检测效果。优选地，该显示装置40可以采用通过以太网与融合检测装置30连接的信号机以及信号灯实现。

本发明中融合检测装置30计算的车辆检测指标包括但不限于环境能见度、车辆占有时间、车辆位置、车道信息、车辆速度、排队长度、流量和/或道路通行状况。

请参阅图14，为根据本发明基于视频和雷达的车辆检测系统的中融合检测装置30的模块框图。如图14所示，融合检测装置30包括但不限于以下一个或者多个单元：车辆存在匹配单元31、车辆占有时间计算单元32、车辆速度计算单元33和排队长度计算单元34。

其中车辆存在匹配单元31用于将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配。具体地，该车辆存在匹配单元31基于视频图像识别待检测区域内是否存在车辆图形，是则获取车辆图形在视频图像上的车辆图形坐标，所述车辆图形坐标包括横坐标rx’以及纵坐标ry’，当根据纵坐标ry’判断该车辆图形处于所述待检测区域内预先划定的起始线上时，根据车辆图形的横坐标rx’以及预先测定的待检测区域上各个车道线的横向距离XA1’至XAn’判断该车辆图形车道信息，如果XAi’≤|rx’|<XAi+1’，则判断该车辆图形属于第i个车道，1≤i<n；其中n为待检测区域上车道的数量。随后，基于雷达数据提取车辆的实际位置坐标，所述实际位置坐标包括横坐标rx以及纵坐标ry，当根据纵坐标ry判断该车辆处于待检测路段内预先划定的起始线上时，根据车辆的横坐标rx以及预先测定的待检测路段上各个车道线的横向距离XA1至XAn判断该车辆的车道信息，如果XAj≤|rx|<XAj+1，则判断该车辆属于第j个车道，1≤j<n；其中n为待检测路段上车道的数量。当i＝j时，将识别出的车辆图形与该车辆的雷达数据相匹配。

车辆占有时间计算单元32用于计算车辆占有时间。首先，基于视频图像计算环境能见度。再判断环境能见度是否高于预设能见度，是则基于视频图像检测车辆是否存在，并记录占有时间；否则基于雷达数据检测车辆占有时间。

优选地，车辆占有时间计算单元32通过以下步骤基于视频图像检测车辆是否存在：1)使用9×9邻域的LBP算子提取车辆纹理特征，对样本图像进行训练后得到带有LBP特征的强分类器，利用该带有LBP特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的初级检测结果。2)在所述初级检测结果检测有车时，使用HAAR特征提取车辆纹理特征，对样本图像进行训练后得到带有HAAR特征的强分类器，利用该带有HAAR特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的二级检测结果。

更优选地，车辆占有时间计算单元32通过以下步骤基于视频图像检测车辆是否存在：1)使用9×9邻域的LBP算子提取车辆纹理特征，对样本图像进行训练后得到带有LBP特征的强分类器，利用该带有LBP特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车的初级检测结果。2)在初级检测结果检测有车时，使用HAAR特征提取车辆纹理特征，对样本图像进行训练后得到带有HAAR特征的强分类器，利用该带有HAAR特征的强分类器判断视频图像中是否存在车辆图形，得到是否有车以及置信度的二级检测结果。3)根据置信度判断是否高于预设数值，是则判断车辆存在；否则基于雷达数据判断车辆是否存在，是则判断车辆存在，否则判断车辆不存在。

车辆速度计算单元33用于计算车辆速度。首先，基于雷达数据提取车辆的瞬时车速，判断瞬时车速是否高于预设车速，是则将所述瞬时车速作为车辆速度，否则基于视频图像计算平均车速作为车辆速度。

优选地，该车辆速度计算单元33通过以下公式计算车辆的平均车速：

其中，D2和D1分别为视频数据中第N帧和第1帧视频图像上车辆标识横线对应的实际道路的纵向距离，T为视频图像的图像帧间隔时间，Va的单位为公里每小时。

排队长度计算单元34用于计算排队长度。首先，基于雷达数据判断待检测路段上尾部车辆的瞬时车速低于预设车速时，开始基于视频数据利用伸缩窗的方法计算排队长度，并在雷达数据判断所述待检测路段上的头部车辆的瞬间车速大于零时收回伸缩窗，取消车辆的排队状态。

请参阅图15，为根据本发明基于视频和雷达的车辆检测系统的第二实施例的模块框图。如图15所示，第二实施例提供的基于视频和雷达的车辆检测系统与第一实施例基本相同，不同之处在于，增设了雷达处理板50和视频处理板60。

其中，雷达处理板50与雷达装置10通讯，获取雷达数据并进行处理。雷达处理板50可以基于雷达数据检测车辆是否存在、车辆占有时间、车辆位置、瞬时车速等实时指标。

视频处理板60与视频采集装置20通讯，获取视频数据并进行处理。视频处理板60可以基于视频数据检测环境能见度、车辆是否存在、车辆占有时间、排队长度等实时指标。

融合检测装置30与该雷达处理板50和视频处理板60相连，主要通过融合雷达处理板50和视频处理板60的实时检测数据，将视频图像上的车辆图形与待检测路段上车辆对应的雷达数据相匹配，并得出有效的车辆检测指标的计算值。其中雷达处理板50可以通过以太网与融合检测装置30通讯。视频处理板60可以采用但不限于RS232接口与融合检测装置30通讯。对于车辆是否存在、车辆占有时间、车道信息、车辆速度、道路拥堵情况和流量等车辆检测指标，该融合检测装置30可以按照前述各个车辆检测指标的计算方法，根据雷达处理板50和视频处理板60得出的计算结果选取或者计算出有效的数据，或者在设定的统计周期内统计出相关数据。对于只有雷达数据或者视频数据才能计算出的车辆检测指标，例如基于雷达数据计算出的车辆位置，以及基于视频数据计算出的环境能见度和排队长度，则可直接将雷达处理板50或视频处理板60的计算结果输出。

应该理解地是，本发明的基于视频和雷达的车辆检测系统和方法的原理和实现过程相同，因此对基于视频和雷达的车辆检测方法的实施例的详细阐述也适用于基于视频和雷达的车辆检测系统。

综上所述，本发明采用视频和雷达两种非接触型车辆检测传感器，在硬件、软件上完全集成在一起，构成一种真正的全天候、可视化、全面的检测指标、高检测率、高可靠性的新型车辆检测系统。为解决城市交通拥堵问题提供最基础的检测数据。该车辆检测系统在硬件设备上综合了视频和雷达传感器的各自优势，解决了雷达监测数据不能可视化的问题，也弥补了视频检测受环境影响，不能全天候工作的问题，在软件算法上也融合了两种传感器的优势，使得车辆检测的准确率也大大提高。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。