一种基于毫米波雷达和视频的交通检测系统的制作方法

本发明属于智能交通中的数据采集和处理技术领域，具体涉及一种基于毫米波雷达和视频的交通检测系统。

背景技术：

现有的交通检测系统中大多都采用视频传感器，单个视频传感器在检测效果上精确度不高，图像处理的延时大，而且其精度容易受到雨、雾等环境的影响。后来交通检测系统中逐渐加入其它类型的传感器，例如毫米波雷达、地磁、激光雷达等传感器，利用不同传感器的优势，进行多传感器数据融合，大大提高了系统的检测性能。雷达传感器能够做到实时检测到目标的位置和速度信息，数据处理能达到每秒20次，环境适应性强，可全天候、全天时工作，其弊端是无法可视化。而视频传感器能够处理图像信息，如若对图像进行分析计算，需要花费很长时间经过转码，无法做到实时响应，且环境适应性不高。

利用这两种传感器的优势，可将雷达和视频作为检测前端进行数据融合处理。但由于这两种传感器各自独立进行数据采集且输出的数据格式不一致，系统最终是将多个传感器采集到的同一目标的多种信息冗杂在一起，对原始数据的处理量巨大，加重了系统平台的数据处理工作。而且目前的系统中，雷达和摄像机由于其安装位置不同，信息融合时需要将两种传感器的坐标系进行关联，而两个传感器坐标关联与他们的相对位置有关，若其中一个传感器有了稍微的移动，需要重新关联坐标。由于两个传感器在使用中经常会受到抖动，一段时间后安装位置会有偏差，导致距离及角度的不固定，需要定期重新进行坐标匹配，所以安装调试难度大，经常需要维护。

技术实现要素：

本发明提供针对现有技术机构复杂以及工作效率低的问题，提供一种基于毫米波雷达和视频的交通检测系统。

具体地说，本发明是采用以下技术方案实现的：所述交通检测系统包括数据采集单元、数据处理单元、数据存储单元、数据通信单元和系统平台；

所述数据采集单元包括毫米波雷达传感器和视频传感器，毫米波雷达传感器实时采集目标的坐标位置、目标的速度、目标的长度发送给数据处理单元；视频传感器实时采集高清图像数据发送给数据处理单元；

所述数据处理单元包括微处理器和嵌入式神经网络处理器，对同一目标的来自毫米波雷达和视频传感器检测到的数据信息融合，最后将同一目标的完整信息按统一格式输出至系统平台；

所述该交通检测系统的实施包括以下步骤：

步骤一、毫米波雷达传感器采集目标信息，所述目标信息包括目标的标识符、速度、坐标、长度，视频传感器采集路面的图像信息，将所述毫米波雷达传感器和所述视频传感器采集到的原始数据发送至数据处理单元；

步骤二、世界坐标转换成图像平面坐标；毫米波雷达传感器采集到目标坐标，然后对视频传感器的相机的内参和外参的摄像头进行校正，得到目标坐标与图像平面坐标的转换矩阵，将路面世界坐标转换成图像平面坐标，确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置；

步骤三、采用神经网络框架识别视频传感器所拍摄的图像中的目标类型；在嵌入式神经网络处理器中运行神经网络框架算法，通过图像机器学习，将路面的图像非结构化数据转换成目标类型和颜色的结构化数据；

步骤四、利用步骤二的坐标转换及步骤三的图像识别，将毫米波雷达传感器检测到的目标在相机拍摄到的图像中的目标进行对应，获取到每个目标的所有参数信息，在图像中叠加目标参数进行融合，所述参数信息包括每个目标的速度、坐标、目标类型；

步骤五、将融合后的所述目标参数发送至系统平台。

进一步而言，步骤二中所述世界坐标转换成图像平面坐标，即将世界坐标系中目标的点到图像坐标系中的点的转换，分为两步实现：

(1)将毫米波雷达传感器检测到的目标在世界坐标系中的坐标(xw，yw，zw)变换到相机坐标系(xc，yc，zc)，变换公式为：

式中，为由世界坐标系到相机坐标系的旋转矩阵；

即

其中绕x轴旋转为α，绕y轴旋转为β，绕z轴旋转为θ；

为由世界坐标系到相机坐标系的平移矩阵，由于本装置中毫米波雷达传感器与视频传感器的距离很近，平移的长度相当于0，即

可求得：

可得目标由世界坐标系中的坐标(xw，yw，zw)变换到相机坐标系(xc，yc，zc)

xc＝cos(β)cos(θ)xw+cos(β)sin(θ)yw-sin(β)zw

yc＝(-cos(α)sin(θ)+sin(α)sin(θ)cos(θ))xw+(cos(α)cos(θ)+sin(α)sin(β)sin(θ))yw

+sin(α)cos(β)zw

zc＝(sin(α)sin(θ)+cos(α)sin(β)cos(θ))xw+(-sin(α)cos(θ)+cos(α)sin(β)sin(θ))yw+cos(α)cos(β)zw

(2)再将检测到的目标由相机坐标系变换到图像坐标系，确定目标在所述视频传感器所拍摄的画面中的投影位置(xs，ys)，实现毫米波雷达传感器检测到的目标在图像上的定位：

ω为目标在相机中的水平视角，为目标在相机中的垂直视角，v为图像的横向尺寸，h为图像的垂向尺寸。

进一步而言，在步骤三中，视频传感器识别目标类型后的数据，在数据处理单元中进行交通流统计数据计算，统计并跟踪检测到的目标，计算得出某一指定区域内每个周期内的各车型的交通流统计数据。

进一步而言，所述数据处理单元根据毫米波雷达传感器检测到的目标速度、坐标判断目标是否存在超速、逆行、违停等交通事件；若发生交通事件，所述数据处理单元发送指令让视频传感器进行拍照、录取视频取证，并将事件的文本信息、图像数据、视频数据传至系统平台。

本发明的有益效果如下：本发明基于毫米波雷达和视频的交通检测系统，降低系统的数据计算难度、简化系统流程。视频传感器采集到的原始图像数据传送至数据处理单元，无需经过视频编码及解码操作，从而数据无延时现象，能够与毫米波雷达检测到的数据进行实时数据融合。在数据处理单元中进行两者数据的初步融合处理，将融合后的目标信息发送至系统平台，减轻了系统的计算量，加快系统的响应时间，提高了检测精度。

附图说明

图1是本发明的系统结构图。

图2是本发明的系统流程图。

图3是本发明中视频传感器的相机校正示意图。

图4是本发明中目标从相机坐标系到图像坐标系投影关系的示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

本发明的一个实施例，为一种基于毫米波雷达和视频的交通检测系统，参照图1、图2、图3和图4，基于毫米波雷达和视频的交通检测系统包括数据采集单元、数据处理单元、数据存储单元、数据通信单元和系统平台。

数据采集单元：数据采集单元包括毫米波雷达传感器和视频传感器。毫米波雷达传感器实时采集目标信息，检测到的数据内容包括目标的坐标位置、目标的速度、目标的长度等，将采集到的目标信息发送给数据处理单元。视频传感器实时采集高清图像数据，将采集到的图像信息发送给数据处理单元。

数据处理单元：数据处理单元包含arm微处理器和嵌入式神经网络处理器(npu)。嵌入式神经网络处理器(npu)负责图像数据的处理，识别目标的类型(行人、汽车、卡车等)，并将毫米波雷达采集到的目标信息的数据(目标的坐标位置、目标的速度、目标的长度等)叠加在视频图像中。arm微处理器负责统计所有交通流的信息以及交通事件识别。数据处理单元中对实时接收到的目标信息进行同一目标的坐标转换，将同一目标的来自毫米波雷达和视频传感器检测到的数据信息融合，最后将同一目标的完整信息按统一格式输出至系统平台。

数据存储单元：数据存储单元包括嵌入式多媒体存储卡(emmc)和sd卡。包括嵌入式多媒体存储卡(emmc)用于存储操作系统，sd卡用于存储交通流数据库和交通事件信息。

数据通信单元：通信单元包括网络(eth)接口和rs485接口，网络(eth)接口用于向系统平台传输交通流信息、交通事件信息、视频图像信息。rs485接口用于对接卡口相机及路口交通控制信号机。

如图2所示，基于毫米波雷达和视频的交通检测系统的实施包括以下步骤：

步骤一、毫米波雷达传感器和视频传感器作为环境感知前端进行目标和路面的信息采集，分别采集目标信息和路面图像信息，并将毫米波雷达传感器和视频传感器采集到的原始数据发送至数据处理单元。其中毫米波雷达传感器采集到的信息包括目标的标识符(id)、速度、坐标、长度等，视频传感器采集到路面的图像信息。

步骤二、世界坐标转换成图像平面坐标。毫米波雷达传感器采集到目标坐标，然后对视频传感器的相机的内参和外参的摄像头进行校正，得到目标坐标与图像平面坐标的转换矩阵(即旋转矩阵和平移矩阵)，将路面世界坐标转换成图像平面坐标，从而可以确定出毫米波雷达传感器采集检测到的目标投影在图像平面上的位置。

世界坐标系中目标的点到图像坐标系中的点的转换过程分两步来实现：

(1)将毫米波雷达传感器检测到的目标在世界坐标系中的坐标(xw，yw，zw)变换到相机坐标系(xc，yc，zc)，变换公式为：

式中，为由世界坐标系到相机坐标系的旋转矩阵。

即

如图3所示，其中绕x轴旋转为α，绕y轴旋转为β，绕z轴旋转为θ。

为由世界坐标系到相机坐标系的平移矩阵，由于本装置中毫米波雷达传感器与视频传感器的距离很近，平移的长度相当于0，即

可求得：

可得目标由世界坐标系中的坐标(xw，yw，zw)变换到相机坐标系(xc，yc，zc)

xc＝cos(β)cos(θ)xw+cos(β)sin(θ)yw-sin(β)zw

yc＝(-cos(α)sin(θ)+sin(α)sin(θ)cos(θ))xw+(cos(α)cos(θ)+sin(α)sin(β)sin(θ))yw

+sin(α)cos(β)zw

zc＝(sin(α)sin(θ)+cos(α)sin(β)cos(θ))xw+(-sin(α)cos(θ)+cos(α)sin(β)sin(θ))yw+cos(α)cos(β)zw

(2)再将检测到的目标由相机坐标系变换到图像坐标系，确定目标在视频传感器所拍摄的画面中的投影位置(xs，ys)，实现毫米波雷达传感器检测到的目标在图像上的定位。

如图4所示，ω为目标在相机中的水平视角，为目标在相机中的垂直视角，v为图像的横向尺寸，h为图像的垂向尺寸。

步骤三、采用神经网络框架yolo识别视频传感器所拍摄的图像中的目标类型。视频检测器只需要识别出目标的类别，无需其他复杂的计算，降低转码的延时，加快了系统的响应时间。在神经处理单元(npu)中运行yolo算法，神经处理单元(npu)采用“数据驱动并行计算”的架构，通过图像机器学习，将路面的图像非结构化数据转换成目标类型和颜色的结构化数据。

步骤四、利用步骤二的坐标转换及步骤三的图像识别，可以将毫米波雷达传感器检测到的目标在相机拍摄到的图像中的目标进行对应，获取到每个目标的所有参数信息，在图像中叠加目标的参数，参数包括每个目标的速度、坐标、目标类型(包括车型，颜色等信息)。融合计算两个传感器检测到的目标数据，增加了可提供的目标参数类型，提高了系统的检测精度。

步骤五、将融合后的目标参数(速度、坐标、类型等)发送至系统平台。对两个传感器检测到的原始数据进行初步统计加工，无需将前端采集单元检测到的原始数据都传给系统平台，大大减少了系统的计算量。

利用视频传感器识别目标类型后的数据，在数据处理单元中还可以进一步交通流统计数据计算。统计并跟踪检测到的目标，计算得出某一指定区域内每个周期内的各车型(非机动车、小汽车、公交车、货车)的过车流量、平均速度、占有率、车头时距等交通流统计数据。

在数据处理单元还可以根据毫米波雷达传感器检测到的目标速度、坐标判断目标是否存在超速、逆行、违停等交通事件。若发生交通事件，数据处理单元发送指令让视频传感器进行拍照、录取视频取证，并将事件的文本信息、图像数据、视频数据传至系统平台。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。