一种基于毫米波雷达和单目相机的联合标定方法与流程

本发明属于高级辅助驾驶领域(adas)，尤其涉及一种基于毫米波雷达和单目相机的联合标定方法。

背景技术：

1、实现adas的技术主要有三类，分别是基于视觉传感器、毫米波雷达和激光雷达。由于成本限制因素，国内主要使用前两种方式。视觉传感器和毫米波雷达实现对adas功能的原理不同：毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂，以单目视觉方案为例，它需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。这两类技术各有优劣。总体来讲，摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。另外，毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。于是就有了第三种方案，将摄像头和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的adas功能。而毫米波雷达与相机的联合标定是毫米波雷达与相机数据融合的重要保证。由于毫米波雷达数据点具有稀疏，噪声较多的特性，因此毫米波雷达和相机的联合标定在工业上显得尤为重要，因此急需研究一种毫米波雷达与相机联合标定的方法。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于毫米波雷达和单目相机的联合标定方法，提高了摄像头和雷达采样目标点的匹配、融合、多目标的关联，通过建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系完成标定。

2、所述方法包括如下步骤：

3、步骤1，对毫米波雷达的数据进行解析；

4、步骤2，对毫米波雷达的数据进行处理；

5、步骤3，进行毫米波雷达与相机在线标定。

6、步骤1包括：计算机接收的毫米波雷达信号通过can-bus网络完成，(can-bus总线技术，全称为“控制器局域网总线技术”)，通过usbcan接口卡，将雷达信号通过usb总线连接到计算机，再根据can协议接收到的每一个can标准帧进行解析，所述can标准帧包括目标与雷达的距离、角度、相对速度、信号的反射强度以及每个目标的id号。

7、步骤1中，计算机接收到的每个目标信号数据是unsigned cha类型的数组data[8][8]，每个雷达目标信息存储在data[0]～data[7]中，用lsb表示最低有效位，msb表示最高有效位；角度信息由data[1]的低5位与data[2]的高5位组成；距离信息由data[2]的低3位data[2]组成；相对速度信息由data[6]的低6位与data[7]组成；将从最低有效位到最高有效位的数据组合成一个完整的二进制数，然后转化为融合所需的十进制信息。

8、步骤2包括：第一步，确定毫米波雷达的检测范围，确定以毫米波雷达为中心横轴x方向和纵轴y方向的距离，滤去无效目标点；第二步，选用探测有效目标生命目标周期的方法来确定受金属障碍物干扰，或系统噪声原因产生的空目标，使用出现、持续、消失三个阶段表示，当目标出现和持续的时间过短时(一般小于2秒则判定为时间过短)，将目标滤去；完成以上两步后，毫米波雷达数据点只剩下有效的目标物，选用dbscan聚类算法对数据进行降维，最终每一个目标物仅由一个点代表。

9、步骤3包括：同时启动相机和毫米波雷达采集数据，并每隔y1(一般取值为20)秒触发一次标定过程，通过手动标定和筛选完成标定，如果当前帧数据未检测到目标点，选择遗弃，进行下一y1秒的标定，在这y1秒内用户能够在毫米波雷达与相机视野里摆放目标物，或者使目标物运动来增加标定的精确性。

10、步骤3中，令相机坐标系为oxcyczc，毫米波雷达坐标系为oxryrzr；

11、相机x轴正方向向右，y轴正方向竖直向下，z轴正方向为相机中心向前；

12、雷达x轴正方向延雷达中心向前，y轴正方向向左，z轴正方向竖直向上；

13、设定相机坐标系原点与毫米波雷达坐标原点的距离分别为xoffsetyoffsetzoffset，oxryrzr坐标系在oxcyczc坐标系下的姿态为(α,β,λ)，α,β,λ分别表示俯仰角pitch，航向角yaw，翻滚角roll；在xc轴的旋转矩阵为rx，在yc轴的旋转矩阵为ry，在zc轴的旋转矩阵为rz，则由毫米波雷达坐标系转换为相机坐标系的关系式为：

14、pc＝r*pr+t(1)

15、其中pc表示点p在相机坐标系下的坐标，pr表示点p在雷达坐标系的坐标,pr表示统一朝向后雷达点的坐标，r表示从雷达坐标系转换到相机坐标系下的旋转矩阵，t表示雷达坐标系到相机坐标系的平移矩阵，其中：

16、r＝rz*ry*rx(2)

17、

18、

19、

20、

21、由于毫米波的zr为0，也就是相机坐标系的yc为0，所以旋转能够退化为平面xoz绕y轴旋转，将(1)式写成矩阵形式：

22、

23、将相机坐标系下的坐标投影到像素坐标系，如下式：

24、

25、其中zc为尺度因子，fx,fy,cx,cy为相机内参，通过相机标定得出，再通过手动调节参数，使雷达点与目标物体中心重叠，生成标定的变换矩阵。

26、本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种基于毫米波雷达和单目相机的联合标定方法。

27、本发明主要采用以下技术方案：

28、毫米波雷达数据解析，计算机接收的毫米波雷达信号通过can-bus网络完成，通过usbcan接口卡，将雷达信号通过usb总线连接到计算机，再根据can协议接收到的每一个can标准帧包括目标与雷达的距离、角度、相对速度、信号的反射强度以及每个目标的id号等信息进行解析。

29、毫米波雷达数据处理技术，在实际测量结果中，毫米波雷达信号目标中有很大一部分是干扰信号目标，包括空目标、无效信号目标和静止目标，本发明通过设定算法可有效滤去以上干扰信号目标。经过有效数据选取后，当自然环境出存在一个体积较大的目标标或者目标保持运动状态且各部位姿势不一致时，雷达检测结果中会呈现出是一堆距离、速度、方位都十分相近的目标点，因此，在选取有效目标信息的过程中，使用dbscan聚类算法对检测结果进行初步处理，根据距离、速度的相似度将检测结果中一堆相近的小目标点聚集成一个目标整体，过滤整合一部分无效信息。

30、毫米波雷达与相机在线标定技术，本发明通过实时获得雷达数据和图片数据，并通过手动调节参数，实现目标的匹配与融合从而实现标定。

31、本发明方法具有如下有益效果：

32、(1)无需制作标定物体，单人就可完成标定，简单快捷。

33、(2)通过调整触发程序时间，可以对不同位置的运动物体进行标定，达到不同精度要求的标定效果。

34、(3)标定不受制于环境的限制，不受自然光影响，特征通过人为识别，精度好

35、(4)雷达数据和图像数据同步对齐，实时性好。