视觉与雷达融合的目标检测技术的制作方法

本发明涉及图像处理，尤其涉及一种视觉与雷达融合的目标检测技术。

背景技术：

1、在目前的adas智能驾驶辅助感知方案中，常以摄像头与毫米波雷达数据融合进行车辆前方目标信息的识别，现有的视觉与毫米波雷达的融合方案主要为：毫米波雷达捕获目标的同时将目标投影至图像中，并在图像中生成roi区域，视觉目标检测部分采用的机器学习方法在毫米波雷达捕获的roi中执行检测，从而完成车辆与行人等其他交通参与者的识别，这种融合方法虽然能够显著降低视觉计算的计算强度，但是当前现有传感器融合的检测精度并不能令人满意，常常出现漏检、误检等问题，且传统机器学习提取的特征都是较低层次特征，因此传统的机器视觉检测算法检测准确度不高，位置预测不准确并且检测速度比较低，鲁棒性较差，尤其是在需要更高可靠性场景中，目前的融合感知方法无法正常使用。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供一种视觉与雷达融合的目标检测技术，旨在解决现有技术中机器视觉检测准确度不高，不适应高可靠性需求环境检测的技术问题。

2、为实现上述目的，本发明提供了一种视觉与雷达融合的目标检测技术，所述方法包括以下步骤：

3、获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；

4、根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；

5、将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；

6、在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。

7、可选地，所述根据所述目标信息生成雷达感兴趣区域，包括：

8、通过can分析设备提取所述目标信息的can报文信息；

9、通过解析协议获取所述报文信息中的有效目标的位置信息与速度信息；

10、通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，得到有效目标；

11、对根据所述有效目标的位置信息与速度信息得到雷达感兴趣区域。

12、可选地，所述无效目标包括空目标、虚假目标和静止目标，所述通过帧间跟踪信息对所述报文信息进行噪声滤波和无效目标过滤，包括：

13、根据所述报文信息获取所述报文信息中的目标，并获取各目标的相对距离；

14、对所述相对距离进行检测，在所述当前目标的相对距离为零时，将当前目标判定为空目标；

15、在所述当前目标的相对距离不为零时，获取所述当前目标的检测信息，在所述检测信息满足跟踪条件时，对所述当前目标进行帧间跟踪，得到帧间跟踪信息；

16、在所述当前目标的帧间跟踪信息为预设帧间跟踪信息时，将所述当前的目标判定为虚假目标；

17、获取所述当前目标的回波强度，在所述回波强度不在所述回波强度阈值内，将所述当前目标判定为静止目标；

18、将所述空目标、虚假目标或静止目标过滤。

19、可选地，所述根据所述视觉信息生成视觉感兴趣区域，包括：

20、将所述视觉信息输入至视觉处理模型，通过聚类算法得到最优锚；

21、根据所述最优锚与所述视觉信息提取车辆与车道线；

22、根据所述车辆与所述车道线得到视觉感兴趣区域。

23、可选地，所述雷达感兴趣区域与所述视觉感兴趣区域包括世界坐标系、雷达坐标系、相机坐标系、图像坐标系和像素坐标系，所述将所述雷达感兴趣区域与所述视觉感兴趣区域融合，包括：

24、获取所述雷达坐标系中目标的相对角度与相对距离，根据所述相对角度、相对距离和第一转换关系实现所述世界坐标系与所述雷达坐标系的转换；

25、定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换；

26、获取相机的焦距，根据所述相机坐标系中的点与所述相机的焦距通过第三转换关系实现所述相机坐标系与所述图像坐标系的转换；

27、确定所述图像坐标系与所述像素坐标系的原点位置；根据所述原点位置得到位置偏量；根据所述位置偏量与第四转换关系实现所述图像坐标系与所述像素坐标系的转换；

28、根据第五转换关系实现所述像素坐标系与所述世界坐标系的转换，实现将所述雷达感兴趣区域与所述视觉感兴趣区域融合。

29、可选地，所述定义旋转矩阵和平移向量矩阵，根据所述旋转矩阵、所述平移向量矩阵、相机的外参矩阵和第二转换关系所述实现世界坐标系与所述相机坐标系的转换，还包括：

30、根据张正友标定法获取相机的内参；

31、根据联合标定关系以及所述相机的内参和世界坐标系中的三维坐标得到所述像素坐标系中的像素坐标。

32、可选地，所述在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出，包括：

33、在所述交并比大于预设阈值时，提取所述视觉感兴趣区域内目标的目标类别；

34、提取所述雷达感兴趣内目标的属性信息，所述属性信息包括速度信息和距离信息；

35、将所述目标类别与所述属性信息进行输出。

36、此外，为实现上述目的，本发明还提出一种视觉与雷达融合的目标检测装置，所述视觉与雷达融合的目标检测装置包括：

37、信息获取模块，用于获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息；

38、区域生成模块，用于根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域；

39、融合判断模块，用于将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比；

40、目标输出模块，用于在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。

41、此外，为实现上述目的，本发明还提出一种视觉与雷达融合的目标检测设备，所述视觉与雷达融合的目标检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序配置为实现如上文所述的视觉与雷达融合的目标检测技术的步骤。

42、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视觉与雷达融合的目标检测程序，所述视觉与雷达融合的目标检测程序被处理器执行时实现如上文所述的视觉与雷达融合的目标检测技术的步骤。

43、本发明通过获取毫米雷达波信息中的目标信息与摄像头所拍摄的视觉信息，根据所述目标信息生成雷达感兴趣区域，根据所述视觉信息生成视觉感兴趣区域，将所述雷达感兴趣区域与所述视觉感兴趣区域融合，得到所述雷达感兴趣区域与所述视觉感兴趣区域的交并比，在所述交并比大于预设阈值时，将所述雷达感兴趣区域与所述视觉感兴趣区域内目标相关属性进行输出。本发明通过将计算机视觉生成的感知区域与毫米波雷达生成的感知区域共同对目标进行检测，根据两个感兴趣区域的交并比，确定检测目标，相对现有技术在毫米波雷达生成的感兴趣区域进行视觉检测，本发明能更准确的检测目标。