一种基于传感器融合的环境感知方法与流程

1.本发明属于环境感知技术领域，具体涉及一种基于传感器融合的环境感知方法。


背景技术：

2.环境感知在自动驾驶以及自主泊车等领域，有非常重要的作用，是这些领域的基础。基于车辆的功能越来越多，车身上安装的传感器个数以及种类也越来越多，如前视摄像头、环视相机、超声波、毫米波雷达、激光雷达、imu等等，这些传感器有各自的应用优缺点。基于每种传感器都能开发某一种车辆功能，如acc/aeb。自主泊车以及自动驾驶是一项复杂的系统功能，针对不同天气、不同光照、不同场景等，需要更精确的环境感知，因此需要融合多种传感器，增强优势，同时弥补不足，提升环境感知的精准度。
3.目前的传感器融合方案大都是基于各种传感器的结果做融合，如首先基于超声做目标检测得到超声结果，视觉做检测得到视觉结果，然后对这两种结果的信息做融合。这种方案能够一定程度上弥补各种传感器的缺点，但是在做环境感知时仍然是传感器各自做检测，没有充分的利用超声和视觉的信息。同时这种方案也有不足，对于各个传感器的误检测比较难以处理。


技术实现要素：

4.本发明的目的在于提供一种基于传感器融合的环境感知方法，以解决现有的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于传感器融合的环境感知方法，包括步骤：
6.s100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息；
7.s200将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果；
8.s300对于所述基本推理结果进行后处理，提取目标信息。
9.作为本发明一种基于传感器融合的环境感知方法优选地，所述后处理包括图像处理。
10.作为本发明一种基于传感器融合的环境感知方法优选地，所述图像处理包括连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪。
11.作为本发明一种基于传感器融合的环境感知方法优选地，在所述的s100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前包括步骤：
12.s10对环视相机进行标定，标定出环视相机相对于靶标的外参数；
13.s20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系。
14.作为本发明一种基于传感器融合的环境感知方法优选地，在所述的s20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系之后包括步骤：
15.s30利用矩阵变换获得环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系。
16.作为本发明一种基于传感器融合的环境感知方法优选地，在所述的s100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前还包括步骤：
17.s40通过若干个超声波传感器获取超声波原始信息，将所述超声波原始信息融合，生成车量360度的超声波信息。
18.作为本发明一种基于传感器融合的环境感知方法优选地，所述环视相机设置有四个，所述超声波传感器设置有十二个。
19.作为本发明一种基于传感器融合的环境感知方法优选地，四个所述环视相机和十二个所述超声波传感器均安装于车辆上。
20.本发明与现有技术相比，具有以下有益效果：本发明充分利用传感器的信息，目标感知的精度能够很大程度的提高；简化环境感知的逻辑。
附图说明
21.图1为本发明的其中一个实施例的流程图；
22.图2为本发明的另一个实施例的流程图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.请参阅图1所示，本发明提供如下技术方案：一种基于传感器融合的环境感知方法，包括步骤：
25.s100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息；
26.s200将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果；
27.s300对于所述基本推理结果进行后处理，提取目标信息。
28.值得说明的是，将所述叠加数据信息输入至深度网络模型进行模型推理，得到基本推理结果具体包括步骤：
29.步骤1：模型建立；
30.步骤2：模型训练；
31.步骤3：模型推理。
32.步骤1中，通过注意力机制学习像素点图像特征之间的关联性以及通过增加感受
进一步捕获图像丰富的上下文语义信息，以加强同类别像素的关联性提高分割准确性；
33.首先，对图像进行特征提取，通过骨干网络resnet
‑
101提取图像特征f；
34.然后，建立特征集成模型(fim)，通过增大感受野对图像特征f进行增强，得到具有增强语义信息的图像特征x；
35.最后，建立位置注意力模型(pam)，通过位置注意力机制增强图像特征x空间位置的关联性，得到上下文关联性增强的特征图e；
36.步骤2中，首先对提供的数据集进行预处理操作，对图像i进行尺度随机缩放，水平旋转，将图像裁剪成固定尺寸大小的图像ic；
37.然后对步骤1建立的模型进行训练，将图像ic通过骨干网resnet
‑
101、特征集成模型(fim)子模块、位置注意力模型(pam)子模块得到特征图e，再经过上采样后进行图像语义类别预测，将得到的预测值z与真实值gt进行交叉熵运算，度量预测值与真实值的误差；通过反向传播算法对步骤1定义的网络模型参数进行迭代优化训练，训练到整个模型收敛为止；
38.步骤3中，将测试集的图像输入到训练好的模型中，推理测试图像的语义类别预测值，计算测试预测值与真实值的平均交并比(miou)，评估预测准确度。
39.步骤3所述模型推理具体过程如下：
40.在步骤2训练完成模型以后，固定模型参数，输入测试集的图像得到测试预测值，推理测试图像的语义类别预测值，计算测试预测值与真实值的交并比，直到所有测试集测试完成，给出最终的预测准确度。
41.本实施例中，共用了4个环视相机、12个超声波。传感器标定包括环视相机的标定以及超声波的标定，同时相机和超声波的标定，建立环视相机和超声波世界坐标系的坐标转换关系；
42.基于12个超声波的原始信息，做超声波信息的融合，生成车身360的超声信息，基于上一个模块做的超声波和相机世界坐标转化关系，在环视图像中，叠加超声波的信息；
43.语义目标包含但不限于行人、车辆、方形立柱、路沿石、车位限位器、地锁、栅栏等。基于上一个模块生成的原始数据，送到设计好的深度网络模块，做模型推理，得到基本的推理结果。
44.基于得到的推理结果，做后处理，包括但不限于图像处理如连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪等，提取稳定的目标信息。
45.具体地，所述后处理包括图像处理。
46.具体地，所述图像处理包括连通域分析、边缘处理、视觉跟踪以及车辆运动模型跟踪。
47.请参阅图2所示，具体地，在所述的s100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前包括步骤：
48.s10对环视相机进行标定，标定出环视相机相对于靶标的外参数；
49.s20对超声波传感器进行标定，标定超声波传感器的世界坐标系与靶标坐标系之间的关系。
50.具体地，在所述的s20对超声波传感器进行标定，标定超声波传感器的世界坐标系
与靶标坐标系之间的关系之后包括步骤：
51.s30利用矩阵变换获得环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系。
52.具体地，在所述的s100基于环视相机坐标系相对于超声波传感器的世界坐标系的坐标转换关系，在环视图像中叠加车量360度的超声波信息，形成叠加数据信息之前还包括步骤：
53.s40通过若干个超声波传感器获取超声波原始信息，将所述超声波原始信息融合，生成车量360度的超声波信息。
54.具体地，所述环视相机设置有四个，所述超声波传感器设置有十二个。
55.具体地，四个所述环视相机和十二个所述超声波传感器均安装于车辆上。
56.本实施例中，基于超声波和相机传感器，分别做各自的标定，同时做相互的位姿的标定；基于融合逻辑，做超声波信息的融合以及超声波信息和图像信息的融合；基于深度学习推理，并做后处理得到所需要的目标。
57.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。