基于表征学习的雷达摄像头数据融合系统及方法与流程

1.本发明涉及雷达摄像头数据融合系统技术领域，具体为基于表征学习的雷达摄像头数据融合系统及方法。


背景技术：

2.虽然基于激光雷达的3d对象检测在高级自主性中非常受欢迎，但其广泛的采用仍受到一些未解决的问题的限制。首先，激光雷达容易受天气影响；第二，目前的激光雷达系统仍然表现出非常高的维护需求和成本；第三，激光雷达的大规模生产还没有准备好满足日益增长的需求。
3.汽车毫米波雷达还可以以相对精确的范围和速度估计提供一定水平的几何信息。此外，雷达作为汽车上几十年来广泛采用的传感器，其性能相对稳健、低成本、维护水平较低传统上，雷达-照相机的融合是通过结合基于规则的关联算法和基于运动学模型的跟踪来实现的。关键是雷达和相机检测之间的数据关联。雷达检测的噪声和稀疏性以及单声道摄像机的深度模糊性使得这种关联问题非常具有挑战性。传统上，关联过程是基于最小化某些距离度量和一些启发式规则而手工制作的。它不仅需要大量的工程和调优，而且也难以适应不断增长的数据。
4.一个新兴的解决方案是使用基于学习的方法来取代基于规则的雷达-相机融合。最新的进展集中在结合雷达和摄像机数据作为输入的直接三维目标检测。这些方法都依赖于基于激光雷达的地面真相来建立雷达和照相机之间的联系。这在大多数公共数据集上是可行的，如nuscenes，waymo等。然而，它不能用于大型商业自动驾驶汽车，通常只配备雷达和摄像头。


技术实现要素：

5.本发明的目的在于提供基于表征学习的雷达摄像头数据融合系统及方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：基于表征学习的雷达摄像头数据融合系统，包括采集模块、传输模块、接收模块、输出模块、表征学习网络模块和数据融合模块，所述采集模块控制连接有传输模块 ，所述采集模块用于采集相机和雷达检测到的信息方面的数据，传输模块控制连接有接收模块并用于对采集到的数据进行传输，所述接收模块用于接收传输模块传输的数据并控制连接有输出模块，所述输出模块用于根据所述采集模块采集到的数据经过处理形成多维输入数据，所述表征学习网络模块与所述输出模块连接，用于根据多维输入数据进行数据处理，得到特征图并从所述特征图中提取出表征向量，形成融合数据结果。
7.优选的，所述输出模块包括图像检测结果输出模块和雷达点检测结果输出模块，分别用于处理采集到的相机和雷达的数据并输出处理后的数据。
8.优选的，所述图像检测结果输出模块用于处理相机输出的图像数据并输出图像经目标检测后形成的数据信息，所述雷达点检测结果输出模块用于对一系列雷达点数据进行处理得到雷达处理数据，所述一系列雷达点数据是根据雷达返回信号进行后处理提到的，所述后处理包括将雷达返回信号进行滤波处理。
9.优选的，所述表征学习网络模块控制连接有数据融合模块，所述数据融合模块用于根据提取出的表征向量进行特征匹配，得到与雷达点数据匹配的融合数据。
10.优选的，所述多维输入数据包括相机输出的三通道rgb图像、图像经目标检测后形成的数据信息以及雷达处理数据。
11.优选的，所述三通道rgb图像经目标检测后的数据信息是使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，并给检测框的每个属性单独分配一个通道，若不考虑速度，用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，运行时间为12ms，且运行速度为24-26ms，fps为40；所述雷达处理数据是根据雷达返回的一系列雷达点数据经滤波处理后，再结合雷达和相机安装的相对位置以及时间而得到的；其中，每个雷达点对应为障碍物，且除heatmap外的雷达点数据值分别映射到图像平面对应的位置。
12.优选的，所述表征学习网络模块进一步基于resnet-50方法进行学习，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；所述表征学习网络模块进一步根据提取到的表征向量，通过所述正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：负样本的损失加和，得到排斥损失：其中pos和nge分别为正样本集和负样本集，n
pos
和n
neg
分别为pos中的关联数和nge中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；h
i1
和h
i2
分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；物体在3d时间中的顺序通过检测框底部的相对距离次序来推测，计算额外的顺序损失：其中为正样本集的大小，为预测为正关联的正样本集，（i1，i2）为第i个关联对，包含雷达针i1，检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标系下雷达点的深度，y
max
为检测框底部的y坐标，为激活函数，最后利用设置的数据融合模块对数据进行融合计算总损失，且总损失计算公式为：
式中，w
ord
是预设的序列损失所占的比重。
13.以及，一种基于表征学习的雷达摄像头数据融合方法，包括步骤一，设备安装；步骤二，数据采集；步骤三，数据接收处理，形成多维输入数据；步骤四，生成特征图生成特征图，提取表征向量；步骤五，数据融合；其中上述步骤一中，首先将相机和雷达分别安装在所需位置处；其中上述步骤二中，将步骤一中安装的相机和雷达检测到的信息进行采集，随后对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据，所述后处理包括将雷达返回信号进行滤波处理；其中上述步骤三中，包括以下过程：接收步骤二中传输的数据，即接收经过相机输出的三通道rgb图像以及经过雷达后处理的雷达点数据，随后根据接收到的三通道rgb图像进行处理并输出，具体是使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，并给检测框的每个属性单独分配一个通道，若不考虑速度，亦可用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，同时运行时间为12ms，且该融合系统的运行速度为24-26ms，fps为40；根据接收到的一系列雷达点数据，结合雷达和相机安装的相对位置以及时间得到雷达处理数据，其中，每个雷达点均对应为障碍物，且除heatmap外的雷达点数据值映射到图像平面对应的位置处；所述多维输入数据包括机输出的三通道rgb图像、图像经目标检测后形成的数据信息以及雷达处理数据；并根据所述多维输入数据进行处理，得到特征图；其中上述步骤四中，由于步骤三中得到的特征图中包括了雷达点和检测框的高维空间向量表征信息，每个雷达点和检测框都在特征图中具有独有的像素位置，随后根据像素位置利用设置的表征学习网络模块提取表征向量，同时表征学习网络模块基于resnet-50方法进行学习，且雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；其中上述步骤五中，根据步骤四中提取到的表征向量，利用正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：负样本的损失加和，得到排斥损失：其中pos和nge分别为正样本集和负样本集，n
pos
和n
neg
分别为pos中的关联数和nge中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；h
i1
和h
i2
分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；由于物体在3d时间中的顺序可以通过检测框底部的相对距离次序来推测，因此设计了一个额外的顺序损失：
其中为正样本集的大小，为预测为正关联的正样本集，（i1，i2）为第i个关联对，包含雷达针i1，检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标系下雷达点的深度，y
max
为检测框底部的y坐标，为激活函数，最后对数据进行融合计算总损失，且总损失计算公式为：随后即完成雷达摄像头的数据融合工作，式中，w
ord
是预设的序列损失所占的比重。
14.优选的，所述步骤三中，检测框中的属性有h、w、c以及heatmap，且h的具体含义为图像平面中的检测框的高度、w的具体含义为图像平面中的检测框的宽度、c的具体含义为检测到的目标类别，以及heatmap的具体含义为相机图像的热图。
15.优选的，所述步骤三中，雷达数据值的属性有id、p、x、y、vx、vy以及heatmap，同时id的具体含义为雷达点id，p的具体含义为雷达点检测到的物体属于障碍物的概率，x的具体含义为雷达点在x方向上的坐标，y的具体含义为雷达点在y方向上的坐标，vx的具体含义为雷达点在x方向上的速度，vy的具体含义为雷达点在y方向上的速度，heatmap的具体含义为雷达热图。
16.与现有技术相比，本发明的有益效果是：该发明，提出一种可扩展的、基于学习的雷达-相机融合框架，无需使用激光雷达的地面真实标签，适合在真实的自动驾驶应用中构建低成本、可生产的感知系统；通过表征学习发展了一种鲁棒性的模型，可以操作多种具有挑战性的场景，且提升了预测准确率，同时使用剪枝量化后的yolov3模型缩短了运行时间。
附图说明
17.图1为本发明实施例的整体模块示意图；图2为本发明实施例的系统流程图；图3为本发明实施例中的方法流程图；图4为本发明实施例的resnet-50+u-net网络架构图；图5为本发明实施例的方法工作原理架构图；图中：1、采集模块；2、传输模块；3、接收模块；4、输出模块；5、表征学习网络模块；6、数据融合模块；401、图像检测结果输出模块；402、雷达点检测结果输出模块。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.请参阅图1-2，本发明提供的一种实施例：基于表征学习的雷达摄像头数据融合系统，包括采集模块1、传输模块2、接收模块3、输出模块4、表征学习网络模块5和数据融合模块6，采集模块1控制连接有传输模块2,传输模块2控制连接有接收模块3,接收模块3控制连接有输出模块4,输出模块4包括图像检测结果输出模块401和雷达点检测结果输出模块402，分别用于处理采集到的相机和雷达的数据并输出处理后的数据，输出模块4控制连接有表征学习网络模块5,表征学习网络模块5控制连接有数据融合模块6。
20.具体地，采集模块1用于采集相机和雷达检测到的信息方面的数据，传输模块2用于对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据，接收模块3用于接收传输模块2传输的数据，所述后处理包括将雷达返回信号进行滤波处理。所述输出模块4用于根据所述采集模块采集到的数据经过处理形成多维输入数据，所述表征学习网络模块5与所述输出模块4连接，用于根据多维输入数据进行数据处理，得到特征图并从特征图中提取出表征向量，经匹配后形成融合数据结果。
21.具体地，图像检测结果输出模块401用于根据接收到的三通道rgb图像进行输出，具体用于处理相机输出的图像数据并输出图像经目标检测后形成的数据信息，更优选地，图像检测结果输出模块401是根据使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，同时给检测框的每个属性单独分配一个通道，其中，yolov3模型优化至49层，同时运行时间为12ms，且运行速度为24-26ms，fps为40，若不考虑速度，用原版yolov3或其他目标检测网络；所述雷达点检测结果输出模块402用于对一系列雷达点数据进行处理得到雷达处理数据，所述一系列雷达点数据是根据雷达返回信号进行后处理得到的。具体为，雷达点检测结果输出模块402根据接收到的一系列雷达点数据，再结合雷达和相机安装的相对位置以及时间得到雷达处理数据；其中，每个雷达点均对应为障碍物，雷达点检测结果输出模块402还用于将除heatmap外的雷达数据值映射到图像平面对应的位置处。所述多维输入数据包括相机输出的三通道rgb图像、图像经目标检测后形成的数据信息以及雷达处理数据。所述表征学习网络模块5根据多维输入数据进行数据处理，得到特征图并从特征图中提取出表征向量，所述数据融合模块6用于根据提取出的表征向量进行特征匹配，得到与雷达点数据匹配的融合数据。
22.具体地，表征学习网络模块5用于提取表征向量，同时基于resnet-50方法进行学习，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；表征学习网络模块5进一步根据提取到的表征向量，通过正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：负样本的损失加和，得到排斥损失：其中pos和nge分别为正样本集和负样本集，n
pos
和n
neg
分别为pos中的关联数和nge中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；h
i1
和h
i2
分别代表对应的学习
出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；物体在3d时间中的顺序通过检测框底部的相对距离次序来推测，计算额外的顺序损失：其中为正样本集的大小，为预测为正关联的正样本集，（i1，i2）为第i个关联对，包含雷达针i1和检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标系下雷达点的深度，y
max
为检测框底部的y坐标，为激活函数，最后利用设置的数据融合模块6对数据进行融合计算总损失，且总损失计算公式为：式中，w
ord
是预设的序列损失所占的比重。
23.请参阅图3-4，本发明实施例另一方面提供的一种基于表征学习的雷达摄像头数据融合方法，上述基于表征学习的雷达摄像头数据融合系统中各模块的功能参照以下方法的步骤或过程或功能作用。
24.该方法包括步骤一，设备安装；步骤二，数据采集；步骤三，数据接收处理，形成多维输入数据；步骤四，生成特征图，提取表征向量；步骤五，数据融合；其中上述步骤一中，首先将相机和雷达分别安装在所需位置处，且使用的相机具有120
°
的视场角，同时分辨率为1920*1080，使用的雷达为毫米波雷达；其中上述步骤二中，利用采集模块1将步骤一中安装的相机和雷达检测到的信息进行采集，随后利用设置的传输模块2对采集到的数据进行传输，且传输经雷达采集到的数据为经过后处理的雷达点数据；其中上述步骤三中，包括以下过程：利用设置的接收模块3将步骤二中传输的数据进行接收，即接收经过相机输出的三通道rgb图像以及经过雷达后处理的雷达点数据，随后图像检测结果输出模块401根据接收到的三通道rgb图像进行处理并输出，且图像检测结果输出模块401是根据使用剪枝量化后的yolov3模型检测每帧图像并输出检测框，同时给检测框的每个属性单独分配一个通道，若不考虑速度，亦可用原版yolov3或其他目标检测网络，其中，yolov3模型优化至49层，同时运行时间为12ms，且通过前述融合系统操作，该系统的运行速度为24-26ms，fps为40。优选地，检测框中的属性有h、w、c以及heatmap，且h的具体含义分别为图像平面中的检测框的高度、w的具体含义为图像平面中的检测框的宽度、c的具体含义为检测到的目标类别，如：轿车、新人、卡车以及其他目标，以及heatmap的具体含义为相机图像的热图；根据接收到的一系列雷达点数据，结合雷达和相机安装的相对位置以及时间得到雷达处理数据，其中，每个雷达点均对应为障碍物，雷达点检测结果输出模块402将雷达数据值映射（除heatmap外）到图像平面对应的位置处得到；所述多维输入数据包括机输出的三通道rgb图像、图像经目标检测后形成的数据信息以及雷达处理数据，表征学习网络模块5根据所述多维输入数据进行处理，生成特征图。优选地，雷达数据值的属性有
id、p、x、y、vx、vy以及heatmap，同时id的具体含义为雷达点id，p的具体含义为雷达点检测到的物体属于障碍物的概率，x的具体含义为雷达点在x方向上的坐标，y的具体含义为雷达点在y方向上的坐标，vx的具体含义为雷达点在x方向上的速度，vy的具体含义为雷达点在y方向上的速度，heatmap的具体含义为雷达热图。由此，利用图像检测结果输出模块401和雷达点检测结果输出模块402的工作，从而组成14个通道的多维输入，生成特征图，并进行下一步处理；其中上述步骤四中，由于步骤三中得到的特征图中包括了雷达点和检测框的高维空间向量表征信息，每个雷达点和检测框都在特征图中具有独有的像素位置，随后根据像素位置利用设置的表征学习网络模块5提取表征向量，同时表征学习网络模块5基于resnet-50方法进行学习，优选采用的resnet-50+u-net网络架构图如图4，若雷达点和检测框表示了现实世界中的同一个目标，则把该目标作为一个正样本，反之为负样本；其中上述步骤五中，根据步骤四中提取到的表征向量，利用正样本设置将得到的正样本的表征向量加和到一起，得到吸收损失：负样本的损失加和，得到排斥损失：其中pos和nge分别为正样本集和负样本集，n
pos
和n
neg
分别为pos中的关联数和nge中的关联数；（i1，i2）为第i个关联对，包含雷达针i1，检测框i2；h
i1
和h
i2
分别代表对应的学习出的表征向量；m1和m2分别表示为预设的表征向量间的距离的阀值，分别设定为1.5和8.5；由于物体在3d时间中的顺序可以通过检测框底部的相对距离次序来推测，因此设计了一个额外的顺序损失：其中为正样本集的大小，为预测为正关联的正样本集，（i1，i2）为第i个关联对，包含雷达针i1和检测框i2，（j1，j2）为第j个关联的雷达针j1和检测框j2，d为相机坐标系下雷达点的深度，y
max
为检测框底部的y坐标，为激活函数，最后利用设置的数据融合模块6对数据进行融合计算总损失，且总损失计算公式为：随后即可完成雷达摄像头的数据融合工作，式中，w
ord
是预设的序列损失所占的比重，w
ord
优选为0.1-0.3，更优选为0.2。
25.如图5所示，显示本发明实施例的具体实例的工作原理，首先，通过摄像头进行采集图像等方法的信息数据，摄像头（或相机）输出三通道rgb图像，再通过图像检测结果输出
模块401得到目标检测模型，再进一步处理得到四通道图像伪图。而对于雷达，先进行信号处理，即滤波处理，经过雷达后处理，即滤波处理的雷达点数据，得到七通道雷达伪图，由此通过图像检测结果输出模块401和雷达点检测结果输出模块402的操作，将三通道rgb图像、四通道图像伪图、七通道雷达伪图组成14个通道的多维输入数据的图。然后，通过表征学习网络模块提取到表征向量，包括各雷达的点向量和各目标框向量，再进行特征匹配，提到匹配结果，即可完成雷达摄像头的数据融合工作。
26.基于上述，本发明的优点在于，通过使用剪枝量化后的yolov3模型，充分的缩短了运行时间，同时，提出了一种可扩展的、基于学习的雷达-相机融合框架，无需使用激光雷达的地面真实标签，适合在真实的自动驾驶应用中构建低成本、可生产的感知系统，增加了该发明的适用范围。
27.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。