自动驾驶3D建模方法、装置及系统与流程

本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶3d建模方法、装置及系统。

背景技术：

在自动驾驶技术中，对自动驾驶车辆行驶环境中所存在的目标的识别是自动驾驶的重要核心技术之一。目前，业内通常通过神经网络的机器学习技术，对大量的实际路面驾驶数据进行采集和分析，提取出各种路面常见的目标的特征量，以进行机器识别的训练。在实际驾驶中，通过训练后的特征量，进行目标的匹配分析，从而识别目标。随着采集的样本数量的增加以及训练周期的增长，特征库的内容越来越丰富，所以也能识别越来越多的实际路面目标。

然而，在自动驾驶车辆的实际行驶过程中，复杂的道路环境上充满了“未见过”目标物，而经过大量实地实验，基于神经网络训练的数据仍然可能不含有这类“未见过”目标物的数据，因此依然会存在无法识别目标物的状况。

针对这些“未见过”的目标物，如果这些目标物与驾驶层面有关，比如标志标线、红绿灯、隔离栏等，则目前通常只能忽略目标的提示作用，这样会对自动驾驶产生很严重的影响。如果这些“未见过”的目标物为运动物体，如车辆、行人等，则无法预测其轨迹，无法做出正确的判定（如减速等），容易产生事故。由此可见，现有自动驾驶技术中由于无法识别“未见过”的目标物，导致对道路环境进行的数据采样较为单一，会造成数据建模不完整，或即使采用多元采样，但数据间关联性差，无法创建精确的3d环境模型。

技术实现要素：

本发明提供一种自动驾驶3d建模方法、装置及系统，以解决目前自动驾驶领域单一数据采样导致数据建模不完整，或即使采用多元采样，但数据间关联性差，无法创建精确的3d环境模型的问题。

第一方面，本发明提供一种自动驾驶3d建模方法，所述方法包括：

获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；

对多元传感器采集的数据进行融合处理，形成综合视图；

提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；

对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；

判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；

如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；

根据所述帧间相互关联的动态数据构建3d环境模型。

结合第一方面，在第一方面的第一种可实现方式中，获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：

同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。

结合第一方面，在第一方面的第二种可实现方式中，对多元传感器采集的原始数据进行融合处理，形成综合视图包括：

在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；

对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；

将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。

结合第一方面的第二种可实现方式，在第一方面的第三种可实现方式中，所述视频传感器所采集的数据为rgb图像的像素阵列，所述激光雷达传感器所采集的数据为3-d点云距离信息，所述毫米波雷达传感器所采集的数据为2-d反射图。

第二方面，本发明提供一种自动驾驶3d建模装置，所述装置包括：

获取单元，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器；

融合单元，用于对多元传感器采集的数据进行融合处理，形成综合视图；

提取单元，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数；

消除单元，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定；

判断单元，用于判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内；

确定单元，用于在存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内的情况下，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据；

构建单元，用于根据所述帧间相互关联的动态数据构建3d环境模型。

结合第二方面，在第二方面的第一种可实现方式中，所述装置还包括：

发送单元，用于在获取单元自动驾驶车辆上的传感器采集的原始数据之前，同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。

结合第二方面，在第二方面的第二种可实现方式中，所述融合单元包括：

识别子单元，用于在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物；

对齐子单元，用于对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合；

投影子单元，用于将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。

结合第二方面的第二种可实现方式，在第二方面的第三种可实现方式中，所述视频传感器所采集的数据为rgb图像的像素阵列，所述激光雷达传感器所采集的数据为3-d点云距离信息，所述毫米波雷达传感器所采集的数据为2-d反射图。

第三方面，本发明提供一种自动驾驶3d建模系统，所述系统包括：传感器和处理器；

所述传感器，用于采集自动驾驶车辆行驶环境中的数据，其中，所述传感器包括激光雷达传感器、视频传感器，以及毫米波雷达传感器；

所述处理器，用于获取自动驾驶车辆上的传感器采集的数据，对多元传感器采集的数据进行融合处理，形成综合视图，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据所述帧间相互关联的动态数据构建3d环境模型。

本发明的有益效果如下：

本发明提供的一种自动驾驶3d建模方法、装置及系统，通过获取自动驾驶车辆上的传感器采集的数据，对多元传感器采集的数据进行融合处理，形成综合视图，通过采用“前组合”创建精确的3d环境模型，摒弃了传统首先单独处理每个传感器的数据，然后将这些数据组合为一个综合视图的方法，能够保留更多的原始信息，在此基础上可以便于构建与真实环境高度契合的3d模型。此外，本发明还通过提取综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，并判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据帧间相互关联的动态数据构建3d环境模型，本发明利用“帧间检测”技术，处理整体数据不仅仅考虑单独每帧的数据处理，而且要考虑每帧数据之间的联系，这样可以提取出更多更准确的相互关联的动态数据，进一步利于创建精确的3d环境模型。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的自动驾驶3d建模方法的流程图。

图2为本发明实施例提供的自动驾驶3d建模方法的一种可选实施方式的流程图。

图3为本发明实施例提供的自动驾驶3d建模装置的示意图。

图4为本发明实施例提供的自动驾驶3d建模装置的融合单元示意图。

图5为本发明实施例提供的自动驾驶3d建模系统的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。

请参阅图1，本发明提供一种自动驾驶3d建模方法，所述方法的执行主体可以是处理器，所述方法具体可以包括如下步骤：

步骤s101，获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器。

在本实施例中，自动驾驶车辆上可以设置包括但不限于激光雷达传感器、视频传感器，以及毫米波雷达传感器的各种传感器。

其中，激光雷达传感器作为主传感器，可以向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别，激光雷达传感器分辨率高，抗干扰能力强，获取的信息量丰富，受外界环境影响极小，所以，激光雷达传感器可以全天候进行扫描传感器。

视频传感器作为第二个主传感器，可以直接将视频流进行处理分析，实现目标识别，目前视频分析技术已经非常成熟，机器视觉以及深度学习算法的加持，使得视频分析的精度取得了很大的突破，视频传感器作为第二主传感器也十分可靠，但是摄像头视频分析最大的局限性在于受外界环境影响较大，强光照射、雨雾天气对识别精度会有较大影响。

毫米波雷达传感器即普通雷达传感器，通过把无线电波发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。目前主流使用的车载毫米波雷达传感器按照其频率不同，主要可分为两种：24ghz和77ghz。毫米波雷达传感器探测技术目前已经十分成熟，但是其缺点也十分明显，即探测距离不够长，对于非金属目标（如行人等）探测能力较差，无法描绘出目标的形状。

步骤s102，对多元传感器采集的数据进行融合处理，形成综合视图。

在本实施例中，将激光雷达传感器、视频传感器，以及毫米波雷达传感器作为主传感器，以自动驾驶车辆为中心，将所有传感器采集的数据进行整合，形成综合视图，分析精度会大幅度提高，同时该方案还提升了整个系统的可靠性，当其中一个传感器故障时，系统仍然可以正常工作。

步骤s103，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数。

综合视图的活动图像是由时间上以帧周期为间隔的连续图像帧组成的时间图像序列，这些时间图像序列在时间上比在空间上具有更大的相关性。大多数目标相邻帧间细节变化是很小的，即每帧间具有很强的相关性，利用帧所具有的相关性的特点进行目标的预测分析，可以有助于构建精确的模型。帧间目标参数可以包括帧间位移量、运动轨迹等。

步骤s104，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定。

步骤s105，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内。

在本实施例中，可以设定一个阈值，例如，同一个检测目标的连续多个帧间的运动轨迹在这个阈值范围内，即符合我们对于其关联性的判断，就可以确定相应的帧间目标参数为帧间相互关联的动态数据。“数个相邻帧”中“数个”的具体值，也可以根据需要进行设置。

步骤s106，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据。

步骤s107，根据所述帧间相互关联的动态数据构建3d环境模型。

通过高性能硬件平台，处理这些数据以创建精确的3d环境模型，为自动驾驶提供决策服务。通过多帧时间内车辆的运动轨迹，可以分析出车辆的接下来的运动轨迹，以及通过帧间位移量计算出行驶速度，所以，对于相同的目标，都采用这种分析的方法，取得每帧数据之间的联系，可以大量节约系统的计算时间，让系统有更多的资源去对新进入的目标进行分析，同时构建精确的模型，也是下一步的自动驾驶决策的重要参考。

在本实施例中，在获取自动驾驶车辆上的传感器采集的原始数据之前，所述方法还包括：

同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。

在本实施例中，以整体的方式对传感器采集的数据进行处理，主要是实现多传感器的数据融合，传感器融合重要的前提是要能把标定精度提高到非常高的一个精度，是一个必要的基础。首先需要保证3个同步，硬件同步，时间同步，空间同步，即使用同一种硬件同时发布触发采集命令，实现各传感器采集、测量的时间同步，做到同一时刻采集相同的信息。再将各传感器获得的原始数据直接送至中央处理器进行融合处理，可以实现实时融合，该方法实时性最高，在自动驾驶方面具有很大优势。

如图2所示，对多元传感器采集的原始数据进行融合处理，形成综合视图具体可以包括如下步骤：

步骤s201，在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物。

在本实施例中，不同传感器的数据融合要解决的问题，是把不同的传感器的数据标定到同一个坐标系里，包括相机的内参标定，雷达到相机的外参标定。内参是决定传感器内部的映射关系，比如摄像头的焦距，偏心和像素横纵比（+畸变系数），而外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数（旋转、平移、六自由度）。对于视频传感器和激光雷达传感器所采集数据的融合，先通过算法，在不同传感器的投影图像内，寻找其中具有明显边缘的物体和标志物，进行边缘的轮廓对齐。

步骤s202，对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合。

步骤s203，将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。

在本实施例中，通过激光雷达作为桥梁，将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合，再与相机进行融合。

在本实施例中，所述视频传感器所采集的数据为rgb图像的像素阵列，所述激光雷达传感器所采集的数据为3-d点云距离信息，所述毫米波雷达传感器所采集的数据为2-d反射图。

由以上实施例可知，本发明提供的一种自动驾驶3d建模方法，通过获取自动驾驶车辆上的传感器采集的数据，对多元传感器采集的数据进行融合处理，形成综合视图，通过采用“前组合”创建精确的3d环境模型，摒弃了传统首先单独处理每个传感器的数据，然后将这些数据组合为一个综合视图的方法，能够保留更多的原始信息，在此基础上可以便于构建与真实环境高度契合的3d模型。

此外，本发明还通过提取综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，并判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据帧间相互关联的动态数据构建3d环境模型，本发明利用“帧间检测”技术，处理整体数据不仅仅考虑单独每帧的数据处理，而且要考虑每帧数据之间的联系，这样可以提取出更多更准确的相互关联的动态数据，进一步利于创建精确的3d环境模型。

请参阅图3，本发明还提供一种自动驾驶3d建模装置，所述装置包括：

获取单元301，用于获取自动驾驶车辆上的传感器采集的数据，所述传感器包括：激光雷达传感器、视频传感器，以及毫米波雷达传感器。

融合单元302，用于对多元传感器采集的数据进行融合处理，形成综合视图。

提取单元303，用于提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数。

消除单元304，用于对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定。

判断单元305，用于判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内。

确定单元306，用于在存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内的情况下，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据。

构建单元307，用于根据所述帧间相互关联的动态数据构建3d环境模型。

在本实施例中，所述装置还包括：发送单元，用于在获取单元自动驾驶车辆上的传感器采集的原始数据之前，同时向所述激光雷达传感器、视频传感器以及毫米波雷达传感器发送数据采集指令，以使所述激光雷达传感器、视频传感器以及毫米波雷达传感器在同一时刻采集同一检测目标的数据，实现数据的同步采集。

请参阅图4，在本实施例中，所述融合单元302具体还可以包括：

识别子单元401，用于在视频传感器和激光雷达传感器所采集的数据中，识别出具有边缘的物体和标志物。

对齐子单元402，用于对所述物体和标志物进行边缘轮廓对齐，去除奇异值和冗余，实现视频传感器和激光雷达传感器所采集数据的融合。

投影子单元403，用于将毫米波雷达传感器采集的数据，投影到激光雷达传感器所采集数据中的激光雷达坐标系中，实现毫米波雷达传感器和激光雷达传感器所采集数据的融合，进而实现激光雷达传感器、毫米波雷达传感器以及视频传感器所采集数据的融合，形成综合视图。

在本实施例中，所述视频传感器所采集的数据为rgb图像的像素阵列，所述激光雷达传感器所采集的数据为3-d点云距离信息，所述毫米波雷达传感器所采集的数据为2-d反射图。

请参阅图5，本发明还提供一种自动驾驶3d建模系统，所述系统包括：传感器和处理器。

所述传感器，用于采集自动驾驶车辆行驶环境中的数据，其中，所述传感器包括激光雷达传感器2、视频传感器1，以及毫米波雷达传感器3。

所述处理器4，用于获取自动驾驶车辆上的传感器采集的数据，对多元传感器采集的数据进行融合处理，形成综合视图，提取所述综合视图中不同传感器获取的多个相邻帧中，同一个检测目标的帧间目标参数，对比分析不同传感器获取的所述帧间目标参数，采用阶梯阈值法消除不同传感器中数据的奇异值和冗余，实现所述帧间目标参数的精准判定，判断是否存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，如果存在连续数个相邻帧中的同一检测目标的帧间目标参数在预设阈值内，确定所述连续数个相邻帧中同一检测目标的帧间目标参数为帧间相互关联的动态数据，根据所述帧间相互关联的动态数据构建3d环境模型。

本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的自动驾驶3d建模方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-onlymemory，简称：rom）或随机存储记忆体（英文：randomaccessmemory，简称：ram）等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于自动驾驶3d建模装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。