一种基于人工智能的自动驾驶数据提取方法

本发明涉及自动驾驶数据提取，更具体地，涉及一种基于人工智能的自动驾驶数据提取方法。

背景技术：

1、近年来，随着自动驾驶的不断发展，感知数据的获取和处理变得至关重要。但数据质量不稳定、数据量大难处理、数据标注困难问题仍难以解决，利用人工智能算法高效提取自动驾驶感知数据通常将是解决上述问题的重要解决方案。

2、由于自动驾驶采集的数据包含激光雷达、摄像头、毫米波雷达采集的多模态数据，对采集的数据进行提取和融合是得到物体信息的必要途径。对不同的数据类型采集不同的ai算法进行提取，得到不同维度的物体信息，可以仿真出最还原真实的物体。使用ai算法进行自动驾驶感知数据进行提取具有高效率、低成本、高质量的优点。

3、目前比较流行且方便的自动驾驶数据的提取方法是利用深度学习和卷积神经网络完成的。卷积神经网络是一种逐层递进的结构，可以从输入的图像中学习到特征表达。卷积层通过卷积运算提取输入图像的特征，并保留空间结构信息；池化层通过降采样的方式减少数据维度和计算量，同时保留重要的特征信息；全连接层通过连接各个特征，将卷积层和池化层中学到的特征转化为最终的输出。常用的目标检测和分类算法包括rcnn、fast r-cnn、faster r-cnn、yolo、ssd等。这些算法使用cnn作为特征提取器，在特征图上执行目标检测和分类任务，并将处理后的数据保存为需要的格式，以供后续的分析和使用。处理后的数据通常保存为图片和标注信息的组合，标注信息包括目标类别、位置和大小等。

4、目前现有的实现方案有：

5、基于目标检测方法提取自动驾驶感知数据：由ross girshick等人提出了多种目标检测算法。通过车辆周围的传感器采集到物体检测所需的数据，例如相机采集到的图像数据，并对数据集进行标注，以识别出感兴趣的目标对象。然后，使用目标检测算法fasterr-cnn、yolo、ssd训练目标检测模型，以便自动识别和定位目标对象。最后，使用物体跟踪算法对检测结果进行跟踪和维护，使用卡尔曼滤波对物体位置和速度进行估计和预测，并将处理后的感知数据进行融合和输出。但其算法需要大量的标注数据来训练模型，但是标注数据的获取成本较高，而且标注数据的质量会影响模型的准确性。在遮挡严重或者场景复杂的情况下，目标检测算法容易出现漏检、误检等问题，导致自动驾驶系统的性能受到影响。同时，目标检测算法对于高分辨率的图像计算量较大，导致检测速度较慢，不利于实时应用。

6、基于3d感知方法提取自动驾驶感知数据：由ross girshick等人提出了多种3d感知算法。激光雷达扫描周围环境获取点云数据，使用icp、ndt、loam等算法进行点云匹配和slam建图，使用pointnet、voxelnet、second算法进行目标检测和语义分割。接下来使用跟踪算法，跟踪物体在不同时间步的位置和运动状态，以识别并预测物体的行为。最后对每个物体进行特征提取和分类，识别物体的类别和属性。但其基于点云分割和目标检测的算法在处理大规模、高密度的点云数据时，计算复杂度较高，需要消耗大量的计算资源，这会增加自动驾驶系统的成本。基于点云处理的算法对点云数据的表示方式较为敏感，对于点云中存在的噪声、缺失数据等情况，算法的性能可能会受到影响，从而导致目标检测和分割的准确性下降

7、基于行为识别方法提取自动驾驶感知数据：由ross girshick等人提出了多种行为识别算法。通过使用加速度计、陀螺仪、相机采集车辆周围的数据，使用深度学习算法对预处理后的数据进行特征提取，并通过监督学习算法对特征向量进行分类和识别，将训练好的行为识别算法应用到自动驾驶感知数据中，提取周围物体的行为信息，如车辆的转向、加速、减速等，行人的行走、奔跑、停留等，进而提取出车辆周围环境的动态信息。最终将处理后的感知数据进行融合和输出，以支持自动驾驶车辆的决策和行动。其需要大量的训练数据来训练模型，并且对数据的质量和多样性要求较高，这会增加自动驾驶系统的成本和复杂度。基于深度学习的行为识别算法容易受到数据噪声和干扰的影响，例如在恶劣的天气、光照条件下，算法的性能可能会下降。基于深度学习的行为识别算法通常需要进行实时计算，以便对车辆行为进行准确的识别和判断。这需要大量的计算资源和算法优化，以确保算法能够在有限的时间内完成识别任务，从而对自动驾驶系统的实时性提出了高要求。

技术实现思路

1、本发明提供一种基于人工智能的自动驾驶数据提取方法，提高自动驾驶感知数据的准确性、稳定性。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于人工智能的自动驾驶数据提取方法，包括以下步骤：

4、s1：通过激光雷达和毫米波雷达分别获取点云数据，通过摄像头获取图像数据，通过惯性测量单元获取姿态信息；

5、s2：使用voxelnet算法对激光雷达获取的点云数据进行处理，使用yolo算法对摄像头获取的图像数据进行处理；

6、s3：将步骤s2中voxelnet算法的输出与yolo算法的输出进行后融合，得到第一融合特征，得到存在目标的区域；

7、s4：在所述存在目标的区域，使用f-pointnet算法对毫米波雷达获取的点云数据进行锥体处理，得到目标的运动速度；

8、s5：将所述第一融合特征与所述目标的运动速度进行后融合，得到所需的物体信息。

9、优选地，步骤s2中使用voxelnet算法对激光雷达获取的点云数据进行处理，具体为：

10、s201：将激光雷达获取的点云数据分为多个立方体体素，点云数据中的每个点根据该点在三维空间中的坐标与体素大小来确定所属的立方体体素，确定每个立方体体素中包含的点云；

11、s202：将每个立方体体素内的点元信息编码为一个固定长度的向量；

12、s203：将所有立方体体素对应的向量输入到一个三维卷积神经网络中进行目标检测和定位。

13、优选地，步骤s201中点云数据中的每个点根据该点在三维空间中的坐标与体素大小来确定所属的立方体体素，具体为：

14、

15、式中，i、j、k表示该点所属的立方体体素的索引，表示向下取整运算符，(x,,)为该点的三维坐标，(l,,h)为立方体体素的大小。

16、优选地，步骤s202中将每个立方体体素内的点元信息编码为一个固定长度的向量，具体为：

17、

18、式中，fi为立方体体素内第i个点云信息，n为立方体体素内包含的点云数量，(xj，yj，zj)为立方体体素内第j个点云的三维坐标，为立方体体素的中心坐标。

19、优选地，步骤s203中三维卷积神经网络为faster r-cnn的两阶段目标检测框架，其中，第一阶段使用卷积神经网络提取特征，第二阶段使用rpn生成候选框，并使用fast r-cnn进行分类和定位。

20、优选地，步骤s2中使用yolo算法对摄像头获取的图像数据进行处理，具体为：

21、s211：将摄像头获取的图像数据分割成sxs个网格，每个网格预测b个边界框和c个类别的概率；

22、s212：采用单个神经网络将摄像头获取的图像数据输入一次进行处理，输出目标的类别、位置信息和置信度；

23、s213：对于每个网格，选择置信度最高的边界框作为该网格的预测结果；

24、s214：最终，通过非极大值抑制去除重复的边界框，将所有的边界框按照不同的类别标签分组，组内按分数高低进行排序，取得分最高的边界框先放入结果序列，接着，遍历剩余边界框，计算与当前得分最高的边界框的交并比，若大于预设的阈值则剔除，然后对剩余的边界框重复上述操作，直到处理完图像内所有的边界框，即可得到最后的框序列信息，得到最终的目标检测结果。

25、优选地，步骤s3中将步骤s2中voxelnet算法的输出与yolo算法的输出进行后融合，得到第一融合特征，具体为：

26、s31：进行数据标定，使用手动选择、自动检测的方法标记用于将不同模态的数据对齐的关键点，使用标记点的坐标利用最小二乘法和最大似然估计法计算转换矩阵，通过转换矩阵将不同模态的数据转换到同一坐标下；

27、s32：每个voxelnet算法检测出来的物体，找到与之对应匹配的yolo算法检测出的物体，通过计算欧氏距离来完成，所述欧氏距离计算两个物体中心点之间的距离，并选取距离最小的那个yolo算法检测结果作为匹配结果；

28、s33：通过匈牙利算法实现不同模态数据的融合，对于每个目标，检查它是否被激光雷达或摄像头检测到，如果只有其中之一检测到该目标，则根据其置信度确定是否要保留该目标；如果两个都检测到该目标，则将两个算法输出的匹配融合在一起，即将两个算法输出的位置和尺寸信息进行加权平均，以获得最终的检测结果。

29、优选地，步骤s32中计算欧氏距离，具体为：

30、

31、式中，d(x,y)为欧式距离，x1、x2、…、xn为一个物体中心点的三维坐标，y1、y2、…、yn为另一个物体中心点的三维坐标。

32、优选地，步骤s4中在所述存在目标的区域，使用f-pointnet算法对毫米波雷达获取的点云数据进行锥体处理，得到目标的运动速度，具体为：

33、通过图像处理技术提取目标区域，得到目标的前后两帧图像it和it+1中目标的坐标(xt,yt)和(xt+1,yt+1)；

34、计算目标在两帧图像中的像素位移向量(dx,dy)，即

35、dx＝xt+1-xt

36、dy＝yt+1-yt

37、根据光流法的基本假设，假设目标在两帧图像中的像素位移向量(dx,dy)与两帧图像中相邻像素的灰度值梯度向量(ix,iy)相等，即：

38、

39、对上式进行求解，得到目标的运动速度(vx,vy)：

40、

41、优选地，在步骤s3和s5中的后融合时，选定惯性测量单元的坐标系为中间坐标系，先将激光雷达获取的点云数据和摄像头获取的图像数据坐标转到惯性测量单元的坐标系进行融合，再将毫米波雷达的点云数据坐标也转到惯性测量单元的坐标系进行融合。

42、与现有技术相比，本发明技术方案的有益效果是：

43、本发明提出并运用一种基于voxelnet、yolo、f-pointnet算法提取自动驾驶感知数据提取方法，可以快速对不同设备采集的多模态数据进行处理和融合，在保证数据信息处理准确性的基础上又进一步提高了提取速率。同时本发明两次运用多模态融合技术，将voxelnet和yolo算法的输出结果进行后融合，可以提高物体检测和定位的准确性和鲁棒性，将融合结果与f-pointnet算法的输出结果进行二次融合，可以进一步提高物体检测和定位的精度，进一步提高自动驾驶感知数据提取的准确性和可靠性。