一种模拟汽车全景视觉进行场景感知的方法、装置与流程

本发明涉及汽车自动驾驶技术研发的领域，具体涉及一种模拟汽车全景视觉进行场景感知的方法、装置。

背景技术：

1、随着自动驾驶技术的迅猛发展，汽车全景视觉感知在提供360度环境感知方面变得日益关键。这一技术通过提供详细的车辆周围环境视图，对确保自动驾驶汽车的安全行驶至关重要。然而，传统的视角映射方法在变化多端的道路和环境条件下面临精度和效率的双重挑战。

2、传统的汽车视角映射方法包括双目视觉、结构光和激光雷达等，这些方法基于几何原理，需要额外的硬件设备，成本较高。这些技术的出现虽然在一定程度上提升了全景视觉感知的性能，但也带来了一系列问题，如设备成本昂贵、复杂的硬件结构和对环境变化适应性不足等。

3、因此，开发一种模拟汽车全景视觉的方法很有必要，可以在研发阶段模拟汽车全景视觉，减少成本，并更好地适应复杂多变的道路和环境条件。

技术实现思路

1、针对上述问题，本发明提供了一种模拟汽车全景视觉进行场景感知的方法、装置，可以模拟汽车全景视觉进行场景感知，可以模拟复杂多变的道路和环境条件，有助于在在自动驾驶技术研发中降低开发成本。

2、其技术方案是这样的：一种模拟汽车全景视觉进行场景感知的方法，包括以下步骤：

3、步骤1：在车辆的前后左右分别安装摄像头，所述摄像头能够覆盖车辆周围360度视野；

4、步骤2：在摄像头的视野内设置投影屏幕，并且设置电气控制系统与数据处理装置控制摄像头进行采集数据并将数据进行处理；

5、步骤3：通过投影屏幕播放仿真视频，仿真视频模拟车辆周围的各种环境，通过摄像头采集图像；

6、步骤4：在投影屏幕上播放标定图像，通过摄像头采集图像，标定摄像头的内参数；对采集的仿真视频的图像数据进行畸变校正；

7、步骤5：通过训练好的神经网络模型在真实图像和虚拟场景图像中提取特征点，计算真实图像特征点和虚拟场景特征点的特征描述子，使用特征描述子进行匹配，得到匹配的特征点对，使用匹配的特征点，建立真实的图像与虚拟场景之间的映射关系，将摄像头采集的图像映射到虚拟场景中；

8、步骤6：在虚拟场景中进行场景感知。

9、进一步的，在步骤1中，所述摄像头至少设置有四组，所述摄像头具有不低于800万像素的分辨率和不低于120度视场角，采集图像帧频不低于36fps。

10、进一步的，在步骤2中，在设置投影屏幕时，确保摄像头的视野和摆放位置能够覆盖投影屏幕的整个投影图像且保持位置固定不动。

11、进一步的，在步骤4中，所述标定图像采用正方形点阵图，正方形点阵图通过模拟棋盘格标定的不同位姿生成，点阵在不同标定图像之间以及每个标定图像中都表现出异变，所述异变包括点阵大小、形状、以及相邻点之间的距离。

12、进一步的，在步骤4中，标定摄像头的内参数，具体如下执行：

13、提取相机拍摄的正方形点阵图中的点阵角点的像素坐标，通过像素坐标和三维世界坐标对应关系求出单应矩阵，进而得出相机的内参矩阵、镜头畸变参数、外参矩阵，最后通过最优化方法得到最优参数，像素坐标系和世界坐标系之间的关系如下：

14、

15、式中fx＝f/dx，fy＝f/dy，f为镜头焦距，

16、r、t为摄像机坐标系和世界坐标系之间的旋转矩阵和平移向量，zc是沿着z轴摄像机坐标系中的点到摄像机光学中心的距离，u，v代表图像坐标系中的点坐标，以像素为单位，fx，fy分别是相机内参矩阵中的焦距参数，分别表示x方向和y方向上的焦距，以像素为单位，u0，v0是相机内参矩阵中的主点坐标，xw，yw，zw是世界坐标系中的点坐标，表示一个三维空间中的点。

17、进一步的，在步骤4中，在对采集的仿真视频的图像数据进行畸变校正时，通过图像畸变模型进行矫正，所述图像畸变模型包括径向畸变和切向畸变，所述畸变模型如下所示：

18、

19、式中ρ为坐标到原点的距离，k1，k2为径向畸变系数，p1，p2为切向畸变系数，(x，y)为理想状态下的坐标，(x′，y′)为带有畸变的坐标。

20、进一步的，在步骤4中，畸变系数具体如下计算：

21、从测量图像中随机选择n个点阵；

22、使用选择的点阵来估计畸变系数；

23、计算选择的点阵在图像中的重投影坐标；

24、计算选择的点阵的重投影误差；

25、如果重投影误差小于阈值，则保留选择的点阵；

26、重复前序畸变系数的步骤，直到得到预设数量的点阵；

27、得到预设数量的点阵后，使用ransac算法来估计畸变系数。

28、进一步的，在步骤5，采用的所述神经网络模型包括：

29、encoder单元，用于降低图像尺寸提取特征，所述encoder单元基于vgg-style的encoder构建，所述encoder单元包括卷积层、max-pooling层和非线性激活层；

30、特征点提取单元，所述特征点提取单元将所述encoder单元的输出作为输入，通过卷积层对输入特征进行处理，再通过softmax以及reshape操作，输出包含特征点的特征图；

31、特征描述子提取单元，所述特征描述子提取单元将所述encoder单元的输出作为输入，按照通道进行归一化后根据特征点的位置通过双线性插值得到特征描述子；

32、所述神经网络模型建立了关于特征点与特征描述子的损失函数，公式如下：

33、

34、其中为特征点相关的损失，为特征描述子相关的损失，其中y、分别为图像上通过网络提取的特征点、特征描述子和特征点的真值；

35、特征点相关损失定义为一个交叉熵损失，表示为：

36、

37、其中

38、

39、其中hc＝h/8，wc＝w/8；h和w分别为图像高度和宽度，yhw为真值，即8×8的方格中像素为特征点，xhw是一个长度为65的特征描述子，向量的每一个数值代表相应的像素上特征点的响应值；

40、特征描述子相关损失定义为一个合页损失，表示为：

41、

42、其中，是一个关于参数dhw与d′h′w′的函数，其计算结果是一个标量，具体是一个评估度量；dhw是h和w的索引下，表示在第h行和w行的一个位置，dhw用来表示某数据模型中的一个空间位置；d′h′w′表示第h′行与第w′列的另一个位置；

43、ld(d，d′；s)＝λd*s*max(0，mp-dtd′)+(1-s)*max(0，dtd′-mn)

44、其中，λd是一个正则化权重，用于控制损失项的权重；d与d′是向量，表示特征或与位置；s为一个标志，当s＝1，表示相似，s＝0，表示d与d′是不相似的；mp为用于相似样本的正阈值，是期望的相似度；mn为用于不相似样本的负阈值，是期望的不相似度；shwh′w′为判断是通过单应矩阵关联判断否为同一个特征点的指示函数：

45、

46、其中，是与样本(h，w)相关联的特征向量，ph′w′是样本(h′，w′)相关联的特征向量；p为8x8的方格的中心点，故阈值为8；当和ph′w′距离小于8个像素时认为匹配成功，否则匹配失败；当匹配成功时，当相似度dtd′大于正样本阈值mp，时会进行惩罚；当匹配失败时，当相似度dtd′小于负样本阈值mp，时会进行惩罚；

47、所述神经网络模型能够提取输入图像的特征点，采用无监督的方式训练所述神经网络模型，获得训练好的神经网络模型。

48、进一步的，在步骤6中，所述使用深度学习方法在虚拟场景中进行场景感知，包括：距离测量、物体检测、物体识别、运动跟踪、姿态估计、场景理解。

49、进一步的，还包括以下步骤7：

50、基于步骤6中建立的虚拟场景感知，对仿真视频中道路两侧图像中的物体检测，在同步显示摄像头拍摄内容的屏幕上显示测量结果和/或将测量结果以文字、图形或视频的方式显示在虚拟场景中。

51、一种计算机装置，其包括：包括处理器、存储器以及程序；

52、所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的一种模拟汽车全景视觉进行场景感知的方法。

53、一种计算机可读存储介质，所述计算机可读存储介质用于存储程序，所述程序用于执行上述的一种模拟汽车全景视觉进行场景感知的方法。

54、本发明具有以下优点：

55、1.相较于传统测试方式，本发明能够模拟汽车全景视在以各种复杂交通状况的工作，在无需实际驾驶场景的情况下，可以让摄像头进行图像采集进行场景感知，更贴近真实道路场景，有助于全面测试自动驾驶系统的能力，提高了测试的全面性和准确性。

56、2.采用本发明进行测试比实地测试成本更低，传统测试需要投入大量时间和资源进行实地道路测试，而该方法通过虚拟仿真可以在较短时间内生成大量复杂场景，降低了测试的经济成本。

57、3.采用本发明的技术方案，还实现了对于车辆的摄像头进行视觉感知测试，确保摄像头准确识别周围环境；相较于其他测试手段，该方法通过投影图像视角映射，提供更真实、更准确的测试环境，增强了对摄像头功能的可靠评估。

58、4.采用本发明的技术方案，自动驾驶系统在生产阶段能够迅速经受对摄像头的多项测试，从物体检测到识别和跟踪等多个方面，提高了生产效率。与传统逐一测试相比，该方法通过自动化测试流程，可以加速整个生产流程。

59、5.采用本发明的技术方案，提供了仿真环境，降低了在实际道路测试中可能出现的意外风险。在确保测试全面性的同时，减少了对实际交通环境的依赖，提高了安全性。