车载双目相机与GNSS/IMU的自动标定方法与流程

本发明涉及自动驾驶，尤其涉及一种车载双目相机与gnss/imu的自动标定方法。

背景技术：

1、近年来，融合双目相机与gnss（global navigation satellite system，全球导航卫星系统）/imu（inertial measuremeent unit，惯性测量单元）的定位技术已成为自动驾驶技术中的研究热点，其可以克服gnss在信号遮挡地区定位漂移、imu的累计误差以及相机在特征稀疏场景定位失效等单一传感器的弊端，从而构建一个轻量、低成本且鲁棒的定位系统。双目相机与gnss/imu之间的精确标定矩阵可以将不同传感器数据转换到统一坐标系，是实现融合定位的前提条件。

2、目前的常用标定方案分为：基于标定板等先验标志物的标定方法和基于自然特征的标定方法。基于标定板等先验标志物的标定方法需搭建专用标定场地，人工铺设特定标志物，并测量标志物在场景中的位置信息。经过图像识别标志物获取相机位姿，以构建包含相机与gnss/imu转换矩阵的约束方程，进行外参求解。该方法常需布置标定板，引入了额外的人工成本，且标定过程也依赖专业人士操作，降低了标定的自动化程度。基于自然特征的标定方法通过提取自然特征、特征关联、建立重投影约束方程等视觉定位技术获取相机位姿，并结合gnss/imu观测值进行外参标定，但基于自然特征的标定结果常因受到视觉定位技术累计漂移影响导致标定精度不足。此外，该类方法常需gnss/imu与双目视觉相机进行全方向运动，以便对六自由度的标定转换矩阵产生良好约束，然而现实场景中的车辆往往在二维平面上行驶，难以提供符合要求的运动模式，这进一步限制了该标定方法在车辆上面的应用。

3、因此，如何提供一种无需标志物且精度高的标定方法成为本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明提供了一种车载双目相机与gnss/imu的自动标定方法，解决相关技术中存在的标定需要标志物且标定精度低的问题。

2、作为本发明的一个方面，提供一种车载双目相机与gnss/imu的自动标定方法，其中，包括：

3、确定gnss/imu到双目相机的初始转换矩阵；

4、当gnss/imu和双目相机所在车辆沿第一方向行驶时，获取gnss/imu的第一测量值，并根据所述gnss/imu的第一测量值和所述初始转换矩阵确定双目相机位姿；

5、根据所述双目相机位姿构建第一方向稀疏特征地图；

6、当gnss/imu和双目相机所在车辆沿第二方向行驶时，获取gnss/imu的第二测量值，并根据所述第一方向稀疏特征地图获取双目相机全局位姿，其中所述第二方向与所述第一方向互为反方向；

7、根据所述双目相机全局位姿和所述第二测量值构建运动约束以优化所述初始转换矩阵直至所述初始转换矩阵收敛，获得标定转换矩阵。

8、进一步地，确定gnss/imu到双目相机的初始转换矩阵，包括：

9、当gnss/imu和双目相机所在车辆行驶时，分别获取双目相机的双目初始图像和gnss/imu的初始测量值；

10、确定每帧双目初始图像的位姿，以获得双目初始图像位姿数据；

11、对所述双目初始图像位姿数据和所述gnss/imu的初始测量值进行时间同步，并构建相对运动约束以确定gnss/imu到双目相机的初始转换矩阵。

12、进一步地，对所述双目初始图像位姿数据和所述gnss/imu的初始测量值进行时间同步，并构建相对运动约束以确定gnss/imu到双目相机的初始转换矩阵，包括：

13、根据四元数插值对所述双目初始图像位姿数据和所述gnss/imu的初始测量进行时间同步，其中，所述四元数插值的公式为：

14、，

15、其中，表示旋转的单位四元数；表示根据所述双目初始图像位姿数据时间戳进行时间同步后的旋转四元数，由、两时刻的gnss/imu的初始测量值、插值获得； 表示插值因子，且；

16、满足

17、，gnss/imu的初始测量值的平移部分根据普通线性插值进行同步；

18、根据相对运动约束求解所述gnss/imu到双目相机的初始转换矩阵，其中，相对运动约束的公式为：

19、，

20、其中，表示待求解的所述gnss/imu到双目相机的初始转换矩阵；表示到时刻gnss/imu的相对运动变换；表示到时刻相机的相对运动变换；

21、根据列文伯格-马夸尔特非线性求解方法对优化函数进行求解，获得所述gnss/imu到双目相机的初始转换矩阵，其中所述优化函数的公式为：

22、。

23、进一步地，根据所述双目相机位姿构建第一方向稀疏特征地图，包括：

24、根据三角化技术获得特征点深度信息；

25、根据特征点深度信息构建第一方向稀疏特征地图。

26、进一步地，根据三角化技术获得特征点深度信息，包括：

27、当gnss/imu和双目相机所在车辆沿第一方向行驶时，获取双目相机的双目第一图像；

28、选取双目第一图像中的目标像素点，并确定该目标像素点的像素灰度值；

29、以该目标像素点为圆心，选取预设半径所形成的圆上的像素点；

30、若圆上有连续n个像素点的灰度值大于第一预设阈值，或者小于第二预设阈值，则该目标像素点被确认为特征点，其中n为大于1的自然数；

31、遍历双目第一图像中的所有目标像素点，以筛选获得特征点；

32、对筛选出的所有特征点进行进行非极大值抑制，以获得关联特征点；

33、对所述关联特征点进行三角化，以获得特征点深度信息。

34、进一步地，根据特征点深度信息构建第一方向稀疏特征地图，包括：

35、根据特征点深度信息与相机内参矩阵确定相机坐标系下特征点三维坐标；

36、根据所述双目相机位姿将所述相机坐标系下特征点三维坐标转换至世界坐标系下，以获得特征点对应的地图点坐标。

37、进一步地，根据所述双目相机位姿将所述相机坐标系下特征点三维坐标转换至世界坐标系下，以获得特征点对应的地图点坐标，包括：

38、根据所述gnss/imu的第一测量值以及所述gnss/imu到双目相机的初始转换矩阵将所述相机坐标系下特征点三维坐标转换至世界坐标系下，以获得特征点对应的地图点坐标，其中，转换公式为：

39、，

40、其中，表示特征点对应的地图点坐标，表示所述gnss/imu的第一测量值，表示所述gnss/imu到双目相机的初始转换矩阵的逆，p表示特征点三维坐标。

41、进一步地，根据所述第一方向稀疏特征地图获取双目相机全局位姿，包括：

42、当gnss/imu和双目相机所在车辆沿第二方向行驶时，获取双目相机的双目第二图像；

43、提取双目第二图像中的特征点，并计算双目第二图像的特征点对应的描述子；

44、根据汉明距离进行所述第一方向稀疏特征地图的地图点与所述描述子的3d-2d关联；

45、根据所述3d-2d关联的结果找到所述第一方向稀疏特征地图和所述双目第二图像的特征点关联数最多的地图帧；

46、根据所述地图帧以及重定位算法对当前双目相机进行重定位，确定双目相机全局位姿。

47、进一步地，根据所述双目相机全局位姿和所述第二实时传感器数据构建运动约束以优化所述初始转换矩阵直至所述初始转换矩阵收敛，获得标定转换矩阵，包括：

48、根据所述双目相机全局位姿构建运动约束，所述运动约束包括绝对运动约束和相对运动约束；

49、根据所述运动约束对所述初始化转换矩阵进行优化，以获得标定转换矩阵。

50、进一步地，根据所述运动约束对所述初始化转换矩阵进行优化，包括：

51、根据所述运动约束对所述初始化转换矩阵进行优化，获得优化标定结果；

52、判断所述优化标定结果是否收敛；

53、若所述优化标定结果不收敛，则根据所述优化标定结果重复构建第一方向稀疏特征地图、重复根据所述第一方向稀疏特征地图获取双目相机全局位姿以及重复获得优化标定结果的步骤；

54、若所述优化标定结果收敛，则将所述优化标定结果确定为标定转换矩阵。

55、本发明提供的车载双目相机与gnss/imu的自动标定方法，通过确定gnss/imu到双目相机的初始转换矩阵，进而在第一方向行驶时确定第一方向稀疏特征地图，在第二方向行驶时通过优化收敛确定标定转换矩阵。这种车载双目相机与gnss/imu的自动标定方法无需利用标志物，避免了手动布置、测量标志导致的额外人工费用。同时，不同于现有基于自然特征的标定方法，本发明方法对车辆运动形式无严苛要求。另外，本发明实施例由于采用互为反方向的行驶结合的方式能够有效消除误差，提升标定精度，且由于标定优化环节基于已有地图估算相机位姿，因此标定精度不受视觉里程计漂移影响。