适用于地库环境下的车辆环视相机自标定方法和装置与流程

本发明涉及智能驾驶应用的，尤其是涉及一种适用于地库环境下的车辆环视相机自标定方法和装置。

背景技术：

1、在智能驾驶导航及高精度地图等相关领域，相机能够提供车辆周围环境较为丰富的感知信息，加上成本低廉，已经成为服务高等级智能驾驶的标配传感器，按照其在车身的分布位置有前视、环视、周视，分别用于感知车身周围不同距离和方位的动静态场景要素。其中环视相机由于能够提供车身近距离范围360度的视场，特别适合低速场景下车辆对近距离全景感知的应用需求，是自动泊车细分市场高阶apa/avp技术解决方案的核心传感器。

2、由于相机自身的成像特点，不具备激光雷达的距离属性，为了有效融合环视相机前后左右各个摄像头的感知信息，需要提前标定各个相机相对车体位姿关系，将2d相机视角下的感知信息统一到bev俯瞰视角，建立全景感知俯瞰视角下的带距离属性的bev图像，从而更好的服务于智驾车辆建图、定位和路径规划等智驾高阶应用。

3、环视相机各个摄像头的轨迹则是通过视觉里程计推算，单目视觉里程计效果与场景纹理的丰富程度有关，而地库环境下纹理分布不均匀、重复纹理以及光照环境变化的特点对传统基于特征点的单目视觉里程计的精度及可靠性影响较大，加上单目视觉里程计自身的尺度漂移和地面车辆近平面运动对外参估计能观性的影响，这些都给地库环境下环视相机到车身基于轨迹的外参标定带来困难。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种适用于地库环境下的车辆环视相机自标定方法和装置，充分考虑地库环境下的曼哈顿场景的几何约束，缓解了地库环境下环视相机到车身基于轨迹的外参标定较为困难的技术问题。

2、第一方面，实施例提供一种适用于地库环境下的车辆环视相机自标定方法，所述方法包括：

3、通过当前车辆的轮速来约束eskf滤波模型框架下的惯性导航方程，确定所述当前车辆的导航状态值；其中，所述导航状态值建立在当前车辆的重力方向的先验信息基础上；

4、将所述当前车辆的重力方向的先验信息，关联相机结构线要素中的垂直线要素，确定当前场景的垂直主方向；其中，所述相机结构线要素为从所述当前车辆采集的当前帧图像中提取的特征；将所述当前场景的垂直主方向以及所述相机结构线要素在水平主方向上投影进行聚类，确定当前场景的水平主方向；

5、基于所述惯性导航方程、所述当前场景的垂直主方向和水平主方向对相机姿态的约束关系，对所述当前车辆的相机姿态进行自标定。

6、在可选的实施方式中，通过当前车辆的轮速来约束eskf滤波模型框架下的惯性导航方程，确定所述当前车辆的导航状态值的步骤，包括：

7、在所述当前车辆对应的eskf滤波模型框架下的惯性导航方程上，增加轮速对应的比例系数；

8、根据所述轮速的比例系数作为约束条件，确定所述当前车辆的误差状态测量方程；

9、基于所述误差状态测量方程，确定所述当前车辆的导航状态值。

10、在可选的实施方式中，将所述当前车辆的重力方向的先验信息，关联相机结构线要素中的垂直线要素，确定当前场景的垂直主方向的步骤，包括：

11、从所述当前车辆的采集图像中提取出当前场景中的线要素；

12、基于所述当前车辆的重力方向与所述线要素在预设时刻相机高斯椭球投影平面的法向量的夹角，确定所述当前场景中的垂直主方向约束的垂直线要素；

13、根据所述垂直线要素构建约束方程，得到优化后的所述当前场景在垂直主方向上的重力分量。

14、在可选的实施方式中，将所述当前场景的垂直主方向以及所述相机结构线要素在水平主方向上的投影进行聚类，确定当前场景的水平主方向的步骤，包括：

15、将垂直主方向和水平主方向进行参数化，确定所述水平主方向的参数方程；

16、根据所述相机结构线要素于所述水平主方向的线特征在高斯球的投影面对应的法向量，确定水平主方向在数值上的分布范围；

17、基于所述水平主方向与坐标轴的几何约束关系，聚类出所述当前场景在水平主方向上的概略值。

18、在可选的实施方式中，基于所述惯性导航方程、所述当前场景的垂直主方向和水平主方向对相机姿态的约束关系，对所述当前车辆的相机姿态进行自标定的步骤，包括：

19、根据所述当前场景的垂直主方向和水平主方向，建立当前帧感知的线要素到对应灭点的距离的姿态代价函数，对所述当前车辆的单相机姿态进行优化。

20、在可选的实施方式中，基于所述惯性导航方程、所述当前场景的垂直主方向和水平主方向对相机姿态的约束关系，对所述当前车辆的相机姿态进行自标定的步骤，还包括：

21、基于所述垂直主方向与所述重力方向的关联以及相邻两时刻车体相对姿态估计建立代价函数，对所述当前车辆的多相机姿态进行优化。

22、在可选的实施方式中，通过当前车辆的轮速来约束eskf滤波模型框架下的惯性导航方程，确定所述当前车辆的导航状态值的步骤之前，所述方法还包括：

23、所述当前车辆的车辆状态进行静态初始化。

24、第二方面，实施例提供一种适用于地库环境下的车辆环视相机自标定装置，所述装置包括：

25、确定模块，通过当前车辆的轮速来约束eskf滤波模型框架下的惯性导航方程，确定所述当前车辆的导航状态值；其中，所述导航状态值建立在当前车辆的重力方向的先验信息基础上；

26、第一估计模块，将所述当前车辆的重力方向的先验信息，关联相机结构线要素中的垂直线要素，确定当前场景的垂直主方向；其中，所述相机结构线要素为从所述当前车辆采集的当前帧图像中提取的特征；

27、第二估计模块，将所述当前场景的垂直主方向以及所述相机结构线要素在水平主方向上投影进行聚类，确定当前场景的水平主方向；

28、优化模块，基于所述惯性导航方程、所述当前场景的垂直主方向和水平主方向对相机姿态的约束关系，对所述当前车辆的相机姿态进行自标定。

29、第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

30、第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。

31、本发明实施例提供的一种适用于地库环境下的车辆环视相机自标定方法和装置，通过imu辅助轮速构建了带轮速尺度修正的增强里程计提升车体自身的轨迹精度，同时通过跟踪惯性设备中的重力方向，快速关联到地库曼哈顿几何场景感知到的垂直线，并进一步基于该先验约束快速关联场景的水平主方向，避免了传统对曼哈顿几何框架主方向估计时对场景的几何约束较为严格、ransac的搜索遍历和mean-shift聚类对计算资源消耗较高难以实时解算的缺点，保障了地库场景下相机姿态估计的可靠性和实时性。

32、本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

33、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。