一种校准车载拍摄设备的方法和装置与流程

本发明涉及自动驾驶，尤其涉及一种校准车载拍摄设备的方法和装置。

背景技术：

1、在车辆的自动驾驶中，通常利用设置于车辆多个设定位置的车载拍摄设备拍摄车辆周围不同角度的多个环境图片，通过多个环境图片分析车辆周围环境物体的运动数据(例如距离、运动状态等)，以辅助该车辆自动驾驶；然而在车辆行驶过程中由于车辆震动等多种原因，使得车载拍摄设备的拍摄位置出现偏移导致设备参数偏差，因此通常需要按照一定的时间间隔对车载拍摄设备的参数进行校准。

2、现有的针对车载拍摄设备(参数)的校准(标定)方法主要包括针对每一个车辆在车间执行校准方法，或者在车辆行驶过程中，利用通过雷达获取的数据结合车载拍摄设备拍摄的图像对车载拍摄设备的部分参数进行标定；现有的方法存在对车载拍摄设备校准的通用性较差、成本较高以及自动化程度较差的问题。

技术实现思路

1、有鉴于此，本发明提供一种校准车载拍摄设备的方法和装置，能够利用训练好的预设转换模型结合车辆中每一个车载拍摄设备的参数以及对应的所述参考图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量；基于预测参数偏移量校准各个车载拍摄设备，以利用各个校准后的车载拍摄设备辅助车辆自动驾驶；本发明的实施例提高了校准车载拍摄设备的通用性和灵活性，提高了较准车载拍摄设备的准确性和智能化程度。

2、为了解决上述技术问题，本发明提供以下技术方案：

3、第一方面，本发明提供一种校准车载拍摄设备的方法，包括：获取车辆包含的每一个车载拍摄设备所拍摄的参考图像，并提取所述参考图像的二维图像特征；利用预设转换模型结合每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量；基于所述预测参数偏移量校准各个所述车载拍摄设备，以利用各个校准后的车载拍摄设备执行拍摄并辅助所述车辆自动驾驶。

4、可选地，所述预设转换模型包括多层感知机模型；所述利用预设转换模型结合每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量，包括：将所述每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征输入所述多层感知机模型，利用所述多层感知机模型包含的指示多个隐藏层对应的多维度统计特征之间的预设计算关系、所述二维图像特征计算出对应的预测参数偏移量。

5、可选地，所述基于所述预测参数偏移量校准各个所述车载拍摄设备，包括：获取所述车载拍摄设备的多个原始参数，结合多个所述原始参数、以及所述预测参数偏移量，调整所述车载拍摄设备当前标定参数，以校准所述车载拍摄设备。

6、可选地，所述提取所述参考图像的二维图像特征，包括：从所述参考图像中提取与车辆自动驾驶语义匹配的语义特征作为所述参考图像的二维图像特征。

7、可选地，所述校准车载拍摄设备的方法，还包括：获取车辆包含的每一个车载拍摄设备所拍摄的训练用图像；并对待训练的预设转换模型执行以下迭代训练步骤，直到确定所述预测参数偏移量满足迭代停止条件，以得到训练好的预设转换模型：提取所述训练用图像的二维图像特征；结合每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述训练用图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量；利用预设损失函数评估所述预测参数偏移量是否满足迭代停止条件。

8、可选地，所述待训练的预设转换模型还包括预设网络模型和视角转换模型；所述利用预设损失函数评估所述预测参数偏移量是否满足迭代停止条件，包括：所述预设转换模型包括多层感知机模型；将所述每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征输入所述多层感知机模型，利用所述多层感知机模型包含的一个或多个隐藏层对应的预设计算关系、所述二维图像特征计算出对应的预测参数偏移量；以及，利用预设网络模型结合所述训练用图像的所述二维图像特征以及针对训练用图像的预测参数偏移量，输出所述二维图像特征对应的像素深度数据和所述像素深度数据与所述预测参数偏移量之间的对应关系，其中，所述针对训练用图像的预测参数偏移量是由所述预设转换模型包括的多层感知机模型基于每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述训练用图像的二维图像特征确定出的；根据所述对应关系，利用所述预设转换模型包含的视角转换模型提取所述二维图像特征的俯视图特征；利用预设损失函数结合所述俯视图特征，评估所述预测参数偏移量。

9、可选地，所述利用预设损失函数结合所述俯视图特征，评估所述预测参数偏移量，包括：将所述俯视图特征作为所述三维图像特征在二维坐标的投影，利用预设损失函数计算所述俯视图特征与所述二维图像特征之间的重合误差，利用所述重合误差评估所述预测参数偏移量；并根据评估结果调整每一个所述预设转换模型包含的一个或多个模型参数。

10、第二方面，本发明提供一种校准车载拍摄设备的装置，包括：提取特征模块、确定偏移量模块和校准模块；

11、所述提取特征模块，用于获取车辆包含的每一个车载拍摄设备所拍摄的参考图像，并提取所述参考图像的二维图像特征；

12、所述确定偏移量模块，用于利用预设转换模型结合每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量；

13、所述校准模块，用于基于所述预测参数偏移量校准各个所述车载拍摄设备，以利用各个校准后的车载拍摄设备执行拍摄并辅助所述车辆自动驾驶。

14、可选地，所述校准车载拍摄设备的装置包括的所述预设转换模型包括多层感知机模型；所述利用预设转换模型结合每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量，包括：将所述每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征输入所述多层感知机模型，利用所述多层感知机模型包含的指示多个隐藏层对应的多维度统计特征之间的预设计算关系、所述二维图像特征计算出对应的预测参数偏移量。

15、可选地，所述校准车载拍摄设备的装置，用于基于所述预测参数偏移量校准各个所述车载拍摄设备，包括：获取所述车载拍摄设备的多个原始参数，结合多个所述原始参数、以及所述预测参数偏移量，调整所述车载拍摄设备当前标定参数，以校准所述车载拍摄设备。

16、可选地，所述校准车载拍摄设备的装置，用于提取所述参考图像的二维图像特征，包括：从所述参考图像中提取与车辆自动驾驶语义匹配的语义特征作为所述参考图像的二维图像特征。

17、可选地，所述校准车载拍摄设备的装置，还用于获取车辆包含的每一个车载拍摄设备所拍摄的训练用图像；并对待训练的预设转换模型执行以下迭代训练步骤，直到确定所述预测参数偏移量满足迭代停止条件，以得到训练好的预设转换模型：提取所述训练用图像的二维图像特征；结合每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述训练用图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量；利用预设损失函数评估所述预测参数偏移量是否满足迭代停止条件。

18、可选地，所述校准车载拍摄设备的装置包括的所述待训练的预设转换模型还包括预设网络模型和视角转换模型；所述利用预设损失函数评估所述预测参数偏移量是否满足迭代停止条件，包括：所述预设转换模型包括多层感知机模型；将所述每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述参考图像的二维图像特征输入所述多层感知机模型，利用所述多层感知机模型包含的一个或多个隐藏层对应的预设计算关系、所述二维图像特征计算出对应的预测参数偏移量；以及，利用预设网络模型结合所述训练用图像的所述二维图像特征以及针对训练用图像的预测参数偏移量，输出所述二维图像特征对应的像素深度数据和所述像素深度数据与所述预测参数偏移量之间的对应关系，其中，所述针对训练用图像的预测参数偏移量是由所述预设转换模型包括的多层感知机模型基于每一个车载拍摄设备对应的拍摄位置的位置参数以及对应的所述训练用图像的二维图像特征确定出的；根据所述对应关系，利用所述预设转换模型包含的视角转换模型提取所述二维图像特征的俯视图特征；利用预设损失函数结合所述俯视图特征，评估所述预测参数偏移量。

19、可选地，所述校准车载拍摄设备的装置，用于利用预设损失函数结合所述俯视图特征，评估所述预测参数偏移量，包括：将所述俯视图特征作为所述三维图像特征在二维坐标的投影，利用预设损失函数计算所述俯视图特征与所述二维图像特征之间的重合误差，利用所述重合误差评估所述预测参数偏移量；并根据评估结果调整每一个所述预设转换模型包含的一个或多个模型参数。

20、第三方面，本发明实施例提供一种的电子设备，包括：

21、一个或多个处理器；

22、存储装置，用于存储一个或多个程序，

23、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述本发明实施例的校准车载拍摄设备的方法。

24、第四方面，本发明实施例提供一种的计算机可读存储介质，其上存储有实现的计算机程序，所述计算机程序被处理器执行时实现本发明实施例的校准车载拍摄设备的方法。

25、上述发明的技术方案具有如下优点或有益效果：能够利用训练好的预设转换模型结合车辆中每一个车载拍摄设备的参数以及对应的所述参考图像的二维图像特征，输出针对每一个所述车载拍摄设备的预测参数偏移量；基于预测参数偏移量校准各个车载拍摄设备，以利用各个校准后的车载拍摄设备辅助车辆自动驾驶；本发明的实施例提高了校准车载拍摄设备的通用性和灵活性，提高了校准车载拍摄设备的准确性和智能化程度，克服了现有方法中对每一个车辆需要返回车间才能校准车载拍摄设备造成的灵活性较差成本较高的问题，并克服了现有方法中需要不同类型的传感器(摄像头和雷达)才能校准车载拍摄设备导致的硬件依赖、准确性和通用性较差的问题。