一种基于多传感器融合的相机自校准系统及方法与流程

本发明涉及一种基于多传感器融合的相机自校准系统及方法，属于计量测试。

背景技术：

1、随着深度学习和计算机视觉的高速发展，相机被大量的应用于机器人、人工智能、计算机视觉及工业自动化等多个领域并取得显著的效果。在使用的过程中，需要使用专业的方法对相机进行校准，以确保智能系统的安全可靠运行。

2、虽然相机与摄像头在出厂时使用传统相机校准方法进行过参数校准，具体方法是，在一定的相机模型下，基于特定的实验条件如形状、尺寸已知的定标参照物，经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。

3、但是在智能系统使用过程中，因为系统老化、振荡、磨损等因素，相机参数会发生变化，导致和出厂时的参数不同从而导致智能系统环境感知能力的下降。虽然现有的方法可以对相机进行校准，但是需要特定尺寸、形状的标定物，并且耗时耗力，所提出的基于多传感器融合的相机自校准系统及方法能够实现智能系统运行过程中相机模块的智能校准，具有便捷、高效的技术特点。

技术实现思路

1、本发明的主要目的是提供一种基于多传感器融合的相机自校准系统及方法，通过多传感器融合、模型训练、数据采集等技术的融合，形成便捷、实时、高效的相机智能校准方法。

2、本发明的目的是通过下述技术方案实现的。

3、本发明公开的一种基于多传感器融合的相机自校准系统，包括基于视觉感知的智能系统、数据采集模块、模型训练模块、获取校准参数模块。

4、将待校准的基于视觉感知的智能系统与物联网云平台连接，根据智能系统的运行计算机制构建云端服务器。所构建的云端服务器包括硬件资源和软件资源，用于实现计算、网络和存储能力。

5、数据采集模块用于实现同步获取基于智能系统的工作环境和任务需求，选取典型特征的观测目标，采集智能系统运行过程中自身状态的实时数据、感知目标图像及其自身状态的实时数据，并将所有数据构建成数据库，并存储在搭建的物联网云平台中，以用于模型训练模块训练模型。

6、模型训练模块包括智能状态识别子模块、目标识别子模块、特征匹配子模块。通过多传感器融合，采用深度学习与专家经验相结合的方式实现观测目标运动状态的智能识别，形成智能系统状态识别子模块和感知目标的智能识别子模块，所述智能识别子模块基于智能识别算法实现，基于感知目标图像数据库，采用目标识别算法进行训练并识别出感知目标对象。根据识别出的感知目标对象，特征匹配子模块通过特征匹配算法获取感知目标对象视觉特征点。智能状态识别子模块基于多传感器融合的智能状态识别算法，识别智能系统在平坦路面直线行驶且感知目标为静态的运行状态。所述多传感器包括imu、转向角传感器、gps、编码器。

7、获取校准参数模块选取智能系统在特定距离内相机拍摄的n张图像，同时提取感知目标对象的视觉特征点，在此基础上，结合重投影误差方法获取相机的内部参数和外部参数，从而获取到视觉感知的校准参数，从而获取到视觉感知的校准参数，基于所述校准参数实现相机自校准。

8、本发明的一种基于多传感器融合的相机自校准方法，用于所述一种基于多传感器融合的相机自校准系统。所述一种基于多传感器融合的相机自校准方法，包括如下步骤：

9、步骤1、选取观测目标，采集智能系统运行过程中自身状态的实时数据、感知目标自身及其自身状态的实时数据，并将所有数据构建成数据库，以备后续训练模型；所述智能系统自身状态的实时数据是通过imu、转向角传感器、gps、编码器采集到的；所述智能系统包括自动驾驶以及无人车辆；所述感知目标自身数据即图像数据。

10、步骤2、对步骤1采集到的智能系统运行过程中自身状态的实时数据进行融合；对融合结果进行判断，若当前处于平坦地面且是直线行驶状态，则进行步骤3，否则重新获取下一组数据。

11、步骤3、对步骤1采集到的图像进行目标识别处理，得到不同类的图像数据库；

12、步骤4、基于感知目标图像数据库，通过特征匹配算法获取感知目标对象视觉特征点，即获取真实视觉特征点位置。

13、步骤5、选取智能系统拍摄的静态目标的n张图像，根据相机的成像方程计算出每个图像中预期的特征点位置。

14、步骤6、采用深度学习与专家经验相结合的方式实现观测目标运动状态的智能识别，并形成相应的智能识别算法；若当前观测目标处于静态，则进行步骤7，否则重新获取下一个数据；

15、步骤7、选取上述所选图像感知目标对象的视觉特征点，即真实观测到的特征点，通过和预期的特征点位置进行对比，即得到重投影误差；

16、步骤8、将重投影误差最小化，获取相机的内、外参数，基于所述内、外参数实现相机自校准。所述相机的内部参数包括相机的焦距；相机的外部参数包括相机的位置坐标、旋转矩阵。

17、有益效果：

18、本发明公开的一种基于多传感器融合的相机自校准系统及方法，采用多传感器融合自校准的方式，实现相机的自校准过程，相对比拆卸相机再校准或者在空间特意安装校准工具和图像的方式，解决因为系统老化、振荡、磨损等导致相机参数不断变化的问题，进而实时、高效、便捷的提高视觉感知的能力。

技术特征：

1.一种基于多传感器融合的相机自校准系统，其特征在于：包括基于视觉感知的智能系统、数据采集模块、模型训练模块、获取校准参数模块；

2.一种基于多传感器融合的相机自校准方法，用于如权利要求1所述的一种基于多传感器融合的相机自校准系统，其特征在于：包括如下步骤，

技术总结
本发明公开的一种基于多传感器融合的相机自校准系统及方法，属于计量测试技术领域。本发明包括基于视觉感知的智能系统、数据采集模块、模型训练模块、获取校准参数模块。本发明根据智能系统的运行计算机制搭建云端服务器，获取运行过程中智能系统自身状态的实时数据、感知目标图像数据、感知目标自身状态实时数据信息形成数据库，上传到云端服务器，采用深度学习与专家经验相结合的方式实现智能系统自身和观测目标运动状态的智能识别。基于图像数据库训练得到目标识别和特征匹配算法模型，通过物联网云平台将算法模型下传到智能系统，在此基础上，结合重投影误差方法获取相机内部参数和外部参数，基于所述内部参数和外部参数实现相机自校准。

技术研发人员：崔佳慧,姜延欢,张昱,吴娅辉,梁志国
受保护的技术使用者：中国航空工业集团公司北京长城计量测试技术研究所
技术研发日：
技术公布日：2024/1/13