一种基于单目视觉辅助惯性定位方法与流程

1.本发明涉及导航定位技术领域，更具体地说，它涉及一种基于单目视觉辅助惯性定位方法。


背景技术：

2.随着人工智能和感知技术的快速发展，新一代智能载体，如无人机、无人机和移动机器人广泛应用于战场侦察、精确打击、物流配送等领域。智能载体自主导航的本质是在没有人为干预的情况下安全到达指定目的地，其中导航和定位是一个关键问题。基于牛顿力学的惯性导航技术，使用加速度计和陀螺仪感测载体的运动加速度和角速度，并通过航位推算计算载体的导航参数。它具有高自主性、高隐蔽性和短期高精度的特点。然而，误差将逐渐发散，工作时间越长误差越大。相比之下，视觉导航使用单目或双目摄像机获取周围环境信息，并通过图像处理技术和定位算法提取位置信息以完成导航任务，具有误差不随时间累积的优点。然而，纯视觉导航算法有不可避免的固有缺点：它依赖于场景的纹理特征，易受照明条件的影响，并且难以处理快速旋转运动。将惯性系统与视觉系统相结合，一方面，视觉系统可以校正惯性系统的累积误差；另一方面，惯性系统可以弥补视觉系统实时性能的不足。因此，视觉、惯性组合导航技术逐渐发展成为自主导航领域的研究热点。
3.目前，基于模型的视觉、惯性组合导航主要有两种方案：一种是利用滤波技术融合惯性和视觉信息；另一种使用非线性迭代优化技术融合惯性和视觉信息。基于模型的视觉、惯性组合导航技术要求输入数据具有高信噪比。算法的整体性能不仅取决于算法的基本原理，还取决于参数的合理性和准确性。因此，研究人员开发了一系列基于深度学习的视觉、惯性组合导航技术，使用深度学习神经网络代替传统算法中的单个模块是一个更直接的想法。无论是基于滤波、优化还是深度学习，视觉、惯性组合算法都对成本和计算能力提出了更高的要求。


技术实现要素：

4.针对现有技术存在的不足，本发明的目的在于提供一种基于单目视觉辅助惯性定位方法，解决以下技术问题：现有的惯性、视觉组合定位方案成本高、算力消耗大。
5.本发明的目的可以通过以下技术方案实现：一种基于单目视觉辅助惯性定位方法，包括如下步骤：步骤一：定义当地地理坐标系为导航系，记为n系，其x、y、z轴分别指向朝东、北以及沿着重力反方向朝天；定义惯性系统坐标系为本体系，记作b系，其x、y、z轴构成右手坐标系；步骤二：记参考图像1和参考图像2分别为单目视觉系统在t1和t2时刻获得的两帧图像，首先提取sift特征进行图像配准，同时采用ransac算法来减小误匹配率；步骤三：通过对极几何来计算参考图像1和参考图像2之间的运动关系；步骤四：通过三角测量来计算深度信息，即参考图像1和参考图像2上的点到相机
的距离；步骤五：通过canny算子来提取参考图像2中标志物的边缘，并计算标志物的质心像素坐标；步骤六：计算t2时刻惯性系统的姿态和位置；步骤七：通过惯性系统在t2时刻的姿态以及单目相机与惯性系统的安装关系计算相机在t2时刻的姿态；步骤八：通过相机在t2时刻的姿态、参考图像2中标志物的质心像素坐标对应的深度信息和标志物的质心世界坐标，计算相机在t2时刻的世界坐标；步骤九：将计算得到的相机在t2时刻的世界坐标为参考，通过单目相机和惯性系统的安装关系，计算惯性系统在t2时刻的世界坐标；步骤十：将步骤九中计算得到惯性系统的世界坐标当作校正值，校正惯性系统解算对应时刻的位置；步骤十一：后续位置更新以步骤十的位置为基准，后续校正步骤重复步骤二-步骤十。
6.根据本发明进一步的方案，所述步骤三中的运动关系为旋转矩阵和平移向量。
7.根据本发明进一步的方案，所述惯性系统坐标由三轴mems陀螺仪，三轴mems加速度计和三轴磁力计构成；其中，三轴mems陀螺仪、三轴mems加速度计和三轴磁力计各轴指向相同。
8.与现有方案相比，本发明的有益效果：发明中单目视觉系统获取标志物的世界坐标，来用于校正惯性系统的定位误差，提高了定位精度，惯性系统和视觉系统不需要实时集成计算，因此成本和计算能力非常低，非常有利于算法的嵌入式加速以及推广应用，有效降低了组合定位成本和算力需求，同时在一定程度上保证了定位精度。
附图说明
9.图1为本发明一种基于单目视觉辅助惯性定位方法的流程图。
具体实施方式
10.下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
11.参照图1所示，本发明为一种基于单目视觉辅助惯性定位方法，包括如下步骤：步骤一：定义当地地理坐标系为导航系，记为n系，其x、y、z轴分别指向朝东、北以及沿着重力反方向朝天；定义惯性系统坐标系为本体系，记作b系，其x、y、z轴构成右手坐标系；惯性系统坐标由三轴mems陀螺仪，三轴mems加速度计和三轴磁力计构成；三轴mems陀螺仪、三轴mems加速度计和三轴磁力计各轴指向相同；步骤二：记参考图像1和参考图像2分别为单目视觉系统在t1和t2时刻获得的两帧
图像，首先提取两幅图像的sift特征进行图像配准，同时采用ransac算法来减小误匹配率；其中，t1《 t2；步骤三：通过对极几何来计算参考图像1和参考图像2之间的运动关系，即旋转矩阵和平移向量；步骤四：通过三角测量来计算深度信息，即参考图像1和参考图像2上的点到相机成像平面的距离；步骤五：通过canny算子来提取参考图像2中标志物的边缘，并计算标志物的质心像素坐标；步骤六：计算t2时刻惯性系统的姿态和位置；步骤七：通过惯性系统在t2时刻的姿态以及单目相机与惯性系统的安装关系计算相机在t2时刻的姿态；步骤八：通过相机在t2时刻的姿态、参考图像2中标志物的质心像素坐标对应的深度信息和标志物的质心世界坐标，计算相机在t2时刻的世界坐标；步骤九：将计算得到的相机在t2时刻的世界坐标为参考，通过单目相机和惯性系统的安装关系，计算惯性系统在t2时刻的世界坐标；步骤十：将步骤九中计算得到惯性系统的世界坐标当作校正值，校正惯性系统解算对应时刻的位置；步骤十一：后续位置更新以步骤十的位置为基准，后续校正步骤重复步骤二-步骤十；间歇性的通过单目视觉系统的位置信息来间歇性的校正惯性系统的定位误差，进一步提高了定位精度。
12.具体的，步骤一中mems为micro-electro mechanical systems，即微机电系统。
13.具体的，步骤二中sift为scale invariant feature transform，即尺度不变特征转换；ransac为random sample consensus，即随机抽样一致。
14.本发明利用单目视觉系统获取标志物的世界坐标，来用于校正惯性系统的定位误差，提高了定位精度，同时惯性系统和视觉系统不需要实时集成计算，因此成本和计算能力非常低，非常有利于算法的嵌入式加速以及推广应用，有效降低了组合定位成本和算力需求。
15.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
16.以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。