一种变基线双目视觉惯性里程计及其方法与流程

本发明涉及计量领域，尤其涉及一种变基线双目视觉惯性里程计及其方法。

背景技术：

基于视觉的同时定位与地图构建(slam)逐渐应用于无人驾驶汽车、无人机、扫地机器人等机器人领域，同时应用于增强现实和虚拟现实。能够在未知的环境中对物体进行定位和构建三维环境地图。

然而在计算机视觉领域，单纯的采用相机进行初始化存在尺度问题，同时在运行过程中容易出现尺度漂移、定位精度低等问题。现如今双目相机两个摄像头之间的基线是固定的，相机根据两个摄像头的图像信息，采用三角法计算出环境中物体的位置。但是固定基线的双目相机只能对固定尺度的环境具有较高精度，无法适应不同尺度的环境。惯性测量单元imu测量精度高，能够有效地测量出物体的位姿。通过多传感器融合已经成为一个发展的趋势，然而现如今在应用中缺乏将变基线的双目相机和惯性测量单元imu有效融合的视觉惯性里程计。

为此，现提出一种变基线双目视觉惯性里程计，将变基线的双目相机和惯性测量单元imu有效融合在一起。能够根据不同尺度场景观测目标点自动调整两个摄像头之间的基线，使测量距离精度达到最高，同时融合内部惯性测量单元imu的数据，控制板根据左摄像头两帧之间的时间对惯性测量单元imu的数据进行降采样，输出两个摄像头和惯性测量单元imu融合的数据集，提高定位精度和鲁棒性。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种变基线双目视觉惯性里程计，将变基线的双目相机和惯性测量单元imu有效融合在一起。能够根据不同尺度场景自动调整两个摄像头之间的基线，使测量距离精度达到最高，同时融合内部惯性测量单元imu的数据，提高定位精度和鲁棒性。

为实现上述目的，本发明采用的技术方案为：

一种变基线双目视觉惯性里程计，包括壳体、支撑板、控制板、开关，其中：

所述壳体为一个内部为空腔的长方体，壳体的前面板上开设有长条形的左窗口和右窗口，左窗口和右窗口中分别放置有左摄像头和右摄像头，且左摄像头安装在左基座上，左基座安装在左齿条上，右摄像头安装在右基座上，右基座安装在右齿条上；左齿条啮合有第四齿轮和第六齿轮，右齿条啮合有第三齿轮和第五齿轮；

所述支撑板安装于壳体内，其上安装有驱动电机和配重块；驱动电机上安装有编码器和第一齿轮，配重块上安装有第二齿轮，第一齿轮与第二齿轮啮合；第一齿轮与第三齿轮啮合，第二齿轮与第四齿轮啮合；

所述控制板安装于壳体内，其上安装有惯性测量单元imu、stm32处理器；控制板分别与左摄像头、右摄像头、惯性测量单元imu、smt32处理器通过线路连接；smt32处理器通过线路与驱动电机及编码器连接；

所述开关安装在壳体上，漏出于壳体外，并通过线路与控制板相连。

所述惯性测量单元imu、stm32处理器、控制板自身关于所述变基线双目视觉惯性里程的对称面对称。。

所述驱动电机和配重块重量相等；所述第一齿轮和第二齿轮大小相等，第三齿轮和第四齿轮大小相等，第五齿轮和第六齿轮大小相等。

所述支撑板上安装有第一支柱、第二支柱、第三支柱、第四支柱，第三齿轮安装在第一支柱上，第四齿轮安装在第二支柱上，第五齿轮安装在第三支柱上，第六齿轮安装在第四支柱上。

所述支撑板安装有第一卡柱、第二卡柱、第三卡柱、第四卡柱，且第一卡柱、第二卡柱与左齿条滑动式配合，且左齿条能够相对于第一卡柱、第二卡柱左右移动，第三卡柱、第四卡柱与右齿条滑动式配合，且右齿条能够相对于第三卡柱、第四卡柱左右移动。

所述支撑板上安装有左卷线轴、右卷线轴，左基座后方的线经左卷线轴连接到控制板上，右基座后方的线经右卷线轴连接到控制板上。

所述控制板通过多个安装柱安装在壳体的后面板内壁上。

所述支撑板上边缘安装有橡胶垫，橡胶垫与壳体的上面板配合，用于固定支撑板。

该变基线双目视觉惯性里程计整体关于其对称面对称，对称面处的转矩为零。

所述左摄像头、右摄像头焦距、内参相同，且通过可拆卸的方式分别安装在左基座和右基座上。

一种基于上述变基线双目视觉惯性里程计的方法，所述左摄像头、右摄像头之间的基线为tx，观测目标点pi坐标为pi＝(xi,yi,zi)，视差d＝xl-xr，xl为pi在左摄像头投影点到投影平面中心的水平距离，xr为pi在右摄像头投影点到投影平面中心的水平距离；左摄像头、右摄像头的焦距均为f，摄像头图像中心坐标为(uc,vc)，观测目标点pi在左摄像头图像坐标为(ul,vl)，观测目标点pi世界坐标计算为

观测目标点集p＝{p1,p2....pn}，

tm＝f(zm)，其中f为摄像头观测距离精准函数，通过计算tm的值控制驱动电机进行反馈调节tx，达到自动变基线的效果；

惯性测量单元imu的数据ut传输至控制板，控制板根据左摄像头图像两帧之间的时间t0对ut进行降采样获得惯性测量单元imu的数据u’t，控制板输出数据集a＝{clt,crt,u’t}，clt为左摄像头采集数据，crt为右摄像头采集数据。

有益效果：本发明提供的一种变基线的双目视觉惯性里程计，将变基线的双目相机和惯性测量单元imu有效融合在一起。能够根据不同尺度场景观测目标点自动调整两个摄像头之间的基线，使测量距离精度达到最高，同时融合内部惯性测量单元imu的数据，控制板根据左摄像头两帧之间的时间对惯性测量单元imu的数据进行降采样，输出两个摄像头和惯性测量单元imu融合的数据集，提高定位精度和鲁棒性。该发明可应用于无人驾驶汽车、无人驾驶汽车、无人机、扫地机器人等机器人领域，同时应用于增强现实和虚拟现实。能够在未知的环境中对物体进行定位和构建三维环境地图。

附图说明

图1为本发明的变基线双目视觉惯性里程计外形示意图；

图2为本发明的传动结构示意图；

图3为本发明的电机、支柱安装示意图；

图4为本发明的惯性测量单元imu、stm32、控制板安装示意图；

图5为本发明的支撑柱安装示意图；

图6为本发明的开关安装示意图；

图7为本发明的控制示意图；

图8为本发明的目标点定位示意图。

图中：1-前面板，2-上面板，3-壳体，4-左摄像头，5-右摄像头，6-左基座，7-右基座，8-惯性测量单元imu，9-stm32处理器，10-驱动电机，11-配重块，12-第一齿轮，13-第二齿轮，14-第三齿轮，15-第四齿轮，16-左齿条，17-右齿条，18-第五齿轮，19-第六齿轮，20-第一支柱，21-第二支柱，22，第三支柱，23-第四支柱，24-第一卡柱，25-第二卡柱，26-第三卡柱，27-第四卡柱，28-左卷线轴，29-右卷线轴，30-支撑板，31-控制板，32-第一安装柱，33-第二安装柱，34-第三安装柱，35-第四安装柱，36-开关，37-橡胶垫，38-编码器，39-左窗口，40-右窗口。

具体实施方式

下面结合附图对本发明作更进一步的说明。

如图1-7，一种变基线双目视觉惯性里程计，包括壳体3、支撑板30、控制板31、开关36，其中：

壳体3为一个内部为空腔的长方体，其包括前面板1、上面板2，壳体3的前面板1上开设有长条形的左窗口39和右窗口40，左窗口39和右窗口40中分别放置有左摄像头4和右摄像头5，且左摄像头4安装在左基座6上，左基座6安装在左齿条16上，右摄像头5安装在右基座7上，右基座7安装在右齿条17上；左齿条16啮合有第四齿轮15和第六齿轮19，右齿条17啮合有第三齿轮14和第五齿轮18；

支撑板30安装于壳体3内，其上安装有驱动电机10和配重块11；驱动电机10上安装有编码器38和第一齿轮12，配重块11上安装有第二齿轮13，第一齿轮12与第二齿轮13啮合；第一齿轮12与第三齿轮14啮合，第二齿轮13与第四齿轮15啮合；驱动电机10和配重块11重量相等；第一齿轮12和第二齿轮13大小相等，第三齿轮14和第四齿轮15大小相等，第五齿轮18和第六齿轮19大小相等。驱动电机10的动力经第一齿轮12、第三齿轮14传输至右齿条17，带动右摄像头5左右运动，驱动电机的10动力经第一齿轮12、第二齿轮13、第四齿轮15传输至左齿条16，带动左摄像头4左右运动，左摄像头4和右摄像头5永远关于变基线双目视觉惯性里程的对称面对称；

控制板31安装于壳体3内，其上安装有惯性测量单元imu8、stm32处理器9；惯性测量单元imu8、stm32处理器9、控制板31自身关于变基线双目视觉惯性里程的对称面对称，其目的是为了消除转矩的，从而使得测量数据精度高。控制板31分别与左摄像头4、右摄像头5、惯性测量单元imu8、smt32处理器9通过线路连接；smt32处理器9通过线路与驱动电机10连接；开关36安装在壳体3上，漏出于壳体3外，并通过线路与控制板31相连；左摄像头4、右摄像头5、惯性测量单元imu8的数据传输至控制板31上，驱动电机10由控制板上31的smt32处理器9控制；当开关36开启时，左摄像头4、右摄像头5能够运动，当开关36关闭时，左摄像头4、右摄像头5恢复到初始状态，此时基线最小并停止运动。

支撑板30上安装有第一支柱32、第二支柱33、第三支柱34、第四支柱35，第三齿轮14安装在第一支柱20上，第四齿轮15安装在第二支柱21上，第五齿轮18安装在第三支柱22上，第六齿轮19安装在第四支柱23上。

支撑板30安装有第一卡柱24、第二卡柱25、第三卡柱26、第四卡柱27，且第一卡柱24、第二卡柱25与左齿条16滑动式配合，且左齿条16能够相对于第一卡柱24、第二卡柱25左右移动，第三卡柱26、第四卡柱27与右齿条17滑动式配合，且右齿条17能够相对于第三卡柱26、第四卡柱27左右移动。如图3所示，第一卡柱24、第二卡柱25、第三卡柱26、第四卡柱27规格相同，其端部开口，左齿条16和右齿条17位于该开口内，与之配合，且能够左右移动。

支撑板30上安装有左卷线轴28、右卷线轴29，左基座6后方的线经左卷线轴28连接到控制板31上，右基座7后方的线经右卷线轴29连接到控制板31上。

控制板31通过第一安装柱32、第二安装柱33、第三安装柱34、-第四安装柱35安装在壳体3的后面板内壁上，四个安装柱分别位于控制板31的四个角；支撑板30上边缘安装有橡胶垫37，橡胶垫37与壳体3的上面板2配合，用于固定支撑板30。

该变基线双目视觉惯性里程计整体关于对其称面对称，对称面处的转矩为零。其目的是为了消除转矩的，从而使得测量数据精度高。

左摄像头4、右摄像头5焦距、内参相同，且通过可拆卸的方式分别安装在左基座6和右基座7上，能够根据环境状况进行更换。

如图8，左摄像头4、右摄像头5之间的基线为tx，观测目标点pi坐标为pi＝(xi,yi,zi)，视差d＝xl-xr，xl为pi在左摄像头投影点到投影平面中心的水平距离，xr为pi在右摄像头投影点到投影平面中心的水平距离；左摄像头4、右摄像头5的焦距均为f，摄像头图像中心坐标为(uc,vc)，观测目标点pi在左摄像头图像坐标为(ul,vl)，观测目标点pi世界坐标计算为

观测目标点集p＝{p1,p2....pn}，

tm＝f(zm)，其中f为摄像头观测距离精准函数，通过计算tm的值控制驱动电机10进行反馈调节tx，达到自动变基线的效果；

惯性测量单元imu8的数据ut传输至控制板31，控制板31根据左摄像头4图像两帧之间的时间t0对ut进行降采样获得惯性测量单元imu8的数据u’t，控制板31输出数据集a＝{clt,crt,u’t}，clt为左摄像头采集数据，crt为右摄像头采集数据。

以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。