自主移动平台、外参优化方法、装置及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种自主移动平台、外参优化方法、装置及存储介质。


背景技术：

2.随着人工智能技术的爆发，各种可自动行驶的自主移动平台的研发与落地也得到了广泛的关注。定位技术作为这类自主移动平台的核心技术，其相关的学术研究与实践落地也得到了广泛的研究与挖掘。
3.近年来，基于视觉的室内定位技术取得了较大的进展。视觉定位技术由于其采用的相机传感器价格相对低廉，采集的数据信息量大可以较为鲁棒的完成感知、重定位等工作需求的原因，迅速得到学术界和产业界的广泛研究与运用。但是基于纯视觉的定位方案也由于视觉定位天然的会受到光照变化、运动模糊、遮挡等不可抗拒因素的影响，暂时还无法达到激光定位方案的工作鲁棒性，所以基于视觉的传感器融合定位技术就应时而生。
4.基于视觉的多传感器融合定位算法一般需要提前通过离线标定的方式获得各传感器之间的外参关系，因此多传感器的离线外参标定是一个非常重要的环节，如何以最少的次数并且精准地标定出多个传感器之间的外参是值得研究的课题。


技术实现要素：

5.本发明实施例所要解决的技术问题为如何以最少的次数并且精准地标定出多个传感器之间的外参。
6.第一方面，本发明实施例提供了一种自主移动平台，所述自主移动平台包括相机、第一传感器、第二传感器、存储器和处理器；所述相机用于在所述自主移动平台行进过程中实时拍摄预先部署的标定板的多帧图像，所述标定板上具有标定图案；所述存储器存储有可执行程序代码；所述处理器用于调用并运行所述可执行程序代码来实现自主移动平台外参优化方法；所述自主移动平台外参优化方法包括：通过计算所述相机所拍摄的多帧图像以及所述第一传感器所获取的多个第一传感数据、所述第二传感器的多个第二传感数据，得到所述第一传感器与所述相机之间的第一外参，以及所述第二传感器与所述相机之间的第二外参；根据所述第一外参、多帧图像、多个第一传感器数据计算所述第一传感器相对于世界坐标系下所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第一位姿增量；根据所述第二外参、多帧图像、多个第二传感器数据，计算所述第二传感器相对于世界坐标系下所述相机拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第二位姿增量；基于所述多帧图像计算与多帧图像对应的多个位姿信息；以所述第一位姿增量、第二位姿增量为观测量，以所述第一外参、第二外参以及多个位姿信息作为优化变量，构建相机的视觉重投影误差、世界坐标系下所述多帧图像之间
的位姿增量和所述第一位姿增量之间的第一约束残差、世界坐标系下所述多帧图像之间位姿增量和所述第二位姿增量之间的第二约束残差，并根据所述视觉重投影误差、所述第一约束残差、所述第二约束残差建立最小二乘法问题以对所述第一外参和所述第二外参进行优化，得到优化后的第一外参和第二外参。
7.第二方面，本发明实施例还提供了一种自主移动平台外参优化装置，所述自主移动平台外参优化装置应用于自主移动平台中，所述自主移动平台包括相机、第一传感器、第二传感器，所述相机用于在所述自主移动平台行进过程中实时拍摄预先部署的标定板的图像，所述标定板上具有标定图案；所述自主移动平台外参优化装置包括：外参标定模块，通过计算所述相机所拍摄的多帧图像以及所述第一传感器所获取的多个第一传感数据、所述第二传感器的多个第二传感数据，得到所述第一传感器与所述相机之间的第一外参，以及所述第二传感器与所述相机之间的第二外参；第一位姿增量计算模块，根据所述第一外参、多帧图像、多个第一传感器数据计算所述第一传感器相对于世界坐标系下所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第一位姿增量；第二位姿增量计算模块，根据所述第二外参、多帧图像、多个第二传感器数据，计算所述第二传感器相对于世界坐标系下所述相机拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第二位姿增量；位姿信息计算模块，用于基于所述多帧图像计算与多帧图像对应的多个位姿信息；残差构建及优化模块，用于以所述第一位姿增量、第二位姿增量为观测量，以所述第一外参、第二外参以及多个位姿信息作为优化变量，构建相机的视觉重投影误差、世界坐标系下所述多帧图像之间的位姿增量和所述第一位姿增量之间的第一约束残差、世界坐标系下所述多帧图像之间位姿增量和所述第二位姿增量之间的第二约束残差，并根据所述视觉重投影误差、所述第一约束残差、所述第二约束残差建立最小二乘法问题以对所述第一外参和所述第二外参进行优化，得到优化后的第一外参和第二外参。
8.第三方面，本发明实施例还提供了一种自主移动平台外参优化方法，所述自主移动平台外参优化方法应用于自主移动平台中，所述自主移动平台包括相机、第一传感器、第二传感器，所述相机用于在所述自主移动平台行进过程中实时拍摄预先部署的标定板的图像，所述标定板上具有标定图案；所述自主移动平台外参优化方法包括：通过计算所述相机所拍摄的多帧图像以及所述第一传感器所获取的多个第一传感数据、所述第二传感器的多个第二传感数据，得到所述第一传感器与所述相机之间的第一外参，以及所述第二传感器与所述相机之间的第二外参；根据所述第一外参、多帧图像、多个第一传感器数据计算所述第一传感器相对于世界坐标系下所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第一位姿增量；根据所述第二外参、多帧图像、多个第二传感器数据，计算所述第二传感器相对于世界坐标系下所述相机拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第二位姿增量；基于所述多帧图像计算与多帧图像对应的多个位姿信息；以所述第一位姿增量、第二位姿增量为观测量，以所述第一外参、第二外参以及多
个位姿信息作为优化变量，构建相机的视觉重投影误差、世界坐标系下所述多帧图像之间的位姿增量和所述第一位姿增量之间的第一约束残差、世界坐标系下所述多帧图像之间位姿增量和所述第二位姿增量之间的第二约束残差，并根据所述视觉重投影误差、所述第一约束残差、所述第二约束残差建立最小二乘法问题以对所述第一外参和所述第二外参进行优化，得到优化后的第一外参和第二外参。
9.第四方面，本发明实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现第三方面所述的约束残差的构建方法。
10.本发明各实施例中，自主移动平台在预先部署好的标定场景中运行时同步录制相机所拍摄的标定板的图像、第一传感器的传感数据、第二传感器的传感数据，将录制的图像/数据导入相关的算法中进行标定运算，首先会进行初步标定得到第一传感器与相机之间的第一外参以及第二传感器与相机之间的第二外参，然后进一步计算得到第一传感器相对于所有图像帧中相邻图像帧的位姿变化并作为第一位姿增量，并进一步计算得到第二传感器相对于所有图像帧中相邻图像帧的位姿变化并作为第二位姿增量，然后根据上述计算得到的第一外参、第二外参以及多个位姿信息分别构建针对第一外参、第二外参、相机位姿的第一约束残差、第二约束参数和视觉重投影误差，以对第一外参、第二外参、相机位姿进行优化标定，这种优化标定方法可以将多传感器的外参一次性同步算出，并非传统的解耦解算，而是耦合到一起优化，在减少标定次数的同时还可以做到毫米级标定精度。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
12.图1为本发明第一实施例提供的自主移动平台的结构示意图；图2为本发明第二实施例提供的约束残差的构建方法的实现流程图；图3为本发明第三实施例提供的自主移动平台外参优化装置的模块结构图；图4为本发明第三实施例提供的残差构建及优化模块的结构图。
具体实施方式
13.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
14.参见图1，本发明第一实施例提供的自主移动平台的结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。该自主移动平台具有自动行进的能力，可以是机器人，例如酒店/餐厅等场所内的迎宾机器人，在酒店、物流园区等固定场所内运行的送货机器人、扫地机器人等，甚至是无人驾驶的汽车等，只要是有自动行进能力且需要对内置的各种传感器进行标定的自主移动平台均可适用。该自主移动平台可包括：存储器10、处理器20、相机30、第一传感器40、第二传感器50。存储器10中存储有可
执行程序代码，可以采用硬盘驱动存储器、非易失性存储器（例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等）、易失性存储器（例如静态或动态随机存取存储器等）等，本发明实施例不作限制。
15.相机30一般为离线的相机，主要功能为拍摄，用于在自主移动平台行进过程中实时拍摄预先部署的标定板的图像，该标定板上具有标定图案。
16.第一传感器40和第二传感器50可以是imu（inertial measurement unit，惯性传感器）、轮式里程计、毫米波雷达、激光雷达等等。
17.处理器20为自主移动平台的运算和控制核心，是信息处理、程序运行的最终执行单元，例如可以是cpu（central processing unit）、mcu（microcontroller unit）等具有数据处理能力的硬件单元。处理器20与存储器10耦合/连接，用于调用存储器10中存储的所述可执行程序代码，执行如下约束残差的构建方法，此方法主要用于一次性构建出相机30与第一传感器40之间的外参的约束残差，以及相机30与第二传感器50之间的外参的约束残差，该约束残差可以对对应的外参进一步优化标定。
18.参见图2，该自主移动平台的外参优化方法包括如下步骤：步骤s201，通过计算相机30所拍摄的多帧图像以及第一传感器40所获取的多个第一传感数据、第二传感器50所获取的多个第二传感数据，得到第一传感器40与相机30之间的第一外参，以及第二传感器50与相机30之间的第二外参。
19.本步骤要求自主移动平台在预先布置的标定场景中按指定方式行进，该标定场景具体可这样布置：搭建一个拱形坡面供自主移动平台行进，该拱形坡面具备一定的长度，例如坡面总长约10米，坡面附近布置有标定板，标定板上具有标定图案。
20.标定场景中之所以将自主移动平台的行进路线设计为具有一定坡度而不是平面，主要是为了能标定出一些传感器的6自由度外参，例如轮式里程计和相机30之间外参，如果不走拱形路线，只能标定3自由度外参，即x、y方向外参和旋转外参，无法标定平移的z方向外参，因此需要设计一个有坡度的路线来体现出自主移动平台在z坐标方向上的变化。
21.根据标定图案的不同，标定板一般可选用实心圆阵列图案的标定板、国际象棋盘格图案的标定板、以及二维码图案的apriltag标定板。
22.标定板的安装位置和朝向是可以动态调整的，主要是考虑到不同的自主移动平台上的相机的朝向不一样，例如有的相机为朝前设计，有的相机为朝后设计。一旦标定板固定后，需要保证标定板上的标定图案持续在相机30的视野内清晰可识别即可。
23.另外，标定板的数量也不限，一个标定板或多个标定板均可。当只设置一个标定板时，需要保证该标定板上的标定图案持续被相机30拍摄到，该标定图案在不同时刻的图像帧中表现出的角度不同，该角度可以反映出自主移动平台在每一个时刻所处的位置。而当设置有多个标定板时，由于不同的标定板具有不同的标识，相机30当前时刻所拍摄到的标定板也可以反映出自主移动平台在该时刻所处的位置。
24.场景布置好以后，自主移动平台按照引导轨迹通过整个标定场景，该轨迹的运动要求是：自主移动平台有充分的旋转运动，例如可以以“8”字形的方案来回穿越整个标定区，并且“8”字形轨迹必须涵盖上坡、下坡。此处，“充分的旋转运动”目的是改变自主移动平台的朝向，并且不能原地旋转，必须同时移动+旋转，旋转运动不充分将会严格干扰标定效果，而“8”字形就是一种典型的非常好的移动中带有旋转的运动方式。
25.具体需要自主移动平台按照上述方式在拱形坡面的标定区来回行进一遍即可。行进过程中，需要同步录制相机30拍摄的若干图像（图像中包含有标定板上标定图案）、第一传感器40的传感数据、第二传感器50的传感数据。
26.在标定区行进结束后，将录制的这些信息输入到算法模型里进行初步标定，得到所述第一传感器与所述相机之间的第一外参，以及所述第二传感器与所述相机之间的第二外参，具体可以采用开源的标定算法进行标定，如kalibr算法可以标定相机30和imu，从而得到imu和相机30之间的初步外参，旷视算法可以标定相机30和轮式里程计，从而得到轮式里程计和相机30之间的初步外参。然后再执行下述步骤s202
‑
s206中的构建约束残差、优化标定等过程，最终可以将第一传感器40、第二传感器50的外参一次性同步优化，从而降低系统残差。
27.步骤s202，根据第一外参、多帧图像、多个第一传感器数据，计算第一传感器40相对于世界坐标系下相机30拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第一位姿增量。
28.本步骤可采用slam（simultaneous localization and mapping，同步定位与建图）算法，以vins
‑
mono算法为例，原理是从相机30所拍摄的图像中提取特征点，利用光流追踪的方式建立各帧图像间特征点之间的关联关系，构建完关联关系之后，再利用关联关系构建“重投影残差”，第一传感器40（如imu）作积分预测自主移动平台的运动，并且构建“运动估计残差”，“运动估计残差”指的是传感器预测的自主移动平台运动位姿与需要优化求解自主移动平台运动位姿之间的残差，具体包括旋转残差和平移残差。这两个残差联合优化得到自主移动平台在各帧图像时刻下的运动位姿tbi。然后计算在图像紧邻两帧之间自主移动平台运动的相对位姿，作为第一传感器40（如imu）的第一运动位姿增量
∆
tbi。
29.步骤s203，根据第二外参、多帧图像、多个第二传感器数据，计算第二传感器50相对于世界坐标系下相机30拍摄的所有图像帧相邻图像帧的位姿变化，并将计算结果作为第二位姿增量。
30.与步骤s202类似，本步骤s203中同样可以采用slam算法来计算第二位姿增量。具体地，从相机30所拍摄的图像中提取特征点，利用光流追踪的方式建立各帧图像间特征点之间的关联关系，构建完关联关系之后，再利用关联关系构建“重投影残差”，第二传感器50（如轮式里程计）作积分预测自主移动平台的运动，并且构建“运动估计残差”。这两个残差联合优化得到自主移动平台在各帧图像时刻下的运动位姿toi。然后计算在图像紧邻两帧之间自主移动平台运动的相对位姿，作为第二传感器50（如轮式里程计）的第二运动位姿增量
∆
toi。
31.步骤s204，基于多帧图像计算与多帧图像对应的多个位姿信息。
32.可选地，利用多帧图像中标定图案上四个角点数据，可以通过pnp算法求出机器人在各个图像时刻下的位姿信息tci。
33.需要说明的是，步骤s202、步骤s203、步骤s204的执行顺序不限于图2中所示的顺序，也可以是其他的执行顺序，例如s203
‑
s202
‑
s204或s202
‑
s204
‑
s203或s204
‑
s202
‑
s203等，还可以是同时执行这三个步骤。
34.步骤s205，以第一位姿增量、第二位姿增量为观测量，以第一外参、第二外参以及多个位姿信息作为优化变量，构建相机的视觉重投影误差、世界坐标系下多帧图像之间的
位姿增量和第一位姿增量之间的第一约束残差、世界坐标系下多帧图像之间的位姿增量和第二位姿增量之间的第二约束残差，并根据视觉重投影误差、第一约束残差、第二约束残差建立最小二乘法问题以对第一外参和第二外参进行优化，得到优化后的第一外参和第二外参。
35.具体地，根据第一外参、第一位姿增量以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量，构建用于优化第一外参的第一约束残差。
36.根据第二外参、第二位姿增量以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量，构建用于优化所述第二外参的第二约束残差。
37.根据自主移动平台在相机30拍摄各时刻的初步位姿、相机30拍摄的标定图案的3d像素数据以及标定图案的角点数据，构建用于实时优化相机30位姿的视觉重投影误差。
38.第一约束残差、第二约束残差和视觉重投影误差这三个残差块构成了总残差，可以表示为：e_all=eb+eo+ec，其中，e_all表示总残差，eb表示第一约束残差，eo表示第二约束残差，ec表示视觉重投影误差。
39.具体到第一约束残差eb，还需要将第一外参tcb进行逆变换，得到第一外参逆矩阵(tcb)
‑1，然后再根据第一外参tcb、第一位姿增量
∆
tbi、第一外参逆矩阵(tcb)
‑1以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量
∆
tci，构建用于优化第一外参tcb的第一约束残差eb。具体地，可采用下述公式构建第一约束残差eb：eb=tcb*
∆
tbi *(tcb)
‑1‑∆
tci。
40.其中，
∆
tci= tci
‑
1 * (tci)
‑
1，具体可通过如下方法得到：提取相机30拍摄的标定图案，得到所有标定图案的角点数据，利用图像角点信息通过pnp算法求出自主移动平台在各个图像时刻下的初步位姿tci，然后计算相邻各帧图像时刻间的位姿
∆
tci，这里的i表示第i个时刻。
41.类似地，具体到第二约束残差eo，将第二外参tco进行逆变换，得到第二外参逆矩阵(tco)
‑1，然后再根据第二外参tco、第二位姿增量
∆
toi、第二外参逆矩阵(tco)
‑1以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量
∆
tci，构建用于优化第二外参tco的第二约束残差eo。具体地，可采用下述公式构建第二约束残差eo：eo=tco*
∆
toi *(tco)
‑1‑∆
tci。
42.具体到视觉重投影误差ec，首先提取相机30拍摄的所有标定图案的3d像素数据pw，再提取相30机拍摄的所有标定图案的4个角点数据，然后根据下述公式构建用于实时优化相机30位姿的视觉重投影误差：ec=tci*pw
‑
puv其中，ec表示视觉重投影误差，tci表示所述自主移动平台在所述相机拍摄各时刻的初步位姿，pw表示所述相机拍摄的标定图案的3d像素数据，puv表示所述相机拍摄的标定图案的4个角点数据。
43.上述三个残差都得到之后，可以构建非线性最小二乘问题；以图优化求解算法求解非线性最小二乘问题，将非线性最小二乘问题的最优解作为优化后的第一外参、第二外参和相机位姿，具体可以通过图优化理论，用levenberg
‑
marquardt算法或高斯牛顿法来进行优化，实现降低系统残差，优化过程不再赘述。
44.第一实施例中，自主移动平台在预先部署好的标定场景中运行时同步录制相机所
拍摄的标定板的图像、第一传感器的传感数据、第二传感器的传感数据，将录制的图像/数据导入相关的算法中进行标定运算，首先会进行初步标定得到第一传感器与相机之间的第一外参以及第二传感器与相机之间的第二外参之后，然后根据录制数据分别构建针对第一外参、第二外参、相机位姿的约束残差/视觉重投影误差，以对第一外参、第二外参、相机位姿进行优化标定，这种优化标定方法可以将多传感器的外参一次性同步算出，并非传统的解耦解算，而是耦合到一起优化，在减少标定次数的同时还可以做到毫米级标定精度。
45.图3为本发明第二实施例提供的自主移动平台外参优化装置的结构图。为了便于说明，仅示出了与本实施例相关的部分。该视觉定位装置可以以软件模块形式或硬件模块形式或软硬件结合的形式内置于自主移动平台中，该自主移动平台需要包括相机、第一传感器、第二传感器，所述相机用于在所述自主移动平台行进过程中实时拍摄预先部署的标定板的图像，所述标定板上具有标定图案。参见图3，所述自主移动平台外参优化装置包括：外参标定模块31，通过计算所述相机所拍摄的多帧图像以及所述第一传感器所获取的多个第一传感数据、所述第二传感器的多个第二传感数据，得到所述第一传感器与所述相机之间的第一外参，以及所述第二传感器与所述相机之间的第二外参；第一位姿增量计算模块32，根据所述第二外参、多帧图像、多个第二传感器数据，计算所述第二传感器相对于世界坐标系下所述相机拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第二位姿增量；第二位姿增量计算模块33，根据所述第二外参、多帧图像、多个第二传感器数据，计算所述第二传感器相对于世界坐标系下所述相机拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第二位姿增量；位姿信息计算模块34，用于基于所述多帧图像计算与多帧图像对应的多个位姿信息；残差构建及优化模块35，用于以所述第一位姿增量、第二位姿增量为观测量，以所述第一外参、第二外参以及多个位姿信息作为优化变量，构建相机的视觉重投影误差、世界坐标系下所述多帧图像之间的位姿增量和所述第一位姿增量之间的第一约束残差、世界坐标系下所述多帧图像之间位姿增量和所述第二位姿增量之间的第二约束残差，并根据所述视觉重投影误差、所述第一约束残差、所述第二约束残差建立最小二乘法问题以对所述第一外参和所述第二外参进行优化，得到优化后的第一外参和第二外参。
46.其中，自主移动平台所需要的标定场景以及在该标定场景中行进的方式如第一实施例所述。
47.外参标定模块31可以采用开源的标定算法进行标定，如kalibr算法可以标定相机30和imu，从而得到imu和相机30之间的初步外参，旷视算法可以标定相机30和轮式里程计，从而得到轮式里程计和相机30之间的初步外参。
48.第一位姿增量计算模块32，可采用slam（simultaneous localization and mapping，同步定位与建图）算法，以vins
‑
mono算法为例，原理是从相机30所拍摄的图像中提取特征点，利用光流追踪的方式建立各帧图像间特征点之间的关联关系，构建完关联关系之后，再利用关联关系构建“重投影残差”，第一传感器40（如imu）作积分预测自主移动平台的运动，并且构建“运动估计残差”，“运动估计残差”指的是传感器预测的自主移动平台运动位姿与需要优化求解自主移动平台运动位姿之间的残差，具体包括旋转残差和平移残
差。这两个残差联合优化得到自主移动平台在各帧图像时刻下的运动位姿tbi。然后计算在图像紧邻两帧之间自主移动平台运动的相对位姿，作为第一传感器40（如imu）的第一运动位姿增量
∆
tbi。
49.第二位姿增量计算模块33，同样可以采用slam算法来计算第二位姿增量。具体地，从相机30所拍摄的图像中提取特征点，利用光流追踪的方式建立各帧图像间特征点之间的关联关系，构建完关联关系之后，再利用关联关系构建“重投影残差”，第二传感器50（如轮式里程计）作积分预测自主移动平台的运动，并且构建“运动估计残差”。这两个残差联合优化得到自主移动平台在各帧图像时刻下的运动位姿toi。然后计算在图像紧邻两帧之间自主移动平台运动的相对位姿，作为第二传感器50（如轮式里程计）的第二运动位姿增量
∆
toi。
50.本实施例中，如图4所示，残差构建及优化模块35包括第一约束残差构建单元351、第二约束残差构建单元352、视觉重投影误差构建单元353以及优化单元354。
51.第一约束残差构建单元351用于根据所述第一外参、所述第一位姿增量以及所述自主移动平台在所述相机在各时刻拍摄的标定图案之间的位姿变化量，构建用于优化所述第一外参的第一约束残差。具体地，第一约束残差构建单元351需要将第一外参tcb进行逆变换，得到第一外参逆矩阵(tcb)
‑1，然后再根据第一外参tcb、第一位姿增量
∆
tbi、第一外参逆矩阵(tcb)
‑1以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量
∆
tci，构建用于优化第一外参tcb的第一约束残差eb。具体地，可采用下述公式构建第一约束残差eb：eb=tcb*
∆
tbi *(tcb)
‑1‑∆
tci。其中，
∆
tci= tci
‑
1 * (tci)
‑
1，具体可通过如下方法得到：提取相机30拍摄的标定图案，得到所有标定图案的角点数据，利用图像角点信息通过pnp算法求出自主移动平台在各个图像时刻下的初步位姿tci，然后计算相邻各帧图像时刻间的位姿
∆
tci，这里的i表示第i个时刻。
52.类似地，第二约束残差构建单元352用于根据所述第二外参、所述第二位姿增量以及所述自主移动平台在所述相机在各时刻拍摄的标定图案之间的位姿变化量，构建用于优化所述第二外参的第二约束残差。具体地，第二约束残差构建单元352将第二外参tco进行逆变换，得到第二外参逆矩阵(tco)
‑1，然后再根据第二外参tco、第二位姿增量
∆
toi、第二外参逆矩阵(tco)
‑1以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量
∆
tci，构建用于优化第二外参tco的第二约束残差eo。具体地，可采用下述公式构建第二约束残差eo：eo=tco*
∆
toi *(tco)
‑1‑∆
tci。
53.视觉重投影误差构建单元353用于根据所述自主移动平台在所述相机拍摄各时刻的初步位姿、所述相机拍摄的标定图案的3d像素数据以及标定图案的角点数据，构建用于实时优化所述相机位姿的视觉重投影误差。具体地，视觉重投影误差构建单元353先提取相机30拍摄的所有标定图案的3d像素数据pw，再提取相30机拍摄的所有标定图案的4个角点数据，然后根据下述公式构建用于实时优化相机30位姿的视觉重投影误差：ec=tci*pw
‑
puv其中，ec表示视觉重投影误差，tci表示所述自主移动平台在所述相机拍摄各时刻的初步位姿，pw表示所述相机拍摄的标定图案的3d像素数据，puv表示所述相机拍摄的标定图案的4个角点数据。
54.优化单元354用于在得到第一约束残差、第二约束残差和视觉重投影误差这三个
残差块之后，构建非线性最小二乘问题；以图优化求解算法求解非线性最小二乘问题，将非线性最小二乘问题的最优解作为优化后的第一外参、第二外参和相机位姿，具体可以通过图优化理论，用levenberg
‑
marquardt算法或高斯牛顿法来进行优化，实现降低系统残差，优化过程不再赘述。
55.第二实施例中，自主移动平台在预先部署好的标定场景中运行时同步录制相机所拍摄的标定板的图像、第一传感器的传感数据、第二传感器的传感数据，将录制的图像/数据导入相关的算法中进行标定运算，首先会进行初步标定得到第一传感器与相机之间的第一外参以及第二传感器与相机之间的第二外参之后，然后根据录制数据分别构建针对第一外参、第二外参、相机位姿的约束残差/视觉重投影误差，以对第一外参、第二外参、相机位姿进行优化标定，这种优化标定方法可以将多传感器的外参一次性同步算出，并非传统的解耦解算，而是耦合到一起优化，在减少标定次数的同时还可以做到毫米级标定精度。
56.本发明第三实施例提供了一种自主移动平台的外参优化方法，具体流程参见图2，该方法可应用于图1所示的自主移动平台，实现本方法所需要执行的程序可以以独立软件程序的形式被上传、下载、安装，也可以烧录到一些存储介质中。如图2所示，该自主移动平台的外参优化方法具体包括：步骤s201，通过计算相机所拍摄的多帧图像以及第一传感器所获取的多个第一传感数据、第二传感器所获取的多个第二传感数据，得到第一传感器与相机之间的第一外参，以及第二传感器与相机之间的第二外参。
57.该自主移动平台包括相机、第一传感器、第二传感器，相机用于在自主移动平台行进过程中实时拍摄预先部署的标定板的图像，标定板上具有标定图案。
58.其中，相机一般为离线的相机，主要功能为拍摄，用于在自主移动平台行进过程中实时拍摄预先部署的标定板的图像，该标定板上具有标定图案。
59.第一传感器和第二传感器可以是imu（inertial measurement unit，惯性传感器）、轮式里程计、毫米波雷达、激光雷达等等。
60.在第一实施例布置的标定区按要求行进结束后，将录制的这些信息输入到算法模型里进行初步标定，得到所述第一传感器与所述相机之间的第一外参，以及所述第二传感器与所述相机之间的第二外参，具体可以采用开源的标定算法进行标定，如kalibr算法可以标定相机和imu，从而得到imu和相机之间的初步外参，旷视算法可以标定相机和轮式里程计，从而得到轮式里程计和相机之间的初步外参。然后再执行下述步骤s202
‑
s206中的构建约束残差、优化标定等过程，最终可以将第一传感器、第二传感器的外参一次性同步优化，从而降低系统残差。
61.步骤s202，根据第一外参、多帧图像、多个第一传感器数据，计算第一传感器相对于世界坐标系下相机拍摄的所有图像帧中相邻图像帧的位姿变化，并将计算结果作为第一位姿增量。
62.本步骤可采用slam（simultaneous localization and mapping，同步定位与建图）算法，以vins
‑
mono算法为例，原理是从相机所拍摄的图像中提取特征点，利用光流追踪的方式建立各帧图像间特征点之间的关联关系，构建完关联关系之后，再利用关联关系构建“重投影残差”，第一传感器（如imu）作积分预测自主移动平台的运动，并且构建“运动估计残差”，“运动估计残差”指的是传感器预测的自主移动平台运动位姿与需要优化求解自
主移动平台运动位姿之间的残差，具体包括旋转残差和平移残差。这两个残差联合优化得到自主移动平台在各帧图像时刻下的运动位姿tbi。然后计算在图像紧邻两帧之间自主移动平台运动的相对位姿，作为第一传感器（如imu）的第一运动位姿增量
∆
tbi。
63.步骤s203，根据第二外参、多帧图像、多个第二传感器数据，计算第二传感器相对于世界坐标系下相机拍摄的所有图像帧相邻图像帧的位姿变化，并将计算结果作为第二位姿增量。
64.与步骤s202类似，本步骤s203中同样可以采用slam算法来计算第二位姿增量。具体地，从相机所拍摄的图像中提取特征点，利用光流追踪的方式建立各帧图像间特征点之间的关联关系，构建完关联关系之后，再利用关联关系构建“重投影残差”，第二传感器（如轮式里程计）作积分预测自主移动平台的运动，并且构建“运动估计残差”。这两个残差联合优化得到自主移动平台在各帧图像时刻下的运动位姿toi。然后计算在图像紧邻两帧之间自主移动平台运动的相对位姿，作为第二传感器（如轮式里程计）的第二运动位姿增量
∆
toi。
65.步骤s204，基于多帧图像计算与多帧图像对应的多个位姿信息。
66.步骤s205，以第一位姿增量、第二位姿增量为观测量，以第一外参、第二外参以及多个位姿信息作为优化变量，构建相机的视觉重投影误差、世界坐标系下多帧图像之间的位姿增量和第一位姿增量之间的第一约束残差、世界坐标系下多帧图像之间位姿增量和第二位姿增量之间的第二约束残差，并根据视觉重投影误差、第一约束残差、第二约束残差建立最小二乘法问题以对第一外参和第二外参进行优化，得到优化后的第一外参和第二外参。
67.具体地，根据第一外参、第一位姿增量以及自主移动平台在相机在各时刻拍摄的标定图案之间的位姿变化量，构建用于优化第一外参的第一约束残差。
68.根据第二外参、第二位姿增量以及自主移动平台在相机30在各时刻拍摄的标定图案之间的位姿变化量，构建用于优化所述第二外参的第二约束残差。
69.根据自主移动平台在相机30拍摄各时刻的初步位姿、相机30拍摄的标定图案的3d像素数据以及标定图案的角点数据，构建用于实时优化相机30位姿的视觉重投影误差。
70.第一约束残差、第二约束残差和视觉重投影误差这三个残差块构成了总残差，可以表示为：e_all=eb+eo+ec，其中，e_all表示总残差，eb表示第一约束残差，eo表示第二约束残差，ec表示视觉重投影误差。
71.具体到第一约束残差eb，还需要将第一外参tcb进行逆变换，得到第一外参逆矩阵(tcb)
‑1，然后再根据第一外参tcb、第一位姿增量
∆
tbi、第一外参逆矩阵(tcb)
‑1以及自主移动平台在相机在各时刻拍摄的标定图案之间的位姿变化量
∆
tci，构建用于优化第一外参tcb的第一约束残差eb。具体地，可采用下述公式构建第一约束残差eb：eb=tcb*
∆
tbi *(tcb)
‑1‑∆
tci。
72.其中，
∆
tci= tci
‑
1 * (tci)
‑
1，具体可通过如下方法得到：提取相机拍摄的标定图案，得到所有标定图案的角点数据，利用图像角点信息通过pnp算法求出自主移动平台在各个图像时刻下的初步位姿tci，然后计算相邻各帧图像时刻间的位姿
∆
tci，这里的i表示第i个时刻。
73.类似地，具体到第二约束残差eo，将第二外参tco进行逆变换，得到第二外参逆矩
阵(tco)
‑1，然后再根据第二外参tco、第二位姿增量
∆
toi、第二外参逆矩阵(tco)
‑1以及自主移动平台在相机在各时刻拍摄的标定图案之间的位姿变化量
∆
tci，构建用于优化第二外参tco的第二约束残差eo。具体地，可采用下述公式构建第二约束残差eo：eo=tco*
∆
toi *(tco)
‑1‑∆
tci。
74.具体到视觉重投影误差ec，首先提取相机拍摄的所有标定图案的3d像素数据pw，再提取相机拍摄的所有标定图案的4个角点数据，然后根据下述公式构建用于实时优化相机位姿的视觉重投影误差：ec=tci*pw
‑
puv其中，ec表示视觉重投影误差，tci表示所述自主移动平台在所述相机拍摄各时刻的初步位姿，pw表示所述相机拍摄的标定图案的3d像素数据，puv表示所述相机拍摄的标定图案的4个角点数据。
75.上述三个残差块都得到之后，可以构建非线性最小二乘问题；以图优化求解算法求解非线性最小二乘问题，将非线性最小二乘问题的最优解作为优化后的第一外参、第二外参和相机位姿，具体可以通过图优化理论，用levenberg
‑
marquardt算法或高斯牛顿法来进行优化，实现降低系统残差，优化过程不再赘述。
76.本发明第四实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的自主移动平台中，该计算机可读存储介质可以是自主移动平台中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图2所示实施例中描述的自主移动平台外参优化方法。进一步的，该计算机可存储介质还可以是u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、ram、磁碟或者光盘等各种可以存储程序代码的介质。
77.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
78.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
79.以上为对本发明各实施例所提供的自主移动平台、自主移动平台外参优化方法、装置及可读存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。