外参标定方法、装置以及自主移动设备与流程

1.本技术涉及人工智能技术领域，具体涉及一种外参标定方法、装置以及自主移动设备。


背景技术：

2.相机和激光雷达是自主移动设备(例如自动驾驶车辆、机器人等)上非常重要的两种传 感器。通过将两种传感器的信息进行融合，能够有效提高地图创建、定位、环境感知等关键 环节上算法的精度和鲁棒性。为了实现两种传感器的信息融合，良好的外参标定是重要的前 提条件之一。
3.通常而言，可以采用在多个传感器的共视区域内设置标定板的方式来实现多个传感器之 间的外参标定。然而，当多个传感器之间不具有共视区域时，则无法采用上述方式进行外参 标定。由于现实中的自主移动设备上的多个传感器很可能不具有共视区域，因此，亟需一种 能够在不依赖共视区域的前提下实现外参标定的解决方案。


技术实现要素：

4.有鉴于此，本技术的实施例提供一种外参标定方法、装置、自主移动设备、电子设备以 及计算机可读存储介质，旨在提供一种不依赖于共视区域的外参标定解决方案。
5.本技术的第一方面提供了一种外参标定方法，包括：获取相机在标定场景中采集的至少 一张标定图像以及激光雷达在该标定场景中采集的至少一帧标定点云帧，其中，相机与激光 雷达固定设置于自主移动设备上；根据标定图像与标定场景的点云轮廓确定相机的位姿，并 根据标定点云帧与点云轮廓确定激光雷达的位姿；根据相机的位姿与激光雷达的位姿，确定 相机和激光雷达的标定外参。
6.在一些实现方式中，根据标定图像与标定场景的点云轮廓确定相机的位姿，包括：确定 点云轮廓中与标定图像的多个特征点相对应的多个空间点，并获取多个空间点的位置信息； 根据多个空间点的位置信息，计算得到相机的位姿。
7.进一步地，在一些实现方式中，确定点云轮廓中与标定图像的多个特征点相对应的多个 空间点，包括：在预先对标定场景中不同范围拍摄得到的多张场景图像中，确定与标定图像 之间的相似度满足预设条件的多张候选场景图像；确定多张候选场景图像中包含多个特征点 的候选场景图像为标准场景图像；根据预先确定的多张场景图像的特征点与点云轮廓中空间 点之间的对应关系，确定点云轮廓中与标准场景图像的多个特征点相对应的多个空间点，作 为点云轮廓中与标定图像的多个特征点相对应的多个空间点。
8.在一些实现方式中，根据标定点云帧与点云轮廓确定激光雷达的位姿，包括：根据点云 轮廓，估算激光雷达的m个第一候选位姿，并确定对应于m个第一候选位姿的m个第一候 选点云帧；将m个第一候选点云帧与标定点云帧进行配准，确定与标定点云帧最接近的n个 第一候选点云帧所对应的n个第一候选位姿作为第二候选位姿；在n个第二候选位姿中确定 匹配误差最小的第二候选位姿作为激光雷达的位姿。
9.在一些实现方式中，点云轮廓包括标定场景的全局点云轮廓。
10.在一些实现方式中，点云轮廓包括标定场景中的第一场景范围的点云轮廓以及标定场景 中的第二场景范围的点云轮廓，其中，当自主移动设备在标定场景中处于第一设备位姿时， 相机的采集范围位于第一场景范围之内，且激光雷达的采集范围位于第二场景范围之内。
11.进一步地，在一些实现方式中，第一场景范围的点云轮廓包括第一标定物的点云轮廓， 第二场景范围的点云轮廓包括第二标定物的点云轮廓。
12.可选地，在一些实现方式中，第一场景范围与第二场景范围互不重叠。
13.在一些实现方式中，在根据标定图像与标定场景的点云轮廓确定相机的位姿，并根据标 定点云帧与点云轮廓确定激光雷达的位姿之前，还包括：采集标定场景的信息以构建点云轮 廓。
14.进一步地，在一些实现方式中，采集标定场景的信息以构建点云轮廓，包括：在标定场 景中的两个不同位置上对标定场景进行拍摄，得到两个场景图像集合，其中，每个场景图像 集合包括多张场景图像；根据两个场景图像集合计算得到点云轮廓。
15.在一些实现方式中，至少一张标定图像包括多个标定图像集合，至少一帧标定点云帧包 括多个标定点云帧集合，其中，多个标定图像集合与多个标定点云帧是当自主移动设备在标 定场景中处于多个设备位姿上时由相机和激光雷达分别采集得到的，其中，根据标定图像与 标定场景的点云轮廓确定相机的位姿，包括：根据多个标定图像集合与点云轮廓，确定相机 的对应于多个设备位姿的多个第一相机位姿；对多个第一相机位姿进行优化计算得到相机的 位姿，其中，根据标定点云帧与点云轮廓确定激光雷达的位姿，包括：根据多个标定点云帧 集合与点云轮廓，确定激光雷达的对应于多个设备位姿的多个第一雷达位姿；对多个第一雷 达位姿进行优化计算得到激光雷达的位姿。
16.进一步地，在一些实现方式中，每个标定图像集合包括多张标定图像，每个标定点云帧 集合包括多帧标定点云帧，其中，根据多个标定图像集合与点云轮廓，确定相机的对应于多 个设备位姿的多个第一相机位姿，包括：根据多张标定图像与点云轮廓，确定相机对应于每 个设备位姿的多个第二相机位姿；对多个第二相机位姿进行优化计算得到每个第一相机位姿， 其中，根据多个标定点云帧集合与点云轮廓，确定激光雷达的对应于多个设备位姿的多个第 一雷达位姿，包括：根据多帧标定点云帧与点云轮廓，确定激光雷达对应于每个设备位姿的 多个第二雷达位姿；对多个第二雷达位姿进行优化计算得到每个第一雷达位姿。
17.本技术的第二方面提供了一种外参标定装置，包括：获取模块，用于获取相机在标定场 景中采集的至少一张标定图像以及激光雷达在该标定场景中采集的至少一帧标定点云帧，其 中，相机与激光雷达固定设置于自主移动设备上；确定模块，用于根据标定图像与标定场景 的点云轮廓确定相机的位姿，并根据标定点云帧与点云轮廓确定激光雷达的位姿；标定模块， 用于根据相机的位姿与激光雷达的位姿，确定相机和激光雷达的标定外参。
18.可选地，外参标定装置还包括：构建模块，用于采集标定场景的信息以构建点云轮廓。
19.本技术的第三方面提供了一种自主移动设备，包括：至少一个相机，用于采集图像；至 少一个激光雷达，用于采集点云帧；处理器，用于执行本技术的第一方面提供的外参
标定方 法，以对至少一个相机和至少一个激光雷达进行外参标定。
20.本技术的第四方面提供了一种电子设备，包括：存储器，用于存储计算机指令；处理器， 用于执行计算机指令，以实现本技术的第一方面提供的外参标定方法。
21.本技术的第五方面提供了一种计算机可读存储介质，存储有计算机指令，当计算机指令 被处理器执行时，实现本技术的第一方面提供的外参标定方法。
22.本技术所提供的外参标定方法、装置、自主移动设备、电子设备以及计算机可读存储介 质，利用对标定场景预先构建的点云轮廓，结合各传感器在标定场景中分别采集的光学信息， 能够直接确定每个传感器的位姿，进而得到多个传感器之间的标定外参。通过这种方式，能 够对不具有共视区域的多个传感器实现外参标定，从而有效提高自主移动设备的运行精度。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能构成 对本技术的限定。
附图说明
24.为了使本技术实施例的目的、技术方案及优点更加明确，以下将结合附图进一步详细介 绍本技术的实施例。应当理解，附图构成说明书的一部分，与本技术的实施例共同用于解释 本技术，并不构成对本技术的限定。除另有说明的情况外，在附图中，相同的符号和编号通 常代表相同的步骤或部件。
25.图1所示为本技术实施例提供的一种示例性的外参标定系统的示意图。
26.图2所示为本技术一实施例提供的外参标定方法的流程示意图。
27.图3所示为本技术实施例提供的一种示例性的外参标定方法的流程示意图。
28.图4所示为本技术实施例提供的另一种示例性的外参标定方法的示意图。
29.图5所示为本技术另一实施例提供的外参标定方法的流程示意图。
30.图6所示为本技术实施例提供的一种示例性的外参标定方法的过程示意图。
31.图7a所示为本技术实施例中自主移动设备位于标定场景中的状态示意图。图7b所示为本技术实施例中自主移动设备位于标定场景中的状态示意图。图7c所示为本技术实施例中自主移动设备位于标定场景中的状态示意图。
32.图8所示为本技术一实施例提供的外参标定装置的示意图。
33.图9所示为本技术另一实施例提供的外参标定装置的示意图。
34.图10所示为本技术实施例提供的自主移动设备的示意图。
35.图11所示为本技术实施例提供的一种示例性的电子设备的示意图。
具体实施方式
36.为了对不同传感器进行外参标定，在相关技术中，通常采用在待标定的相机和激光雷达 的共视区域内设置标定板的方式，通过相机和激光雷达分别采集包含共视区域的图像和点云 帧后，从图像和点云帧中分别获取标定板上特定位置(例如，标定板的四个顶点，或者预设 的特殊标记等)在像素坐标系和点云坐标系中的位置，进而求解两个坐标系之间的变换关系， 得到相机与激光雷达之间的标定外参。
37.然而，从这种标定方式的原理可以看出，其实现的前提条件在于待标定的相机和
激光雷 达具有共视区域。也就是说，如果待标定的相机和激光雷达不具有共视区域，则无法直接通 过这种方式实现外参标定。这一问题导致了自主移动设备上各传感器的安装位置受到限制， 可能无法以最佳的组合方式进行数据采集。
38.示例性地，在一些实现方式中，为了实现不具有共视区域的两个传感器之间的外参标定， 可以在两个传感器之间设置与两个传感器分别具有共视区域的中间传感器。这样一来，就可 以采用上述标定方式得到两个传感器中的任一传感器与中间传感器之间的标定外参，进而以 中间传感器的坐标系为基准，计算得到两个传感器之间的标定外参。
39.这种方式虽然解决了上述问题，但却需要使用另外的传感器，提高了设备成本、操作复 杂度以及计算量，且计算过程中可能引入更多的误差，对最终得到的标定外参的准确度造成 影响。
40.有鉴于此，本技术的实施例提供一种外参标定方法，能够实现针对不具有共视区域的多 个传感器的外参标定，使自主移动设备的传感器的组合设计更加灵活。同时，本技术提供的 外参标定方法中无需增加传感器的数量，有效避免了成本提升和计算误差的扩大。
41.示例性系统
42.图1所示为本技术实施例提供的一种示例性的外参标定系统100的示意图。外参标定系 统100可以包括场景重建系统110和标定执行系统120，其中，场景重建系统110可以包括 第一传感器111和第一计算设备112，标定执行系统120可以包括自主移动设备121和第二 计算设备122，其中，自主移动设备121上固定设置有相机1211和激光雷达1212。
43.场景重建系统110可以用于确定标定场景的点云轮廓，其中，第一传感器111可以用于 在标定场景中采集光学信息并传输至第一计算设备112，以使第一计算设备112能够基于光 学信息重建出标定场景的点云轮廓。其中，标定场景的点云轮廓可以是标定场景中特定物体 的点云轮廓，也可以是标定场景中局部范围的点云轮廓，还可以是标定场景全局的点云轮廓。
44.示例性地，第一传感器111可以是双目视觉传感器(以下简称双目相机)，用于在标定 场景中拍摄得到两组相互对应的图像集合，使得第一计算设备112能够根据这两组图像集合 计算图像中出现的结构对象的深度信息，进而重建出标定场景的稀疏点云轮廓。可选地，根 据实际需求，第一计算设备112还可以根据稀疏点云轮廓进一步计算得到标定场景的稠密点 云轮廓。
45.在另外一些示例中，第一传感器111还可以是单目视觉传感器(以下简称单目相机)， 用于在标定场景中的两个预设位置上分别进行拍摄，得到两组相互对应的图像集合，以使第 一计算设备112能够重建标定场景的点云轮廓。
46.此外，第一传感器111还可以是结构光传感器(例如rgb-d相机)，用于在对标定场 景进行拍摄的同时得到标定场景的深度信息。或者，第一传感器111还可以是多种传感器的 组合，例如相机与激光雷达的组合，或者相机、激光雷达以及惯性传感器(例如惯性检测单 元imu)的组合等。
47.应当理解，场景重建系统110能够实现标定场景的点云轮廓重建即可，本技术的实施例 对其中的第一传感器111与第一计算设备112的具体实现形态与功能划分等细节不进行限定。
48.标定执行系统120可以用于执行外参标定的流程。其中，自主移动设备121可以是具备 自动驾驶模式的车辆或者机器人等设备。为了实现自主移动的功能，自主移动设备121上需 要设置用于感知周围环境的传感器。在本技术的实施例中，自主移动设备121上至少设置有 相机1211和激光雷达1212两种传感器。为了对相机1211和激光雷达1212在不同位姿上所 采集的不同类型的信息进行融合处理，可以对相机1211和激光雷达1212进行外参标定。应 当理解，自主移动设备121上可以设置至少一个相机1211和至少一个激光雷达1212，每种 传感器的数量和安装位姿通常根据自主移动设备的实际需求进行设计。本技术实施例提供的 外参标定方法可以实现针对任意数量的相机1211和任意数量的激光雷达1212的外参标定， 也就是说，除了特别强调数量或特指某一对象的情况以外，本技术中所描述的“相机”和
ꢀ“
激光雷达”均为泛指，可以用于分别指代自主移动设备上的任意一个或多个相机和激光雷 达。
49.在执行外参标定的流程时，可以使自主移动设备121位于标定场景中，通过相机1211 对标定场景进行拍摄以得到标定图像，并通过激光雷达1212对标定场景进行扫描以得到标 定点云帧。
50.第二计算设备122能够分别与相机1211、激光雷达1212以及第一计算设备112实现通 信连接，从而能够获取到标定图像、标定点云帧以及标定场景的点云轮廓。根据这些数据， 第二计算设备122能够通过执行本技术实施例所提供的外参标定方法，计算得到相机1211 与激光雷达1212之间的标定外参。
51.在这里，第一计算设备112与第二计算设备122可以是处理器或服务器，也可以是计算 机、手机、平板电脑、车载电脑等具备处理功能的电子设备。在一些实现方式中，第一计算 设备112与第二计算设备122可以是两台相互独立的设备；在另外的实现方式中，第一计算 设备112与第二计算设备122也可以是同一台设备，或者可以是集成在同一台设备中的两个 处理模块。应当理解，本技术的实施例对于第一计算设备112和第二计算设备122的具体实 现形态不进行限定。
52.示例性方法
53.下面将结合本技术实施例中的附图，对本技术的实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。本领域普通 技术人员基于本技术中的实施例获得的所有其他实施例，都属于本技术保护的范围。
54.图2所示为本技术一实施例提供的外参标定方法的流程示意图。该方法例如可以由图1 所示的第二计算设备122执行。如图2所示，该方法可以包括如下内容。
55.s210：获取相机在标定场景中采集的至少一张标定图像以及激光雷达在该标定场景中 采集的至少一帧标定点云帧。
56.其中，相机与激光雷达固定设置于自主移动设备上。
57.为了对自主移动设备上的相机和激光雷达进行外参标定，可以使自主移动设备位于标定 场景中，并控制固定设置于自主移动设备上的待标定的相机和激光雷达对标定场景进行信息 采集。
58.相机能够采集到标定场景的图像，图像中将呈现出标定场景中位于相机的采集范围内的 光学信息。在这里，图像可以是彩色图像或者灰度图像。激光雷达能够对标定场景
中的深度 信息进行采集从而得到点云帧，点云帧中将包含标定场景中位于激光雷达的采集范围内的空 间结构的点云轮廓。
59.应当理解，一张图像能够唯一地反映出相机在采集该图像时的位姿，同理，一帧点云帧 能够唯一地反映出激光雷达在采集该点云帧时的位姿。根据这一原理，基于相机在标定场景 中采集的标定图像，可以推算出该相机在执行每一次采集时的位姿；同样地，基于激光雷达 在标定场景中采集的标定点云帧，也可以推算出该激光雷达在执行每一次采集时的位姿。
60.s220：a.根据标定图像与标定场景的点云轮廓确定相机的位姿，b.根据标定点云帧 与标定场景的点云轮廓确定激光雷达的位姿。
61.应当理解，步骤s220中的步骤a和步骤b可以同时执行，也可以按照任意的顺序先后 执行，本技术的实施例对于步骤a和步骤b的具体执行时机不进行限定。
62.在这里，标定场景的点云轮廓可以是预先确定的。例如，可以通过图1所示的场景重建 系统110预先采集标定场景的信息并根据该信息构建标定场景的点云轮廓。
63.在如图3所示的一种示例性的实现方式中，步骤a可以包括：
64.s3211：确定点云轮廓中与标定图像的多个特征点相对应的多个空间点，并获取多个空 间点的位置信息。
65.s3212：根据多个空间点的位置信息，计算得到相机的位姿。
66.其中，标定场景的点云轮廓可以包括稀疏点云轮廓，稀疏点云轮廓中可以包含有标定场 景中的多个空间点，以及多个空间点的特征信息和位置信息。根据稀疏点云轮廓中各空间点 的特征信息，可以对标定图像中的特征点与稀疏点云轮廓中的空间点进行匹配，得到匹配成 功的多个匹配空间点以及标定图像中与多个匹配空间点相对应的多个匹配特征点。因此，稀 疏点云轮廓中所包含的多个匹配空间点的位置信息即为标定图像中多个匹配特征点在空间 中的位置信息，进而根据这些位置信息，可以计算得到相机在拍摄标定图像时的位姿。
67.在本技术实施例的一优选的实现方式中，在预先构建标定场景的点云轮廓时，可以使用 可见光相机对标定场景拍摄两组场景图像(例如使用双目相机进行拍摄或者使用单目相机在 两个采集点上进行拍摄)，并利用这两组场景图像计算得到标定场景内的深度信息，进而重 建出标定场景的稀疏点云轮廓和/或稠密点云轮廓。与此同时，还可以保留每张场景图像的图 像信息。
68.基于此，在如图4所示的一种示例性的实现方式中，上述步骤s3211可以具体包括：
69.s4211：在预先对标定场景中不同范围拍摄得到的多张场景图像中，确定与标定图像之 间的相似度满足预设条件的多张候选场景图像；
70.s4212：确定多张候选场景图像中包含上述多个特征点的候选场景图像为标准场景图像；
71.s4213：根据标定场景的点云轮廓，确定标准场景图像的点云信息；
72.s4214：根据预先确定的多张场景图像的特征点与点云轮廓中空间点之间的对应关系， 确定点云轮廓中与标准场景图像的多个特征点相对应的多个空间点，作为点云轮廓中与标定 图像的多个特征点相对应的多个空间点。
73.在这里，标定场景的点云轮廓可以是稀疏点云轮廓，也可以是稠密点云轮廓。示例
性地， 在预先重建标定场景的点云轮廓的过程中保留的图像信息可以包括：每张场景图像的词向量 v、每张场景图像中的特征点的描述子集合d、点云轮廓中每个空间点和各场景图像中特征 点的对应关系集合h。
74.在确定与标定图像之间的相似度满足预设条件的多张候选场景图像时，可以首先提取标 定图像的词向量vc，然后根据预先保留的每张场景图像的词向量v，选取与标定图像相似度 较高的多张场景图像(例如相似度最高的5张场景图像)作为候选场景图像。
75.进一步地，还可以提取标定图像的描述子集合dc，并根据预先保留的每张候选场景图 像的描述子集合d，在多张候选场景图像中找到与标定图像相匹配的特征点的数量最多的一 张候选场景图像作为标准场景图像。根据预先保留的点云轮廓中每个空间点与各场景图像中 特征点之间的对应关系h，能够确定标准场景图像中各特征点在点云轮廓中对应的空间点， 从而得到标准场景图像的点云信息。
76.由于标定图像与标准场景图像具有相匹配的多个特征点，因此，标准场景图像中的这些 特征点所对应的空间点即为标定图像中相匹配的特征点所对应的空间点。也就是说，根据标 准场景图像的点云信息以及标定图像和标准场景图像之间的特征点对应关系，即可确定标定 图像中多个特征点所对应的多个空间点，同时能够得到这些空间点的位置信息。
77.在此基础上，在步骤s3212中根据多个空间点的位置信息计算相机的位姿时，可以根 据标定图像中的多个特征点与标定场景中的多个空间点之间的对应关系，以及步骤s3211中 确定的多个空间点的位置信息，计算得到相机的初始位姿(例如，可以采用pnp算法)，并 基于该初始位姿，通过优化算法(例如ba(bundle adjustment)优化)进行迭代计算，得 到相机的位姿。
78.本技术实施例提供的外参标定方法，通过利用标定场景的点云轮廓重建过程中被保留的 多张场景图像，能够基于图像信息在多张场景图像中找到与标定图像具有较高相似度的场景 图像，进而借助场景图像在点云轮廓找到与标定图像中的特征点相对应的空间点，从而可以 根据空间点的位置信息实现位姿的计算。相较于仅依靠点云轮廓对标定图像进行匹配的方式， 通过引入图像信息进行匹配，能够有效提高匹配准确度和计算效率。
79.可选地，在一实现方式中，步骤s220中的步骤b可以包括：
80.s4221：根据点云轮廓，估算激光雷达的m个第一候选位姿，并确定对应于m个第一 候选位姿的m个第一候选点云帧；
81.s4222：将m个第一候选点云帧与标定点云帧进行配准，确定与标定点云帧最接近的n 个第一候选点云帧所对应的n个第一候选位姿作为第二候选位姿；
82.s4223：在n个第二候选位姿中确定匹配误差最小的第二候选位姿作为激光雷达的位姿。
83.在这里，点云轮廓可以是标定场景的稀疏点云轮廓，也可以是标定场景的稠密点云轮廓。
84.具体地，预先对标定场景进行重建时，可以直接在标定场景中采集稀疏点云信息从而构 建标定场景的稀疏点云轮廓，也可以直接在标定场景中采集稠密点云信息从而构建标定场景 的稠密点云轮廓，或者，还可以在得到标定场景的稀疏点云轮廓后，进一步基于稀疏点云轮 廓恢复得到相应的稠密点云轮廓，从而能够将稀疏点云轮廓和稠密点云轮
廓均进行存储，以 备标定过程中可以根据需求容易地选择和使用。
85.在一优选的实施例中，步骤b中可以采用标定场景的稠密点云轮廓。在确定激光雷达的 位姿时，首先可以根据标定场景的稠密点云轮廓估算出激光雷达的n个第一候选位姿和对应 于n个第一候选位姿的n个第一候选点云帧。其中，为了减少计算负担，可以预先根据激光 雷达在采集标定点云帧时自主移动设备所处的大致位姿以及激光雷达在自主移动设备上的 大致的安装位姿，在标定场景中确定一个较大的、能够覆盖激光雷达真实的采集范围的区域 (例如，在一实现方式中，该区域可以是标定场景中的第二场景范围)，从而可以仅根据该 区域中的稠密点云信息估算激光雷达的第一候选位姿。
86.在得到m个第一候选点云帧后，可以通过对每个第一候选点云帧分别与标定点云帧进 行配准，能够确定每个第一候选点云帧与标定点云帧之间的匹配误差。根据匹配误差，可以 从m个第一候选点云帧中选择更加接近标定点云帧的n个第一候选点云帧作为第二候选点云 帧，并将对应于该n个第二候选点云帧的n个第一候选位姿作为第二候选位姿。
87.进一步地，为了提高结果的准确度，在得到n个第二候选位姿后还可以再次进行筛选， 通过对n个第二候选位姿进行精细化处理，从中获取匹配误差最小的一个第二候选位姿作为 激光雷达的位姿。
88.相较于利用稀疏点云轮廓确定激光雷达的位姿的方式，通过利用标定场景的稠密点云轮 廓作为标定点云帧的配准基础，能够提高匹配精度，从而得到更加准确的激光雷达的位姿。 同时，本技术实施例提供的外参标定方法，通过利用标定场景的稠密点云轮廓生成多个候选 位姿作为配准对象，不仅能够大大提高对于激光雷达的位姿计算的准确度，还能有效提升匹 配效率。
89.应当理解，在本实现方式中，前述步骤a中的标定场景的点云轮廓也可以包括稠密点云 轮廓。也就是说，根据标定图像计算相机的位姿时，也可以利用标定场景的稠密点云轮廓进 行计算，从而进一步提高标定精度。
90.s230：根据相机的位姿与激光雷达的位姿，确定相机和激光雷达的标定外参。
91.得到多个传感器各自的位姿后，可以在多个传感器中选定一个传感器作为主传感器，并 以主传感器的坐标系为基准，将其他各传感器的位姿转换至主传感器的坐标系中，从而得到 所有传感器的标定外参。在本技术的实施例中，多个传感器可以包括至少一个相机和至少一 个激光雷达。例如，当待标定的多个传感器包括第一相机、第二相机、第一激光雷达以及第 二激光雷达时，可以以第一相机作为主传感器，并将第二相机、第一激光雷达以及第二激光 雷达各自的位姿转换到第一相机的坐标系中，从而得到每个传感器的标定外参，完成外参标 定的整体流程。
92.应当理解，主传感器也可以是预先选定的，本领域技术人员可以根据实际需求进行选定， 本技术的实施例对于主传感器的选定逻辑不进行限定。
93.本技术实施例提供的外参标定方法，通过利用对标定场景预先构建的点云轮廓，结合自 主移动设备上各传感器在标定场景中分别采集的光学信息，能够直接确定每个传感器的位姿， 进而对多个传感器实现外参标定。通过这种方式，能够对无共视区域的多个传感器实现外参 标定，实现多模态数据的高精度融合，从而能够显著提高自主移动设备的运行精度。
94.优选地，在一实现方式中，为了提高外参标定的精度，在自主移动设备位于第一位
置上 以第一姿态完成上述步骤s210和s220之后，还可以进一步改变自主移动设备的位姿(为便 于区分，以下将自主移动设备在标定场景中的位姿称为设备位姿)，并在每次改变自主移动 设备的设备位姿后，重复执行上述步骤s210和s220，从而针对每个设备位姿分别得到一组 相机和激光雷达的位姿。也就是说，通过在标定场景中多次改变自主移动设备的位置和/或姿 态，基于预先构建的标定场景的点云轮廓，能够获取到相机的多个位姿和激光雷达的多个位 姿。进而，可以通过对相机的多个位姿和激光雷达的多个位姿分别进行优化计算，得到精度 更高的标定外参。
95.示例性地，在此实现方式中，至少一张标定图像可以包括多个标定图像集合，至少一帧 标定点云帧可以包括多个标定点云帧集合。其中，多个标定图像集合与多个标定点云帧是当 自主移动设备在标定场景中处于多个设备位姿上时由相机和激光雷达分别采集得到的。
96.在这里，前述步骤a可以具体包括：根据多个标定图像集合与点云轮廓，确定相机的对 应于多个设备位姿的多个第一相机位姿；对多个第一相机位姿进行优化计算得到相机的位姿。 前述步骤b可以具体包括：根据多个标定点云帧集合与点云轮廓，确定激光雷达的对应于多 个设备位姿的多个第一雷达位姿；对多个第一雷达位姿进行优化计算得到激光雷达的位姿。
97.进一步地，在一可选的实现方式中，在自主移动设备的每个设备位姿上进行采集时，可 以通过相机采集多张标定图像，和/或，通过激光雷达采集多帧标定点云帧。也就是说，每个 标定图像集合可以包括多张标定图像，和/或，每个标定点云帧集合可以包括多帧标定点云帧。
98.在这里，确定第一相机位姿的具体过程可以包括：根据多张标定图像与点云轮廓，确定 相机对应于每个设备位姿的多个第二相机位姿；对多个第二相机位姿进行优化计算得到每个 第一相机位姿。另外，确定第一雷达位姿的具体过程可以包括：根据多帧标定点云帧与点云 轮廓，确定激光雷达对应于每个设备位姿的多个第二雷达位姿；对多个第二雷达位姿进行优 化计算得到每个第一雷达位姿。
99.基于一个位置上的多张标定图像，可以得到相机在该设备位姿上的多个位姿，进而可以 通过优化计算得到该设备位姿上的相机的精度更高的位姿；同理，基于一个设备位姿上的多 帧标定点云帧，可以得到激光雷达在该设备位姿上的多个位姿，进而可以通过优化计算得到 该设备位姿上的激光雷达的精度更高的位姿。如此，在得到高精度的位姿的基础上，外参标 定结果的准确度将得到显著提升。
100.应当理解，对位姿进行优化计算的方法可以由本领域技术人员根据实际需求进行选择， 本技术的实施例对此不进行限定。
101.优选地，在本技术的实施例中，上述步骤s210中获取的标定图像和标定点云帧可以是 由相机和激光雷达在自主移动设备处于静止状态时对标定场景进行采集而得到的。也就是说， 可以在标定场景中的第一位置上使自主移动设备以第一姿态静止后(即，使自主移动设备静 止处于第一设备位姿后)，启动相机和激光雷达进行采集操作，得到对应于第一设备位姿的 至少一张标定图像和至少一帧标定点云帧。
102.换言之，在本技术实施例提供的外参标定方法中，相机和激光雷达进行信息采集时，自 主移动设备相对于标定场景的位置和姿态均保持不变。自然地，自主移动设备上的
相机和激 光雷达相对于标定场景的位姿也均保持不变。在此状态下，相机和激光雷达可以分别进行信 息采集，从而得到能够准确反映二者的相对位姿的至少一张标定图像和至少一帧标定点云帧。
103.可选地，如果需要进一步在其他位置上进行信息采集，则可以在确定一个设备位姿上采 集的标定图像和标定点云帧的数量或质量达到预期后，重新允许自主移动设备发生位移或旋 转。
104.可以理解，如果在自主移动设备的运动过程中进行信息采集，相机和激光雷达执行信息 采集的时间点可能无法保持同步，那么，在两个时间点之间的时间差期间自主移动设备会发 生移动，导致相机在拍摄标定图像时所处的位置和激光雷达在拍摄标定点云帧时所处的位置 不是准确对应的。由于两种传感器执行信息采集的时间点很难保证精准同步，因此，在自主 移动设备运动过程中采集的标定图像和标定点云帧往往无法直接反映出相机和激光雷达的 相对位姿，而是需要在后续计算过程通过插值计算等附加步骤才能够实现外参标定，导致计 算量较大且准确度受限。此外，在自主移动设备的运动还可能导致图像发生运动模糊、点云 帧发生运动畸变，也可能导致外参标定的准确度下降。
105.有鉴于此，本技术实施例提供的外参标定方法中，通过在自主移动设备处于静止状态的 前提下进行标定图像和标定点云帧的采集，能够有效规避动态采集方式中存在的上述问题， 使标定图像和标定点云帧在时间轴上准确对齐且不包含模糊和畸变等瑕疵，从而能够在降低 计算量的同时大幅提高外参标定的准确度。
106.在一可选的实现方式中，标定场景的点云轮廓可以是标定场景中局部范围的点云轮廓。 例如，标定场景的点云轮廓可以包括标定场景中的第一场景范围的点云轮廓以及标定场景中 的第二场景范围的点云轮廓。
107.具体地，在对标定场景进行点云轮廓重建的阶段，可以预先确定待标定的自主移动设备 上相机和激光雷达的安装位姿，从而确定相机和激光雷达的预估采集范围，并根据该预估采 集范围在标定场景中确定第一场景范围和第二场景范围，以使得进行标定时相机和激光雷达 的采集范围分别落入第一场景范围和第二场景范围之内。也就是说，当自主移动设备位于标 定场景中的第一位置时，相机的采集范围可以位于第一场景范围之内，且激光雷达的采集范 围可以位于第二场景范围之内。
108.当待标定的相机和激光雷达的采集范围互不重叠，即二者不具有共视区域时，可以根据 相机和激光雷达的预估采集范围之间的相对位置关系，在标定场景中相应地选择互不重叠的 两个范围作为第一场景范围与第二场景范围，以使相机的采集范围落入第一场景范围之内且 激光雷达的采集范围落入第二场景范围之内。
109.通过这种方式，能够在标定场景中有针对性地选择需要构建点云轮廓的场景范围，从而 提高点云轮廓的构建效率，减少准备工作所花费的时间，同时能够让后续的匹配过程更加高 效。
110.进一步地，在另一可选的实现方式中，标定场景的点云轮廓可以是标定场景中特定物体 的点云轮廓。示例性地，第一场景范围内可以设有第一标定物，此时第一场景范围的点云轮 廓包括第一标定物的点云轮廓；类似地，第二场景范围内可以设有第二标定物，此时第二场 景范围的点云轮廓包括第二标定物的点云轮廓。
111.作为一个示例，标定场景中的特定物体可以是标定板。当外参标定的对象是自主
移动设 备上的两个传感器(相机和激光雷达)时，在对标定场景进行点云轮廓重建的阶段，可以在 标定场景中设置两个不同形状的标定板。其中，两个标定板可以被设置在能够同时分别被相 机和激光雷达采集到的位置上。也就是说，可以在相机的预估采集范围内设置一个标定板作 为第一标定物，并在激光雷达的预估采集范围内设置另一个标定板作为第二标定物。
112.当待标定的相机和激光雷达的采集范围互不重叠，即二者不具有共视区域时，第一标定 物和第二标定物可以被设置在与这两个采集范围相对应的位置上。
113.在上述示例中，假设相机设于自主移动设备的前部且视线朝向正前方，激光雷达设于自 主移动设备的尾部且视线朝向正后方，则两个标定板可以分别被设置在标定场景中相对的两 面墙壁上。也就是说，一面墙壁可以作为第一场景范围，其上设置有作为第一标定物的标定 板；另一面墙壁可以作为第二场景范围，其上设置有作为第二标定物的另一个标定板。
114.通过这样的设置，能够使第一场景范围的点云轮廓包括第一标定物的点云轮廓且第二场 景范围的点云轮廓包括第二标定物的点云轮廓。在通过相机和激光雷达对标定场景进行信息 采集时，可以让自主移动设备位于这两面墙壁之间且中心线基本垂直于两面墙壁，以使一个 标定板位于相机的采集范围内且另一个标定板位于激光雷达的采集范围内，从而使得相机采 集的图像包含一个标定板的图像信息且激光雷达采集的点云帧包含另一个标定板的点云信 息。
115.通过在标定场景中设置具有明显结构特征的标定物，能够增加点云轮廓中所包含的有效 空间信息，从而使得基于点云轮廓对标定图像和标定点云帧分别进行匹配时的准确度得到提 高。
116.作为另一个示例，第一标定物与第二标定物之间可以具有预设的相对位置关系。其中， 第一标定物和第二标定物可以具有不同的形状，也可以具有相同的形状。
117.具体地，可以将第一标定物和第二标定物按照预设的相对位姿进行设置，也可以在预估 采集范围内设置第一标定物和第二标定物之后，通过测量操作确定二者的相对位姿。也就是 说，在使用第一标定物的点云轮廓和第二标定物的点云轮廓确定相机和激光雷达的位姿之前， 可以预先确定两个标定物之间的相对位姿，以便在后续的计算过程中基于两个标定物之间的 相对位姿确定相机和激光雷达之间的相对位姿。
118.在这里，前述步骤s220中所使用的点云轮廓可以仅包括第一标定物和第二标定物的点 云信息。可以理解，只要相机采集到包含有第一标定物的标定图像且激光雷达采集到包含有 第二标定物的标定点云帧，就可以确定相机相对于第一标定物的位姿以及激光雷达相对于第 二标定物的位姿。在此基础上，在本示例中，可以进一步利用第一标定物和第二标定物之间 的相对位姿，将相机和激光雷达在不同坐标系中的位姿转换到同一坐标系中，进而实现针对 二者的外参标定。通过这种方式，能够大幅降低计算量，在不影响标定精度的同时，能够有 效提升外参标定的效率。
119.自主移动设备在出厂后，可能在运输过程中承受强烈的颠簸，也可能在使用过程中被用 户改装或遭遇意外事故等。在这些情况下，安装在自主移动设备上的各传感器的位姿可能会 发生变化，而一旦传感器的位姿发生变化，预先确定的各传感器之间的外参就很可能不再准 确，导致自主移动设备的运行精度降低，因此需要对自主移动设备上的传感器
重新进行外参 标定。
120.在相关技术以及本技术实施例的部分实现方式中，可以采用标定板等特制的标定物进行 外参标定。但是，对于普通用户或提供售后服务的一般商户而言，这种标定物的成本、获取 难度以及操作难度均较高。因此，采用标定板等特制的标定物进行外参标定的过程通常由专 业人员在实验场地等环境中实现。也就是说，当自主移动设备在出厂后需要再次进行外参标 定时，用户需要将该自主移动设备送至专业的标定场所请专业人员进行操作，花费大量的时 间及运输成本。
121.此外，采用特制的标定物进行外参标定时，对于标定场景的选择和设置有较高的要求， 并且标定物的制作精度可能对外参标定的准确度产生较大的影响。
122.针对上述问题，在一些优选的实现方式中，本技术的实施例提供的外参标定方法可以不 采用特制的标定物，而是能够以用户易于找到的、能够供自主移动设备进行日常运行的场景 作为标定场景，并基于标定场景的点云轮廓信息实现对于自主移动设备上多个传感器的外参 标定。
123.具体地，标定场景的点云轮廓可以含有标定场景全局的信息，也就是说，前述步骤s220 中所采用的标定场景的点云轮廓可以是标定场景的全局点云轮廓。
124.可以理解，标定场景的全局点云轮廓中包含了标定场景全局的空间特征，全局点云轮廓 中不仅反映了标定场景中的多个空间点，还包含了这些空间点中任意两个空间点之间的相对 位置关系。因此，在本技术实施例提供的外参标定方法中，在对相机和激光雷达进行外参标 定时，只需要使二者处于共同的标定场景中，也就相当于使二者具备了间接的共视关系。
125.基于此，本技术的实施例以标定场景的点云轮廓作为匹配基准，能够独立地通过标定图 像确定相机在标定场景中的位姿，并能够独立地通过标定点云帧确定激光雷达在同一标定场 景中的位姿，从而实现在同一标定场景所在的坐标系中确定相机和激光雷达各自的位姿，进 而能够容易地实现相机和激光雷达之间的外参标定。
126.可选地，在预先确定了标定场景的全局点云轮廓之后，前述步骤s220中所采用的标定 场景的点云轮廓也可以是全局点云轮廓中的局部，从而减少计算量，节省计算资源，并提高 计算效率。
127.具体地，与前述实施方式类似地，在确定待标定的自主移动设备以及待标定的多个传感 器在自主移动设备上的大致的安装位姿后，可以确定多个传感器各自的预估采集范围。根据 这些预估采集范围，可以在标定场景中确定相应的多个场景范围。例如，当待标定的传感器 是一个相机和一个激光雷达时，可以在标定场景中选取覆盖相机的预估采集范围的第一场景 范围，以及覆盖激光雷达的预估采集范围的第二场景范围。
128.进一步地，可以根据多个场景范围，在标定场景的全局点云轮廓中确定相应的多个局部 范围的点云轮廓，例如，前述步骤s220中，标定场景的点云轮廓可以包括标定场景中的第 一场景范围的点云轮廓以及标定场景中的第二场景范围的点云轮廓。应当理解，根据多个传 感器的采集范围的相对位置关系，多个局部范围可能具有重叠范围，也可能互不重叠。
129.图5所示为本技术另一实施例提供的外参标定方法的流程示意图。如图5所示，在s220 之前，本技术实施例提供的外参标定方法还可以包括：
130.s510：采集标定场景的信息以构建点云轮廓。
131.步骤s510例如可以由图1所示的场景重建系统110执行。在这里，步骤s510可以在 步骤s210之前执行，也可以在步骤s210之后执行，只要两个步骤中被采集的对象是同一标 定场景即可。
132.在这里，为了提高外参标定的准确度，可以选择具有较为明显的边界以及较多结构化特 征的场景(例如，场景内设有具备点、线、面等明显形状特征的物体)作为标定场景。同时， 为了避免后续匹配过程中发生误差进而导致计算量上升，优选地，标定场景内的结构不宜包 括基本重复的元素(例如，形状和间隔完全一致的多个窗户、墙壁上大面积重复排布的花纹 等)。
133.具体地，可以通过激光雷达或深度相机等能够直接采集到空间信息的装置对标定场景进 行信息采集，并生成标定场景的点云轮廓。或者，也可以通过相机对标定场景进行拍摄，得 到多张场景图像，再基于场景图像中所包含的图像信息计算得到标定场景的空间信息，进而 恢复出标定场景的点云轮廓。
134.优选地，在一实施方式中，步骤s510可以具体包括：在标定场景中的两个不同位置上 对标定场景进行拍摄，得到两个场景图像集合，其中，每个场景图像集合包括多张场景图像 (例如可以由场景重建系统110中的第一传感器111执行)；根据两个场景图像集合，计算 得到点云轮廓(例如可以由场景重建系统110中的第一计算设备112执行)。
135.在这里，可以选择采用双目相机作为第一传感器111，通过双目相机在标定场景中对标 定场景进行多次拍摄，能够得到两个场景图像集合。例如，为了构建标定场景的全局点云轮 廓，可以将双目相机置于标定场景中，每拍摄一次后调整拍摄角度，最终完成至少360
°
的拍 摄，得到两个包含有多张场景图像的场景图像集合。也就是说，一个场景图像集合中的所有 场景图像能够覆盖标定场景的全局，且两个集合中的场景图像一一对应。基于此，本技术的 实施例能够基于两个场景图像集合中相对应的多对场景图像计算得到标定场景的空间信息， 并进一步恢复得到标定场景全局的空间信息。
136.在另一实现方式中，也可以选择采用单目相机作为第一传感器111。为了实现与双目相 机类似的效果，可以在标定场景中选取多个拍摄位置组，每个拍摄位置组包括两个拍摄点， 以供单目相机在每个拍摄点上对标定场景进行拍摄。也就是说，两个拍摄点之间的距离相当 于双目相机的基线。通过这种实现方式，能够降低设备成本，提高本技术实施例所提供的外 参标定方法的通用性。
137.本技术实施例所提供的外参标定方法，通过在标定场景的重建阶段采用图像作为重建基 础，能够在恢复得到高质量的点云轮廓的同时，保留标定场景的图像信息，以及图像信息和 点云轮廓之间的关联关系，从而使得在后续对相机进行标定的过程中能够提高标定图像的配 准精度和效率，进而在提高外参标定整体流程的效率的同时，能够大幅提升标定结果的准确 度。
138.图6所示为本技术实施例提供的一种示例性的外参标定方法的过程示意图。该方法例如 可以由图1所示的外参标定系统100执行。如图6所示，该方法可以包括如下内容。
139.s601：使用第一传感器对标定场景进行拍摄，得到场景图像。
140.在本实施例提供的外参标定方法中，可以在对标定场景进行重建时保留标定场景的图像 信息以及点云信息，以便在执行标定的过程中对相机进行图像注册并对激光雷达
进行点云注 册，从而获取相机和激光雷达各自的位姿。
141.具体地，在一些实施方式中，可以采用如下方式对标定场景进行重建：1)采用单目slam (simultaneous localization and mapping)完成标定场景的稀疏点云轮廓恢复，再通过深度图 和slam结果进一步恢复稠密点云轮廓。2)使用相机与激光雷达结合的方式，或者相机、 激光雷达以及imu(惯性测量单元)结合的方式生成标定场景，并保留视觉特征的空间点、 描述子以及空间点与描述子的对应关系。3)使用rgbd相机完成稀疏点云轮廓的构建，并 利用深度信息即时完成稠密重建。
142.优选地，为了提高重建精度，本实施例中采用单目相机或双目相机作为第一传感器对标 定场景进行拍摄，进而利用拍摄得到的场景图像，基于运动恢复结构的方式对标定场景进行 稀疏点云轮廓的重建，并在此基础上通过稠密重建的方式生成相应的稠密点云轮廓。
143.为了得到高质量的点云轮廓，在本技术的实施例中，可以使用具有无畸变镜头或者低畸 变镜头的第一传感器对标定场景进行影像采集。可以理解，场景图像的分辨率越高，点云轮 廓的恢复效果越好。
144.每完成一次拍摄后，可以变换第一传感器的位置并进行下一次拍摄。变换位置时，为了 更好地覆盖标定场景的整体，优选以较小的旋转角度(例如1
°
)、较小的平移距离和景深(例如0.2米)作为每次变换的幅度。在完成标定场景整体的拍摄得到多张场景图像后，可 以按照每张场景图像的时间戳顺序进行排序，获取场景图像集合i。其中，场景图像集合i 包括具有单满映射关系的两个场景图像集合i
l
和ir。
145.设置尺度的先验集合s，可以包括预设的任意一对场景图像的采集点之间的公制单位距 离(例如，第一传感器为双目相机时该距离为双目相机的基线，或者，第一传感器为单目相 机时该距离为单目相机在拍摄一对场景图像时所处的两个不同位置之间的距离)。
146.{i
l
,ir,d
rl
}∈s
ꢀꢀꢀ
(1)
147.其中，d
rl
即为ir与i
l
的先验距离，公制单位可以是米。
148.s602：利用场景图像，恢复标定场景的稀疏点云轮廓。
149.具体地，可以使用运动恢复结构(structure from motion，sfm)方法，从采集的场景 图像中恢复得到标定场景的稀疏点云轮廓，同时可以保留恢复过程中的场景图像、场景图像 之间的关联关系，以及场景图像和稀疏点云轮廓之间的属性和关联关系。在这里，sfm方法 可以采用全局重建法或者增量式重建法。优选地，为了提高恢复精度，本技术的实施例可以 采用增量式重建法(incremental sfm)，并且，在拍摄的同时可以保留时间戳，从而能够大 大缩短后续标定过程中进行匹配的时间。
150.应当理解，如果已知第一传感器的内参，则可以采用欧式法进行结构恢复；如果采集的 图像畸变系数较小，或者第一传感器的内参是未知的，则可以采用仿射法进行结构恢复。示 例性地，本技术的实施例中可以预先对第一传感器进行内参标定，从而能够根据第一传感器 的内参，通过欧式法恢复得到标定场景的度量结构。sfm方法的重要步骤主要包括：特征提 取；匹配与误差剔除；几何验证；初始化；图像注册及后方交会；光束法平差及外点滤波； 前方交会。应当理解，在本技术实施例提供的逻辑框架内，本领域技术人员可以根据实际需 求对sfm方法中各步骤的实现方式进行设计，本技术的实施例对此不进行限定。
151.进一步地，可以利用已知的尺度先验集合s，通过构造相似变换的方式，或者通过
估计 最优尺度后直接进行线性变换的方式，将从图像恢复出的度量结构进一步恢复至真实尺度。 例如，恢复真实尺度的过程可以如公式(2)、(3)所示。
152.ms←s·ms
ꢀꢀꢀ
(2)
153.tc←s·
tc,tc∈tcꢀꢀꢀ
(3)
154.同时，可以保留运动恢复结构的相关信息，例如场景图像的词向量集合v、特征点的描 述子集合d、图像之间的共视关系集合c、标定场景的稀疏点云轮廓ms、点云轮廓中每个空 间点和各图像中特征点的对应关系集合h，以及恢复得到的相机运动集合tc等。基于场景图 像集合i通过sfm方法对标定场景进行重建的过程可以描述如公式(4)。
155.v,d,c,h,ms,tc←
sfm(i)
ꢀꢀꢀ
(4)
156.s603：恢复标定场景的稠密点云轮廓。
157.可选地，为了提高激光雷达的点云注册的效率和准确度从而提高激光雷达的标定精度， 本技术的实施例还可以在恢复得到稀疏点云轮廓的基础上，进一步恢复标定场景的稠密点云 轮廓。具体地，可以通过点云增强或者稠密重建的方法得到稠密点云轮廓。
158.在一优选的实现方式中，本技术的实施例可以采用稠密重建的方法得到标定场景的稠密 点云轮廓，其过程可以包括如下步骤：选取图像序列；选取关键点；对关键点的深度与法向 量进行优化；恢复关键点以外的其余像素点的深度及法向量；恢复所有有效像素点的深度。
159.具体地，在选取图像序列时，可以根据预设的指标，从场景图像集合i中选择一帧场景 图像(包括时间戳相对应的两张场景图像)作为参考图像。其中，预设的指标可以是两张场 景图像的拍摄视场角(例如，拍摄视场角可以设定为5
°
)。本领域技术人员可以理解，拍 摄视场角过小会导致基线过短，从而导致重建过程中产生较大的误差，而拍摄视场角过大则 会导致两张场景图像之间的差异过大，同样难以取得良好的恢复结果。
160.进一步地，从标定场景的稀疏点云轮廓ms中筛选出能够同时投影到参考图像以及至少 一帧其他场景图像上的空间点p作为关键点。根据空间点p，可以确定各场景图像中对应于 空间点p的像素点(包括特征点及特征点周围的像素点)的深度与法向量的初始值，随后可 以在初始值的基础上进行优化计算，得到这些像素点的深度与法向量。
161.可选地，由于仅凭一个像素点可能无法准确表征图像之间的相似性，因此在本技术的实 施例中可以引入像素模板，用于表征图像的中心像素点区域的特征。其中，参考图像的像素 模板与其他场景图像的像素模板之间的特征差异是对深度和法向量进行优化的关键。也就是 说，可以通过衡量不同图像的像素模板的相似程度来确定不同图像上的像素点之间的相似性。 因此，为了确定参考图像上对应于关键点的像素点与其他场景图像上对应于关键点的像素点 之间的相似性，可以预先建立像素模板，并以光度一致性作为衡量像素模板之间的相似程度 的指标。
162.示例性地，在本技术的实施例中，可以以关键点对应的像素点为中心，建立7
×
7的正 方形像素模板，从而在尽量降低计算量的同时提高结果的精度。将一张场景图像的像素模板 中的所有像素点投影到全局坐标系后，再将该像素模板中像素点所对应的空间点投影到其他 场景图像上以确定其他场景图像中相对应的像素点，进而对像素点的深度与法向量进行优化。 在这里，可以以参考图像的像素模板与在其他场景图像上的像素模板之间的差异(例如，可 以包括几何模型、光度模型、颜色尺度等参数)作为优化目标。
163.按照优化结果的置信度由高至低的顺序，对稀疏点云轮廓ms中的多个种子点(最优候 选)建立队列，并依次将队列中置信度最高且未经处理的种子点的周围像素点加入队列中。 同时，将种子点的深度和法向量作为与该种子点相邻的上下左右四个像素点的深度和法向量 的初始值进行优化计算，进而得到各像素点的优化后的深度和法向量。
164.确定每张场景图像中有效像素点的深度信息后，即可得到每张场景图像的有效深度图。 根据有效深度图中的像素深度，利用逆投影算子π
―1
(
·
)，可以将像素点投影到三维空间，从 而获得标定场景的稠密点云轮廓md。至此，稠密点云轮廓的重建过程可以描述如公式(5)。
165.md←
dense(v,d,c,h,ms,tc)
ꢀꢀꢀ
(5)
166.在完成标定场景的重建并获取相关信息后，可以将自主移动设备置于标定场景中，通过 其上的多个传感器进行数据采集，并基于采集到的数据对该多个传感器分别进行位姿注册。 其中，多个传感器可以包括至少一个相机和至少一个激光雷达。示例性地，本实施例中的多 个传感器可以包括多个相机和多个激光雷达。
167.s604：通过自主移动设备上的多个相机和多个激光雷达对标定场景进行信息采集，得 到对应于每个相机的至少一张标定图像和对应于每个激光雷达的至少一帧标定点云帧。
168.在本技术的实施例中，可以通过动静结合的方式进行信息采集。也就是说，可以让待标 定的自主移动设备在标定场景中变换多个位姿(为便于说明，以下将自主移动设备的位姿称 为设备位姿)，并在自主移动设备静止处于每个设备位姿时通过多个传感器采集一组数据。 通过在自主移动设备静止的状态下进行信息采集，能够有效避免相机图像的运动模糊和激光 雷达扫描的运动畸变，并且能够有效消除运动状态采集方式导致的插值误差和对齐误差，同 时还能够规避各传感器的触发时间和频率的一致性问题。此外，通过在标定场景中设置多个 设备位姿从而变换多个采集位置，能够有效利用整个标定场景，获取更多可靠数据，进而提 高标定结果的精度。
169.作为一个具体的示例，本技术的实施例可以采用如图7a～图7c所示的结构化场景作为 标定场景，其中，图7a～图7c分别示出了待标定的自主移动设备在标定场景中的3个设备位 姿。例如，图7a所示为第一设备位姿，图7b所示为第二设备位姿，图7c所示为第三设备位 姿。应当理解，设备位姿及其数量可以根据实际需求进行设定，本技术的实施例对此不进行 限定。
170.将待标定的自主移动设备停靠在第一设备位姿后，启动待标定的多个传感器对标定场景 进行信息采集。例如，自主移动设备上待标定的多个传感器可以包括第一相机c0、第二相机 c1、第一激光雷达l1以及第二激光雷达l2。各传感器进行采集的时间可以根据实际需求进 行设定，例如3秒，其中，每个传感器至少获取到一张图像/一帧点云帧(以下将标定过程中 由待标定的各传感器所采集的图像和点云帧称为标定图像和标定点云帧)。类似地，完成在 第一设备位姿的采集后，可以将待标定的自主移动设备依次停靠在第二设备位姿、第三设备 位姿，并使上述各传感器分别执行采集操作。
171.完成在所有设备位姿上的采集操作后，可以得到分别包含第一相机c0、第二相机c1、 第一激光雷达l0以及第二激光雷达l1对应于四个不同设备位姿的数据集合(即标定图像或 标定点云帧)其中，k＝[1,3]表示不同的设备位姿。
[0172]
s605：根据每个相机对应的至少一张标定图像，对每个相机进行位姿注册，得到多个 相机各自的最优位姿。
[0173]
相机的位姿注册可以采用标定场景的稀疏点云轮廓以及点云轮廓恢复过程中保留的相 关信息(重建步骤中生成的场景图像的词向量集合v、空间点的描述子集合d、标定场景的 稀疏点云轮廓ms、点云轮廓中每个稀疏点和各场景图像中特征点的对应关系集合h，以及恢 复好的相机运动集合tc等)。在这里，对相机进行位姿注册的方式可以采用增量重建、视觉 重定位，或者基于深度学习的图像注册等。优选地，本技术的实施例可以采用视觉重定位对 相机的进行位姿注册。
[0174]
具体地，可以针对任一相机采集的每一张标定图像执行以下步骤：
[0175]
1)提取标定图像中的特征点，得到特征点集合同时确定特征点的描述子并生成词袋向量其中，m＝[0,1]表示不同的相机；
[0176]
2)利用与场景图像的词向量集合v进行匹配，从多张场景图像中选取与最为相 似的多张场景图像作为候选场景图像，例如，可以选取5张候选场景图像；
[0177]
3)在场景图像的描述子集合d中选出对应于候选场景图像的描述子，并根据标定图像 的描述子与候选场景图像的描述子，对标定图像与候选场景图像进行特征匹配，在这里， 可以设定判断匹配是否成功的条件，例如当特征点匹配数量大于150时判断匹配成功，此时 可以继续执行下一步骤；
[0178]
4)从匹配成功的至少一张候选场景图像中选取匹配数量最大的一张候选场景影像作为 标准场景图像，并根据点云轮廓中每个稀疏点和各场景图像中特征点的对应关系集合h，在 标定场景的点云轮廓ms中找到标准场景图像所对应的空间点集合pi(也即为标定图像对应 的空间点集合)；
[0179]
5)根据空间点集合pi，通过pnp(perspective-n-point)算法计算得到相机的初始位姿；
[0180]
6)对相机的初始位姿进行ba(bundle adjustment)优化，迭代剔除异常点，优化完成 (例如，可以在内点个数大于50时判定优化完成)后，可以确定当前的位姿即为相机的最 优位姿。
[0181]
对所有相机拍摄的所有标定图像执行上述步骤1～6后，即可得到任一相机在拍摄任一 标定图像时的最优位姿，得到相应的最优位姿集合
[0182][0183]
公式(6)为相机位姿集合的详细表述，其中每一项为对应的相机在对应的设备位姿上 进行拍摄时的最优位姿所组成的集合。
[0184]
s606：根据每个激光雷达对应的至少一帧点云帧，对每个激光雷达进行位姿注册，得 到多个激光雷达各自的最优位姿。
[0185]
激光雷达的位姿注册可以采用标定场景的稠密点云轮廓md。具体地，在本技术的实施 例中，可以针对任一激光雷达lm采集的每一帧标定点云帧执行以下步骤。其中，m＝[0,1] 表示不同的激光雷达。
[0186]
1)根据对应的激光雷达在采集该标定点云帧时的大致位姿，在标定场景的稠密点云轮廓中确定一个能够覆盖该激光雷达的采集范围的区域，并采用蒙特卡罗定位法(例如，可以设定粒子位移间隔为0.2m，姿态间隔为5
°
)估算出激光雷达对应于该区域的x个第一候选位姿，进而确定对应于x个第一候选位姿的x个第一候选点云帧；
[0187]
2)对每个第一候选点云帧与标定点云帧进行正态分布变换(normaldistributiontransformation，ndt)配准(例如，可以设定体素为5cm，网格分辨率为2cm，最小转换差异为0.1)，在多个第一候选点云帧中确定匹配误差最小的y个(例如，y＝5)第一候选点云帧作为第二候选点云帧，从而确定对应于该y个第二候选点云帧的y个第一候选位姿为第二候选位姿；
[0188]
3)针对5个第二候选位姿，分别使用迭代最近点(iterativeclosestpoint，icp)算法进行精细化处理(例如，可以采用结合点到线与点到面两种度量方式(pointtoline+pointtoplane)进行误差度量)，从而获取其中匹配误差最小的第二候选位姿作为激光雷达的最优位姿。
[0189]
对所有激光雷达采集的所有标定点云帧执行上述步骤1)～3)后，即可得到任一激光雷达在采集任一标定点云帧时的最优位姿，进而得到相应的最优位姿集合其中，k＝[1,3]表示不同的设备位姿。
[0190][0191]
公式(7)为激光雷达位姿集合的详细表述，其中每一项为对应的激光雷达在对应的设备位姿上进行扫描时的最优位姿所组成的集合。
[0192]
s607：以多个相机中的第一相机的坐标系为基准，根据每个相机和每个激光雷达的最优位姿，计算每个相机和每个激光雷达的标定外参。
[0193]
可选地，在计算每个传感器的标定外参之前，还可以先对每个相机和每个激光雷达的最优位姿进行进一步优化，得到每个相机和每个激光雷达的最终位姿。例如可以如公式(8)所示，通过最优化的方式分别计算各传感器对应于各设备位姿的最终位姿和其中，最终位姿是全局坐标系中的位姿。
[0194][0195]
示例性地，本技术实施例中以第一相机c0作为主传感器，因此可以将第一相机c0的相机坐标系作为基准，如公式(9)所示，计算第二相机c1、第一激光雷达l0以及第二激光雷达l1在每个设备姿态下的外参
[0196][0197]
可选地，如公式(10)所示，可以对每一组外参再次进行求最优的计算，得到标定外参参完成标定。
[0198][0199]
本技术实施例提供的外参标定方法，通过对标定场景采集双目图像并根据图像中提取的 信息构建标定场景的稀疏点云轮廓进而恢复得到稠密点云轮廓，能够提高点云轮廓的准确度， 并保留标定场景的更丰富的信息以供标定过程使用；在标定过程中，可以基于预先保留的图 像信息确定相机的位姿，有效提高针对相机的位姿的匹配精度，进而提高最终的标定结果精 度；同时，针对激光雷达的位姿，通过根据稠密点云轮廓假设多个候选雷达位姿，能够有效 减轻计算负担，提高匹配效率，同时能够得到更加准确的激光雷达的位姿，进而使得最终的 标定结果更加准确。
[0200]
综上所述，本技术实施例提供了一种创新的外参标定方法，能够对不具有共视区域的多 个传感器实现外参标定，有效提高自主移动设备的设计灵活度以及运行精度；同时，由于可 以避免使用特制的标定物，本技术实施例提供的外参标定方法具有较高的通用性，能够为日 常使用自主移动设备的用户带来极大的便利。
[0201]
示例性装置
[0202]
图8所示为本技术一实施例提供的外参标定装置800的示意图。如图8所示，本技术实 施例提供的外参标定装置800可以包括获取模块810、确定模块820以及标定模块830。
[0203]
其中，获取模块810用于获取相机在标定场景中采集的至少一张标定图像以及激光雷达 在该标定场景中采集的至少一帧标定点云帧，其中，相机与激光雷达固定设置于自主移动设 备上；确定模块820用于根据标定图像与标定场景的点云轮廓确定相机的位姿，并根据标定 点云帧与点云轮廓确定激光雷达的位姿；标定模块830用于根据相机的位姿与激光雷达的位 姿，确定相机和激光雷达的标定外参。
[0204]
其中，确定模块820可以包括相机确定单元和雷达确定单元，其中，相机确定单元可以 用于根据标定图像与标定场景的点云轮廓确定相机的位姿，雷达确定单元可以用于根据标定 点云帧与点云轮廓确定激光雷达的位姿。
[0205]
在一优选的实现方式中，相机确定单元可以用于：确定点云轮廓中与标定图像的多个特 征点相对应的多个空间点，并获取多个空间点的位置信息；根据多个空间点的位置信息，计 算得到相机的位姿。
[0206]
具体地，在确定点云轮廓中与标定图像的多个特征点相对应的多个空间点时，相机确定 单元可以执行如下步骤：在预先对标定场景中不同范围拍摄得到的多张场景图像中，确定与 标定图像之间的相似度满足预设条件的多张候选场景图像；确定多张候选场景图像中包含多 个特征点的候选场景图像为标准场景图像；根据预先确定的多张场景图像的特征点与点云轮 廓中空间点之间的对应关系，确定点云轮廓中与标准场景图像的多个特征点相对应的多个空 间点，作为点云轮廓中与标定图像的多个特征点相对应的多个空间点。
[0207]
相应地，在一优选的实现方式中，在确定激光雷达的位姿时，雷达确定单元可以执行如 下步骤：根据点云轮廓，估算激光雷达的m个第一候选位姿，并确定对应于m个第一候选 位姿的m个第一候选点云帧；将m个第一候选点云帧与标定点云帧进行配准，确定与标定 点云帧最接近的n个第一候选点云帧所对应的n个第一候选位姿作为第二候选位姿；在n个 第二候选位姿中确定匹配误差最小的第二候选位姿作为激光雷达的位姿。
[0208]
本技术实施例提供的外参标定装置，通过利用对标定场景预先构建的点云轮廓，结合自 主移动设备上各传感器在标定场景中分别采集的光学信息，能够直接确定每个传感器的位姿， 进而对多个传感器实现外参标定。通过这种方式，能够对无共视区域的多个传感器实现外参 标定，实现多模态数据的高精度融合，从而能够显著提高自主移动设备的运行精度。
[0209]
可选地，在一实现方式中，至少一张标定图像可以包括多个标定图像集合，至少一帧标 定点云帧可以包括多个标定点云帧集合，其中，多个标定图像集合与多个标定点云帧是当自 主移动设备在标定场景中处于多个设备位姿上时由相机和激光雷达分别采集得到的。
[0210]
在这里，相机确定单元在根据标定图像与标定场景的点云轮廓确定相机的位姿时，可以 执行以下步骤：根据多个标定图像集合与点云轮廓，确定相机的对应于多个设备位姿的多个 第一相机位姿；对多个第一相机位姿进行优化计算得到相机的位姿。并且，雷达确定单元在 根据标定点云帧与点云轮廓确定激光雷达的位姿时，可以执行以下步骤：根据多个标定点云 帧集合与点云轮廓，确定激光雷达的对应于多个设备位姿的多个第一雷达位姿；对多个第一 雷达位姿进行优化计算得到激光雷达的位姿。
[0211]
进一步地，每个标定图像集合可以包括多张标定图像，每个标定点云帧集合可以包括多 帧标定点云帧。
[0212]
在这里，相机确定单元在根据多个标定图像集合与点云轮廓，确定相机的对应于多个设 备位姿的多个第一相机位姿时，可以执行以下步骤：根据多张标定图像与点云轮廓，确定相 机对应于每个设备位姿的多个第二相机位姿；对多个第二相机位姿进行优化计算得到每个第 一相机位姿。并且，雷达确定单元在根据多个标定点云帧集合与点云轮廓，确定激光雷达的 对应于多个设备位姿的多个第一雷达位姿时，可以执行以下步骤：根据多帧标定点云帧与点 云轮廓，确定激光雷达对应于每个设备位姿的多个第二雷达位姿；对多个第二雷达位姿进行 优化计算得到每个第一雷达位姿。
[0213]
本技术实施例提供的外参标定装置，基于一个位置上的多张标定图像，可以得到相机在 该设备位姿上的多个位姿，进而可以通过优化计算得到该设备位姿上的相机的精度更高的位 姿；同理，基于一个设备位姿上的多帧标定点云帧，可以得到激光雷达在该设
备位姿上的多 个位姿，进而可以通过优化计算得到该设备位姿上的激光雷达的精度更高的位姿。如此，在 得到高精度的位姿的基础上，外参标定结果的准确度将得到显著提升。
[0214]
应当理解，关于本实施例所提供的外参标定装置800中各模块的原理、功能、所采用的 数据的特征、针对数据的处理方式，以及所有可选实现方式的技术效果，均可以参考示例性 方法中的相应内容，在此不再一一赘述。
[0215]
图9所示为本技术另一实施例提供的外参标定装置900的示意图。如图9所示，本技术 实施例提供的外参标定装置900还可以包括构建模块940。
[0216]
具体地，构建模块940可以用于采集标定场景的信息以构建点云轮廓。应当理解，构建 模块940可以在确定模块820确定相机的位姿和激光雷达的位姿之前，预先得到标定场景的 点云轮廓，以供确定模块820在执行确定步骤时使用。
[0217]
在一优选的实现方式中，构建模块940可以具体用于：在标定场景中的两个不同位置上 对标定场景进行拍摄，得到两个场景图像集合，其中，每个场景图像集合包括多张场景图像； 根据两个场景图像集合计算得到点云轮廓。
[0218]
本技术实施例所提供的外参标定装置，通过在标定场景的重建阶段采用图像作为重建基 础，能够在恢复得到高质量的点云轮廓的同时，保留标定场景的图像信息，以及图像信息和 点云轮廓之间的关联关系，从而使得在后续对相机进行标定的过程中能够提高标定图像的配 准精度和效率，进而在提高外参标定整体流程的效率的同时，能够大幅提升标定结果的准确 度。
[0219]
应当理解，关于本实施例所提供的外参标定装置900中各模块的原理、功能、所采用的 数据的特征、针对数据的处理方式，以及所有可选实现方式的技术效果，均可以参考示例性 方法中的相应内容，在此不再一一赘述。
[0220]
示例性设备
[0221]
图10所示为本技术实施例提供的自主移动设备1000的示意图。其中，自主移动设备 1000可以是具有自动驾驶功能的交通工具，也可以是具有自主移动功能的机器人等电子设备。
[0222]
如图10所示，该自主移动设备可以包括至少一个相机1010、至少一个激光雷达1020 以及处理器1030。其中，至少一个相机1010可以用于拍摄图像，例如可以在标定场景中采 集标定图像；至少一个激光雷达1020可以用于采集点云帧，例如可以对标定场景进行扫描 以得到标定点云帧。此外，处理器1030可以用于执行本技术上述任一实施例所提供的外参 标定方法，以对至少一个相机1010和至少一个激光雷达1020进行外参标定。
[0223]
在这里，至少一个相机1010可以包括多个相机，且多个相机的采集范围可以不同；同 样的，至少一个激光雷达1020可以包括多个激光雷达，且多个激光雷达的采集范围也可以 不同。也就是说，基于本技术实施例提供的外参标定方法，可以同时对自主移动设备上的多 个不同类型的传感器实现多模态联合标定。
[0224]
图11所示为本技术实施例提供的一种示例性的电子设备1100的示意图。如图11所示， 该电子设备可以包括处理器1110和存储器1120。其中，存储器1120中存储有计算机指令， 处理器1120用于执行计算机指令，以实现如上述任一实施例所提供的外参标定方法。
[0225]
示例性计算机可读存储介质
[0226]
本技术的其他实施例还提供一种计算机可读存储介质，包括存储在其上的计算机
指令， 计算机指令在被处理器执行时，使得处理器执行实现如上述任一实施例所提供的外参标定方 法。
[0227]
可选地，该计算机存储介质可以为任何有形媒介，例如：软盘、cd-rom、dvd、硬 盘驱动器或网络介质等。
[0228]
示例性计算机程序产品
[0229]
本技术的其他实施例还提供一种计算机程序产品，该计算机程序产品中包括指令，当指 令被计算机设备的处理器执行时，能够使得计算机设备执行本技术上述任一实施例所提供的 外参标定方法。
[0230]
本技术中涉及的装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示 必须按照方框图示出的方式进行连接、布置、配制。本领域技术人员可以理解，这些装置、 设备、系统可以按任意方式进行连接、布置、配制。诸如“包含”、“包括”、“具有”等 等的词语是开放性词汇，至“包括但不限于”，且可与其互换使用，除非上下文明确指示不 是如此。这里使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0231]
还需要指出的是，在本技术的装置、设备和方法中，各模块或各步骤是可以分解和/或 重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0232]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对 这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理 可以应用于其他方面而不脱离本技术的范围。因此，本技术并不意图被限制到上述方面，而 是按照与在此公开的原理及新颖的特征一致的最宽范围。
[0233]
以上说明是为了对本技术的技术方案进行例示和描述。此外，此描述并不意图将本技术 的实施例限制在上述公开的形式范围之内。尽管上述内容中已经讨论了多个示例方面和实施 例，但是本领域技术人员可以基于上述内容轻易得到其他变型、修改、改变、添加和子组合。
[0234]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原 则之内，所作的任何修改、等同替换等，均应包含在本技术的保护范围之内。