相机与激光雷达联合标定方法、装置、介质及机器人与流程

1.本发明涉及机器人技术领域，尤其涉及一种相机与激光雷达联合标定方法、装置、介质及机器人。


背景技术：

2.巡逻机器人能够在特定环境下实现对车辆、行人等物体的精确感知。若利用2d图像进行目标检测，则只能得到目标物的像素坐标系，而无法确定目标物在空间中的位置。相比之下，3d目标检测能够根据点云数据、rgb图像和鸟瞰图像等信息，输出空间物体的绝对位置坐标、物体的长宽高尺寸和旋转角度等。这种方式需要事先融合激光雷达点云数据与相机数据，获取带颜色的3d点云数据，从而进行3d目标检测。
3.然而，融合使用激光雷达与相机的首要前提是对激光雷达与相机的空间位置进行联合标定，以保证二者在空间上的坐标统一。现有技术在进行联合标定时，主要采用棋盘标定板，让激光雷达与相机同时看到标定板，然后在雷达点云数据和相机图像数据手动或自动选取多组对应点，计算出相机与激光雷达的外参信息。尽管棋盘标定板为黑白色，然而棋盘格过于密集，不利于区分棋盘格之间的边缘。此外巡逻机器人受限于成本因素，一般搭载的是16线激光雷达，16线激光雷达一次扫描数据点云过于稀疏，无论是手动还是自动选取对应点，均难以挑选出准确的对应点，给联合标定带来较大的误差，降低了联合标定的准确度。


技术实现要素：

4.本发明实施例提供了一种相机与激光雷达联合标定方法、装置、介质及设备，以解决现有技术在进行相机与激光雷达联合标定时存在的误差大、准确度低的问题。
5.一种相机与激光雷达联合标定方法，所述方法包括：
6.获取待标定机器人上的相机采集的图像帧和激光雷达采集的激光点云帧，其中，所述图像帧和激光点云帧均包括预设的联合标定场景的映射信息，所述联合标定场景中包括两个成角度的黑色底面，每一底面以及底面交接处布置一个白色圆形图案；
7.对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的图像坐标，得到图像坐标组；
8.对所述激光点云帧进行反射率分析，获取每一白色圆形图案中心点对应的激光坐标，得到激光坐标组；
9.根据所述图像坐标组和激光坐标组计算图像坐标系与激光坐标系之间的转换关系，实现对相机与激光雷达联合标定。
10.可选地，所述对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的图像坐标，得到图像坐标组包括：
11.遍历所述图像帧中的每一个像素，获取像素值在预设像素阈值范围内的像素；
12.对所获取的像素进行聚类，得到3个像素团，每一个像素团表示一个白色圆形图
案；
13.遍历每一个像素团，计算所述像素团内所有像素的图像坐标的平均值，作为所述像素团所表示的白色圆形图案的中心点对应的图像坐标；
14.组合所有白色圆形图案的中心点对应的图像坐标，得到图像坐标组。
15.可选地，所述预设像素阈值范围为[0,1]。
[0016]
可选地，所述对所述激光点云帧进行反射率分析，获取每一白色圆形图案中心点对应的激光坐标，得到激光坐标组包括：
[0017]
遍历所述激光点云帧中的每一个点云，获取反射率在预设反射率阈值范围内的点云；
[0018]
对所获取的点云进行聚类，得到3个点云团，每一个点云团表示一个白色圆形图案；
[0019]
遍历每一个点云团，计算所述点云团内所有点云的激光坐标的平均值，作为所述点云团所表示的白色圆形图案的中心点对应的激光坐标；
[0020]
组合所有白色圆形图案的中心点对应的激光坐标，得到激光坐标组。
[0021]
可选地，所述预设反射率阈值范围为[120,130]。
[0022]
可选地，所述根据所述图像坐标组和激光坐标组计算图像坐标系与激光坐标系之间的转换关系，实现对相机与激光雷达联合标定包括：
[0023]
将所述激光坐标组中的每一个激光坐标转换为对应的相机坐标，得到相机坐标组；
[0024]
将所述图像坐标组中的每一个图像坐标转换为对应的归一化坐标，得到归一化坐标组；
[0025]
根据所述相机坐标组和归一化坐标组构建外参变量计算等式，求解所述外参变量计算等式，得到图像坐标系与激光坐标系之间的转换关系。
[0026]
可选地，所述根据所述相机坐标组和归一化坐标组构建外参变量计算等式，求解所述外参变量计算等式，得到图像坐标系与激光坐标系之间的转换关系包括：
[0027]
采用投影三角形模型，根据所述相机坐标组和归一化坐标组构建外参变量计算等式；
[0028]
采用吴消元法求解所述等式，得到中间量点坐标组，所述中间量点坐标组中的每一个元素表示一个白色圆形图案的中心点对应的中心量点坐标；
[0029]
利用迭代最近点法配准所述中心量点坐标组和所述相机坐标组，得到图像坐标系与激光坐标系之间的转换关系。
[0030]
一种相机与激光雷达联合标定装置，所述装置包括：
[0031]
获取模块，用于获取待标定机器人上的相机采集的图像帧和激光雷达采集的激光点云帧，其中，所述图像帧和激光点云帧均包括预设的联合标定场景的映射信息，所述联合标定场景中包括两个成角度的黑色底面，每一底面以及底面交接处布置一个白色圆形图案；
[0032]
像素分析模块，用于对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的图像坐标，得到图像坐标组；
[0033]
反射率分析模块，用于对所述激光点云帧进行反射率分析，获取每一白色圆形图
案中心点对应的激光坐标，得到激光坐标组；
[0034]
联合标定模块，用于根据所述图像坐标组和激光坐标组计算图像坐标系与激光坐标系之间的转换关系，实现对相机与激光雷达联合标定。
[0035]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的相机与激光雷达联合标定方法。
[0036]
一种机器人，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的相机与激光雷达联合标定方法。
[0037]
本发明实施例通过获取待标定机器人上的相机采集的图像帧和激光雷达采集的激光点云帧，所述图像帧和激光点云帧均包括预设的联合标定场景的映射信息，所述联合标定场景中包括黑色底面，底面上布置有若干个白色圆形图案；对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的像素坐标，得到图像坐标组；对所述激光点云帧进行反射率分析，获取每一白色圆形图案中心点对应的激光坐标，得到激光坐标组；根据所述图像坐标组和激光坐标组计算激光坐标系与图像坐标系之间的转换关系，实现对相机与激光雷达联合标定；从而解决了现有棋盘标定法由于棋盘格边缘难区分、对应点挑选不准确而导致的联合标定误差大的问题，有效地提高了相机与激光雷达联合标定的鲁棒性和精度。
附图说明
[0038]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1是本发明一实施例提供的相机与激光雷达联合标定方法的实现流程图；
[0040]
图2(a)是本发明一实施例提供的激光雷达坐标系示意图；图2(b)是本发明一实施例提供的相机坐标系和图像坐标系示意图；
[0041]
图3是本发明一实施例提供的投影三角形模型示意图；
[0042]
图4是本发明一实施例提供的相机与激光雷达联合标定装置的示意图；
[0043]
图5是本发明一实施例中机器人的一示意图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
现有技术在进行联合标定时，主要采用棋盘标定板，尽管棋盘标定板为黑白色，然而棋盘格过于密集，不利于区分棋盘格之间的边缘；并且16线激光雷达一次扫描数据点云过于稀疏，无论是手动还是自动选取对应点，均难以挑选出准确的对应点，给联合标定带来较大的误差，降低了联合标定的准确度。鉴于此，本发明实施例对相机与激光雷达联合标定
方法进行了优化，通过预设联合标定场景，解决了现有棋盘标定法由于棋盘格边缘难区分、对应点挑选不准确而导致的联合标定误差大的问题，有效地提高了相机与激光雷达联合标定的鲁棒性和精度。
[0046]
在本发明实施例中，所述相机与激光雷达联合标定方法应用于可自主移动导航的机器人。所述机器人上搭载相机、激光雷达。所述激光雷达为低线激光雷达，比如16线激光雷达。
[0047]
以下对本发明实施例提供的相机与激光雷达联合标定方法进行详细的描述。图1为本发明实施例提供的相机与激光雷达联合标定方法。如图1所示，所述相机与激光雷达联合标定方法包括：
[0048]
在步骤s101中，获取待标定机器人上的相机采集的图像帧和激光雷达采集的激光点云帧。
[0049]
其中，所述图像帧和激光点云帧均包括预设的联合标定场景的映射信息，所述联合标定场景中包括两个成角度的黑色底面，每一底面以及底面交接处布置一个白色圆形图案。
[0050]
本发明实施例预先布置好联合标定场景。示例性地，所述黑色底面可以是墙面，所述联合标定场景中包括两面成角度的墙，墙的底色为黑色，在两面墙上以及两面墙中间均布置一个白色圆形图案。所述白色圆形图案可以以贴纸的方式贴在墙面上，直径优选为5厘米。本发明实施例通过选取成角度的黑色底面，使得白色圆形图案在空间上可连成三角形，增加了激光点云帧的空间约束，有利于提高联合标定的准确度。在另一些实施例中，所述黑色底面为木板、塑料黑板等，此处不做限制。
[0051]
在相机采集图像帧和激光雷达采集激光点云帧之前，对于待标定机器人，首先定义其激光雷达坐标系的原点为激光发射中心，向上为z轴正方向，x轴和y轴构成水平平面，其中水平面中以激光发射中心为起点向左为y轴正方向，向前为x轴正方向。如图2(a)所示，l表示激光光束，p(x
l
,y
l
,z
l
)表示激光光速l产生的点云，p'表示点云p(x
l
,y
l
,z
l
)在x轴和y轴所成平面上的投影点。定义其相机坐标系的原点为镜头主光轴中心，向右为x轴正方向，向前为z轴正方向，向下为y轴正方向。图像帧为计算机设备上存储的图片或图像，定义其图像坐标系的原点为图像的左上角，向右为x轴正方向，向下位y轴正方向，单位为像素，因此图像坐标系为二维坐标系，也叫像素坐标。图2(b)为本发明实施例提供的相机坐标系和图像坐标系示意图。
[0052]
在坐标系定义完成后，启动巡逻机器人，调整位置朝向，使得所有白色圆形图案都在激光雷达和相机的视角范围内，启动相机采集一张图像帧。
[0053]
启动巡逻机器人的即时定位与地图构建(simultaneous localization and mapping，简称slam)程序，控制巡逻机器人在小范围内移动旋转，每次移动保证所有白色圆形图案落在巡逻机器人的相机和激光雷达的视角范围内，启动激光雷达采集一张激光点云帧。
[0054]
通过上述采集方式，所述图像帧和激光点云帧均包括相同的映射信息，即两个成角度的黑色底面，每一底面以及底面交接处布置的一个白色圆形图案。
[0055]
在步骤s102中，对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的图像坐标，得到图像坐标组。
[0056]
其中，所述图像坐标组由所述白色圆形图案中心点对应的图像坐标组成。示例性地，假设在图像帧中，白色圆形图案中心点分别为a、b、c，对应的图像坐标分别为a(ua,va)、b(ub,vb)、c(uc,vc)，则图像坐标组为{a(ua,va)，b(ub,vb)，c(uc,vc)}。
[0057]
可选地，作为本发明的一个优选实例，所述步骤s102包括：
[0058]
在步骤s201中，遍历所述图像帧中的每一个像素，获取像素值在预设像素阈值范围内的像素。
[0059]
在这里，本发明实施例遍历所述图像帧中的所有像素，获取对应的像素值，按照预设像素阈值范围对所述像素进行筛选，得到像素值落在所述预设像素值范围内的像素的坐标信息。在rgb色值空间中，白色的像素值为0，黑色的像素值为255，因此，所述预设像素值范围优选为[0,1]，以筛选出图像帧中的白色像素。
[0060]
在步骤s202中，对所获取的像素进行聚类，得到3个像素团，每一个像素团表示一个白色圆形图案。
[0061]
在通过步骤s201得到图像帧中的白色像素后，按照图像坐标，对所获取的像素进行聚类分析，从而得到3个聚类簇，即像素团。每一个像素团均表示一个白色圆形图案的映射信息。
[0062]
在步骤s203中，遍历每一个像素团，计算所述像素团内所有像素的图像坐标的平均值，作为所述像素团所表示的白色圆形图案的中心点对应的图像坐标。
[0063]
对于一个像素团，获取像素团内所包含的所有像素的坐标信息，分别获取所有像素的x轴坐标求取平均值、获取所有像素的y轴坐标求取平均值，从而得到所述像素团内的像素的图像坐标平均值，作为所述像素团所表示的白色圆形图案的中心点对应的图像坐标。
[0064]
在步骤s204中，组合所有白色圆形图案的中心点对应的图像坐标，得到图像坐标组。
[0065]
遍历每一个像素团，得到每一个像素团内所有像素的图像坐标平均值，作为所述图像帧中的三个白色圆形图案的中心点对应的图像坐标。组合所述像素团对应的图像坐标平均值，从而得到图像坐标组。
[0066]
在步骤s103中，对所述激光点云帧进行反射率分析，获取每一白色圆形图案中心点对应的激光坐标，得到激光坐标组。
[0067]
其中，所述激光坐标组由所述白色圆形图案中心点对应的激光坐标组成。示例性地，在激光点云帧中，假设白色圆形图案中心点分别为a、b、c，对应的激光坐标分别为a(xa,ya,za)、b(xb,yb,zb)、c(xc,yc,zc)，则激光坐标组为{a(xa,ya,za)、b(xb,yb,zb)、c(xc,yc,zc)}。
[0068]
可选地，作为本发明的一个优选实例，所述步骤s103包括：
[0069]
在步骤s301中，遍历所述激光点云帧中的每一个点云，获取反射率在预设反射率阈值范围内的点云。
[0070]
其中，激光雷达的工作原理是以激光作为信号源，由激光器发射出脉冲激光打到树木、道路、桥梁和建筑物等物体上，然后光波会反射到激光雷达的接收器上，形成激光点云帧。物体的颜色决定了反射强度，根据反射强度可得到物体的反射率。因此，通过反射率可以筛选出物体的颜色。
[0071]
在这里，本发明实施例遍历所述激光点云帧中的所有点云，获取对应的反射率，按
照预设反射率阈值范围对所述点云进行筛选，得到点云的反射率落在所述预设反射率阈值范围内的点云及其激光坐标信息。其中，不同激光雷达在白色材质物体上的激光反射率可能不一样，但是白色材质物体的反射率和黑色材质物体的反射率具有极明显的区别。本发明实施例采用激光雷达反射率125表示白色材质，反射率1表示黑色材质。因此，所述预设反射率阈值范围优选为[120,130]，以筛选出激光点云帧中的白色点云，获取白色点云的激光坐标。
[0072]
在步骤s302中，对所获取的点云进行聚类，得到3个点云团，每一个点云团表示一个白色圆形图案。
[0073]
在通过步骤s301得到激光点云帧中的白色点云后，按照激光坐标，对所获取的点云进行聚类分析，从而得到3个聚类簇，即点云团。每一个点云团均为一个白色圆形图案的映射信息，是白色圆形图案在激光坐标系中的扫描重建。
[0074]
在步骤s303中，遍历每一个点云团，计算所述点云团内所有点云的激光坐标的平均值，作为所述点云团所表示的白色圆形图案的中心点对应的激光坐标。
[0075]
对于一个点云团，获取点云团内所包含的所有点云的激光坐标信息，分别求取x轴激光坐标值的平均值、y轴激光坐标值的平均值、z轴激光坐标值的平均值，从而得到所述点云团内的激光坐标平均值，作为所述点云团所表示的白色圆形图案的中心点对应的激光坐标。
[0076]
在步骤s304中，组合所有白色圆形图案的中心点对应的激光坐标，得到激光坐标组。
[0077]
遍历每一个点云团，得到每一个点云团对应的激光坐标平均值，即所述激光点云帧中的三个白色圆形图案的中心点对应的激光坐标。组合所述点云团对应的激光坐标平均值，从而得到激光坐标组。
[0078]
在步骤s104中，根据所述图像坐标组和激光坐标组计算图像坐标系与激光坐标系之间的转换关系，实现对相机与激光雷达联合标定。
[0079]
在这里，本发明实施例将白色圆形图案的中心点对应的激光坐标变换到相机坐标，然后将白色圆形图案的中心点对应的图像坐标变换到激光坐标，根据变换后的相机坐标和激光坐标进行配准，从而得到相机到激光坐标的变换关系，即相机的外参，实现对相机和激光雷达的联合标定。
[0080]
可选地，作为本发明的一个优选实例，步骤s104还包括：
[0081]
在步骤s401中，将所述激光坐标组中的每一个激光坐标转换为对应的相机坐标，得到相机坐标组。
[0082]
在这里，本发明实施例获取激光坐标与相机坐标之间的转换矩阵。根据激光雷达坐标系的定义和相机坐标系的定义，可以得到转换矩阵为然后根据所述转换矩阵，将激光坐标转换为相机坐标。以激光点云帧中白色圆形图案中心点a为例，假设激
光坐标为a(xa,ya,za)，转换后的相机坐标为以白色圆形图案中心点b为例，假设激光坐标为b(xb,yb,zb)，转换后的相机坐标为以白色圆形图案中心点c为例，假设激光坐标为c(xc,yc,zc)，转换后的相机坐标为组合相机坐标a
camera
、b
camera
、c
camera
从而得到相机坐标组(a
camera
、b
camera
、c
camera
)。
[0083]
在步骤s402中，将所述图像坐标组中的每一个图像坐标转换为对应的归一化坐标，得到归一化坐标组。
[0084]
在这里，本发明实施例获取图像坐标的投影矩阵，由相机内部参数决定。所述投影矩阵为根据所述转换矩阵，将图像坐标转换为归一化坐标。以图像帧中白色圆形图案中心点a为例，假设图像坐标为a(ua,va)，转换后的归一化坐标为其中，f
x
、fy、u0、v0均为相机内参，f
x
表示图像坐标系下水平方向x的缩放因子，fy表示图像坐标系下竖直方向y的缩放因子，u0表示x方向上相对于图像坐标系原点的平移，v0表示y方向上相对于图像坐标系原点的平移，均为相机出厂固有参数，可以在相机说明书上查询到。同理，以白色圆形图案中心点b为例，假设图像坐标为b(ub,vb)，转换后的归一化坐标为以白色圆形图案中心点c为例，假设图像坐标为c(uc,vc)，转换后的归一化坐标为组合归一化坐标a
～
、b
～
、c
～
从而得到归一化坐标组。
[0085]
在步骤s403中，根据所述相机坐标组和归一化坐标组构建外参变量计算等式，求解所述外参变量计算等式，得到图像坐标系与激光坐标系之间的转换关系。
[0086]
在这里，本发明实施例用一个3*4的矩阵[r|t]来表示相机和激光雷达的外参，包
括了旋转信息r和平移信息t，表达式为
[0087]
可选地，在一实施例中，所述步骤s403包括：
[0088]
在步骤s4031中，采用投影三角形模型，根据所述相机坐标组和归一化坐标组构建外参变量计算等式。
[0089]
如图3所示，为投影三角形模型，其中，o表示相机原点。为了便于理解，本发明实施例采用归一化之后的坐标信息，因此在三角模型中用a～、b
～
、c
～
分别表示图像帧中的白色圆形图案中心点，应当理解其与白色圆形图案中心点a、b、c表示相同的点。a
～
表示白色圆形图案中心点a
～
对应的中间量点，b
～
表示白色圆形图案中心点b
～
对应的中间量点，c
～
表示白色圆形图案中心点c
～
对应的中间量点。所述中间量点是指将白色圆形图案中心点经过预设位姿转换得到的激光坐标点，所述预设位姿存在误差。
[0090]
根据投影三角形模型可以得到外参变量计算等式：
[0091][0092][0093][0094]
其中，o表示相机原点，oa
～
表示相机原点到中间量点a
～
的距离，ob
～
表示相机原点到中间量点b
～
的距离，oc
～
表示相机原点到中间量点c
～
的距离，cos《a
～
,b
～
》表示白色圆形图案中心点a
～
、c
～
连线与白色圆形图案中心点b
～
、c
～
连线的余弦角，cos《b
～
,c
～
》表示白色圆形图案中心点b
～
、a
～
连线与白色圆形图案中心点c～、a～连线的余弦角，cos《a
～
,c
～
》表示白色圆形图案中心点a
～
、b
～
连线与白色圆形图案中心点c
～
、b
～
连线的余弦角。
[0095]
在步骤s4032中，采用吴消元法求解所述等式，得到中间量点坐标组，所述中间量点坐标组中的每一个元素表示一个白色圆形图案的中心点对应的中心量点坐标。
[0096]
通过吴消元法求解上述方程，从而得到中间量点a
～
、b
～
、c
～
的激光坐标，组合所述中间量点a
～
、b
～
、c～从而得到中间量点坐标组(a
～
、b
～
、c
～
)。
[0097]
在步骤s4033中，利用迭代最近点法配准所述中心量点坐标组和所述相机坐标组，得到图像坐标系与激光坐标系之间的转换关系。
[0098]
根据步骤s401得到的相机坐标组(a
camera
、b
camera
、c
camera
)和所述中间量点坐标组(a
～
、b
～
、c
～
)，由于所述相机坐标为白色圆形图案在相机坐标系下的映射，所述中间量点坐标为白色圆形图案在给定激光坐标系下的映射，因此根据点云配准法中的迭代最近点法(iterative closest point，简称icp)可以构建变换等式：求解变换等式，从而得到图像坐标系到激光坐标系之间的转换关系[r|t]，即相机和激光雷达的外参，完成相机和激光雷达的联合标定。
[0099]
综上所述，本发明实施例通过预设联合标定场景，解决了现有棋盘标定法由于棋盘格边缘难区分、对应点挑选不准确而导致的联合标定误差大的问题，有效地提高了相机
与激光雷达联合标定的鲁棒性和精度，实现了稀疏16线激光雷达与相机的准确标定。
[0100]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0101]
在一实施例中，本发明还提供一种相机与激光雷达联合标定装置，该相机与激光雷达联合标定装置与上述实施例中相机与激光雷达联合标定方法一一对应。如图4所示，该相机与激光雷达联合标定装置包括获取模块41、像素分析模块42、反射率分析模块43、联合标定模块44。各功能模块详细说明如下：
[0102]
获取模块41，用于获取待标定机器人上的相机采集的图像帧和激光雷达采集的激光点云帧，其中，所述图像帧和激光点云帧均包括预设的联合标定场景的映射信息，所述联合标定场景中包括两个成角度的黑色底面，每一底面以及底面交接处布置一个白色圆形图案；
[0103]
像素分析模块42，用于对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的图像坐标，得到图像坐标组；
[0104]
反射率分析模块43，用于对所述激光点云帧进行反射率分析，获取每一白色圆形图案中心点对应的激光坐标，得到激光坐标组；
[0105]
联合标定模块44，用于根据所述图像坐标组和激光坐标组计算图像坐标系与激光坐标系之间的转换关系，实现对相机与激光雷达联合标定。
[0106]
可选地，所述像素分析模块42包括：
[0107]
第一获取单元，用于遍历所述图像帧中的每一个像素，获取像素值在预设像素阈值范围内的像素；
[0108]
第一聚类单元，用于对所获取的像素进行聚类，得到3个像素团，每一个像素团表示一个白色圆形图案；
[0109]
第一计算单元，用于遍历每一个像素团，计算所述像素团内所有像素的图像坐标的平均值，作为所述像素团所表示的白色圆形图案的中心点对应的图像坐标；
[0110]
第一组合单元，用于组合所有白色圆形图案的中心点对应的图像坐标，得到图像坐标组。
[0111]
可选地，所述预设像素阈值范围为[0,1]。
[0112]
可选地，所述反射率分析模块43包括：
[0113]
第二获取模块，用于遍历所述激光点云帧中的每一个点云，获取反射率在预设反射率阈值范围内的点云；
[0114]
第二聚类模块，用于对所获取的点云进行聚类，得到3个点云团，每一个点云团表示一个白色圆形图案；
[0115]
第二计算模块，用于遍历每一个点云团，计算所述点云团内所有点云的激光坐标的平均值，作为所述点云团所表示的白色圆形图案的中心点对应的激光坐标；
[0116]
第二组合模块，用于组合所有白色圆形图案的中心点对应的激光坐标，得到激光坐标组。
[0117]
可选地，所述预设反射率阈值范围为[120,130]。
[0118]
可选地，所述联合标定模块44包括：
[0119]
第一转换单元，用于将所述激光坐标组中的每一个激光坐标转换为对应的相机坐标，得到相机坐标组；
[0120]
第二转换单元，用于将所述图像坐标组中的每一个图像坐标转换为对应的归一化坐标，得到归一化坐标组；
[0121]
联合标定单元，用于根据所述相机坐标组和归一化坐标组构建外参变量计算等式，求解所述外参变量计算等式，得到图像坐标系与激光坐标系之间的转换关系。
[0122]
可选地，所述联合标定单元包括：
[0123]
等式构建子单元，用于采用投影三角形模型，根据所述相机坐标组和归一化坐标组构建外参变量计算等式；
[0124]
等式求解子单元，用于采用吴消元法求解所述等式，得到中间量点坐标组，所述中间量点坐标组中的每一个元素表示一个白色圆形图案的中心点对应的中心量点坐标；
[0125]
配准子单元，用于利用迭代最近点法配准所述中心量点坐标组和所述相机坐标组，得到图像坐标系与激光坐标系之间的转换关系。
[0126]
关于相机与激光雷达联合标定装置的具体限定可以参见上文中对于相机与激光雷达联合标定方法的限定，在此不再赘述。上述相机与激光雷达联合标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0127]
在一个实施例中，提供了一种机器人，其内部结构图可以如图5所示。该机器人包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该机器人的处理器用于提供计算和控制能力。该机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该机器人的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相机与激光雷达联合标定方法。
[0128]
在一个实施例中，提供了一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0129]
获取待标定机器人上的相机采集的图像帧和激光雷达采集的激光点云帧，其中，所述图像帧和激光点云帧均包括预设的联合标定场景的映射信息，所述联合标定场景中包括两个成角度的黑色底面，每一底面以及底面交接处布置一个白色圆形图案；
[0130]
对所述图像帧进行像素分析，获取每一白色圆形图案中心点对应的图像坐标，得到图像坐标组；
[0131]
对所述激光点云帧进行反射率分析，获取每一白色圆形图案中心点对应的激光坐标，得到激光坐标组；
[0132]
根据所述图像坐标组和激光坐标组计算图像坐标系与激光坐标系之间的转换关系，实现对相机与激光雷达联合标定。
[0133]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可
包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0134]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0135]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。