基于位姿传感器的三维扫描系统的标定方法及其标定系统

1.本发明涉及计算机视觉技术领域，特别涉及一种基于位姿传感器的三维扫描系统的标定方法及其标定系统。


背景技术：

2.长久以来，对真实物体几何尺寸的精确测量主要采用依赖于游标卡尺、千分尺、角度尺等测量工具的接触式人工测量方式，而这种测量方式无法测量形状不规则的物体表面，并且对于文物古迹等要求非接触的测量对象也存在技术瓶颈。
3.随着计算机视觉技术的发展以及新技术新需求的驱动，三维扫描系统成为非接触式测量的重要手段，被广泛应用于工业设计领域的辅助制造与检验、医疗领域的手术定位与康复、游戏娱乐领域的实景建模与仿真以及考古领域的遗址保护与复原等。
4.三维扫描系统在进行数据采集与三维模型重构时，需要实时获知三维扫描系统自身的位置和角度变化，从而将扫描数据融合至同一坐标系下，实现被扫描物体的三维重构，目前现有的三维扫描系统实时获知自身位置和角度变化的几种方法如下：
5.1、在被扫描物体上粘贴标志点，则三维扫描系统可以实时获取标志点的三维空间坐标，而标志点相对被扫描物体是不动的，因此可以实时推算出三维扫描系统相对初始状态的位置和角度变化，实现三维扫描系统相对被扫描物体位置和角度变化的实时获取；该方法为目前三维扫描系统主要使用的方法，该方法定位精度高、实时性好，但在被扫描物体表面粘贴外来物，对扫描物体表面有一定程度的影响，会缺失被标志点覆盖的表面数据，特别对一些不允许表面粘贴的物品，更将无法完成扫描；
6.2、在三维扫描系统的外部结构上设计复杂的编码结构、编码图案等特征，同时设立一个固定的外部双目采集定位系统，用以识别三维系统的外部结构上的特征，从而计算得到三维扫描系统的位置和角度，在使用时，三维扫描系统需要始终工作于外部双目采集定位系统的视场范围内；该方法同样可以实现较高的定位精度和实时性，但复杂的编码结构、编码图案等特征的加入，高精度的外部双目采集定位系统，大大增加了设备成本，并且使用过程引入场地因素影响，整个系统需要更大的使用空间。
7.现有较好的方法为在三维扫描系统中加入位姿传感器，位姿传感器可以实时输出自身当前位置和角度数据，该位置和角度数据如果能被三维扫描系统使用，那么在扫描过程中便可以通过位姿传感器实时获知自身位置和角度变化，而位姿传感器输出位置和角度数据能够被三维扫描系统使用的前提，是位姿传感器坐标系与三维扫描系统中相机坐标系之间转换关系的标定。


技术实现要素：

8.本发明的目的是为了克服现有技术的缺陷，提出了一种基于位姿传感器的三维扫描系统的标定方法及其标定系统。
9.为实现上述目的，本发明采用以下具体技术方案：
10.本发明提出的基于位姿传感器的三维扫描系统的标定方法，其中三维扫描系统包括：相机组和位姿传感器；
11.相机组用于对待测目标进行扫描和成像；位姿传感器用于实时输出自身在三维空间中的位置和角度数据；相机组与位姿传感器保持位置和角度相对固定；相机组包括至少两台相机；
12.该标定方法包括如下步骤：
13.s1、设立并固定标定板；针对每一台相机分别建立相机坐标系，并任选相机组中任意一台相机为基准相机，以基准相机的相机坐标系为基准相机坐标系；建立标定板坐标系、位姿传感器坐标系和世界坐标系；
14.s2、移动基于位姿传感器的三维扫描系统，使得相机组及位姿传感器与标定板的相对位置和/或相对角度发生变化，相对位置和/或相对角度每改变一次，相机组对标定板拍摄一次标定板图像，同时位姿传感器输出自身在三维空间中的位置和角度数据，记为位姿数据；标定板图像与位姿数据组成一组标定数据；
15.s3、重复步骤s2，获取n组标定数据；
16.s4、根据n组标定数据中的n个标定板图像，相机组进行内部标定，获得相机各自的内部参数、畸变系数及外部参数；
17.s5、根据基准相机以及相机组中其它相机的外部参数，计算得到基准相机坐标系与其它相机的相机坐标系之间的变换关系，将其它相机的相机坐标系统一至基准相机坐标系，并采用newton迭代法或lm迭代法，将基准相机分别与其它相机进行标定参数全局优化；
18.s6、根据n组标定数据以及基准相机坐标系与其它相机的相机坐标系之间的变换关系，并结合标定板坐标系和世界坐标系，计算得到基准相机坐标系与位姿传感器坐标系之间的变换关系，完成基于位姿传感器的三维扫描系统的标定。
19.优选地，建立世界坐标系的过程如下：以位姿传感器输出的三维空间坐标与角度都为0的位置点作为世界坐标系的原点；世界坐标系的x轴、y轴和z轴分别平行于位姿传感器坐标系的x轴、y轴和z轴。
20.优选地，n≥10。
21.优选地，在相机组对标定板拍摄标定板图像时，标定板处于相机组的景深范围内，且处于相机组的公共视场中。
22.优选地，标定板上设有已知位置的特征点；标定板图像为包括特征点的图像；
23.在步骤s4中，相机组进行内部标定的过程如下：根据n组标定数据中的n个标定板图像，相机组中多台相机分别提取n个标定板图像中的特征点的二维图像坐标，根据已知的特征点在标定板坐标系下的三维坐标，利用张正友标定法，完成相机组中多台相机各自的自身标定，获得多台相机各自的内部参数、畸变系数及外部参数。
24.优选地，在步骤s5中，根据基准相机以及相机组中其它相机的外部参数，计算基准相机坐标系与其它相机的相机坐标系之间的变换关系的过程如下：
25.基准相机的一组外部参数包含旋转矩阵r1和平移矩阵t1，相机组中任意一台相机的一组外部参数包含旋转矩阵r 2
和平移矩阵t2，根据公式：计算得
到基准相机坐标系与该台相机的相机坐标系之间的变换关系，其中r和t分别为变换关系中的旋转矩阵和平移矩阵。
26.优选地，在步骤s6中，计算基准相机坐标系与位姿传感器坐标系之间的变换关系的过程包括如下步骤：
27.s601、计算得到标定板坐标系到基准相机坐标系的变换矩阵，同时计算得到位姿传感器坐标系到世界坐标系的变换矩阵；其中，
28.针对每一组标定数据，均根据三角测量原理计算得到特征点在基准相机坐标系下的空间坐标，结合已知的特征点在标定板坐标系下的三维坐标，计算得到标定板坐标系到基准相机坐标系的变换矩阵
cam
h
cal
，其中，左上标cam代表基准相机坐标系，右下标cal代表标定板坐标系；同时，根据同一组标定数据中的位姿数据以及世界坐标系与位姿传感器坐标系之间的对应关系，计算得出位姿传感器坐标系到世界坐标系的变换矩阵
world
h
sensor
，其中，左上标world代表世界坐标系，右下标sensor代表位姿传感器坐标系；
29.s602、根据n组标定数据，任取两个标定数据为一对，建立个变换等式，求解变换等式，得到基准相机坐标系与位姿传感器坐标系之间的转换矩阵，确定基准相机坐标系与位姿传感器坐标系之间的变换关系。
30.优选地，在步骤s602中，计算基准相机坐标系与位姿传感器坐标系之间的变换关系的过程如下：
31.标定板坐标系到基准相机坐标系的变换矩阵
cam
h
cal
，通过基准相机坐标系到位姿传感器坐标系的变换矩阵
sensor
h
cam
以及位姿传感器坐标系到世界坐标系的变换矩阵
world
h
sensor
的两次变换，变换成标定板坐标系到世界坐标系的变换矩阵
world
h
cal
，变换过程写成如下等式形式：
32.world
h
cal
＝
world
h
sensor
·
sensor
h
cam
·
cam
h
cal
，
33.其中，变换矩阵
sensor
h
cam
的左上标sensor代表位姿传感器坐标系，右下标cam代表基准相机坐标系，变换矩阵
world
h
cal
的左上标world代表世界坐标系，右下标cal代表标定板坐标系；
34.针对每一对标定数据，建立两组不同的变换过程，并将两组变换过程联立，获得如下式所示的变换等式：
[0035][0036]
其中，i∈[1，n
‑
1]，j∈[i+1，n]；
[0037]
进一步整理得到：
[0038][0039]
其中，是变换矩阵的逆矩阵，是变换矩阵的逆矩阵；
[0040]
令
[0041]
x＝
sensor
h
cam
，则个变换等式变为如下形式的方程组：
[0042]
a
·
x＝x
·
b；
[0043]
求解a
·
x＝x
·
b方程组中的x，计算得出基准相机坐标系与位姿传感器坐标系之间的转换矩阵。
[0044]
本发明提出的基于位姿传感器的三维扫描系统的标定系统，包括：存储器和处理器；存储器存储有代码，处理器被配置为获取代码，并执行本发明提出的基于位姿传感器的三维扫描系统的标定方法。
[0045]
本发明能够取得以下技术效果：
[0046]
1、本发明方法实现了三维扫描系统中多目相机的联合优化标定，以及基准相机坐标系与位姿传感器坐标系之间的变换关系标定；
[0047]
2、本发明方法通过位姿传感器实时获知的三维扫描系统自身位置和角度，避免了三维扫描系统在扫描过程中在被扫描物体表面粘贴标志点或者设置外部定位系统的复杂行为；
[0048]
3、本发明方法在一次性采集完足够多的标定板图像和位姿传感器数据后，便可快速完成三维扫描系统中多目相机的标定以及多目相机与位姿传感器之间坐标系变换关系的标定。
附图说明
[0049]
图1是根据本发明实施例的基于位姿传感器的三维扫描系统的标定方法的流程图；
[0050]
图2是根据本发明实施例的基于位姿传感器的三维扫描系统的结构示意图。
[0051]
其中的附图标记包括：基准相机1、位姿传感器2、其他相机3、标定板4。
具体实施方式
[0052]
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
[0053]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
[0054]
下面结合图1到图2对本发明的具体工作方式进行详细说明：
[0055]
图2示出了在本发明的一个实施例中，基于位姿传感器的三维扫描系统的具体结构(p1和p2代表采样时相机组的两个不同位置)。
[0056]
本发明提出一种基于位姿传感器的三维扫描系统的标定方法，如图2所示，其中基于位姿传感器的三维扫描系统包括：相机组和位姿传感器2；
[0057]
相机组用于对待测目标进行扫描和成像；相机组包括至少两台相机。
[0058]
如图2所示，在本发明的一个实施例中，相机组包括两台相机(p1和p2代表采样时相机组的两个不同位置)。
[0059]
位姿传感器2用于实时输出自身在三维空间中的位置和角度数据。通常位姿传感器2输出的数据为位姿传感器坐标系在世界坐标系下的位置和角度，也就是三维空间坐标和欧拉角，三维空间坐标是位姿传感器坐标系到世界坐标系的平移矩阵，通过欧拉角转换旋转矩阵的变换公式，得到位姿传感器坐标系到世界坐标系的旋转矩阵，二者共同构成位姿传感器坐标系到世界坐标系的变换矩阵。
[0060]
相机组与位姿传感器2保持位置和角度的相对固定。
[0061]
在本发明的一个实施例中，相机组与位姿传感器2通过具体机械结构来固定，保持了位置和角度的相对固定。
[0062]
在本发明的一个实施例中，位姿传感器2包含三轴陀螺仪、三轴加速度计；在本发明的一个另实施例中，位姿传感器2包含三轴电子罗盘、三轴速度计等运动传感器。
[0063]
需要说明的是：在本发明中，位姿传感器2的安装位置不限于图2中所示的位置，位姿传感器2的安装位置可根据实际使用需求情况灵活设置；例如，位姿传感器2的安装位置可以是相机组的上方位置，也可以是在相机组中任意两个相机的中间位置。
[0064]
图1示出了基于位姿传感器的三维扫描系统的标定方法具体流程；
[0065]
如图1所示，本发明提出的基于位姿传感器的三维扫描系统的标定方法，包括如下步骤：
[0066]
s1、设立并固定标定板4；针对每一台相机分别建立相机坐标系，并任选相机组中任意一台相机为基准相机1，以基准相机1的坐标系为基准相机坐标系；建立标定板坐标系、位姿传感器坐标系和世界坐标系。
[0067]
标定板4用于辅助扫描以及获取相机组中各台相机的内部参数及畸变系数等参数。
[0068]
在本发明中，基准相机1选定任意一台相机即可，没有任何选定基准相机1的要求。在本发明中，选定不同的基准相机1对本发明的计算结果及准确度没有影响。
[0069]
建立世界坐标系的过程如下：以位姿传感器2输出的三维空间坐标与角度都为0的位置点为世界坐标系的原点，以分别平行于位姿传感器坐标系的x轴、y轴和z轴的方向为世界坐标系的x轴、y轴和z轴。
[0070]
值得说明的是：在本发明中，标定板坐标系、相机坐标系、位姿传感器坐标系，都是直角坐标系；
[0071]
标定板坐标系的设定不唯一，可以是以标定板4一角为坐标原点，垂直于标定板4平面为z轴方向，以标定板4的一条边设定为x轴方向，以另一条边根据右手定则设定y轴方向；
[0072]
相机坐标系以光心为坐标原点，光轴为z轴建立，通常相机坐标系x轴y轴设定为与ccd的x轴y轴平行；
[0073]
位姿传感器坐标系以传感器中心为坐标原点，垂直于传感器的安装平面的法线设定为z轴，在安装平面满足右手定则设定x轴和y轴；
[0074]
在本发明中，除相机坐标系设定是本领域公认的，且通常将相机的光心设为原点以外，其它坐标系具体设定在哪，并不具体影响本发明的效果，只要这些坐标系存在，且使用过程中能够给出坐标系下的数据参考即可。
[0075]
s2、移动基于位姿传感器的三维扫描系统，使得相机组及位姿传感器2与标定板4
的相对位置和/或相对角度发生变化，相对位置和/或相对角度每改变一次，相机组对标定板4拍摄一次标定板图像，同时位姿传感器2输出自身在三维空间中的位置和角度数据，记为位姿数据；标定板图像与位姿数据组成一组标定数据。
[0076]
在相机组对标定板4拍摄标定板图像时，标定板4处于相机组的景深范围内，且处于相机组的公共视场中，保证了相机组拍摄的标定板图像的清晰度，同时采集的标定数据越多，标定的结果越精确。
[0077]
标定板4上设有已知位置的特征点；标定板图像中包括特征点的图像。
[0078]
值得注意的是，相机组及位姿传感器2与标定板4的相对位置和/或相对角度发生变化的具体意思如下：相机组及位姿传感器2与标定板4的相对位置发生变化、相机组及位姿传感器2与标定板4的相对角度发生变化、相机组及位姿传感器2与标定板4的相对位置和相对角度发生变化，在以上三种情况下，相机组均可对标定板4拍摄一次标定板图像；因此在本发明中，相机组及位姿传感器2与标定板4的相对位置和相对角度的改变是随意的，不是两者一定都要改变才可以拍摄一次标定板图像。
[0079]
s3、重复步骤s2，获取n组标定数据；n不小于10。
[0080]
s4、根据n组标定数据中的n个所述标定板图像，相机组进行内部标定，获得相机各自的内部参数、畸变系数及外部参数。
[0081]
在步骤s4中，相机组进行内部标定的过程如下：根据n组标定数据中的n个标定板图像，多台相机分别提取n个标定板图像中的特征点的二维图像坐标，根据已知的特征点在标定板坐标系下的三维坐标，利用张正友标定法(现有技术)，多台相机各自完成自身标定，获得多台相机各自的内部参数、畸变系数及外部参数。
[0082]
s5、根据基准相机1以及其它相机的外部参数，计算得到基准相机坐标系与其它相机坐标系之间的变换关系，将其它相机坐标系统一至基准相机坐标系，并采用newton迭代法(现有技术)或lm迭代法(现有技术)，将基准相机1分别与其它相机进行标定参数全局优化。
[0083]
标定参数全局的优化一方面提高了相机的内部参数、畸变系数的精度，另一方面也提高了基准相机坐标系与其它相机坐标系之间转换关系的准确性。
[0084]
在步骤s5中，计算基准相机坐标系与其它相机坐标系之间变换关系的过程如下：
[0085]
根据n组标定数据中的n个标定板图像，得到n组基准相机坐标系以及其它相机坐标系对于标定板坐标系的旋转平移矩阵；
[0086]
基准相机1的一组外部参数包含旋转矩阵r1和平移矩阵t1，相机组中任意一台其他相机3的一组外部参数包含旋转矩阵r 2
和平移矩阵t2，根据公式：计算得到基准相机坐标系与另一台其他相机3坐标系之间的变换关系，其中r和t分别为所述变换关系中的旋转矩阵和平移矩阵；
[0087]
以此类推计算得到基准相机坐标系与全部其它相机坐标系之间变换关系。
[0088]
s6、根据n组标定数据以及基准相机坐标系与其它相机坐标系之间的变换关系，计算得到基准相机坐标系与位姿传感器坐标系之间的变换关系，完成基于位姿传感器的三维扫描系统的标定。
[0089]
在步骤s6中，计算基准相机坐标系与位姿传感器坐标系之间的变换关系的过程包括如下步骤：
[0090]
s601、计算得到标定板坐标系到基准相机坐标系的变换矩阵，同时计算得到位姿传感器坐标系到世界坐标系的变换矩阵；
[0091]
针对每一组标定数据，均根据三角测量原理(现有技术)计算得到特征点在基准相机坐标系下的空间坐标，结合已知的特征点在标定板坐标系下的三维坐标，计算得到标定板坐标系到基准相机坐标系的变换矩阵
can
h
cal
，其中，左上标cam代表基准相机坐标系，右下标cal代表标定板坐标系；同时，根据同一组标定数据中的位姿数据以及世界坐标系与位姿传感器坐标系之间的数学关系，计算得出位姿传感器坐标系到世界坐标系的变换矩阵
world
h
sensor
，其中，左上标world代表世界坐标系，右下标sensor代表位姿传感器坐标系；
[0092]
s602、根据n组标定数据，任取两个标定数据为一对，建立个变换等式，求解变换等式，得到基准相机坐标系与位姿传感器坐标系之间的转换矩阵，确定基准相机坐标系与位姿传感器坐标系之间的变换关系；
[0093]
具体计算过程如下：
[0094]
标定板坐标系到基准相机坐标系的变换矩阵
cam
h
cal
，通过基准相机坐标系到位姿传感器坐标系的变换矩阵
sensor
h
cam
以及位姿传感器坐标系到世界坐标系的变换矩阵
world
h
sensor
的两次变换，变换成标定板坐标系到世界坐标系的变换矩阵
world
h
cal
，变换过程写成如下等式形式：
[0095]
world
h
cal
＝
world
h
sensor
·
sensor
h
cam
·
cam
h
cal
，
[0096]
其中，变换矩阵
sensor
h
cam
的左上标sensor代表位姿传感器坐标系，右下标cam代表基准相机坐标系，变换矩阵
world
h
cal
的左上标world代表世界坐标系，右下标cal代表标定板坐标系；
[0097]
针对每一对标定数据，建立两组不同的变换过程，并将两组变换过程联立，获得如下式所示的变换等式：
[0098][0099]
其中，i∈[1，n
‑
1]，j∈[i+1，n]；
[0100]
进一步整理得到：
[0101][0102]
其中，是变换矩阵的逆矩阵，是变换矩阵的逆矩阵；
[0103]
令
[0104]
x＝
sensor
h
cam
，则个变换等式变为如下形式的方程组：
[0105]
a
·
x＝x
·
b；
[0106]
求解a
·
x＝x
·
b方程组中的x，计算得出基准相机坐标系与位姿传感器坐标系之间的转换矩阵。
[0107]
计算得到基于位姿传感器的三维扫描系统中基准相机坐标系与位姿传感器坐标系之间的转换矩阵，完全确定了三维扫描系统中相机组与位姿传感器的坐标系变换关系，使得在三维扫描系统工作中，可以精确快速的通过位姿传感器2实时得出自身位置和角度，避免了三维扫描系统在扫描过程中需要在被扫描物体表面粘贴标志点或者设置外部定位系统。
[0108]
关于a
·
x＝x
·
b方程组中的x的求解，有如下很多经典的解算方法(现有技术)：
[0109]
1、旋转和平移分步法求解包括：y.c.shiu和s.ahmad的方法calibration of wrist
‑
mounted robotic sensors by solving homogeneous transform equations of the form ax＝xb，r.y.tsai和r.k.lenz的方法a new technique for fully autonomous and efficient 3d robotics hand/eye calibration，f.c.park和b.j.martin的方法robot sensor calibration:solving ax＝xb on the euclidean group等；
[0110]
2、旋转和平移同时计算法求解包括：n.andreff,r.horaud,b.espiau的方法on
‑
line hand
‑
eye calibration，k.daniildis和e.bayro
‑
corrochano的方法the dual quaternion approach to hand
‑
eye calibration等。
[0111]
需要说明的是，以上方法均可根据实际具体的需要，灵活运用于本发明方法中。
[0112]
本发明提出的基于位姿传感器的三维扫描系统的标定系统，包括：存储器和处理器；存储器存储有代码，处理器被配置为获取代码，并执行本发明提出的基于位姿传感器的三维扫描系统的标定方法。
[0113]
综上所述，本发明提出了一种基于位姿传感器的三维扫描系统的标定方法及其标定系统，本发明可实现三维扫描系统中位姿传感器2与相机系统的变换关系标定，使三维扫描系统可通过位姿传感器2实时获知自身位置和角度，进而使三维扫描系统在扫描过程中不必在被扫描物体表面粘贴标志点或者设置外部定位系统。
[0114]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0115]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
[0116]
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。