基于双目相机和惯性导航的结构光扫描测量方法及系统

1.本发明涉及双目相机及结构光的三维测量技术领域，特别是涉及基于双目相机和惯性导航的结构光扫描测量方法及系统。


背景技术：

2.三维扫描技术随着科学技术和工业的不断发展得到了人们的关注，在制造业、逆向工程等领域有着广泛的应用。其中结构光扫描测量技术使用最为频繁，但由于结构光扫描范围有限，需要将扫描数据进行后续拼接，使得测量精度下降。
3.因此，随着计算机视觉技术的飞速发展，当前多选用视觉传感器与结构光传感器相结合的方法提高三维测量的精度及测量效率，视觉传感器能够对结构光的姿态进行识别，从而实现将结构光扫描数据进行后续拼接。但这种基于单传感器的测量方法，仍存在容易产生结构光位姿检测精度较低的问题。


技术实现要素：

4.本发明的目的是提供基于双目相机和惯性导航的结构光扫描测量方法及系统，可降低测量中的累积误差，提高结构光位姿检测精度。
5.为实现上述目的，本发明提供了如下方案：
6.一种基于双目相机和惯性导航的结构光扫描测量方法，包括：
7.对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系；
8.通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点；
9.针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；
10.通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；
11.对各所述单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据，完成结构光扫描测量。
12.可选地，所述通过所述结构光传感器对被测物进行扫描，获取所述被测物在所述光平面坐标系下的轮廓数据点，之前还包括：
13.将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参；
14.根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置；
15.根据所述位置分别获取所述相机坐标系与所述平面靶标坐标系间的第二变换矩
阵、所述相机坐标系与所述光平面坐标系间的第三变换矩阵、所述惯性导航坐标系与所述光平面坐标系间的第五变换矩阵；
16.通过所述第二变换矩阵和所述第三变换矩阵获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵。
17.可选地，所述将所述双目相机和所述惯性导航进行联合标定，获取所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参，具体包括：
18.固定所述双目相机和所述惯性导航间的相对位置，通过双目相机对不同位姿下的高精度棋盘格标定板进行拍摄，获取标定图片，根据所述标定图片确定所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵、相机内参、相机外参。
19.可选地，所述根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置，具体包括：
20.使所述双目相机相对所述结构光传感器固定放置；
21.将所述平面靶标和所述惯性导航均固定于所述结构光传感器上；
22.所述平面靶标与所述结构光传感器通过特制连接件固定连接。
23.可选地，所述第二变换矩阵的获取方法具体包括：
24.在平面靶标上设置五个圆形标志点，获取所述平面靶标坐标系下的所述圆形标志点三维坐标，并对所述圆形标志点进行排序；
25.根据所述位置建立图像像素坐标系；
26.通过所述双目相机对所述平面靶标进行拍摄，提取所述双目相机中包含平面靶标信息的区域，对经所述排序后的每个所述圆形标志点轮廓进行像素提取，获取所述图像像素坐标系下的标志点质心像素坐标；
27.根据所述标志点质心像素坐标，利用三角测量法获取所述相机坐标系下的所述圆形标志点三维坐标；
28.根据所述平面靶标坐标系下的所述圆形标志点三维坐标和所述相机坐标系下的所述圆形标志点三维坐标，获取所述第二变换矩阵。
29.可选地，所述五个圆形标志点在所述平面靶标上呈t字状分布，且每相邻两个所述圆形标志点之间间距相同。
30.可选地，所述第三变换矩阵的获取方法具体包括：
31.将立体靶标作为所述被测物置于所述结构光传感器下，使所述结构光传感器的光条与所述立体靶标棱线相交于非共线的四点上，获取所述光平面坐标系下的所述立体靶标四点三维坐标；
32.通过所述双目相机对所述立体靶标和所述结构光传感器进行拍摄，提取所述双目相机中包含立体靶标和光条信息的区域，对所述立体靶标四点进行像素提取，获取所述相机坐标系下的所述立体靶标四点像素坐标；
33.根据所述立体靶标四点像素坐标，利用三角测量法获取所述相机坐标系下的所述立体靶标四点三维坐标；
34.根据所述光平面坐标系下的所述立体靶标四点三维坐标和所述相机坐标系下的所述立体靶标四点三维坐标，获取所述第三变换矩阵。
35.可选地，所述第一三维坐标的获取方法具体包括：利用所述第二变换矩阵和所述
第四变换矩阵，将所述轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下。
36.可选地，所述第二三维坐标的获取方法具体包括：利用所述第一变换矩阵和所述第五变换矩阵，将所述轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下。
37.一种基于双目相机和惯性导航的结构光扫描测量系统，包括：
38.坐标系建立单元，用于对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得双目相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系，并通过所述结构光传感器对被测物进行连续扫描；
39.轮廓获取单元，用于获取所述光平面坐标系下被测物的多组轮廓数据点；
40.坐标系变换单元，用于针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；
41.数据优化融合单元，用于通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；
42.整体拟合单元，对各单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据。
43.根据本发明提供的具体实施例，本发明公开了以下技术效果：
44.本发明通过将双目相机与惯性导航相结合对结构光传感器位姿进行检测，在对被测物进行扫描后，通过光平面坐标系—平面靶标坐标系—相机坐标系和光平面坐标系—惯性导航坐标系—相机坐标系两条路径同时获取被测物轮廓数据，并利用卡尔曼滤波器将上述数据进行整体拟合，解决了多传感器测量会产生冗余数据的缺陷，从而提高了结构光传感器位姿检测精度，且通过多次连续扫描，还能进一步提高被测物局部轮廓扫描数据点精度，进而提高了后续数据拼接的精度，实现结构光位姿检测精度的提高。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明基于双目相机和惯性导航的结构光扫描测量方法的相机坐标系示意图；
47.图2为本发明基于双目相机和惯性导航的结构光扫描测量方法的平面靶标坐标系示意图；
48.图3为本发明基于双目相机和惯性导航的结构光扫描测量方法的光平面坐标系示意图；
49.图4为本发明基于双目相机和惯性导航的结构光扫描测量方法的惯性导航坐标系示意图；
50.图5为本发明基于双目相机和惯性导航的结构光扫描测量方法的平面靶标标志点顺序示意图；
51.图6为本发明基于双目相机和惯性导航的结构光扫描测量方法的光平面与立体靶
标棱线相交的四点示意图；
52.图7为本发明基于双目相机和惯性导航的结构光扫描测量方法的逻辑流程示意图；
53.图8为本发明基于双目相机和惯性导航的结构光扫描测量方法的流程示意图；
54.图9为本发明基于双目相机和惯性导航的结构光扫描测量系统的模块结构示意图。
55.符号说明：1-坐标系建立单元，2-轮廓获取单元，3-坐标系变换单元，4
‑ꢀ
数据优化融合单元，5-整体拟合单元。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.本发明的目的是提供一种基于双目相机和惯性导航的结构光扫描测量方法及系统，通过对结构光传感器的位姿检测数据进行优化融合，降低测量中的累积误差，提高结构光位姿检测精度。
58.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
59.如图1-图9所示，本发明基于双目相机和惯性导航的结构光扫描测量方法包括：
60.步骤100：对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系。
61.步骤200：通过所述结构光传感器对被测物进行连续扫描，获取所述被测物在所述光平面坐标系下的多组轮廓数据点。
62.步骤300：针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标。
63.步骤400：通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据。
64.步骤500：对各所述单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据，完成结构光扫描测量，从而提高了三维重建的精度。
65.其中在步骤100中，相机坐标系o
c-xcyczc是以双目相机中左相机光心为坐标原点oc，光轴为zc，xc轴与yc轴平行于图像物理坐标系的x轴和y轴(具体如图2所示)。如图3所示，平面靶标坐标系o
t-x
tytzt
的建立以中间圆形标志点形心为坐标原点o
t
，x
t
轴与y
t
轴相互垂直且与平面靶标平行，z
t
垂直于平面靶标。如图4所示，光平面坐标系o
l-x
lylzl
中，虚线部分为结构光传感器内部激光器发射激光并被内部接收器接收示意图，实线部分为有效测量范围，以有效范围的中心为坐标原点o
l
，x
l
轴与y
l
轴相互垂直且与结构光光平面共面， z
l
垂直于光平面。如图5所示，惯性导航坐标系o
m-xmymzm以惯性导航重心为坐标原点om，xm轴与ym轴相互垂直且与惯性导航上表面平行，zm垂直于惯性导航上表面。
66.除此之外，为便于后续计算，还需建立图像像素坐标系和图像物理坐标系，其中图像像素坐标系o
o-uv坐标原点在图像平面的左上角，u轴平行于图像平面水平向右，v轴垂直于u轴向下，坐标使用(u,v)来表示；图像物理坐标系坐标原点在图像平面的中心，x轴和y轴分别平行于图像像素坐标系的坐标轴，坐标使用(x,y)来表示。
67.在进行步骤200之前，还需获取用于各坐标系转换的变换矩阵。
68.首先，固定所述双目相机和所述惯性导航间的相对位置，将所述双目相机和所述惯性导航进行联合标定，通过双目相机对不同位姿下的高精度棋盘格标定板进行拍摄，获取标定图片，根据张正友标定法原理并利用matlab内自带的标定工具箱即可通过所述标定图片确定所述相机坐标系与所述惯性导航坐标系间的第一变换矩阵[r
0 t0]、相机内参、相机外参。
[0069]
其次，根据所述相机内参和所述相机外参固定所述双目相机、所述平面靶标、所述结构光传感器、所述惯性导航的位置。
[0070]
所述位置的放置方法具体为：使所述双目相机相对所述结构光传感器固定放置；将所述平面靶标和所述惯性导航均固定于所述结构光传感器上；所述平面靶标与所述结构光传感器通过特制连接件固定连接。
[0071]
上述各器件之间的位置关系是为了保证使双目相机视野能同时拍摄到平面靶标和立体靶标，以及将立体靶标放置在结构光传感器的有效扫描范围内，能够使结构光传感器光条与立体靶标的四条棱线相交。
[0072]
再次，根据所述位置分别获取所述相机坐标系与所述平面靶标坐标系间的第二变换矩阵[r
1 t1]、所述相机坐标系与所述光平面坐标系间的第三变换矩阵 [r
2 t2]、所述惯性导航坐标系与所述光平面坐标系间的第五变换矩阵[r
4 t4]。
[0073]
最后，通过所述第二变换矩阵[r
1 t1]和所述第三变换矩阵[r
2 t2]，获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵[r
3 t3]。
[0074]
其中，所述第二变换矩阵的获取方法具体包括以下五个步骤。
[0075]
第一步，在平面靶标上设置五个圆形标志点，所述五个圆形标志点在所述平面靶标上呈t字状分布，且每相邻两个所述圆形标志点之间间距相同，获取所述平面靶标坐标系下的所述圆形标志点三维坐标(x
ti
,y
ti
,z
ti
)，并对所述圆形标志点进行排序，排布顺序如图6所示。
[0076]
第二步，根据所述位置建立图像像素坐标系。
[0077]
第三步，通过所述双目相机对所述平面靶标进行拍摄，通过yolov3算法提取所述双目相机中包含平面靶标信息的roi区域，并利用matlab对经所述排序后的每个所述圆形标志点轮廓进行像素提取，获取双目相机中左右相机下的经排序后的圆形标志点像素坐标(u
cli
,v
cli
)和(u
cri
,v
cri
)。
[0078]
第四步，根据所述标志点质心像素坐标，根据三角测量法，利用matlab 自带函数triangulate，可得所述相机坐标系下的所述圆形标志点三维坐标中的 z
ci
。在得到相机坐标系下的z
ci
后，根据公式(1)即可得到该像素点在相机坐标系下的x
ci
和y
ci
，进而获取所述相机坐标系下的所述圆形标志点三维坐标 (x
ci
,y
ci
,z
ci
)。
[0079][0080]
其中，(u
ci
,v
ci
)为像素坐标；(x
ci
,y
ci
,z
ci
)为相机坐标系下的坐标；k为相机内参；s为尺度因子；f为相机焦距。
[0081]
第五步，根据所述平面靶标坐标系下的所述圆形标志点三维坐标 (x
ti
,y
ti
,z
ti
)和所述相机坐标系下的所述圆形标志点三维坐标(x
ci
,y
ci
,z
ci
)，获取所述第二变换矩阵[r
1 t1]。
[0082]
所述第三变换矩阵的获取方法具体包括以下四个步骤。
[0083]
第一步，将立体靶标作为所述被测物置于所述结构光传感器下，使所述结构光传感器的光条与所述立体靶标棱线相交于非共线的四点上。四点确定光平面信息的冗余结构设计提高了计算精度，与传统二维靶标相比只需标定一次便能求解出光平面信息，并且不用对立体靶标的位置进行特殊固定，只需保证光条与四条棱线相交即可。结构光传感器扫描立体靶标在光平面坐标系下的轮廓坐标，获取所述光平面坐标系下的所述立体靶标四点三维坐标(x
li
,y
li
,z
li
)，如图7所示。
[0084]
第二步，通过所述双目相机对所述立体靶标和所述结构光传感器进行拍摄，提取所述双目相机中包含立体靶标和光条信息的roi区域，对所述立体靶标四点进行像素提取，获取所述双目相机的左右相机坐标系下的所述立体靶标四点像素坐标，获得(u
cli
,v
cli
)和(u
cri
,v
cri
)。
[0085]
第三步，根据所述立体靶标四点像素坐标，根据三角测量法，利用 matlab自带函数triangulate，可得所述相机坐标系下的所述立体靶标四点三维坐标中的z
ci
。
[0086]
根据式(1)可解算出这光条与立体靶标棱线相交四个点在相机坐标系下三维坐标中的(x
ci
,y
ci
)，进而获取所述相机坐标系下的所述立体靶标四点三维坐标(x
ci
,y
ci
,z
ci
)。
[0087]
第四步，根据所述光平面坐标系下的所述立体靶标四点三维坐标 (x
li
,y
li
,z
li
)和所述相机坐标系下的所述立体靶标四点三维坐标(x
ci
,y
ci
,z
ci
)，利用 svd奇异值分解法即可获取所述第三变换矩阵[r
2 t2]。
[0088]
所述第四变换矩阵的获取方法具体包括：根据公式(2)获取所述平面靶标坐标系与光平面坐标系之间的第四变换矩阵[r
3 t3]；
[0089][0090]
所述第五变换矩阵的获取方法具体包括：由于惯性导航与结构光传感器固定在一起，即相对位置固定且已知，可得惯性导航坐标系与光平面坐标系间的第五变换矩阵[r
4 t4]。
[0091]
经上运算，获取了所述第一变换矩阵[r
0 t0]，第二变换矩阵[r
1 t1]，第三变换矩阵[r
2 t2]，第四变换矩阵[r
3 t3]，第五变换矩阵[r
4 t4]。
[0092]
在步骤300中，所述第一三维坐标的获取方法具体包括：利用所述第二变换矩阵[r
1 t1]和所述第四变换矩阵[r
3 t3]，根据公式(3)将所述轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得三维坐标
[0093][0094]
所述第二三维坐标的获取方法具体包括：利用所述第一变换矩阵和所述第五变换矩阵，根据公式(4)将所述轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得三维坐标
[0095][0096]
通过公式(3)和公式(4)，结构光传感器单次扫描被测物轮廓数据点可以分别经由平面靶标坐标系和惯性导航坐标系得到两组变换至相机坐标系下的被测物轮廓数据点三维坐标和
[0097]
在步骤400中，所述卡尔曼滤波器的算法迭代公式具体包括：
[0098]
x(q|q-1)＝a(q)x(q-1)
ꢀꢀ
(5)；
[0099]
p(q|q-1)＝a(q)p(q-1)a(q)
t
+b(q)q(q)b(q)
t
ꢀꢀ
(6)；
[0100]
x(q)＝x(q|q-1)+h(q)[y(q)-c(q)x(q|q-1)]
ꢀꢀ
(7)；
[0101]
h(q)＝p(q|q-1)c(q)
t
[c(q)p(q|q-1)c(q)
t
+r(q)]-1
ꢀꢀ
(8)；
[0102]
p(q)＝[i-h(q)c(q)]p(q|q-1)
ꢀꢀ
(9)；
[0103]
其中，x(q)表示在q时刻经由惯性导航坐标系变换得到的相机坐标系下被测物轮廓数据点a(q)和b(q)表示转移矩阵(由卡尔曼滤波器决定)，q(q) 表示噪声矩阵，r(q)表示测量噪声矩阵，y(q)表示在q时刻经由平面靶标坐标系变换得到的相机坐标系下被测物轮廓数据点p(q)表示协方差矩阵； h(q)表示卡尔曼增益矩阵；c(q)表示状态变量和测量量间的转换矩阵；i表示单位矩阵。
[0104]
如图9所示，本发明基于双目相机和惯性导航的结构光扫描测量系统，包括坐标系
建立单元1、轮廓获取单元2、坐标系变换单元3、数据优化融合单元4、整体拟合单元5。
[0105]
具体地，所述坐标系建立单元1用于对双目相机、平面靶标、结构光传感器、惯性导航分别建立坐标系，获得双目相机坐标系、平面靶标坐标系、光平面坐标系、惯性导航坐标系，并通过所述结构光传感器对被测物进行连续扫描；所述轮廓获取单元2用于获取所述光平面坐标系下被测物的多组轮廓数据点；所述坐标系变换单元3用于针对每组轮廓数据点，将所述组轮廓数据点经所述平面靶标坐标系变换至所述相机坐标系下，获得第一三维坐标；将所述组轮廓数据点经所述惯性导航坐标系变换至所述相机坐标系下，获得第二三维坐标；数据优化融合单元4，用于通过卡尔曼滤波器对所述第一三维坐标和所述第二三维坐标进行数据优化融合，获得单次扫描被测物轮廓数据；整体拟合单元5，用于对各单次扫描被测物轮廓数据进行整体拟合，获得所述被测物的整体拟合轮廓数据。
[0106]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0107]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。