一种线共焦三维轮廓测量方法、系统、装置及介质

1.本发明涉及三维轮廓测量技术领域，尤其是一种线共焦三维轮廓测量方法、系统、装置 及介质。


背景技术：

2.三维轮廓测量技术在工业、生物医学以及娱乐等领域有广泛的应用。条纹投影轮廓术是 一种常用的三维轮廓测量技术，具有非接触性、全场、高精度等优点。它利用投影仪产生结 构条纹图案编码物体的三维轮廓信息，然后从另一个角度通过相机记录物体被结构光条纹编 码后的图像，最后利用计算机解码相机采集的编码图像，获取物体的三维轮廓数据。但是， 利用条纹投影轮廓术的测量结果依赖于采集的条纹图像的对比度。当测量半透明物体时，光 会透过半透明物体表面进入物体内部散射，导致条纹图像的对比度差；当测量表面光滑且强 反射物体时，例如表面光滑金属物体，表面容易产生定向反射，相机拍摄的图像存在局部过 曝或者过暗，也会导致条纹图像的对比度差。因此，条纹投影轮廓术难于在测量半透明物体 和金属等强定向反射物体的三维轮廓。
3.为了解决半透明物体和金属等强定向反射物体的三维面形测量难题，相关技术中提出了 并行单像素成像技术，该技术方案中将相机每个像素点作为单像素探测器，利用单像素成像 原理和双目立体视觉方法重建物体的三维轮廓，但这种方法与点扫描共焦传感器类似，需要 上万次扫描测量才能重建物体的三维轮廓，成像效率低。
4.除此之外，相关技术中为了解决半透明物体和金属等强定向反射物体的三维轮廓测量难 题，还提出过一种线光谱共焦传感器，该传感器通过光学色散原理建立距离与波长间的对应 关系，再利用光谱仪解码光谱信息，从而获得位置信息，但这种线光谱共焦传感器一次只能 获得物体的一条截线轮廓，如需获取物体的三维轮廓，还需要使用机械扫描装置在与线垂直 的方向对物体进行扫描多次测量，并且光谱共焦技术对彩色物体的测量也有局限。


技术实现要素：

5.有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于一种线共焦三维 轮廓测量方法，解决测量半透明物体和金属等强定向反射物体的三维轮廓时存在的问题；与 此同时，本技术技术方案还提供能够对应实现该方法的系统、装置及计算机可读写的存储介 质。
6.一方面，本技术技术方案提供了一种线共焦三维轮廓测量方法，方法包括以下步骤：
7.探测并生成待测物体的若干一维曲线；
8.将所述若干一维曲线根据行像素坐标进行排列得到光条图像；
9.提取所述光条图像的列像素坐标，根据所述列像素坐标构建得到列向量；
10.将所述列向量进行排列得到第一矩阵；
11.根据所述第一矩阵，通过结构光三角测量得到所述待测物体的三维轮廓。
12.在本技术方案的一种可行的实施例中，所述探测并生成待测物体的若干一维曲线这一步 骤，包括：
13.生成傅里叶基底图案；
14.将所述傅里叶基底图案投影至所述待测物体表面，并获取投影后的调制图像；
15.从所述调制图像中提取得到一维光强序列，根据所述一维光强序列重建得到所述一维曲 线。
16.在本技术方案的一种可行的实施例中，所述提取所述光条图像的列像素坐标，根据所述 列像素坐标构建得到列向量这一步骤，包括：
17.确定所述光条图像中灰度最大值像素，得到所述灰度最大值像素的列像素坐标；
18.根据所述灰度最大像素生成第一向量，根据所述列像素坐标生成第二向量；
19.从所述第二向量中提出所述第一向量对应的像素坐标值，得到所述列向量。
20.在本技术方案的一种可行的实施例中，在将所述列向量进行排列得到第一矩阵这一步骤 之后，所述测量方法包括：
21.计算得到所述第一矩阵在行方向上的第一导数，计算得到所述第一矩阵在列方向上的一 阶导数；
22.根据所述一阶导数以及所述第二导数剔除所述第一矩阵中的第一离群点；
23.通过插值计算得到剔除第一离群点后的目标数值。
24.在本技术方案的一种可行的实施例中，所述根据所述第一矩阵，通过结构光三角测量得 到所述待测物体的三维轮廓这一步骤，包括：
25.根据参考平面物体获取参考相位；
26.根据所述第一矩阵中的元素以及所述参考相位确定相位差；
27.根据相位与深度的映射关系，通过所述相位差确定所述待测物体的深度，根据所述深度 构建得到所述三维轮廓。
28.在本技术方案的一种可行的实施例中，所述根据参考平面物体获取参考相位这一步骤， 包括：
29.生成变频正弦条纹图案，所述条纹图案在竖直方向上存在相移；
30.将所述条纹图案投影至所述参考平面物体，记录所述参考平面物体被所述条纹图案调制 后得到的条纹图像；
31.根据所述条纹图像确定所述参考相位。
32.在本技术方案的一种可行的实施例中，在提取所述光条图像的列像素坐标，根据所述列 像素坐标构建得到列向量这一步骤之前，所述测量方法包括：
33.剔除所述光条图像中的第二离群点。
34.另一方面，本技术技术方案还提供了一种线共焦三维轮廓测量系统，包括：
35.物体探测单元，用于探测并生成待测物体的若干一维曲线；
36.图像处理单元，用于将所述若干一维曲线根据行像素坐标进行排列得到光条图像；
37.数据运算单元，用于提取所述光条图像的列像素坐标，根据所述列像素坐标构建得到列 向量；将所述列向量进行排列得到第一矩阵；
38.轮廓生成单元，用于根据所述第一矩阵，通过结构光三角测量得到所述待测物体的三维 轮廓。
39.另一方面，本发明的技术方案还提供一种线共焦三维轮廓测量装置，其包括：
40.至少一个处理器；
41.至少一个存储器，用于存储至少一个程序；
42.当至少一个程序被至少一个处理器执行，使得至少一个处理器运行如前面所述的一种线 共焦三维轮廓测量方法。
43.另一方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序， 处理器可执行的程序在由处理器执行时用于运行如前面所述的一种线共焦三维轮廓测量方法。
44.本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体 实施方式了解得到：
45.本技术的技术方案首先生成待测物体的一维曲线，并根据一维曲线行像素坐标进行排列 得到光条图像，进而根据光条图像的列像素坐标构建得到列向量，将列向量排列形成矩阵， 根据矩阵通过结构光三角测量得到待测物体的三维轮廓；本技术技术方案具有更好的抗散射 能力，能够重建半透明物体的三维轮廓，而采用传统方法重建的结果信噪比差，可以解决半 透明物体和金属物体的三维测量难题，准确地重建半透明物体和金属等强定向反射物体的三 维轮廓。
附图说明
46.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本发明实施例提供的一种线共焦三维轮廓测量方法的步骤流程图；
48.图2是本发明实施例中投影仪投影的傅里叶基图案的示意图；
49.图3是本发明实施例三维轮廓测量中半透明的被测对象的示意图；
50.图4是本发明实施例中相机像素点记录的一维光强序列的示意图；
51.图5是本发明实施例中根据一维光强序列重建的一维曲线a
358
的示意图；
52.图6是本发明实施例中利用相机第106列像素点重建的光条图像；
53.图7是本发明实施例中提取光条的中心得到的一维曲线b
106
的示意图；
54.图8是本发明实施例中将相机所有列像素点获取的光条中心曲线组合成矩阵的示意图；
55.图9是本发明实施例重建后得到的三维结果的示意图；
56.图10是通过条纹投影轮廓术重建的三维结果的示意图。
具体实施方式
57.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似 的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图
描述的实施 例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步 骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步 骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
58.针对前述背景技术中所指出的相关技术中所存在的不足和缺陷，本技术技术方案提供了 一种线共焦三维轮廓测量方法，方案能够解决测量半透明物体和金属等强定向反射物体的三 维轮廓时存在的问题；一方面，如图1所示，本技术的实施例提供了一种线共焦三维轮廓测 量方法，方法包括步骤s100-s500：
59.s100、探测并生成待测物体的若干一维曲线；
60.s200、将若干一维曲线根据行像素坐标进行排列得到光条图像；
61.需要说明的是，实施例中进行线共焦三维轮廓测量过程所依靠的硬件设备包括但不限于 投影仪、相机以及计算机，其中，投影仪和相机的光轴相交，投影仪和相机都与计算机连接， 通过计算机控制投影仪和相机工作。
62.具体在实施例中，首先通过相机拍摄到的包含有待测物体的图像，将该图像的像素第一 列的每个像素点作为单像素探测器重建待测物体的一条一维曲线，然后将这些一维曲线按像 素点的行坐标排列，得到一幅光条图像i
lb
。
63.s300、提取光条图像的列像素坐标，根据列像素坐标构建得到列向量；
64.具体在实施例中，根据步骤s200得到的光条图像，实施例再从其中提取光条中的列像 素坐标，组成列向量b1；进一步地，实施例中针对相机拍摄图像的其他列像素点，可以采用 相同方法得到光条图像，提取光条中心的列像素坐标，依次组建列向量其中i＝1,2,
…
,tc,tc表示相机的列像素数。
65.在一些可以选择的实施例中，方法在步骤s300提取光条图像的列像素坐标，根据列像 素坐标构建得到列向量这一过程之前，可以包括步骤s210：
66.s210、剔除光条图像中的第二离群点；
67.具体在实施例中，在组成列向量b1之前，实施例首先剔除光条图像i
lb
中的离群点；示例 性地，实施例中的离群点可以是指噪声点，例如，超过局部中位数绝对偏差的三倍的点。需 要说明的是，本技术方案中的第一离群点、第二离群点其本质上是相同的噪声误差数据，第 一、第二的描述只是对其属于不同处理过程的区分。
68.s400、将列向量进行排列得到第一矩阵；
69.具体在实施例中，将步骤s300中得到的列向量从左到右排列，构成 矩阵m，并剔除矩阵m中的离群点异常点，利用矩阵m中剩余点的值插值计算离群点的值。
70.s500、根据第一矩阵，通过结构光三角测量得到待测物体的三维轮廓；
71.具体在实施例中，根据矩阵m中的值，通过结构光三角测量原理获得待测物体三维轮廓； 其中，结构光测量中为了获取物体的三维信息；步骤的基本思想是利用结构光照明中的几何 信息帮助提供景物中的几何信息，根据相机，结构光，物体之间的几何关系，来确定物体的 三维信息。
72.在一些可以选择的实施例中，方法步骤s100探测并生成待测物体的若干一维曲线这一 步骤，其可以包括步骤s110-s130：
73.s110、生成傅里叶基底图案；
74.具体在实施例中，首先利用计算机生成一组傅里叶基底图案：p1、p2、
…
、pn，这些傅 里叶基图案的空间频率f
x
＝0，fy＝0；每幅图案的像素数为s
p
×
t
p
，s
p
×
t
p
表示 每幅傅里叶基图案由s
p
行和t
p
列像素组成，s
p
和t
p
为整数。例如，实施例中傅里叶单像素成 像采用三步相移算法，则n＝3j-1，其中j为整数，它的取值范围是
75.s120、将傅里叶基底图案投影至待测物体的表面，并获取投影后的调制图像；
76.具体在实施例中，实施例在步骤s110之后，利用投影仪将这些图案依次投影到待测物 体表面，相机依次拍摄待测物体被傅里叶基底图案调制后形成的图像每幅 图像的大小为(sc×
tc)像素，并存储于计算机内，每幅图像对应投影仪投影的一幅傅里叶基 底图案。
77.s130、从调制图像中提取得到一维光强序列，根据一维光强序列重建得到一维曲线；
78.具体在实施例中，从步骤s120中得到系列图像中，提取第一列具有相同 像素坐标的像素点记录的光强值，组成一维光强序列，第一列有sc个像素点可以组成sc个一 维光强序列。根据提取得到的一维光强序列，采用单像素成像原理，重建一条一维曲线，sc个一维光强序列共重建获得sc条曲线：其中k＝1,2,
…
,sc， 每条曲线的采样点数为t
p
。
79.进一步地，实施例中构建得到的光条图像i
lb
，其图像的大小为sc×
t
p
，将重建的一维曲 线分别放在图像i
lb
中的第1,2,
…
,sc行。
80.在一些可以选择的实施例中，方法步骤s300提取光条图像的列像素坐标，根据列像素 坐标构建得到列向量这一过程，可以包括步骤s310-s330：
81.s310、确定光条图像中灰度最大值像素，得到灰度最大值像素的列像素坐标；
82.s320、根据灰度最大像素生成第一向量，根据列像素坐标生成第二向量；
83.具体在实施例中，利用灰度重心法确定光条图像中每一行灰度的最大值和最大值所在的 列像素坐标，将提取的最大值组成向量a1，同时将最大值所在的列像素坐标组成向量b1；其 中，灰度重心法的过程如下：先确定光条图像中每一行灰度最大值的像素坐标，然后以最大 值的像素坐标为中心，选取这一行该像素点周围一定范围内的点，计算灰度中心。进一步地， 计算向量a1中离群点的像素坐标un。
84.s330、从第二向量中提出第一向量对应的像素坐标值，得到列向量；
85.具体在实施例中，将向量b1中像素坐标为un的值剔除；然后根据向量b1中剩余点的值插 值计算向量b1在像素坐标为un的值。
86.在一些可以选择的实施例中，方法在步骤s400将列向量进行排列得到第一矩阵这一过 程之后，还可以包括步骤s410-s430：
87.s410、计算得到第一矩阵在行方向上的第一导数，计算得到第一矩阵在列方向上的一阶 导数；
88.具体在实施例中，首先实施例分别计算矩阵m在行和列方向的一阶导数，记为dr、dc。
89.s420、根据一阶导数以及第二导数剔除第一矩阵中的第一离群点；
90.s430、通过插值计算得到剔除第一离群点后的目标数值；
91.具体在实施例中，根据步骤s410中的得到的一阶导数dr和dc剔除矩阵m中的离群点 然后根据矩阵m中的剩余点的值，插值计算矩阵m在离群点的的值。
92.在一些可以选择的实施例中，方法步骤s500根据第一矩阵，通过结构光三角测量得到 待测物体的三维轮廓这一过程，其可以包括步骤s510-s530：
93.s510、根据参考平面物体获取参考相位；
94.s520、根据第一矩阵中的元素以及参考相位确定相位差；
95.s530、根据相位与深度的映射关系，通过相位差确定待测物体的深度，根据深度构建得 到三维轮廓；
96.示例性地，在一实施例中通过步骤s100-s400的步骤获取的矩阵m的行、列像素数与相 机获取的图像的行、列像素数相等，矩阵m中每个元素(u,v)与相机一个像素点(uc,vc)对应， 元素(u,v)的值e(u,v)表示相机像素点(uc,vc)在投影仪的投影平面上的对应点的列像素坐标。 因此，根据矩阵m的值，利用结构光三角测量原理可以重建待测物体的三维轮廓。实施例以 结构光三角测量原理中常用的位相-深度映射关系为例，举例说明如何根据矩阵m的值重建 待测物体的三维轮廓：
97.具体在实施例中，将矩阵m中每个元素(u,v)的值e(u,v)代入公式具体在实施例中，将矩阵m中每个元素(u,v)的值e(u,v)代入公式计算得到相位差其中表示通过参考平面物体获取的相位，p表示获取 时投影条纹的最小节距。可通过如下步骤获得：将一平面物体放置在相机的景深范围 某一位置，利用计算机生成一组竖直方向的相移、变频正弦条纹图案，条纹的最小周期为p， 然后通过投影仪将这些条纹图案依次投影到平面物体上，相机依次记录平面物体被条纹调制 后的图像，接着利用条纹相位分析方法以及时域相位解包裹方法处理相机记录的条纹图像， 获得
98.更进一步地，实施例利用相位-深度映射关系，通过相位求得待测物体的深度 z(u,v)。在实施例中，位相-深度映射关系为：
[0099][0100]
其中，表示相机像素点(u,v)获取的相位差，系数a(u,v)和b(u,v)表示与测量系 统有关的参数，可通过标定方法提前确定。
[0101]
根据附图3至附图10，以完整的实施例对本技术技术方案进行详细的介绍说明。其中， 图3为被测对象；图4为相机像素点(358，106)记录的一维光强序列；图5为根据相机像 素点(358，106)记录的一维光强序列，重建的一维曲线，记为a
358
；图6为实施例利用相 机第106列像素点重建的光条图像，记为i
lb
；图7为提取光条的中心得到的一维曲线，记为 b
106
；图8为将相机所有列像素点获取的光条中心曲线组合成矩阵m；图9为根据图8利用 本发明所提方法重建的三维结果；图10为利用传统条纹投影轮廓术重建的三维结果。
[0102]
具体在这一实施例中，被测对象为一玉佛雕塑，如图3所示。我们首先通过计算机产生 一组空间频率f
x
＝0,fy＝0的傅里叶基图案，如图2所示，实施例中的傅
里叶 基图案的像素数是1024
×
1024，采用基于四步相移的傅里叶单像素成像方法，总共需要 408幅图像；然后利用投影仪将这408幅傅里叶基图案依次投影到待测物体表面，同时通过 计算机控制相机依次采集图像(像素数为756
×
612)，每幅图像对应投影仪产生的一幅傅里 叶基图案。这样，相机的每个像素点将记录一组一维光强序列，如图4所示为像素点 (358,106)记录的一维光强序列的前20个光强值，根据该光强序列，采用单像素成像算法重 建得到一条一维曲线，如图5所示，记为a
358
。将这相机第106列所有像素点重建的一维曲 线按照像素点的行坐标排列，获得一幅光条图像i
lb
，如图6所示。以光条图像中每一行的 10个元素为窗口滑动，将窗内偏离局部中位数的绝对偏差的三倍作为离群点剔除，提取光 条中心，得到一条一维曲线b
106
，如图7中的黑色线条表示所示。按照相同的方法，利用相 机其他列的像素点也可获得一条一维曲线，记为b1,b2,
…
,b
612
。将重建的所有一维曲线按列 像素坐标排列，可组成一个二维矩阵m，如图8所示。剔除矩阵m中的离群点，然后利用相 位-深度映射关系，重建物体的三维轮廓。图9给出了根据本发明所提方法重建三维结果。 为了便于比较，图10给出了采用传统条纹投影轮廓术测量的结果。对比图9和图10可知， 本技术技术方案的实施例具有更好的抗散射能力，能够重建半透明物体的三维轮廓，而采用 传统方法重建的结果信噪比差。
[0103]
另一方面，本技术的技术方案还提供了一种线共焦三维轮廓测量系统，该系统包括：
[0104]
物体探测单元，用于探测并生成待测物体的若干一维曲线；
[0105]
图像处理单元，用于将若干一维曲线根据行像素坐标进行排列得到光条图像；
[0106]
数据运算单元，用于提取光条图像的列像素坐标，根据列像素坐标构建得到列向量；将 列向量进行排列得到第一矩阵；
[0107]
轮廓生成单元，用于根据第一矩阵，通过结构光三角测量得到待测物体的三维轮廓。
[0108]
第三方面，本技术的技术方案还提供一种线共焦三维轮廓测量装置，其包括至少一个处 理器；至少一个存储器，该存储器用于存储至少一个程序；当至少一个程序被至少一个处理 器执行，使得至少一个处理器运行如第一方面中的一种线共焦三维轮廓测量方法。
[0109]
本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行，实现上述一种 线共焦三维轮廓测量方法。
[0110]
从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以 下优点或优势：
[0111]
本技术技术方案具有更好的抗散射能力，能够重建半透明物体的三维轮廓，而采用传统 方法重建的结果信噪比差，可以解决半透明物体和金属物体的三维测量难题，准确地重建半 透明物体和金属等强定向反射物体的三维轮廓。
[0112]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺 序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时 地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实 施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所 呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被
改变以及其中 被描述为较大操作的一部分的子操作被独立地执行。
[0113]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明， 功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多 个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个 模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开 的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解 该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实 现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的， 并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决 定。
[0114]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实 现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执 行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、 装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
[0115]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、 或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包 含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指 的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个 或多个实施例或示例中以合适的方式结合。
[0116]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本 发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的 范围由权利要求及其等同物限定。
[0117]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领 域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的 变形或替换均包含在本技术权利要求所限定的范围内。