一种自适应结构光测量方法、装置、电子设备及介质

1.本技术涉及三维测量领域，具体而言，涉及一种自适应结构光测量方法、装置、电子设备及介质。


背景技术：

2.以相位测量轮廓术(phase measuring profilometry,pmp)为代表的主动非接触式结构光三维成像技术因精度、速度和成本等多方面的优势，已在诸多领域得到广泛应用。pmp通过投射预先编码的含有相移信息的若干光栅图案，捕获到经被测对象调制后的光栅图案，实现对目标的三维测量。局限于结构光系统使用的ccd相机的信号量化特性，若对于相对粗糙的漫反射的区域，则不易超过其最大量化值，能够实现较好的测量精度，而对于相对光滑的镜面反射区域，会因反射率过大超过相机最大量化值，不能正确记录编码图案的信息，导致解码误差或失败，降低测量精度。
3.现有的改进方法中，以增加相机或偏振镜为代表的改进方法，不仅增加了系统的成本，额外硬件的位置偏差也会给测量引入新的误差；通过在不同条件下多次测量的改进方法，条件的选取存在一定的人工经验及盲目性，还增加了测量的时间空间成本；自适应调整强度方法只需投影一组条纹图案进行测量，但测量精度有限。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种自适应结构光测量方法、装置、电子设备及介质，能够针对待测量的目标物体中高反光区域，精确的自适应调整投射至目标物体的光栅图像中的投影光强度，从而降低捕获的调制图像中饱和像素点，更加能准确的记录目标物体对应的编码图案的信息，增加测量精度。
5.本技术实施例提供的一种自适应结构光测量方法，所述方法包括以下步骤：
6.获取经目标物体调制所形成的预设数目幅调制图像；其中，所述预设数目幅调制图像是投影装置分别投射预设数目幅第一光栅图像至目标物体后，相机所捕获的预设数目幅调制图像；其中，所述第一光栅图像的投影灰度均匀，不同的第一光栅图像中条纹的投影灰度不同，每一个第一光栅图像对应一调制图像；
7.根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度；
8.根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值；
9.根据所述目标投影灰度，建立投影装置投射的光栅图像和相机装置捕获的调制图像之间的像素点坐标映射关系；
10.根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像，以使投影仪将所述第二光栅图像分别投射至目标物体；其中，每个第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
11.在一些实施例中，所述的自适应结构光测量方法中，所述根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度，包括：
12.从预设数目幅调制图像中，确定出第一目标调制图像；所述第一目标调制图像对应投影光强值最大的第一光栅图像；
13.确定所述第一目标调制图像中亮度大于或等于预设光强阈值的像素点为目标饱和像素点；
14.从预设数目幅调制图像中确定出不存在饱和像素点中的第二目标调制图像，并确定第二目标调制图像对应的第一光栅图像的最大投影灰度为目标投影灰度；
15.若预设数目幅调制图像中均存在饱和像素点，则确定第一光栅图像的最低投影灰度作为目标投影灰度。
16.在一些实施例中，所述的自适应结构光测量方法中，所述根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像，包括：
17.根据所述像素点坐标映射关系，确定每个目标饱和像素点在第二光栅图像中对应的目标坐标，每一目标坐标对应一最优投影光强值；
18.根据预设的编码规则确定第二光栅图像中目标坐标之外的非饱和像素点的投影灰度，并根据预设的编码规则和最优投影光强值确定目标坐标处的投影灰度，以使第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
19.在一些实施例中，所述的自适应结构光测量方法中，所述根据所述像素点坐标映射关系，确定每个目标饱和像素点在第二光栅图像中对应的目标坐标，每一目标坐标对应一最优投影光强值，包括：
20.根据像素坐标点映射关系和每个目标饱和像素点的最优投影光强值，计算出所有目标饱和像素点在第二光栅图像中的最优投影光强分布矩阵；所述最优投影光强分布矩阵表征每个目标饱和像素点在第二光栅图像中对应的目标坐标、该目标坐标的最优投影光强值；
21.根据最优投影光强分布矩阵中目标坐标的预设邻域内光强值信息和预设判断阈值，判断所述目标坐标的最优投影光强值是否正常；
22.若否，则根据预设的邻域光强值信息函数，更新异常目标坐标的最优投影光强值。
23.在一些实施例中，所述的自适应结构光测量方法中，所述根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值；包括：
24.针对每个目标饱和像素点，从预设数目幅调制图像中确定出相邻两幅第三目标调制图像；其中，该目标像素点在投影光强值高的第三目标调制图像中饱和，在投影光强值低的第三目标调制图像中不饱和；
25.所述两幅第三目标调制图像对应的两幅第一光栅图像的投影光强值，确定该目标饱和像素点的最优投影光强值范围；
26.根据该目标饱和像素点处的反射率和环境光强值、最优投影光强值范围中的最小投影光强值，计算出最优投影光强值；
27.判断所述最优投影光强值是否在该目标饱和像素点的最优投影光强值范围之内，
若否，则将最优投影光强值范围中的最小投影光强值作为最优投影光强值。
28.在一些实施例中，所述的自适应结构光测量方法中，所述目标饱和像素点处的环境光强值，为投影光强值为0的第一光栅图像对应的调制图像中目标饱和像素点处的光强值；不同目标饱和像素点对应的环境光强值不同；
29.所述目标饱和像素点处的反射率，是根据目标饱和像素点处的环境光强值、投影装置畸变后实际输出的投影光强值、目标饱和像素点的最优投影光强值范围中的最小投影光强值计算得到的。
30.在一些实施例中，所述的自适应结构光测量方法还包括：
31.获取相机捕获的第二光栅图像经目标物体调制得到的自适应的调制图像，
32.将所述自适应的调制图像和第四目标调制图像融合，得到融合后的调制图像；其中，所述第四目标调制图像对应的光栅图像的投影强度是基于所述目标投影强度确定的。
33.在一些实施例中，还提供一种自适应结构光测量装置，所述装置包括：
34.获取模块，用于获取经目标物体调制所形成的预设数目幅调制图像；其中，所述预设数目幅调制图像是投影装置分别投射预设数目幅第一光栅图像至目标物体后，相机所捕获的预设数目幅调制图像；其中，所述第一光栅图像的投影灰度均匀，不同的第一光栅图像中条纹的投影灰度不同，每一个第一光栅图像对应一调制图像；
35.第一确定模块，用于根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度；
36.第二确定模块，用于根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值；
37.建立模块，用于根据所述目标投影灰度，建立投影装置投射的光栅图像和相机装置捕获的调制图像之间的像素点坐标映射关系；
38.生成模块，根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像，以使投影仪将所述第二光栅图像分别投射至目标物体；其中，每个第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
39.在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的自适应结构光测量方法的步骤。
40.在一些实施例中，还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的自适应结构光测量方法的步骤。
41.本技术通过预先使用若干幅均匀投影灰度的光栅图像测定目标物体表面特性，在最优投影光强区间约束下，结合测定的反射率和环境光信息对实际最优投影光强值进行求解，并在根据编码规则确定光栅图像中的投影光强值时，基于目标物体表面特性对光栅图像中每个对应的饱和像素点进行调节，从而使得光栅图像中对应的饱和像素点处的投影光强值不会过大，以使得调制图像中不出现饱和像素点或饱和像素点很少，从而保证目标物体中相对光滑的镜面反射区域也不会因反射率过大超过相机最大量化值，从而正确记录编码图案的信息，保证解码成功，提高测量精度。
附图说明
42.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
43.图1示出了本技术实施例提供的自适应结构光测量方法的方法流程图；
44.图2示出了本技术实施例提供的自适应结构光测量系统的结构示意图；
45.图3示出了本技术实施例提供的所述目标物体表面反射率分布的示意图；
46.图4示出了本技术实施例提供的所述目标物体表面环境光强度分布的示意图；
47.图5示出了本技术实施例提供的一个最优投影光强度掩膜示意图之一；
48.图6示出了本技术实施例提供的垂直方向的一个坐标映射相位示意图；
49.图7示出了本技术实施例提供的竖直方向的一个坐标映射相位示意图；
50.图8示出了本技术实施例提供的坐标映射后最优投影光强分布矩阵掩膜示意图之一；
51.图9示出了本技术实施例提供的对图8中的最优投影光强分布矩阵掩膜进行处理之后的最优投影光强分布矩阵掩膜；
52.图10示出了本技术实施例提供的测量方法的一幅调制图像；
53.图11示出了本技术实施例所述传统方法的一幅调制图像；
54.图12示出了本技术实施例提供的测量方法的相位图；
55.图13示出了本技术实施例所述传统方法的测量方法的相位图；
56.图14示出了本技术实施例提供的测量方法对待测钢板物体的三维重构图；
57.图15示出了本技术实施例所述传统方法对待测钢板物体的三维重构图；
58.图16为本技术实施例提供的测量方法对待测陶瓷物体的三维点云图；
59.图17为本技术实施例所述传统方法对待测陶瓷物体的三维点云图；
60.图18为本技术实施例所述自适应结构光测量装置的结构示意图；
61.图19为本技术实施例所述电子设备的结构示意图。
具体实施方式
62.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
63.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做
出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
64.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
65.以相位测量轮廓术(phase measuring profilometry,pmp)为代表的主动非接触式结构光三维成像技术因精度、速度和成本等多方面的优势，已在诸多领域得到广泛应用。pmp通过投射预先编码的含有相移信息的若干光栅图案，捕获到经被测对象调制后的光栅图案，实现对目标的三维测量。
66.经研究发现，局限于结构光系统使用的ccd相机的信号量化特性，若对于相对粗糙的漫反射的区域，则不易超过其最大量化值，能够实现较好的测量精度，而对于相对光滑的镜面反射区域，会因反射率过大超过相机最大量化值，不能正确记录编码图案的信息，导致解码误差或失败，降低测量精度。这里，所述编码图案，又可以称之为经目标物体调制后的调制图像。
67.针对高反光对象的测量问题，近年来研究人员提出了多种方法，主要包括改进硬件、图像融合、调整条纹图案强度等。以增加相机或偏振镜为代表的硬件改进方法，不仅增加了系统的成本，额外硬件的位置偏差也会给测量引入新的误差；通过在不同条件下多次测量的改进方法，条件的选取存在一定的人工经验及盲目性，还增加了测量的时间空间成本；自适应调整强度方法只需投影一组条纹图案进行测量，但测量精度有限。
68.基于此，本技术实施例提供一种自适应结构光测量方法，针对目标物体，获取目标物体调制之后的调制图像，根据调制图像中的饱和像素点，确定出该饱和像素点在光栅图像中对应的饱和像素点，在根据编码规则确定光栅图像中的投影光强值时，针对光栅图像中每个对应的饱和像素点进行调节，从而使得光栅图像中对应的饱和像素点处的投影光强值不会过大，以使得调制图像中不出现饱和像素点或饱和像素点很少，从而保证目标物体中相对光滑的镜面反射区域也不会因反射率过大超过相机最大量化值，从而正确记录编码图案的信息，保证解码成功，提高测量精度。
69.如图1所示，所述自适应结构光测量方法，包括以下步骤：
70.s101、获取经目标物体调制所形成的预设数目幅调制图像；其中，所述预设数目幅调制图像是投影装置分别投射预设数目幅第一光栅图像至目标物体后，相机所捕获的预设数目幅调制图像；其中，所述第一光栅图像的投影灰度均匀，不同的第一光栅图像中条纹的投影灰度不同，每一个第一光栅图像对应一调制图像；
71.s102、根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度；
72.s103、根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值；
73.s104、根据所述目标投影灰度，建立投影装置投射的光栅图像和相机装置捕获的调制图像之间的像素点坐标映射关系；
74.s105、根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像，以使投影仪将所述第二光栅图像分别投射至目标物体；其中，每个第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
75.在本技术实施例中，所述自适应结构光测量方法可以运行于终端设备或者是服务
器；其中，终端设备可以为本地终端设备，当自适应结构光测量方法运行于服务器时，该自适应结构光测量方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备(也即终端设备)。
76.具体的，以应用于服务器为例，当服务器运行于服务器上时，所述自适应结构光测量方法应用于如图2所示的自适应结构光测量系统中，所述自适应结构光测量系统包括服务器201、相机装置202和投影装置203；根据所述服务器201中运行的自适应结构光测量方法生成一组第二光栅图像，并将所述第二光栅图像发送至投影装置203中，所述投影装置203将所述第二光栅图像投射至目标物体204上，所述相机装置202捕获目标物体204调制第二光栅图像所得到的调制图像，并将所述调制图像发送至服务器201，所述服务器201对所述调制图像进行解码，得到所述目标物体204的测量数据。
77.所述服务器，也可以被称之为计算机、处理器等等。
78.在所述步骤s101中，获取经目标物体调制所形成的预设数目幅调制图像；其中，所述预设数目幅调制图像是投影装置分别投射预设数目幅第一光栅图像至目标物体后，相机所捕获的预设数目幅调制图像；其中，所述第一光栅图像的投影灰度均匀，不同的第一光栅图像中条纹的投影灰度不同，每一个第一光栅图像对应一调制图像；
79.其中，所述光栅图像，又可以称之为光栅图案、编码图案、编码图像、条纹图像、条纹图案、编码条纹图像，编码条纹图案等等。
80.在实际操作时，使用计算机生成具有均匀投影灰度的光栅图像组；光栅图像组中编号k的第一光栅图像的投影灰度为ek，
81.ek＝r-kp；(1)
82.其中k＝0,1,2,3,...,k为图像的编号，所述相机装置所能量化记录光强范围的上限值，对于8位的灰度相机，r取255，p为光栅图像组ek中相邻两幅第一光栅图像投影灰度差值，一般取为固定常数；k为预设常量，这里表征图像的最大编号。
83.计算机将光栅图像组ek发送至投影装置，投影装置将光栅图像组ek中的第一光栅图像依次投射至目标物体。
84.采用相机装置，依次采集第一光栅图像被依次投射至目标物体后，目标物体表面形成的图像，并将接收到的光信号转换为电信号，在经过模数转换后，量化为数字化的调制图像。
85.所述计算机获取所述数字化的调制图像。
86.在所述步骤s102中，根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度；包括：
87.s201、从预设数目幅调制图像中，确定出第一目标调制图像；所述第一目标调制图像对应投影光强值最大的第一光栅图像；
88.s202、确定所述第一目标调制图像中亮度大于或等于预设光强阈值的像素点为目标饱和像素点；
89.s203、从预设数目幅调制图像中确定出不存在饱和像素点中的第二目标调制图像，并确定第二目标调制图像对应的第一光栅图像的最大投影灰度为目标投影灰度；
90.s204、若预设数目幅调制图像中均存在饱和像素点，则确定第一光栅图像的最低投影灰度作为目标投影灰度。
91.这里，所述步骤s201和步骤s202是确定目标饱和像素点的步骤。
92.目标饱和像素点，即调制图像中光强饱和的像素点。光强饱和源于结构光系统中的所述相机装置存在最大量化值，当捕获到的实际光强超过最大量化值时，相机装置未能准确进行记录这些像素点的光强值，而是记录为最大量化值。因此，为了确保不产生光强饱和，在投射上述编码的第一光栅图像的最大光强时，应满足不产生光强饱和的条件，以降低相机装置采集的光强误差。
93.第一光栅图像的投影光强值越大，所述调制图像中的目标饱和像素点越多；第一光栅图像的投影光强值越小，所述调制图像中的目标饱和像素点越少。因此，先确定出投影光强值最大的第一光栅图像对应的，第一目标调制图像，再从所述第一目标调制图像中找出亮度大于或等于预设光强阈值的像素点的目标饱和像素点。
94.在所述步骤s103中，根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值；包括：
95.针对每个目标饱和像素点，从预设数目幅调制图像中确定出相邻两幅第三目标调制图像；其中，该目标像素点在投影光强值高的第三目标调制图像中饱和，在投影光强值低的第三目标调制图像中不饱和；
96.所述两幅第三目标调制图像对应的两幅第一光栅图像的投影光强值，确定该目标饱和像素点的最优投影光强值范围；
97.根据该目标饱和像素点处的反射率和环境光强值、最优投影光强值范围中的最小投影光强值，计算出最优投影光强值；
98.判断所述最优投影光强值是否在该目标饱和像素点的最优投影光强值范围之内，若否，则将最优投影光强值范围中的最小投影光强值作为最优投影光强值。
99.所述目标饱和像素点处的环境光强值，为投影光强值为0的第一光栅图像对应的调制图像中目标饱和像素点处的光强值；不同目标饱和像素点对应的环境光强值不同。
100.所述目标饱和像素点处的反射率，是根据目标饱和像素点处的环境光强值、投影装置畸变后实际输出的投影光强值、目标饱和像素点的最优投影光强值范围中的最小投影光强值计算得到的。
101.针对每个目标饱和像素点，从预设数目幅调制图像中确定出相邻两幅第三目标调制图像时，也就是要判断目标饱和像素点在调制图像中是否光饱和，从而找到相邻两幅第三目标调制图像，使得该目标饱和像素点在目标像素点在投影光强值高的第三目标调制图像中饱和，在投影光强值低的第三目标调制图像中不饱和，从而将这两个第三目标调制图像的投影光强值作为最优投影光强值范围。
102.这里，通过计算机110编码的第一光栅图像，投射至所述目标物体表面，经调制后所述相机装置在理想条件下捕获的调制图像的光强，可用以下公式表示：
103.ic＝αc(i
p
+β)+β
ꢀꢀ
(2)
104.其中，αc是所述待测目标表面的反射率，i
p
是第一光栅图像的投影光强值，β是环境光强值，ic是经所述目标物体表面调制的调制图像的光强分布，对于相位测量轮廓术中向所述目标物体投射第一光栅图像的情况，上述公式(2)可表示为以下公式(3)：
[0105][0106]
其中，是捕获的调制图像中的光强分布，ac是平均光强，bc是调制光强，是相位，n是相移步数，n是投射编码图案的总数，是投射的第一光栅图像的光强分布。
[0107]
这里，可以通过确定出每个调制图像的饱和像素掩膜，来确定目标饱和像素点的最优投影光强值范围；考虑到测量环境的噪声干扰，可以通过以下公式(4)确定出每个调制图像的饱和像素掩膜：
[0108][0109]
其中，fk为编号为k的第一光栅图像对应的调制图像二值化后的饱和像素掩膜，t为预设光强阈值，为投影灰度为ek时的第一光栅图像对应的调制图像的光强值；(xc,yc)为相机捕获的调制图像中的像素点的坐标。
[0110]
进而最优投影光强值在[e
k+1
,ek]的像素点合成的掩膜gk，可以按照以下公式(5)生成：
[0111][0112]
其中，表示异或运算。
[0113]
所述步骤s203和步骤s204是确定目标投影灰度的步骤。
[0114]
根据投射的均匀投影灰度为ek的第一光栅图像捕获的调制图像，含有所述目标物体在对应的投影灰度ek下是否饱和的信息，一般而言，如果选取的k足够大时，此时在某一投影灰度下的第一光栅图像对应的调制图像不会存在有饱和像素点，此时所有像素点均未饱和调制图像对应的第一光栅图像的目标投影灰度可以按照以下公式(6)确定：
[0115][0116]
其中，r为所述相机装置所能量化记录光强范围的上限值，本技术实施例中可以取255；p为相邻两幅第一光栅图像投影灰度差值；为投影灰度为编号为k
*
第一光栅图像对应的饱和像素掩膜；表示饱和像素掩膜中饱和像素点的个数。对于特殊情况下，在k足够大时，仍会有部分像素点因直接反射或多次反射造成光强饱和，此时可以近似以设定的最低强度灰度值作为均未产生饱和的目标投影灰度。
[0117]
也就是说，当至少有一幅预设数目幅调制图像中不存在饱和像素点时，这些不存在饱和像素点的第二目标调制图像对应的多个第一光栅图像中的最大投影灰度，就是为目标投影灰度。相当于所述目标投影灰度是一个临界值，比目标投影灰度高一级的第一光栅图像对应的调制图像中，就存在至少一个饱和像素点。比目标投影灰度更低的第一光栅图像对应的调制图像中，不存在饱和像素点。
[0118]
若预设数目幅调制图像中均存在饱和像素点，则近似以设定的最低投影灰度作为均未产生饱和的目标投影灰度。
[0119]
所述目标饱和像素点处的环境光强值，为投影光强值为0的第一光栅图像对应的调制图像中目标饱和像素点处的光强值。
[0120]
具体的，所述投影装置投射的投影光强值为0的第一光栅图像至所述目标表面并相机装置捕获，此时所述相机装置捕获的调制图像的光强信息可以按照以下公式(7)表示：
[0121][0122]
当第一光栅图像的投影强度为i
p
＝e
k+1
时，所述相机装置捕获的调制图像上的饱和像素点处经目标物体调制后的光强值是在光强不饱和的同时具备较高的信噪比，考虑所述投影装置畸变对光强的影响，此时所述目标物体表面调制的调制图像的光强分布ic可以按照以下公式(8)表示：
[0123][0124]
其中，γ(
·
)为所述投影装置gamma畸变后实际输出的光强值，其影响可以事先对系统特性标定获得，此时按照以下公式(9)可计算出反射率αc：
[0125][0126]
结合系统特性及被测对象特性，按照以下公式(10)可计算出最优投影光强值
[0127][0128]
其中，γ-1
(
·
)为γ(
·
)的逆运算，ε为考虑噪声干扰等影响所保留的裕量。
[0129]
请参阅图3和图4，在投影48幅具有不同均匀投影灰度的图像，最大投影灰度自255依次递减5直至20，通过所述相机装置同步捕获后，获取所述目标物体的表面特性，其中图5为计算获得的所述目标物体表面反射率分布的示意图，图6为获得的所述目标物体表面环境光信息的示意图，其中用灰度的深浅表示其值的大小。
[0130]
然后，判断每个饱和像素点的最优投影光强值是否满足所述最优投影光强值范围的约束，若不满足，则将最优投影光强值赋值为最优投影光强值范围的下限e
k+1
；若满足，则最优投影光强值为公式(9)计算出来的最优投影光强值。
[0131]
请参阅图5，图5是执行上述步骤后，计算获得的最优投影光强分布掩膜矩阵，其分辨率与所述相机装置的分辨率一致，其中用灰度的深浅表示其值的大小。
[0132]
所述步骤s104中，根据所述目标投影灰度，建立投影装置投射的光栅图像和相机装置捕获的调制图像之间的像素点坐标映射关系；具体的，结合所述所有像素点均未饱和的目标投影灰度自适应选取两个灰度级投影强度解算在水平和垂直两个方向获取的相位，进而根据以下按照以下公式(11)和公式(12)建立相机-投影机平面之间的像素点坐标映射关系：
[0133][0134][0135]
其中，h、w分别为投影条纹图案的高度和宽度。分别表示投影灰度为和下的第一光栅图像解算的绝对相位；表征第一光栅图像中目标饱和像素点的坐标。
[0136]
请参阅图6和图7，在测定前述所有像素点均未饱和的目标投影灰度
[0137]
条件下，双方向第一光栅图像投影灰度分别为25、140解算的绝对相位，结合前述目标物体表面特性，可以将其融合成两幅用以坐标映射较为准确的相位图，其中图3为沿垂直方向扫描，图4为沿水平方向扫描，需要说明的是，此处为了表达直观是将其融合后的效果，实际使用时可根据像素点特性选择提取解算的原始相位进行坐标映射，不必进行融合操作。可以看出融合后的相位图能保持较高的信噪比，不存在相位误差较大的区域，能更好的保证坐标映射的准确度。在所述步骤s105中，根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像，包括：
[0138]
根据所述像素点坐标映射关系，确定每个目标饱和像素点在第二光栅图像中对应的目标坐标，每一目标坐标对应一最优投影光强值；
[0139]
根据预设的编码规则确定第二光栅图像中目标坐标之外的非饱和像素点的投影灰度，并根据预设的编码规则和最优投影光强值确定目标坐标处的投影灰度，以使第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
[0140]
具体的，根据所述像素点坐标映射关系，确定每个目标饱和像素点在第二光栅图像中对应的目标坐标，每一目标坐标对应一最优投影光强值，包括：
[0141]
根据像素坐标点映射关系和每个目标饱和像素点的最优投影光强值，计算出所有目标饱和像素点在第二光栅图像中的最优投影光强分布矩阵；所述最优投影光强分布矩阵表征每个目标饱和像素点在第二光栅图像中对应的目标坐标、该目标坐标的最优投影光强值；
[0142]
根据最优投影光强分布矩阵中目标坐标的预设邻域内光强值信息和预设判断阈值，判断所述目标坐标的最优投影光强值是否正常；
[0143]
若否，则根据预设的邻域光强值信息函数，更新异常目标坐标的最优投影光强值。
[0144]
根据像素坐标点映射关系和每个目标饱和像素点的最优投影光强值，计算出所有目标饱和像素点在第二光栅图像中的最优投影光强分布矩阵；具体的，是先建立最优投影光强值分布掩膜矩阵，根据像素坐标点映射关系，变换得到第二光栅图像中的最优投影光
强分布矩阵；
[0145]
需要说明的是，坐标映射过后由于结构光设备分辨率差异，映射过程未必能一一对应，可能会存在有异常点，可按照以下公式(13)进行识别与填补：
[0146][0147]
其中，为最优投影光强分布矩阵掩膜；(x
p
,y
p
)为最优投影光强分布矩阵掩膜中像素点的坐标，neibor(.)为邻域光强值信息函数,具体为为以下公式(14)：
[0148][0149]nnei
为预设邻域内的像素数量，t
spe
为设定的判断阈值，sum(
·
)表示求和函数，r
dis
为预设邻域的半径；(i,j)为最优投影光强分布矩阵掩膜中，像素点(x
p
,y
p
)的预设邻域内的像素点坐标；从而根据生成一组自适应的第二光栅图像条纹对目标物体进行测量。
[0150]
请参阅图8和图9，图8是对图7经上述坐标映射后获取的最优投影光强分布矩阵掩膜其分辨率与所述投影装置一致，可以看出经过映射过后存在有异常点，如饱和区域内的白色特殊点，图9为对图8判断并处理后的结果，其异常点数量大大减少，生成的更符合实际特性。
[0151]
本技术实施例所述的自适应结构光测量方法中，获取相机捕获的第二光栅图像经目标物体调制得到的自适应的调制图像，
[0152]
将所述自适应的调制图像和第四目标调制图像融合，得到融合后的调制图像；其中，所述第四目标调制图像对应的光栅图像的投影强度是基于所述目标投影强度确定的。
[0153]
具体的，将第二光栅图像获取的相位与坐标映射时低投影灰度级的光栅图像获取的相位进行融合。也就是说，第四目标调制图像是坐标映射时两个投影灰度的光栅图像投射至目标物体后，相机所捕获的调制图像。示例性的，本技术实施例中，第四目标调制图像是投影灰度分别为25、140第一光栅图像经目标物体调制后的调制图像。这里，针对第二光栅图像，在饱和程度较大的区域，因反射率在低投影灰度下受噪声影响较大，对该部分相位可以按照以下公式(15)进行相位融合：
[0154][0155]
其中，为坐标映射时低投影灰度级的光栅图像计算得到的相位，φ
adp
为使用所述第二光栅图像计算得到的相位。
[0156]
示例性的，根据预设的编码规则确定第二光栅图像中目标坐标之外的非饱和像素点的投影灰度，并根据预设的编码规则和最优投影光强值确定目标坐标处的投影灰度，以使第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值，例如，第二光栅图像中的每个像素点的投影灰度为按照正弦函数进行编码，则针对目标坐标处的投影灰度，
根据所述最优投影光强值调整所述正弦函数的幅值，使得目标坐标像素点的投影灰度为按照幅值调整后的正弦函数进行编码，以保证第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值，调制图像中一般不存在饱和像素点。
[0157]
本技术实施例中，通过预先使用若干幅均匀投影灰度的光栅图像测定目标物体表面特性，在最优投影光强区间约束下，结合测定的反射率和环境光信息对实际最优投影光强值进行求解，能够充分考虑系统及目标对象的特性，提高了最优投影光强值的准确度。同时在坐标映射时，由于高反光物体的反射率变化范围较大，若选取的投影光强较低或较高，均容易在造成坐标映射错误。通过扫描中低强度的条纹图案，能够最大程度上确保坐标计算的准确度，从最优光强值的确定以及坐标映射精度两方面保证了生成的自适应条纹的准确度。
[0158]
为了验证本技术实施例所述测量方法的有效性与鲁棒性，选取两种不同材质的实验对象：钢制金属平板、陶瓷制茶叶罐进行实验，钢板表面较为平整深度变化范围不大，陶瓷罐较为平滑深度呈现近似球面的分布，实验扫描条纹的频率分别1，4，16，32，每种频率条纹数量为8张。
[0159]
按照本技术实施例提供的测量方法步骤，对两种含有高反光区域的实验对象分别进行测量，将其与传统方法的三维重建效果对比。以钢制金属平板为例展示部分关键过程，陶瓷茶叶罐与其类似，不再重复赘述。
[0160]
请参阅图10和图11，展示了对含有高反光区域的实验钢板使用传统pmp方法如图10和本技术方法如图11进行测量的一幅编码条纹图案，我们可以观察到，在钢板中部存在有光强饱和的区域，这也与图5中反射率较大的区域及图7中需要调整为较低投影光强度的区域相印证。同时，可以清楚的看到，使用本技术方法如图11进行测量时，能够避免高光区域的光强饱和现象，抑制编码正弦条纹中的信息缺失。
[0161]
请参阅图12、图13、图14、图15，展示了对含有高反光区域的实验钢板使用传统pmp方法和本技术实施例所述测量方法进行测量的相位图和三维重构图，可以观察到，图12在高光区域中存在较大的相位错误，直观上体现在图14中对应区域的三维信息存在异常，我们可以看出整个钢板平面在建立的参考坐标系下的深度分布在21.8cm左右，而其在高光区域的深度数据也说明了该区域重建错误。同时，可以清楚的看到，图13在高光区域中不存在明显的相位偏差，直观上体现在图15中更加符合钢板平面实际深度变化分布，从而可以说明获得了良好的重建效果。
[0162]
请参阅图16和图17，图16为使用传统pmp方法和本技术方法对陶瓷茶叶罐进行测量的三维点云图。图16为传统pmp方法测量陶瓷茶叶罐的三维点云正视图和侧视图。图17为本技术实施例所述测量方法测量陶瓷茶叶罐的三维点云正视图和侧视图。由图16和图17可以看出重建的效果十分良好。
[0163]
因此，在有效避免光强饱和误差的前提下，本技术实施例中提出的面向高反光区域的自适应结构光测量方法可以通过预先测定系统和被测物体的特性，自适应地调整饱和像素点处编码条纹图案的最大投影强度，进而获得高精度的相位，进一步提升了高反光物体的三维重建精度。
[0164]
如图18所示，本技术实施例还提供一种自适应结构光测量装置，所述装置包括：
[0165]
获取模块1801，用于获取经目标物体调制所形成的预设数目幅调制图像；其中，所
述预设数目幅调制图像是投影装置分别投射预设数目幅第一光栅图像至目标物体后，相机所捕获的预设数目幅调制图像；其中，所述第一光栅图像的投影灰度均匀，不同的第一光栅图像中条纹的投影灰度不同，每一个第一光栅图像对应一调制图像；
[0166]
第一确定模块1802，用于根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度；
[0167]
第二确定模块1803，根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值；
[0168]
建立模块1804，根据所述目标投影灰度，建立投影装置投射的光栅图像和相机装置捕获的调制图像之间的像素点坐标映射关系；
[0169]
生成模块1805，根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像，以使投影仪将所述第二光栅图像分别投射至目标物体；其中，每个第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
[0170]
在一些实施例中，所述第一确定模块，在根据所述预设数目幅调制图像，确定出调制图像中的目标饱和像素点，以及确定出所有像素点均未饱和的目标投影灰度时，具体用于：
[0171]
从预设数目幅调制图像中，确定出第一目标调制图像；所述第一目标调制图像对应投影光强值最大的第一光栅图像；
[0172]
确定所述第一目标调制图像中亮度大于或等于预设光强阈值的像素点为目标饱和像素点；
[0173]
从预设数目幅调制图像中确定出不存在饱和像素点中的第二目标调制图像，并确定第二目标调制图像对应的第一光栅图像的最大投影灰度为目标投影灰度；
[0174]
若预设数目幅调制图像中均存在饱和像素点，则确定第一光栅图像的最低投影灰度作为目标投影灰度。
[0175]
在一些实施例中，所述生成模块，在根据预设的编码规则、像素点坐标映射关系、每个目标饱和像素点的最优投影光强值生成一组第二光栅图像时，具体用于：
[0176]
根据所述像素点坐标映射关系，确定每个目标饱和像素点在第二光栅图像中对应的目标坐标，每一目标坐标对应一最优投影光强值；
[0177]
根据预设的编码规则确定第二光栅图像中目标坐标之外的非饱和像素点的投影灰度，并根据预设的编码规则和最优投影光强值确定目标坐标处的投影灰度，以使第二光栅图像中目标饱和像素点处的光强值不超过最优投影光强值。
[0178]
在一些实施例中，所述生成模块，在根据所述像素点坐标映射关系，确定每个目标饱和像素点在第二光栅图像中对应的目标坐标，每一目标坐标对应一最优投影光强值时，具体用于：
[0179]
根据像素坐标点映射关系和每个目标饱和像素点的最优投影光强值，计算出所有目标饱和像素点在第二光栅图像中的最优投影光强分布矩阵；所述最优投影光强分布矩阵表征每个目标饱和像素点在第二光栅图像中对应的目标坐标、该目标坐标的最优投影光强值；
[0180]
根据最优投影光强分布矩阵中目标坐标的预设邻域内光强值信息和预设判断阈值，判断所述目标坐标的最优投影光强值是否正常；
[0181]
若否，则根据预设的邻域光强值信息函数，更新异常目标坐标的最优投影光强值。
[0182]
在一些实施例中，所述第二确定模块，在根据所述预设数目幅调制图像中目标饱和像素点处的光强值信息，确定出每个目标饱和像素点处的、使该目标饱和像素点不饱和的最优投影光强值时，具体用于：针对每个目标饱和像素点，从预设数目幅调制图像中确定出相邻两幅第三目标调制图像；其中，该目标像素点在投影光强值高的第三目标调制图像中饱和，在投影光强值低的第三目标调制图像中不饱和；
[0183]
所述两幅第三目标调制图像对应的两幅第一光栅图像的投影光强值，确定该目标饱和像素点的最优投影光强值范围；
[0184]
根据该目标饱和像素点处的反射率和环境光强值、最优投影光强值范围中的最小投影光强值，计算出最优投影光强值；
[0185]
判断所述最优投影光强值是否在该目标饱和像素点的最优投影光强值范围之内，若否，则将最优投影光强值范围中的最小投影光强值作为最优投影光强值。
[0186]
在一些实施例中，所述目标饱和像素点处的环境光强值，为投影光强值为0的第一光栅图像对应的调制图像中目标饱和像素点处的光强值；不同目标饱和像素点对应的环境光强值不同；
[0187]
所述目标饱和像素点处的反射率，是根据目标饱和像素点处的环境光强值、投影装置畸变后实际输出的投影光强值、目标饱和像素点的最优投影光强值范围中的最小投影光强值计算得到的。
[0188]
在一些实施例中，所述自适应结构光测量装置还包括：
[0189]
融合模块，用于获取相机捕获的第二光栅图像经目标物体调制得到的自适应的调制图像，并将所述自适应的调制图像和第四目标调制图像融合，得到融合后的调制图像；其中，所述第四目标调制图像对应的光栅图像的投影强度是基于所述目标投影强度确定的。
[0190]
如图19所示，还提供一种电子设备1900，包括：处理器1902、存储器1901和总线，所述存储器1901存储有所述处理器1902可执行的机器可读指令，当电子设备1900运行时，所述处理器1902与所述存储器1901之间通过总线通信，所述机器可读指令被所述处理器1902执行时执行所述的自适应结构光测量方法的步骤。
[0191]
在一些实施例中，还提供一种计算机可读存储介质，其该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的自适应结构光测量方法的步骤。
[0192]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0193]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0194]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0195]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，平台服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0196]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。