一种适用于光亮表面的三维测量方法
【专利摘要】一种适用于光亮表面的三维测量方法，根据均匀光图案合成的图像和坐标映射，自适应调节条纹图案中每个像素点的最佳投射灰度值，当用于测量含有大范围反射率变化的三维形貌时，对于反射率高的光亮区域，能避免图像饱和，对于反射率低的黑暗区域，能保持较高信噪比，最终获取清晰的条纹图案图像，准确还原被测对象的三维形貌。
【专利说明】
一种适用于光亮表面的三维测量方法
技术领域
[0001] 本发明涉及光学测量方法，尤其涉及一种结构光三维测量方法。
【背景技术】
[0002] 结构光方法是一种主动式光学测量方法，其基本原理是由结构光投射器向被测物 体表面投射可控制的光点、光条或光面，并由图像传感器(如摄像机)采集图像，通过系统几 何关系，利用三角原理计算得到物体的三维坐标。结构光测量方法以非接触、全场扫描、精 度高、测量速度快等优势广泛应用于产品质量检测、逆向工程(复杂自由曲面的数字化）、对 象识别、三维地图构建、生物医学和文物保护等领域。
[0003] 但在测量含有光亮表面的金属等材质的物体的三维形貌时，由于其表面的反射率 变化较大，光强变化的范围超出了传统相机采用〇~255灰度值表示的动态范围。因此，经被 测对象反射后的条纹图案要么太亮导致图像饱和，要么太暗导致相机不能成像。投射在这 些区域的条纹图案将无法被正确解码，导致难以对这些区域进行测量。
[0004] 针对这一问题，国内外学者提出了不同的解决方法。有学者采用多曝光量的方法。 专利CN101865671A公开了一种解决黑白大反差被测对象的三维测量方法，分两次设定光源 强度、相机曝光时间和增益值，分别对其表面的亮区域和暗区域做三维测量，然后对测量结 果按照预定阀值做筛选，最后得到被测对象的三维坐标。但该方法并不适用于大范围表面 反射率变化的被测对象，因为这需要使用更多不同的光源强度、相机曝光时间和增益值组 合来适应不同反射率的表面区域。专利CN101694375A公开了一种将亮暗条纹投射与多曝光 时间采集图像相结合以合成高动态范围条纹图案图像的方法，能够实现金属等强反射表面 三维形貌测量。但这类采用多曝光量的方法对于未知场景，通常无法在测量初期直接确定 所需的光源强度、曝光次数和每次曝光的时间，一般依赖于经验或尽可能曝光多次，具有一 定的盲目性，测量效率不高。有学者采用偏振片的方法，专利CN105066906A公开了一种快速 高动态范围三维测量方法，其在投影仪光轴和相机光轴上分别放置一块偏振片，转动任意 一块偏振片，将投影仪光轴和相机光轴之间的夹角调节为90度。利用偏振片滤除镜面反射 的光，只让漫反射的光进入相机，从而实现测量。但对于金属工件的表面来说，漫反射的光 较弱，信噪比较低，将导致测量精度显著降低;另外，加装偏振片增加了硬件系统的复杂性。 还有学者采用向被测对象表面喷涂薄薄的抗反射涂层的方法，使表面的反射性质变为漫反 射，以利于结构光三维测量;但是，涂层的厚度和均匀程度的不确定性容易带来测量误差， 喷涂和清洗涂层也降低了测量效率。
[0005] 总之，目前在光亮表面的三维形貌测量方面还没有一个较为完备的解决方法。
【发明内容】
[0006] 为了解决上述技术问题，本发明提供了一种自适应、高效、低成本的适用于光亮表 面的三维测量方法。
[0007] 本发明所采用的技术方案是：
[0008] 一种适用于光亮表面的三维测量方法，包括以下步骤：
[0009] S10:向被测对象投射一系列灰度值不同的均匀光图案Li，i = 1，2，…，n，并相应拍 摄被测对象的均匀光图像Ii，i = 1，2，…，η;
[0010] S20:计算与均匀光图像Ii对应的掩码图像Mi(x，y);
[0011] S30:将掩码图像Mi(x，y)和均勾光图案U合成图像F(x，y);
[0012] S40:计算均匀光图像^对应的掩码图像M(x，y)，连接所有饱和的像素形成若干个 簇，并对这些簇提取轮廓；
[0013] S50:向被测对象投射一套黑白条纹图案，并相应拍摄被测对象的条纹图像Iic，i = 1，2，…，m，然后对其进行解码并得到码字；
[0014] S60:使用步骤S40提取的轮廓上的点及周围邻域内的若干点，及步骤S50得到的相 应的码字，来生成局部单应性矩阵H;
[0015] S70:将步骤S30合成的图像F(x，y)的坐标映射为投影仪图像坐标，生成条纹图案 的最佳投射灰度值Lp(u，v);
[0016] S80:使用步骤S70的最佳投射灰度值Lp(u，v)生成最佳灰度值条纹图案，白条纹采 用最佳投射灰度值Lp(u，v)，黑条纹采用0灰度值，向被测对象投射所述最佳灰度值条纹图 案，并相应拍摄被测对象的最佳灰度值条纹图像；
[0017] S90:对步骤S80中的最佳灰度值条纹图像进行解码、求解三维坐标和表面重建，还 原被测对象的三维形貌。
[0018] 本发明的适用于光亮表面的三维测量方法，根据均匀光图案合成的图像和坐标映 射，自适应调节条纹图案中每个像素点的最佳投射灰度值，当用于测量含有大范围反射率 变化的三维形貌时，对于反射率高的光亮区域，能避免图像饱和，对于反射率低的黑暗区 域，能保持较高信噪比，最终获取清晰的条纹图案图像，准确还原被测对象的三维形貌。
[0019] 本发明与现有技术相比有以下显著优点：
[0020] (1)自适应:能够自适应调节条纹图案中每个像素点的最佳投射灰度值，适用于未 知场景，无需依赖经验，减少人为干预，提高测量系统的智能。
[0021] (2)效率高:与采用多曝光量的技术相比，本发明只需采集少量图像，耗时短，效率 尚。
[0022] (3)成本低：本发明的测量方法只需调节投射图案的灰度值，无需增加额外的硬 件，硬件系统简单，成本低。
[0023] 进一步地，在步骤S10中，均匀光图案U的灰度值依次增大。
[0024] 进一步地，在步骤S20中，根据以下公式计算与均匀光图像相应的掩码图像姐(^ y)：
[0026]其中Ik(x，y)为均匀光图像在像素位置(x，y)的灰度值。
[0027] 进一步地，在步骤S20中，如果不存在Ii(x，y)，使Mi(x，y) = l，则重新执行步骤S10。 [0028]进一步地，在步骤S30中，根据以下公式将掩码图像MKxj)和均匀光图案U合成图 像F(x，y):
[0030] 其中U(x，y)是均匀光图案U在像素位置(x，y)的灰度值。
[0031] 进一步地，在步骤S40中，根据以下公式计算均匀光图像^对应的掩码图像M(x， y)：
[0033] 其中IiUd)为均匀光图像在像素位置(x，y)的灰度值。
[0034] 进一步地，在步骤S50中，所述黑白条纹图案是一套基于线移方法的黑白条纹图 案，其白条纹采用255灰度值，黑条纹采用0灰度值;解码时，采用亚像素边缘检测算法。 [0035]进一步地，在步骤S60中，使用步骤S40提取的轮廓上的点及周围5X5邻域内的若 干点，及步骤S50得到的相应的码字，来生成局部单应性矩阵H。
[0036]进一步地，在步骤S70中，根据以下公式将步骤S30合成的图像F(x，y)的坐标映射 为投影仪图像坐标，生成条纹图案的最佳投射灰度值Lp(u，v):
[0038]进一步地，采用线移方法和亚像素边缘检测算法对步骤S80中的最佳灰度值条纹 图案和最佳灰度值条纹图像分别进行编码和解码。
[0039]为了更好地理解和实施，下面结合附图详细说明本发明。
【附图说明】
[0040]图1是本发明的步骤S50、S80和S90中采用线移方法进行编码的示意图；
[0041 ]图2是本发明的被测对象铝合金工件的示意图；
[0042] 图3是通过本发明的步骤S10、S20、S30得到合成图像F(x，y)的过程示意图；
[0043] 图4是传统结构光方法与本发明的方法的测量结果对比图。
【具体实施方式】
[0044] 本发明的适用于光亮表面的三维测量方法的主要步骤可简要归纳如下：
[0045] 步骤1:向被测对象投射一系列灰度值不同的均匀光图案，并相应拍摄被测对象的 均匀光图像。
[0046] 步骤2:计算每个像素点的最佳投射灰度值，生成最佳灰度值条纹图案。
[0047] 步骤3:向被测对象投射该最佳灰度值条纹图案，并相应拍摄被测对象的最佳灰度 值条纹图像。
[0048]步骤4:对该最佳灰度值条纹图像进行解码、求解三维坐标和表面重建，恢复被测 对象的三维形貌。
[0049] 具体地，本发明的适用于光亮表面的三维测量方法包括以下步骤：
[0050] S10:向被测对象投射一系列灰度值不同的均匀光图案U，i = 1，2，…，n，并相应拍 摄被测对象的均匀光图像I i，i = 1，2，…，η。在本实施例中，优选η = 9，均匀光图案L i采用的 灰度值依次增大，分别为20，50，80，110，140，170，200，230，255。为了降低环境光照和表面 互反射的影响，拍摄均匀光图像1:的过程中，采用较小的光圈值，固定的曝光时间，并设置 相机增益为OdB。相机的曝光时间应该设置为Ι/fp的整数倍秒，其中fp为投影仪的刷新率 (一般为60Hz)。这样相机与投影仪能更好地同步。相机的曝光时间不宜设置得太大，否则会 极大地增加测量时间。
[0051] S20:根据公式（1)计算与均匀光图像相应的掩码图像1(1，7)，在本实施例中，η =9〇
[0053]其中，Ik(x，y)表示所拍摄的均匀光图像在像素位置(x，y)处的灰度值，Uxj)表 示在所有均匀光图像中该像素位置(x，y)处的灰度值满足不超过阈值248(采用8位的相机） 的条件下的最大值。考虑到图像传感器的噪声，并预留一定的灰度值空间，避免由于噪声使 图像传感器达到饱和，像素(x，y)的灰度值Ik(x，y)的阈值取为248(采用8位的相机），即像 素的灰度值一旦达到248则认为该像素已经饱和。
[0054]如果存在小于阈值248(采用8位的相机）的最大值Ii(x，y)，则取Mi(x，y) = l，表示 按照均匀光图案U的灰度值进行投射，所获得的均匀光图像在该像素位置(x，y)的灰度值 是有效的，且是最大值，取得最大的信噪比，因此该灰度值的最大值Mx，y)所对应的均匀 光图案U的灰度值就是该像素(x，y)位置的最佳投射灰度值。此最佳投射灰度值保证了最 大的信噪比，同时避免所拍摄的图像出现饱和。如果不存在小于阈值248(采用8位的相机） 的灰度值Ik(x，y)，则表示将所有均匀光图案1^按照步骤S10中的一系列灰度值投射在被测 对象后，都导致所拍摄的图像在该像素位置(x，y)饱和。此时应适当减小光圈值、曝光时间 和相机增益，并重新执行步骤S10,直至存在小于阈值248(采用8位的相机）的最大值Ux， y)，使Mi(x，y) = l〇
[0055] S30:根据公式(2)将掩码图像Mi(x，y)和均匀光图案U合成图像F(x，y)，在本实施 例中，n = 9。
[0057]其中Ldxj)是均匀光图案U在像素位置(x，y)的灰度值。图像合成方法基于掩码 图像Mi(x，y)提取均勾光图案U的灰度值来合成图像F(x，y)。由于Mi(x，y)是一个二值矩阵， 当1(1，7) = 1，则均匀光图案1^的灰度值是像素位置(1，7)处的最佳投射灰度值，可用于合 成图像？(^7);当1(^ 7)=0，则均匀光图案1^的灰度值不用于合成图像？(1，7)。总之，最终 合成的图像F(x，y)全部由不会导致所拍摄图像饱和的最佳投射灰度值组成。
[0058]步骤S40:根据公式(3)计算均匀光图像Ii对应的掩码图像M(x，y)，连接所有M(x， y )= 〇的像素形成若干个簇，并对这些簇提取轮廓。一般地，每一个轮廓都由一组闭合的点 坐标组成。在本实施例中，n = 9。
[0060]其中Ii(x，y)为均匀光图像Ii在像素位置(x，y)的灰度值。
[0061]步骤S50:向被测对象投射一套黑白条纹图案，并相应拍摄被测对象的条纹图像 1严，1 = 1，2，···，!!!。在本实施例中，优选m=16,然后对其进行解码并得到码字。具体地，该黑 白条纹图案是一套基于线移方法的黑白条纹图案，其白条纹采用255灰度值，黑条纹采用0 灰度值。解码时，采用亚像素边缘检测算法。解码后，步骤S40求取的掩码M(x，y)=0表示像 素(x，y)已经饱和，解码所得的码字无效;相反，掩码M(x，y) = 255表示像素(x，y)解码所得 的码字有效。因此，步骤S40提取的轮廓上的点即含有效的码字，这些点可以用来在步骤S60 中生成局部单应性矩阵H。
[0062]步骤S60:使用步骤S40提取的轮廓上的点及周围邻域内的若干点，及步骤S5得到 的相应的码字，来生成局部单应性矩阵H。优选地，该邻域选取5X5,在其他实施方式中也可 选取3X3或7X7等邻域。
[0063]步骤S70:根据公式(4)将步骤S30合成的图像F(x，y)的坐标(x，y)映射为投影仪图 像坐标(u，v)，生成条纹图案的最佳投射灰度值Lp(u，v)。
[0065]步骤S80:使用步骤S70的最佳投射灰度值Lp(u，v)生成最佳灰度值条纹图案，白条 纹采用最佳投射灰度值Lp(u，v)，黑条纹采用0灰度值，向被测对象投射所述最佳灰度值条 纹图案，并相应拍摄被测对象的最佳灰度值条纹图像。
[0066]步骤S90:对步骤S80中的最佳灰度值条纹图像进行解码、求解三维坐标和表面重 建，还原被测对象的三维形貌。具体地，在条纹图案编码和解码过程中，使用线移方法和亚 像素边缘检测算法，以提高解码过程的鲁棒性和空间的测量分辨率。后续的三角法求解三 维坐标、表面重建等步骤均采用公知的方法。最终得到三维点云，恢复被测对象的三维形 貌。
[0067] 具体地，在步骤S50、S80和S90中，条纹图案的编码和解码分别采用线移方法和亚 像素边缘检测算法，而不是采用广泛使用的相移方法，是由于相移方法存在局限性，该局限 性在于其解相过程依赖于条纹图案图像中各像素的绝对灰度值，导致其面临图像饱和、互 反射和噪声灵敏度高等问题。优选地，本发明采用基于格雷码的线移方法来生成黑白条纹 图案，该图案比余弦相移条纹图案更可靠，特别是对于光亮表面的测量，因为该图案只有两 个灰度值(编码为〇和1)而不是绝对灰度值需要被确定。而且，相对于像素的灰度值，黑白条 纹的边缘在光壳表面能更好地保留，检测边缘所获得的亚像素精度也能提尚测量的精度。
[0068]在具体实施中，可以采用如下线移方法来编、解码条纹图案。请参阅图1，其为对宽 度为32像素的图像平面采用线移方法进行编码的示意图，图1(a)中显示的是格雷码图案， 图1(b)中显示的是线移图案。对于水平方向分辨率为1024的投影仪来说，首先投射8幅格雷 码图案，将测量区域分成256个子区域，每个子区域包含4像素和唯一的8位格雷码。然后，投 射宽度为4像素的线移图案，移动3次，每次移动1像素。解码时，首先检测线移图案的边缘， 再匹配上边缘所在子区域对应的8位格雷码值，就能为每条边缘生成唯一的码字。然后，结 合检测到的边缘在相机图像坐标系下达到亚像素精度的坐标，得到对应点。在已标定系统 参数的情况下，根据这些对应点和三角法原理，就能计算得到对应点相应的三维坐标。
[0069] 下面针对一具体的测量对象铝合金工件，来说明本发明的具体测量步骤和结果。
[0070] 请参阅图2,其为本实施例的被测对象铝合金工件的示意图。请参阅图3,其为本实 施例通过步骤S10、S20、S30得到合成图像F(x，y)的过程示意图。其中，图3(a)和(b)中所示 的是步骤S10中，向被测对象投射的一系列灰度值为20，50，80，110，140，170，200，230，255 的均匀光图案1^，1 = 1，2，一，9;图3((：)中所示的是步骤510中，投射了均匀光图案1^后相应 拍摄的被测对象的均匀光图像1:3 = 1,2,图3(d)中所示的是步骤S20中的掩码图像姐 &，7)，1 = 1，2，一，9，其中，图像中的白色区域表示姐(^7) = 1，即像素(^7)位置的最佳投 射灰度值就是对应的均匀光图案1^的灰度值，可用于合成图像F(x，y);相反，黑色区域表示 即像素(x，y)位置对应的均匀光图案1^的灰度值不用于合成图像F(x，y);图3 (e)中所示的是步骤S30中，将Mi (X，y) = 1所对应的最佳投射灰度值合成的图像F (X，y)。
[0071] 请参阅图4,其为传统结构光方法与本发明的方法的测量结果对比图。其中，图4 (a)、（b)、（c)是采用传统结构光方法对图2所示的铝合金工件的测量结果图，具体地，图4 (a)显示的是投射了普通的垂直条纹图案后，相机拍摄的被测对象的条纹图像，图4(b)显示 了在更高频率的条纹图案投射下，工件中间区域的细节，图4(c)显示了最终生成的三维点 云。可以看出，采用传统结构光方法，拍摄时，由于工件中间区域太亮导致图像饱和，解码错 误，以致表面重建后工件中间区域出现大面积的孔洞。相对的，图4((1)、（幻、（〇是采用本发 明的方法对图2所示的铝合金工件的测量结果图，具体地，图4(d)显示的是投射了最佳灰度 值条纹图案后，相机拍摄的被测对象的最佳灰度值条纹图像，图4(e)显示了在更高频率的 最佳灰度值条纹图案投射下，工件中间区域的细节，图4(f)显示了最终生成的三维点云。可 以看出，采用本发明的方法能够自适应调节条纹图案中每个像素点的最佳投射灰度值，对 于反射率较高的光亮区域，采用较低的灰度值进行投射，拍摄时，工件中间区域不会太亮而 导致图像饱和；另外，对于反射率较低的黑暗区域，则采用最大的灰度值去投射，保持了较 高的信噪比，因而能够获得清晰的条纹图案图像。后续也能够对这些条纹图像正确地进行 解码并获得更稠密的三维点云。与传统的结构光方法相比，本发明的方法取得了更好的测 量结果。
[0072] 本发明的适用于光亮表面的三维测量方法，根据均匀光图案合成的图像和坐标映 射，自适应调节条纹图案中每个像素点的最佳投射灰度值，当用于测量含有大范围反射率 变化的三维形貌时，对于反射率高的光亮区域，能避免图像饱和，对于反射率低的黑暗区 域，能保持较高信噪比，最终获取清晰的条纹图案图像，准确还原被测对象的三维形貌。 [0073]本发明与现有技术相比有以下显著优点：
[0074] (1)自适应:能够自适应调节条纹图案中每个像素点的最佳投射灰度值，适用于未 知场景，无需依赖经验，减少人为干预，提高测量系统的智能。
[0075] (2)效率高:与采用多曝光量的技术相比，本发明只需采集少量图像，耗时短，效率 尚。
[0076] (3)成本低：本发明的测量方法只需调节投射图案的灰度值，无需增加额外的硬 件，硬件系统简单，成本低。
[0077] 本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明 的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发 明也意图包含这些改动和变形。
【主权项】
1. 一种适用于光亮表面的Ξ维测量方法，其特征在于包括W下步骤： S10:向被测对象投射一系列灰度值不同的均匀光图案以，1 = 1，2，-，，11，并相应拍摄被 测对象的均匀光图像Ii，i = l，2,…，η; S20:计算与均匀光图像li对应的掩码图像Mi(x，y); S30:将掩码图像Mi(x，y)和均匀光图案以合成图像F(x，y); S40:计算均匀光图像Ii对应的掩码图像M(x，y)，连接所有饱和的像素形成若干个簇，并 对运些簇提取轮廓； S50:向被测对象投射一套黑白条纹图案，并相应拍摄被测对象的条纹图像 /;'，i=== 1，2,...，m.然后对其进行解码并得到码字； S60:使用步骤S40提取的轮廓上的点及周围邻域内的若干点，及步骤S50得到的相应的 码字，来生成局部单应性矩阵H; S70:将步骤S30合成的图像F(x，y)的坐标映射为投影仪图像坐标，生成条纹图案的最 佳投射灰度值LP(u，v); S80:使用步骤S70的最佳投射灰度值LP(u，v)生成最佳灰度值条纹图案，白条纹采用最 佳投射灰度值LP(u，v)，黑条纹采用0灰度值，向被测对象投射所述最佳灰度值条纹图案，并 相应拍摄被测对象的最佳灰度值条纹图像； S90:对步骤S80中的最佳灰度值条纹图像进行解码、求解Ξ维坐标和表面重建，还原被 测对象的Ξ维形貌。2. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S10中， 均匀光图案k的灰度值依次增大。3. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S20中， 根据W下公式计算与均匀光图像Ii相应的掩码图像Mi(x，y):其中Ik(x，y)为均匀光图像在像素位置(x，y)的灰度值。4. 根据权利要求3所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S20中， 如果不存在Ii(X，y)，使Mi(X，y) = 1，则重新执行步骤S10。5. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S30中， 根据W下公式将掩码图像Mi(x，y)和均匀光图案以合成图像F(x，y):其中k(x，y)是均匀光图案k在像素位置(x，y)的灰度值。6. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S40中， 根据W下公式计算均匀光图像Ii对应的掩码图像M(x，y):其中Ii(x，y)为均匀光图像Ii在像素位置(x，y)的灰度值。7. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S50中， 所述黑白条纹图案是一套基于线移方法的黑白条纹图案，其白条纹采用255灰度值，黑条纹 采用0灰度值;解码时，采用亚像素边缘检测算法。8. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S60中， 使用步骤S40提取的轮廓上的点及周围5X5邻域内的若干点，及步骤S50得到的相应的码 字，来生成局部单应性矩阵H。9. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:在步骤S70中， 根据W下公式将步骤S30合成的图像F(x，y)的坐标映射为投影仪图像坐标，生成条纹图案 的最佳投射灰度值LP(u，v):10. 根据权利要求1所述的适用于光亮表面的Ξ维测量方法，其特征在于:采用线移方 法和亚像素边缘检测算法对步骤S80中的最佳灰度值条纹图案和最佳灰度值条纹图像分别 进行编码和解码。
【文档编号】G01B11/25GK106091986SQ201610402874
【公开日】2016年11月9日
【申请日】2016年6月8日
【发明人】林辉, 高健, 王伟, 张观锦
【申请人】韶关学院, 广东工业大学