适用于反光表面测量的线结构光图像增强方法

本发明涉及结构光视觉测量，特别涉及一种适用于反光表面测量的线结构光图像增强方法。

背景技术：

1、随着我国制造业逐渐向着自动化、柔性化、智能化的方向发展，我国针对工业产品的制造能力不断提高、生产速度不断加快。为了在提升“中国速度”的同时进一步保障“中国质量”，高速高效的智能化生产对工业产品的精度测量及质量检测提出了更大的需求和挑战。传统的工业测量技术难以同时胜任高精度、高效率、高便捷性的要求，逐渐成为制约生产节拍的主要生产环节之一。自动化、智能化的产品质量检测技术成为亟待解决的迫切需求。

2、近年来，结构光视觉技术迅猛发展。基于结构光视觉的质量检测技术相较于传统测量方法具有非接触、高效率、客观性强、精度高、可重复性好等突出优点，逐渐取代传统的工业测量方法成为企业进行产品质量监控的主要手段。结构光视觉测量技术使用激光器投射一条线结构光到待测物体表面，光条受目标物体表面高度调制发生形变，通过工业相机采集调制后的线激光条纹，在完成系统标定之后，就可以通过分析处理激光条纹解算出目标物体表面的三维信息。

3、尽管结构光视觉已经在多数场景实现了好的测量效果，但其仍然面临一个具有挑战性的问题：测量高反光表面。由于结构光视觉的光学测量特性，被测物体只有在具有良好的漫反射表面且处于合适光照的条件下才能被较好的测量。过高的表面反射率会导致物体表面的光线向某一主要方向反射，当反射光通过镜头进入工业相机时会导致该反光区域过度曝光；反之，当反射光偏离相机镜头时则会导致反光区域曝光不足。由于工业相机灰度范围有限，仅为0到255，过度曝光区域的所有像素灰度值会被截断为255，而曝光不足的区域绝大部分像素灰度值则会被截断为0。这两种情况都会造成工业相机采集到图像信息失真，从而无法通过分析激光条纹特征计算出待测物体表面各点的深度信息，导致三维测量失败。

4、现有的技术方案主要从硬件层面进行改进以规避表面反光对测量造成的影响。部分方案通过在待测反光物体表面喷涂可以消除反光的显影剂，能够使待测物体获得适合于光学测量的表面漫反射特性，提升拍摄到的线结构光图像质量，但这样的处理过程繁琐，效率极低，且喷涂的显影剂还会引入额外的测量误差。还有部分方案通过在摄像机和投影仪前放置相互正交的偏振片来削弱高反光物体表面的镜面反射带来的影响，对于较强烈的镜面发射，需要精细地调整偏振片的角度来实现理想的重建效果。受环境光照的影响，经偏振片削弱反光后的图像信噪比可能会降低，从而导致测量精度较差，且曝光时间的选择和偏振片角度的调整都需要人工依赖经验进行干预，测量过程较为复杂。从算法层面进行结构光图像增强的方案很少，且大多为笼统的滤波去噪和灰度变换，没有对物体表面反光进行针对性的处理，并且也没有考虑到成像设备的灰度非线性失真对测量结果的影响。

技术实现思路

1、本发明的目的在于提供一种适用于反光表面测量的线结构光图像增强方法，解决现有结构光视觉技术受物体表面反光特性以及工业相机非线性成像特性限制，难以精确测量反光表面等问题。本发明用于增强使用激光三角原理对反光表面进行非接触测量时拍摄的线结构光条纹图像，以提供更加精确和鲁棒的测量结果。

2、本发明的上述目的通过以下技术方案实现：

3、适用于反光表面测量的线结构光图像增强方法，通过标定相机响应曲线，将像素灰度映射为场景亮度，通过拓展图像动态范围，丰富了图像细节，可以提供更加理想的测量结果。首先使用不同曝光时间下拍摄的结构光条纹图像进行相机响应曲线的标定，然后将图像灰度映射到场景亮度以得到高动态范围的亮度图，最后将亮度图压缩至常规显示设备可以正常显示的8位二进制图像，得到最终增强后的结构光条纹图像用于视觉测量，具体包括以下步骤：

4、步骤1、向待测反光表面投射线结构光，使用工业相机以不同的曝光时间拍摄一系列经待测反光表面调制的线结构光图像，得到曝光序列图像；

5、步骤2、使用曝光序列图像进行相机响应曲线的标定，获得相机灰度和场景亮度的对应关系，消除相机非线性失真造成的灰度偏差；

6、步骤3、使用获取的相机响应曲线将各个曝光时间下拍摄的线结构光图像映射为场景亮度图，加权融合各场景亮度图以获得包含物体完整三维信息的高动态范围图像；

7、步骤4、对高动态范围图像进行色调映射，得到最终增强图像。

8、上述步骤1中所述的拍摄一系列曝光时间不同的线结构光图像，是使用线激光器向被测反光表面投射线结构光，并在之后保持激光器位姿不发生变动，使用工业相机以不同的曝光时间在同一位置观测线结构光并保存线结构光图像和对应的曝光时间，其具体过程包括下列步骤：

9、1.1)固定待测物体、激光器及工业相机；

10、1.2)使用激光器向待测反光表面投射一条线结构光；

11、1.3)调节工业相机焦圈使待测反光表面的线结构光可以被清晰观测，随后改变相机曝光时间拍摄不同曝光时间下的线结构光图像，保存图像并记录其对应的曝光时间，记拍摄的图像数为p；其中，最小的曝光时间应使图像亮区勉强可见，最大的曝光时间应使图像暗区清晰可见，拍摄的图像数应该大于5张。

12、步骤2中所述使用曝光序列图像进行相机响应曲线的标定，是随机选取图像中一定数量的像素点，使用所有图像的这些像素点的一系列灰度值结合给定的权重值进行最小二乘优化，最终得到图像灰度与场景亮度之间的映射关系，其具体过程包括下列步骤：

13、2.1)图像roi(region of interest，感兴趣区域)提取：对步骤1)采集到的曝光序列图像进行统一裁剪，剔除图像中的无关区域，减少干扰信息并提升处理速度；

14、2.2)随机选取一定数量的像素点，记像素点数量为n，记录不同曝光时间下的线结构光图像中这些像素点的灰度值，得到n×p个像素灰度值。像素点数量n应满足n(p-1)＞255；

15、2.3)建立权重函数，为不同的灰度值分配权重，权重函数使靠近中间值的灰度获得更高的权重，使靠近最值，即0或255的灰度值获得更小的权重，以避免相机的灰度非线性失真造成的影响；

16、2.4)设定像素点灰度值是像素点对应的场景位置的场景亮度和曝光时间的乘积经相机非线性成像过程作用产生的结果，建立表征灰度值与场景亮度值之间映射关系的目标函数，使用上述步骤2.2)获得的n×p个像素灰度以及步骤2.3)建立的灰度权重对目标函数进行最小二乘优化，得到像素灰度和场景亮度之间的映射关系。

17、步骤3所述将各个曝光时间下拍摄的光条灰度图像映射为场景亮度图并进行加权融合，是利用步骤2获得的相机响应曲线，将各灰度图的所有像素处的灰度值替换为该灰度值对应的辐照度，即前述场景亮度与曝光时间的乘积。然后将辐照度图除以曝光时间即可得到场景亮度图，n幅场景亮度图进行加权平均以获得高动态范围图像，具体过程包括以下步骤：

18、3.1)依次读取各幅图像，根据步骤2获得的像素灰度和场景亮度之间的映射关系将各像素灰度值替换为场景亮度值，得到p幅场景亮度图；

19、3.2)再次利用步骤2.3)建立的权重函数，为每一幅灰度图像计算其对应于各像素点灰度值的权重图，对不同权重图之间同一像素点处的p个不同权重值进行归一化处理；

20、3.3)使用上述计算得到的权重图对步骤3.1)获得的p幅场景亮度图进行加权融合，得到包含场景丰富细节的高动态范围图像。

21、步骤4所述对高动态范围图像进行色调映射，是对步骤3获取的融合图像进行灰度的缩放和调整，使高动态范围的融合图像可以被普通显示设备正常显示，避免高于255的亮度值被截断而丢失细节信息，其具体过程包括下列步骤：

22、4.1)对步骤3)获取的高动态范围图像进行归一化处理，将亮度值范围缩放至0-1区间；

23、4.2)对归一化后的亮度图进行伽马矫正，获得最终增强图像。

24、本发明提供的一种适用于反光表面测量的线结构光图像增强方法至少具有如下优点和

25、有益效果：

26、1)通过标定相机的响应曲线，将像素灰度映射为场景亮度获得高动态范围的亮度图，可以解决传统成像设备灰度范围有限而实际场景亮度范围极大的矛盾问题，避免成像设备发生灰度截断等非线性失真导致的场景信息丢失；

27、2)使用低的曝光时间观测待测反光表面的亮区，使用高的曝光时间观测待测反光表面的暗区，使得融合后的图像可以包含场景的完整细节，解决因表面反射率高造成的过度曝光和曝光不足问题；

28、3)对亮度图进行了归一化处理和伽马矫正，使线结构光图像亮度更加均匀，且能一定程度上抑制表面二次反光对视觉测量的影响，使光条法线方向的灰度分布更加合理，提升测量精度。